CN114596296A - 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法 - Google Patents

一种高灵敏度的热轧钢卷端面缺陷识别系统及方法 Download PDF

Info

Publication number
CN114596296A
CN114596296A CN202210257514.XA CN202210257514A CN114596296A CN 114596296 A CN114596296 A CN 114596296A CN 202210257514 A CN202210257514 A CN 202210257514A CN 114596296 A CN114596296 A CN 114596296A
Authority
CN
China
Prior art keywords
model
defect
sensitivity
category
steel coil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210257514.XA
Other languages
English (en)
Inventor
向峰
周思聪
陶飞
左颖
李红军
张弛
蒋国璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202210257514.XA priority Critical patent/CN114596296A/zh
Publication of CN114596296A publication Critical patent/CN114596296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的高灵敏度热轧钢卷端面缺陷识别系统及方法，包括：数据集处理模块，该模块体现热轧钢卷端面缺陷识别的数据集处理过程，采集图片制作数据集，通过高识别率的模型训练数据集；模型灵敏度指标判断模块，该模块将训练结果生成混淆矩阵，根据得到的模型灵敏度值，判断其是否符合预期的高灵敏度需求；复检模块，该模块对数据集进行重新标记并重新训练，直至得到满足需求的高灵敏度缺陷识别系统。本发明能在保证高识别率的前提下，同时使模型具有很高的灵敏度，大幅减少漏检率，提高钢卷成材率。

Description

一种高灵敏度的热轧钢卷端面缺陷识别系统及方法
技术领域
本发明采用深度学习来进行热轧钢卷端面图片识别，具体涉及一种高灵敏度的热轧钢卷端面缺陷识别系统及方法。
背景技术
热轧钢卷在生产过程中由于受原材料，轧制工艺及系统控制等因素的影响，钢卷端面存在花纹边，边损，边裂，折叠，毛刺五种常见缺陷。这些端面缺陷不仅影响钢卷美观性，而且会导致钢卷打磨或重新开卷处理，产品会降级、改判，正品变为次品。现带钢卷取过程中，缺陷检测还是依靠经验丰富的专业人员进行人工检测。由于生产线处于高温辐射环境下，检测人员无法近距离观察，可能会出现误判或漏判。而且长时间的观察容易产生视觉疲劳，检出率会大大降低，很难满足实际生产的检测需要。因此，急需一种能够快速准确的、高灵敏度的钢卷端面检测方法，钢卷端面缺陷检测对于提高钢带生产质量至关重要。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种高灵敏度神经网络的热轧钢卷端面缺陷识别系统及方法，能准确识别热轧钢卷端面缺陷，同时又能体现高识别率和高灵敏度的特点，能在保证识别率在0.9以上的前提下，同时使模型的灵敏度在0.8以上，漏检率和错检率都控制在了3％以下，大大提高了企业钢卷成材率。
本发明采用技术方案为：一种高灵敏度的热轧钢卷端面缺陷识别系统，包括：数据集处理模块、模型灵敏度指标判断模块和复检模块；
数据集处理模块，采集热轧钢卷端面图像，制作热轧钢卷端面缺陷数据集，对能够体现热轧钢卷端面缺陷识别的数据集处理，通过端面图像识别模型训练数据集，得到训练结果；
模型灵敏度指标判断模块，根据数据集处理模块得到的训练结果生成混淆矩阵的形式，根据得到端面缺陷识别模型的灵敏度值，判断其是否符合预期的缺陷识别模型灵敏度值大于0.8的高灵敏度需求；若缺陷识别模型灵敏度值没有达到需求，则该模块为前期的工作不合格，需要对数据集或识别模型进行改进，若灵敏度值达到需求，则判断缺陷识别模型的F1值是否符合预期大于0.85的要求，若F1值没有达到0.85，则对缺陷识别模型进行复检；若F1值大于0.85，则可认为该缺陷识别模型符合产品需求；
复检模块，缺陷识别模型的综合指标F1值未达标或者某个缺陷类别的F1值和识别灵敏度未达标，则认为是数据集出现问题，将对数据集进行重新标记并重新训练，直至得到满足需求的高灵敏度缺陷识别系统。
所述数据集处理模块具体实现以下：
步骤(1)热轧钢卷端面图像的采集以及制作数据集，通过工业相机现场采集热轧钢卷端面图像，将采集的图像分为正常、花纹边、边损、边裂、折叠和毛刺共6种类别，对采集的图像进行特征标定，将图像划分到6种类别中各自的类别中；
步骤(2)构建端面图像识别模型Faster R CNN，对该识别模型进行改进，将准备的数据集导入该缺陷识别模型进行训练，当该缺陷识别模型的准确率稳定时停止训练，训练完成后对一组端面图像进行识别测试，得出该缺陷识别模型的训练结果。
所述改进的高识别率神经网络模型的包括：
设置好Faster R CNN网络模型的卷积和采样使用的次数，卷积核的尺寸设置为3*3，卷积步长为2，将卷积操作设置为普通卷积操作和深度可分离卷积操作的组合，深度卷积实现通道与通道一对一的特征提取，普通卷积将通道卷积得到的特征信息进行融合，深度可分离卷积能保证识别模型精确度，同时能减小模型参数量；改进后的Faster R CNN由输入层、改进的卷积层、池化层、全连接层组合而成；输入层作为神经网络的入口接收用于训练的钢卷端面数据集；卷积层的叠加能提取更高级的钢卷端面缺陷特征信息；池化层降低缺陷识别模型的复杂度；全连接层将提取的缺陷特征结合并且进行分类；所述改进的卷积层为：在主干网络中的卷积部分加入特征融合模块和改进的RFB模块，具体内容是将缺陷识别模型的第一个特征提取层换成38*38大小来检测小目标缺陷，为了提高感受野，将38*38的特征层与19*19的特征层进行融合，建立两个特征层之间的联系，同时用DIOU loss替换Smooth L1 loss作为位置回归损失函数，提高算法的收敛速度和精度。
所述模型灵敏度指标判断模块具体实现如下：
(1)将训练结果生成混淆矩阵的形式：
①混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目；矩阵中的四个数据是矩阵的基础指标：TP、FN、FP、TN，其中，TP表示钢卷端面图像样本的真实类别是正类，并且缺陷识别模型识别的结果也是正类；FN表示钢卷端面图像样本的真实类别是正类，但缺陷识别模型将其识别为负类；FP表示钢卷端面图像样本的真实类别是负类，但缺陷识别模型将其识别为正类；TN表示钢卷端面图像样本的真实类别是负类，并且缺陷识别模型将其识别为负类；
②将6类热轧钢端面图像的四个指标一起呈现在表格中，这个呈现综合数据的表格就是多分类混淆矩阵(Confusion Matrix)的形式，而在分析整个模型对缺陷图像的分类效果时，需将整个六分类问题看成一个二分类问题，正常图像为一类，缺陷图像为一类；
③在上述的4个基础指标上延伸4个二级指标：准确率、精确率、灵敏度和特异度，所述二级指标通过一级指标加减乘除得到的；通过所述4个二级指标，将混淆矩阵中基础指标的数据转化为0-1之间的比率，便于进行标准化的衡量；4个二级指标只是计算某一分类的特性，而F1-Score是判断缺陷识别模型总体分类能力的标准，F1值认为灵敏度和准确率同等重要；
4个二级指标以及F1-Score的含义为：
准确率(Accuracy):所有分类正确的结果占总观测值的比重，准确率是模型对整个数据集的识别效果，计算公式是：
Figure BDA0003549325130000031
精确率(Precission)：在缺陷识别模型预测图像类别是positive的所有结果中，缺陷识别模型预测正确的比重，计算公式是：
Figure BDA0003549325130000032
灵敏度(Sensitive)：在真实值是Positive的所有结果中模型预测对的比重，计算公式是：
Figure BDA0003549325130000033
特异度(Specificity)：在真实值是Negative的所有结果中，模型预测对的比重，计算公式是：
Figure BDA0003549325130000034
F1-Score：F1值指标的取值范围是[0.1]，F1值越接近0，模型的输出结果越差；F1接近1，模型的输出结果越好；
(2)通过混淆矩阵形式得到的指标，判断热轧钢卷缺陷识别模型是否可行：
若缺陷识别模型的输出指标中，灵敏度大于等于阈值Ds，Ds的值为0.8，且F1值大于等于阈值Fs，Fs的值为0.85，则判定该缺陷识别模型可行；反之，则判定缺陷识别模型不可行，此时返回缺陷识别模型构建环节，考虑缺陷识别模型的结构设计和参数设置与检测目标不符。
所述复检模块具体包括：
通过混淆矩阵得出的缺陷识别模型的灵敏度，初步评估该缺陷识别模型是否符合灵敏度大于0.8的要求；通过将原始的6分类混淆矩阵的形式转换为2分类混淆矩阵的形式，转换方式是将指定的一种钢卷端面缺陷图像分为一类，其他的4种端面缺陷图像和正常端面图像分为一类，得到5种缺陷各自的灵敏度(Sensitive)和F1-Score，通过4种指标和F1-Score的计算公式，生成5种缺陷的指标数值，判断5种缺陷的识别是否在设定的阈值范围内，即是否满足下式，其中Di代表缺陷i的灵敏度，值为0.8，F1i代表缺陷i的F1值，值为0.85，D与Fs是设置的阈值；
判断Di≥D，F1i≥Fs是否成立，若满足，则该模型能通过评估，符合设计要求；否则，返回步骤(2)，对钢卷端面数据集进行检查，若数据集标注标准不一致，则考虑重新标注数据集，或者剔除特征不明显的图像，通过数据增强技术重新扩展数据集；对模型进行调参，检查缺陷识别模型的结构，设置计算机自动调参，直到结束调参，再次将钢卷端面数据集放入模型训练，重复三个模块的工作。
本发明的一种高灵敏度的热轧钢卷端面缺陷识别方法，包括以下步骤：
步骤(1)：热轧钢卷端面图片的采集以及制作数据集，通过工业相机现场采集热轧钢卷端面图像，将采集的图片分为正常、花纹边、边损、边裂、折叠和毛刺共6种，对采集的图像进行特征标定，将图像划分到各自的类别中；
步骤(2)：构建端面图像识别模型Faster R CNN，对该识别模型进行改进，将准备的数据集导入该缺陷识别模型进行训练，当该缺陷识别模型的准确率稳定时停止训练，训练完成后对一组端面图像进行识别测试，得出该缺陷识别模型的训练结果；
步骤(3)：根据训练结果生成混淆矩阵的形式，具体实现如下：
①混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目；矩阵中的四个数据是矩阵的基础指标：TP、FN、FP、TN，其中，TP表示钢卷端面图像样本的真实类别是正类，并且缺陷识别模型识别的结果也是正类；FN表示钢卷端面图像样本的真实类别是正类，但缺陷识别模型将其识别为负类；FP表示钢卷端面图像样本的真实类别是负类，但缺陷识别模型将其识别为正类；TN表示钢卷端面图像样本的真实类别是负类，并且缺陷识别模型将其识别为负类；
②将6类热轧钢端面图像的四个指标一起呈现在表格中，这个呈现综合数据的表格就是多分类混淆矩阵(Confusion Matrix)的形式；
③在上述的4个基础指标上延伸4个二级指标以及F1-Score：准确率、精确率、灵敏度和特异度，所述二级指标通过一级指标加减乘除得到的；通过所述4个二级指标，将混淆矩阵中基础指标的数据转化为0-1之间的比率，便于进行标准化的衡量；4个二级指标只是计算某一分类的特性，而F1-Score是判断缺陷识别模型总体分类能力的标准，F1值认为灵敏度和准确率同等重要；
步骤(4)：根据生成的混淆矩阵，判定缺陷识别模型是否可行；若缺陷识别模型的输出指标中，灵敏度大于等于阈值Ds，Ds的值为0.8，且F1值大于等于阈值Fs，Fs的值为0.85，则判定该缺陷识别模型可行；反之，则判定缺陷识别模型不可行，此时返回缺陷识别模型构建环节，考虑缺陷识别模型的结构设计和参数设置与检测目标不符。
本发明与现有技术相比的优点在于：
(1)将深度学习的神经网络与图片识别相结合，对其进行改良，使其更加契合工业图片的识别。除了保证模型的准确率之外，将重点放在模型的灵敏度上，为的是能大幅减少缺陷图片的漏判。同时又注重模型的综合指标，防止缺陷图片漏检，也防止过检情况严重。能够一定程度上提高钢材的成材率，减少企业损失。
(2)本发明要解决的技术问题是：克服现有技术的不足，提供一种高灵敏度神经网络的热轧钢卷端面缺陷识别系统及方法，能准确识别热轧钢卷端面缺陷，同时又能体现高识别率和高灵敏度的特点，能在保证识别率在0.9以上的前提下，同时使模型的灵敏度在0.8以上，漏检率和错检率都控制在了3％以下，大大提高了企业钢卷成材率。
附图说明
图1为本发明的系统框图。
具体实施方式
下面结合附图对本发明做进一步详细的描述。
本发明公开了一种基于深度学习的高灵敏度热轧钢卷端面缺陷识别系统，该系统包括：采集热轧钢卷端面图像，根据产品设计的要求，对图像进行分类，制作热轧钢卷端面缺陷数据集；训练热轧钢卷图像，将数据集载入神经网络模型中进行训练，提取热轧钢卷端面图像特征；将训练结果生成混淆矩阵，该矩阵会自动计算模型准确率和灵敏度等指标，判断模型是否符合需求。本发明能在保证识别率在0.9以上的前提下，同时使模型的灵敏度在0.8以上，漏检率和错检率都控制在了3％以下，大大提高了企业钢卷成材率。
本发明的结构框图如图1所示，具体实施方式如下：
步骤(1)：热轧钢卷端面图像采集，从表面检测系统中下载足够多的表面缺陷图片，经过人工标注工程，确定5类表面缺陷，每类缺陷最少需要上千张图片作为数据样本。为了不让过多的噪声背景信息对分类产生干扰，需将缺陷焦点区域分割出来。同时，对分割后大小各异的图片进行标准化处理，统一尺寸，方便神经网络训练。
步骤(2)：构建系统模型，根据设计要求，采用高效率、高识别率的深度神经网络，在确定好网络结构后，需要确定的是一些选择的参数：
①卷积和采样使用的次数；
②卷积核大小，卷积步长；
③激活函数；
④缓解过拟合现象的方法。
上述参数是多少，公式等要给出详细的，与别人不同的。
设置迭代次数，连续多次迭代保证在一个稳定范围内，达到收敛状态，此时模型已达到最佳训练结果；在每一次迭代结束时，当准确率不再提高，就停止训练。
步骤(3)：根据步骤2中的模型训练结果生成混淆矩阵，矩阵显示模型的各项指标(准确率、特异度、灵敏度、F1值)，基于此，判断模型训练的指标是否在要求的阈值内，具体实施如下：
①基于步骤2生成的混淆矩阵，评估采用的神经网络模型。通过特定算法，由计算机生成模型的混淆矩阵，矩阵中包括训练中模型对数据集的识别情况，包括5中缺陷的TP、FN、FP、TP。通过Python实现算法，计算机自动生成结果。
②根据生成的结果，判断模型整体灵敏度S是否满足S≥Ds，整体F1值是否满足F1≥Fs。若不满足，则返回步骤2调整模型，考虑是否更改模型结构或直接更换模型。若满足，则继续通过Python实现下一步算法，得出5种缺陷各自的灵敏度及F1值，根据生成的结果，判断各个缺陷的灵敏度Si是否满足Si≥D，F1i是否满足F1i≥Fs，若满足，则该模型方案可行；否则，对该类缺陷进行复检，对复检后的图像进行单独训练，重复步骤2的流程，由生成的结果判断该类缺陷的识别效果是否达到要求。
表1显示5种缺陷的混淆矩阵：
表1
Figure BDA0003549325130000061
Figure BDA0003549325130000071
(1)若计算整体的灵敏度，则将模型看作二分类，即正常的和有缺陷的，可见其表示成小表2：
表2
Figure BDA0003549325130000072
上表中，TP＝A＝X1,FN＝B＝(X2+X3+X4+X5),FP＝E＝Y1+Z1+M1+H1+K1),TN＝G＝(Y2+…K5)；
Figure BDA0003549325130000073
Figure BDA0003549325130000074
(2)若计算单独的缺陷灵敏度以及其F1值，则将该缺陷划为一类，其他的划为一类，依旧是一个二分类问题，表示如下表3：
表3
Figure BDA0003549325130000075
计算公式与上表相同，由此，可以计算出整体模型的评价指标和单独缺陷的评价指标，通过系统的条件筛选，能达到高灵敏度与多灵敏度的特点。
综上所述，本发明公开了一种基于深度学习的高灵敏度热轧钢卷端面缺陷识别系统，该方法将深度学习与图片识别相结合，并使用深度学习中的混淆矩阵对模型指标进行评价，通过条件筛选的方法，达到系统高灵敏度与多灵敏度的特点，能有效提高整体缺陷和单独缺陷的识别效果。
本发明说明书中未作详细的内容属于本领域专业人员公知的现有技术。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出做出若干改进和润饰，这些改进和润饰也应该视为本发明的保护范围。

Claims (6)

1.一种高灵敏度的热轧钢卷端面缺陷识别系统，其特征在于，包括：数据集处理模块、模型灵敏度指标判断模块和复检模块；
数据集处理模块，采集热轧钢卷端面图像，制作热轧钢卷端面缺陷数据集，对能够体现热轧钢卷端面缺陷识别的数据集处理，通过端面图像识别模型训练数据集，得到训练结果；
模型灵敏度指标判断模块，根据数据集处理模块得到的训练结果生成混淆矩阵的形式，根据得到端面缺陷识别模型的灵敏度值，判断其是否符合预期的缺陷识别模型灵敏度值大于0.8的高灵敏度需求；若缺陷识别模型灵敏度值没有达到需求，则该模块为前期的工作不合格，需要对数据集或识别模型进行改进，若灵敏度值达到需求，则判断缺陷识别模型的F1值是否符合预期大于0.85的要求，若F1值没有达到0.85，则对缺陷识别模型进行复检；若F1值大于0.85，则可认为该缺陷识别模型符合产品需求；
复检模块，缺陷识别模型的综合指标F1值未达标或者某个缺陷类别的F1值和识别灵敏度未达标，则认为是数据集出现问题，将对数据集进行重新标记并重新训练，直至得到满足需求的高灵敏度缺陷识别系统。
2.根据权利要求1所述的高灵敏度的热轧钢卷端面缺陷识别系统，其特征在于：所述数据集处理模块具体实现以下：
步骤(1)热轧钢卷端面图像的采集以及制作数据集，通过工业相机现场采集热轧钢卷端面图像，将采集的图像分为正常、花纹边、边损、边裂、折叠和毛刺共6种类别，对采集的图像进行特征标定，将图像划分到6种类别中各自的类别中；
步骤(2)构建端面图像识别模型Faster R CNN，对该识别模型进行改进，将准备的数据集导入该缺陷识别模型进行训练，当该缺陷识别模型的准确率稳定时停止训练，训练完成后对一组端面图像进行识别测试，得出该缺陷识别模型的训练结果。
3.根据权利要求2所述的高灵敏度的热轧钢卷端面缺陷识别系统，其特征在于：所述改进的高识别率神经网络模型的包括：
设置好Faster R CNN网络模型的卷积和采样使用的次数，卷积核的尺寸设置为3*3，卷积步长为2，将卷积操作设置为普通卷积操作和深度可分离卷积操作的组合，深度卷积实现通道与通道一对一的特征提取，普通卷积将通道卷积得到的特征信息进行融合，深度可分离卷积能保证识别模型精确度，同时能减小模型参数量；改进后的Faster R CNN由输入层、改进的卷积层、池化层、全连接层组合而成；输入层作为神经网络的入口接收用于训练的钢卷端面数据集；卷积层的叠加能提取更高级的钢卷端面缺陷特征信息；池化层降低缺陷识别模型的复杂度；全连接层将提取的缺陷特征结合并且进行分类；所述改进的卷积层为：在主干网络中的卷积部分加入特征融合模块和改进的RFB模块，具体内容是将缺陷识别模型的第一个特征提取层换成38*38大小来检测小目标缺陷，为了提高感受野，将38*38的特征层与19*19的特征层进行融合，建立两个特征层之间的联系，同时用DIOU loss替换SmoothL1 loss作为位置回归损失函数，提高算法的收敛速度和精度。
4.根据权利要求1所述的高灵敏度的热轧钢卷端面缺陷识别系统，其特征在于：所述模型灵敏度指标判断模块具体实现如下：
(1)将训练结果生成混淆矩阵的形式：
①混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目；矩阵中的四个数据是矩阵的基础指标：TP、FN、FP、TN，其中，TP表示钢卷端面图像样本的真实类别是正类，并且缺陷识别模型识别的结果也是正类；FN表示钢卷端面图像样本的真实类别是正类，但缺陷识别模型将其识别为负类；FP表示钢卷端面图像样本的真实类别是负类，但缺陷识别模型将其识别为正类；TN表示钢卷端面图像样本的真实类别是负类，并且缺陷识别模型将其识别为负类；
②将6类热轧钢端面图像的四个指标一起呈现在表格中，这个呈现综合数据的表格就是多分类混淆矩阵(Confusion Matrix)的形式，而在分析整个模型对缺陷图像的分类效果时，需将整个六分类问题看成一个二分类问题，正常图像为一类，缺陷图像为一类；
③在上述的4个基础指标上延伸4个二级指标：准确率、精确率、灵敏度和特异度，所述二级指标通过一级指标加减乘除得到的；通过所述4个二级指标，将混淆矩阵中基础指标的数据转化为0-1之间的比率，便于进行标准化的衡量；4个二级指标只是计算某一分类的特性，而F1-Score是判断缺陷识别模型总体分类能力的标准，F1值认为灵敏度和准确率同等重要；
4个二级指标以及F1-Score的含义为：
准确率(Accuracy):所有分类正确的结果占总观测值的比重，准确率是模型对整个数据集的识别效果，计算公式是：
Figure FDA0003549325120000021
精确率(Precission)：在缺陷识别模型预测图像类别是positive的所有结果中，缺陷识别模型预测正确的比重，计算公式是：
Figure FDA0003549325120000022
灵敏度(Sensitive)：在真实值是Positive的所有结果中模型预测对的比重，计算公式是：TPR：
Figure FDA0003549325120000031
特异度(Specificity)：在真实值是Negative的所有结果中，模型预测对的比重，计算公式是：
Figure FDA0003549325120000032
F1-Score：F1值指标的取值范围是[0.1]，F1值越接近0，模型的输出结果越差；F1接近1，模型的输出结果越好；
(2)通过混淆矩阵形式得到的指标，判断热轧钢卷缺陷识别模型是否可行：
若缺陷识别模型的输出指标中，灵敏度大于等于阈值Ds，Ds的值为0.8，且F1值大于等于阈值Fs，Fs的值为0.85，则判定该缺陷识别模型可行；反之，则判定缺陷识别模型不可行，此时返回缺陷识别模型构建环节，考虑缺陷识别模型的结构设计和参数设置与检测目标不符。
5.根据权利要求1所述的高灵敏度的热轧钢卷端面缺陷识别系统，其特征在于：所述复检模块具体包括：
通过混淆矩阵得出的缺陷识别模型的灵敏度，初步评估该缺陷识别模型是否符合灵敏度大于0.8的要求；通过将原始的6分类混淆矩阵的形式转换为2分类混淆矩阵的形式，转换方式是将指定的一种钢卷端面缺陷图像分为一类，其他的4种端面缺陷图像和正常端面图像分为一类，得到5种缺陷各自的灵敏度(Sensitive)和F1-Score，通过4种指标和F1-Score的计算公式，生成5种缺陷的指标数值，判断5种缺陷的识别是否在设定的阈值范围内，即是否满足下式，其中Di代表缺陷i的灵敏度，值为0.8，F1i代表缺陷i的F1值，值为0.85，D与Fs是设置的阈值；
判断Di≥D，F1i≥Fs是否成立，若满足，则该模型能通过评估，符合设计要求；否则，返回步骤(2)，对钢卷端面数据集进行检查，若数据集标注标准不一致，则考虑重新标注数据集，或者剔除特征不明显的图像，通过数据增强技术重新扩展数据集；对模型进行调参，检查缺陷识别模型的结构，设置计算机自动调参，直到结束调参，再次将钢卷端面数据集放入模型训练，重复三个模块的工作。
6.一种高灵敏度的热轧钢卷端面缺陷识别方法，其特征在于，包括以下步骤：
步骤(1)：热轧钢卷端面图片的采集以及制作数据集，通过工业相机现场采集热轧钢卷端面图像，将采集的图片分为正常、花纹边、边损、边裂、折叠和毛刺共6种，对采集的图像进行特征标定，将图像划分到各自的类别中；
步骤(2)：构建端面图像识别模型Faster R CNN，对该识别模型进行改进，将准备的数据集导入该缺陷识别模型进行训练，当该缺陷识别模型的准确率稳定时停止训练，训练完成后对一组端面图像进行识别测试，得出该缺陷识别模型的训练结果；
步骤(3)：根据训练结果生成混淆矩阵的形式，具体实现如下：
①混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目；矩阵中的四个数据是矩阵的基础指标：TP、FN、FP、TN，其中，TP表示钢卷端面图像样本的真实类别是正类，并且缺陷识别模型识别的结果也是正类；FN表示钢卷端面图像样本的真实类别是正类，但缺陷识别模型将其识别为负类；FP表示钢卷端面图像样本的真实类别是负类，但缺陷识别模型将其识别为正类；TN表示钢卷端面图像样本的真实类别是负类，并且缺陷识别模型将其识别为负类；
②将6类热轧钢端面图像的四个指标一起呈现在表格中，这个呈现综合数据的表格就是多分类混淆矩阵(Confusion Matrix)的形式；
③在上述的4个基础指标上延伸4个二级指标以及F1-Score：准确率、精确率、灵敏度和特异度，所述二级指标通过一级指标加减乘除得到的；通过所述4个二级指标，将混淆矩阵中基础指标的数据转化为0-1之间的比率，便于进行标准化的衡量；4个二级指标只是计算某一分类的特性，而F1-Score是判断缺陷识别模型总体分类能力的标准，F1值认为灵敏度和准确率同等重要；
步骤(4)：根据生成的混淆矩阵，判定缺陷识别模型是否可行；若缺陷识别模型的输出指标中，灵敏度大于等于阈值Ds，Ds的值为0.8，且F1值大于等于阈值Fs，Fs的值为0.85，则判定该缺陷识别模型可行；反之，则判定缺陷识别模型不可行，此时返回缺陷识别模型构建环节，考虑缺陷识别模型的结构设计和参数设置与检测目标不符。
CN202210257514.XA 2022-03-16 2022-03-16 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法 Pending CN114596296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210257514.XA CN114596296A (zh) 2022-03-16 2022-03-16 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210257514.XA CN114596296A (zh) 2022-03-16 2022-03-16 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法

Publications (1)

Publication Number Publication Date
CN114596296A true CN114596296A (zh) 2022-06-07

Family

ID=81817131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210257514.XA Pending CN114596296A (zh) 2022-03-16 2022-03-16 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法

Country Status (1)

Country Link
CN (1) CN114596296A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100188A (zh) * 2022-07-28 2022-09-23 北京科技大学 一种层次化缺陷分析的钢板表面质量自动分级与判定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100188A (zh) * 2022-07-28 2022-09-23 北京科技大学 一种层次化缺陷分析的钢板表面质量自动分级与判定方法

Similar Documents

Publication Publication Date Title
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN111915572B (zh) 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN110400293B (zh) 一种基于深度森林分类的无参考图像质量评价方法
CN111179273A (zh) 一种基于深度学习的白细胞核质自动分割方法及系统
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
CN114066820A (zh) 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法
CN109726730A (zh) 自动光学检测图像分类方法、系统及计算机可读介质
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN111402236A (zh) 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN114596296A (zh) 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法
Guo et al. WDXI: The dataset of X-ray image for weld defects
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN117350967B (zh) 一种基于光学检测晶圆外观缺陷检测系统及其方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
Sun et al. A classification and location of surface defects method in hot rolled steel strips based on YOLOV7
CN114861771A (zh) 基于特征提取和深度学习的工业ct图像缺陷分类方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN114757916A (zh) 基于特征提取和bp网络的工业ct图像缺陷分类方法
TWI747686B (zh) 缺陷檢測方法及檢測裝置
CN112767365A (zh) 一种探伤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination