CN113393414A - 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 - Google Patents
基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN113393414A CN113393414A CN202010167902.XA CN202010167902A CN113393414A CN 113393414 A CN113393414 A CN 113393414A CN 202010167902 A CN202010167902 A CN 202010167902A CN 113393414 A CN113393414 A CN 113393414A
- Authority
- CN
- China
- Prior art keywords
- data set
- cold
- defect
- strip steel
- rolled strip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 140
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 99
- 239000010959 steel Substances 0.000 title claims abstract description 99
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000000227 grinding Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000004519 manufacturing process Methods 0.000 claims abstract description 17
- 238000005498 polishing Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000005097 cold rolling Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 abstract description 5
- 230000002950 deficient Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007517 polishing process Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000010960 cold rolled steel Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统，包括：步骤M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；步骤M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；步骤M3：根据分割后的预设大小的图片进行人工标注，创建数据集；步骤M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；步骤M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；本发明投入之后，可有效减少辊印缺陷圈的产生，提高成材率。同时实现辊印识别工位的自动化，减少现有工作人员的劳动强度。
Description
技术领域
本发明涉及基于深度学习的冷轧带钢磨后辊印缺陷检测技术领域，具体地，涉及一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统。更为具体地，涉及一种可以代替人工检测的在线检测方法，可以配套带钢自动打磨系统使用，能够广泛应用于钢铁厂冷轧机组出口处的带钢磨后辊印缺陷检测系统中。
背景技术
冷轧机组在生产过程中，与带钢相接触的轧辊由于磨损产生点状突起或粘连细小杂质，进而导致带钢表面上呈现出周期性分布的凸起或凹下印痕。一旦发生，往往造成批量的轧硬卷因表面质量不合格而降级，造成较大的经济损失。此类缺陷占所有磨后缺陷的9成以上，而且缺陷通常机器微小，最小的如针尖状大小。直接利用光线照射冷轧带钢，一般无法识别出该缺陷，需要利用质检油石打磨后才能使其显现出来。
虽然经过打磨后，在合适的光线角度下相机可以捕捉到辊印缺陷。但由于打磨过程给带钢表面造成了破坏(如附图1)，辊印缺陷隐在背景复杂的磨痕中，增加了计算机视觉识别的难度，一些较背景磨痕对比度低的辊印缺陷采用传统的机器视觉算法往往无法识别。加之有些辊印本身非常细小，只占了几个像素点，更增加了其识别难度。
辊印缺陷在冷轧机组的生产过程中属于低频事件，因此能够收集的辊印缺陷图像数量非常有限。一些需要通过大量样本数据训练来获得有用本质特征的深度学习网络无法使用。
因此，有必要设计一种基于深度学习的冷轧带钢磨后辊印缺陷在线检测方法，以克服上述问题。
专利文献CN108021938A(申请号：201711224806.9)公开了一种冷轧带钢表面缺陷在线检测方法，其特征在于，包括以下步骤：步骤S1、利用光线照射冷轧带钢，接收冷轧带钢所反射的图像；步骤S2、对所述图像进行预处理；步骤S3、构建冷轧带钢表面缺陷检测深度学习网络，利用所述冷轧带钢缺陷检测深度学习网络提取所述缺陷图像的缺陷特征，并识别所述缺陷特征的缺陷种类；步骤S4、根据所述缺陷种类、严重程度、所述缺陷特征的数量以及分布情况判定冷轧带钢的质量等级。
专利文献CN108021938A(申请号：201711224806.9)公开的一种冷轧带钢表面缺陷在线检测方法，有如下三点不能满足辊印缺陷的检测需求：
1、不包括针对打磨工艺完成后的检测方法。其设计的检测方法中，图像的获取是利用光线照射冷轧带钢，接收冷轧带钢所反射的缺陷图像。因此其深度学习网络模型没有考虑磨后复杂的带钢表面背景。
2、其在建立机器学习模型的过程中，需要通过大量的样本数据训练，才可以获得有用的本质特征，提高缺陷分类识别以及检测的准确性。而辊印缺陷无法提供大量的样本数据。
3、其无法解决辊印和背景的类别不均衡问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统。
根据本发明提供的一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法，包括：
步骤M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
步骤M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
步骤M3：根据分割后的预设大小的图片进行人工标注，创建数据集；
步骤M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
步骤M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
优选地，所述步骤M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以预设角度照射冷轧带钢，相机以预设角度接收冷轧带钢所放射的缺陷图像；
所述步骤M2包括：
步骤M2.1：切割缺陷图像无效边缘，获取ROI区域；
步骤M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；
步骤M2.3：将亮度均衡的ROI区域分割为预设大小的图片。
优选地，所述步骤M3包括：
步骤M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别表示辊印和背景；
步骤M3.2：将图片和PNG标签按照预设比例分为训练集、验证集和测试集；
步骤M3.3：将图片和PNG标签分类后，创建数据集；
步骤M3.4：根据预设要求对数据集进行检查，如检查未通过，重复执行步骤M3.2至步骤M3.3，直至数据集符合预设要求。
优选地，所述步骤M4包括：
步骤M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
步骤M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
步骤M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试数据集内标注的缺陷识别率达到预设值。
优选地，所述步骤M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，重复执行步骤M1至步骤M5，直至缺陷识别结果满足预设值。
根据本发明提供的一种基于深度学习的冷轧带钢磨后辊印缺陷检测系统，包括：
模块M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
模块M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
模块M3：根据分割后的预设大小的图片进行人工标注，创建数据集；
模块M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
模块M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
优选地，所述模块M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以预设角度照射冷轧带钢，相机以预设角度接收冷轧带钢所放射的缺陷图像；
所述模块M2包括：
模块M2.1：切割缺陷图像无效边缘，获取ROI区域；
模块M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；
模块M2.3：将亮度均衡的ROI区域分割为预设大小的图片。
优选地，所述模块M3包括：
模块M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别表示辊印和背景；
模块M3.2：将图片和PNG标签按照预设比例分为训练集、验证集和测试集；
模块M3.3：将图片和PNG标签分类后，创建数据集；
模块M3.4：根据预设要求对数据集进行检查，如检查未通过，重复触发模块M3.2至模块M3.3执行，直至数据集符合预设要求。
优选地，所述模块M4包括：
模块M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
模块M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
模块M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试数据集内标注的缺陷识别率达到预设值。
优选地，所述模块M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，重复触发模块M1至模块M5执行，直至缺陷识别结果满足预设值。
与现有技术相比，本发明具有如下的有益效果：
1、本发明可以普遍推广到用于冷轧酸轧机组生产出口处的带钢自动打磨系统后的智能识别系统上；
2、本发明投入之后，可有效减少辊印缺陷圈的产生，提高成材率。同时实现辊印识别工位的自动化，减少现有工作人员的劳动强度；
3、本发明一方面降低辊印的漏检和产品降级数量，另一方面降低人员工作负荷后带来的人力资源优化效益，预计产生效益千万元以上。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例的缺陷检测方法流程图；
图2为本发明实施例中步骤S2的流程示意图；
图3为本发明实施例中步骤S3的流程示意图；
图4为本发明实施例中步骤S4的流程示意图；
图5为HrNet模型结构示意图；
图6为打磨后带钢表面图像；
图7为本发明实施例中部署后检测的5张实测图片；(左侧为原始图片，右侧为识别结果)
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法，包括：
步骤M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
具体地，所述步骤M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以40°～50°角度照射冷轧带钢，相机以以5°～15°角度接收冷轧带钢所放射的缺陷图像；
步骤M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
如图2所示，所述步骤M2包括：
步骤M2.1：切割缺陷图像无效边缘，获取ROI区域；
步骤M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；因光源散射问题和光学镜头的“渐晕”问题，获取的带钢图像中间区域亮、两侧区域暗，为避免亮度不均造成的缺陷识别问题，利用均衡算法将图像亮度均衡。
步骤M2.3：将亮度均衡的ROI区域分割为1024*1000大小的图片。
步骤M3：根据分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，将图片和PNG标签分类后，创建数据集；
如图3所示，具体地，所述步骤M3包括：
步骤M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别1表示辊印,0表示背景；
步骤M3.2：将图片和PNG标签按照预设比例分为训练集train、验证集val和测试集test；验证集的主要作用是来验证是否过拟合、以及用来调节训练参数等；其中图片数量的比例为train：val：test＝8:1:1；
步骤M3.3：将图片和PNG标签分类后，创建数据集；
步骤M3.4：根据预设要求对数据集进行检查，如检查未通过，重复执行步骤M3.2至步骤M3.3，直至数据集符合预设要求。
数据集检查步骤为：1、获取图片最大宽和高；2、计算图片最大宽高比；3、获取图像的通道数；4、判断标签是否为灰度图；5、验证图像和标注的大小是否匹配；6、验证标注图像的格式、统计标注图类别和像素数；7、统计所有标注图上的格式、类别和每个类别的像素数；8、对标注图像进行校验，输出校验结果；9、判断设定数据与验证集及测试集的图像高宽的关系；10、验证图像的格式与设定是否一致；11、输出shape校验结果；12、检查分隔符是否符合要求。
步骤M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
如图4所示，具体地，所述步骤M4包括：
为解决可获得的训练图片较少的问题，加载基于cityscapes数据集的Hrnet预训练模型。该HrNet的神经网络，拥有与众不同的并联结构，可以随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
在图像分割中，通常评估每一个像素点的类别预测，然后平均所有的像素点。这个本质上就是对图片上的每个像素进行平等的学习。这就造成了一个问题，如果在图像上的多种类别有不平衡的表征，那么训练会由最主流的类别主导。在辊印的识别中，网络将偏向于背景(冷轧带钢打磨印)的学习，降低了网络对前景(带钢上的辊印缺陷)目标的提取能力。而dice loss(dice coefficient loss)通过预测和标注的交集除以它们的总体像素进行计算，它将一个类别的所有像素作为一个整体作为考量，而且计算交集在总体中的占比，所以不受大量背景像素的影响，能够取得更好的效果。
在实际应用中dice loss往往与bce loss(binary cross entroy loss)结合使用，提高模型训练的稳定性。
步骤M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
步骤M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
步骤M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试集即测试数据集内标注的辊印缺陷准确率达到预设值。即测试集识别出的辊印缺陷与人工标注的相近。测试的一致性检测Kappa大于0.8。
测试，对测试集进行测试，如果测试集识别出的辊印缺陷与人工标注的相近和/或测试的一致性检测Kappa大于0.8，则测试效果理想，否则重新定义迭代次数训练或学习率。
步骤M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
具体地，所述步骤M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，不断增加样本数量和样本多样化，重复执行步骤M1至步骤M5，直至缺陷识别结果满足预设值。提高模型识别率。
根据本发明提供的一种基于深度学习的冷轧带钢磨后辊印缺陷检测系统，包括：
模块M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
具体地，所述模块M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以40°～50°角度照射冷轧带钢，相机以以5°～15°角度接收冷轧带钢所放射的缺陷图像；
模块M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
所述模块M2包括：
模块M2.1：切割缺陷图像无效边缘，获取ROI区域；
模块M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；因光源散射问题和光学镜头的“渐晕”问题，获取的带钢图像中间区域亮、两侧区域暗，为避免亮度不均造成的缺陷识别问题，利用均衡算法将图像亮度均衡。
模块M2.3：将亮度均衡的ROI区域分割为1024*1000大小的图片。
模块M3：根据分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，将图片和PNG标签分类后，创建数据集；
具体地，所述模块M3包括：
模块M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别1表示辊印,0表示背景；
模块M3.2：将图片和PNG标签按照预设比例分为训练集train、验证集val和测试集test；验证集的主要作用是来验证是否过拟合、以及用来调节训练参数等；其中图片数量的比例为train：val：test＝8:1:1；
模块M3.3：将图片和PNG标签分类后，创建数据集；
模块M3.4：根据预设要求对数据集进行检查，如检查未通过，重复触发模块M3.2至模块M3.3执行，直至数据集符合预设要求。
数据集检查模块为：1、获取图片最大宽和高；2、计算图片最大宽高比；3、获取图像的通道数；4、判断标签是否为灰度图；5、验证图像和标注的大小是否匹配；6、验证标注图像的格式、统计标注图类别和像素数；7、统计所有标注图上的格式、类别和每个类别的像素数；8、对标注图像进行校验，输出校验结果；9、判断设定数据与验证集及测试集的图像高宽的关系；10、验证图像的格式与设定是否一致；11、输出shape校验结果；12、检查分隔符是否符合要求。
模块M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
具体地，所述模块M4包括：
为解决可获得的训练图片较少的问题，加载基于cityscapes数据集的Hrnet预训练模型。该HrNet的神经网络，拥有与众不同的并联结构，可以随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
在图像分割中，通常评估每一个像素点的类别预测，然后平均所有的像素点。这个本质上就是对图片上的每个像素进行平等的学习。这就造成了一个问题，如果在图像上的多种类别有不平衡的表征，那么训练会由最主流的类别主导。在辊印的识别中，网络将偏向于背景(冷轧带钢打磨印)的学习，降低了网络对前景(带钢上的辊印缺陷)目标的提取能力。而dice loss(dice coefficient loss)通过预测和标注的交集除以它们的总体像素进行计算，它将一个类别的所有像素作为一个整体作为考量，而且计算交集在总体中的占比，所以不受大量背景像素的影响，能够取得更好的效果。
在实际应用中dice loss往往与bce loss(binary cross entroy loss)结合使用，提高模型训练的稳定性。
模块M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
模块M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
模块M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试集即测试数据集内标注的辊印缺陷准确率达到预设值。即测试集识别出的辊印缺陷与人工标注的相近。测试的一致性检测Kappa大于0.8。
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
测试，对测试集进行测试，如果测试集识别出的辊印缺陷与人工标注的相近和/或测试的一致性检测Kappa大于0.8，则测试效果理想，否则重新定义迭代次数训练或学习率。
模块M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
具体地，所述模块M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，不断增加样本数量和样本多样化，重复触发模块M1至模块M5执行，直至缺陷识别结果满足预设值。提高模型识别率。
以下优选例对本发明对更为详细的说明：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法，包括以下步骤：
步骤S1、采集原始图像
该步骤配套带钢自动打磨系统，打磨完成后使光源(型号HLL-760-W)以50°角度照射冷轧带钢，相机(型号LA-GM-04K08A)以10°角度拍摄冷轧带钢的缺陷图像；采集63张含辊印缺陷的图像。
步骤S2、对原始图像进行预处理。
该步骤包括：
S21：切割图像无效边缘，获取ROI区域。
S22：均衡图像。因光源散射问题，获取的带钢图像中间区域亮、两侧区域暗，为避免亮度不均造成的缺陷识别问题，利用均衡算法将图像亮度均衡。
S23：将图像分割为1024*1000大小的图片。
步骤S3、采用图像分割算法的图片处理，创建数据集。
该步骤中训练服务器的配置：AMAX深度学习服务器，Intel(R)Xeon(R)Gold 5115CPU@2.40GHz，内存128G，硬盘：4T，GPU：Nvidia Titan XP 12G
该步骤包括：
S31：对预处理后的图片进行人工标注，以图例的形式生成PNG标签。其中其中1表示辊印，0表示背景。
S32：将图片和PNG标签分类，分为训练集train、验证集val(validation)、测试集test。validation的主要作用是来验证是否过拟合、以及用来调节训练参数等；其中图片数量分别为train 40张、val 14张、test 9张；
S33：创建数据集。
S34：数据集检查，如检查未通过重新返回S32检查。
步骤S4、训练。
该步骤包括：
S41：为解决可获得的训练图片较少的问题，加载基于cityscapes数据集的Hrnet预训练模型，如图5所示。该hrNet的神经网络，拥有与众不同的并联结构，可以随时保持高分辨率表征，不只靠从低分辨率表征里，恢复高分辨率表征。
S42：loss函数选择dice loss+bce loss。
该步骤采用的算法为解决辊印和背景的类别不均衡问题。
S43：训练迭代次数设定为600次。
步骤S5、测试。
本次训练加测试后的结果为：
#testimage＝9acc＝0.9998IoU＝0.8431
Category IoU:[0.9998(背景)0.6864(辊印)]
Category Acc:[1.0000(背景)0.7198(辊印)]
Kappa:0.8140
步骤S6、部署
测试结束后，导出训练模型，部署在冷轧带钢生产线进行在线检测。将此后累积的辊印图像从步骤S2开始，重新加入训练，不断增加样本数量和样本多样化，提高模型识别率，如图6所示。
模型部署计算机的配置：
DELL Precision 5820
i7-9800X 3.8GHz，内存32G，硬盘4T，GPU Nvidia RTX 2080TI
部署后的实测图片为5张，测试结果如附图7。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度学习的冷轧带钢磨后辊印缺陷检测方法，其特征在于，包括：
步骤M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
步骤M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
步骤M3：根据分割后的预设大小的图片进行人工标注，创建数据集；
步骤M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
步骤M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
2.根据权利要求1所述的基于深度学习的冷轧带钢磨后辊印缺陷检测方法，其特征在于，所述步骤M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以预设角度照射冷轧带钢，相机以预设角度接收冷轧带钢所放射的缺陷图像；
所述步骤M2包括：
步骤M2.1：切割缺陷图像无效边缘，获取ROI区域；
步骤M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；
步骤M2.3：将亮度均衡的ROI区域分割为预设大小的图片。
3.根据权利要求1所述的基于深度学习的冷轧带钢磨后辊印缺陷检测方法，其特征在于，所述步骤M3包括：
步骤M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别表示辊印和背景；
步骤M3.2：将图片和PNG标签按照预设比例分为训练集、验证集和测试集；
步骤M3.3：将图片和PNG标签分类后，创建数据集；
步骤M3.4：根据预设要求对数据集进行检查，如检查未通过，重复执行步骤M3.2至步骤M3.3，直至数据集符合预设要求。
4.根据权利要求3所述的基于深度学习的冷轧带钢磨后辊印缺陷检测方法，其特征在于，所述步骤M4包括：
步骤M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
步骤M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
步骤M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试数据集内标注的缺陷识别率达到预设值。
5.根据权利要求1所述的基于深度学习的冷轧带钢磨后辊印缺陷检测方法，其特征在于，所述步骤M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，重复执行步骤M1至步骤M5，直至缺陷识别结果满足预设值。
6.一种基于深度学习的冷轧带钢磨后辊印缺陷检测系统，其特征在于，包括：
模块M1：采集经自动打磨系统打磨完成后的冷轧带钢所反射的缺陷图像；
模块M2：对缺陷图像进行预处理，并将预处理后的缺陷图像分割为预设大小的图片；
模块M3：根据分割后的预设大小的图片进行人工标注，创建数据集；
模块M4：利用基于cityscapes数据集的Hrnet预训练模型对数据集进行预设次数和学习率的训练，使数据集内标注的缺陷识别率达到预设值，得到训练完成的模型；
模块M5：将训练完成的模型部署在冷轧带钢生产线进行在线监测缺陷识别结果；
所述Hrnet预训练模型是并联结构，随时保持高分辨率表征，不只靠从低分辨率表征里恢复高分辨率表征。
7.根据权利要求6所述的基于深度学习的冷轧带钢磨后辊印缺陷检测系统，其特征在于，所述模块M1包括：冷轧带钢经过配套带钢自动打磨系统打磨后，利用光源以预设角度照射冷轧带钢，相机以预设角度接收冷轧带钢所放射的缺陷图像；
所述模块M2包括：
模块M2.1：切割缺陷图像无效边缘，获取ROI区域；
模块M2.2：利用均衡算法将ROI区域亮度均衡，得到亮度均衡的ROI区域；
模块M2.3：将亮度均衡的ROI区域分割为预设大小的图片。
8.根据权利要求6所述的基于深度学习的冷轧带钢磨后辊印缺陷检测系统，其特征在于，所述模块M3包括：
模块M3.1：对分割后的预设大小的图片进行人工标注，以图例的形式生成PNG标签，分别表示辊印和背景；
模块M3.2：将图片和PNG标签按照预设比例分为训练集、验证集和测试集；
模块M3.3：将图片和PNG标签分类后，创建数据集；
模块M3.4：根据预设要求对数据集进行检查，如检查未通过，重复触发模块M3.2至模块M3.3执行，直至数据集符合预设要求。
9.根据权利要求8所述的基于深度学习的冷轧带钢磨后辊印缺陷检测系统，其特征在于，所述模块M4包括：
模块M4.1：加载基于cityscapes数据集的Hrnet预训练模型；
模块M4.2：loss函数采用dice loss函数和bce loss函数使得辊印和背景的类别均衡分布，得到均衡分布的数据集；
模块M4.3：利用基于cityscapes数据集的Hrnet预训练模型对均匀分布的数据集进行预设次数和学习率的训练，使测试数据集内标注的缺陷识别率达到预设值。
10.根据权利要求6所述的基于深度学习的冷轧带钢磨后辊印缺陷检测系统，其特征在于，所述模块M5包括：测试结束后，导出训练模型，将训练模型部署在冷轧带钢生产线进行在线检测缺陷识别结果，当缺陷识别结果满足预设值时，则输出缺陷位置，当缺陷识别结果不满足预设值时，重复触发模块M1至模块M5执行，直至缺陷识别结果满足预设值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010167902.XA CN113393414A (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010167902.XA CN113393414A (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113393414A true CN113393414A (zh) | 2021-09-14 |
Family
ID=77615416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010167902.XA Pending CN113393414A (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393414A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781479A (zh) * | 2021-11-09 | 2021-12-10 | 聚时科技(江苏)有限公司 | 一种基于图像分割算法的半导体外观缺陷量化方法 |
| US11727673B1 (en) | 2022-06-09 | 2023-08-15 | Soochow University | Visual analysis method for cable element identification |
| WO2023236371A1 (zh) * | 2022-06-09 | 2023-12-14 | 苏州大学 | 用于电缆元件识别的视觉分析方法 |
-
2020
- 2020-03-11 CN CN202010167902.XA patent/CN113393414A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781479A (zh) * | 2021-11-09 | 2021-12-10 | 聚时科技(江苏)有限公司 | 一种基于图像分割算法的半导体外观缺陷量化方法 |
| US11727673B1 (en) | 2022-06-09 | 2023-08-15 | Soochow University | Visual analysis method for cable element identification |
| WO2023236371A1 (zh) * | 2022-06-09 | 2023-12-14 | 苏州大学 | 用于电缆元件识别的视觉分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127779B (zh) | 基于视觉识别的缺陷检测方法及系统 | |
| Shipway et al. | Automated defect detection for fluorescent penetrant inspection using random forest | |
| Park et al. | Ambiguous surface defect image classification of AMOLED displays in smartphones | |
| CN113393414A (zh) | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 | |
| CN104794491B (zh) | 基于预分类的模糊聚类钢板表面缺陷检测方法 | |
| CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
| CN117115147B (zh) | 一种基于机器视觉的纺织品检测方法及系统 | |
| CN108090494B (zh) | 基于Gabor滤波器及支持向量机纺织品瑕疵识别方法 | |
| CN110473201A (zh) | 一种刹车片表面缺陷的自动检测方法及装置 | |
| CN117974601B (zh) | 基于模板匹配的硅片表面缺陷检测方法及系统 | |
| CN115601332A (zh) | 一种基于语义分割的嵌入式指纹模块外观检测方法 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN111368682A (zh) | 一种基于faster RCNN台标检测与识别的方法及系统 | |
| CN110175614A (zh) | 一种印刷电路板过孔内壁质量的检测方法 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| Selamet et al. | Automatic detection and classification of defective areas on metal parts by using adaptive fusion of faster R-CNN and shape from shading | |
| Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
| Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
| CN115830403B (zh) | 一种基于深度学习的自动缺陷分类系统及方法 | |
| CN113033635B (zh) | 一种硬币隐形图文检测方法及装置 | |
| CN116958035A (zh) | 产品零件缺陷检测方法、装置、介质及电子设备 | |
| CN115239663A (zh) | 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 | |
| Candra et al. | Computer Vision Implementation in Scratch Inspection and Color Detection on The Car Roof Surface | |
| CN114742850A (zh) | 基于ugnx模型分析的电极形体自动识别的实现方法 | |
| CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |