CN114638807A - 一种基于深度学习的金属板材表面缺陷检测方法 - Google Patents
一种基于深度学习的金属板材表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114638807A CN114638807A CN202210282739.0A CN202210282739A CN114638807A CN 114638807 A CN114638807 A CN 114638807A CN 202210282739 A CN202210282739 A CN 202210282739A CN 114638807 A CN114638807 A CN 114638807A
- Authority
- CN
- China
- Prior art keywords
- image
- plate
- outputting
- color
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 40
- 239000002184 metal Substances 0.000 title claims abstract description 40
- 230000007547 defect Effects 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 63
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000003749 cleanliness Effects 0.000 claims abstract description 8
- 238000005406 washing Methods 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 15
- 239000002253 acid Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 239000003513 alkali Substances 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000002161 passivation Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004381 surface treatment Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- GRYLNZFGIOXLOG-UHFFFAOYSA-N Nitric acid Chemical compound O[N+]([O-])=O GRYLNZFGIOXLOG-UHFFFAOYSA-N 0.000 description 2
- 101150004094 PRO2 gene Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 229910001385 heavy metal Inorganic materials 0.000 description 2
- 229910017604 nitric acid Inorganic materials 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 231100000331 toxic Toxicity 0.000 description 2
- 230000002588 toxic effect Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005554 pickling Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000002791 soaking Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的金属板材表面缺陷检测方法，涉及表面缺陷检测技术领域，该方法包括：在多个金属板材经过第一或第二处理工序后的预定时间时，获取每个金属板材的照片并进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集；对原始尺寸的板材区域图合集进行表面颜色识别，若颜色合格，则对原始尺寸的板材区域图合集进行板材水膜检测；否则重新执行第一或第二处理工序；若检测出板材表面附着的水膜破裂，则说明板材表面的洁净度和平整度不合格，重新执行第一或第二处理工序。该方法实现了板材表面缺陷的自动化检测，确保每个工序下板材表面的颜色、洁净度及平整度符合行业要求。
Description
技术领域
本发明涉及表面缺陷检测技术领域，尤其是一种基于深度学习的金属板材表面缺陷检测方法。
背景技术
在复合金属材料的制造过程中，表面处理工艺起着非常重要的作用，直接影响着零部件的组织结构、表面状态、耐久性、功能可靠性、稳定性。一旦表面处理工艺处理不到位，存在未处理缺陷遗留，将会导致成批产品出现质量问题。
随着国家和环保法规标准要求的逐步提高，表面处理行业面临着外部环保要求和内部工艺要求的巨大挑战，对于表面处理行业中酸洗钝化生产线，现阶段依旧存在以下问题：
作为特种工艺的现有生产方式，酸洗钝化在实际生产过程中主要依靠人工现场操作，同时处理的结果数据也需要人工进行现场记录，工人长期与硝酸、重金属盐等有毒有害化学品的直接接触，会严重影响从业人员的安全健康；
另一方面，碱洗、酸洗表面处理工序进行后，金属材料表面可能存在：颜色处理不到位、材料表面洁净平整度不到位、划伤、磨损、磕伤等缺陷。现有技术中，通过人工观察判定工序处理结果的方式，存在主观随意性，极易产生误判和漏判。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于深度学习的金属板材表面缺陷检测方法，从而实现了板材表面缺陷的自动化检测，确保每个工序下板材表面的颜色、洁净度及表平整度符合要求。
本发明的技术方案如下：
一种基于深度学习的金属板材表面缺陷检测方法，包括如下步骤：
在多个金属板材经过第一或第二处理工序后的预定时间时，获取每个金属板材的照片，并进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集；其中，第一处理工序依次包括碱洗和水洗工序，第二处理工序依次包括酸洗和水洗工序；
对原始尺寸的板材区域图合集进行表面颜色识别，若颜色合格，则对原始尺寸的板材区域图合集进行板材水膜检测；否则重新执行第一或第二处理工序；
若检测出板材表面附着的水膜破裂，则说明板材表面的洁净度和平整度不合格，重新执行第一或第二处理工序。
其进一步的技术方案为，对原始尺寸的板材区域图合集进行板材水膜检测，包括，对于原始尺寸的板材区域图合集中的每个原始图像：
使用第二卷积核对原始图像进行边界平滑处理；
将平滑后的图像转化为灰度图，并使用第三卷积核进行高斯滤波，其中第三卷积核定义为：
提取滤波后的图像的边缘信息并进行处理，输出板材边缘轮廓线；
利用板材边缘轮廓线在原始图像中对背景区域进行反向清除，输出清除背景及边缘的板材内部区域图；
对板材内部区域图进行缩放切片处理，输出板材切片图集；
将板材切片图集中的每个切片送入板材水膜破裂检测卷积神经网络中，输出板材水膜破裂切片标记合集；
将板材水膜破裂切片标记合集进行合并复原，输出板材检测结果全图。
其进一步的技术方案为，对原始尺寸的板材区域图合集进行表面颜色识别，包括，对于原始尺寸的板材区域图合集中的每个原始图像：
将原始图像从RGB颜色空间转换为HSV颜色空间，并进行三色通道分离；
对V通道图像中低于亮度阈值的图像进行亮度增强处理，并将处理后的三色通道重新合并；
使用第一卷积核对合并后的图像做卷积，实现图像的钝化处理，第一卷积核定义为：
利用色域字典对钝化后的图像进行色域分区，提取对应色域所占范围，生成色域对应的RGB颜色掩膜集合；其中，色域字典包括每个色域对应的HSV上限值和HSV下限值；
对RGB颜色掩膜集合进行合并，压缩为每个原始图像对应的板材颜色地图。
其进一步的技术方案为，使用第二卷积核对原始图像进行边界平滑处理，包括：
第二卷积核定义为：
使用第二卷积核对原始图像做卷积，并求取第二卷积核中“1”覆盖区域的最大值，表达式为：
其中，(x,y)为第二卷积核锚点位置的像素坐标，(x’,y’)为第二卷积核中锚点周围像素相对于锚点的坐标偏移量，BoardRoi(·)为原始图像，BoardRoiPro4(x,y)为第一次边界平滑后的处理结果图；
使用第二卷积核对第一次边界平滑后的处理结果图做卷积，并求取第二卷积核中“1”覆盖区域的最小值，表达式为：
其中，BoardRoiPro5(x,y)为第二次边界平滑后的处理结果图。
其进一步的技术方案为，提取滤波后的图像的边缘信息并进行处理，输出板材边缘轮廓线，包括：
使用Canny边缘检测算法对滤波后的图像进行边缘提取操作，输出板材边缘信息图；
利用霍夫变换检测法对板材边缘信息图进行线段拟合操作，输出板材线段拟合信息表；
对板材线段拟合信息表中的相交线段进行短边修剪操作，输出修剪后的线段拟合信息表；
根据修剪后的线段拟合信息表中的线段计算并输出板材边缘轮廓线。
其进一步的技术方案为，对板材内部区域图进行缩放切片处理，包括：
对板材内部区域图进行等比例缩放，将图像高度缩放至设定像素大小；
计算缩放后的图像宽度；
若图像宽度小于设定像素，则扩充图像宽度，对不足区域进行零值填充；
计算图像切片数量，表达式为：N＝math.ceil(W/S)，其中：N为切片数量，W为扩充后的图像宽度，S为设定像素；
计算切片步长，表达式为：Step＝S-(S*N-W)/(N-1)，其中Step为切片步长；
使用切片步长以S×S大小对缩放后的图像进行平移切片。
其进一步的技术方案为，对板材线段拟合信息表中的相交线段进行短边修剪操作，包括：
对板材线段拟合信息表中的所有原始线段进行两两交点计算；
若两个原始线段存在交点，则生成以交点为一个端点、第一和第二线段的四个端点分别作为另一个端点的四个新线段；
分别计算属于同一原始线段上的两个新线段的长度，并以长度小的新线段作为原始线段的短边；
若短边的长度小于设定阈值，则将短边从相应的原始线段中裁去。
其进一步的技术方案为，该方法还包括：
对RGB颜色掩膜集合中的每种颜色覆盖区域进行面积统计，按照所占面积由大到小进行排序，提取前N种颜色作为板材的颜色标签。
其进一步的技术方案为，对V通道图像中低于亮度阈值的图像进行亮度增强处理，包括：
利用高斯函数与V通道图像做卷积得到光照分量，表达式为：
I(x,y)＝F(x,y)G(x,y)；
其中，F(x,y)为V通道图像；I(x,y)为计算得到的光照分量；G(x,y)为高斯函数，高斯函数的形式如下：
其中，c为尺度因子，λ为归一化常数；
提取出光照分量后，构建二维伽马函数对V通道图像进行自适应亮度矫正，表达式为：
其中，O(x,y)为光照矫正处理后输出的V通道新图像；γ为亮度增强的指数值，m为光照分量的亮度均值。
其进一步的技术方案为，进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集，包括：
将每个金属板材的照片缩放至设定像素大小，输出归一化后的固定小尺寸图；
对固定小尺寸图进行RGB三色通道分离，并采用直方图均衡化处理算法对各个通道图像进行图像光照均衡化处理，输出均衡后的全通道图；
将均衡后的全通道图送入板材单一目标检测卷积神经网络中，输出各个金属板材的掩膜区域图合集；
将掩膜区域图合集中的每个图像还原至照片尺寸大小，输出尺寸还原后的掩膜区域图合集；
使用尺寸还原后的掩膜区域图合集在相应的各个照片中裁切出每个金属板材的独立图像，输出去除背景后的原始尺寸的板材区域图合集。
本发明的有益技术效果是：
通过获取金属板材在预定时间时的表面照片，先进行板材目标检测获取每个板材区域图像，再基于图像处理和色域字典进行表面颜色识别，在确定颜色合格后，最后基于边缘检测技术和卷积神经网络进行水膜破裂检测，水膜在预定时间内没有破裂说明板材表面的洁净度和平整度较好，否则在颜色或水膜不符合要求时，返回上一工序重新进行碱洗或酸洗，使用该检测方法减少了人员与硝酸、重金属盐等有毒有害化学品的直接接触，保障从业人员的安全健康，且涉及到的图像处理技术和深度学习算法有效提高了板材表面缺陷检测的精度、稳定性和速度。
附图说明
图1是本申请提供的金属板材表面缺陷检测方法的整体流程图。
图2是本申请提供的板材目标检测方法的流程图。
图3是本申请提供的板材目标检测方法输出的结果图。
图4是本申请提供的表面颜色识别方法的流程图。
图5是本申请提供的板材水膜检测方法的流程图。
图6是本申请提供的缩放切片处理的示意图。
图7是本申请提供的板材水膜检测方法输出的结果图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示，一种基于深度学习的金属板材表面缺陷检测方法，包括如下步骤：
步骤1：在多个金属板材经过第一或第二处理工序后的预定时间时，获取每个金属板材的照片frame_org。
其中，第一处理工序依次包括碱洗和水洗工序，第二处理工序依次包括酸洗和水洗工序。
可选的，通过在每个水洗工序处安装多个工业相机来拍摄金属板材的照片，包括金属板材的正面照片和背面照片。
步骤2：对所有金属板材的照片frame_org进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集board_rois和相应的掩膜区域图合集mask_resizes。如图2所示，具体包括如下分步骤：
步骤21：将每个金属板材的照片frame_org缩放至设定像素大小，比如512×512，输出归一化后的固定小尺寸图frame_mini。
步骤22：对固定小尺寸图frame_mini进行RGB三色通道分离，并采用直方图均衡化处理算法Pro_1对各个通道图像进行图像光照均衡化处理，输出均衡后的全通道图frame_mini_equ。
其中，直方图均衡化处理算法Pro_1为本领域的现有技术手段，在此不做详细描述。
步骤23：将均衡后的全通道图frame_mini_equ送入板材单一目标检测卷积神经网络DR_1中，输出各个金属板材的掩膜区域图合集。
可选的，板材单一目标检测卷积神经网络DR_1使用two-stage检测框架，以深度残差学习块结构为主干网络层结构模式，接入RPN(Region Proposal Network，区域候选网络)生成板材目标候选区域(region proposals)。通过softmax判断anchors属于板材前景或者无目标背景，同时利用bounding box regression修正anchors的偏移和缩放，获得精确的proposals。
步骤24：将掩膜区域图合集中的每个图像还原至照片尺寸大小，也即还原成512×512，输出尺寸还原后的掩膜区域图合集mask_resizes。
步骤25：使用尺寸还原后的掩膜区域图合集mask_resizes在相应的各个照片frame_org中裁切出每个金属板材的独立图像，如图3所示，输出去除背景后的原始尺寸的板材区域图合集board_rois。
步骤3：对原始尺寸的板材区域图合集board_rois进行表面颜色识别，若颜色合格，则执行步骤4，否则执行步骤5。
在碱洗或酸洗完成后，所有板材都应是银色的，不应呈现其他颜色，或部分区域呈现其他颜色。呈现其他颜色通常是由于前序工艺处理异常导致。因此出现异色时，应回退到上一步，继续进行碱洗或酸洗，直到表面的异常颜色全部被腐蚀掉。
其中，表面颜色识别方法的流程图如图4所示，具体包括如下步骤：
对于原始尺寸的板材区域图合集board_rois中的每个原始图像：
1)将原始图像从RGB颜色空间转换为HSV颜色空间，并进行三色通道分离。
2)对V通道图像board_V中低于亮度阈值的图像进行亮度增强处理Pro_2，并将处理后的三色通道重新合并，输出合并后的图像board_hsv_pro。
其中，亮度增强处理Pro_2的实现步骤如下：
A.利用高斯函数与V通道图像board_V做卷积得到光照分量，表达式为：
I(x,y)＝F(x,y)G(x,y)；
其中，F(x,y)为V通道图像；I(x,y)为计算得到的光照分量；G(x,y)为高斯函数，高斯函数的形式如下：
其中，c为尺度因子；λ为归一化常数，确保G(x,y)满足归一化条件，即：
∫∫G(x,y)dxdy＝1。
B.提取出光照分量后，构建二维伽马函数对V通道图像进行自适应亮度矫正，表达式为：
其中，O(x,y)为光照矫正处理后输出的V通道新图像；γ为亮度增强的指数值，m为光照分量的亮度均值。
3)使用第一卷积核对合并后的图像board_hsv_pro做卷积，实现图像的钝化处理Pro_3，输出钝化后的全通道图像board_blur。
其中，第一卷积核定义为：
取内核区域下所有非零像素的平均值并替换中心元素，钝化的作用为钝化图像的过渡色，让数值不离散，保证相近处的颜色一致。
4)利用色域字典Color_Dict对钝化后的图像board_blur进行色域分区，提取对应色域所占范围，生成色域对应的RGB颜色掩膜集合board_color_masks。
其中，色域字典Color_Dict包括每个色域对应的HSV上限值和HSV下限值，如表1所示。
表1.色域字典Color_Dict
其中，将介于灰色和白色的HSV限制值之间的色域定义为银色。
5)对RGB颜色掩膜集合board_color_masks进行合并，将所有颜色压缩为每个原始图像frame_org对应的板材颜色地图board_color_map输出。
6)对RGB颜色掩膜集合board_color_masks中的每种颜色覆盖区域进行面积统计，按照所占面积由大到小进行排序，提取前N种颜色作为板材的颜色标签board_color_label输出。
步骤4：对原始尺寸的板材区域图合集board_rois进行板材水膜检测，若检测出板材表面附着的水膜破裂，则说明板材表面的洁净度和平整度不合格，执行步骤5；否则多个金属板材进入第二处理工序或烘干。
板材在经过碱洗或酸洗后，理论上表面应光滑平整无异物，在这种情况下，将板材由碱洗池/酸洗池转移到清水池中冲洗浸泡，从清水池中再次取出时，板材表面将贴附着一层水膜。通常情况下，在30秒内水膜不应破裂；30秒后，水膜由于蒸发作用干燥褪去是正常现象。反之，30秒内出现水膜破裂情况，一般是由于破裂位置存在缺陷(脏污、胶水、划痕、凹凸)导致表面洁净度不够、表面不平整，使得其表面水膜张力不均，造成提前破裂。出现水膜破裂时，应退回到上一步，继续进行碱洗/酸洗，直到表面30秒内不再出现水膜破裂现象。因此，本实施例采用的预定时间为30s。
其中，板材水膜检测方法的流程图如图5所示，具体包括如下步骤：
对于原始尺寸的板材区域图合集board_rois中的每个原始图像：
1)使用第二卷积核对原始图像board_roi进行边界平滑处理，输出平滑后的板材区域图board_mor。
其中，第二卷积核定义为：
使用第二卷积核对原始图像board_roi做卷积，并求取第二卷积核中“1”覆盖区域的最大值，则Pro_4的表达式为：
其中，(x,y)为第二卷积核锚点位置的像素坐标，(x’,y’)为第二卷积核中锚点周围像素相对于锚点的坐标偏移量，BoardRoi(·)为原始图像，BoardRoiPro4(x,y)为第一次边界平滑后的处理结果图。
使用第二卷积核对第一次边界平滑后的处理结果图做卷积，并求取第二卷积核中“1”覆盖区域的最小值，则Pro_5的表达式为：
其中，BoardRoiPro5(x,y)为第二次边界平滑后的处理结果图。
2)将平滑后的图像board_mor转化为灰度图board_mor_gray输出，并使用第三卷积核进行高斯滤波，输出滤波图board_mor_blur。
其中第三卷积核定义为：
3)提取滤波后的图像board_mor_blur的边缘信息并进行处理，输出板材边缘轮廓线board_edge_lines，具体包括如下分步骤：
A.使用Canny边缘检测算法对滤波后的图像board_mor_blur进行边缘提取操作Pro_6，输出板材边缘信息图board_mor_sides。
其中，Canny边缘检测算法为本领域的现有技术手段，在此不做详细描述。
B.利用霍夫变换检测法对板材边缘信息图board_mor_sides进行线段拟合操作Pro_7，输出板材线段拟合信息表board_lines。
其中，霍夫变换检测法为本领域的现有技术手段，在此不做详细描述；线段拟合的目的是防止将水膜破裂的边缘作为板材的边缘，提高拟合精度。
C.对板材线段拟合信息表board_lines中的相交线段进行短边修剪操作Pro_8，输出修剪后的线段拟合信息表board_clear_lines。
其中Pro_8能够修剪边缘轮廓线的直角区域，其实现步骤如下：
a.对板材线段拟合信息表board_lines中的所有原始线段进行两两交点计算。
b.若两个原始线段L(p1,p2)、L(p3,p4)存在交点px，则生成以交点px为一个端点、第一和第二线段的四个端点p1-p4分别作为另一个端点的四个新线段L(p1,px)、L(px,p2)、L(p3,px)、L(px,p4)。
c.分别计算属于同一原始线段上的两个新线段的长度，并以长度小的新线段作为原始线段的短边。
d.若短边的长度小于设定阈值，则将短边从相应的原始线段中裁去。
D.根据修剪后的线段拟合信息表board_clear_lines中的线段计算并输出板材边缘轮廓线board_edge_lines。
4)利用板材边缘轮廓线board_edge_lines在原始图像board_roi中对背景区域进行反向清除，输出清除背景及边缘的板材内部区域图board_clear_bg。
5)对板材内部区域图board_clear_bg进行缩放切片处理Pro_9，输出板材切片图集board_clear_bg_slice_group。
其中Pro_9的实现步骤如下：
A.对板材内部区域图board_clear_bg进行等比例缩放，将图像高度缩放至设定像素大小，比如缩放至512像素，如图6-(1)所示。
B.计算缩放后的图像宽度W’。
C.若图像宽度W’＜512，则扩充图像宽度，对不足区域进行零值填充。
D.计算图像切片数量，表达式为：N＝math.ceil(W/S)，其中：N为切片数量，W为扩充后的图像宽度，S为设定像素，在本实施例中，S＝512。
E.计算切片步长，表达式为：Step＝S-(S*N-W)/(N-1)，其中Step为切片步长。
F.使用切片步长以512×512大小对缩放后的图像进行平移切片，如图6-(2)所示。
6)将板材切片图集board_clear_bg_slice_group中的每个切片送入板材水膜破裂检测卷积神经网络DR_2中，输出板材水膜破裂切片标记合集board_clear_bg_slice_masks。
其中，DR_2为图像分割卷积神经网络，以MobileNet V3为主干网络，网络结构上采用DLA(Deep Layer Aggregation，深层聚合)网络进行拓展，实现对板材水膜破裂区域的语义分割检测。
其中，DLA网络的聚合节点Aggregation Nodes采用了conv-BN激活函数的组合结构，聚合结点采用1×1卷积，使用一个额外IDA(Instance-Depth-Aware，实例深度感知)结构进行3×3卷积特征插值。由于残差连接的有效性，Aggregation Nodes也采用了残差连接。
7)将板材水膜破裂切片标记合集board_clear_bg_slice_masks进行合并复原，输出板材检测结果全图board_mask，如图7所示。
步骤5：多个金属板材返回第一或第二处理工序，并重新执行步骤1。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述方法包括：
在多个金属板材经过第一或第二处理工序后的预定时间时，获取每个所述金属板材的照片，并进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集；其中，第一处理工序依次包括碱洗和水洗工序，第二处理工序依次包括酸洗和水洗工序；
对所述原始尺寸的板材区域图合集进行表面颜色识别，若颜色合格，则对所述原始尺寸的板材区域图合集进行板材水膜检测；否则重新执行所述第一或第二处理工序；
若检测出板材表面附着的水膜破裂，则说明板材表面的洁净度和平整度不合格，重新执行所述第一或第二处理工序。
2.根据权利要求1所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述对所述原始尺寸的板材区域图合集进行板材水膜检测，包括，对于所述原始尺寸的板材区域图合集中的每个原始图像：
使用第二卷积核对所述原始图像进行边界平滑处理；
将平滑后的图像转化为灰度图，并使用第三卷积核进行高斯滤波，其中所述第三卷积核定义为：
提取滤波后的图像的边缘信息并进行处理，输出板材边缘轮廓线；
利用所述板材边缘轮廓线在所述原始图像中对背景区域进行反向清除，输出清除背景及边缘的板材内部区域图；
对所述板材内部区域图进行缩放切片处理，输出板材切片图集；
将所述板材切片图集中的每个切片送入板材水膜破裂检测卷积神经网络中，输出板材水膜破裂切片标记合集；
将所述板材水膜破裂切片标记合集进行合并复原，输出板材检测结果全图。
3.根据权利要求1所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述对所述原始尺寸的板材区域图合集进行表面颜色识别，包括，对于所述原始尺寸的板材区域图合集中的每个原始图像：
将所述原始图像从RGB颜色空间转换为HSV颜色空间，并进行三色通道分离；
对V通道图像中低于亮度阈值的图像进行亮度增强处理，并将处理后的三色通道重新合并；
使用第一卷积核对合并后的图像做卷积，实现图像的钝化处理，所述第一卷积核定义为：
利用色域字典对钝化后的图像进行色域分区，提取对应色域所占范围，生成色域对应的RGB颜色掩膜集合；其中，所述色域字典包括每个色域对应的HSV上限值和HSV下限值；
对所述RGB颜色掩膜集合进行合并，压缩为每个所述原始图像对应的板材颜色地图。
4.根据权利要求2所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述使用第二卷积核对所述原始图像进行边界平滑处理，包括：
第二卷积核定义为：
使用所述第二卷积核对所述原始图像做卷积，并求取所述第二卷积核中“1”覆盖区域的最大值，表达式为：
其中，(x,y)为第二卷积核锚点位置的像素坐标，(x’,y’)为第二卷积核中锚点周围像素相对于锚点的坐标偏移量，BoardRoi(·)为原始图像，BoardRoiPro4(x,y)为第一次边界平滑后的处理结果图；
使用所述第二卷积核对所述第一次边界平滑后的处理结果图做卷积，并求取所述第二卷积核中“1”覆盖区域的最小值，表达式为：
其中，BoardRoiPro5(x,y)为第二次边界平滑后的处理结果图。
5.根据权利要求2所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述提取滤波后的图像的边缘信息并进行处理，输出板材边缘轮廓线，包括：
使用Canny边缘检测算法对滤波后的图像进行边缘提取操作，输出板材边缘信息图；
利用霍夫变换检测法对所述板材边缘信息图进行线段拟合操作，输出板材线段拟合信息表；
对所述板材线段拟合信息表中的相交线段进行短边修剪操作，输出修剪后的线段拟合信息表；
根据所述修剪后的线段拟合信息表中的线段计算并输出板材边缘轮廓线。
6.根据权利要求2所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述对所述板材内部区域图进行缩放切片处理，包括：
对所述板材内部区域图进行等比例缩放，将图像高度缩放至设定像素大小；
计算缩放后的图像宽度；
若所述图像宽度小于设定像素，则扩充图像宽度，对不足区域进行零值填充；
计算图像切片数量，表达式为：N＝math.ceil(W/S)，其中：N为切片数量，W为扩充后的图像宽度，S为所述设定像素；
计算切片步长，表达式为：Step＝S-(S*N-W)/(N-1)，其中Step为切片步长；
使用所述切片步长以S×S大小对缩放后的图像进行平移切片。
7.根据权利要求5所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述对所述板材线段拟合信息表中的相交线段进行短边修剪操作，包括：
对所述板材线段拟合信息表中的所有原始线段进行两两交点计算；
若两个原始线段存在交点，则生成以所述交点为一个端点、第一和第二线段的四个端点分别作为另一个端点的四个新线段；
分别计算属于同一原始线段上的两个新线段的长度，并以长度小的新线段作为所述原始线段的短边；
若所述短边的长度小于设定阈值，则将所述短边从相应的原始线段中裁去。
8.根据权利要求3所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述方法还包括：
对所述RGB颜色掩膜集合中的每种颜色覆盖区域进行面积统计，按照所占面积由大到小进行排序，提取前N种颜色作为板材的颜色标签。
9.根据权利要求3所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述对V通道图像中低于亮度阈值的图像进行亮度增强处理，包括：
利用高斯函数与V通道图像做卷积得到光照分量，表达式为：
I(x,y)＝F(x,y)G(x,y)；
其中，F(x,y)为V通道图像；I(x,y)为计算得到的光照分量；G(x,y)为高斯函数，所述高斯函数的形式如下：
其中，c为尺度因子，λ为归一化常数；
提取出所述光照分量后，构建二维伽马函数对所述V通道图像进行自适应亮度矫正，表达式为：
其中，O(x,y)为光照矫正处理后输出的V通道新图像；γ为亮度增强的指数值，m为光照分量的亮度均值。
10.根据权利要求1所述的基于深度学习的金属板材表面缺陷检测方法，其特征在于，所述进行板材目标检测，输出去除背景后的原始尺寸的板材区域图合集，包括：
将每个所述金属板材的照片缩放至设定像素大小，输出归一化后的固定小尺寸图；
对所述固定小尺寸图进行RGB三色通道分离，并采用直方图均衡化处理算法对各个通道图像进行图像光照均衡化处理，输出均衡后的全通道图；
将所述均衡后的全通道图送入板材单一目标检测卷积神经网络中，输出各个金属板材的掩膜区域图合集；
将所述掩膜区域图合集中的每个图像还原至照片尺寸大小，输出尺寸还原后的掩膜区域图合集；
使用所述尺寸还原后的掩膜区域图合集在相应的各个照片中裁切出每个所述金属板材的独立图像，输出去除背景后的原始尺寸的板材区域图合集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210282739.0A CN114638807B (zh) | 2022-03-22 | 2022-03-22 | 一种基于深度学习的金属板材表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210282739.0A CN114638807B (zh) | 2022-03-22 | 2022-03-22 | 一种基于深度学习的金属板材表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638807A true CN114638807A (zh) | 2022-06-17 |
| CN114638807B CN114638807B (zh) | 2023-10-20 |
Family
ID=81950285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210282739.0A Active CN114638807B (zh) | 2022-03-22 | 2022-03-22 | 一种基于深度学习的金属板材表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638807B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292248A (zh) * | 2023-10-30 | 2023-12-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130089854A1 (en) * | 2010-11-25 | 2013-04-11 | Xian Weitong Bioscience Limited Company | Kit for dot immunogold directed filtration assay and use thereof |
| CN103808947A (zh) * | 2014-03-11 | 2014-05-21 | 爱威科技股份有限公司 | 试纸条淋样槽、干化分析仪及其淋样与清洗方法 |
| CN104020177A (zh) * | 2014-06-26 | 2014-09-03 | 重庆大学 | 连铸坯表面缺陷双ccd扫描成像检测方法 |
| US20160231252A1 (en) * | 2013-08-06 | 2016-08-11 | Jürgen-Peter Herrmann | Apparatus and method for tracking defects in sheet materials |
| CN109829880A (zh) * | 2018-12-07 | 2019-05-31 | 清影医疗科技（深圳）有限公司 | 一种基于深度学习的ct图像检测方法、装置和控制设备 |
| CN111696109A (zh) * | 2020-05-25 | 2020-09-22 | 深圳大学 | 面向视网膜oct三维影像的高精度层分割方法 |
| CN111784671A (zh) * | 2020-06-30 | 2020-10-16 | 天津大学 | 基于多尺度深度学习的病理图像病灶区域检测方法 |
| CN113077453A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的电路板元器件缺陷检测方法 |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN113920090A (zh) * | 2021-10-13 | 2022-01-11 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的预制棒外观缺陷自动化检测方法 |
-
2022
- 2022-03-22 CN CN202210282739.0A patent/CN114638807B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130089854A1 (en) * | 2010-11-25 | 2013-04-11 | Xian Weitong Bioscience Limited Company | Kit for dot immunogold directed filtration assay and use thereof |
| US20160231252A1 (en) * | 2013-08-06 | 2016-08-11 | Jürgen-Peter Herrmann | Apparatus and method for tracking defects in sheet materials |
| CN103808947A (zh) * | 2014-03-11 | 2014-05-21 | 爱威科技股份有限公司 | 试纸条淋样槽、干化分析仪及其淋样与清洗方法 |
| CN104020177A (zh) * | 2014-06-26 | 2014-09-03 | 重庆大学 | 连铸坯表面缺陷双ccd扫描成像检测方法 |
| CN109829880A (zh) * | 2018-12-07 | 2019-05-31 | 清影医疗科技（深圳）有限公司 | 一种基于深度学习的ct图像检测方法、装置和控制设备 |
| CN111696109A (zh) * | 2020-05-25 | 2020-09-22 | 深圳大学 | 面向视网膜oct三维影像的高精度层分割方法 |
| CN111784671A (zh) * | 2020-06-30 | 2020-10-16 | 天津大学 | 基于多尺度深度学习的病理图像病灶区域检测方法 |
| CN113077453A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的电路板元器件缺陷检测方法 |
| CN113469177A (zh) * | 2021-06-30 | 2021-10-01 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及系统 |
| CN113920090A (zh) * | 2021-10-13 | 2022-01-11 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的预制棒外观缺陷自动化检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| LIN C S等: "Automatic inspection and strategy for surface defects in the PI coating process of TFT‐LCD panels", 《ASSEMBLY AUTOMATION》, vol. 31, no. 3, pages 244 - 250 * |
| 刘源泂: "基于图像处理的钢板表面缺陷成像优化与深度信息提取方法研究", 《中国博士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 5, pages 022 - 3 * |
| 周神特等: "基于机器视觉的金属板材表面缺陷光学检测技术", 《无损检测》, no. 9, pages 45 - 50 * |
| 李秀艳等: "基于深度学习与多频电磁阵列检测的金属板材表面和内部缺陷识别方法", 《电子测量技术》, vol. 44, no. 4, pages 118 - 125 * |
| 陈智强等: "硅电池片自动串焊表面缺陷在线视觉检测研究", 《JOURNAL OF MECHANICAL & ELECTRICAL ENGINEERING》, vol. 35, no. 7, pages 773 - 778 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292248A (zh) * | 2023-10-30 | 2023-12-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
| CN117292248B (zh) * | 2023-10-30 | 2024-04-26 | 吉林农业大学 | 基于深度学习的农田喷药系统及杂草检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114638807B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460757B (zh) | 一种手机TFT-LCD屏Mura缺陷在线自动检测方法 | |
| Rahaman et al. | Automatic defect detection and classification technique from image: a special case using ceramic tiles | |
| CN106960208B (zh) | 一种仪表液晶数字自动切分和识别的方法及系统 | |
| CN107490582B (zh) | 一种流水线工件检测系统 | |
| WO2022012240A1 (zh) | 检测显示面板不良的方法及装置 | |
| CN109767445B (zh) | 一种高精度的pcb缺陷智能检测方法 | |
| CN115100221A (zh) | 一种玻璃缺陷分割方法 | |
| CN104792794A (zh) | 基于机器视觉的光学薄膜表面缺陷检测方法 | |
| CN116309600B (zh) | 基于图像处理的环保纺织品质量检测方法 | |
| CN115205223B (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
| CN108830857B (zh) | 一种自适应的汉字碑帖图像二值化分割方法 | |
| CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN105447489B (zh) | 一种图片ocr识别系统的字符与背景粘连噪声消除方法 | |
| CN113658131A (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
| CN113033558B (zh) | 一种用于自然场景的文本检测方法及装置、存储介质 | |
| Shire et al. | Plain ceramic tiles surface defect detection using image processing | |
| CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| Sanghadiya et al. | Surface defect detection in a tile using digital image processing: Analysis and evaluation | |
| CN112669295A (zh) | 一种基于二次阈值分割理论的锂电池极片缺陷检测方法 | |
| CN114638807A (zh) | 一种基于深度学习的金属板材表面缺陷检测方法 | |
| CN110007493A (zh) | 液晶显示屏中碎亮点检测方法 | |
| CN115272350A (zh) | 一种计算机pcb主板生产质量检测方法 | |
| CN116758423A (zh) | 一种基于白点率法的输电线路异物检测方法 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |