CN115601355A - 一种产品表面缺陷检测与分类方法、装置及存储介质 - Google Patents
一种产品表面缺陷检测与分类方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115601355A CN115601355A CN202211405086.7A CN202211405086A CN115601355A CN 115601355 A CN115601355 A CN 115601355A CN 202211405086 A CN202211405086 A CN 202211405086A CN 115601355 A CN115601355 A CN 115601355A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- information
- target area
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 318
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 238000005520 cutting process Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 38
- 238000013145 classification model Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 8
- 230000002950 deficient Effects 0.000 description 6
- 238000011179 visual inspection Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开一种产品表面缺陷检测与分类方法、装置及存储介质，方法包括获取产品待检测面的外观检测区域的图像，外观检测区域包括目标区域及非目标区域；从外观检测区域的图像中分割后裁剪得到目标区域对应的目标区域图像，舍弃非目标区域图像；对目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；对目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；基于每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断每一个候选缺陷是否为真正的缺陷。本发明根据不同检测面上的不同缺陷信息，基于产品检测标准，输出缺陷检测结果实现千面千检。
Description
技术领域
本发明涉及工业视觉检测技术领域，尤其涉及一种产品表面缺陷检测与分类方法、装置及存储介质。
背景技术
在工业制造领域中，产品质量检测是其生产环节末端最重要和关键的步骤。为保证产品出厂质量，企业必须将不合格品检出并进行后处理；同时，找到不良品并分析其各类型缺陷形态特征、所在位置及其占比、大小等对改进生产工艺、预测性维护等至关重要。在部分高精密工业制品领域内，尤其是连接器领域，目前还没有形成成熟的完整的外观检测解决方案，企业多采用人工目检的方式对产品进行缺陷检测和后处理。然而，由于产品外观的复杂性质检工人通常都是在显微镜下逐颗检查。由此，对于质检人员来说，工作强度大，工作内容单一枯燥，导致员工流动性巨大；另一方面，企业培训质检人员往往耗时耗力，人工成本高、效率低下，检测效果差，产品出厂一致性差等问题。
此外，通常来说工业制品具有多个外观检测面，通常不同的检测面具有不同的重要性，比如连接器产品，针体面相较塑料面就更重要。针对同一个外观缺陷，在不同的检测面上具有不同的检测标准；同一个检测面上不同的缺陷类型也具有不同的检测标准。采用人工目检的方式，如果要测量每一个缺陷的具体尺寸和大小，则需要借助测量工作，进一步增加检测成本，同时误差也较大，结果也不能存储和分析。
因此，对工业制造业领域说，尤其对于连接器领域来说，采用完整的外观检测解决方案具有强烈的需求，对于产品的每个检测面分别采用不同的检测标准，标识出每个缺陷的具体空间位置、形态特征、大小以及类别信息，并根据这些信息和质量检测标准判断该产品是否为合格品，且可以实现对产品的等级进行灵活调整。
发明内容
本发明提供了一种产品表面缺陷检测与分类方法、装置及存储介质，以解决现有技术中多采用人工目检的方式对产品进行缺陷检测和后处理，导致耗时耗力，人工成本高、效率低下，检测效果差，产品出厂一致性差等问题，此外，针对针对同一个外观缺陷，在不同的检测面上具有不同的检测标准；同一个检测面上不同的缺陷类型也具有不同的检测标准，从而进一步造成增大了检测成本、误差大的问题。
本发明公开了一种产品表面缺陷检测与分类方法、装置及存储介质，采用分割方法对图像进行预处理，以获得需要检测的面的目标区域图像，采用粗分割加二分类的方法筛选候选缺陷，采用精细分割加缺陷多分类的方法对候选缺陷进行精细分割以获得像素级的缺陷位置信息和缺陷类别信息，根据不同检测面上的不同缺陷信息，基于产品检测标准，输出缺陷检测结果。
本发明采用的技术方案是：提供一种产品表面缺陷检测与分类方法，包括如下步骤：
获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像；
从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像；
对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；
对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；
基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷；
对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
进一步的，所述从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像的方法包括：
利用训练后的分割模型将所述外观检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型、模板匹配模型、形态学分割模型或边缘分割模型；分割的类别数为产品待检测面的数量；
裁剪出目标区域中的目标区域图像，去除非目标区域图像。
进一步的，所述裁剪出目标区域中的目标区域图像的方法包括：
将产品外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；
根据所述多类别语义掩膜图，从所述产品外观检测区域的图像中裁剪得到所述目标区域图像。
进一步的，所述对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息的方法包括：
对所述目标区域图像采用滑动窗口方式在所述目标区域图像上滑动，获得多个待检测子图像，所述滑动窗口方式是指按步长和重叠区域获取目标区域图像的子图；
对所述多个待检测子图像进行缺陷粗分割和二分类，获得每个待检测子图像上的缺陷信息，所述缺陷信息包含缺陷粗分割定位信息以及分类的得分值；
融合每个待检测子图像上的缺陷信息，得到目标区域图像上候选缺陷及其缺陷粗分割信息，所述融合的方式是指对有重叠的子图，将其粗分割掩膜图合并在一起。
进一步的，所述对所述多个待检测子图像进行缺陷粗分割和二分类，获得每个待检测子图像上的缺陷信息，所述缺陷信息包含缺陷粗分割定位信息以及分类的得分值的方法包括：
训练一个语义粗分割联合二分类模型；
利用训练好的语义粗分割联合二分类模型对每个待检测子图像进行语义分割，输出缺陷的位置信息和分类的得分值；
根据分类的得分值和分类阈值，判断所有子图上的缺陷是否为候选缺陷，保留是缺陷的子图上的缺陷信息。
进一步的，所述对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息的方法包括：
对每一个候选缺陷，以粗分割区域的中心点为中心，切割目标区域图像上对应中心位置上的固定大小的缺陷子图，得到含缺陷的子图图像；
对每一个含缺陷的子图图像，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息。
进一步的，利用训练后的语义边缘联合分割模型，对所述含缺陷的子图图像进行精细分割得到含缺陷边缘信息和缺陷语义信息的掩模图像；
利用缺陷多分类器，对所述含缺陷的子图图像进行缺陷类别分类，得到所述候选缺陷的缺陷信息和类别信息，并更新当前候选缺陷的分割信息和类别信息；
其中，所述语义边缘联合分割模型为一个双路神经网络模型，一路包含语义分割模型，一路包含边缘检测模型；
所述候选缺陷的缺陷信息至少包括：缺陷的像素级分割掩膜图、缺陷的形态信息、缺陷的位置信息以及缺陷的边缘信息。
进一步的，所述语义边缘联合分割模型的训练方法包括：
获取产品缺陷样本图像及其语义标注和边缘轮廓；
从缺陷样本图像中裁剪出以每个缺陷轮廓中心点为中心、固定大小的包含缺陷子图像作为训练样本图像，并获得训练样本图像的缺陷信息，其中所述训练样本图像的缺陷信息包括：与缺陷子图像对应大小和对应空间位置的语义分割掩膜图和边缘轮廓掩膜图；
利用训练样本图像及其缺陷信息，训练语义边缘联合分割模型。
本发明还提供一种产品表面缺陷检测与分类装置，包括：
图像获取模块，用于获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像；
图像预处理模块，用于从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像；
缺陷粗分类和二分类模块，用于对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；
缺陷精细分割及缺陷分类模块，用于对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；
缺陷决策模块，用于基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷；
产品决策模块，用于对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
本发明还提供一种存储介质，所述存储介质上存储有产品表面缺陷检测与分类程序，所述产品表面缺陷检测与分类程序被处理器执行时实现上述的产品表面缺陷检测与分类方法的步骤。
本发明的有益效果是：本发明的方法针对产品提出了一种“粗过滤，细检测”的检测方法与装置，深度挖掘图像中与质量检测标准相匹配的缺陷的所有信息，这对于工业质量检测领域工艺改进、出厂产品质量一致性有巨大的实际意义，可以根据缺陷信息灵活调整出厂产品质量等级，对标不同产品和不同检测区域的质量检测标准。首先，分割后裁剪的设计屏蔽掉了背景干扰区域，“粗过滤”采用级联的粗语义分割与二分类模型对子块区域检测后融合，使得细粒度的缺陷也能具有高召回率，低误检率；对候选缺陷，“细检测”则设计更小的检测区域，采用精细分割和多分类器对缺陷的精细位置进行定位和类别确认，更小的检测区域使得模型训练变得更准确和容易，提升精细分割效果。从而获得大量缺陷信息，包含像素级精度的区域，位置，形态，大小，类别等。根据这些信息以及质量检测标准去确认当前缺陷是否为缺陷，当前产品是否为合格品，根据这些信息工人可以进一步去分析产生的原因，调整工艺技术细节，还可以灵活调整产品等级，实现“千面千检”。
附图说明
图1为本发明公开的产品表面缺陷检测与分类方法的流程示意图；
图2为本发明公开的产品表面缺陷检测与分类装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步详细描述，但本发明的实施方式不限于此。
实施例1：
参见图1，公开一种产品表面缺陷检测与分类方法，包括如下步骤：
S1、获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像。
具体的，例如产品为连接器产品，获取一个连接器产品待检测面的外观检测区域的图像的方法，包括：采用图像采集设备对一个产品所有待检测面进行拍摄，所述目标区域是指涉及产品质量检测标准的外观面，所述外观面可能包括：基座面，各种针体面，所述非目标区域包括载具，夹具等结构成像区域。这些非目标区域增大目标区域的分割难度和运算量。在这些非目标区域内，不会存在产品的外观缺陷，因此屏蔽掉这些区域可以减轻误检和运算量。
S2、从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像。
具体的，S2包括：
S21、利用训练后的分割模型将所述外观检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型、模板匹配模型、形态学分割模型或边缘分割模型；分割的类别数为产品待检测面的数量；
S22、裁剪出目标区域中的目标区域图像，去除非目标区域图像。
所述分割模型为深度学习语义分割模型时，语义分割模型的类别数为产品待检测面的数量，模型采用FCN，deeplab系列模型，unet、u2net等。
所述分割模型为模板匹配模型时，一个待检测面生成一个模板匹配图像，包含该检测区域位置信息，根据模板匹配图像的各个特征点与所述目标区域的图像的各个特征点之间进行相似度计算，确定匹配定位信息。
所述裁剪出目标区域中的目标区域图像的方法包括：
S221、将产品外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；
S222、根据所述多类别语义掩膜图，从所述产品外观检测区域的图像中裁剪得到所述目标区域图像。
S3、对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息。
具体的，S3包括如下步骤：
S31:对所述目标区域图像采用滑动窗口方式在所述目标区域图像上滑动，获得多个待检测子图像，所述滑动窗口方式是指按步长和重叠区域获取目标区域图像的子图。
具体实施例中，滑动窗口包括：设定滑动步长，滑动重叠步长，例如：滑动步长设置为横轴方向512像素，纵轴方向设置为512像素，滑动重叠步长设置为45像素。所述步长也可以是256。
获得多个待检测子图像的方法包括：选取目标区域图像上左上角坐标为起始坐标，根据滑动步长，滑动重叠步长，计算当前子图上的左上角坐标，根据左上角坐标在目标区域图像上裁剪512x512区域的图像，作为待检测子图像。
S32:对所述多个待检测子图像进行缺陷粗分割和二分类，获得每个待检测子图像上的缺陷信息，所述缺陷信息包含缺陷粗分割定位信息以及分类的得分值。
对所述多个待检测子图像进行缺陷粗分割和二分类的方法包括：
S321、训练语义粗分割联合二分类模型；
S322、利用训练好的语义粗分割联合二分类模型对每个待检测子图像进行语义分割，输出缺陷的位置信息和分类的得分值；
S323、根据分类的得分值和分类阈值，判断所有子图上的缺陷是否为候选缺陷，保留是缺陷的子图上的缺陷信息。
具体的，所述训练语义粗分割联合二分类模型的方法包括：
S3211.将有缺陷的样本图像提取目标检测区域，按步长512，重叠区域45来切割得到512x512的子图像，子图像上有缺陷则为NG样本，没有缺陷则为OK样本，构建训练样本集；
S3212、语义粗分割联合二分类模型是一个骨架为vgg或者repvgg，接了一个二分类的分类器的模型；
S3213、对每个缺陷样本，训练时，将语义标签膨胀19倍；
S3214、采用分阶段训练所述语义粗分割联合二分类模型。
构建所述语义粗分割联合二分类模型，能实现待检测子图像上缺陷的像素级粗分割以及二分类，其骨架由5层vgg或者repvgg卷积神经网络、3层卷积层，bachnorm层，relu层，maxpooling层，avgpooling层，全连接层构成，具有两个分支的输出，分别是粗语义输出以及分类的得分值。
具体实施例中，构建所述语义粗分割联合二分类模型后，还包括：训练样本的构建、损失函数的设定、优化器的设定、学习策略的设定以及迭代更新训练所述语义粗分割联合二分类模型的设定。加入正则化公式来提高模型的泛化能力。
S33:融合每个待检测子图像上的缺陷信息，得到目标区域图像上候选缺陷及其缺陷粗分割信息，所述融合的方式是指对有重叠的子图，将其粗分割掩膜图合并在一起。
具体的，融合每个待检测子图像上的缺陷信息的方法包括：
S331、设定阈值0.5，根据分类得分值，大于阈值则判断为缺陷，保留当前子图缺陷为候选缺陷；
S332、遍历所有子图上的候选缺陷，将重叠区域的粗分割语义掩膜图做交集。
S4、对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息。
具体的，S4包括：
S41、对每一个候选缺陷，以粗分割区域的中心点为中心，切割目标区域图像上对应中心位置上的固定大小的缺陷子图，得到含缺陷的子图图像。具体的，固定大小为96x96。
S42、对每一个含缺陷的子图图像，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息。
具体实施例中，S42包括：
S421、利用训练后的语义边缘联合分割模型，对所述含缺陷的子图图像进行精细分割得到含缺陷边缘信息和缺陷语义信息的掩模图像。
具体的，构建训练样本集的方法为：切割训练样本中每个候选缺陷对应的96x96的缺陷图像，包含标注信息及类别标签作为NG样本，无缺陷样本随机切割96x96大小作为OK样本，构建训练样本集。
所述语义边缘联合分割模型其结构是一个双路神经网络模型，一路包含语义分割模型，一路包含边缘检测模型，其中，语义分割模型采用vgg骨架结构，边缘检测模型采用unet骨架结构。
训练语义边缘联合分割模型，设置该模型的初始化方式为随机初始化，损失函数为bceloss，优化器设置为SGD以及其他超参数。
将训练样本图像及语义标注标签和边缘标签输入语义分割网络中，经训练得到语义边缘联合分割模型。
具体的，所述语义边缘联合分割模型的训练方法包括：
S4211、获取产品缺陷样本图像及其语义标注和边缘轮廓.
S4212、从缺陷样本图像中裁剪出以每个缺陷轮廓中心点为中心、固定大小的包含缺陷子图像作为训练样本图像，并获得训练样本图像的缺陷信息，其中所述训练样本图像的缺陷信息包括：与缺陷子图像对应大小和对应空间位置的语义分割掩膜图和边缘轮廓掩膜图。
S4213、利用训练样本图像及其缺陷信息，训练语义边缘联合分割模型。
S422、利用缺陷多分类器，对所述含缺陷的子图图像进行缺陷类别分类，得到所述候选缺陷的缺陷信息和类别信息，并更新当前候选缺陷的分割信息和类别信息。所述候选缺陷的缺陷信息至少包括：缺陷的像素级分割掩膜图、缺陷的形态信息、缺陷的位置信息以及缺陷的边缘信息。
具体的，所述S422包括：
S4221、构建mobielnetv3网络作为多分类网络。
S4222、训练mobilenetv3网络，设置多分类网络的初始化方式为随机初始化，损失函数设定为crossentropy loss，优化器设置为sgd以及其他超参数。
S4223、将训练样本图像及缺陷类别标签输入语义分割网络中，经训练得到多分类网络。
S5、基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷。
具体的，S5包括：
S51、对所述候选缺陷，判断其目标区域的位置信息，属于“哪个面”；
S52、基于缺陷所在的目标区域，和相应的产品检测标准，根据缺陷的位置以及类别信息，确定所述候选缺陷是否为最终缺陷；所述产品质量检测标准，不同类型缺陷，检测标准不一；
S53、判断所述产品是否为不良品，若所述产品的任意位置，存在不符合质量检测标准的缺陷，在判断为不良品。
例如，检测到基座面上存在一个长边大于0.5mm，形态类椭圆形，边缘清晰的金属类缺陷，则判断所述候选缺陷为真正的缺陷。
S6、对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
实施例2
参见图2，本实施例公开一种产品表面缺陷检测与分类装置，包括：
图像获取模块10，用于获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像；
图像预处理模块20，用于从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像；
缺陷粗分类和二分类模块30，用于对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；
缺陷精细分割及缺陷分类模块40，用于对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；
缺陷决策模块50，用于基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷；
产品决策模块60，用于对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
实施例3
本实施例公开一种存储介质，所述存储介质上存储有产品表面缺陷检测与分类程序，所述产品表面缺陷检测与分类程序被处理器执行时实现如实施例1所述的产品表面缺陷检测与分类方法的步骤。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种产品表面缺陷检测与分类方法，其特征在于，包括如下步骤：
获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像；
从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像；
对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；
对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；
基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷；
对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
2.根据权利要求1所述的产品表面缺陷检测与分类方法，其特征在于，所述从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像的方法包括：
利用训练后的分割模型将所述外观检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型、模板匹配模型、形态学分割模型或边缘分割模型；分割的类别数为产品待检测面的数量；
裁剪出目标区域中的目标区域图像，去除非目标区域图像。
3.根据权利要求2所述的产品表面缺陷检测与分类方法，其特征在于，所述裁剪出目标区域中的目标区域图像的方法包括：
将产品外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；
根据所述多类别语义掩膜图，从所述产品外观检测区域的图像中裁剪得到所述目标区域图像。
4.根据权利要求1所述的产品表面缺陷检测与分类方法，其特征在于，所述对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息的方法包括：
对所述目标区域图像采用滑动窗口方式在所述目标区域图像上滑动，获得多个待检测子图像，所述滑动窗口方式是指按步长和重叠区域获取目标区域图像的子图；
对所述多个待检测子图像进行缺陷粗分割和二分类，获得每个待检测子图像上的缺陷信息，所述缺陷信息包含缺陷粗分割定位信息以及分类的得分值；
融合每个待检测子图像上的缺陷信息，得到目标区域图像上候选缺陷及其缺陷粗分割信息，所述融合的方式是指对有重叠的子图，将其粗分割掩膜图合并在一起。
5.根据权利要求4所述的产品表面缺陷检测与分类方法，其特征在于，所述对所述多个待检测子图像进行缺陷粗分割和二分类，获得每个待检测子图像上的缺陷信息，所述缺陷信息包含缺陷粗分割定位信息以及分类的得分值的方法包括：
训练一个语义粗分割联合二分类模型；
利用训练好的语义粗分割联合二分类模型对每个待检测子图像进行语义分割，输出缺陷的位置信息和分类的得分值；
根据分类的得分值和分类阈值，判断所有子图上的缺陷是否为候选缺陷，保留是缺陷的子图上的缺陷信息。
6.根据权利要求1所述的产品表面缺陷检测与分类方法，其特征在于，所述对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息的方法包括：
对每一个候选缺陷，以粗分割区域的中心点为中心，切割目标区域图像上对应中心位置上的固定大小的缺陷子图，得到含缺陷的子图图像；
对每一个含缺陷的子图图像，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息。
7.根据权利要求6所述的产品表面缺陷检测与分类方法，其特征在于，
利用训练后的语义边缘联合分割模型，对所述含缺陷的子图图像进行精细分割得到含缺陷边缘信息和缺陷语义信息的掩模图像；
利用缺陷多分类器，对所述含缺陷的子图图像进行缺陷类别分类，得到所述候选缺陷的缺陷信息和类别信息，并更新当前候选缺陷的分割信息和类别信息；
其中，所述语义边缘联合分割模型为一个双路神经网络模型，一路包含语义分割模型，一路包含边缘检测模型；
所述候选缺陷的缺陷信息至少包括：缺陷的像素级分割掩膜图、缺陷的形态信息、缺陷的位置信息以及缺陷的边缘信息。
8.根据权利要求7所述的产品表面缺陷检测与分类方法，其特征在于，所述语义边缘联合分割模型的训练方法包括：
获取产品缺陷样本图像及其语义标注和边缘轮廓；
从缺陷样本图像中裁剪出以每个缺陷轮廓中心点为中心、固定大小的包含缺陷子图像作为训练样本图像，并获得训练样本图像的缺陷信息，其中所述训练样本图像的缺陷信息包括：与缺陷子图像对应大小和对应空间位置的语义分割掩膜图和边缘轮廓掩膜图；
利用训练样本图像及其缺陷信息，训练语义边缘联合分割模型。
9.一种产品表面缺陷检测与分类装置，其特征在于，包括：
图像获取模块，用于获取产品待检测面的外观检测区域的图像，所述外观检测区域包括目标区域以及非目标区域，所述待检测面包括产品的所有外观检测面，得到多张外观检测区域图像；
图像预处理模块，用于从所述外观检测区域的图像中分割后裁剪得到所述目标区域对应的目标区域图像，舍弃非目标区域图像；
缺陷粗分类和二分类模块，用于对所述目标区域图像进行缺陷粗分割和二分类，得到目标区域图像上的候选缺陷及其缺陷信息；
缺陷精细分割及缺陷分类模块，用于对所述目标区域图像上的候选缺陷，进一步进行精细分割以及缺陷多类别识别，得到每一个候选缺陷的缺陷信息和类别信息；
缺陷决策模块，用于基于所述每一个候选缺陷的缺陷信息和类别信息，以及基于产品质量检测标准，判断所述每一个候选缺陷是否为真正的缺陷；
产品决策模块，用于对于所述外观检测区域的图像上存在至少一个真正的缺陷，判断该图像为不合格，如果不存在真正的缺陷，则判断该图像为合格。
10.一种存储介质，其特征在于，所述存储介质上存储有产品表面缺陷检测与分类程序，所述产品表面缺陷检测与分类程序被处理器执行时实现如权利要求1至8任一项所述的产品表面缺陷检测与分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211405086.7A CN115601355A (zh) | 2022-11-10 | 2022-11-10 | 一种产品表面缺陷检测与分类方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211405086.7A CN115601355A (zh) | 2022-11-10 | 2022-11-10 | 一种产品表面缺陷检测与分类方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115601355A true CN115601355A (zh) | 2023-01-13 |
Family
ID=84852141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211405086.7A Pending CN115601355A (zh) | 2022-11-10 | 2022-11-10 | 一种产品表面缺陷检测与分类方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601355A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115876804A (zh) * | 2023-02-20 | 2023-03-31 | 深圳市信仪旺实业有限公司 | 一种口罩缺陷视觉检测方法及系统 |
| CN116051551A (zh) * | 2023-03-29 | 2023-05-02 | 深圳市康凌源科技有限公司 | 基于图像处理的显示屏缺陷检测方法及相关装置 |
| CN116228778A (zh) * | 2023-05-10 | 2023-06-06 | 国网山东省电力公司菏泽供电公司 | 一种基于多模态信息融合的绝缘子破裂的检测方法及系统 |
| CN116485729A (zh) * | 2023-04-03 | 2023-07-25 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
| CN116993733A (zh) * | 2023-09-27 | 2023-11-03 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及系统 |
| CN117746077A (zh) * | 2024-02-20 | 2024-03-22 | 深圳超盈智能科技有限公司 | 一种芯片缺陷的检测方法、装置、设备和存储介质 |
-
2022
- 2022-11-10 CN CN202211405086.7A patent/CN115601355A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115876804A (zh) * | 2023-02-20 | 2023-03-31 | 深圳市信仪旺实业有限公司 | 一种口罩缺陷视觉检测方法及系统 |
| CN116051551A (zh) * | 2023-03-29 | 2023-05-02 | 深圳市康凌源科技有限公司 | 基于图像处理的显示屏缺陷检测方法及相关装置 |
| CN116051551B (zh) * | 2023-03-29 | 2023-06-09 | 深圳市康凌源科技有限公司 | 基于图像处理的显示屏缺陷检测方法及相关装置 |
| CN116485729A (zh) * | 2023-04-03 | 2023-07-25 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
| CN116485729B (zh) * | 2023-04-03 | 2024-01-12 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
| CN116228778A (zh) * | 2023-05-10 | 2023-06-06 | 国网山东省电力公司菏泽供电公司 | 一种基于多模态信息融合的绝缘子破裂的检测方法及系统 |
| CN116228778B (zh) * | 2023-05-10 | 2023-09-08 | 国网山东省电力公司菏泽供电公司 | 一种基于多模态信息融合的绝缘子破裂的检测方法及系统 |
| CN116993733A (zh) * | 2023-09-27 | 2023-11-03 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及系统 |
| CN116993733B (zh) * | 2023-09-27 | 2024-01-09 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及系统 |
| CN117746077A (zh) * | 2024-02-20 | 2024-03-22 | 深圳超盈智能科技有限公司 | 一种芯片缺陷的检测方法、装置、设备和存储介质 |
| CN117746077B (zh) * | 2024-02-20 | 2024-05-10 | 深圳超盈智能科技有限公司 | 一种芯片缺陷的检测方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN108520274B (zh) | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 | |
| CN117115147B (zh) | 一种基于机器视觉的纺织品检测方法及系统 | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN110264457A (zh) | 基于旋转区域候选网络的焊缝自主识别方法 | |
| CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
| Liang et al. | Research on concrete cracks recognition based on dual convolutional neural network | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN112183593A (zh) | 一种基于dssd算法的道路损伤检测方法 | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| CN112508935A (zh) | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 | |
| CN114219753A (zh) | 一种基于深度学习的电力设备表面缺陷检测方法及终端 | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| CN113673534B (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
| Yang et al. | Weld defect cascaded detection model based on bidirectional multi-scale feature fusion and shape pre-classification | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN118506338A (zh) | 一种基于深度学习的电子器件印刷字符识别检测方法 | |
| Wu et al. | Semiautomatic mask generating for electronics component inspection | |
| Kumari et al. | On the use of Moravec operator for text detection in document images and video frames | |
| CN113781449A (zh) | 一种基于多尺度特征融合的纺织品瑕疵分类方法 | |
| CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |