CN116206104A - 用于工业外观缺陷检测的人工智能分割分类算法 - Google Patents
用于工业外观缺陷检测的人工智能分割分类算法 Download PDFInfo
- Publication number
- CN116206104A CN116206104A CN202211696261.2A CN202211696261A CN116206104A CN 116206104 A CN116206104 A CN 116206104A CN 202211696261 A CN202211696261 A CN 202211696261A CN 116206104 A CN116206104 A CN 116206104A
- Authority
- CN
- China
- Prior art keywords
- model
- classification
- training
- segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供用于工业外观缺陷检测的人工智能分割分类算法,涉及工业计算机视觉技术领域。包括以下具体步骤,首先通过样本的轮廓标注得到训练数据集,然后构建语义分割格式的训练集,完成训练的预处理,然后构建语义分割模型进行模型的训练,最后利用训练的分割模型进行在线推理检测出缺陷的精确位置。本发明采用自主设计分割模型,检出包含缺陷的图像区域,并带有评分;然后自主设计分类模型,过滤误判为缺陷的正常图像区域,最终实验验证算法的缺陷检出能力和降误判能力,并利用人工智能算法,设计了分割模型和分类模型,并验证分割模型的保检出能力、分类模型的降误判能力,达到工业外观缺陷智能检测,达到制造领域品保环节的降本增效。
Description
技术领域
本发明涉及工业计算机视觉技术领域,特别涉及用于工业外观缺陷检测的人工智能分割分类算法。
背景技术
目前的工业外观缺陷检测算法主要是基于传统图像算法,存在问题有:可应用场景有限(基于正负样本库的图像差值对比,提供公差类检测服务,无法对划伤、异物、缺损等无规则缺陷保存标准样本)、检测精度低(无法提取各种缺陷内在特征,当待检品与标准样本有出入时,可能会误判)、普适性差(针对产品改良和规格升级条件下,无法对海量标准样本进行算法重构)、天花板明显(当缺陷与背景的边缘特征很不明显时,传统图像算法所表现的天花板越来越明显),国内目前还没有自主研发的用于外观缺陷检测的人工智能分割分类算法。
针对工业领域缺陷检测业务需求、传统图像算法应用局限、本算法分割和分类两个层面展开研发,第一个层面是分割,保证外观缺陷检出力,满足业务需求,第二个层面是分类,对分割检出的结果进行复盘,保证误判在工程可接受范围内,本算法的缺陷检出率趋近于100%、漏检率趋近于0%。直通率达80%以上。
发明内容
(一)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:用于工业外观缺陷检测的人工智能分割分类算法,包括以下具体步骤,首先通过样本的轮廓标注得到训练数据集,然后构建语义分割格式的训练集,完成训练的预处理,然后构建语义分割模型进行模型的训练,最后利用训练的分割模型进行在线推理检测出缺陷的精确位置;
其中语义分割首先需要人工标注待检测目标的边缘轮廓信息,包含精细的边缘轮廓以及轮廓内包含的目标类别;
然后把标注好的样本集按类别随机打乱,然后组装成语义分割可以理解的数据格式,即每个标注区域内用该类别对应的像素值填充,把目标与目标之间的标签信息相互隔离,组装成语义分割可以训练的数据格式;
之后通过对整幅图像进行OK和NG打标签得到训练数据集,然后构建分类格式的训练集,完成训练的预处理,通过对整幅图像进行OK和NG打标签得到训练数据集,然后构建分类格式的训练集,完成训练的预处理,图像分类首先需要人工对每幅图像打标签。
优选的,所述构建语义分割模型选择UNet模型,所述语义分割模型还包含四层下采样作为编码模块和四层上采样作为解码模块,编码模块和解码模块左右完全对称,且相对应的层之间进行浅层和深层的特征融合,融合完成后得到一个跟输入图像相同大小的预测概率图,最后计算输入图像与上一步得到的概率图之间的损失,通过损失的反向传播来训练语义分割模型;
其中图像卷积公式:
Wout=(Win+2*P-F)/S+T
式中,Win为输入图像的宽,F为滤波器的大小,S为移动步长,P为卷积时扩展的像素数,T为实验参数。
进一步,其中损失函数包括Dice Loss、Focal Loss和带权的交叉熵损失
Dice损失:
为dice系数,它是描述两个集合相似度的度量函数,一般用于计算两个样本的相似度,取值范围在0到1之间;
Focal loss
带权交叉熵损失函数
式中,ωc为类别的权重系数,
在交叉熵损失函数的基础上为每个类别增加一个权重系数,以此来提高类别数量过少的样本的损失值,这样做可以让样本数量不均衡的时候仍然能训练出一个好的结果,M为待检测的类别数动态改变学习率:
new_lr=lr*factor
当验证集的训练loss在指定的轮数下没有继续降低时就把学习率乘以一个衰减因子,同时也设置了一个最小的学习率,来防止学习率无限制的降低而导致损失陷入局部最优解。
更进一步,所述算法采用AdamW优化器,它是Adam的进化版本,并采用了在线的数据扩展模式。
更加进一步,所述图像分类首先需要人工对每幅图像打标签后,把标注好的样本集按类别随机打乱,然后组装成分类模型可以理解的数据格式,即每个图像对应一个label,组装成分类模型可以训练的数据格式。
更加进一步,其中构建分类模型选择ResNet18模型,经验证后在工业瑕疵检测领域,ResNet18是17个卷积层加上1个全连接层,该模型主要用了跨层连接的残差结构,模型由4个layer组成每一个layer包含2个basicBlock,每一个basicBlock有2次卷积操作,layer1没有下采样操作,其他3个layer均进行了下采样,最关键的地方,每一个basicBlock内部都有残差结构。
更加进一步,由于要支持多类别的分类,我们采用了加权的交叉熵损失带权交叉熵损失函数:
式中,为类别的权重系数,在交叉熵损失函数的基础上为每个类别增加一个权重系数,以此来提高类别数量过少的样本的损失值,这样做可以让样本数量不均衡的时候仍然能训练出一个好的结果,M为待检测的类别数。
(二)有益效果
本发明提供了用于工业外观缺陷检测的人工智能分割分类算法。具备以下有益效果:本发明采用自主设计分割模型,检出包含缺陷的图像区域,并带有评分;然后自主设计分类模型,过滤误判为缺陷的正常图像区域,最终实验验证算法的缺陷检出能力和降误判能力,并利用人工智能算法,设计了分割模型和分类模型,并验证分割模型的保检出能力、分类模型的降误判能力,达到工业外观缺陷智能检测,达到制造领域品保环节的降本增效。
附图说明
图1为本发明分割技术方案示意图;
图2为本发明分类技术方案示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
如图1-2所示,首先通过样本的轮廓标注得到训练数据集,然后构建语义分割格式的训练集,完成训练的预处理;然后构建语义分割模型进行模型的训练,最后利用训练的分割模型进行在线推理检测出缺陷的精确位置;
语义分割首先需要人工标注待检测目标的边缘轮廓信息,包含精细的边缘轮廓以及轮廓内包含的目标类别。
把标注好的样本集按类别随机打乱,然后组装成语义分割可以理解的数据格式,即每个标注区域内用该类别对应的像素值填充,把目标与目标之间的标签信息相互隔离,组装成语义分割可以训练的数据格式。
构建语义分割模型,考虑到工业缺陷项目,缺陷样本获取难度比较大,所以本发明选择了UNet模型,它是为了解决生物医学图像问题而提出的,经验证后在工业瑕疵检测领域小样本的情况下训练效果也很好,语义分割模型包含四层下采样作为编码模块和四层上采样作为解码模块,编码模块和解码模块左右完全对称,且相对应的层之间进行浅层和深层的特征融合,减少细节损失,然后得到一个跟输入图像相同大小的预测概率图,最后计算输入图像与上一步得到的概率图之间的损失,通过损失的反向传播来训练语义分割模型。
图像卷积公式:
Wout=(Win+2*P-F)/S+T
式中,Win为输入图像的宽,F为滤波器的大小,S为移动步长,P为卷积时扩展的像素数,T为实验参数。
损失函数包括Dice Loss、Focal Loss和带权的交叉熵损失
Dice损失:
为dice系数,它是描述两个集合相似度的度量函数,一般用于计算两个样本的相似度,取值范围在0到1之间。其中|X∩Y|是X和Y之间的交集,|X|和|Y|分别为其元素的像素之和。一般情况下,为了避免分子或者分母为0情况,我们会在计算时,在分子和分母上都加上一个很小的值。U为实验参数。
Focal loss
带权交叉熵损失函数
式中,ωc为类别的权重系数,
在交叉熵损失函数的基础上为每个类别增加一个权重系数,以此来提高类别数量过少的样本的损失值,这样做可以让样本数量不均衡的时候仍然能训练出一个好的结果。M为待检测的类别数
动态改变学习率
new_lr=lr*factor
当验证集的训练loss在指定的轮数下没有继续降低时就把学习率乘以一个衰减因子,同时也设置了一个最小的学习率,来防止学习率无限制的降低而导致损失陷入局部最优解。
优化器:
本发明使用了AdamW优化器,它是Adam的进化版本,也是目前训练神经网络收敛速度最快的方式之一
数据增强:
由于工业缺陷样本收集起来比较困难,所以在初期训练的时候,需要人为的进行数据扩展,一般分为离线数据扩展和在线数据扩展,为了减少应用人员的使用难度,本发现采用了在线的数据扩展模式。
对训练数据集进行旋转、缩放、颜色抖动、高斯模糊等方式进行扩展,使得每一张训练样本都扩展为多张样本,在有限的条件下丰富训练样本集。
最终达到精确的分割出缺陷边缘的目的,为待检测图像,其中黄色圆圈标注代表缺陷区域,通过训练好的模型进行语义分割前向推理,将缺陷区域从图像背景中分割出来,完成工业缺陷检测功能;
首先通过对整幅图像进行OK和NG打标签得到训练数据集,然后构建分类格式的训练集,完成训练的预处理;
然后构建分类模型进行模型的训练,最后利用训练的分割模型进行在线推理检测出图像所属的类别;
图像分类首先需要人工对每幅图像打标签。
把标注好的样本集按类别随机打乱,然后组装成分类模型可以理解的数据格式。即每个图像对应一个label,组装成分类模型可以训练的数据格式。
构建分类模型,考虑到工业缺陷项目,缺陷样本获取难度比较大,同时也要考虑训练时间和推理速度,所以本发明选择了ResNet18模型,经验证后在工业瑕疵检测领域小样本的情况下训练效果也很好,它很好的兼容了训练速度、推理速度以及识别准确率方面的权衡。
ResNet18其实就是17个卷积层加上1个全连接层。该模型主要用了跨层连接的残差结构。解决了深度网络训练时模型退化问题。模型由4个layer组成每一个layer包含2个basicBlock,每一个basicBlock有2次卷积操作,layer1没有下采样操作,其他3个layer均进行了下采样,最关键的地方,每一个basicBlock内部都有残差结构。
由于要支持多类别的分类,这里选择了交叉熵损失函数。同时为了解决不同类别的样本数量失衡问题,我们采用了加权的交叉熵损失带权交叉熵损失函数:
式中,为类别的权重系数,
在交叉熵损失函数的基础上为每个类别增加一个权重系数,以此来提高类别数量过少的样本的损失值,这样做可以让样本数量不均衡的时候仍然能训练出一个好的结果。M为待检测的类别数;
优化器:
本发明使用了AdamW优化器它是Adam的进化版本,也是目前训练神经网络收敛速度最快的方式之一;
数据增强:
由于工业缺陷样本收集起来比较困难,所以在初期训练的时候,需要人为的进行数据扩展,一般分为离线数据扩展和在线数据扩展,为了减少应用人员的使用难度,本发现采用了在线的数据扩展模式;
对训练数据集进行旋转、缩放、颜色抖动、高斯模糊等方式进行扩展,使得每一张训练样本都扩展为多张样本,在有限的条件下丰富训练样本集。
最终达到精确的分割出缺陷边缘的目的,如图1-2所示,为待检测图像,
该图像属于NG图,通过训练好的模型进行分类的前向推理,得到样本属于NG的结果,从而完成工业缺陷检测功能;
实现自主设计分割模型,检出包含缺陷的图像区域,并带有评分,然后自主设计分类模型,过滤误判为缺陷的正常图像区域,最终实验验证算法的缺陷检出能力和降误判能力。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:包括以下具体步骤,首先通过样本的轮廓标注得到训练数据集,然后构建语义分割格式的训练集,完成训练的预处理,然后构建语义分割模型进行模型的训练,最后利用训练的分割模型进行在线推理检测出缺陷的精确位置;
其中语义分割首先需要人工标注待检测目标的边缘轮廓信息,包含精细的边缘轮廓以及轮廓内包含的目标类别;
然后把标注好的样本集按类别随机打乱,然后组装成语义分割可以理解的数据格式,即每个标注区域内用该类别对应的像素值填充,把目标与目标之间的标签信息相互隔离,组装成语义分割可以训练的数据格式;
之后通过对整幅图像进行OK和NG打标签得到训练数据集,然后构建分类格式的训练集,完成训练的预处理,通过对整幅图像进行OK和NG打标签得到训练数据集,然后构建分类格式的训练集,完成训练的预处理,图像分类首先需要人工对每幅图像打标签。
2.根据权利要求1所述的用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:所述构建语义分割模型选择UNet模型,所述语义分割模型还包含四层下采样作为编码模块和四层上采样作为解码模块,编码模块和解码模块左右完全对称,且相对应的层之间进行浅层和深层的特征融合,融合完成后得到一个跟输入图像相同大小的预测概率图,最后计算输入图像与上一步得到的概率图之间的损失,通过损失的反向传播来训练语义分割模型;
其中图像卷积公式:
Wout=(Win+2*P-F)/S+T
式中,Win为输入图像的宽,F为滤波器的大小,S为移动步长,P为卷积时扩展的像素数,T为实验参数。
3.根据权利要求2所述的用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:其中损失函数包括DiceLoss、FocalLoss和带权的交叉熵损失,其中Dice损失:
Focalloss
式中,ωc为类别的权重系数,
在交叉熵损失函数的基础上为每个类别增加一个权重系数,M为待检测的类别数动态改变学习率:
new_lr=lr*factor
当验证集的训练loss在指定的轮数下没有继续降低时就把学习率乘以一个衰减因子,同时也设置了一个最小的学习率。
4.根据权利要求1所述的用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:所述算法采用AdamW优化器,它是Adam的进化版本,并采用了在线的数据扩展模式。
5.根据权利要求1所述的用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:所述图像分类首先需要人工对每幅图像打标签后,把标注好的样本集按类别随机打乱,然后组装成分类模型可以理解的数据格式,即每个图像对应一个label,组装成分类模型可以训练的数据格式。
6.根据权利要求5所述的用于工业外观缺陷检测的人工智能分割分类算法,其特征在于:其中构建分类模型选择ResNet18模型,经验证后在工业瑕疵检测领域,ResNet18是17个卷积层加上1个全连接层,该模型主要用了跨层连接的残差结构,模型由4个layer组成每一个layer包含2个basicBl ock,每一个basicBlock有2次卷积操作,layer1没有下采样操作,其他3个layer均进行了下采样,,每一个basicBlock内部都有残差结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211696261.2A CN116206104A (zh) | 2022-12-28 | 2022-12-28 | 用于工业外观缺陷检测的人工智能分割分类算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211696261.2A CN116206104A (zh) | 2022-12-28 | 2022-12-28 | 用于工业外观缺陷检测的人工智能分割分类算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116206104A true CN116206104A (zh) | 2023-06-02 |
Family
ID=86510428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211696261.2A Pending CN116206104A (zh) | 2022-12-28 | 2022-12-28 | 用于工业外观缺陷检测的人工智能分割分类算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116206104A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
CN117952983A (zh) * | 2024-03-27 | 2024-04-30 | 中电科大数据研究院有限公司 | 一种基于人工智能的智能制造生产过程监控方法和系统 |
-
2022
- 2022-12-28 CN CN202211696261.2A patent/CN116206104A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
CN116977635B (zh) * | 2023-07-19 | 2024-04-16 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
CN117952983A (zh) * | 2024-03-27 | 2024-04-30 | 中电科大数据研究院有限公司 | 一种基于人工智能的智能制造生产过程监控方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11055574B2 (en) | Feature fusion and dense connection-based method for infrared plane object detection | |
CN116206104A (zh) | 用于工业外观缺陷检测的人工智能分割分类算法 | |
CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
CN112766087A (zh) | 一种基于知识蒸馏的光学遥感图像舰船检测方法 | |
CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
CN107423747A (zh) | 一种基于深度卷积网络的显著性目标检测方法 | |
CN111832615A (zh) | 一种基于前景背景特征融合的样本扩充方法及系统 | |
CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
CN113657383B (zh) | 一种基于轻量化分割模型的缺陷区域检测方法及装置 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
CN111582102B (zh) | 基于多模态端到端网络的遥感数据精细化分类方法及装置 | |
CN112633149A (zh) | 一种域自适应雾天图像目标检测方法和装置 | |
CN111626090A (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
CN115223063A (zh) | 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 | |
CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
CN116071676A (zh) | 一种基于注意力导向金字塔融合的红外小目标检测方法 | |
CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
CN113888505A (zh) | 一种基于语义分割的自然场景文本检测方法 | |
CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
CN116596851A (zh) | 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法 | |
CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |