CN114723708A - 一种基于无监督图像分割的工艺品外观缺陷检测方法 - Google Patents
一种基于无监督图像分割的工艺品外观缺陷检测方法 Download PDFInfo
- Publication number
- CN114723708A CN114723708A CN202210365607.4A CN202210365607A CN114723708A CN 114723708 A CN114723708 A CN 114723708A CN 202210365607 A CN202210365607 A CN 202210365607A CN 114723708 A CN114723708 A CN 114723708A
- Authority
- CN
- China
- Prior art keywords
- matrix
- picture
- defect
- defect detection
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于无监督图像分割的工艺品外观缺陷检测方法,包括:生成预训练缺陷检测模型;使用预训练缺陷检测模型,抽取建立正常产品图像的特征图;使用预训练缺陷检测模型进行图片特征提取,生成低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值;选出所有异常分数值大于预设阈值的像素点,作为产品图像的缺陷分割的结果。本发明的有益效果是:本发明通过判断图片不同像素点偏离正常样本分离的程度,无需异常样本图像即可实现产品图像中缺陷区域的高效精准分割。
Description
技术领域
本发明涉及工艺品外观缺陷检测领域,更确切地说,它涉及一种基于无监督图像分割的工艺品外观缺陷检测方法。
背景技术
随着消费者对于工业制造产品质量要求的提高,工艺品的表面缺陷检测已经成为制造商越来越重视的环节之一,传统依靠人眼分辨产品缺陷的方法已经不能满足日益严苛的检测需求,加之人工检测存在主观性,以及新旧质检人员的熟练、效率和成本等制约,使得产品外观质检成为相关制造企业的一块心病。视觉硬件和人工智能技术发展成熟,使得越来越多的基于机器视觉技术的自动缺陷检测算法被应用于工业产品外观检测领域中。但是由于设备及工艺等因素的影响,产品表面的缺陷类型往往五花八门,比如织物生产中方出现的污点、破损,金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷,使得传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移,复用性不大,要求区分工况,这会浪费大量的人力成本。近年来,深度学习在特征提取和定位上取得了非常好的效果,产业界开始将深度学习算法引入到工艺品缺陷检测领域中,但深度学习模型需要海量的缺陷产品图像标注数据训练检测模型,而一些特殊的领域应用(如精密医疗、定制化的产品等)等由于其特殊性无法提供足够的精准标注数据,缺少足够的异常样本使得很难用监督学习模型实现工业质检。
发明内容
本发明的目的是克服现有技术中的不足,提供了一种基于无监督图像分割的工艺品外观缺陷检测方法,包括:
S1、使用公开的跨领域缺陷数据集,对深度卷积神经网络模型ResNet-50进行训练,生成预训练缺陷检测模型;
S2、使用所述预训练缺陷检测模型,抽取建立正常产品图像的特征图;
S3、在产品图像进行缺陷分割时,使用所述预训练缺陷检测模型进行图片特征提取,生成低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值;
S4、选出所有异常分数值大于预设阈值的像素点,作为所述产品图像的缺陷分割的结果。
作为优选,S2包括:
S201、对待检测图片尺寸进行预处理使其符合预训练缺陷检测模型的输入大小;
S202、使用预训练缺陷检测模型提取待检测图片不同卷积阶段的特征图;
S203、利用平滑算法对每个独立语义的特征图进行局部平滑。
作为优选,S3包括:
S301、利用半正交矩阵的正交不变性,采用均匀分布的k维正交向量与特征向量,得到嵌入生成低秩特征矩阵;
S302、使用低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值。
根据权利要求2所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S1中,所述深度卷积神经网络模型ResNet-50包括50层神经网络,所述神经网络被划分为5个阶段:
阶段1为输入图片处理阶段,将输入图片格式统一处理为(3,224,224),其中,输入图片的通道数为3,输入图片的长和宽均为224像素;首先进行卷积操作,卷积核大小为7*7,所述卷积核的数量为64个;其次,进行批归一化处理和Relu激活函数进行神经元的激活工作;再次,进行最大池化,计算核大小为3*3,步长为2;最后,进行平均池化,计算核的大小为2*2,步长为2;此时,输出格式为(64,56,56)的特征图;
阶段2到5均为卷积处理阶段,每个阶段包括三次卷积操作,卷积核大小均为3*3,步长为2;阶段2卷积核数量为64个,阶段3卷积核数量为128,阶段4卷积核数量为256,阶段5卷积核数量为512。
作为优选,S201中,所述预处理包括对待检测图片的大小进行调整,将待检测图片调整为(3,224,224)的格式;对于非正方形的待检测图片,还需对其空白处进行填补,保证图片输入格式正确。
作为优选,S202中,所述提取待检测图片不同卷积阶段的特征图表示为:
φi,j=φj(xi)
其中,φj(xi)表示从无缺陷样本xi在神经网络φ中的第j阶段抽取的特征,j表示卷积神经网络提取特征所在的卷积阶段,j∈{0,1,2,3,4};表示样本xi标签,0表示无缺陷样本xi为正常样本,1表示无缺陷样本xi为不正常样本;χN表示数据集,N表示数据集中样本的数量;φ表示卷积神经网络;x表示获取到的无缺陷分样本,并且满足 yx表示无缺陷分样本x的标签,yx∈{0,1},0表示无缺陷分样本x为正常样本,1表示无缺陷分样本x为不正常样本。
作为优选,S203中,采用的平滑算法为高斯平滑算法,高斯核的大小为3*3。
作为优选,S301中,将随机特征选择推广到半正交嵌入,作为马氏距离精确矩阵的低秩近似,表示为:
W=Q·sign(diag(R))
其中,W表示低秩矩阵,diag()表示对于矩阵求对角矩阵,sign()表示对矩阵均匀分布的符号进行求解,矩阵Q和矩阵R,从Ω=QR式中分解得到,矩阵Ω为由高斯分布的随机变量生成均匀分布的标准正交向量。
其中,Ci,j是特征图片像素位置(i,j)的协方差矩,表示为:
本发明的有益效果是:本发明通过判断图片不同像素点偏离正常样本分离的程度,无需异常样本图像即可实现产品图像中缺陷区域的高效精准分割。
附图说明
图1为本申请提供的一种基于无监督图像分割的工艺品外观缺陷检测方法的流程图;
图2为本申请提供的使用卷积神经网络抽取正常图像的特征图的流程图;
图3为本申请提供的预训练缺陷检测模型结构示意图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1:
一种基于无监督图像分割的工艺品外观缺陷检测方法,如图1所示,包括:
S1、使用公开的跨领域缺陷数据集,对深度卷积神经网络模型ResNet-50进行训练,生成预训练缺陷检测模型;
S2、使用预训练缺陷检测模型,抽取建立正常产品图像的特征图,构建样本特征库;
S3、在产品图像进行缺陷分割时,使用预训练缺陷检测模型进行图片特征提取,生成低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值;
S4、选出所有异常分数值大于预设阈值的像素点,作为产品图像的缺陷分割的结果。
如图2所示,S2包括:
S201、对待检测图片尺寸进行预处理使其符合预训练缺陷检测模型的输入大小;
S202、使用预训练缺陷检测模型提取待检测图片不同卷积阶段的特征图;
S203、利用平滑算法对每个独立语义的特征图进行局部平滑,去除噪声。
S3包括:
S301、利用半正交矩阵的正交不变性,采用均匀分布的k维正交向量与特征向量,得到嵌入生成低秩特征矩阵;
S302、使用低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值。
根据权利要求2的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S1中,深度卷积神经网络模型ResNet-50包括50层神经网络,如图3所示,神经网络被划分为5个阶段:
阶段1为输入图片处理阶段,将输入图片格式统一处理为(3,224,224),其中,输入图片的通道数为3,输入图片的长和宽均为224像素;首先进行卷积操作,卷积核大小为7*7,卷积核的数量为64个;其次,进行批归一化处理和Relu激活函数进行神经元的激活工作;再次,进行最大池化,计算核大小为3*3,步长为2;最后,进行平均池化,计算核的大小为2*2,步长为2;此时,输出格式为(64,56,56)的特征图;
阶段2到5均为卷积处理阶段,每个阶段包括三次卷积操作,卷积核大小均为3*3,步长为2;阶段2卷积核数量为64个,阶段3卷积核数量为128,阶段4卷积核数量为256,阶段5卷积核数量为512。
S201中,预处理包括对待检测图片的大小进行调整,将待检测图片调整为(3,224,224)的格式;对于非正方形的待检测图片,还需对其空白处进行填补,保证图片输入格式正确。
S202中,提取待检测图片不同卷积阶段的特征图表示为:
φi,j=φj(xi)
其中,φj(xi)表示从无缺陷样本xi在神经网络φ中的第j阶段抽取的特征,j表示卷积神经网络提取特征所在的卷积阶段,j∈{0,1,2,3,4};表示样本xi标签,0表示无缺陷样本xi为正常样本,1表示无缺陷样本xi为不正常样本;表示数据集,N表示数据集中样本的数量;φ表示卷积神经网络;x表示获取到的无缺陷分样本,并且满足 yx表示无缺陷分样本x的标签,yx∈{0,1},0表示无缺陷分样本x为正常样本,1表示无缺陷分样本x为不正常样本。
S203中,采用的平滑算法为高斯平滑算法,高斯核的大小为3*3。
S301中,将随机特征选择推广到半正交嵌入,作为马氏距离精确矩阵的低秩近似,表示为:
W=Q·sign(diag(R))
其中,W表示低秩矩阵,diag()表示对于矩阵求对角矩阵,sign()表示对矩阵均匀分布的符号进行求解,矩阵Q和矩阵R,从Ω=QR式中分解得到,矩阵Ω为由高斯分布的随机变量生成均匀分布的标准正交向量。
其中,Ci,j是特征图片像素位置(i,j)的协方差矩,表示为:
实施例2:
将本申请提出的缺陷检测方法与四种主流的基于分割的缺陷检测方法进行比较。
可以看出,本实施例提出的基于无监督图像分割的工艺品外观缺陷检测方法达到了最优性能,在仅使用良品图像的情况下,实现了高质量的缺陷检测,具有重要的商业价值和意义。
表1缺陷检测实验结果表
检测方法 | 检测准确率 |
FCN(全卷积神经网络) | 0.85 |
SegNet(基于卷积编码器-解码器结构的模型) | 0.863 |
PSPN(多尺度网络) | 0.872 |
Mask R-CNN(实例分割) | 0.883 |
本申请方法 | 0.898 |
Claims (9)
1.一种基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,包括:
S1、使用公开的跨领域缺陷数据集,对深度卷积神经网络模型ResNet-50进行训练,生成预训练缺陷检测模型;
S2、使用所述预训练缺陷检测模型,抽取建立正常产品图像的特征图;
S3、在产品图像进行缺陷分割时,使用所述预训练缺陷检测模型进行图片特征提取,生成低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值;
S4、选出所有异常分数值大于预设阈值的像素点,作为所述产品图像的缺陷分割的结果。
2.根据权利要求1所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S2包括:
S201、对待检测图片尺寸进行预处理使其符合预训练缺陷检测模型的输入大小;
S202、使用预训练缺陷检测模型提取待检测图片不同卷积阶段的特征图;
S203、利用平滑算法对每个独立语义的特征图进行局部平滑。
3.根据权利要求1所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S3包括:
S301、利用半正交矩阵的正交不变性,采用均匀分布的k维正交向量与特征向量,得到嵌入生成低秩特征矩阵;
S302、使用低秩特征矩阵,基于马氏距离计算图像每个像素点的异常分数值。
4.根据权利要求2所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S1中,所述深度卷积神经网络模型ResNet-50包括50层神经网络,所述神经网络被划分为5个阶段:
阶段1为输入图片处理阶段,将输入图片格式统一处理为(3,224,224),其中,输入图片的通道数为3,输入图片的长和宽均为224像素;首先进行卷积操作,卷积核大小为7*7,所述卷积核的数量为64个;其次,进行批归一化处理和Relu激活函数进行神经元的激活工作;再次,进行最大池化,计算核大小为3*3,步长为2;最后,进行平均池化,计算核的大小为2*2,步长为2;此时,输出格式为(64,56,56)的特征图;
阶段2到5均为卷积处理阶段,每个阶段包括三次卷积操作,卷积核大小均为3*3,步长为2;阶段2卷积核数量为64个,阶段3卷积核数量为128,阶段4卷积核数量为256,阶段5卷积核数量为512。
5.根据权利要求2所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S201中,所述预处理包括对待检测图片的大小进行调整,将待检测图片调整为(3,224,224)的格式;对于非正方形的待检测图片,还需对其空白处进行填补,保证图片输入格式正确。
6.根据权利要求4所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S202中,所述提取待检测图片不同卷积阶段的特征图表示为:
φi,j=φj(xi)
7.根据权利要求4所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S203中,采用的平滑算法为高斯平滑算法,高斯核的大小为3*3。
8.根据权利要求3所述的基于无监督图像分割的工艺品外观缺陷检测方法,其特征在于,S301中,将随机特征选择推广到半正交嵌入,作为马氏距离精确矩阵的低秩近似,表示为:
W=Q·sign(diag(R))
其中,W表示低秩矩阵,diag()表示对于矩阵求对角矩阵,sign()表示对矩阵均匀分布的符号进行求解,矩阵Q和矩阵R,从Ω=QR式中分解得到,矩阵Ω为由高斯分布的随机变量生成均匀分布的标准正交向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210365607.4A CN114723708A (zh) | 2022-04-07 | 2022-04-07 | 一种基于无监督图像分割的工艺品外观缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210365607.4A CN114723708A (zh) | 2022-04-07 | 2022-04-07 | 一种基于无监督图像分割的工艺品外观缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114723708A true CN114723708A (zh) | 2022-07-08 |
Family
ID=82241024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210365607.4A Withdrawn CN114723708A (zh) | 2022-04-07 | 2022-04-07 | 一种基于无监督图像分割的工艺品外观缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114723708A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984265A (zh) * | 2023-03-16 | 2023-04-18 | 山东金帝精密机械科技股份有限公司 | 一种用于轴承保持架的表面养护方法及设备 |
CN116485779A (zh) * | 2023-05-11 | 2023-07-25 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
CN116563281A (zh) * | 2023-07-07 | 2023-08-08 | 浙江省北大信息技术高等研究院 | 五金件质量检测方法、装置、计算机设备及存储介质 |
CN117523322A (zh) * | 2024-01-04 | 2024-02-06 | 成都数联云算科技有限公司 | 一种基于无监督学习的缺陷检测系统和方法 |
-
2022
- 2022-04-07 CN CN202210365607.4A patent/CN114723708A/zh not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984265A (zh) * | 2023-03-16 | 2023-04-18 | 山东金帝精密机械科技股份有限公司 | 一种用于轴承保持架的表面养护方法及设备 |
CN116485779A (zh) * | 2023-05-11 | 2023-07-25 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
CN116485779B (zh) * | 2023-05-11 | 2024-01-30 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
CN116563281A (zh) * | 2023-07-07 | 2023-08-08 | 浙江省北大信息技术高等研究院 | 五金件质量检测方法、装置、计算机设备及存储介质 |
CN117523322A (zh) * | 2024-01-04 | 2024-02-06 | 成都数联云算科技有限公司 | 一种基于无监督学习的缺陷检测系统和方法 |
CN117523322B (zh) * | 2024-01-04 | 2024-03-15 | 成都数联云算科技有限公司 | 一种基于无监督学习的缺陷检测系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114723708A (zh) | 一种基于无监督图像分割的工艺品外观缺陷检测方法 | |
CN111815601B (zh) | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 | |
CN108305243B (zh) | 一种基于深度学习的磁瓦表面缺陷检测方法 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
Martins et al. | Automatic detection of surface defects on rolled steel using computer vision and artificial neural networks | |
CN112418130A (zh) | 一种基于bp神经网络的香蕉成熟度检测方法及装置 | |
CN101140216A (zh) | 基于数字图像处理技术的气液两相流流型识别方法 | |
CN113706490B (zh) | 一种晶片缺陷检测方法 | |
CN111914902B (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
CN113516619B (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
CN111091134A (zh) | 一种基于多特征融合的色纺织物组织结构识别的方法 | |
CN115082477B (zh) | 一种基于去反光效果的半导体晶圆加工质量检测方法 | |
CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN111754502A (zh) | 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法 | |
CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
CN114663391A (zh) | 一种基于无监督深度学习算法的工业图像缺陷检测方法 | |
CN111161233A (zh) | 一种用于冲孔皮革缺陷检测方法及系统 | |
CN113989196A (zh) | 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法 | |
CN112614113A (zh) | 一种基于深度学习的带钢缺陷检测方法 | |
CN116664540A (zh) | 基于高斯线检测的橡胶密封圈表面缺陷检测方法 | |
CN116563250A (zh) | 一种复原式自监督疵点检测方法、装置及存储介质 | |
Wang et al. | Data augmentation method for fabric defect detection | |
CN116664494A (zh) | 一种基于模板对比的表面缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220708 |
|
WW01 | Invention patent application withdrawn after publication |