CN113920087A - 基于深度学习的微小元器件缺陷检测系统及方法 - Google Patents
基于深度学习的微小元器件缺陷检测系统及方法 Download PDFInfo
- Publication number
- CN113920087A CN113920087A CN202111175401.7A CN202111175401A CN113920087A CN 113920087 A CN113920087 A CN 113920087A CN 202111175401 A CN202111175401 A CN 202111175401A CN 113920087 A CN113920087 A CN 113920087A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- network
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013523 data management Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
基于深度学习的微小元器件缺陷检测系统及方法，属于缺陷检测系统领域，是针对传统模式作效率低、产品成本高的问题所提出，硬件部分包括：工业镜头，工业相机，光源和计算机；软件部分包括：图像采集模块，图像处理模块，图像显示模块和数据管理模块。能够节省人力资源，节约成本，以较高准确率检查出含缺陷的元器件，根据检测结果对系统进行优化改进，从而减少不必要的损失。
Description
技术领域
本发明涉及缺陷检测系统领域，特别是涉及基于深度学习的微小元器件缺陷检测系统及方法。
背景技术
在工业生产中，需要对产品进行质量瑕疵检查，以确保产品质量合格。在传统的工业生产中，瑕疵识别最常用的办法是通过人工肉眼进行筛选。
这种方法不仅工作效率低、产品成本高，而且容易受到检测人员素质、肉眼分辨率、检测经验、眼部易疲劳等诸多因素影响。因此企业为了保证生产产品的质量，不得不花费巨大的成本，挑选高素质的质量检测人员进行筛选。
发明内容
为了克服上述现有技术存在的缺陷，本发明提供了基于深度学习的微小元器件缺陷检测系统及方法，用于解决传统方式工作效率低、产品成本高的问题，本发明能够节省人力资源，节约成本。
本发明采用的技术方案在于：
基于深度学习的微小元器件缺陷检测系统，包括工业相机，用于通过成像传感器，将镜头接收的光信号转变为有序的电信号，并将这些信息通过接口，传送到计算机主机；工业镜头，用于将目标成像在图像传感器的光敏面上；光源，用于分离图像中目标与背景信息；计算机，用于结合软件进行图像处理；
工业镜头与工业相机连接，光源根据拍摄情况放置在工业相机附近，照射被测物体，工业相机与计算机连接。
进一步地，还包括软件系统，软件系统包括图像采集模块，用于获取数据集，将工业相机的信号处理、传送给图像处理模块；图像处理模块，用于图像压缩，增强和复原，匹配、描述和识别；图像显示模块，将最终的结果通过编写的人机交互界面进行显示；数据管理模块，对检测结果进行储存，采用数据库的方式使厂家可以根据该数据对元器件的质量进行管理，用户可登录后查询浏览检测结果。
进一步地，所述图像处理模块包括数据预处理功能，用于去除图像中的无用信息，最大限度保留有用信息以及简化图像数据信息，从而加快检测的速度以及提高检测的准确度，具体实施如下：
通过滤波以减少硬件因素带来的影响，包括均值滤波，中值滤波，双边滤波；
均值滤波的核心思想为计算一个区域窗口内所有像素的平均值，然后将计算得到的平均值设置为锚点上的像素值，其采用的主要方法为将图像数据生成为一个3*3或者其他矩阵模板，在处理图像时，对要处理的像素点加上提前生成的模板，目标像素应位于该模板的中心位置，随后计算该模板内部覆盖到的点的像素值，取平均值赋给目标像素；
中值滤波在去除噪声的同时对边缘信息有保留，方法为生成一个3*3或者其他矩阵模板，将这个模板在图像上扫描，把窗口中覆盖到点的像素值按升序或者降序排列，选择处于中间位置的像素值作为窗口中央的像素值，中值滤波的处理方法可以表示为：
g(x，y)＝median(I(x，y))，I(x，y)∈INeighbour (1)
I(x，y)将这些像素值进行升序或降序排列后，选择中间值赋给g(x，y)；
式中，g(x，y)为处理后的新像素值，I(x，y)为一个区域中的各个像素点的像素值，x和y是像素点的坐标；
双边滤波同时考虑了图像的空间信息和值域信息，利用目标像素周围像素的像素值的基于高斯分布的加权平均来代替目标像素的值，是一种加权平均的方法；双边滤波器中某点的像素值g(x，y)依赖于其邻域内像素值f(k，l)的加权组合，该加权组合可以表示为：
式中，g(x，y)为处理后的新像素值，f(k，l)为邻域内像素点的像素值，w(x，y，k，l)为权重系数，x和y是像素点的坐标，k和l是另一个像素点的坐标，即通过坐标点来表示像素点的位置；
其中，w(x，y，k，l)为权重系数，公式推导如下：
式中，w(x，y，k，l)为权重系数，f(x,y)和f(k，l)为邻域内像素点的像素值，d(x，y，k，l)为空间域核，r(x，y，k，l)为值域核，x和y是像素点的坐标，k和l是另一个像素点的坐标，σd和σr为高斯核函数的标准差，空间域核是由邻域内中心像素核其他像素的距离决定的，距离越远，该值越大。值域核是由邻域内中心像素的像素值核其他像素的像素值之差决定的，两个像素值越接近，值越大。
进一步地，所述图像处理模块包括对抗网络，用于对数据进行增强。
进一步地，所述对抗网络实施方法如下：
将噪声通过生成网络得到生成图像，再将原始图像与生成图像通过判决网络判别生成图像是否为真；利用生成网络和判决网络的卷积层学习元器件表面图像的通道特征，将通道特征随机组合从而生成与原始图像分布相似的图像；将生成的高质量图像添加到数据集中，再次训练卷积神经网络，可进一步提升检测模型的性能；
对模型进行训练，将经过预处理与增强处理后的图片分成训练集与测试集，深度学习模型拟采用VGG或Resnet经典卷积神经网络，VGG用较深的网络结构和较小的卷积核既保证感受野，(感受野的定义是：卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。卷积核与图像中的像素点进行卷积运算，那么卷积核所覆盖的区域即为感受野。)又能够减少卷积层的参数，对特征的学习能力更强，其能够在获得更多图像特征的同时控制参数的个数，避免过多的计算量以及过于复杂的结构；Resnet通过“捷径连接”的方式，能够在保证网络的深度比较深时，还可以解决梯度消失和梯度爆炸的问题；通过设置合适的超参数将网络训练，通过准确度，精确率，召回率，F1指数以及ROC曲线评价指标对网络进行评价；
训练过程可分为两个阶段，分别是前向传播与反向传播；前向传播中包含网络参数的初始化以及计算网络模型中每层的输出，在反向传播中包含求解每层的误差以及更新网络的权值；
当模型收敛之后，通过混淆矩阵来可视化分类结果，通过AUC值来衡量模型分类的准确程度。
进一步地，所述计算机调用在Visual Studio中通过opencv调用深度学习模型生成的动态链接库。
进一步地，基于深度学习的微小元器件缺陷检测方法，包括以下步骤：
(1)工业相机安装工业镜头，初始化相机与系统参数，配合光源对被测物体进行拍照；
(2)工业相机单元将信号传递给软件系统中的图像采集模块，所述图像采集模块进行处理后传递给软件系统中的图像处理模块；
(3)所述图像处理模块对图像进行预处理；
(4)所述图像处理模块对图像进行增强处理；
(5)所述图像处理模块对图像进行系统测试；
(6)图像显示单元用于在人机交互界面显示结果；
(7)系统生成的检测结果，通过数据管理模块进行储存，根据该数据对元器件的质量进行管理。
本发明的有益效果是：
1.能够节省人力资源，节约成本。
2.自主学习样本的特征意味着减少了在特征选取中人为因素的影响，去掉了传统计算机视觉检测中人为选取特征向量的繁琐步骤，整个过程全凭计算机自动完成，不需要人为构造特征对输入数据进行表征，能够提高检测的速度与准确度。
3.以较高准确率检查出含缺陷的元器件，根据检测结果对系统进行优化改进，从而减少不必要的损失。
附图说明
图1是基于深度学习的微小元器件缺陷检测系统的图像采集平台硬件结构及功能框图；
图2是基于深度学习的微小元器件缺陷检测系统的软件结构框图；
图3是基于深度学习的微小元器件缺陷检测系统的软件部分工作流程图；
图4是图3所述的软件部分工作流程图中数据增强处理部分的生成对抗网络结构框图；
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
基于深度学习的微小元器件缺陷检测系统可以应用于工业生产中元器件缺陷检测研究，通过工业相机采集含缺陷的元器件图像，通过深度学习的方法对缺陷进行识别检测。它起源于人工神经网络，深度学习通常指深度神经网络，这一类算法可以自主学习所建模数据潜在分布的多层特征，利用底层特征组合得到更为抽象的高层特征表示，而对于特征选取的过程则要根据图像的具体构成，图像构成越复杂特征提取算法越难以设计。自主学习样本的特征意味着减少了在特征选取中人为因素的影响，去掉了传统计算机视觉检测中人为选取特征向量的繁琐步骤。由于该方法自主学习样本数据的内在规律，从而得到高度抽象的特征，整个过程全凭计算机自动完成，不需要人为构造特征对输入数据进行表征。因此，此类方法具有较好的鲁棒性，能够较好的适用于各个领域。
图像分类：图像分类问题是通过对图像的分析，将图像划归到已知的类别中，强调对图像整体语义的判定情况。
如图1所示，基于深度学习的微小元器件缺陷检测系统包括：工业相机，用于通过成像传感器，将镜头接收的光信号转变为有序的电信号，并将这些信息通过相应接口，传送到计算机主机；工业镜头，用于将目标成像在图像传感器的光敏面上；光源，用于分离图像中目标与背景信息；计算机，用于结合软件进行图像处理。
如图2所示，本基于深度学习的微小元器件缺陷检测系统，软件部分包括：图像采集模块，用于获取数据集，将工业相机的信号处理、传送给图像处理模块；图像处理模块，用于图像压缩，增强和复原，匹配、描述和识别等；图像显示模块，用于将图像处理的结果输出；数据管理模块，采用数据库的方式使厂家可以根据该数据对元器件的质量进行管理，用户可登录后查询浏览检测结果。
如图3、图4所示，本基于深度学习的微小元器件缺陷检测系统软件部分包括以下步骤：
(1)工业相机安装工业镜头，初始化相机与系统参数，配合光源对被测物体进行拍照；
(2)工业相机单元将信号传递给软件系统中的图像采集模块，所述图像采集模块进行处理后传递给软件系统中的图像处理模块；
(3)所述图像处理模块对图像进行预处理，由于基于深度学习的微小元器件缺陷检测系统中的图象是通过工业相机拍摄得到的，所以会受到一系列误差以及噪声的影响，因此在进行后续处理之前，需要对图像进行预处理，预处理的目的是去除图像中的无用信息，最大限度保留有用信息以及简化图像数据信息，从而能够加快检测的速度以及提高检测的准确度。主要手段为通过滤波以减少硬件等因素带来的影响。比如均值滤波，中值滤波，双边滤波。
均值滤波的中心思想为计算一个区域窗口内所有像素的平均值，然后将计算得到的平均值设置为锚点上的像素值。其采用的主要方法为将图像数据生成为一个3*3或者其他矩阵模板，在处理图像时，对要处理的像素点加上提前生成的模板，目标像素应位于该模板的中心位置，随后计算该模板内部覆盖到的点的像素值，取平均值赋给目标像素。
中值滤波可以在去除噪声的同时对边缘信息有一定程度的保留，主要方法为生成一个3*3或者其他矩阵模板，将这个模板在图像上扫描，把窗口中覆盖到点的像素值按升序或者降序排列，选择处于中间位置的像素值作为窗口中央的像素值。
g(x，y)＝median(I(x，y))， I(x，y)∈INeighbour
其中g(x，y)为处理后的新像素值，I(x，y)为邻域窗口的像素值。
双边滤波同时考虑了图像的空间信息和值域信息，利用目标像素周围像素的像素值的基于高斯分布的加权平均来代替目标像素的值，是一种加权平均的方法。双边滤波器中某点的像素值g(x，y)依赖于其邻域内像素值f(k，l)(其中k和l是另一个像素点的坐标)的加权组合，可以表示为：
其中，w(x，y，k，l)为权重系数，其大小由空间域核d(x，y，k，l)和值域和r(x，y，k，l)决定，公式如下：
式中，w(x，y，k，l)为权重系数，f(x,y)与f(k，l)为邻域内像素点的像素值，d(x，y，k，l)为空间域核，r(x，y，k，l)为值域核，x和y是像素点的坐标，k和l是另一个像素点的坐标，σd和σr为高斯核函数的标准差，空间域核是由邻域内中心像素核其他像素的距离决定的，距离越远，该值越大。值域核是由邻域内中心像素的像素值核其他像素的像素值之差决定的，两个像素值越接近，值越大。
(4)所述图像处理模块对图像进行增强处理，当数据集中的数量有限时，可以用数据增强来扩充数据集，数据增强的方式有多种，包括旋转、翻转、缩放、移位与裁剪，也可以通过生成对抗网络对数据进行增强。
通过生成对抗网络对图像进行增强的主要方法如下：将噪声通过生成器得到生成图像，再将原始图像与生成图像通过判决器判别生成图像是否为真。利用生成器和判决器的卷积层学习元器件表面图像的通道特征，然后将通道特征随机组合从而生成与原始图像分布相似的图像。将生成的高质量图像添加到数据集中，再次训练卷积神经网络，可进一步提升检测模型的性能。
对模型进行训练，将经过预处理与增强处理后的图片分成训练集与测试集，深度学习模型拟采用VGG或Resnet等经典卷积神经网络，VGG用较深的网络结构和较小的卷积核既可以保证感受野，(感受野的定义是：卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。卷积核与图像中的像素点进行卷积运算，那么卷积核所覆盖的区域即为感受野。)又能够减少卷积层的参数，对特征的学习能力更强，其能够在获得更多图像特征的同时控制参数的个数，避免过多的计算量以及过于复杂的结构。Resnet通过“捷径连接”的方式，能够在保证网络的深度比较深时，还可以解决梯度消失和梯度爆炸的问题。通过设置合适的超参数将网络训练，通过准确度，精确率，召回率，F1指数以及ROC曲线等评价指标对网络进行评价。
训练过程可分为两个阶段，分别是前向传播与反向传播。前向传播中包含网络参数的初始化以及计算网络模型中每层的输出，在反向传播中包含求解每层的误差以及更新网络的权值。
当模型收敛之后，通过混淆矩阵来可视化分类结果，通过AUC值来衡量模型分类的准确程度。
(5)所述图像处理模块对图像进行系统测试，在Visual Studio通过opencv调用深度学习模型生成动态链接库供下位机调用，并对测试集数据进行测试，将最终的结果通过编写的人机交互界面进行显示。
(6)图像显示单元用于在人机交互界面显示结果。
(7)系统生成的检测结果，通过数据管理模块进行储存，根据该数据对元器件的质量进行管理。
Claims (7)
1.基于深度学习的微小元器件缺陷检测系统，其特征在于：包括工业相机，用于通过成像传感器，将镜头接收的光信号转变为有序的电信号，并将这些信息通过接口，传送到计算机主机；工业镜头，用于将目标成像在图像传感器的光敏面上；光源，用于分离图像中目标与背景信息；计算机，用于结合软件进行图像处理；
工业镜头与工业相机连接，光源根据拍摄情况放置在工业相机附近，照射被测物体，工业相机与计算机连接。
2.根据权利要求1所述的基于深度学习的微小元器件缺陷检测系统，其特征在于：还包括软件系统，软件系统包括图像采集模块，用于获取数据集，将工业相机的信号处理、传送给图像处理模块；图像处理模块，用于图像压缩，增强和复原，匹配、描述和识别；图像显示模块，将最终的结果通过编写的人机交互界面进行显示；数据管理模块，对检测结果进行储存，采用数据库的方式使厂家可以根据该数据对元器件的质量进行管理，用户可登录后查询浏览检测结果。
3.根据权利要求2所述的基于深度学习的微小元器件缺陷检测系统，其特征在于：所述图像处理模块包括数据预处理功能，用于去除图像中的无用信息，最大限度保留有用信息以及简化图像数据信息，从而加快检测的速度以及提高检测的准确度，具体实施如下：
通过滤波以减少硬件因素带来的影响，包括均值滤波，中值滤波，双边滤波；
均值滤波的核心思想为计算一个区域窗口内所有像素的平均值，然后将计算得到的平均值设置为锚点上的像素值，其采用的主要方法为将图像数据生成为一个3*3或者其他矩阵模板，在处理图像时，对要处理的像素点加上提前生成的模板，目标像素应位于该模板的中心位置，随后计算该模板内部覆盖到的点的像素值，取平均值赋给目标像素；
中值滤波在去除噪声的同时对边缘信息有保留，方法为生成一个3*3或者其他矩阵模板，将这个模板在图像上扫描，把窗口中覆盖到点的像素值按升序或者降序排列，选择处于中间位置的像素值作为窗口中央的像素值，中值滤波的处理方法可以表示为：
g(x，y)＝median(I(x，y))，I(x，y)∈INeighbour (1)
I(x，y)将这些像素值进行升序或降序排列后，选择中间值赋给g(x，y)；
式中，g(x，y)为处理后的新像素值，I(x，y)为一个区域中的各个像素点的像素值，x和y是像素点的坐标；
双边滤波同时考虑了图像的空间信息和值域信息，利用目标像素周围像素的像素值的基于高斯分布的加权平均来代替目标像素的值，是一种加权平均的方法；双边滤波器中某点的像素值g(x，y)依赖于其邻域内像素值f(k，l)的加权组合，该加权组合可以表示为：
式中，g(x，y)为处理后的新像素值，f(k，l)为邻域内像素点的像素值，w(x，y，k，l)为权重系数，x和y是像素点的坐标，k和l是另一个像素点的坐标，即通过坐标点来表示像素点的位置；
其中，w(x，y，k，l)为权重系数，公式推导如下：
式中，w(x，y，k，l)为权重系数，f(x,y)与f(k，l)为邻域内像素点的像素值，d(x，y，k，l)为空间域核，r(x，y，k，l)为值域核，x和y是像素点的坐标，k和l是另一个像素点的坐标，σd和σr为高斯核函数的标准差，空间域核是由邻域内中心像素核其他像素的距离决定的，距离越远，该值越大。值域核是由邻域内中心像素的像素值核其他像素的像素值之差决定的，两个像素值越接近，值越大。
4.根据权利要求2所述的基于深度学习的微小元器件缺陷检测系统，其特征在于：所述图像处理模块包括对抗网络，用于对数据进行增强。
5.根据权利要求4所述的基于深度学习的微小元器件缺陷检测系统，其特征在于：所述对抗网络实施方法如下：
将噪声通过生成网络得到生成图像，再将原始图像与生成图像通过判决网络判别生成图像是否为真；利用生成网络和判决网络的卷积层学习元器件表面图像的通道特征，将通道特征随机组合从而生成与原始图像分布相似的图像；将生成的高质量图像添加到数据集中，再次训练卷积神经网络，可进一步提升检测模型的性能；
对模型进行训练，将经过预处理与增强处理后的图片分成训练集与测试集，深度学习模型拟采用VGG或Resnet经典卷积神经网络，VGG用较深的网络结构和较小的卷积核既保证感受野，(感受野的定义是：卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。卷积核与图像中的像素点进行卷积运算，那么卷积核所覆盖的区域即为感受野。)又能够减少卷积层的参数，对特征的学习能力更强，其能够在获得更多图像特征的同时控制参数的个数，避免过多的计算量以及过于复杂的结构；Resnet通过“捷径连接”的方式，能够在保证网络的深度比较深时，还可以解决梯度消失和梯度爆炸的问题；通过设置合适的超参数将网络训练，通过准确度，精确率，召回率，F1指数以及ROC曲线评价指标对网络进行评价；
训练过程可分为两个阶段，分别是前向传播与反向传播；前向传播中包含网络参数的初始化以及计算网络模型中每层的输出，在反向传播中包含求解每层的误差以及更新网络的权值；
当模型收敛之后，通过混淆矩阵来可视化分类结果，通过AUC值来衡量模型分类的准确程度。
6.根据权利要求1所述的基于深度学习的微小元器件缺陷检测系统，其特征在于：所述计算机调用在Visual Studio中通过opencv调用深度学习模型生成的动态链接库。
7.基于深度学习的微小元器件缺陷检测方法，其特征在于：包括以下步骤：
(1)工业相机安装工业镜头，初始化相机与系统参数，配合光源对被测物体进行拍照；
(2)工业相机单元将信号传递给软件系统中的图像采集模块，所述图像采集模块进行处理后传递给软件系统中的图像处理模块；
(3)所述图像处理模块对图像进行预处理；
(4)所述图像处理模块对图像进行增强处理；
(5)所述图像处理模块对图像进行系统测试；
(6)图像显示单元用于在人机交互界面显示结果；
(7)系统生成的检测结果，通过数据管理模块进行储存，根据该数据对元器件的质量进行管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175401.7A CN113920087A (zh) | 2021-10-09 | 2021-10-09 | 基于深度学习的微小元器件缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175401.7A CN113920087A (zh) | 2021-10-09 | 2021-10-09 | 基于深度学习的微小元器件缺陷检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920087A true CN113920087A (zh) | 2022-01-11 |
Family
ID=79238564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111175401.7A Pending CN113920087A (zh) | 2021-10-09 | 2021-10-09 | 基于深度学习的微小元器件缺陷检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920087A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117169282A (zh) * | 2023-10-30 | 2023-12-05 | 南通惠得成包装材料有限公司 | 药品包装用复合膜的质量检测方法与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110308153A (zh) * | 2019-08-03 | 2019-10-08 | 广西师范大学 | 基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置 |
| CN110349126A (zh) * | 2019-06-20 | 2019-10-18 | 武汉科技大学 | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 |
| CN209858405U (zh) * | 2019-02-14 | 2019-12-27 | 惠州市聚真电路板有限公司 | 基于机器光学的pcb板缺陷检测系统装置 |
| CN111986142A (zh) * | 2020-05-23 | 2020-11-24 | 冶金自动化研究设计院 | 一种热轧板卷表面缺陷图像数据无监督增强的方法 |
| CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
-
2021
- 2021-10-09 CN CN202111175401.7A patent/CN113920087A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN209858405U (zh) * | 2019-02-14 | 2019-12-27 | 惠州市聚真电路板有限公司 | 基于机器光学的pcb板缺陷检测系统装置 |
| CN110349126A (zh) * | 2019-06-20 | 2019-10-18 | 武汉科技大学 | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 |
| CN110308153A (zh) * | 2019-08-03 | 2019-10-08 | 广西师范大学 | 基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置 |
| CN111986142A (zh) * | 2020-05-23 | 2020-11-24 | 冶金自动化研究设计院 | 一种热轧板卷表面缺陷图像数据无监督增强的方法 |
| CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117169282A (zh) * | 2023-10-30 | 2023-12-05 | 南通惠得成包装材料有限公司 | 药品包装用复合膜的质量检测方法与系统 |
| CN117169282B (zh) * | 2023-10-30 | 2024-03-08 | 南通惠得成包装材料有限公司 | 药品包装用复合膜的质量检测方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN107808161A (zh) | 一种基于光视觉的水下目标识别方法 | |
| CN109671071A (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN114548253A (zh) | 一种基于图像识别及动态匹配的数字孪生模型构建系统 | |
| CN117451716A (zh) | 一种工业产品表面缺陷检测方法 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN112417980A (zh) | 一种基于特征增强和细化的单阶段水下生物目标检测方法 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
| CN113673396B (zh) | 一种孢子发芽率计算方法、装置及存储介质 | |
| CN113920087A (zh) | 基于深度学习的微小元器件缺陷检测系统及方法 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN116930192A (zh) | 一种高精度铜管缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |