CN111932511A - 一种基于深度学习的电子元器件质量检测方法与系统 - Google Patents
一种基于深度学习的电子元器件质量检测方法与系统 Download PDFInfo
- Publication number
- CN111932511A CN111932511A CN202010775041.3A CN202010775041A CN111932511A CN 111932511 A CN111932511 A CN 111932511A CN 202010775041 A CN202010775041 A CN 202010775041A CN 111932511 A CN111932511 A CN 111932511A
- Authority
- CN
- China
- Prior art keywords
- network
- images
- cbl
- neural network
- resblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 24
- 230000007547 defect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000047 product Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 3
- 230000008859 change Effects 0.000 claims 1
- 230000008034 disappearance Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 230000000750 progressive effect Effects 0.000 abstract 1
- 238000012546 transfer Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的卷积神经网络电子元器件质量检测方法，属于故障诊断技术与信号处理分析技术领域。本发明首先搜集不合格电子元器件的图像，如元件缺脚、错误打标，将收集到的图像分为训练集、验证集和测试集，并对数据集中的图像进行不合格区域标注，包括坐标信息和分类信息；其次构建用于电子元器件质量检测的卷积神经网络模型；然后利用训练数据集中的图像对用于不合格元器件图像检测的卷积神经网络模型进行训练；利用训练好的用于裂纹图像检测的卷积神经网络模型，对测试数据集中的不合格元器件图像进行质量检测。本发明使得网络模型能够有效增加不合格元器件的选择，并且比传统的多步图像检测方法速度更快，可以在短时间内处理更多的图像；使得网络模型可以获得更精细的局部细节；使得整个网络可以实现有效的递进式特征传递，提高了网络模型的电子元器件质量检测精度。
Description
技术领域
本发明涉及一种基于深度学习的卷积神经网络电子元器件质量检测方法，属于故障诊断技术与信号处理分析技术领域。
背景技术
电子元器件常见的质量不合格有：柱脚的断裂或缺失、标注信息错误，以及元器件表面由于材料特殊属性并在加工过程中产生的裂纹等。而由于精密的电子元器件在参与后续制造和应用过程中的任何缺陷都有可能导致其无法正常工作，甚至引发重大事故，造成灾难性后果。所以，及时检测电子元器件的质量缺陷对于提高生产厂家的产品合格率及应用范围起着至关重要的作用。
然而，由于技术的限制，传统的检测方法，如人工目视、声学、光学、射线、电磁和微波等无损检测方法的实现还是需依靠高灵敏度检测器件辅助完成，并且依赖大量人力资源。甚至，这些方法仅对判断质量缺陷的有无有所帮助，难以对缺陷进行定性的分类以及尺寸的度量。随着社会经济和自动化技术的不断进步，基于计算机视觉和图像处理的设备外观质量检测技术开始逐渐应用于钢材、交通运输、能源、汽车、电子、通用零部件、建筑、食品、生活用品等诸多行业与领域，但当前电子元器件的质量检测研究，因其复杂多变的外在环境以及其缺陷形式的多样性，使得在复杂背景中精确地提取缺陷的属性特征，提高目标特征提取的精度以及赋予目标模型/分类器强大的分类性能以及解决算法精度和速度上的矛盾一直是电子元器件质量检测领域的一个难题。
一些新兴的技术，如基于YOLO V3网络的裂纹图像检测算法，虽在实验室环境中取得了一定进展，但在实际应用中依然有着各种不足。例如，YOLO V3网络会将图片分割成不同的区域，然后在每个区域设定多个不同的anchors，即锚点，之后通过一系列的回归，和置信度分析，最终得出一个较为准确的物体类别和精确度。然而，YOLO V3虽然是目前在速度和精度方面比较平衡的网络，其实质上是在损失精度的代价下提高的速度，而随着硬件水平的不断发展，该方案不仅难以在速度上取胜，同时也无法保证精度的要求。
本发明结合实际生产的需要，针对这一问题对算法进行了改进。在目标检测和分类部分采用Faster RCNN中的方法，即分为两个步骤，先定位和分类，而不是将定位分类一步操作。本发明所提出的多模态检测网络可以达到高精度的物体识别能力，应用于电子元器件的质量检测等多个领域。
发明内容
本发明基于改良的深度学习卷积网络的电子元器件检测方法，其具体发明的技术方案为：首先搜集质量不合格的电子元器件图像，将图像分为训练、集验证集和测试集，并对数据集中的图像进行不合格区域标注，包括坐标信息和缺陷分类；其次构建用于电子元器件质量检测的卷积神经网络模型；然后利用训练数据集中的图像对用于质量不合格图像检测的卷积神经网络模型进行训练；利用预训完成的用于质量不合格图像检测的卷积神经网络模型，对测试数据集中的质量不合格图像进行外观检测。
所述方法的具体步骤如下：
Step1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；
Step2：以Faster RCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；
Step3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；
Step4：利用训练好的卷积神经网络进行电子元器件的质量检测，包括图像区域识别和目标分类；
所述步骤Step2中，具体修改网络基础可以分为如下步骤：
Step2.1：首先修改Faster RCNN中的特征提取网络(backbone)，即卷积神经网络的结构，去掉传统VGG16卷积神经网络中运用的池化层操作，而是用步长为2(Stride＝2)的3X3卷积层进行卷积，以达到降维的效果，并且又加入残差模块，使得卷积的层数可以更深，达到更好的特征提取效果。本发明还取消了传统的全连接层和全局池化层。所以特征提取网络的构建又可以具体分为以下步骤：
Step2.1.1：首先，本网络用的是Conv_BN_LeakyReLU(下文称为CBL)模块作为基本模块构建，其中包含二维卷积(Conv2D)模块、BN(批标准化，加速网络收敛，解决梯度消失)模块、LeakyReLU(激活函数)模块，而引入的残差模块(下文称为ResBlock)实际上是2个CBL其中第一个加了0填充(padding＝1)；
Step2.1.2：然后本网络的构建方式是：设置模型Layer1的结构为CBL，CBL，ResBlock，其中CBL中滤波器尺寸分别为：[3，3，3，32]，[3，3，32，64]和一个ResBlock，其中滤波器的尺寸是[1，1，64，32]，[3，3，32，64]；
Step2.1.3：设置模型Layer2的结构为CBL，ResBlock*2，其中CBL中滤波器尺寸分别为：[3，3，64，128]，和2个Resblock，其中滤波器的尺寸是[1，1，128，64]，[3，3，64，128]；
Step2.1.4：设置模型Layer3的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，256，128]，[3，3，128，256]；
Step2.1.5：设置模型Layer4的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，512，256]，[3，3，256，512]；
Step2.1.6：设置模型Layer5的结构为CBL，ResBlock*4，其中CBL中滤波器尺寸分别为：[3，3，512，1024]，和4个ResBlock，其中滤波器的尺寸是[1，1，1024，512]，[3，3，512，1024]；
所述步骤Step3中，利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：
Step3.1：设置全卷积神经网络模型的初始权重和初始偏置的参数；
Step3.2：然后将输入的图片按比例缩放为800*600，如果边的长度不够，则进行黑色补充；
Step3.3：接着，分别将Layer4，Layer5和最后输出的权重张量进行拼接，并且这里的拼接不是单纯的相加，而是先扩充张量，再拼接，所以最后输出的尺度是50*38*256，这样可以将上层的信息融合到上层中，比如将颜色信息等融合到物体信息中；
Step3.4：接着，通过区域生成网络(RPN)，首先在每一个特征图的像素点上生成9个先验框，然后通过Softmax激活函数分类出带有目标区域的候选区域，同时计算候选区域相对于真实区域的偏移量，得到更加接近真实区域的候选区域；
Step3.5：接着，综合有缺陷的区域(positive anchors)和对应bounding boxregression偏移量获取的优化后的候选区域(proposals)，同时剔除太小和超出边界的优化后的目标区域(proposals)，得到最优化的候选区域；
Step3.6：接着传入感兴趣区域池化层(Roi Pooling层)，结合优化后候选区域和特征图，通过池化的手段在特征图上选出尺度相等的若干(120个左右)特征图，送入后续全连接和Softmax网络做分类，将取出的区域分类别(classification)，再进行最后一步回归操作，使得更接近真实的区域；
Step3.7：利用神经网络反向传播更新参数，调整前面网络参数，多次重复，达到训练的目的，导出保存参数；
所述步骤Step4中，具体的图像区域识别和目标分类可以分为如下步骤：
Step4.1：RPN网络通过Softmax激活函数判断锚点anchors，即利用特征图映射在原图的选区(box)，是包含缺陷的部分(Positive)还是背景部分(Negative)的，然后选取包含缺陷的那一部分进行回归计算得到比较精确的推荐区域；
Step4.2：将上一步产生的推荐区域和特征图进行融合；
Step4.3：将两者传入感兴趣区域池化层(Roi Pooling)提取包含目标区域的特征图，由于感兴趣区域池化层的特性，可以将之前得到不同大小的选区变成相同大小，解决了尺度不一致的问题；
Step4.4：送入全连接层进行目标检测。最后在分类阶段，利用之前的到的信息进行分类和回归，最终得到被候选框框出的质量不合格产品信息的图像。
本发明的有益效果是：
(1)由于本发明在传统的Faster RCNN的基础上更改了特征提取卷积神经网络的结构，增加了层数，获取更精确的特征值，并且利用上采样实现多尺度特征融合，增加检测精度，使得其精度和速度比传统的网络有进一步提高；
(2)由于本发明在后续目标检测和分类阶段使用的是两部分分别用不同的网络检测，最后合并在一起，所以虽然速度比单阶段网络有下降，但是考虑到本网络运用环境实时性要求不是非常高，所以这里优先考虑精度提升；
(3)由于本发明在传统的VGG16的基础上去掉了池化层转而用增加卷积核步长的方法以达到降维目的，并且增加了残差模块使得网络深度得到提高，还取消了全连接层，减小了网络开销，所以使得网络变得更高效。
附图说明
图1为本发明的神经网络的方法流程图；
图2是本发明实施例中采集图像数据集的部分样本及分类示意图；
图3为本发明对目标图像每一个特征像素构建的9个先验框的示意图；
图4是利用本发明实施例方法在缺陷较为明显情况下的原图和检测结果图；
图5是利用本发明实施例方法在存在背景干扰情况下的原图和检测结果图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：实施例：基于改良的深度学习卷积神经网络的电子元器件检测方法，首先搜集质量不合格电子元器件图像，将图像分为训练集、验证集和测试集，并对数据集中的图像进行不合格区域标注；其次构建用于裂纹图像检测的卷积神经网络模型；然后利用训练数据集中的图像对用于质量不合格图像检测的卷积神经网络模型进行训练；利用训练好的用于质量不合格图像检测的全卷积神经网络模型，对测试数据集中的质量不合格图像进行外观检测。
进一步地，可以设置所述利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：
Step1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；
Step2：以Faster RCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；
Step3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；
Step4：利用训练好的卷积神经网络进行电子元器件的质量检测，包括图像区域识别和目标分类；
所述步骤Step2中，具体修改网络基础可以分为如下步骤：
Step2.1：首先修改Faster RCNN中的特征提取网络(backbone)，即卷积神经网络的结构，去掉传统VGG16卷积神经网络中运用的池化层操作，而是用步长为2(Stride＝2)的3X3卷积层进行卷积，以达到降维的效果，并且又加入残差模块，使得卷积的层数可以更深，达到更好的特征提取效果。本发明还取消了传统的全连接层和全局池化层。所以特征提取网络的构建又可以具体分为以下步骤：
Step2.1.1：首先，本网络用的是Conv_BN_LeakyReLU(下文称为CBL)模块作为基本模块构建，其中包含二维卷积(Conv2D)模块、BN(批标准化，加速网络收敛，解决梯度消失)模块、LeakyReLU(激活函数)模块，而引入的残差模块(下文称为ResBlock)实际上是2个CBL其中第一个加了0填充(padding＝1)；
Step2.1.2：然后本网络的构建方式是：设置模型Layer1的结构为CBL，CBL，ResBlock，其中CBL中滤波器尺寸分别为：[3，3，3，32]，[3，3，32，64]和一个ResBlock，其中滤波器的尺寸是[1，1，64，32]，[3，3，32，64]；
Step2.1.3：设置模型Layer2的结构为CBL，ResBlock*2，其中CBL中滤波器尺寸分别为：[3，3，64，128]，和2个Resblock，其中滤波器的尺寸是[1，1，128，64]，[3，3，64，128]；
Step2.1.4：设置模型Layer3的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，256，128]，[3，3，128，256]；
Step2.1.5：设置模型Layer4的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，512，256]，[3，3，256，512]；
Step2.1.6：设置模型Layer5的结构为CBL，ResBlock*4，其中CBL中滤波器尺寸分别为：[3，3，512，1024]，和4个ResBlock，其中滤波器的尺寸是[1，1，1024，512]，[3，3，512，1024]；
所述步骤Step3中，利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：
Step3.1：设置全卷积神经网络模型的初始权重和初始偏置的参数；
Step3.2：然后将输入的图片按比例缩放为800*600，如果边的长度不够，则进行黑色补充；
Step3.3：接着，分别将Layer4，Layer5和最后输出的权重张量进行拼接，并且这里的拼接不是单纯的相加，而是先扩充张量，再拼接，所以最后输出的尺度是50*38*256，这样可以将上层的信息融合到上层中，比如将颜色信息等融合到物体信息中；
Step3.4：接着，通过区域生成网络(RPN)，首先在每一个特征图的像素点上生成9个先验框，然后通过Softmax激活函数分类出带有目标区域的候选区域，同时计算候选区域相对于真实区域的偏移量，得到更加接近真实区域的候选区域；
Step3.5：接着，综合有缺陷的区域(positive anchors)和对应boundingboxregression偏移量获取的优化后的候选区域(proposals)，同时剔除太小和超出边界的优化后的目标区域(proposals)，得到最优化的候选区域；
Step3.6：接着传入感兴趣区域池化层(Roi Pooling层)，结合优化后候选区域和特征图，通过池化的手段在特征图上选出尺度相等的若干(120个左右)特征图，送入后续全连接和Softmax网络做分类，将取出的区域分类别(classification)，再进行最后一步回归操作，使得更接近真实的区域；
Step3.7：利用神经网络反向传播更新参数，调整前面网络参数，多次重复，达到训练的目的，导出保存参数；
所述步骤Step4中，具体的图像区域识别和目标分类可以分为如下步骤：
Step4.1：RPN网络通过Softmax激活函数判断锚点anchors，即利用特征图映射在原图的选区(box)，是包含缺陷的部分(Positive)还是背景部分(Negative)的，然后选取包含缺陷的那一部分进行回归计算得到比较精确的推荐区域；
Step4.2：将上一步产生的推荐区域和特征图进行融合；
Step4.3：将两者传入感兴趣区域池化层(Roi Pooling)提取包含目标区域的特征图，由于感兴趣区域池化层的特性，可以将之前得到不同大小的选区变成相同大小，解决了尺度不一致的问题；
Step4.4：送入全连接层进行目标检测。最后在分类阶段，利用之前的到的信息进行分类和回归，最终得到被候选框框出的质量不合格产品信息的图像。
为使本发明的目的、技术方案及优点更加明确，以下结合附图及实施例：
在一个应用本实施例方法的具体案例中：
如图1所示，首先搜集质量不合格电子元器件图像，将图像分为训练集、验证集和测试集，并对数据集中的图像进行不合格区域标注；其次构建用于电子元器件质量检测的卷积神经网络模型；然后利用训练数据集中的图像对用于质量不合格图像检测的卷积神经网络模型进行训练；利用训练好的用于质量不合格图像检测的全卷积神经网络模型，对测试数据集中的质量不合格图像进行外观检测。
如图2所示，将采集的数据集分为二类(合格和不合格，不合格中包含缺脚和未包裹)，共采集710张质量不合格图片，98张不合格聚焦模糊的图片，且每张图片的分辨率为3024*4032像素。人工对裁剪后的图片进行分类筛选和标注，将其分为三类：合格和不合格，不合格中包含缺脚和未包裹，同时利用工具对不合格的区域进行框选，最后利用代码将其按照0.8、0.1、0.1的比例随机分成训练集、验证集和测试集，由此数据集制作完成。
如图3所示，本神经网络在目标区域推测的时候采用RPN网络，其原理就是在特征图上的每一个特征点作为一个anchor，即锚点，在这个点对应的原图片上进行9个先验框的选定，9个矩形共有3种形状，长宽比为大约{1∶1，1∶2，2∶1}三种，实际上通过anchors即引入了检测中常用到的多尺度方法。因为这九个框分为三组在原图像上进行区域检测，如果原图被预处理为800*600的尺寸，而我们的先验框的最大尺寸可以达到736X384，这也就基本可以完全覆盖整个图像了。前面所说的是最大尺度，而其他两组是最大尺度的1/8、1/16，所以中等尺寸和小尺寸的物体也可以被很好的框在内。然后，通过Softmax激活函数的二分类和线性回归操作就可以定位出我们需要的框内的物体，即proposals。
图4、图5即为最终的结果示例图。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于深度学习的电子元件质量方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (5)
1.一种基于深度学习卷积神经网络的电子元件质量检测的方法，其特征在于，包括以下步骤：
Step1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；
Step2：以Faster RCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；
Step3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；
Step4：利用训练好的卷积神经网络进行不合格电子元器件的质量检测，包括图像区域识别和目标分类；
所述步骤Step2中，具体修改网络基础可以分为如下步骤：
Step2.1：首先修改Faster RCNN中的backbone，即卷积神经网络的结构，去掉传统VGG16卷积神经网络中运用的池化层操作，而是用Stride＝2(步长为2)的3X3卷积层进行卷积，以达到降维的效果，并且又加入残差模块，使得卷积的层数可以更深，达到更好的特征提取效果。本发明还取消了传统的全连接层和全局池化层。所以backbone的构建又可以具体分为以下步骤：
Step2.1.1：首先，本网络用的是Conv_BN_LeakyReLU(下文称为CBL)模块作为基本模块构建，其中包含Conv2D模块、BN(批标准化，加速网络收敛，解决梯度消失)模块、LeakyReLU(激活函数)模块，而引入的残差模块(下文称为ResBlock)实际上是2个CBL其中第一个加了0填充(padding＝1)；
Step2.1.2：然后本网络的构建方式是：设置模型Layerl的结构为CBL，CBL，ResBlock，其中CBL中滤波器尺寸分别为：[3，3，3，32]，[3，3，32，64]和一个ResBlock，其中滤波器的尺寸是[1，1，64，32]，[3，3，32，64]；
Step2.1.3：设置模型Layer2的结构为CBL，ResBlock*2，其中CBL中滤波器尺寸分别为：[3，3，64，128]，和2个Resblock，其中滤波器的尺寸是[1，1，128，64]，[3，3，64，128]；
Step2.1.4：设置模型Layer3的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，256，128]，[3，3，128，256]；
Step2.1.5：设置模型Layer4的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，512，256]，[3，3，256，512]；
Step2.1.6：设置模型Layer5的结构为CBL，ResBlock*4，其中CBL中滤波器尺寸分别为：[3，3，512，1024]，和4个ResBlock，其中滤波器的尺寸是[1，1，1024，512]，[3，3，512，1024]；
所述步骤Step3中，利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：
Step3.1：设置全卷积神经网络模型的初始权重和初始偏置的参数；
Step3.2：然后将输入的图片按比例缩放为800X600，如果边的长度不够，则进行黑色补充；
Step3.3：接着，分别将Layer4，Layer5和最后输出的权重张量进行拼接，并且这里的拼接不是单纯的相加，而是先扩充张量，再拼接，所以最后输出的尺度是50X38X256，这样可以将上层的信息融合到上层中，比如将颜色信息等融合到物体信息中；
Step3.4：接着，通过RPN网络，首先在每一个特征图的像素点上生成9个先验框，然后通过Softmax激活函数分类出带有目标区域的候选区域，同时计算候选区域相对于真实区域的偏移量，得到更加接近真实区域的候选区域；
Step3.5：接着，综合positive anchors(有缺陷的区域)和对应bounding boxregression偏移量获取的proposals(优化后的候选区域)，同时剔除太小和超出边界的proposals(优化后的目标区域)，得到最优化的候选区域；
Step3.6：接着传入感兴趣池化层(Roi Pooling层)，结合优化后候选区域和特征图，通过池化的手段在特征图上选出尺度相等的若干(120个左右)特征图，送入后续全连接和Softmax激活函数网络做classification(即分类，将取出的区域分类别)，再进行最后一步回归操作，使得更接近真实的区域；
Step3.7：利用神经网络反向传播更新参数，调整前面网络参数，多次重复，达到训练的目的，导出保存参数；
所述步骤Step4中，具体的图像区域识别和目标分类可以分为如下步骤：
Step4.1：RPN网络通过Softmax激活函数判断anchors，即利用特征图映射在原图的box，是Positive(包含缺陷的部分)还是Negative(背景部分)的，然后选取Positive的那一部分进行回归计算得到比较精确的推荐区域；
Step4.2：将上一步产生的推荐区域和特征图进行融合；
Step4.3：将两者传入Roi Pooling提取包含目标区域的特征图，由于Roi的特性，可以将之前得到不同大小的选区变成相同大小，解决了尺度不一致的问题；
Step4.4：送入全连接层进行目标检测。最后在分类阶段，利用之前的到的信息进行分类和回归，最终得到被候选框框出的质量不合格产品信息的图像。
2.根据权利要求1所述的基于深度学习的电子元器件质量检测方法，其特征在于：在步骤Step1当中，对训练集中的图像首先进行图像预处理，包括将图像运用平均值和标准差进行正则化，缩放为800X600大小和归一化，对图像进行随机翻转，并且训练集、测试集均包含合格和不合格的电子元器件图像样本。
3.根据权利要求1所述的基于深度学习的电子元器件质量检测方法，其特征在于：在步骤Step2当中，对训练集和验证集的图像数据采用预训练的卷积神经网络模型进行特征值提取。
所述预训练的卷积神经网络模型为改进版的VGG16，在VGG16中删掉了池化层，而是用改变卷积核步长的方法来实现张量尺寸的变化，并且删掉了全连接层，将网络变成全卷积网络，这也是目前主流的一种网络架构方法，同时还加入残差模块，进一步加深了网络结构，能够得到更深层次的特征表达。
4.根据权利要求1所述的基于深度学习的电子元器件质量检测方法，其特征在于，本卷积网络在特征值采样时不做传统的FPN的3维度采样，而是进行单一维度的采样，因为本网络之后采取Faster RCNN的架构，选用RPN网络进行候选区的选定，此网络会在每个特征点选取9个维度的先验框，基本能涵盖尺寸的物体。
5.根据权利要求1所述的基于深度学习的电子元器件质量检测方法，其特征在于，本全卷积网络采用Faster RCNN中的anchor机制预先设定一些模板框，然后选出最佳的候选框，再进行一系列的回归操作，最终得到最准确的候选框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010775041.3A CN111932511B (zh) | 2020-08-04 | 2020-08-04 | 一种基于深度学习的电子元器件质量检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010775041.3A CN111932511B (zh) | 2020-08-04 | 2020-08-04 | 一种基于深度学习的电子元器件质量检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932511A true CN111932511A (zh) | 2020-11-13 |
| CN111932511B CN111932511B (zh) | 2022-08-12 |
Family
ID=73307384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010775041.3A Active CN111932511B (zh) | 2020-08-04 | 2020-08-04 | 一种基于深度学习的电子元器件质量检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932511B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112730440A (zh) * | 2020-12-29 | 2021-04-30 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 电子元器件外壳缺陷检测方法及系统 |
| CN112945173A (zh) * | 2020-12-05 | 2021-06-11 | 张旭超 | 固定外形多孔阵列检测装置及方法 |
| CN113011567A (zh) * | 2021-03-31 | 2021-06-22 | 深圳精智达技术股份有限公司 | 一种卷积神经网络模型的训练方法及装置 |
| CN113719974A (zh) * | 2021-08-09 | 2021-11-30 | 西安交通大学 | 基于流场信息预测的空调风向智能控制方法及系统 |
| CN114387511A (zh) * | 2021-12-25 | 2022-04-22 | 河南大学 | 一种用于遥感图像中小目标检测的多分支检测方法 |
| CN115375946A (zh) * | 2022-08-31 | 2022-11-22 | 江苏信息职业技术学院 | 基于多尺度注意力机制的电子元器件深度迁移识别方法 |
| CN116012825A (zh) * | 2023-01-13 | 2023-04-25 | 上海赫立智能机器有限公司 | 基于多模态的电子元器件智能识别方法 |
| CN118169547A (zh) * | 2024-05-13 | 2024-06-11 | 常州忆隆信息科技有限公司 | 一种电动吻合器单次使用电路检测方法及系统 |
| CN118169547B (zh) * | 2024-05-13 | 2024-08-02 | 常州忆隆信息科技有限公司 | 一种电动吻合器单次使用电路检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909564A (zh) * | 2017-10-23 | 2018-04-13 | 昆明理工大学 | 一种基于深度学习的全卷积网络图像裂纹检测方法 |
| CN110766664A (zh) * | 2019-09-29 | 2020-02-07 | 杭州电子科技大学 | 一种基于深度学习的电子元器件外观不良品的检测方法 |
-
2020
- 2020-08-04 CN CN202010775041.3A patent/CN111932511B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909564A (zh) * | 2017-10-23 | 2018-04-13 | 昆明理工大学 | 一种基于深度学习的全卷积网络图像裂纹检测方法 |
| CN110766664A (zh) * | 2019-09-29 | 2020-02-07 | 杭州电子科技大学 | 一种基于深度学习的电子元器件外观不良品的检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 邡鑫等: "基于卷积神经网络的晶圆缺陷检测与分类算法", 《计算机工程》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112945173A (zh) * | 2020-12-05 | 2021-06-11 | 张旭超 | 固定外形多孔阵列检测装置及方法 |
| CN112730440A (zh) * | 2020-12-29 | 2021-04-30 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 电子元器件外壳缺陷检测方法及系统 |
| CN113011567A (zh) * | 2021-03-31 | 2021-06-22 | 深圳精智达技术股份有限公司 | 一种卷积神经网络模型的训练方法及装置 |
| CN113719974A (zh) * | 2021-08-09 | 2021-11-30 | 西安交通大学 | 基于流场信息预测的空调风向智能控制方法及系统 |
| CN114387511A (zh) * | 2021-12-25 | 2022-04-22 | 河南大学 | 一种用于遥感图像中小目标检测的多分支检测方法 |
| CN115375946A (zh) * | 2022-08-31 | 2022-11-22 | 江苏信息职业技术学院 | 基于多尺度注意力机制的电子元器件深度迁移识别方法 |
| CN116012825A (zh) * | 2023-01-13 | 2023-04-25 | 上海赫立智能机器有限公司 | 基于多模态的电子元器件智能识别方法 |
| CN118169547A (zh) * | 2024-05-13 | 2024-06-11 | 常州忆隆信息科技有限公司 | 一种电动吻合器单次使用电路检测方法及系统 |
| CN118169547B (zh) * | 2024-05-13 | 2024-08-02 | 常州忆隆信息科技有限公司 | 一种电动吻合器单次使用电路检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932511B (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN109615016B (zh) | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN109447979B (zh) | 基于深度学习和图像处理算法的目标检测方法 | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| CN111462120A (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN112613350A (zh) | 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法 | |
| CN111553414A (zh) | 一种基于改进Faster R-CNN的车内遗失物体检测方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN114119480A (zh) | 一种基于深度学习的裂纹缺陷检测系统 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN116612106A (zh) | 一种基于yolox算法的光学元件表面缺陷检测方法 | |
| Yang et al. | A scratch detection method based on deep learning and image segmentation | |
| CN117152484A (zh) | 改进YOLOv5s的小目标布匹瑕疵检测方法 | |
| CN115019133A (zh) | 基于自训练和标签抗噪的图像中弱目标的检测方法及系统 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| Yin et al. | Road Damage Detection and Classification based on Multi-level Feature Pyramids. | |
| CN106548195A (zh) | 一种基于改进型hog‑ulbp特征算子的目标检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| He et al. | Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |