CN109685774A - 基于深度卷积神经网络的压敏电阻外观缺陷检测方法 - Google Patents

基于深度卷积神经网络的压敏电阻外观缺陷检测方法 Download PDF

Info

Publication number
CN109685774A
CN109685774A CN201811506337.4A CN201811506337A CN109685774A CN 109685774 A CN109685774 A CN 109685774A CN 201811506337 A CN201811506337 A CN 201811506337A CN 109685774 A CN109685774 A CN 109685774A
Authority
CN
China
Prior art keywords
varistor
neural networks
convolutional neural
depth convolutional
open defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811506337.4A
Other languages
English (en)
Inventor
杨铁军
彭珊
黄琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN201811506337.4A priority Critical patent/CN109685774A/zh
Publication of CN109685774A publication Critical patent/CN109685774A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明公开了一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法,包括以下步骤:S1:采集压敏电阻图像,制作所需要的数据集;S2:设计用于识别压敏电阻外观缺陷的深度卷积神经网络模型;S3:利用所述数据集对设计的深度卷积神经网络模型进行训练和验证;S4:利用训练好的深度卷积神经网络模型进行检测。本发明将深度卷积神经网络应用到压敏电阻的外观识别上,能够自动提取压敏电阻的有效特征,提高压敏电阻外观缺陷的分类识别精度。提高了图像处理的效率,能够满足工业生产在线实时检测的需要。

Description

基于深度卷积神经网络的压敏电阻外观缺陷检测方法
技术领域
本发明涉及计算机智能辅助制造领域,更具体地,涉及一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法。
背景技术
压敏电阻(Voltage Dependent Resistor,简称VDR)是一种具有非线性伏安特性的电子元件,如图1所示,主要用于在电路承受过压时进行电压钳位,吸收多余的电流以保护敏感器件。压敏电阻的外观质量影响着它的性能,它的外观缺陷种类繁多,如管脚包裹不严实或包裹过长,表面印刷信息不清晰,外形尺寸不合格和封装表面的各种缺陷(如不规则、划伤、污物和空洞),因此有必要对其进行外观缺陷识别。
早期芯片外观缺陷识别最常用的方法是通过人工检测,该方法不仅耗时费力,而且效率低下。到后来机器学习广泛应用于电子元件的外观缺陷检测,如使用先验知识的机器学习方法。近年来,卷积神经网络(Convolutional Neural Networks,CNN)以自动特征学习和端到端高性能分类能力引起了人们的高度关注。CNN首先被应用于手写字符识别,后来扩展到其他应用,如对象识别,人脸检测,图像分类,语音识别等等。与传统的识别方法截然不同的是,CNN可以利用大量训练数据自动学习隐含的有效特征,在同一个网络中完成端对端的分类识别功能,并借助GPU完成并行加速。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷,提供一种基于深度卷积神经网路的压敏电阻外观缺陷检测方法,解决传统人工检测耗时费力的缺点。
为解决上述技术问题,本发明的技术方案如下:
一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法,包括以下步骤:
S1:采集压敏电阻图像,制作所需要的数据集;
S2:设计用于识别压敏电阻外观缺陷的深度卷积神经网络模型;
S3:利用所述数据集对设计的深度卷积神经网络模型进行训练和验证;
S4:利用训练好的深度卷积神经网络模型进行检测。
优选地,步骤S1中采集压敏电阻图像,制作所需要的数据集,包括以下子步骤:
S1.1:利用数字相机分别采集压敏电阻的正面、反面和侧面图像;
S1.2:按7:1:2的比例将图像分为训练集、验证集和测试集。
优选地,为了获取高质量的压敏电阻图像,步骤S1.1所述的数字相机采用30万像素,其镜头为连续变焦镜头,光学放大倍率为0.13-2,在采集过程中使用LED同轴光源以消除压敏电阻表面的反光。
优选地,步骤S2中用于识别压敏电阻外观缺陷的深度卷积网络模型AQD-CNN,包括:从输入图像至输出结果,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层,其中,每一卷积层后均增加一个最大池化层,针对压敏电阻的外形比较单一,没有复杂的颜色、纹理等特征,设计了一种适合压敏电阻缺陷识别的CNN网络模型,命名为AQD-CNN。
优选地,第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层的卷积核数量分别为64、64、128、128、256,其卷积核尺寸均为3*3,padding均为1,stride均为1;所述最大池化层核尺寸均为2*2,stride均为2;第一全连接层、第二全连接层、第三全连接层的神经元个数分别为4096、4096、2。
优选地,第一卷积层后的最大池化层后还增加一个局部响应归一化层,以增强模型的泛化能力。
优选地,步骤S3中利用所述数据集对设计的深度卷积神经网络模型进行训练和验证,包括以下步骤:
S3.1:使用基于ILSVRC-2012数据集的预训练模型VGG-16对AQD-CNN进行初始化,并将所有训练样本图像的空间分辨率调整为224*224像素;
S3.2:采用步骤S1.2中的训练集对AQD-CNN进行训练,设置训练过程中的batchsize、学习率和最大迭代次数,采用随机梯度下降法进行调权,训练集中图像作为输入图像先减去训练集图像的灰度均值,输入至AQD-CNN进行处理,经过各卷积层和最大池化层的交替处理,得到大小为7*7的特征映射输入到第一全连接层,依次通过各全连接层后,得到类别输出结果;
S3.3:采用步骤S1.2中的验证集对AQD-CNN 进行验证,每训练200次进行一次验证,验证词用验证集中的图像作为输入图像,输入至AQD-CNN进行处理,经过各卷积层和最大池化层的交替处理,得到大小为7*7的特征映射输入到第一全连接层,依次通过各全连接层后,得到类别输出结果。
优选地,步骤S3.2中的batchsize设为8,学习率统一设为,最大迭代次数设为10000。
优选地,对步骤S4中利用训练好的深度卷积神经网络模型进行检测的识别性能实用敏感性、特异性和精度进行评估。
与现有技术相比,本发明技术方案的有益效果是:
将深度卷积神经网络应用到压敏电阻的外观识别上,能够自动提取压敏电阻的有效特征,提高压敏电阻外观缺陷的分类识别精度。提高了图像处理的效率,能够满足工业生产在线实时检测的需要。
附图说明
图1为压敏电阻图像;
图2为一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法流程图;
图3为采集压敏电阻图像示意图;
图4为适用于识别压敏电阻外观缺陷的深度卷积神经网络模型示意图;
图中1为相机,2为镜头,3为LED同轴光源,4为第一卷积层,5为第二卷积层,6为第三卷积层,7为第四卷积层,8为第五卷积层,9为第一全连接层,,10为第二全连接层,11为第三全连接层。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法,如图2,包括以下步骤:
S1:采集压敏电阻图像,制作所需要的数据集;
S2:设计用于识别压敏电阻外观缺陷的深度卷积神经网络模型;
S3:利用所述数据集对设计的深度卷积神经网络模型进行训练和验证;
S4:利用训练好的深度卷积神经网络模型进行检测。
在具体实施过程中,使用30万像素数字相机,采集图像分辩率为640*480,镜头为连续变焦镜头,光学放大倍率0.13-2采集压敏电阻图像。在样本采集过程中使用了LED同轴光源消除压敏电阻表面的反光。为了全面检测压敏电阻的缺陷,每个压敏电阻分别采集了其正面、反面和侧面3张图片,最终得到了实验所需的样本图像。将这些样本按照7:1:2的比例分为训练集、验证集和测试集,训练集、验证集和测试集均含有正面、反面和侧面3种图片。
设计适合于压敏电阻缺陷识别的深度卷积神经网络模型。考虑到压敏电阻的外形比较单一,没有复杂的颜色、纹理等特征,在VGG-16网络模型的基础上,设计一种适合压敏电阻缺陷识别的网络模型,命名为AQD-CNN。AQD-CNN网络共8层,包含5个卷积层和3个全连接层(Full Connection, FC),每层卷积层后都紧跟着一个最大池化层,在第一层池化层后增加了LRN层,LRN主要是深度学习训练时的一种提高准确度的技术方法,一般是在激活、池化层后进行的归一化处理方法,以增强模型的泛化能力。卷积层使用的卷积核尺寸均为3*3,padding为1,stride为1,最大池化层核尺寸为2*2,stride为2。全连接层的神经元个数分别为4096, 4096, 2。
在训练开始前,为了与预训练网络保持一致,需要将所有训练样本图像的空间分辨率统一调整为224*224像素。在模型训练过程中,输入的224*224 RGB图像先减去训练集样本的灰度均值,然后输入网络进行处理。经过第一卷积层4后特征图的大小仍为224*224,将得到的特征映射经过激活函数送入最大池化层。由于最大池化层核大小为2*2,步幅为2,经过计算特征图的大小变为112*112。以此类推,在这种情况下经过卷积层得到的特征映射的大小与上一层的大小一样,经过池化后特征图的大小变为原来的四分之一。经过卷积层、激活函数、池化层的交替处理,得到大小为7*7特征映射输入到全连接层,最终得到类别结果输出。在训练过程中,batchsize设为8,学习率统一设为5*10-4,最大迭代次数设为10000,调权采用随机梯度下降法。
最后对测试集进行测试,网络的性能使用敏感性(Sensitivity)、特异性(Specificity)、精度(Accuracy)等指标进行评估。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特征在于,包括以下步骤:
S1:采集压敏电阻图像,制作所需要的数据集;
S2:设计用于识别压敏电阻外观缺陷的深度卷积神经网络模型;
S3:利用所述数据集对设计的深度卷积神经网络模型进行训练和验证;
S4:利用训练好的深度卷积神经网络模型进行检测。
2.根据权利要求1所述的基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特征在于,步骤S1中采集压敏电阻图像,制作所需要的数据集,包括以下子步骤:
S1.1:利用数字相机分别采集压敏电阻的正面、反面和侧面图像;
S1.2:按7:1:2的比例将图像分为训练集、验证集和测试集。
3.根据权利要求2所述的基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特征在于,步骤S1.1所述的数字相机采用30万像素,其镜头为连续变焦镜头,光学放大倍率为0.13-2,在采集过程中使用LED同轴光源。
4.根据权利要求3所述的基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特征在于,步骤S2中用于识别压敏电阻外观缺陷的深度卷积网络模型AQD-CNN,包括:从输入图像至输出结果,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层,其中,每一卷积层后均增加一个最大池化层。
5.根据权利要求4所述的基于深度卷积神经网络的压敏电阻外观缺陷方法,其特征在于,所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层的卷积核数量分别为64、64、128、128、256,其卷积核尺寸均为3*3,padding均为1,stride均为1;所述最大池化层核尺寸均为2*2,stride均为2;第一全连接层、第二全连接层、第三全连接层的神经元个数分别为4096、4096、2。
6.根据权利要求4所述的基于深度卷积神经网络的压敏电阻外观缺陷方法,其特征在于,所述第一卷积层后的最大池化层后还增加一个局部响应归一化层。
7.根据权利要求4所述的基于深度卷积神经网络的压敏电阻外观缺陷方法,其特征在于,步骤S3中利用所述数据集对设计的深度卷积神经网络模型进行训练和验证,包括以下步骤:
S3.1:使用基于ILSVRC-2012数据集的预训练模型VGG-16对AQD-CNN进行初始化,并将所有训练样本图像的空间分辨率调整为224*224像素;
S3.2:采用步骤S1.2中的训练集对AQD-CNN进行训练,设置训练过程中的batchsize、学习率和最大迭代次数,采用随机梯度下降法进行调权,训练集中图像作为输入图像先减去训练集图像的灰度均值,输入至AQD-CNN进行处理,经过各卷积层和最大池化层的交替处理,得到大小为7*7的特征映射输入到第一全连接层,依次通过各全连接层后,得到类别输出结果;
S3.3:采用步骤S1.2中的验证集对AQD-CNN 进行验证,每训练200次进行一次验证,验证词用验证集中的图像作为输入图像,输入至AQD-CNN进行处理,经过各卷积层和最大池化层的交替处理,得到大小为7*7的特征映射输入到第一全连接层,依次通过各全连接层后,得到类别输出结果。
8.根据权利要求7所述的基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特 征在于,步骤S3.2中的batchsize设为8,学习率统一设为,最大迭代次数设为10000。
9.根据权利要求8所述的基于深度卷积神经网络的压敏电阻外观缺陷检测方法,其特征在于,对步骤S4中利用训练好的深度卷积神经网络模型进行检测的识别性能实用敏感性、特异性和精度进行评估。
CN201811506337.4A 2018-12-10 2018-12-10 基于深度卷积神经网络的压敏电阻外观缺陷检测方法 Pending CN109685774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811506337.4A CN109685774A (zh) 2018-12-10 2018-12-10 基于深度卷积神经网络的压敏电阻外观缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811506337.4A CN109685774A (zh) 2018-12-10 2018-12-10 基于深度卷积神经网络的压敏电阻外观缺陷检测方法

Publications (1)

Publication Number Publication Date
CN109685774A true CN109685774A (zh) 2019-04-26

Family

ID=66187304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811506337.4A Pending CN109685774A (zh) 2018-12-10 2018-12-10 基于深度卷积神经网络的压敏电阻外观缺陷检测方法

Country Status (1)

Country Link
CN (1) CN109685774A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652870A (zh) * 2020-06-02 2020-09-11 集美大学诚毅学院 一种布匹缺陷检测方法、装置、存储介质及电子设备
CN111681215A (zh) * 2020-05-29 2020-09-18 无锡赛睿科技有限公司 卷积神经网络模型训练方法、加工件缺陷检测方法及装置
CN111833310A (zh) * 2020-06-17 2020-10-27 桂林理工大学 一种基于神经网络架构搜索的表面缺陷分类方法
CN115147427A (zh) * 2022-09-06 2022-10-04 苏州鼎纳自动化技术有限公司 一种pcb板上电阻缺陷视觉检测方法、系统及计算设备
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108918536A (zh) * 2018-07-13 2018-11-30 广东工业大学 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108918536A (zh) * 2018-07-13 2018-11-30 广东工业大学 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681215A (zh) * 2020-05-29 2020-09-18 无锡赛睿科技有限公司 卷积神经网络模型训练方法、加工件缺陷检测方法及装置
CN111652870A (zh) * 2020-06-02 2020-09-11 集美大学诚毅学院 一种布匹缺陷检测方法、装置、存储介质及电子设备
CN111652870B (zh) * 2020-06-02 2023-04-07 集美大学诚毅学院 一种布匹缺陷检测方法、装置、存储介质及电子设备
CN111833310A (zh) * 2020-06-17 2020-10-27 桂林理工大学 一种基于神经网络架构搜索的表面缺陷分类方法
CN111833310B (zh) * 2020-06-17 2022-05-06 桂林理工大学 一种基于神经网络架构搜索的表面缺陷分类方法
CN115147427A (zh) * 2022-09-06 2022-10-04 苏州鼎纳自动化技术有限公司 一种pcb板上电阻缺陷视觉检测方法、系统及计算设备
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117094988B (zh) * 2023-10-16 2024-02-02 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109685774A (zh) 基于深度卷积神经网络的压敏电阻外观缺陷检测方法
Hu et al. Revisiting single image depth estimation: Toward higher resolution maps with accurate object boundaries
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN106920224B (zh) 一种评估拼接图像清晰度的方法
CN105814607B (zh) 图像处理装置以及图像处理方法
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN103559499B (zh) 一种rgb矢量匹配快速识别系统及方法
CN110619638A (zh) 一种基于卷积块注意模块的多模态融合显著性检测方法
WO2023004546A1 (zh) 中医体质识别方法、装置、电子设备、存储介质及程序
CN107092906A (zh) 一种基于深度学习的中药材识别装置
CN108428214A (zh) 一种图像处理方法及装置
CN110264447A (zh) 一种注塑件的表面缺陷检测方法、装置、设备和存储介质
CN109902662A (zh) 一种行人重识别方法、系统、装置和存储介质
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN107493469A (zh) 一种确定sfr测试卡的感兴趣区域的方法及装置
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
Panetta et al. Unrolling post-mortem 3D fingerprints using mosaicking pressure simulation technique
Guo et al. Multi-focus image fusion based on fully convolutional networks
CN114140373A (zh) 一种基于LabVIEW深度学习的开关缺陷检测方法
CN116977316A (zh) 一种复杂外形构件损伤缺陷全场检测与量化评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426

RJ01 Rejection of invention patent application after publication