CN117094988B - 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 - Google Patents

一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 Download PDF

Info

Publication number
CN117094988B
CN117094988B CN202311331072.XA CN202311331072A CN117094988B CN 117094988 B CN117094988 B CN 117094988B CN 202311331072 A CN202311331072 A CN 202311331072A CN 117094988 B CN117094988 B CN 117094988B
Authority
CN
China
Prior art keywords
image
piezoresistor
minimum
rectangle
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311331072.XA
Other languages
English (en)
Other versions
CN117094988A (zh
Inventor
彭云武
吴兆波
秦思林
刘雅婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cetc Xingtuo Technology Co ltd
Original Assignee
Chengdu Cetc Xingtuo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cetc Xingtuo Technology Co ltd filed Critical Chengdu Cetc Xingtuo Technology Co ltd
Priority to CN202311331072.XA priority Critical patent/CN117094988B/zh
Publication of CN117094988A publication Critical patent/CN117094988A/zh
Application granted granted Critical
Publication of CN117094988B publication Critical patent/CN117094988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法，其包括：获取待检测压敏电阻图像；依次对待检测压敏电阻图像进行预处理；预处理包括滤波、掩膜提取、轮廓拟合、透视变换和图像裁剪；将预处理后的待检测压敏电阻图像输入缺陷检测模型，以得到压敏电阻表面的缺陷类型。本发明能够对压敏电阻表面的凹坑、凸起、毛边倒刺和杂质附着等微观缺陷进行高精度及高准确率的自动化检测以及缺陷类型分类。

Description

一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测 方法
技术领域
本发明涉及缺陷检测技术领域，特别是一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法。
背景技术
压敏电阻是各类电子产品中不可或缺的元器件。但由于陶瓷、聚合物等电阻制作材料存在杂质、气孔、晶界等，以及压敏电阻复杂的制作工艺步骤，如烧结、成型、金属化等，都可能导致凹坑、凸起、毛边倒刺和杂质附着等表面微观缺陷的产生，最终造成产品电阻值偏差增大，焊接不良，导电性能及耐久性降低等。因此在生产过程中需要尽可能对每个压敏电阻进行表面质量检测，以保证产品质量，提高合格率。
当前压敏电阻表面缺陷检测方法多为人工抽样检测，检测覆盖率低，且受到肉眼分辨率及工作效率的影响，人工检测可能会出现漏检，误检等情况，可靠性低。
现有极少借助计算机视觉对产线中获取到的压敏电阻图像进行处理后识别表面缺陷特征。申请号为CN201811452340.2的发明专利申请，通过图像的形态学操作检测及计算缺陷特征的方法，存在以下问题：1.适应缺陷类型单一；2.泛化能力差，不能适应不同尺寸、形状和位置的缺陷；3.准确率低，通过腐蚀膨胀等图像形态学操作之后计算得到的缺陷面积及长宽比等精度低；4.不能适应工厂中多变的光照环境、光学噪声等。
近年由于图形处理器等图像处理平台计算能力的飞跃式提升，基于深度学习算法自动学习零件表面微观特征并进行零件质检已成为解决上述问题的主流方法，通过卷积神经网络模型提取零件图像中的缺陷特征并进行判断，将电子元器件表面微观缺陷检测准确率提升至90%以上。
发明内容
鉴于此，本发明提供一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法。
本发明公开了一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法，其包括：
步骤1：获取待检测压敏电阻图像；
步骤2：依次对待检测压敏电阻图像进行预处理；预处理包括滤波、掩膜提取、轮廓拟合、透视变换和图像裁剪；
步骤3：将预处理后的待检测压敏电阻图像输入缺陷检测模型，以得到压敏电阻表面的缺陷类型。
进一步地，所述步骤2包括：
步骤21：采用双边滤波对待检测压敏电阻图像进行噪声信号抑制，以减弱图像中的背景杂质及相机噪声的影响；
步骤22：采用掩膜提取和轮廓拟合算法处理滤波后的压敏电阻图像，确定压敏电阻本体的最小外接矩形框；
步骤23：通过透视变换和图像裁剪算法对压敏电阻本体图像进行修正与裁剪，最终得到压敏电阻管脚朝下的本体图像。
进一步地，所述步骤22包括：
步骤221：对滤波后的压敏电阻图像进行掩膜提取操作，提取出压敏电阻本体掩膜图像；
步骤222：对压敏电阻本体掩膜图像进行形态学操作，以消除图像中存在的背景杂质；
步骤223：对消除背景杂质的压敏电阻本体掩膜图像进行轮廓拟合操作，得到压敏电阻本体最大外接矩形轮廓，实现对压敏电阻本体的初步提取。
进一步地，所述步骤221包括：
滤波后的压敏电阻图像由RBG图片转为HSV图片；提取HSV图片中H通道数据，并通过直方图显示；通过观察直方图得到压敏电阻颜色信息，得到颜色上下限；设定HSV提取掩膜的上下界限为该颜色上下限；通过设定的上下界限提取掩膜图像；
所述步骤222包括：
针对掩膜图像中存在的单独白色杂质，使用开运算操作进行去除；通过闭运算操作消除掩膜图像和去除单独白色杂质后的掩膜图像之间的黑色间隙；最后再使用膨胀操作扩充压敏电阻本体图像；
所述步骤223包括：
对去除背景杂质后的压敏电阻本体掩膜图像进行轮廓拟合，得到一系列轮廓坐标；对一系列轮廓坐标进行面积计算，找出其中面积最大轮廓；对最大轮廓进行最小外接矩形拟合，得到参数信息；根据最小外接矩形的参数信息，在滤波后的压敏电阻图像中画出压敏电阻本体的最小外接矩形；其中，参数信息包括中心点、宽度、高度、偏移角度。
进一步地，所述步骤23包括：
获取滤波后的压敏电阻图像中最小外接矩形的参数；该参数包括中心点坐标、宽度值、高度值；
根据最小外接矩形的宽度为长边或短边，将旋转角度设定为90°或0°；
根据最小外接矩形的参数值和设定的旋转角度值，生成透视变换最小外接矩形的参数；
将最小外接矩形的参数和透视变换最小外接矩形的参数分别转化为最小外接矩形的坐标和透视变换最小外接矩形的坐标；
根据最小外接矩形的坐标和透视变换最小外接矩形的坐标，构建透射变换矩阵；
采用透射变换矩阵对滤波后的压敏电阻图像进行透射变换，得到透射变换图；
根据透视变换最小外接矩形的坐标，在透射变换图中裁剪出透视变换最小外接矩形对应的图像；
将裁剪完的图像进行边界拓展，生成统一大小的目标图像；同时确保压敏电阻的管脚一端均朝下。
进一步地，所述步骤23包括：
压敏电阻最小外接矩形竖直放置，长边为竖直方向，短边为水平方向；若最小外接矩形的长边为矩形的宽，则将透视变换后的最小外接矩形的旋转角度设定为90°，最小外接矩形变为竖直放置状态；
若最小外接矩形的短边为矩形的宽，则将透视变换后的最小外接矩形的旋转角度设定为0°，最小矩形变为竖直放置状态。
进一步地，所述缺陷检测模型的训练过程为：
对采集的压敏电阻图像进行图像增强，以得到增强数据集；
在ImageNet数据集上预训练ResNet50网络模型，得到模型参数；其中，模型参数包括样本x属于第k类目标的概率值，以及交叉熵损失函数；
将预训练后的ResNet50网络模型在增强数据集上进行优化训练，最终得到缺陷检测模型。
进一步地，所述对采集的压敏电阻图像进行图像增强，以得到增强数据集，包括：
增加图像的亮度、对比度和饱和度的多样性：将原始压敏电阻图像的亮度、对比度和饱和度的极大值与极小值作为参数调整的限制区间，通过在限制区间内随机选取三个数值对原始图像进行补充；
增加图像缩放比例的多样性：使用随机缩放因子对原始压敏电阻图像进行缩放；
增加图像裁剪区域及面积的多样性：首先使用第一预设范围内的随机缩放因子对原始压敏电阻图像进行缩放，再使用第二预设范围内的随机纵横比对原始压敏电阻图像进行裁切；其中，第一预设范围和第二预设范围有交集。
进一步地，所述在ImageNet数据集上预训练ResNet50网络模型，得到模型参数，包括：
将ResNet50网络模型的全连接层节点个数设置为n个，通过Softmax函数将全连接层所有节点的输出转化为缺陷类型的概率值，计算样本x属于第k类缺陷类型的概率值；
针对Softmax函数输出的概率值进行损失计算。
进一步地，所述样本x属于第k类缺陷的概率值的计算公式为：
其中，表示模型计算得到的样本x属于第k类缺陷的得分值，n表示缺陷的种类数，P表示/>出现的概率，/>表示模型预测当前样本x为第k类缺陷的概率值；
交叉熵损失函数表达式为：
其中，m表示ImageNet数据集样本的数量；当样本x属于第k类样本时，为1，否则为0；/>表示模型预测第i个样本为第k类缺陷的概率值。
由于采用了上述技术方案，本发明具有如下的优点：能够对压敏电阻表面的凹坑、凸起、毛边倒刺和杂质附着等微观缺陷进行高精度及高准确率的自动化检测以及缺陷类型分类。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例的总体方法详细示意图；
图2为本发明实施例的预训练得到模型参数的原理示意图；
图3为本发明实施例的优化训练原理示意图；
图4为本发明实施例的掩膜提取和轮廓拟合算法流程示意图；
图5为本发明实施例的透视变换和图像裁剪效果示意图；
图6(a)为本发明实施例的一种修正最小外接矩形旋转角度示意图；
图6(b)为本发明实施例的又一种修正最小外接矩形旋转角度示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
参见图1，本发明提供了一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法的实施例，其包括以下步骤：
S1：获取待检测压敏电阻图像；
S2：依次对待检测压敏电阻图像进行预处理；预处理包括滤波、掩膜提取、轮廓拟合、透视变换和图像裁剪；
S3：将预处理后的待检测压敏电阻图像输入缺陷检测模型，以得到压敏电阻表面的缺陷类型。
首先通过对合格样品及含有不同类型缺陷的压敏电阻零件进行图像采集，由于缺陷样本毕竟是小概率事件，所以针对数据量不足且不均衡的问题进行了数据增强；然后将ResNet50网络模型（深度为 50 层的卷积神经网络模型）在ImageNet（用于视觉对象识别软件研究的大型可视化数据库）数据集上进行预训练得到初始模型参数，再将ResNet50网络模型在数据增强后的压敏电阻缺陷图像数据集上进行训练，得到优化后的模型；最终通过所设计的基于跨平台计算机视觉库的图像预处理算法对实际待测的压敏电阻图像进行处理，将处理后的图像送入优化后的ResNet50网络模型，输出缺陷类型分类。
图像数据增强包括：
增加图像的亮度、对比度和饱和度的多样性：将原始压敏电阻图像的亮度、对比度和饱和度的极大值与极小值作为参数调整的限制区间，通过在限制区间内随机选取三个数值对原始图像进行补充；
增加图像缩放比例的多样性：使用随机缩放因子（可以为0.9和1.2）对原始压敏电阻图像进行缩放；
增加图像裁剪区域及面积的多样性：首先使用第一预设范围（可以为0.1-1）内的随机缩放因子对原始压敏电阻图像进行缩放，再使用第二预设范围（可以为05-2）内的随机纵横比对原始压敏电阻图像进行裁切；裁切需要保留压敏电阻的缺陷信息，不能将有缺陷区域裁剪。其中，第一预设范围和第二预设范围有交集。
具体地，参见图2，通过ResNet50网络模型在ImageNet数据集上进行预训练得到模型参数的原理为：由于ImageNet数据集中共有n（可以取1000）类目标样本，所以ResNet50网络模型的全连接层节点个数设置为n个，通过Softmax函数将全连接层所有节点的输出转化为目标类别（缺陷类型）的概率值，样本x属于第k类目标（缺陷）的概率值计算表达式如下：
其中，表示模型计算得到的样本x属于第k类缺陷的得分值，n表示缺陷的种类数，P表示/>出现的概率，/>表示模型预测当前样本x为第k类缺陷的概率值；
针对Softmax函数输出的概率值进行损失计算，交叉熵损失函数表达式如下：
其中，m表示ImageNet数据集样本的数量；当样本x属于第k类样本时，为1，否则为0；/>表示模型预测第i个样本为第k类缺陷的概率值。
具体地，参见图3，在ImageNet数据集上预训练后得到的ResNet50网络模型继续在数据增强后的数据集上进行优化训练，由于本实施例中压敏电阻表面缺陷类型包括凹坑、凸起、毛边倒刺、杂质附着和无缺陷五类目标，所以将上述ResNet50网络模型的全连接层个数设置为五个；同样地，通过Softmax函数将全连接层所有节点的输出转化为目标类别的概率值，即得到五个目标类别。
具体地，基于OpenCV的图像预处理算法设计步骤为：
1.采用双边滤波的方法对从产线中获得的压敏电阻图像进行噪声信号抑制，减弱图像中的背景杂质及相机噪声的影响；双边滤波计算表达式为：
其中，为滤波后的像素值，/>为领域中坐标/>的像素值，/>为空间域核与灰度值核的乘积。
2.通过掩膜提取算法与轮廓拟合算法，可以得到压敏电阻本体图像的最小外接矩形轮廓，通过此矩形轮廓就可以实现对压敏电阻本体的裁切，从而解决图像中无用信息过多的问题。同时还可以回传最小外接矩形轮廓的参数信息，进行下一步的透视变换和图像裁剪算法操作。压敏电阻掩膜提取和轮廓拟合算法流程如图4所示，算法流程如下：
2.1首先对滤波图像进行掩膜提取操作，提取出压敏电阻本体掩膜图像；掩膜提取算法流程如下：
（1）滤波图像由RBG图片转HSV图片；
（2）提取HSV图片中H通道数据，并通过直方图显示；
（3）通过观察直方图得到压敏电阻颜色信息，得到颜色上下限为13-18；
（4）设定HSV提取掩膜的上下界限为13-18；
（5）通过设定的上下界限提取掩膜图像。
2.2其次对压敏电阻本体掩膜图像进行形态学操作，消除图像中存在的背景杂质；形态学操作算法流程如下：
（1）针对掩膜图像中存在的单独白色杂质，使用开运算操作进行去除；
（2）通过闭运算操作将两部分图像之间的黑色间隙消除；
（3）最后再使用膨胀操作扩充压敏电阻本体图像。
2.3最后对消除背景杂质的压敏电阻本体掩膜图像进行轮廓拟合操作，得到压敏电阻本体最大外接矩形轮廓，可以实现对压敏电阻本体的初步提取，解决图像中无用信息过多的问题。轮廓拟合算法流程如下：
（1）对去除背景杂质后的压敏电阻本体掩膜图像进行轮廓拟合得到一系列轮廓坐标；
（2）对一系列轮廓坐标进行面积计算，找出其中面积最大轮廓；
（3）对最大轮廓进行最小外接矩形拟合，得到参数信息；参数信息包括中心点、宽度、高度、偏移角度；
（4）根据最小外接矩形参数信息，在滤波图像中画出掩膜图像的最小外接矩形。
经过轮廓拟合操作后得到了压敏电阻本体最小外接矩形的轮廓参数信息，但压敏电阻的摆放位置各异的问题没有得到解决。通过透视变换和图像裁剪算法可以实现压敏电阻本体图像的修正与裁剪，最终得到压敏电阻管脚朝下的本体图像。透视变换和图像裁剪算法流程如下：
得到压敏电阻本体的原图的最小外接矩形参数，提取出中心点x和y的值、宽度值、高度值；
根据最小外接矩形的宽度为长边或短边，将旋转角度设定为90°或0°；
根据原图最小外接矩形参数值和修改后的旋转角度值，生成透视变换最小外接矩形的参数；
将原图最小外接矩形参数和透视变换最小外接矩形参数分别转化为原图最小外接矩形坐标和透视变换最小外接矩形坐标；
根据原图最小外接矩形坐标和透视变换最小外接矩形坐标，构建透射变换矩阵；
使用透射变换矩阵对原图进行透射变换得到透射变换图；
在透射变换图中使用透射变换最小外接矩形坐标对图像进行裁剪；
将裁剪完的图像进行边界拓展，生成统一大小的目标图像；
对于管脚触电朝上的图像进行手动旋转，将管脚一端朝下。
透视变换和图像裁剪的效果图如图5所示。
为了保证透视变换后的图像中的压敏电阻为竖直放置，则压敏电阻最小外接矩形为竖直放置，长边为竖直方向，短边为水平方向。若最小外接矩形的长边为矩形的宽，则将透视变换后的最小外接矩形参数中的旋转角度设定为90°，最小外接矩形将成为竖直放置状态；如图6(a)所示，修改完旋转角度参数后，实线矩形变为虚线矩形。若最小外接矩形的短边为矩形的宽，则将透视变换后的最小外接矩形参数中的旋转角度设定为0°，最小矩形成为竖直放置状态；如图6(b)所示，修改完旋转角度参数后，实线矩形变为虚线矩形。图6(a)和图6(b)中的均表示旋转角度。
针对压敏电阻的表面微观缺陷检测：1.通过设计具体的数据增强方式构建压敏电阻缺陷类型数据集；2.针对压敏电阻的结构特点及工厂实际生产环境设计基于OpenCV的图像预处理算法；3.选用ResNet50卷积神经网络模型在ImageNet数据集上进行预训练，针对压敏电阻表面微观缺陷检测，在数据增强后的数据集上进行模型参数优化训练。
通过上述技术方案，本发明实现了对压敏电阻表面凹坑、凸起、毛边倒刺和杂质附着等微观缺陷检测的高精度及高准确率自动化检测以及缺陷类型分类。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法，其特征在于，包括：
步骤1：获取待检测压敏电阻图像；
步骤2：依次对待检测压敏电阻图像进行预处理；预处理包括滤波、掩膜提取、轮廓拟合、透视变换和图像裁剪；
所述步骤2包括：
步骤21：采用双边滤波对待检测压敏电阻图像进行噪声信号抑制，以减弱图像中的背景杂质及相机噪声的影响；
步骤22：采用掩膜提取和轮廓拟合算法处理滤波后的压敏电阻图像，确定压敏电阻本体的最小外接矩形框；
步骤23：通过透视变换和图像裁剪算法对压敏电阻本体图像进行修正与裁剪，最终得到压敏电阻管脚朝下的本体图像；
所述步骤22包括：
步骤221：对滤波后的压敏电阻图像进行掩膜提取操作，提取出压敏电阻本体掩膜图像；
步骤222：对压敏电阻本体掩膜图像进行形态学操作，以消除图像中存在的背景杂质；
步骤223：对消除背景杂质的压敏电阻本体掩膜图像进行轮廓拟合操作，得到压敏电阻本体最大外接矩形轮廓，实现对压敏电阻本体的初步提取；
所述步骤221包括：
滤波后的压敏电阻图像由RBG图片转为HSV图片；提取HSV图片中H通道数据，并通过直方图显示；通过观察直方图得到压敏电阻颜色信息，得到颜色上下限；设定HSV提取掩膜的上下界限为该颜色上下限；通过设定的上下界限提取掩膜图像；
所述步骤222包括：
针对掩膜图像中存在的单独白色杂质，使用开运算操作进行去除；通过闭运算操作消除掩膜图像和去除单独白色杂质后的掩膜图像之间的黑色间隙；最后再使用膨胀操作扩充压敏电阻本体图像；
所述步骤223包括：
对去除背景杂质后的压敏电阻本体掩膜图像进行轮廓拟合，得到一系列轮廓坐标；对一系列轮廓坐标进行面积计算，找出其中面积最大轮廓；对最大轮廓进行最小外接矩形拟合，得到参数信息；根据最小外接矩形的参数信息，在滤波后的压敏电阻图像中画出压敏电阻本体的最小外接矩形；其中，参数信息包括中心点、宽度、高度、偏移角度；
所述步骤23包括：
获取滤波后的压敏电阻图像中最小外接矩形的参数；该参数包括中心点坐标、宽度值、高度值；
压敏电阻最小外接矩形竖直放置，长边为竖直方向，短边为水平方向；若最小外接矩形的长边为矩形的宽，则将透视变换后的最小外接矩形的旋转角度设定为90°，最小外接矩形变为竖直放置状态；
若最小外接矩形的短边为矩形的宽，则将透视变换后的最小外接矩形的旋转角度设定为0°，最小矩形变为竖直放置状态；
根据最小外接矩形的参数值和设定的旋转角度值，生成透视变换最小外接矩形的参数；
将最小外接矩形的参数和透视变换最小外接矩形的参数分别转化为最小外接矩形的坐标和透视变换最小外接矩形的坐标；
根据最小外接矩形的坐标和透视变换最小外接矩形的坐标，构建透射变换矩阵；
采用透射变换矩阵对滤波后的压敏电阻图像进行透射变换，得到透射变换图；
根据透视变换最小外接矩形的坐标，在透射变换图中裁剪出透视变换最小外接矩形对应的图像；
将裁剪完的图像进行边界拓展，生成统一大小的目标图像；同时确保压敏电阻的管脚一端均朝下；
步骤3：将预处理后的待检测压敏电阻图像输入缺陷检测模型，以得到压敏电阻表面的缺陷类型；
所述缺陷检测模型的训练过程为：
对采集的压敏电阻图像进行图像增强，以得到增强数据集；
在ImageNet数据集上预训练ResNet50网络模型，得到模型参数；其中，模型参数包括样本x属于第k类目标的概率值，以及交叉熵损失函数；
将预训练后的ResNet50网络模型在增强数据集上进行优化训练，最终得到缺陷检测模型。
2.根据权利要求1所述的方法，其特征在于，所述对采集的压敏电阻图像进行图像增强，以得到增强数据集，包括：
增加图像的亮度、对比度和饱和度的多样性：将原始压敏电阻图像的亮度、对比度和饱和度的极大值与极小值作为参数调整的限制区间，通过在限制区间内随机选取三个数值对原始图像进行补充；
增加图像缩放比例的多样性：使用随机缩放因子对原始压敏电阻图像进行缩放；
增加图像裁剪区域及面积的多样性：首先使用第一预设范围内的随机缩放因子对原始压敏电阻图像进行缩放，再使用第二预设范围内的随机纵横比对原始压敏电阻图像进行裁切；其中，第一预设范围和第二预设范围有交集。
3.根据权利要求1所述的方法，其特征在于，所述在ImageNet数据集上预训练ResNet50网络模型，得到模型参数，包括：
将ResNet50网络模型的全连接层节点个数设置为n个，通过Softmax函数将全连接层所有节点的输出转化为缺陷类型的概率值，计算样本x属于第k类缺陷的概率值；
针对Softmax函数输出的概率值进行损失计算。
4.根据权利要求3所述的方法，其特征在于，所述样本x属于第k类缺陷的概率值的计算公式为：
其中，表示模型计算得到的样本x属于第k类缺陷的得分值，n表示缺陷的种类数，P表示/>出现的概率，/>表示模型预测当前样本x为第k类缺陷的概率值；
交叉熵损失函数表达式为：
其中，m表示ImageNet数据集样本的数量；当样本x属于第k类样本时，为1，否则为0；表示模型预测第i个样本为第k类缺陷的概率值。
CN202311331072.XA 2023-10-16 2023-10-16 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 Active CN117094988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311331072.XA CN117094988B (zh) 2023-10-16 2023-10-16 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311331072.XA CN117094988B (zh) 2023-10-16 2023-10-16 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法

Publications (2)

Publication Number Publication Date
CN117094988A CN117094988A (zh) 2023-11-21
CN117094988B true CN117094988B (zh) 2024-02-02

Family

ID=88770079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311331072.XA Active CN117094988B (zh) 2023-10-16 2023-10-16 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117094988B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102060234A (zh) * 2010-10-26 2011-05-18 常州超媒体与感知技术研究所有限公司 轮胎吊车行进轨迹视频纠偏装置及方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN109685774A (zh) * 2018-12-10 2019-04-26 桂林理工大学 基于深度卷积神经网络的压敏电阻外观缺陷检测方法
CN111402248A (zh) * 2020-03-23 2020-07-10 华南理工大学 一种基于机器视觉的输电线路导线缺陷检测方法
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN113554631A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种基于改进网络的芯片表面缺陷检测方法
CN114119980A (zh) * 2021-12-07 2022-03-01 杭州涿溪脑与智能研究所 一种基于深度学习的膜盒压力表压力读取方法及系统
CN116527040A (zh) * 2023-04-27 2023-08-01 成都电科星拓科技有限公司 一种时钟相位检测装置以及相位差校准方法
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489477B2 (ja) * 2015-03-13 2019-03-27 パナソニックＩｐマネジメント株式会社 検知装置、負荷制御装置、及び負荷制御システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102060234A (zh) * 2010-10-26 2011-05-18 常州超媒体与感知技术研究所有限公司 轮胎吊车行进轨迹视频纠偏装置及方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN109685774A (zh) * 2018-12-10 2019-04-26 桂林理工大学 基于深度卷积神经网络的压敏电阻外观缺陷检测方法
CN111402248A (zh) * 2020-03-23 2020-07-10 华南理工大学 一种基于机器视觉的输电线路导线缺陷检测方法
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN113554631A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种基于改进网络的芯片表面缺陷检测方法
CN114119980A (zh) * 2021-12-07 2022-03-01 杭州涿溪脑与智能研究所 一种基于深度学习的膜盒压力表压力读取方法及系统
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN116527040A (zh) * 2023-04-27 2023-08-01 成都电科星拓科技有限公司 一种时钟相位检测装置以及相位差校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的压敏电阻表面缺陷检测方法研究;陈熊熊;《中国优秀硕士学位论文全文数据库》(第01期);C042-1218 *

Also Published As

Publication number Publication date
CN117094988A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN108776140B (zh) 一种基于机器视觉的印刷品瑕疵检测方法及系统
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN108596880A (zh) 基于图像处理的焊接缺陷特征提取与焊接质量分析方法
CN110992329A (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111539935A (zh) 一种基于机器视觉的电缆表面缺陷在线检测方法
CN115063421B (zh) 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN113298776B (zh) 一种金属闭式水泵叶轮外观缺陷检测方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN114897864A (zh) 基于数模信息的工件检测及缺陷判断方法
CN112581452A (zh) 工业配件表面缺陷检测方法、系统、智能设备和存储介质
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN107545557A (zh) 粪便图像中的虫卵检测方法和装置
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN113487563B (zh) 一种基于el图像的光伏组件隐裂自适应检测方法
CN117094988B (zh) 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN113252103A (zh) 一种基于matlab图像识别技术计算物料堆体积及质量的方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN110598697A (zh) 一种基于粗细字符定位的集装箱箱号定位方法
CN116597441B (zh) 基于深度学习和图像模式识别的藻类细胞统计方法及系统
CN112767304B (zh) 一种基于视觉的太阳花模组位置和方向检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant