CN117635620B - 一种基于图像处理的电路板缺陷检测方法及系统 - Google Patents
一种基于图像处理的电路板缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117635620B CN117635620B CN202410110987.6A CN202410110987A CN117635620B CN 117635620 B CN117635620 B CN 117635620B CN 202410110987 A CN202410110987 A CN 202410110987A CN 117635620 B CN117635620 B CN 117635620B
- Authority
- CN
- China
- Prior art keywords
- edge
- mylar
- mylar film
- circuit board
- edge points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 140
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 229920002799 BoPET Polymers 0.000 claims abstract description 212
- 239000005041 Mylar™ Substances 0.000 claims abstract description 212
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 14
- 230000037303 wrinkles Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像处理的电路板缺陷检测方法及系统,涉及图像处理技术领域,包括获取电路板表面的图像并进行预处理操作;利用深度学习的YOLOv4目标检测算法和麦拉片图像数据集,建立电路板的麦拉片识别模型,并对预处理后的电路板图像进行麦拉片识别和标注;对于识别出的麦拉片组件,从整体和内部两个方面进行缺陷分析;通过麦拉片的位置和面积判断整体缺陷,通过识别麦拉片内部的边缘点和计算距离和曲率来判断内部缺陷;结合整体和内部缺陷分析,统计缺陷区域面积与麦拉片面积的比值进行缺陷综合评估;通过该方法可以实现电路板麦拉片缺陷的自动检测和评估,提高工作效率和准确性。
Description
技术领域
本发明涉及图像处理技术领域,特别是一种基于图像处理的电路板缺陷检测方法及系统。
背景技术
麦拉片,也称为薄膜或绝缘片,是一种广泛用于电子制造中的材料,尤其在电路板制造中扮演着关键角色;它通常由聚酯材料制成,具有绝缘、轻便、易于加工和安装等特点;在电路板中,麦拉片主要用于支撑和隔离不同的电子元件,提供电信号的传输路径,并保护内部的电子线路;
然而,麦拉片在生产和使用过程中可能会产生各种缺陷,这些缺陷可能源于生产过程中的瑕疵、存储环境的影响、安装时的操作不当或电路板使用过程中的各种因素;常见的麦拉片缺陷包括整体缺陷以及内部缺陷,整体缺陷包括尺寸不匹配、形状变形、表面损伤或破裂等;整体缺陷可能导致麦拉片无法正确安装或无法正常工作;内部缺陷包括内部裂纹、气泡和杂质;这些缺陷可能不会立即显现,但在使用过程中可能会影响麦拉片的电气性能和机械稳定性。
目前,基于图像处理的电路板缺陷检测方法在识别麦拉片缺陷时仍存在一些不足之处,传统的图像处理方法通常只关注麦拉片的形状、尺寸和位置等表面特征,而对于其内部缺陷的评估则较为有限,且存在着准确度不足的情况;此外,现有方法往往缺乏对麦拉片缺陷的综合评估,难以准确判断其在实际使用中的可靠性和稳定性。
发明内容
解决的技术问题
针对背景技术中的技术问题,本发明提出一种基于图像处理的电路板缺陷检测方法及系统,该方法通过预处理、建立模型、麦拉片识别、缺陷分析等步骤,全面评估麦拉片的缺陷情况;提高了缺陷检测的准确性。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一种基于图像处理的电路板缺陷检测方法,包括:
获取电路板表面的图像,并进行相应的预处理操作;
在电路板表面图像上建立直角坐标系,并基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型,使用麦拉片识别模型对预处理后的电路板表面图像进行麦拉片识别,并将麦拉片的位置坐标范围与类别在图像中标注出来;
对于电路板上识别出的麦拉片组件,分别从整体与内部两个方面进行缺陷分析;根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;通过识别麦拉片内部的边缘点,并计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;
结合对麦拉片整体与内部两方面的缺陷分析,统计麦拉片存在缺陷的区域面积,根据缺陷区域面积与麦拉片面积的比值对电路板中的麦拉片进行缺陷综合评估。
具体的,基于电路板的大小确定单目摄像头的最佳放置位置,具体表达式为:,其中,/>即为摄像头与电路板的最佳距离,/>与/>分别为电路板的长和宽,/>与/>分别为单目摄像头的焦距和像素。
具体的,从电路板图像库中取出100个已经识别出的麦拉片图像数据集,并对取出的图像数据进行图像尺寸统一化、像素矫正等操作;使用YOLOv4算法对处理后的100个没有缺陷的麦拉片图像数据进行训练;
采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测,即在不同尺度和位置上对待检测的电路板表面图像进行切割,然后在每个切割后的图像上运行麦拉片检测模型以进行目标检测;将检测到的麦拉片概率超过一定概率阈值的边界框在图像中标注出来,边缘坐标所连成的区域即为麦拉片所在区域。
具体的,记录待检测麦拉片的边缘位置坐标并计算该麦拉片的面积/>,记建立的麦拉片检测模型中麦拉片的正常边缘位置坐标为/>,正常面积为/>其中点与点/>在对应麦拉片边缘上的位置相同,且记录的边缘位置坐标共有/>个,则根据下列公式判断麦拉片整体是否发生缺陷:/>,分别设置坐标差阈值/>以及面积差阈值/>,且/>;当/>时,表示该麦拉片存在偏位缺陷,当/>时,表示该麦拉片不存在偏位缺陷;当/>时,表示该麦拉片存在重贴缺陷,当/>时,表示该麦拉片存在漏贴缺陷。
具体的,利用Canny边缘检测算法对麦拉片上的划痕、褶皱以及气泡进行识别;使用Sobel算子计算图像梯度的幅值和方向;对计算得到的梯度幅值图像进行非极大值抑制,去除梯度方向上不是局部最大值的像素点,以得到细化的边缘;使用两个阈值对细化后的边缘进行处理,其中数值较大的为高阈值,数值较小的为低阈值,高于高阈值的像素点被确定为边缘点,低于低阈值的像素点被排除,介于两者之间的像素点根据其连通性来决定是否为边缘点;检测出的边缘点组成该麦拉片上的边缘点集,每个边缘点的坐标为;
对提取出的边缘点进行特征提取,具体为根据每个边缘点相邻最近的边缘点坐标计算每个边缘点的曲率,表达式为:/>,
其中,与/>是与点/>相邻的左侧或上侧边缘点的坐标增量,/>与/>是与点/>相邻的右侧或下侧边缘点的坐标增量。
进一步的,设置划痕集、褶皱集以及气泡集,根据每个边缘点的曲率以及两个边缘点之间的距离对边缘点进行分类;
当曲率时,表示该边缘点为划痕边缘点;从边缘点集中取出所有曲率为0的边缘点,并逐一计算任意两个边缘点所连直线的斜率,斜率相同的两点为同一个划痕上的边缘点;所有曲率为0的边缘点分析完后,统计每个斜率相同的若干个边缘点,并将这些边缘点相连接组成若干条直线,这些直线即为识别出的划痕,并将这些组成同一个直线的边缘点放入一个划痕集中;对于分析得到的单一边缘点,即该边缘点与其余任何边缘点所连直线的斜率不与其余任何边缘点之间组成的直线斜率相同,将其放回边缘点集中。
进一步的,统计边缘点集中曲率相同的所有边缘点,并将这些曲率相同的边缘点组成边缘点子集,对每个边缘子集中的边缘点进行下列处理:计算边缘点与其所在边缘点子集中的其他边缘点的直线距离,并将计算出的最大的直线距离作为该边缘点的拟合直径,并依次计算出每个边缘点的拟合直径/>;求该边缘子集中所有边缘点拟合直径的标准差,表达式为:/>,
其中,为该边缘子集中的边缘点个数,/>为该边缘子集中每个边缘点的拟合直径均值;设置标准差阈值/>,若/>,表示该边缘子集中的边缘点组成了一个圆形,记麦拉片上出现了气泡缺陷,并将这些组成同一个圆形的边缘点放入一个气泡集中;否则,表示该边缘子集中的边缘点未组成一个圆形,将该边缘子集中的边缘点放回边缘点集中。
进一步的,对于边缘点集中的剩余边缘点,两两计算这些边缘点之间的距离,设置距离阈值/>,将距离/>的边缘点组成褶皱集,这些边缘点合围组成麦拉片表面的褶皱图形。
进一步的,统计整体缺陷分析中麦拉片偏位所导致的偏移面积以及重贴或漏贴所导致的面积/>;基于最小包围矩形算法,找到所有边缘点的最小边界矩形,使得分析得到的划痕、褶皱以及气泡区域都能放入矩形内,该矩形的面积记为/>;将麦拉片偏位所导致的偏移面积/>、重贴或漏贴所导致的面积/>以及划痕、褶皱以及气泡区域所组成的矩形面积与麦拉片的表面面积结合,形成缺陷综合评估指数/>,表达式为:/>,
当,表示麦拉片没有存在严重的缺陷,此时发出判断指令,结合多组图像分析的结果进行进一步判断;当/>,表示麦拉片存在部分缺陷,此时发出维修指令,结合上述分析的具体结果通知相关维修人员维修;
当,表示麦拉片存在严重的缺陷,此时发出更换指令,通知相关技术人员进行麦拉片的更换。
一种基于图像处理的电路板缺陷检测系统,包括:
数据获取模块,通过单目摄像头获取电路板表面的图像,并从电路板图像库中取出100个已经识别出的麦拉片图像数据集用于建立麦拉片检测模型;
检测模型建立模块,基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型;
麦拉片识别模块,采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测;
缺陷检测模块,包括整体缺陷检测单元、内部缺陷检测单元以及综合缺陷检测单元;其中,整体缺陷检测单元根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;内部缺陷检测单元通过识别麦拉片内部的边缘点,以及计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;综合缺陷检测单元通过结合对麦拉片整体与内部两方面的缺陷分析,对电路板中的麦拉片进行缺陷综合评估。
(三)有益效果
本发明提供了一种基于图像处理的电路板缺陷检测方法及系统,具备以下有益效果:
1、通过深度学习的YOLOv4目标检测算法,可以在图像中快速准确地识别出麦拉片的位置和类别;可以提高检测的精度和速度,能够有效地减少漏检和误检的情况;
2、从整体和内部两个方面进行麦拉片的缺陷分析,包括检测麦拉片的放置位置偏差、大小缺陷以及划痕、褶皱和气泡等内部缺陷;通过对麦拉片的位置、面积、边缘点距离和曲率等参数进行计算和比较,能够全面评估麦拉片的缺陷情况;
3、将各方面分析得到的缺陷区域面积与麦拉片的总面积进行比值计算,从而得到缺陷综合评估指数;通过该评估指数,可以综合评估整个电路板中的麦拉片缺陷情况,为后续的修复和改进提供有效依据;
4、通过深度学习和图像处理技术,实现了对电路板缺陷的自动化检测和分析;相比传统的人工检查方法,可以节省大量的时间和人力资源,并能够快速对大批量的电路板进行缺陷检测,提高生产效率和准确性。
附图说明
图1为本发明提供的基于图像处理的电路板缺陷检测方法的步骤流程图;
图2为本发明提供的基于图像处理的电路板缺陷检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,本发明提供一种基于图像处理的电路板缺陷检测方法,包括:
S1、获取电路板表面的图像,并进行相应的预处理操作;
通过单目摄像头获取电路板表面的图像;在拍摄之前需要确定单目摄像头与电路板之间的最佳距离以便获得最清晰的图像,基于电路板的大小确定单目摄像头的最佳放置位置,具体表达式为:,其中,/>即为摄像头与电路板的最佳距离,/>与/>分别为电路板的长和宽,/>与/>分别为单目摄像头的焦距和像素;对采集到的电路板表面图像进行预处理,包括灰度化、去噪、增强和二值化操作,以便后续进行线型检测,具体为:
(1)将彩色图像转换为灰度图像:,式中/>是转换后的灰度图像像素值,/>、/>、/>分别为转换前的彩色图像红、绿、蓝色彩通道像素值;以减少图像处理的数据量;
(2)通过中值滤波算法将图像中的噪声进一步消除,具体以像素为中心,指定的滑窗形状作为邻域,将邻域内的像素排序,将中值结果赋值给该邻域的像素,以获得更加清晰的图像;
(3)通过对比度拉伸、直方图均衡化等手段对图像进行增强处理,以突出图像中的细节和特征。
S2、在电路板表面图像上建立直角坐标系,并基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型,使用麦拉片识别模型对预处理后的电路板表面图像进行麦拉片识别,并将麦拉片的位置坐标范围与类别在图像中标注出来;
将图像中电路板的左下方端点作为原点,以横向为x轴,纵向为y轴,建立直角坐标系;基于YOLOv4目标检测算法建立麦拉片检测模型,并使用训练好的模型对预处理后的电路板表面图像进行包括麦拉片的目标检测,具体为:
S201、从电路板图像库中取出100个已经识别出的麦拉片图像数据集,取出的图像数据需进行图像尺寸统一化、像素矫正等操作,以保证所有的图像都能满足YOLOv4算法的输入要求;
S202、使用YOLOv4算法对处理后的100个没有缺陷的麦拉片图像数据进行训练,训练时需要设置合适的学习率、批量大小、优化器,以及选择合适的网络结构、损失函数等,具体为:
将初始学习率设为0.01,并基于学习率衰减策略,随着训练的进行逐渐减小学习率,以使模型更好地收敛;太高的学习率可能导致模型训练不稳定,而太低的学习率可能导致训练速度缓慢或陷入局部最小值;
批量大小决定了每次权重更新时使用的样本数量,增加批量大小可以提高训练速度,但批量大小过大也可能导致模型收敛到较差的解;本发明将批量大小设为32;
优化器是用于调整网络参数以最小化损失函数的算法,本发明使用Adam优化器进行训练,它是一种自适应学习率的优化器,具有较好的稳定性和收敛速度;
使用Darknet深度神经网络作为该模型训练时的骨干网络,该结构具有较深的层次和较少的参数,有利于提高模型的表达能力和训练效果;
损失函数是用于衡量模型预测与真实值之间差距的函数,该模型训练时采用交叉熵损失以及Smooth L1损失的组合对电路板图像进行训练,这可以有效地度量多分类问题中的类别概率分布与真实分布之间的差距。
在训练的过程中,模型会从输入的电路板图像中提取出麦拉片所在的区域,并记录这些区域的边界框的位置和大小;同时,还会计算出每个边界框的置信度,这个置信度表示为该边界框中是否包含目标麦拉片,以及该麦拉片被正确分类的概率;
训练完成后,得到麦拉片检测模型,该模型已经具备了对预处理后的电路板表面图像进行麦拉片检测的能力。
S203、采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测,即在不同尺度和位置上对待检测的电路板表面图像进行切割,然后在每个切割后的图像上运行麦拉片检测模型以进行目标检测,具体通过训练好的麦拉片检测模型中的Backbone网络,对待检测的电路板表面图像进行特征提取,并进入麦拉片检测模型的Neck网络,在提取出的特征上运行预先训练好的分类器和回归器,以得到每个可能的边界框的位置、大小和麦拉片概率,以及相应的置信度;将概率超过一定概率阈值的边界框(即麦拉片)边缘坐标在图像中标注出来,边缘坐标所连成的区域即为麦拉片所在区域。
S3、对于电路板上识别出的麦拉片组件,分别从整体与内部两个方面进行缺陷分析;根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;通过识别麦拉片内部的边缘点,以及计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;
从整体方面对麦拉片进行缺陷分析,包括麦拉片的放置位置是否存在较大的偏差、麦拉片是否存在大小上的缺陷,具体分析如下:
记录该麦拉片识别出的边缘位置坐标并计算麦拉片的面积/>,记建立的麦拉片检测模型中麦拉片的正常边缘位置坐标为/>,正常面积为/>其中点/>与点/>在相应麦拉片边缘上的位置对应,且记录的边缘位置坐标共有/>个,则根据下列公式判断麦拉片整体是否发生缺陷:/>,
分别设置坐标差阈值以及面积差阈值/>,且/>;当/>时,表示该麦拉片存在偏位缺陷,当/>时,表示该麦拉片不存在偏位缺陷;当/>时,表示该麦拉片存在重贴缺陷,当/>时,表示该麦拉片存在漏贴缺陷。
从内部方面对麦拉片进行缺陷分析,包括麦拉片内部是否存在着划痕、褶皱或者气泡这些缺陷,其中,划痕是指麦拉片表面上的线性痕迹,褶皱是指麦拉片表面上的不规则弯曲现象,气泡是指麦拉片内部或表面上的圆形气体泡;具体通过Canny边缘检测算法对识别出的麦拉片区域进行识别,将麦拉片内部可能发生的划痕、褶皱以及气泡所对应的边缘点识别出来,并通过不同图形的特征进行不同缺陷边缘点的识别,具体步骤为:
S301、利用Canny边缘检测算法对麦拉片上的划痕、褶皱以及气泡进行识别;使用Sobel算子计算图像梯度的幅值和方向;对计算得到的梯度幅值图像进行非极大值抑制,去除梯度方向上不是局部最大值的像素点,以得到细化的边缘;使用两个阈值对细化后的边缘进行处理,高于高阈值的像素点被确定为边缘点,低于低阈值的像素点被排除,介于两者之间的像素点需要根据其连通性来决定是否为边缘点;检测出的边缘点组成该麦拉片上的边缘点集,每个边缘点的坐标为;
S302、对提取出的边缘点进行特征提取,具体为根据每个边缘点相邻最近的边缘点坐标计算每个边缘点的曲率,表达式为:/>,
其中,与/>是与点/>相邻的左侧或上侧边缘点的坐标增量,/>与/>是与点/>相邻的右侧或下侧边缘点的坐标增量;
S303、设置划痕集、褶皱集以及气泡集,根据每个边缘点的曲率以及两个边缘点之间的距离对边缘点进行分类,并放入对应的集合中,具体为:
当曲率时,表示该边缘点为划痕边缘点;从边缘点集中取出所有曲率为0的边缘点,并逐一计算任意两个边缘点所连直线的斜率,斜率相同的两点为同一个划痕上的边缘点;所有曲率为0的边缘点分析完后,统计每个斜率相同的若干个边缘点,并将这些边缘点相连接组成若干条直线,这些直线即为识别出的划痕,并将这些组成同一个直线的边缘点放入一个划痕集中;对于分析得到的单一边缘点,即该边缘点与其余任何边缘点所连直线的斜率不与其余任何边缘点之间组成的直线斜率相同,将其放回边缘点集中;
统计边缘点集中曲率相同的所有边缘点,并将这些曲率相同的边缘点组成边缘点子集,对每个边缘子集中的边缘点进行下列处理:计算边缘点与其所在边缘点子集中的其他边缘点的直线距离,并将计算出的最大的直线距离作为该边缘点的拟合直径,并依次计算出每个边缘点的拟合直径/>;求该边缘子集中所有边缘点拟合直径的标准差/>,表达式为:/>,
其中,为该边缘子集中的边缘点个数,/>为该边缘子集中每个边缘点的拟合直径均值;
设置标准差阈值,若/>,表示该边缘子集中的边缘点组成了一个圆形,记麦拉片上出现了气泡缺陷,并将这些组成同一个圆形的边缘点放入一个气泡集中;否则,表示该边缘子集中的边缘点未组成一个圆形,将该边缘子集中的边缘点放回边缘点集中;
对于边缘点集中的剩余边缘点,两两计算这些边缘点之间的距离,设置距离阈值,将距离/>的边缘点组成褶皱集,这些边缘点组成了麦拉片表面的褶皱图形;
S304、当所有边缘点都放入对应的集合中时,即边缘点识别结束,将不同的缺陷轮廓在图像中标注出来,划痕轮廓用红色标注,褶皱轮廓用绿色标注,气泡轮廓用蓝色标注。
S4、结合对麦拉片整体与内部两方面的缺陷分析,统计麦拉片存在缺陷的区域面积,根据缺陷区域面积与麦拉片面积的比值对电路板中的麦拉片进行缺陷综合评估;
对于上述分析得到的电路板表面麦拉片上的缺陷,需对其进行缺陷综合评估,具体为:统计整体缺陷分析中麦拉片偏位所导致的偏移面积以及重贴或漏贴所导致的面积;基于最小包围矩形算法,找到所有边缘点的最小边界矩形,使得分析得到的划痕、褶皱以及气泡区域都能放入矩形内,该矩形的面积记为/>;将麦拉片偏位所导致的偏移面积/>、重贴或漏贴所导致的面积/>以及划痕、褶皱以及气泡区域所组成的矩形面积/>与麦拉片的表面面积结合,形成缺陷综合评估指数/>,表达式为:/>,
当,表示麦拉片没有存在严重的缺陷,此时发出判断指令,结合多组图像分析的结果进行进一步判断;
当,表示麦拉片存在部分缺陷,此时发出维修指令,结合上述分析的具体结果通知相关维修人员维修;
当,表示麦拉片存在严重的缺陷,此时发出更换指令,通知相关技术人员进行麦拉片的更换。
参考图2,本发明还提供一种基于图像处理的电路板缺陷检测系统,包括:
数据获取模块,通过单目摄像头获取电路板表面的图像,并从电路板图像库中取出100个已经识别出的麦拉片图像数据集用于建立麦拉片检测模型;
检测模型建立模块,基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型;
麦拉片识别模块,采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测;
缺陷检测模块,包括整体缺陷检测单元、内部缺陷检测单元以及综合缺陷检测单元;其中,整体缺陷检测单元根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;内部缺陷检测单元通过识别麦拉片内部的边缘点,以及计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;综合缺陷检测单元通过结合对麦拉片整体与内部两方面的缺陷分析,对电路板中的麦拉片进行缺陷综合评估。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。计算机可以是 通用计算机、专用计算机、计算机网络、或者其他可编程设备。计算机指令可以存储在计算机存储介质中,或者通过计算机存储介质进行传输。
计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid StateDisk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种基于图像处理的电路板缺陷检测方法,其特征在于:包括:
获取电路板表面的图像,并进行相应的预处理操作;
在电路板表面图像上建立直角坐标系,并基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型,使用麦拉片识别模型对预处理后的电路板表面图像进行麦拉片识别,并将麦拉片的位置坐标范围与类别在图像中标注出来;
对于电路板上识别出的麦拉片组件,分别从整体与内部两个方面进行缺陷分析;根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;记录待检测麦拉片的边缘位置坐标并计算该麦拉片的面积/>,记建立的麦拉片检测模型中麦拉片的正常边缘位置坐标为/>,正常面积为/>,其中点/>与点/>在对应麦拉片边缘上的位置相同,且记录的边缘位置坐标共有n个,则根据下列公式判断麦拉片整体是否发生缺陷:
,
分别设置坐标差阈值以及面积差阈值/>,且/>;当/>时,表示该麦拉片存在偏位缺陷,当/>时,表示该麦拉片不存在偏位缺陷;当/>时,表示该麦拉片存在重贴缺陷,当/>时,表示该麦拉片存在漏贴缺陷;
通过识别麦拉片内部的边缘点,并计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;利用Canny边缘检测算法对麦拉片上的划痕、褶皱以及气泡进行识别;使用Sobel算子计算图像梯度的幅值和方向;对计算得到的梯度幅值图像进行非极大值抑制,去除梯度方向上不是局部最大值的像素点,以得到细化的边缘;设置两个阈值对细化后的边缘进行处理,其中数值大的为高阈值,数值小的为低阈值,高于高阈值的像素点被确定为边缘点,低于低阈值的像素点被排除,介于两个阈值之间的像素点根据其连通性来决定是否为边缘点;检测出的边缘点组成该麦拉片上的边缘点集,每个边缘点的坐标为;
对提取出的边缘点进行特征提取,具体为根据每个边缘点相邻最近的边缘点坐标计算每个边缘点的曲率,表达式为:
,
其中,与/>是与点/>相邻的左侧或上侧边缘点的坐标增量,/>与/>是与点/>相邻的右侧或下侧边缘点的坐标增量;
设置划痕集、褶皱集以及气泡集,根据每个边缘点的曲率以及两个边缘点之间的距离对边缘点进行分类;
当曲率时,边缘点为划痕边缘点;从边缘点集中取出所有曲率为/>的边缘点,并逐一计算任意两个边缘点所连直线的斜率,斜率相同的两点为同一个划痕上的边缘点;所有曲率为/>的边缘点分析完后,统计每个斜率相同的若干个边缘点,并将这些边缘点相连接组成若干条直线,这些直线即为识别出的划痕,并将这些组成同一个直线的边缘点放入一个划痕集中;对于分析得到的单一边缘点,即该边缘点与其余任何边缘点所连直线的斜率不与其余任何边缘点之间组成的直线斜率相同,将其放回边缘点集中;
统计边缘点集中曲率相同的所有边缘点,并将这些曲率相同的边缘点组成边缘点子集,对每个边缘子集中的边缘点进行下列处理:计算边缘点与其所在边缘点子集中的其他边缘点的直线距离,并将计算出的最大的直线距离作为该边缘点的拟合直径,并依次计算出每个边缘点的拟合直径/>;求该边缘子集中所有边缘点拟合直径的标准差/>,表达式为:
,
为该边缘子集中的边缘点个数,/>为该边缘子集中每个边缘点的拟合直径均值;
设置标准差阈值,若/>,表示该边缘子集中的边缘点组成了一个圆形,记麦拉片上出现了气泡缺陷,并将这些组成同一个圆形的边缘点放入一个气泡集中;否则,表示该边缘子集中的边缘点未组成一个圆形,将该边缘子集中的边缘点放回边缘点集中;
对于边缘点集中的剩余边缘点,两两计算这些边缘点之间的距离,设置距离阈值/>,将距离/>的边缘点组成褶皱集,边缘点合围组成麦拉片表面的褶皱图形;
结合对麦拉片整体与内部两方面的缺陷分析,统计麦拉片存在缺陷的区域面积,根据缺陷区域面积与麦拉片面积的比值对电路板中的麦拉片进行缺陷综合评估。
2.如权利要求1所述的一种基于图像处理的电路板缺陷检测方法,其特征在于:
基于电路板的大小确定单目摄像头的放置位置,具体表达式为:,其中,/>即为摄像头与电路板的最佳距离,/>与/>分别为电路板的长和宽,/>与/>分别为单目摄像头的焦距和像素。
3.如权利要求1所述的一种基于图像处理的电路板缺陷检测方法,其特征在于:
从电路板图像库中取出100个已经识别出的麦拉片图像数据集,并对取出的图像数据进行图像尺寸统一化、像素矫正操作;使用YOLOv4算法对处理后的100个没有缺陷的麦拉片图像数据进行训练;
采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测,即在不同尺度和位置上对待检测的电路板表面图像进行切割,然后在每个切割后的图像上运行麦拉片检测模型得到每个边界框的位置、大小和麦拉片概率;将检测到的麦拉片概率超过麦拉片概率阈值的边界框在图像中标注出来,边缘坐标所连成的区域即为麦拉片所在区域。
4.如权利要求3所述的一种基于图像处理的电路板缺陷检测方法,其特征在于:
统计整体缺陷分析中麦拉片偏位所导致的偏移面积以及重贴或漏贴所导致的面积;基于最小包围矩形算法,找到所有边缘点的最小边界矩形,使得分析得到的划痕、褶皱以及气泡区域都能放入矩形内,该矩形的面积记为/>;
将麦拉片偏位所导致的偏移面积、重贴或漏贴所导致的面积/>以及划痕、褶皱以及气泡区域所组成的矩形面积/>与麦拉片的表面面积结合,形成缺陷综合评估指数/>,表达式为:
,
当,表示麦拉片没有存在严重的缺陷,发出判断指令,结合多组图像分析的结果进行进一步的缺陷判断;
当,表示麦拉片存在部分缺陷,发出维修指令;
当,表示麦拉片存在严重的缺陷,发出更换指令。
5.一种基于图像处理的电路板缺陷检测系统,应用权利要求1所述的一种基于图像处理的电路板缺陷检测方法,其特征在于,包括:
数据获取模块,通过单目摄像头获取电路板表面的图像,并从电路板图像库中取出100个已经识别出的麦拉片图像数据集用于建立麦拉片检测模型;
检测模型建立模块,基于深度学习的YOLOv4目标检测算法以及麦拉片图像数据集建立电路板的麦拉片识别模型;
麦拉片识别模块,采用滑动窗口的方式在训练好的麦拉片检测模型上进行目标检测;
缺陷检测模块,包括整体缺陷检测单元、内部缺陷检测单元以及综合缺陷检测单元;其中,整体缺陷检测单元根据麦拉片的位置坐标以及识别出的面积判断麦拉片是否出现整体缺陷;内部缺陷检测单元通过识别麦拉片内部的边缘点,以及计算边缘点之间的距离和边缘点的曲率判断麦拉片是否出现内部缺陷;综合缺陷检测单元通过结合对麦拉片整体与内部两方面的缺陷分析,对电路板中的麦拉片进行缺陷综合评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410110987.6A CN117635620B (zh) | 2024-01-26 | 2024-01-26 | 一种基于图像处理的电路板缺陷检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410110987.6A CN117635620B (zh) | 2024-01-26 | 2024-01-26 | 一种基于图像处理的电路板缺陷检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117635620A CN117635620A (zh) | 2024-03-01 |
CN117635620B true CN117635620B (zh) | 2024-04-16 |
Family
ID=90016749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410110987.6A Active CN117635620B (zh) | 2024-01-26 | 2024-01-26 | 一种基于图像处理的电路板缺陷检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117635620B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117929418B (zh) * | 2024-03-22 | 2024-06-07 | 西安源易通电子科技有限公司 | 一种集成电路缺陷检测方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276747A (zh) * | 2019-06-06 | 2019-09-24 | 中南大学 | 一种基于图像分析的绝缘子故障检测和故障评级方法 |
CN113870235A (zh) * | 2021-10-08 | 2021-12-31 | 福州大学 | 基于量子烟花圆弧边缘提取的圆形冲压件缺陷检测方法 |
CN114693603A (zh) * | 2022-03-03 | 2022-07-01 | 杭州安脉盛智能技术有限公司 | 一种锂电池Mylar膜缺陷检测方法 |
CN115311275A (zh) * | 2022-10-11 | 2022-11-08 | 南通百仕灵新能源科技有限公司 | 一种电子元器件表面缺陷检测方法及系统 |
CN116030061A (zh) * | 2023-03-29 | 2023-04-28 | 深圳市捷超行模具有限公司 | 一种基于视觉的硅胶成型效果检测方法 |
WO2023111542A1 (en) * | 2021-12-13 | 2023-06-22 | The University Of Liverpool | Defect identification in additive manufacturing based on time series in-process parameter data |
JP2023109690A (ja) * | 2022-01-27 | 2023-08-08 | 株式会社日立ハイテク | 欠陥観察方法、装置、およびプログラム |
CN117274245A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市嘉熠精密自动化科技有限公司 | 基于图像处理技术的aoi光学检测方法及系统 |
-
2024
- 2024-01-26 CN CN202410110987.6A patent/CN117635620B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276747A (zh) * | 2019-06-06 | 2019-09-24 | 中南大学 | 一种基于图像分析的绝缘子故障检测和故障评级方法 |
CN113870235A (zh) * | 2021-10-08 | 2021-12-31 | 福州大学 | 基于量子烟花圆弧边缘提取的圆形冲压件缺陷检测方法 |
WO2023111542A1 (en) * | 2021-12-13 | 2023-06-22 | The University Of Liverpool | Defect identification in additive manufacturing based on time series in-process parameter data |
JP2023109690A (ja) * | 2022-01-27 | 2023-08-08 | 株式会社日立ハイテク | 欠陥観察方法、装置、およびプログラム |
CN114693603A (zh) * | 2022-03-03 | 2022-07-01 | 杭州安脉盛智能技术有限公司 | 一种锂电池Mylar膜缺陷检测方法 |
CN115311275A (zh) * | 2022-10-11 | 2022-11-08 | 南通百仕灵新能源科技有限公司 | 一种电子元器件表面缺陷检测方法及系统 |
CN116030061A (zh) * | 2023-03-29 | 2023-04-28 | 深圳市捷超行模具有限公司 | 一种基于视觉的硅胶成型效果检测方法 |
CN117274245A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市嘉熠精密自动化科技有限公司 | 基于图像处理技术的aoi光学检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
"Accurate full-edge detection and depth measurement of internal defects using digital speckle pattern interferometry";Congcong Lv et al;《NDT& E International》;20181109;第102卷;第1-8页 * |
"自动光学(视觉)检测技术及其在缺陷检测中的应用综述";卢荣胜等;《光学学报》;20180627;第38卷(第08期);第23-58页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117635620A (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115170576B (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
CN117635620B (zh) | 一种基于图像处理的电路板缺陷检测方法及系统 | |
CN113989279A (zh) | 基于人工智能及图像处理的塑料薄膜质量检测方法 | |
CN111369516B (zh) | 基于红外图像识别的变压器套管发热缺陷检测方法 | |
CN116740058B (zh) | 一种固态硬盘配套晶圆的质量检测方法 | |
CN107240086B (zh) | 一种基于积分图算法的织物瑕疵检测方法 | |
CN116468728B (zh) | 一种五金冲压件模具生产质量检测方法 | |
CN116990323B (zh) | 一种高精密印刷版视觉检测系统 | |
CN113222938A (zh) | 芯片缺陷检测方法及系统与计算机可读存储介质 | |
CN114723705A (zh) | 一种基于图像处理的布匹瑕疵的检测方法 | |
CN117152129B (zh) | 一种电池盖板的表面缺陷视觉检测方法及系统 | |
CN115953409B (zh) | 基于图像处理的注塑件表面缺陷检测方法 | |
CN111047556A (zh) | 一种带钢表面缺陷检测方法及装置 | |
CN114972230A (zh) | 一种生产线上电路板缺陷检测方法及系统 | |
CN111638218A (zh) | 一种涂层表面缺陷的检测方法 | |
CN114881961A (zh) | 一种玻璃纤维板裂纹检测方法及设备 | |
CN116758425A (zh) | 一种大基地光伏电站自动验收方法和装置 | |
CN115330796A (zh) | 一种铜线镀锡缺陷识别方法 | |
CN116993725B (zh) | 一种柔性电路板智能贴片信息处理系统 | |
CN112330633B (zh) | 基于自适应带通滤波的跨接线胶带破损故障图像分割方法 | |
CN113506290A (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
CN117252818A (zh) | 基于改进YOLOv5的PCB缺陷检测方法 | |
CN115311288B (zh) | 一种汽车贴膜破损检测方法 | |
CN113888477A (zh) | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 | |
CN116402815B (zh) | 基于人工智能的电感线圈封装异常检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |