CN116309550B - 基于图像处理的集成电路贴片异常识别方法 - Google Patents
基于图像处理的集成电路贴片异常识别方法 Download PDFInfo
- Publication number
- CN116309550B CN116309550B CN202310525381.4A CN202310525381A CN116309550B CN 116309550 B CN116309550 B CN 116309550B CN 202310525381 A CN202310525381 A CN 202310525381A CN 116309550 B CN116309550 B CN 116309550B
- Authority
- CN
- China
- Prior art keywords
- patch
- crack
- significance
- area
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 14
- 230000035772 mutation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及图像数据处理技术领域,具体涉及基于图像处理的集成电路贴片异常识别方法。该方法采集集成电路板的贴片图像以得到贴片图像中的待测区,根据待测区的倾斜角度、拟合优度、角点数、像素点数量与顶角距离得到裂纹角度位置显著度,根据待测区的最小外接矩形的长度、宽度和裂纹生长宽度变化显著度得到待测区的裂纹生长度,根据裂纹角度位置显著度和裂纹生长度得到待测区的贴片异常显著度,通过贴片异常显著度对集成电路板的贴片进行异常识别。本发明对待测区分别进行裂纹角度特征、位置特征、长宽度特征和生长宽度变化特征的判断,实现了对待测区进行异常区域的判断,提高了对集成电路贴片的异常识别的准确性。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于图像处理的集成电路贴片异常识别方法。
背景技术
集成电路板应用广泛,是电子元器件的支撑体,也即是需要在集成电路板表面安装无引脚或短引线元器件。由于这些元器件体积较小较为精密,所以在将元器件的贴片安装在集成电路板上时,一般使用机器自动安装,在安装完成后再检测是否存在异常。
目前对于安装完成的贴片的检测,一般针对漏贴、错贴、贴反等情况,且这些检测较为精确。但是在贴片安装的过程中,由于抬放头的碰撞等机械应力、电路板弯曲或扭曲等原因,贴片上容易产生弯曲裂纹,直接影响贴片的质量,在这些元器件的后续工作过程中也容易导致短路,影响仪器的正常使用,所以需要对贴片表面的异常进行检测,以便及时识别异常贴片,减少后续贴片使用过程中出现短路的问题,从而有效提高仪器的使用寿命。目前主要使用电阻测试仪对集成电路板上的贴片进行异常检测,但是这种检测方法效率较低,不能精准快速地识别集成电路板上的异常贴片。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于图像处理的集成电路贴片异常识别方法,所采用的技术方案具体如下:
本发明提出一种基于图像处理的集成电路贴片异常识别方法,该方法包括:
采集集成电路板的贴片图像,筛选出所述贴片图像中的至少两个待测区;
对待测区的边缘像素点进行直线拟合分别得到待测区的倾斜角度和拟合优度;通过对待测区进行角点检测获取待测区的角点数;以所述贴片图像中的每个边缘像素点为中心点获取对应设定尺寸的窗口区域,统计窗口区域内属于待测区内的像素点数量;分别获取待测区的质心与贴片图像的4个顶角之间的欧氏距离,选取所述欧式距离中的最小值作为待测区与贴片图像的顶角之间的顶角距离;基于所述倾斜角度、所述拟合优度、所述角点数、所述像素点数量与所述顶角距离得到待测区的裂纹角度位置显著度;
基于待测区的最小外接矩形对最小外接矩形的两条长边进行像素点编号,根据相同像素点编号得到对应两个像素点之间的裂纹宽度;根据所述裂纹宽度之间的差值得到裂纹生长宽度变化显著度;结合最小外接矩形的长度、宽度和对应的裂纹生长宽度变化显著度得到对应待测区的裂纹生长度;
结合所述裂纹角度位置显著度与所述裂纹生长度得到对应待测区的贴片异常显著度;获取每个待测区的贴片异常显著度,根据所述贴片异常显著度对集成电路板的贴片进行异常识别。
进一步地,所述筛选出所述贴片图像中的至少两个待测区的方法包括:
对贴片图像进行灰度化和去噪处理得到贴片灰度图像,对贴片灰度图像使用边缘检测算法得到贴片边缘图像,通过霍夫直线检测确定贴片灰度图像中的直线,将检测到的直线与贴片边缘图像中各边缘线进行比较,得到贴片边缘图像中与直线相对应的目标边缘线,将目标边缘线中的各闭合边缘线所在的区域作为待测区。
进一步地,所述基于所述倾斜角度、所述拟合优度、所述角点数、所述像素点数量与所述顶角距离得到待测区的裂纹角度位置显著度包括:
裂纹角度位置显著度的计算公式为:
式中,为待测区的拟合优度,为待测区经过直线拟合后得到的拟合直线的倾斜
角,为待测区的角点数,为以贴片图像中的每个边缘像素点为中心点在设定尺寸的窗
口区域内属于待测区的像素点数量,为待测区的质心与贴片图像的顶角之间的最小的顶
角距离,为常数系数,为最小值函数;为绝对值函数。
进一步地,所述基于待测区的最小外接矩形对最小外接矩形的两条长边进行像素点编号,根据相同像素点编号得到对应两个像素点之间的裂纹宽度包括:
取待测区的最小外接矩形,从编号1开始分别对最小外接矩形的两条长边的每个像素点依次进行编号,编号相同的两个像素点为同组像素点,编号开始的位置为待测区靠近贴片图像的边缘的一侧,将同组像素点依次连接得到至少两个线段,分别获取每个线段与待测区相交的两个交点之间的欧氏距离,将每组交点之间的欧氏距离与对应线段的长度的比值作为这组像素点对应的裂纹宽度。
进一步地,所述根据所述裂纹宽度之间的差值得到裂纹生长宽度变化显著度包括:
依据各同组像素点的编号顺序分别将对应的裂纹宽度排列为一组数列,通过对该组数列使用M-K突变检验得到数列中的突变裂纹宽度,舍去数列中的突变裂纹宽度得到一组新数列;通过将新数列中前一个裂纹宽度减去相邻的后一个裂纹宽度得到对应的裂纹宽度差值,选取裂纹宽度差值中的正数作为正裂纹宽度差值,将正裂纹宽度差值的数量与裂纹宽度差值的总数量的比值作为裂纹生长宽度变化显著度。
进一步地,所述结合最小外接矩形的长度、宽度和对应的裂纹生长宽度变化显著度的到对应待测区的裂纹生长度包括:
将最小外接矩形的长度作为分子,最小外接矩形的宽度作为分母,将分子与分母的比值作为最小外接矩形的长宽比,将最小外接矩形的长宽比、长度和对应的裂纹生长宽度变化显著度的乘积作为对应待测区的裂纹生长度。
进一步地,所述结合所述裂纹角度位置显著度与所述裂纹生长度得到对应待测区的贴片异常显著度包括:
将裂纹角度位置显著度与裂纹生长度的乘积作为待测区的贴片异常显著度。
进一步地,所述获取每个待测区的贴片异常显著度,根据所述贴片异常显著度对集成电路板的贴片进行异常识别包括:
对每个待测区对应的贴片异常显著度进行归一化处理,得到归一化贴片异常显著度,当待测区的归一化贴片异常显著度大于等于异常阈值时,确认对应待测区为贴片异常区域;统计贴片异常区域的数量,当数量大于等于数量阈值时,确认集成电路板的贴片存在严重异常。
本发明具有如下有益效果:
本发明采集集成电路板的贴片图像,为了便于对集成电路板上的贴片进行异常识别,获取贴片图像中所有的待测区;为了准确得到待测区的裂纹角度位置显著度,本发明将待测区的边缘像素点进行直线拟合分别得到待测区的倾斜角度和拟合优度、获取待测区的角点数、获取以贴片图像中的每个边缘像素点为中心点获取对应设定尺寸的窗口区域内属于待测区的像素点数量和待测区与贴片图像的顶角之间的顶角距离,进而结合倾斜角度、拟合优度、像素点数量和顶角距离获取能够表示待测区的角度特征和位置特征的裂纹角度位置显著度;获取待测区的最小外接矩形,通过对最小外接矩形的两条长边对应的像素点进行编号得到裂纹宽度,根据裂纹宽度之间的差值得到裂纹生长宽度变化显著度,进而结合最小外接矩形的长度、宽度和对应的裂纹生长宽度变化显著度得到能够描述待测区的长宽度特征和生长宽度变化特征的裂纹生长度;将待测区的裂纹角度位置显著度和裂纹生长度作为判断贴片异常的两个特征;由于裂纹角度位置显著度表征了待测区的角度特征和位置特征、裂纹生长度表征了贴片上待测区的长宽度特征和生长宽度变化特征,因此结合待测区的裂纹角度位置显著度和裂纹生长度得到待测区的贴片异常显著度,提高了贴片异常显著度的分析精度,进而根据贴片异常显著度对贴片图像上的待测区进行异常识别,判断该待测区是否为裂纹区域;通过对每个待测区分别进行角度特征、位置特征、长宽度特征和生长宽度变化特征的判断,使得待测区的异常识别更准确,存在误差的情况更小,从而使得根据每个待测区的贴片异常显著度对集成电路板的贴片进行异常识别的结果更加严谨。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的集成电路贴片异常识别方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于图像处理的集成电路贴片异常识别方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的集成电路贴片异常识别方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像处理的集成电路贴片异常识别方法的步骤流程图,该方法包括:
步骤S1:采集集成电路板的贴片图像,筛选出所述贴片图像中的至少两个待测区。
在集成电路板上完成贴片的拼接和焊接后,通过CCD相机对集成电路板上的贴片进行图像采集,获取集成电路板的贴片图像,CCD相机架设的位置为集成电路板完成贴片安装后进行转移的路径上方。
对贴片图像进行灰度化和去噪处理得到贴片灰度图像,对贴片灰度图像使用边缘检测算法得到贴片边缘图像,通过霍夫直线检测确定贴片灰度图像中的直线,将检测到的直线与贴片边缘图像中各边缘线进行比较,得到贴片边缘图像中与直线相对应的目标边缘线,将目标边缘线中的各闭合边缘线所在的区域作为待测区。
作为一个示例,将采集到的集成电路板的贴片图像通过灰度化处理得到贴片灰度图像,由于环境、相机的内部零件等因素的影响,获取的贴片图像上不可避免地会出现噪声,为避免这些噪声的存在影响后续分析结果,使用中值滤波对贴片灰度图像进行去噪处理,以提高图像的精度和质量。对经过去噪处理后的贴片灰度图像使用canny检测算子得到贴片边缘图像。由于集成电路板的贴片上的裂纹为受应力产生,所以裂纹区域的边缘较为笔直。为了确定贴片图像上可能为裂纹的区域,对贴片灰度图像使用霍夫直线检测,检测贴片图像中存在的直线,将检测到的直线与贴片边缘图像中包含的各边缘线进行比较,将贴片边缘图像中与检测到的直线相对应的各边缘线筛选出来作为目标边缘线,筛选出目标边缘线中的各闭合边缘线,将各闭合边缘线所在的区域作为待测区,待测区为贴片图像上的异常区域,也是贴片图像中可能为裂纹的区域。
需要说明的是,图像的灰度化处理方法、中值滤波去噪方法和canny检测算子检测图像边缘的方法,具体方法在此不做限定,均为本领域技术人员熟知的技术手段。
步骤S2:对待测区的边缘像素点进行直线拟合分别得到待测区的倾斜角度和拟合优度;通过对待测区进行角点检测获取待测区的角点数;以所述贴片图像中的每个边缘像素点为中心点获取对应设定尺寸的窗口区域,统计窗口区域内属于待测区内的像素点数量;分别获取待测区的质心与贴片图像的4个顶角之间的欧氏距离,选取所述欧式距离中的最小值作为待测区与贴片图像的顶角之间的顶角距离;基于所述倾斜角度、所述拟合优度、所述角点数、所述像素点数量与所述顶角距离得到待测区的裂纹角度位置显著度。
考虑到贴片的表面产生弯曲裂纹的主要原因有两个:第一个原因是将贴片置于PCB板上的对应位置的过程中,由于抬放头的偏移、力度设置不合适等原因对贴片产生挤压导致产生裂纹;第二个原因是贴片焊接在PCB板上后,在移动等过程中电路板发生弯曲或扭曲而贴片位置已固定导致受应力不均而产生裂纹。由于贴片的焊点位置固定,所以裂纹位置一般离贴片的焊点位置较近且裂纹通常从贴片的某一边开始出现,所以裂纹的方向通常与贴片边缘呈45°角。同时,该裂纹为应力开裂,所以从裂纹生长的端点至停止生长的尾部,裂纹从较宽依次变窄。
由于产生裂纹时贴片的焊脚位置已固定,当贴片受到的拉伸应力大于表面材料的强度时,会以焊脚作为支点,在贴片表面形成条状弯曲裂纹,所以裂纹的方向通常与贴片边缘呈45°角,且裂纹位置一般距离贴片的焊点位置较近,裂纹通常从贴片的某一边开始出现。由此得到裂纹的角度特征为裂纹方向通常与贴片边缘呈45°角,裂纹的位置特征为裂纹位置一般距离贴片的焊点位置较近且裂纹通常靠近贴片的某一边。
根据裂纹的角度特征对待测区进行分析,具体分析为:由于裂纹的方向通常与贴
片边缘呈45°角,所以裂纹对应的待测区的倾斜角度应接近45°或者135°,故将待测区的边
缘包含的所有像素点进行直线拟合,得到对应的拟合优度和拟合直线的斜率,进而根据
直线的斜率与倾斜角度之间的关系得到拟合直线的倾斜角度。拟合优度是对
该边缘进行直线拟合所对应的拟合程度的衡量,拟合程度越好则拟合优度越大,若裂纹呈
条状,则对应的拟合优度较大。由于本发明考虑待测区对应的裂纹为应力裂纹,应力裂纹的
边缘并不圆润平整,而是部分位置呈现出较为尖锐的齿状,所以裂纹对应的待测区的角点
数量较多,故对待测区进行角点检测,获取待测区的角点数,并将角点数记为。
需要说明的是,本发明选取最小二乘法对待测区的边缘包含的所有像素点进行直线拟合,具体方法在此不做介绍,为本领域技术人员熟知的技术手段。
根据裂纹的位置特征对待测区进行分析,具体分析为:裂纹一般从贴片边缘开始
生长,所以窗口区域内的属于待测区内的像素点数量越多,则该区域从贴片边缘开始生长
的可能性越大;同时,若像素点数量越多,则对应该裂纹越宽,即出现裂纹的情况越严重,因
此以贴片图像对应的图像边缘上的每个边缘像素点为中心点获取尺寸为n*n的窗口区域,
统计窗口区域内属于待测区内的像素点数量,并将像素点数量记为。分别获取待测区的
质心与贴片图像的4个顶角的欧氏距离,选取欧氏距离中的最小值作为待测区与贴片图像
的顶角之间的顶角距离,并将该顶角距离记为。裂纹在焊点附近产生,裂纹对应的待测区
与贴片图像4个顶角较近,则顶角距离较小。
优选的,本方案中窗口区域的尺寸n取经验值5。
根据上述裂纹的角度特征得到的拟合优度、拟合直线的倾斜角度和角点数,
以及上述裂纹的位置特征得到的像素点数量和顶角距离获取对应待测区的裂纹角度
位置显著度,则裂纹角度位置显著度的计算公式为:
式中,为待测区的拟合优度,为待测区经过直线拟合后得到的拟合直线的倾斜
角度,为待测区的角点数,为以贴片图像中的每个边缘像素点为中心点在设定尺寸的
窗口区域内属于待测区的像素点数量,为待测区的质心与贴片图像的顶角之间的最小的
顶角距离,为常数系数,取经验值1,为最小值函数;为绝对值函数。
需要说明的是,裂纹角度位置显著度表示待测区的角度特征和位置特征与裂
纹的相似程度;当待测区与贴片图像各边缘之间的倾斜角度越接近45°或者135°,待测区
的拟合优度越大,待测区的角点数越多,代表待测区的角度特征与裂纹的角度特征越
符合,则待测区的裂纹角度位置显著度越大;当待测区与贴片图像的顶角之间的顶角距离
越短,以贴片图像中的每个边缘像素点为中心点在设定尺寸的窗口区域内属于待测区的像
素点数量越多,代表待测区的位置特征与裂纹的位置特征越符合,则待测区的裂纹角度
位置显著度越大。
步骤S3:基于待测区的最小外接矩形对最小外接矩形的两条长边进行像素点编号,根据相同像素点编号得到对应两个像素点之间的裂纹宽度;根据所述裂纹宽度之间的差值得到裂纹生长宽度变化显著度;结合最小外接矩形的长度、宽度和对应的裂纹生长宽度变化显著度得到对应待测区的裂纹生长度。
裂纹对应的长宽比呈条状,所以长宽比较大。当贴片初步出现异常时,裂纹较小,伴随着裂纹的生长,朝向裂纹的生长方向,裂纹的宽度越来越小。由此得到裂纹的长宽度特征为裂纹呈长条状,且裂纹的长宽比较大,裂纹的生长宽度变化特征为朝向裂纹的生长方向,裂纹的宽度越来越小。
根据裂纹的长宽度特征对待测区进行分析,取待测区的最小外接矩形,记最小外
接矩形的长度为,长宽比为,当最小外接矩形的长度越长,长宽比越大,则该待测区为贴
片上的异常区域的可能性越大。
根据裂纹的生长宽度变化特征对待测区进行分析,取待测区的最小外接矩形,从编号1开始分别对最小外接矩形的两条长边的每个像素点依次进行编号,编号相同的两个像素点为同组像素点,编号开始的位置为待测区靠近贴片图像的边缘的一侧,将同组像素点依次连接得到至少两个线段,分别获取每个线段与待测区相交的两个交点之间的欧氏距离,将每组交点之间的欧氏距离与对应线段的长度的比值作为这组像素点对应的裂纹宽度。
作为一个示例,从待测区靠近贴片图像的边缘的一侧开始,分别对最小外接矩形的两条长边的每个像素点从编号1开始依次进行编号,编号相同的两个像素点为同组像素点,将同组像素点依次连接得到多条线段,一个同组像素点对应一条线段,这些线段都与待测区的最小外接矩形的宽度等长;每条线段都会与待测区相交有两个交点,将这两个交点作为同组交点,得到同组交点之间的欧氏距离;将同组交点之间的欧式距离与对应的同组像素点之间的线段长度的比值作为这组像素点对应的裂纹宽度。
获取所有同组像素点对应的裂纹宽度,依据各同组像素点的编号顺序分别将对应的裂纹宽度排列为一组数列,通过对该组数列使用M-K突变检验得到数列中的突变裂纹宽度,舍去数列中的突变裂纹宽度得到一组新数列;通过将新数列中前一个裂纹宽度减去相邻的后一个裂纹宽度得到对应的裂纹宽度差值,选取裂纹宽度差值中的正数作为正裂纹宽度差值,将正裂纹宽度差值的数量与裂纹宽度差值的总数量的比值作为裂纹生长宽度变化显著度。
作为一个示例,依据各同组像素点的编号顺序分别将对应顺序的裂纹宽度排列为
一组数列,为保证这组数列中的各数值反映出的数值变化规律较为清晰,对该组数列使用
M-K突变检验,将检验出的突变值舍去,获得与裂纹宽度相关的一组新数列。将新数列中前
一个裂纹宽度减去相邻的后一个裂纹宽度得到对应的裂纹宽度差值,将这些裂纹宽度差值
的总数量记为,选取裂纹宽度差值中的正数作为正裂纹宽度差值,并将正裂纹宽度差值
的总数量记为。将正裂纹宽度差值的总数量与裂纹宽度差值的总数量的比值作为
裂纹生长宽度变化显著度。裂纹从初始生长的位置到停止生长的位置对应的裂纹宽度逐渐
减小,即得到的每组像素点对应的裂纹宽度应越来越小,直至减小到零,所以裂纹对应的待
测区对应的新数列中各前一项减去后一项的差值应正数较多,即占的比例较大。
需要说明的是,M-K突变检验处理数据的方法,具体方法在此不做限定,为本领域技术人员熟知的技术手段。
将最小外接矩形的长度作为分子,最小外接矩形的宽度作为分母,将分子与分母
的比值作为最小外接矩形的长宽比,将最小外接矩形的长宽比、长度和对应的裂纹生长宽
度变化显著度的乘积作为对应待测区的裂纹生长度,则裂纹生长度的计算公式为:
式中,为待测区的最小外接矩形的长宽比,为待测区的最小外接矩形的长度,为裂纹宽度差值的总数量,正裂纹宽度差值的总数量。
需要说明的是,裂纹生长度表示待测区的长宽度特征和生长宽度变化特征与裂
纹的相似程度;当待测区的最小外接矩形的长宽比越大,表示待测区呈条状越明显;当待
测区的最小外接矩形的长度越长,则待测区呈条状的可能性就越大;若裂纹从初始生长的
位置到停止生长的位置对应的裂纹的宽度逐渐减小,代表待测区的生长宽度变化特征与裂
纹的生长宽度变化特征越符合,的值越大,则待测区的裂纹生长度越大。
步骤S4:结合所述裂纹角度位置显著度与所述裂纹生长度得到对应待测区的贴片异常显著度;获取每个待测区的贴片异常显著度,根据所述贴片异常显著度对集成电路板的贴片进行异常识别。
基于步骤S2得到的待测区的裂纹角度位置显著度和步骤S3得到的待测区的裂纹
生长度,获取对应待测区的贴片异常显著度,则将裂纹角度位置显著度与裂纹生长度的乘
积作为待测区的贴片异常显著度,其中贴片异常显著度的计算公式为:
式中,为待测区的裂纹角度位置显著度,为待测区的裂纹生长度。
需要说明的是,贴片异常显著度是贴片上疑似为裂纹的待测区的异常程度评
价,当待测区对应的裂纹角度位置显著度和裂纹生长度越大时,则待测区对应的贴片异常
显著度越大,表示待测区对应贴片上的异常区域的可能性越高,即待测区越可能对应裂纹。
获取每个待测区的贴片异常显著度,根据贴片异常显著度对集成电路板的贴片进行异常识别:对每个待测区对应的贴片异常显著度进行归一化处理,得到归一化贴片异常显著度,当待测区的归一化贴片异常显著度大于等于异常阈值时,确认对应待测区为贴片异常区域;统计贴片异常区域的数量,当数量大于等于数量阈值时,确认集成电路板的贴片存在严重异常。
作为一个示例,对每个待测区对应的贴片异常显著度进行归一化处理,使得通
过归一化得到的归一化贴片异常显著度处于(0,1)。设置异常阈值,数量阈值,当归一
化贴片异常显著度大于等于异常阈值时,则认为该待测区对应贴片图像上的异常区域,
即该待测区对应贴片图像上的裂纹区域。当贴片对应的贴片图像中有待测区被识别为异常
区域,则认为该贴片存在异常;统计贴片对应的贴片图像中被识别为异常区域的待测区的
数量,当该数量大于等于数量阈值时,则认为该贴片存在严重异常。
优选的,本方案中异常阈值取经验值0.74,数量阈值取经验值3。
需要说明的是,贴片异常显著度的归一化处理方法,具体方法在此不做限定,为本领域技术人员熟知的技术手段。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于图像处理的集成电路贴片异常识别方法,其特征在于,该方法包括:
采集集成电路板的贴片图像,筛选出所述贴片图像中的至少两个待测区;
对待测区的边缘像素点进行直线拟合分别得到待测区的倾斜角度和拟合优度;通过对待测区进行角点检测获取待测区的角点数;以所述贴片图像中的每个边缘像素点为中心点获取对应设定尺寸的窗口区域,统计窗口区域内属于待测区内的像素点数量;分别获取待测区的质心与贴片图像的4个顶角之间的欧氏距离,选取所述欧氏距离中的最小值作为待测区与贴片图像的顶角之间的顶角距离;基于所述倾斜角度、所述拟合优度、所述角点数、所述像素点数量与所述顶角距离得到待测区的裂纹角度位置显著度;
基于待测区的最小外接矩形对最小外接矩形的两条长边进行像素点编号,根据相同像素点编号得到对应两个像素点之间的裂纹宽度;根据所述裂纹宽度之间的差值得到裂纹生长宽度变化显著度;结合最小外接矩形的长度、宽度和对应的裂纹生长宽度变化显著度得到对应待测区的裂纹生长度;
结合所述裂纹角度位置显著度与所述裂纹生长度得到对应待测区的贴片异常显著度;获取每个待测区的贴片异常显著度,根据所述贴片异常显著度对集成电路板的贴片进行异常识别;
所述裂纹角度位置显著度的获取方法,包括:
裂纹角度位置显著度的计算公式为:
式中,为待测区的拟合优度,/>为待测区经过直线拟合后得到的拟合直线的倾斜角,为待测区的角点数,/>为以贴片图像中的每个边缘像素点为中心点在设定尺寸的窗口区域内属于待测区的像素点数量,/>为待测区的质心与贴片图像的顶角之间的最小的顶角距离,/>为常数系数,/>为最小值函数;/>为绝对值函数;
所述裂纹生长度的获取方法,包括:
将最小外接矩形的长度作为分子,最小外接矩形的宽度作为分母,将分子与分母的比值作为最小外接矩形的长宽比,将最小外接矩形的长宽比、长度和对应的裂纹生长宽度变化显著度的乘积作为对应待测区的裂纹生长度;
所述贴片异常显著度的获取方法,包括:
将裂纹角度位置显著度与裂纹生长度的乘积作为待测区的贴片异常显著度。
2.根据权利要求1所述的一种基于图像处理的集成电路贴片异常识别方法,其特征在于,所述筛选出所述贴片图像中的至少两个待测区的方法包括:
对贴片图像进行灰度化和去噪处理得到贴片灰度图像,对贴片灰度图像使用边缘检测算法得到贴片边缘图像,通过霍夫直线检测确定贴片灰度图像中的直线,将检测到的直线与贴片边缘图像中各边缘线进行比较,得到贴片边缘图像中与直线相对应的目标边缘线,将目标边缘线中的各闭合边缘线所在的区域作为待测区。
3.根据权利要求1所述的一种基于图像处理的集成电路贴片异常识别方法,其特征在于,所述基于待测区的最小外接矩形对最小外接矩形的两条长边进行像素点编号,根据相同像素点编号得到对应两个像素点之间的裂纹宽度包括:
取待测区的最小外接矩形,从编号1开始分别对最小外接矩形的两条长边的每个像素点依次进行编号,编号相同的两个像素点为同组像素点,编号开始的位置为待测区靠近贴片图像的边缘的一侧,将同组像素点依次连接得到至少两个线段,分别获取每个线段与待测区相交的两个交点之间的欧氏距离,将每组交点之间的欧氏距离与对应线段的长度的比值作为这组像素点对应的裂纹宽度。
4.根据权利要求1所述的一种基于图像处理的集成电路贴片异常识别方法,其特征在于,所述根据所述裂纹宽度之间的差值得到裂纹生长宽度变化显著度包括:
依据各同组像素点的编号顺序分别将对应的裂纹宽度排列为一组数列,通过对该组数列使用M-K突变检验得到数列中的突变裂纹宽度,舍去数列中的突变裂纹宽度得到一组新数列;通过将新数列中前一个裂纹宽度减去相邻的后一个裂纹宽度得到对应的裂纹宽度差值,选取裂纹宽度差值中的正数作为正裂纹宽度差值,将正裂纹宽度差值的数量与裂纹宽度差值的总数量的比值作为裂纹生长宽度变化显著度。
5.根据权利要求1所述的一种基于图像处理的集成电路贴片异常识别方法,其特征在于,所述获取每个待测区的贴片异常显著度,根据所述贴片异常显著度对集成电路板的贴片进行异常识别包括:
对每个待测区对应的贴片异常显著度进行归一化处理,得到归一化贴片异常显著度,当待测区的归一化贴片异常显著度大于等于异常阈值时,确认对应待测区为贴片异常区域;统计贴片异常区域的数量,当数量大于等于数量阈值时,确认集成电路板的贴片存在严重异常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310525381.4A CN116309550B (zh) | 2023-05-11 | 2023-05-11 | 基于图像处理的集成电路贴片异常识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310525381.4A CN116309550B (zh) | 2023-05-11 | 2023-05-11 | 基于图像处理的集成电路贴片异常识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309550A CN116309550A (zh) | 2023-06-23 |
CN116309550B true CN116309550B (zh) | 2023-08-04 |
Family
ID=86799831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310525381.4A Active CN116309550B (zh) | 2023-05-11 | 2023-05-11 | 基于图像处理的集成电路贴片异常识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309550B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116703889B (zh) * | 2023-07-31 | 2023-10-03 | 深圳市普能达电子有限公司 | 一种柔性电路板贴片异常检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011058940A (ja) * | 2009-09-09 | 2011-03-24 | Panasonic Electric Works Co Ltd | 外観検査装置、外観検査方法 |
CN109145794A (zh) * | 2018-08-10 | 2019-01-04 | 大连理工大学 | 一种海洋牧场网箱的健康监测方法 |
CN113238142A (zh) * | 2021-06-07 | 2021-08-10 | 马鞍山骏展科技有限公司 | 用于集成电路的方法和系统 |
CN115049653A (zh) * | 2022-08-15 | 2022-09-13 | 凤芯微电子科技(聊城)有限公司 | 基于计算机视觉的集成电路板质量检测系统 |
WO2023272985A1 (zh) * | 2021-06-30 | 2023-01-05 | 兰剑智能科技股份有限公司 | 智能堆垛机及托盘位置异常的识别方法、装置和设备 |
CN115965623A (zh) * | 2023-03-16 | 2023-04-14 | 深圳市岑科实业有限公司 | 一种变压器生产中表面瑕疵检测方法及系统 |
-
2023
- 2023-05-11 CN CN202310525381.4A patent/CN116309550B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011058940A (ja) * | 2009-09-09 | 2011-03-24 | Panasonic Electric Works Co Ltd | 外観検査装置、外観検査方法 |
CN109145794A (zh) * | 2018-08-10 | 2019-01-04 | 大连理工大学 | 一种海洋牧场网箱的健康监测方法 |
CN113238142A (zh) * | 2021-06-07 | 2021-08-10 | 马鞍山骏展科技有限公司 | 用于集成电路的方法和系统 |
WO2023272985A1 (zh) * | 2021-06-30 | 2023-01-05 | 兰剑智能科技股份有限公司 | 智能堆垛机及托盘位置异常的识别方法、装置和设备 |
CN115049653A (zh) * | 2022-08-15 | 2022-09-13 | 凤芯微电子科技(聊城)有限公司 | 基于计算机视觉的集成电路板质量检测系统 |
CN115965623A (zh) * | 2023-03-16 | 2023-04-14 | 深圳市岑科实业有限公司 | 一种变压器生产中表面瑕疵检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于图像处理的混凝土裂缝的检测;刘清元, 谈桥;武汉理工大学学报(第04期);72-74 * |
Also Published As
Publication number | Publication date |
---|---|
CN116309550A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6779159B2 (en) | Defect inspection method and defect inspection apparatus | |
JP2515630B2 (ja) | 自動パッケ―ジ検査方法 | |
CN116309550B (zh) | 基于图像处理的集成电路贴片异常识别方法 | |
CN112686920A (zh) | 一种圆形零件几何尺寸参数视觉测量方法及系统 | |
CN110517265B (zh) | 一种产品表面缺陷的检测方法、装置及存储介质 | |
KR100598381B1 (ko) | 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법 | |
CN115018850B (zh) | 基于图像处理的精密电子零部件冲压孔毛刺检测方法 | |
CN108492327B (zh) | Aoi图像匹配方法、系统、可读存储介质及智能设备 | |
CN116468687A (zh) | 划伤缺陷检测方法、装置及存储介质、电子设备 | |
CN115546155A (zh) | 一种基于机器视觉的铆钉尺寸检测方法 | |
JP4893788B2 (ja) | 熱交換器のチューブ抽出検査方法及び装置 | |
CN115775244A (zh) | 线圈绕线的检测方法及装置、电子设备和存储介质 | |
CN110807354B (zh) | 一种工业流水线产品计数方法 | |
CN116168218A (zh) | 一种基于图像识别技术的电路板故障诊断方法 | |
US6898333B1 (en) | Methods and apparatus for determining the orientation of an object in an image | |
CN106530273B (zh) | 高精度fpc直线线路检测与缺陷定位方法 | |
US6813377B1 (en) | Methods and apparatuses for generating a model of an object from an image of the object | |
CN113393447B (zh) | 基于深度学习的针尖正位度检测方法及系统 | |
CN116840072B (zh) | 一种用于电子连接器的自动检校系统 | |
CN116152220A (zh) | 一种基于机器视觉的种子计数和尺寸测量方法 | |
CN107240109B (zh) | 一种仪表刻度线位置自动检测方法 | |
CN108986080B (zh) | 一种射线数字图像调制度确定方法及应用 | |
CN114264657A (zh) | 晶圆检验方法及系统 | |
JP3111433B2 (ja) | 画像処理装置 | |
CN114782436B (zh) | Pcb缺陷检测方法、电路板计量测量方法及制作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |