CN116883434B - 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 - Google Patents
一种基于语义分割的加速度传感器芯片封装缺陷检测方法 Download PDFInfo
- Publication number
- CN116883434B CN116883434B CN202311132999.0A CN202311132999A CN116883434B CN 116883434 B CN116883434 B CN 116883434B CN 202311132999 A CN202311132999 A CN 202311132999A CN 116883434 B CN116883434 B CN 116883434B
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- welding layer
- chip
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 230000007547 defect Effects 0.000 title claims abstract description 23
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 22
- 230000001133 acceleration Effects 0.000 title claims abstract description 14
- 238000003466 welding Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 10
- 239000011800 void material Substances 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 210000000746 body region Anatomy 0.000 claims abstract description 6
- 238000012797 qualification Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 4
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 229910000679 solder Inorganic materials 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及一种基于语义分割的加速度传感器芯片封装缺陷检测方法，属于芯片缺陷检测技术领域。首先从X‑ray装体区图像中定位并提取芯片封装区域，再利用基于deeplabv3+网络构建的分割模型将封装体区域图像分割为背景、焊接层、焊接空洞区域，接着利用仿射变换将分割后图像中的焊接层进行旋转校正，然后采用基于颜色阈值分割的算法检测焊接层及焊接空洞的轮廓，计算焊接层像素宽度、焊接空洞的像素面积、长度与宽度信息，最后基于焊接空洞的像素面积、长度与宽度信息对芯片进行合格性判定；与现有技术相比，本发明可以高效、准确的检测出芯片焊接层的焊料空洞信息，从而提高小面积焊料空洞检测率，保证芯片封装质量。
Description
技术领域
本发明涉及一种基于语义分割的加速度传感器芯片封装缺陷检测方法，属于芯片缺陷检测技术领域。
背景技术
芯片作为现代电子信息技术产业高速发展的源动力，已广泛渗透到国民经济和社会发展每个领域，是数字经济、信息消费乃至国家长远发展的重要支撑。芯片的生产流程一般包括芯片设计、晶片制作、芯片封装三个步骤。芯片封装作为芯片生产流程的最后一步，其封装质量和封装可靠性影响着整个芯片产品的质量。芯片封装是将芯片固定在基座上，再将保护封盖用金属焊料焊接在基座上，在将芯片内外电路连接的同时，起到对内部芯片的保护作用，并且金属封盖还能增强芯片的整体散热性能。MXR2500MW是一个超低噪声和低成本的工业级热式二轴加速度传感器，采用标准的亚微米CMOS工艺制造，采用LCC小尺寸表面贴装工艺进行封装，被广泛应用于倾倒检测、汽车悬挂系统。由于MXR2500MW尺寸小、精度高，焊接时难以保证焊料填满焊接面，导致焊料空洞的产生，造成保护壳失效。因此对MXR2500MW加速度传感器芯片封装焊料空洞缺陷的准确检测至关重要。
传统的检测手段首先利用X-ray图像成像系统采集芯片图像，对采集的芯片图像进行检测的方法主要有两种：（1）人工目视检测；（2）基于机器视觉的检测方法。其中人工检测存在效率低、成本高；而且由于X-ray成像图片对比度较低，工人长时间工作后识别效率和准确度容易降低。这为芯片封装产线的高精度、高效率的需求提出了挑战。基于机器视觉的检测方法一定程度上缓解了人工的压力，但是基于机器视觉的检测方法大多依赖于手工设计的特征，过程繁琐，且泛化性不高，一旦出现芯片摆放不正、成像参数变化，都会有误检、漏检的情况发生。
随着深度学习的发展，深度卷积神经网络以其强大的特征提取能力在图像的像素级分类任务中展现了强大的优势。但是目前的芯片焊料空洞检测方法并没有与深度学习有机结合，仅采用机器视觉的方法无法检查出极薄的小面积焊料空洞。而这种极薄的小面积焊料空洞如果漏检，会严重影响到芯片的耐久性。因此，如何将深度学习应用到芯片封装焊料空洞缺陷检测中，对芯片封装缺陷部位进行高精度定位，是目前亟待解决的技术问题。
发明内容
本发明要解决的技术问题是提供一种基于语义分割的加速度传感器芯片封装缺陷检测方法，用以解决现有芯片焊料空洞检测方法存在检测效率和准确率低的问题，提高小面积焊料空洞检测率，保证芯片封装质量。
本发明的技术方案是：一种基于语义分割的加速度传感器芯片封装缺陷检测方法，具体步骤为：
Step1：从X-ray图像中定位并提取芯片封装体区域。
所述Step1具体为：
Step1.1：将X-ray图像转换为灰度图像。
Step1.2：使用高斯滤波对灰度图像进行平滑处理，去除噪声，同时保留图像的整体结构和轮廓信息。
Step1.3：采用Canny边缘检测算子对滤波后的灰度图像进行边缘检测，得到边缘二值化图像。
Step1.4：基于OpenCV库中的findContours函数提取边缘二值化图像中的边缘轮廓。
Step1.5：基于Numpy库中的concatenate函数将所有的轮廓点合并到一个数组中。
Step1.6：基于OpenCV库中的boundingRect函数生成X-ray图像所有轮廓的外接矩形。
Step1.7：利用Step1.6得到的外接矩形剪出芯片封装体区域图像，将裁剪后的芯片封装体区域图像进行尺寸归一化。
Step2：利用基于deeplabv3+网络构建的分割模型将封装体区域图像分割为背景、焊接层、焊接空洞。
所述Step2具体为：
Step2.1：使用轻量级网络MobileNet v2作为主干网络替代Deeplab v3+网络原来的主干网络Xecption。
Step2.2：将Deeplab v3+网络中的空洞空间金字塔池化模块中的空洞率组合修改为1、3、6、9。
Step2.3：根据数据集中各类别像素点的比例，设置Focal loss损失函数中的各类别的权重系数。
Step2.4：按照7:3的比例将芯片封装体区域图像和其对应的标注信息划分为训练集与验证集。
Step2.5：利用数据集中的训练集与验证集对分割模型进行训练和验证。
Step2.6：利用训练好的分割模型将芯片封装体区域图像分割为背景、焊接层、焊接空洞。
Step3：利用仿射变换将分割后的封装体区域图像中的焊接层进行旋转校正，并裁减出芯片焊接层区域图像。
所述Step3具体为：
Step3.1：将分割后的图像转换为灰度图像，利用Canny算子检测焊接层的边缘。得到二值化图像。
Step3.2：基于OpenCV库中的findContours函数，对二值化图像进行查找并绘制焊接层的轮廓，再利用OpenCV库中的minAreaRect函数计算焊接层的最小外接矩形，得到最小外接矩形的中心点坐标、宽度、高度及旋转角度。
Step3.3：取焊接层的最小外接矩形的中心坐标点及旋转角度，基于OpenCV库中的getRotationMatrix2D函数计算旋转矩阵。
Step3.4：基于Step3.3得到的旋转矩阵，调用OpenCV库中的arpAffine 函数对分割后的图像进行仿射变换，得到矫正后的焊接层图像。
Step3.5：基于最小外接矩形的旋转角度，将焊接层最小外接矩形的四个顶点坐标映射到仿射变换后的图像上，根据映射后的顶点坐标裁减出芯片焊接层区域图像。
Step4：采用基于颜色阈值分割方法检测焊接层的焊接空洞的轮廓，计算焊接空洞的像素面积、长度与宽度信息。
所述Step4具体为：
Step4.1：将焊接层区域图像从RGB颜色空间转换为HSV颜色空间，对焊接层和焊接层中空洞分别进行颜色阈值分割，分别得到焊接层和焊接层中空洞的二值化图像。
Step4.2：基于OpenCV库中的findContours函数，分别对焊接层和焊接层中空洞区域的二值化图像进行轮廓检测。
Step4.3：基于OpenCV库中的boundingRect函数，得到焊接层外边缘的像素宽度、焊接空洞的像素长度与宽度，基于OpenCV库中的contourArea函数，得到焊接空洞的像素面积。
Step5：基于焊接空洞的像素面积、长度与宽度信息对芯片进行合格性判定。
所述Step5具体为：
Step5.1：基于焊接层外边缘宽度的实际值与像素宽度，得到图像像素尺寸与实际尺寸的比例关系。
Step5.2：基于图像像素尺寸与实际尺寸的比例关系，得到焊接空洞的实际面积、长度及宽度尺寸。
Step5.3：若所有焊接空洞的实际面积、长度、宽度尺寸都小于其对应的阈值，则判定为合格，反之则认定为不合格。
本发明的有益效果是：本发明利用基于deeplabv3+网络构建的分割模型对芯片封装体区域进行图像分割，通过轻量级网络MobileNet v2作为主干网络替代Deeplab v3+网络原来的主干网络Xecption，在分割模型预测准确率的前提下，有效减少了模型的参数数量，简化了网络复杂度。与传统的图像处理技术相比，对焊接空洞缺陷的提取更加精确，泛化性较高。利用图像处理技术计算焊接空洞的实际尺寸，根据企业具体要求对芯片合格率进行判定，解决了企业对芯片封装质量检测的迫切需求。
附图说明
图1是本发明的步骤流程图；
图2是本发明的X-ray检测设备生成的X-ray图像；
图3是本发明的从X-ray图像中定位并提取芯片封装体区域图像；
图4是本发明的待测试图像；
图5是本发明的测试图像分割后的图像。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
实施例1：如图1所示，一种基于语义分割的加速度传感器芯片封装缺陷检测方法，具体步骤为：
如图2所示，Step1：从X-ray图像中定位并提取芯片封装体区域。
由于实际检测设备工作机理的原因，所采集到的X-ray图像是1500*1500尺寸大小的图片，而芯片封装体区域只占整个X-ray图片区域的一小部分，直接对原图进行检测难度较高且效率低，为提高分割模型的准确度及效率，需要利用相关图像处理技术将中心除的芯片封装体区域定位并提取出来。基于此，本实施例中，所述Step1，具体步骤如下：
Step1.1：将X-ray图像转换为灰度图像。
Step1.2：使用高斯滤波对灰度图像进行平滑处理，去除噪声，同时保留图像的整体结构和轮廓信息。
Step1.3：采用Canny边缘检测算子对滤波后的灰度图像进行边缘检测，得到边缘二值化图像。
Step1.4：基于OpenCV库中的findContours函数提取边缘二值化图像中的边缘轮廓。
Step1.5：基于Numpy库中的concatenate函数将所有的轮廓点合并到一个数组中。
Step1.6：基于OpenCV库中的boundingRect函数生成X-ray图像所有轮廓的外接矩形。
Step1.7：利用Step1.6得到的外接矩形剪出芯片封装体区域图像，将裁剪后的芯片封装体区域图像进行尺寸归一化。
Step2：利用基于deeplabv3+网络构建的分割模型将封装体区域图像分割为背景、焊接层、焊接空洞。
X-ray成像相较于可见光成像能够迅速获得芯片内部信息，更适用于芯片内部缺陷的检测。但其生成图像是多层芯片结构的叠加图像，具有对比度低、背景干扰大、缺陷特征不明显等特点，基于传统图像处理的缺陷检测方法难以实现对缺陷的精确提取，且泛化性较差。因此本实施例中，所述Step2具体为：
Step2.1：使用轻量级网络MobileNet v2作为主干网络替代Deeplab v3+网络原来的主干网络Xecption。
Step2.2：将Deeplab v3+网络中的空洞空间金字塔池化模块中的空洞率组合修改为1、3、6、9。
Step2.3：根据数据集中各类别像素点的比例，设置Focal loss损失函数中的各类别的权重系数。
Step2.4：按照7:3的比例将芯片封装体区域图像和其对应的标注信息划分为训练集与验证集。
Step2.5：利用数据集中的训练集与验证集对分割模型进行训练和验证。
Step2.6：利用训练好的分割模型将芯片封装体区域图像分割为背景、焊接层、焊接空洞。
如图3所示，Step3：利用仿射变换将分割后的封装体区域图像中的焊接层进行旋转校正，并裁减出芯片焊接层区域图像。
利用夹具对每一个芯片的位置进行固定会降低检测效率，因此 X-ray 采集设备获得的图像中芯片的位置不固定，极少有完全水平的状态。这将在后续的缺陷和焊接面尺寸的测量过程中引入一定的误差，降低测量精度，一定程度上还将降低后续人工复检的效率。因此本实施例中，所述Step3具体为：
Step3.1：将分割后的图像转换为灰度图像，利用Canny算子检测焊接层的边缘。得到二值化图像。
Step3.2：基于OpenCV库中的findContours函数，对二值化图像进行查找并绘制焊接层的轮廓，再利用OpenCV库中的minAreaRect函数计算焊接层的最小外接矩形，得到最小外接矩形的中心点坐标、宽度、高度及旋转角度。
Step3.3：取焊接层的最小外接矩形的中心坐标点及旋转角度，基于OpenCV库中的getRotationMatrix2D函数计算旋转矩阵。
Step3.4：基于Step3.3得到的旋转矩阵，调用OpenCV库中的arpAffine 函数对分割后的图像进行仿射变换，得到矫正后的焊接层图像。
Step3.5：基于最小外接矩形的旋转角度，将焊接层最小外接矩形的四个顶点坐标映射到仿射变换后的图像上，根据映射后的顶点坐标裁减出芯片焊接层区域图像。
如图4所示，Step4：采用基于颜色阈值分割方法检测焊接层的焊接空洞的轮廓，计算焊接空洞的像素面积、长度与宽度信息。
所述Step4具体为：
Step4.1：将焊接层区域图像从RGB颜色空间转换为HSV颜色空间，对焊接层和焊接层中空洞分别进行颜色阈值分割，分别得到焊接层和焊接层中空洞的二值化图像。
Step4.2：基于OpenCV库中的findContours函数，分别对焊接层和焊接层中空洞区域的二值化图像进行轮廓检测。
Step4.3：基于OpenCV库中的boundingRect函数，得到焊接层外边缘的像素宽度、焊接空洞的像素长度与宽度，基于OpenCV库中的contourArea函数，得到焊接空洞的像素面积。
如图5所示，Step5：基于焊接空洞的像素面积、长度与宽度信息对芯片进行合格性判定。
所述Step5具体为：
Step5.1：基于焊接层外边缘宽度的实际值与像素宽度，得到图像像素尺寸与实际尺寸的比例关系。
Step5.2：基于图像像素尺寸与实际尺寸的比例关系，得到焊接空洞的实际面积、长度及宽度尺寸。
Step5.3：若所有焊接空洞的实际面积、长度、宽度尺寸都小于其对应的阈值，则判定为合格，反之则认定为不合格。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种基于语义分割的加速度传感器芯片封装缺陷检测方法，其特征在于：
Step1：从X-ray图像中定位并提取芯片封装体区域；
Step2：利用基于deeplabv3+网络构建的分割模型将封装体区域图像分割为背景、焊接层、焊接空洞；
Step3：利用仿射变换将分割后的封装体区域图像中的焊接层进行旋转校正，并裁减出芯片焊接层区域图像；
Step4：采用基于颜色阈值分割方法检测焊接层的焊接空洞的轮廓，计算焊接空洞的像素面积、长度与宽度信息；
Step5：基于焊接空洞的像素面积、长度与宽度信息对芯片进行合格性判定；
所述Step4具体为：
Step4.1：将焊接层区域图像从RGB颜色空间转换为HSV颜色空间，对焊接层和焊接层中空洞分别进行颜色阈值分割，分别得到焊接层和焊接层中空洞的二值化图像；
Step4.2：基于OpenCV库中的findContours函数，分别对焊接层和焊接层中空洞区域的二值化图像进行轮廓检测；
Step4.3：基于OpenCV库中的boundingRect函数，得到焊接层外边缘的像素宽度、焊接空洞的像素长度与宽度，基于OpenCV库中的contourArea函数，得到焊接空洞的像素面积。
2.根据权利要求1所述的基于语义分割的加速度传感器芯片封装缺陷检测方法，其特征在于，所述Step1具体为：
Step1.1：将X-ray图像转换为灰度图像；
Step1.2：使用高斯滤波对灰度图像进行平滑处理，去除噪声，同时保留图像的整体结构和轮廓信息；
Step1.3：采用Canny边缘检测算子对滤波后的灰度图像进行边缘检测，得到边缘二值化图像；
Step1.4：基于OpenCV库中的findContours函数提取边缘二值化图像中的边缘轮廓；
Step1.5：基于Numpy库中的concatenate函数将所有的轮廓点合并到一个数组中；
Step1.6：基于OpenCV库中的boundingRect函数生成X-ray图像所有轮廓的外接矩形；
Step1.7：利用Step1.6得到的外接矩形剪出芯片封装体区域图像，将裁剪后的芯片封装体区域图像进行尺寸归一化。
3.根据权利要求1所述的基于语义分割的加速度传感器芯片封装缺陷检测方法，其特征在于，所述Step2具体为：
Step2.1：使用轻量级网络MobileNet v2作为主干网络替代Deeplab v3+网络原来的主干网络Xecption；
Step2.2：将Deeplab v3+网络中的空洞空间金字塔池化模块中的空洞率组合修改为1、3、6、9；
Step2.3：根据数据集中各类别像素点的比例，设置Focal loss损失函数中的各类别的权重系数；
Step2.4：按照7:3的比例将芯片封装体区域图像和其对应的标注信息划分为训练集与验证集；
Step2.5：利用数据集中的训练集与验证集对分割模型进行训练和验证；
Step2.6：利用训练好的分割模型将芯片封装体区域图像分割为背景、焊接层、焊接空洞。
4.根据权利要求1所述的基于语义分割的加速度传感器芯片封装缺陷检测方法，其特征在于，所述Step3具体为：
Step3.1：将分割后的图像转换为灰度图像，利用Canny算子检测焊接层的边缘；得到二值化图像；
Step3.2：基于OpenCV库中的findContours函数，对二值化图像进行查找并绘制焊接层的轮廓，再利用OpenCV库中的minAreaRect函数计算焊接层的最小外接矩形，得到最小外接矩形的中心点坐标、宽度、高度及旋转角度；
Step3.3：取焊接层的最小外接矩形的中心坐标点及旋转角度，基于OpenCV库中的getRotationMatrix2D函数计算旋转矩阵；
Step3.4：基于Step3.3得到的旋转矩阵，调用OpenCV库中的arpAffine 函数对分割后的图像进行仿射变换，得到矫正后的焊接层图像；
Step3.5：基于最小外接矩形的旋转角度，将焊接层最小外接矩形的四个顶点坐标映射到仿射变换后的图像上，根据映射后的顶点坐标裁减出芯片焊接层区域图像。
5.根据权利要求1所述的基于语义分割的加速度传感器芯片封装缺陷检测方法，其特征在于，所述Step5具体为：
Step5.1：基于焊接层外边缘宽度的实际值与像素宽度，得到图像像素尺寸与实际尺寸的比例关系；
Step5.2：基于图像像素尺寸与实际尺寸的比例关系，得到焊接空洞的实际面积、长度及宽度尺寸；
Step5.3：若所有焊接空洞的实际面积、长度、宽度尺寸都小于其对应的阈值，则判定为合格，反之则认定为不合格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311132999.0A CN116883434B (zh) | 2023-09-05 | 2023-09-05 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311132999.0A CN116883434B (zh) | 2023-09-05 | 2023-09-05 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883434A CN116883434A (zh) | 2023-10-13 |
| CN116883434B true CN116883434B (zh) | 2023-11-17 |
Family
ID=88271753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311132999.0A Active CN116883434B (zh) | 2023-09-05 | 2023-09-05 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883434B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139386A (zh) * | 2015-08-12 | 2015-12-09 | 南京航空航天大学 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
| CN107992898A (zh) * | 2017-12-14 | 2018-05-04 | 哈尔滨工业大学（威海） | 一种电子元件焊点缺陷检测方法 |
| CN110621988A (zh) * | 2017-05-15 | 2019-12-27 | 三菱电机株式会社 | 缺陷检查装置以及缺陷检查方法 |
| CN112730460A (zh) * | 2020-12-08 | 2021-04-30 | 北京航天云路有限公司 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
| CN113362306A (zh) * | 2021-06-07 | 2021-09-07 | 中山大学 | 一种基于深度学习的封装芯片缺陷检测方法 |
| CN113409245A (zh) * | 2021-04-06 | 2021-09-17 | 中国电子技术标准化研究院 | 一种电子元器件x射线检查缺陷自动识别方法 |
| CN114022464A (zh) * | 2021-11-10 | 2022-02-08 | 广东工业大学 | 一种贴片电阻焊点内部空洞自适应检测算法 |
| CN114119445A (zh) * | 2020-08-27 | 2022-03-01 | 北京晟易机器人科技有限公司 | 一种基于自动x射线成像的焊盘空洞率计算方法 |
| CN114862853A (zh) * | 2022-07-07 | 2022-08-05 | 烟台台芯电子科技有限公司 | 一种igbt焊接层空洞检测方法 |
| CN115170478A (zh) * | 2022-06-10 | 2022-10-11 | 湖南云眼智能装备有限公司 | 一种电子元件视觉识别方法 |
| CN115187500A (zh) * | 2021-04-01 | 2022-10-14 | 桂林电子科技大学 | 基于深度学习和自适应阈值分割的焊球缺陷检测方法 |
| CN115240058A (zh) * | 2022-06-14 | 2022-10-25 | 西北工业大学 | 一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法 |
| CN115937099A (zh) * | 2022-11-08 | 2023-04-07 | 温州大学智能锁具研究院 | 一种基于UNet深度可分离残差网络的BGA焊点分割方法 |
| CN116030016A (zh) * | 2023-01-10 | 2023-04-28 | 广州市易鸿智能装备有限公司 | 产品图像缺陷检测方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9180552B2 (en) * | 2013-05-27 | 2015-11-10 | ThinkSmart IT Solutions Private Limited | System and method for identifying defects in welds by processing X-ray images |
-
2023
- 2023-09-05 CN CN202311132999.0A patent/CN116883434B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139386A (zh) * | 2015-08-12 | 2015-12-09 | 南京航空航天大学 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
| CN110621988A (zh) * | 2017-05-15 | 2019-12-27 | 三菱电机株式会社 | 缺陷检查装置以及缺陷检查方法 |
| CN107992898A (zh) * | 2017-12-14 | 2018-05-04 | 哈尔滨工业大学（威海） | 一种电子元件焊点缺陷检测方法 |
| CN114119445A (zh) * | 2020-08-27 | 2022-03-01 | 北京晟易机器人科技有限公司 | 一种基于自动x射线成像的焊盘空洞率计算方法 |
| CN112730460A (zh) * | 2020-12-08 | 2021-04-30 | 北京航天云路有限公司 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
| CN115187500A (zh) * | 2021-04-01 | 2022-10-14 | 桂林电子科技大学 | 基于深度学习和自适应阈值分割的焊球缺陷检测方法 |
| CN113409245A (zh) * | 2021-04-06 | 2021-09-17 | 中国电子技术标准化研究院 | 一种电子元器件x射线检查缺陷自动识别方法 |
| CN113362306A (zh) * | 2021-06-07 | 2021-09-07 | 中山大学 | 一种基于深度学习的封装芯片缺陷检测方法 |
| CN114022464A (zh) * | 2021-11-10 | 2022-02-08 | 广东工业大学 | 一种贴片电阻焊点内部空洞自适应检测算法 |
| CN115170478A (zh) * | 2022-06-10 | 2022-10-11 | 湖南云眼智能装备有限公司 | 一种电子元件视觉识别方法 |
| CN115240058A (zh) * | 2022-06-14 | 2022-10-25 | 西北工业大学 | 一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法 |
| CN114862853A (zh) * | 2022-07-07 | 2022-08-05 | 烟台台芯电子科技有限公司 | 一种igbt焊接层空洞检测方法 |
| CN115937099A (zh) * | 2022-11-08 | 2023-04-07 | 温州大学智能锁具研究院 | 一种基于UNet深度可分离残差网络的BGA焊点分割方法 |
| CN116030016A (zh) * | 2023-01-10 | 2023-04-28 | 广州市易鸿智能装备有限公司 | 产品图像缺陷检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| An automatic welding defect location algorithm based on deep learning;Lei Yang 等;《NDT and E International》;1-10 * |
| Recognition of weld defects from X-ray images based on improved convolutional neural network;Ande Hu 等;《MultimediaToolsandApplications》;15085-15102 * |
| Research on automatic defect identification technology of electronic components;Yin Lijing 等;《CISAI 2020》;1-7 * |
| 基于机器视觉的芯片引脚测量及缺陷检测系统;杨桂华 等;《电子测量技术》;第44卷(第18期);136-142 * |
| 基于轻量化 DeepLab v3+网络的焊缝结构光图像分割;陈兵 等;《中国激光》;第50卷(第8期);0802105-1-0802105-10 * |
| 电子元器件X射线检查缺陷自动识别方法研究;丁然 等;《电子元器件与信息技术》;10-13 * |
| 贴片电阻焊点内部空洞缺陷自适应检测;蔡念 等;《电子与信息学报》;第44卷(第5期);1617-1624 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883434A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| CN107945184B (zh) | 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 | |
| CN113221889B (zh) | 一种芯片字符抗干扰识别方法及装置 | |
| CN111932501A (zh) | 一种基于语义分割的密封圈表面缺陷检测方法 | |
| CN102496161B (zh) | 一种印刷电路板图像的轮廓提取方法 | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| CN112348840A (zh) | 基于像素区域生长的qfp芯片引脚缺陷判别方法 | |
| CN110473184A (zh) | 一种pcb板缺陷检测方法 | |
| CN112767399B (zh) | 半导体焊线缺陷检测方法、电子设备及存储介质 | |
| CN109752392A (zh) | 一种pcb板缺陷类型检测系统和方法 | |
| CN114757903A (zh) | 一种光器件芯片封装金线缺陷检测方法 | |
| CN113256598A (zh) | 一种用于芯片生产的视觉检测系统 | |
| CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
| CN109724988A (zh) | 一种基于多模板匹配的pcb板缺陷定位方法 | |
| CN107507130A (zh) | 一种快速的qfn芯片引脚图像获取与放大方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN106770333A (zh) | 一种bga缺陷自动检测方法 | |
| CN116993725B (zh) | 一种柔性电路板智能贴片信息处理系统 | |
| CN114170165A (zh) | 一种芯片表面缺陷检测方法和装置 | |
| CN116883434B (zh) | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 | |
| CN112183593A (zh) | 一种基于dssd算法的道路损伤检测方法 | |
| CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
| CN116309568A (zh) | 一种芯片焊脚焊接质量检测方法及系统 | |
| CN115457563A (zh) | 一种零漏检兼低误识的船体水尺读取方法 | |
| CN113592853A (zh) | 一种基于深度学习的原丝纤维表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |