CN112730460A - 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 - Google Patents
一种通信ic芯片焊接缺陷与密集型虚焊检测技术 Download PDFInfo
- Publication number
- CN112730460A CN112730460A CN202011420655.6A CN202011420655A CN112730460A CN 112730460 A CN112730460 A CN 112730460A CN 202011420655 A CN202011420655 A CN 202011420655A CN 112730460 A CN112730460 A CN 112730460A
- Authority
- CN
- China
- Prior art keywords
- pin
- image
- defect
- chip
- intensive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000003466 welding Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000004891 communication Methods 0.000 title claims abstract description 15
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- RSWGJHLUYNHPMX-UHFFFAOYSA-N Abietic-Saeure Natural products C12CCC(C(C)C)=CC2=CCC2C1(C)CCCC2(C)C(O)=O RSWGJHLUYNHPMX-UHFFFAOYSA-N 0.000 title abstract description 9
- KHPCPRHQVVSZAH-HUOMCSJISA-N Rosin Natural products O(C/C=C/c1ccccc1)[C@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 KHPCPRHQVVSZAH-HUOMCSJISA-N 0.000 title abstract description 9
- KHPCPRHQVVSZAH-UHFFFAOYSA-N trans-cinnamyl beta-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OCC=CC1=CC=CC=C1 KHPCPRHQVVSZAH-UHFFFAOYSA-N 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000002950 deficient Effects 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 13
- 229910000679 solder Inorganic materials 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005476 soldering Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000013316 zoning Methods 0.000 abstract 1
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
- G01N2021/95646—Soldering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及芯片缺陷智能检测的技术领域，特别是涉及一种通信IC芯片焊接缺陷与密集型虚焊检测技术，对于引脚起翘检测，通过对拍摄的芯片图像进行阈值分割与二值化等一系列处理，定位到引脚焊接点，利用初步判断法、拟合直线法与分区域法进行引脚起翘的检测，对于密集型虚焊的检测，采集大量的图像数据，然后进行整理、标注、清洗、数据扩充等预处理步骤，将原始的图像数据转换为计算机可识别的数据，在此基础上，构造深层卷积神经网络，经过多轮训练获取图像数据分类器，用以识别芯片中存在的密集型虚焊问题；包括以下步骤：S1、图像采集模块；S2、引脚起翘缺陷检测；S3、密集型虚焊检测。
Description
技术领域
本发明涉及芯片缺陷智能检测的技术领域，特别是涉及一种通信IC芯片焊接缺陷与密集型虚焊检测技术。
背景技术
电子元器件的焊接是IC芯片生产流程的一个重要环节，焊接质量直接决定了芯片的工作性能，因而对于焊接的质量检测工作日益受到重视。在通信使用的IC芯片焊接过程中，主要存在着两类焊接缺陷：引脚起翘与密集型虚焊。引脚起翘又称翘脚，指的是引脚发生翘起，没有接触到焊盘，导致电子元器件无法正常工作；密集型虚焊一般是指当芯片的引脚比较密集时，由于在焊接点有氧化或有杂质，或者焊接温度不佳、方法不当造成的一种缺陷，导致焊点处只有少量的锡焊柱，造成接触不良，时通时断。
目前对于引脚翘起与虚焊的检测方法主要有三类，人工检测、传统的2D自动光学检测技术(2D-AOI)与3D-AOI[1-3]。使用人工检测，其检测过程往往受到检测员的专业水平、疲劳程度以及不良情绪等因素的影响，无法满足快速检测的精度需求，导致工作效率低下；而且人工检测需要雇佣大量员工，并对其进行相关培训，对企业造成巨大的开销。特别地，当IC芯片的引脚比较密集时(一般小于0.3mm)，由于焊盘面积小，引脚自身体积小，用锡量少而精准，通过反射光色度分析法得到的图像特征不显著，很难通过人眼直接利用图像特征来区分OK板以及NG板，也就很难人为地给出特征标准来判别检出NG板；传统的2D-AOI是利用单一的摄像头，从上往下拍摄，最终获取焊接点的二维图像。该图像仅包含长、宽信息，AOI内部的检测算法，也只能处理长宽信息，而引脚起翘等焊接缺陷的长宽信息变化不大，只是高度信息有变化，导致2D-AOI无法有效检测出此类缺陷；现阶段主流的处理方式是使用3D-AOI，新增传感器如X光，可获取高度信息，从而利用算法检测出原来难以检测出的缺陷，但是这种方法的成本过大，并且存在一定的安全隐患。
发明内容
为解决上述技术问题，本发明提供一种通信IC芯片焊接缺陷与密集型虚焊检测技术,对于引脚起翘检测，通过对拍摄的芯片图像进行阈值分割与二值化等一系列处理，定位到引脚焊接点，利用初步判断法、拟合直线法与分区域法进行引脚起翘的检测，对于密集型虚焊的检测，采集大量的图像数据，然后进行整理、标注、清洗、数据扩充等预处理步骤，将原始的图像数据转换为计算机可识别的数据，在此基础上，构造深层卷积神经网络，经过多轮训练获取图像数据分类器，用以识别芯片中存在的密集型虚焊问题。
本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，包括以下步骤：
S1、图像采集模块
图像采集过程中，使用铝型材作为整体的框架，配合LED光源、可调整倾斜度的相机框架，以及用于调整角度的电动旋转托盘，使用该图像数据采集模块，可针对复杂物体的局部进行高精度、广视野、多角度的图像数据采集工作；
S2、引脚起翘缺陷检测
检测引脚起翘过程中，PCB板固定后，滑轨不断移动，配合复合塔状LED光源，每一次移动摄像头都得到一张含有丰富反射光信息的局部图像，然后利用反射光色度分析法，得到图中元件引脚的特征信息，再根据当前局部图像所对应的元件以及想要分析的缺陷，执行相应的分析算法，从而检测出是否含有焊接缺陷；
S3、密集型虚焊检测
利用深层卷积神经网络，利用苏纳法地自学习性，自行从图像的颜色特征中学习提取人眼无法识别的细微特征，利用细粒度特征来完成对OK板和NG板的分类，从而检出NG板。
本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，所述步骤S2中具体步骤如下：
S201、反射光色度成像法
由于部署在拍摄区域的光源分为红色、绿色、蓝色三种，且不同种类的光源的高低、位置不同，所以焊点焊锡不同区域反射的不同颜色的光的比例不同，最终成像后，焊锡不同区域的主要颜色有区别，得到ROI图片后，根据实际情况调整区分阈值，从而去除会影响进一步分析的背景图像，只留下所关注的引脚附近的图像，然后，通过分析ROI图像的颜色，就可以确定哪一部分是引脚、焊盘、焊锡，从而得到各部分的尺寸、形状、表面等信息，该方法主要用于获取ROI的特征信息，为其他算法的前置；
S202、初步判断
对采集到的引脚图像作二值化处理，获取到引脚的二值化图像，在高亮点个数、高亮点面积以及上下高亮点的斜率三个方面对引脚正常图像以及二值化图像进行对比；
S203、拟合直线法
该方法是将每个引脚及其焊盘、焊锡视为一个整体，利用线性回归法，将芯片同一端的多个引脚整体的质心拟合出一条直线；
S204、分区域法
该方法仍然是利用了上下高亮点处的质心之间的斜率，划分为多个区域，然后通过计算每个子区域内的高亮点的个数来检测引脚问题。
本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，所述步骤S3中具体步骤如下：
S301、数据采集与预处理
首先，在现有缺陷样本的基础上，对该种缺陷进行多角度、多缩放倍数的拍摄，并利用外置光源改变光照条件进行拍摄；其次，按照设定的缺陷需求，手工制造缺陷进行模拟；最后基于拍摄的照片，使用旋转、变换、剪切等图像增强手段，进行数据扩充；
S302、深度学习分类模型
采用多层CNN卷积神经网络加1层全连接网络的方式，采用RGB三个输入通道，每层网络均加入深入理解dropout，随机减少50％的参数个数，减少过拟合，输入经过预处理的数据，经过多轮训练，得出最终的分类模型；
S303、测试结果说明
精准率：判定为有缺陷的PCB板中确实有缺陷的比例；
召回率：检测出来的确实有缺陷板的数目占所有有缺陷板的比例；
特异率：判定为无缺陷的PCB板中确实无缺陷的比例；
准确率：判定结果与实际结果正确的比例(综合精准率与特异率)；
F1值：(2*精准率*召回率)/(精准率+召回率)(综合精准率与召回率)；
S304、测试结果
TP：判定为有缺陷，且实际有缺陷；
FP：判定为有缺陷，但实际无缺陷；
FN：判定为无缺陷，但实际有缺陷；
TN：判定为无缺陷，且实际无缺陷。
与现有技术相比本发明的有益效果为：本发明系统地提出一种有效检测引脚起翘与密集型虚焊的技术流程，通过对芯片引脚进行定位，采用不同的处理方法可以准确地识别出引脚起翘缺陷；对于引脚数量密集时存在的密集型虚焊缺陷，人工检测很难识别，本发明采集了大量的密集型虚焊图像数据，在此基础上构造了深层卷积神经网络，细粒度地学习该类缺陷的数据特征，并经过多轮训练分类模型，有效识别密集型虚焊缺陷，提升了检测性能。
附图说明
图1是检测引脚起翘缺陷的工作流程图；
图2是引脚图像，(a)实际拍摄，(b)二值化图像；
图3是引脚高亮点个数对比图，(a)正常，(b)缺陷；
图4是引脚高亮点处面积对比图，(a)正常，(b)缺陷；
图5是引脚高亮点处斜率对比图，(a)正常，(b)缺陷；
图6是引脚高亮点质心拟合直线对比图，(a)正常，(b)缺陷；
图7是引脚处高亮点分区域对比图，(a)正常，(b)缺陷；
图8是步骤S302中密集型虚焊检测卷积神经网络模型图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1至图8所示，本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，包括以下步骤：
S1、图像采集模块
图像采集过程中，使用铝型材作为整体的框架，配合LED光源、可调整倾斜度的相机框架，以及用于调整角度的电动旋转托盘，使用该图像数据采集模块，可针对复杂物体的局部进行高精度、广视野、多角度的图像数据采集工作；
S2、引脚起翘缺陷检测
如图1所示，检测引脚起翘过程中，PCB板固定后，滑轨不断移动，配合复合塔状LED光源，每一次移动摄像头都得到一张含有丰富反射光信息的局部图像，然后利用反射光色度分析法，得到图中元件引脚的特征信息，再根据当前局部图像所对应的元件以及想要分析的缺陷，执行相应的分析算法，从而检测出是否含有焊接缺陷；
S3、密集型虚焊检测
当IC芯片的引脚比较密集时(小于0.3mm)，由于焊盘面积小，引脚自身体积小，用锡量少而精准，通过反射光色度分析法得到的图像特征不显著，这种情况下，很难通过人眼直接利用图像特征来区分OK板以及NG板，也就很难人为地给出特征标准来判别检出NG板。
利用深层卷积神经网络，利用苏纳法地自学习性，自行从图像的颜色特征中学习提取人眼无法识别的细微特征，利用细粒度特征来完成对OK板和NG板的分类，从而检出NG板。
本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，所述步骤S2中具体步骤如下：
S201、反射光色度成像法
由于部署在拍摄区域的光源分为红色、绿色、蓝色三种，且不同种类的光源的高低、位置不同，所以焊点焊锡不同区域反射的不同颜色的光的比例不同，最终成像后，焊锡不同区域的主要颜色有区别，得到ROI图片后，根据实际情况调整区分阈值，从而去除会影响进一步分析的背景图像，只留下所关注的引脚附近的图像，然后，通过分析ROI图像的颜色，就可以确定哪一部分是引脚、焊盘、焊锡，从而得到各部分的尺寸、形状、表面等信息，该方法主要用于获取ROI的特征信息，为其他算法的前置；
S202、初步判断
对采集到的引脚图像作二值化处理，获取到引脚的二值化图像，在高亮点个数、高亮点面积以及上下高亮点的斜率三个方面对引脚正常图像以及二值化图像进行对比；
采集到的引脚图像，如图2(a)所示；引脚的二值化图像，如图2(b)所示；
引脚表面具有一定光洁度，在光源照射下，有明显反射以致相机采集到的图像在引脚部位出现高亮的特征点；
高亮点的个数对比：
图3中(a)为正常的引脚高亮点个数图像，图3中(b)为缺陷的引脚高亮点个数图像，由图3可以看出，正常引脚处，上下高亮点的个数是相等的，出现缺陷的部分上下高亮点的个数不相等；
高亮点的面积对比：
图4中(a)为正常的引脚高亮点处面积图像，图4中(b)为缺陷的引脚高亮点处面积图像，由图4可以看出，正常引脚处，上下高亮点的分布面积较为均匀，在缺陷处，上下高亮点的分布面积出现异常；
上下高亮点的斜率对比：
图5中(a)为正常的引脚高亮点处斜率图像，图5中(b)为缺陷的引脚高亮点处斜率图像，由图5可以看出，正常引脚处，上下高亮点的质心之间对应的斜率基本是一致的，在缺陷处，上下高亮点质心之间的斜率具有较大差距；
S203、拟合直线法
该方法是将每个引脚及其焊盘、焊锡视为一个整体，利用线性回归法，将芯片同一端的多个引脚整体的质心拟合出一条直线；
如图6所示，通过计算可知，正常引脚处，各个质心到拟合直线的距离基本一致，并且质心之间的点间距较为均匀，而在缺陷处，质心到拟合直线的距离具有较大差距，而且缺陷处的点间距不均匀，出现异常；
S204、分区域法
该方法仍然是利用了上下高亮点处的质心之间的斜率，划分为多个区域，然后通过计算每个子区域内的高亮点的个数来检测引脚问题；如图7所示，正常引脚处，每个子区域内的高亮点的个数是相同的，而在缺陷处，有的子区域内的高亮点的个数与其它子区域内不同。
本发明的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，所述步骤S3中具体步骤如下：
S301、数据采集与预处理
首先，在现有缺陷样本的基础上，对该种缺陷进行多角度、多缩放倍数的拍摄，并利用外置光源改变光照条件进行拍摄；其次，按照设定的缺陷需求，手工制造缺陷进行模拟；最后基于拍摄的照片，使用旋转、变换、剪切等图像增强手段，进行数据扩充；
S302、深度学习分类模型
采用多层CNN卷积神经网络加1层全连接网络的方式，采用RGB三个输入通道，每层网络均加入深入理解dropout，随机减少50％的参数个数，减少过拟合，输入经过预处理的数据，经过多轮训练，得出最终的分类模型；
S303、测试结果说明
精准率：判定为有缺陷的PCB板中确实有缺陷的比例；
召回率：检测出来的确实有缺陷板的数目占所有有缺陷板的比例；
特异率：判定为无缺陷的PCB板中确实无缺陷的比例；
准确率：判定结果与实际结果正确的比例(综合精准率与特异率)；
F1值：(2*精准率*召回率)/(精准率+召回率)(综合精准率与召回率)；
S304、测试结果
TP：判定为有缺陷，且实际有缺陷；
FP：判定为有缺陷，但实际无缺陷；
FN：判定为无缺陷，但实际有缺陷；
TN：判定为无缺陷，且实际无缺陷；
选择1000片PCB板进行测试(共122块缺陷板)，本次测试结果，以引脚起翘该缺陷类型为主要基准：(由于实际生产中，引脚起翘缺陷类型的比例很低，即使有意调整测试案例中的引脚起翘缺陷数量，但占总体的比例依然不高，会导致特异率偏高)，测试结果如表1-2所示：
| TP | FP | FN | TN | |
| 人工 | 87 | 13 | 35 | 865 |
| 传统AOI | 26 | 15 | 96 | 863 |
| 本发明 | 63 | 12 | 59 | 866 |
表1：测试数据记录
| 人工 | 传统AOI | 本发明 | |
| 精准率 | 86.1％ | 63.4％ | 85.1％ |
| 召回率 | 71.3％ | 21.3％ | 51.6％ |
| 特异率 | 96.1％ | 89.9％ | 93.6％ |
| 准确率 | 95.1％ | 88.9％ | 93.0％ |
| F1值 | 0.78 | 0.32 | 0.64 |
表2：测试指标情况
综合表格1-2中数据，可以得出结论：本发明结合了深度学习技术的AOI设备相较于传统的AOI设备，得到了61％的性能提升。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (3)
1.一种通信IC芯片焊接缺陷与密集型虚焊检测技术，其特征在于，包括以下步骤：
S1、图像采集模块
图像采集过程中，使用铝型材作为整体的框架，配合LED光源、可调整倾斜度的相机框架，以及用于调整角度的电动旋转托盘，使用该图像数据采集模块，可针对复杂物体的局部进行高精度、广视野、多角度的图像数据采集工作；
S2、引脚起翘缺陷检测
检测引脚起翘过程中，PCB板固定后，滑轨不断移动，配合复合塔状LED光源，每一次移动摄像头都得到一张含有丰富反射光信息的局部图像，然后利用反射光色度分析法，得到图中元件引脚的特征信息，再根据当前局部图像所对应的元件以及想要分析的缺陷，执行相应的分析算法，从而检测出是否含有焊接缺陷；
S3、密集型虚焊检测
利用深层卷积神经网络，利用苏纳法地自学习性，自行从图像的颜色特征中学习提取人眼无法识别的细微特征，利用细粒度特征来完成对OK板和NG板的分类，从而检出NG板。
2.如权利要求1所述的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，其特征在于，所述步骤S2中具体步骤如下：
S201、反射光色度成像法
由于部署在拍摄区域的光源分为红色、绿色、蓝色三种，且不同种类的光源的高低、位置不同，所以焊点焊锡不同区域反射的不同颜色的光的比例不同，最终成像后，焊锡不同区域的主要颜色有区别，得到ROI图片后，根据实际情况调整区分阈值，从而去除会影响进一步分析的背景图像，只留下所关注的引脚附近的图像，然后，通过分析ROI图像的颜色，就可以确定哪一部分是引脚、焊盘、焊锡，从而得到各部分的尺寸、形状、表面等信息，该方法主要用于获取ROI的特征信息，为其他算法的前置；
S202、初步判断
对采集到的引脚图像作二值化处理，获取到引脚的二值化图像，在高亮点个数、高亮点面积以及上下高亮点的斜率三个方面对引脚正常图像以及二值化图像进行对比；
S203、拟合直线法
该方法是将每个引脚及其焊盘、焊锡视为一个整体，利用线性回归法，将芯片同一端的多个引脚整体的质心拟合出一条直线；
S204、分区域法
该方法仍然是利用了上下高亮点处的质心之间的斜率，划分为多个区域，然后通过计算每个子区域内的高亮点的个数来检测引脚问题。
3.如权利要求2所述的一种通信IC芯片焊接缺陷与密集型虚焊检测技术，其特征在于，所述步骤S3中具体步骤如下：
S301、数据采集与预处理
首先，在现有缺陷样本的基础上，对该种缺陷进行多角度、多缩放倍数的拍摄，并利用外置光源改变光照条件进行拍摄；其次，按照设定的缺陷需求，手工制造缺陷进行模拟；最后基于拍摄的照片，使用旋转、变换、剪切等图像增强手段，进行数据扩充；
S302、深度学习分类模型
采用多层CNN卷积神经网络加1层全连接网络的方式，采用RGB三个输入通道，每层网络均加入深入理解dropout，随机减少50％的参数个数，减少过拟合，输入经过预处理的数据，经过多轮训练，得出最终的分类模型；
S303、测试结果说明
精准率：判定为有缺陷的PCB板中确实有缺陷的比例；
召回率：检测出来的确实有缺陷板的数目占所有有缺陷板的比例；
特异率：判定为无缺陷的PCB板中确实无缺陷的比例；
准确率：判定结果与实际结果正确的比例(综合精准率与特异率)；
F1值：(2*精准率*召回率)/(精准率+召回率)(综合精准率与召回率)；
S304、测试结果
TP：判定为有缺陷，且实际有缺陷；
FP：判定为有缺陷，但实际无缺陷；
FN：判定为无缺陷，但实际有缺陷；
TN：判定为无缺陷，且实际无缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011420655.6A CN112730460A (zh) | 2020-12-08 | 2020-12-08 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011420655.6A CN112730460A (zh) | 2020-12-08 | 2020-12-08 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112730460A true CN112730460A (zh) | 2021-04-30 |
Family
ID=75598325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011420655.6A Pending CN112730460A (zh) | 2020-12-08 | 2020-12-08 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112730460A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113506243A (zh) * | 2021-06-04 | 2021-10-15 | 联合汽车电子有限公司 | Pcb焊接缺陷检测方法、装置及存储介质 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN114004193A (zh) * | 2021-10-14 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种pcb上锡风险的标识方法及相关装置 |
| CN114923916A (zh) * | 2022-06-08 | 2022-08-19 | 苏州清翼光电科技有限公司 | 一种用于无线充电线圈的镀锡端子部的检测装置及方法 |
| CN115033446A (zh) * | 2022-04-20 | 2022-09-09 | 江苏汤谷智能科技有限公司 | 一种数字芯片结构的智能化质量检测系统及方法 |
| CN115166469A (zh) * | 2022-09-07 | 2022-10-11 | 江苏东海半导体股份有限公司 | Mosfet器件测试方法、装置和存储介质 |
| CN115266743A (zh) * | 2022-05-17 | 2022-11-01 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估系统及方法 |
| CN116343213A (zh) * | 2023-05-31 | 2023-06-27 | 成都数之联科技股份有限公司 | 模型训练及芯片的字符识别方法、装置、设备和介质 |
| CN116883434A (zh) * | 2023-09-05 | 2023-10-13 | 昆明理工大学 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
| CN117038494A (zh) * | 2023-10-10 | 2023-11-10 | 天津芯成半导体有限公司 | 一种用于芯片加工产业的辅助智能检测系统 |
| CN117161624A (zh) * | 2023-10-18 | 2023-12-05 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制系统 |
| WO2024000373A1 (zh) * | 2022-06-30 | 2024-01-04 | 宁德时代新能源科技股份有限公司 | 检测焊印的方法、装置和电子设备 |
| CN117359044A (zh) * | 2023-10-27 | 2024-01-09 | 南京航空航天大学 | 一种基于在线监测的元器件柔性化搪锡装置及工艺方法 |
| CN117630041A (zh) * | 2023-12-06 | 2024-03-01 | 江苏科睿坦电子科技有限公司 | 一种rfid芯片焊接质量检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070258093A1 (en) * | 2006-05-05 | 2007-11-08 | Afg Industries, Inc. | Apparatus and method for angular colorimetry |
| US20130044316A1 (en) * | 2010-05-06 | 2013-02-21 | Alatech Semiconductor | Device and method for inspecting moving semicondutor wafers |
| CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
| CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| CN110865087A (zh) * | 2019-11-27 | 2020-03-06 | 科士恩科技(上海)有限公司 | 一种基于人工智能的pcba质量检测方法 |
-
2020
- 2020-12-08 CN CN202011420655.6A patent/CN112730460A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070258093A1 (en) * | 2006-05-05 | 2007-11-08 | Afg Industries, Inc. | Apparatus and method for angular colorimetry |
| US20130044316A1 (en) * | 2010-05-06 | 2013-02-21 | Alatech Semiconductor | Device and method for inspecting moving semicondutor wafers |
| CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
| CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| CN110865087A (zh) * | 2019-11-27 | 2020-03-06 | 科士恩科技(上海)有限公司 | 一种基于人工智能的pcba质量检测方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113506243A (zh) * | 2021-06-04 | 2021-10-15 | 联合汽车电子有限公司 | Pcb焊接缺陷检测方法、装置及存储介质 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN114004193A (zh) * | 2021-10-14 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种pcb上锡风险的标识方法及相关装置 |
| CN114004193B (zh) * | 2021-10-14 | 2024-01-19 | 苏州浪潮智能科技有限公司 | 一种pcb上锡风险的标识方法及相关装置 |
| CN115033446B (zh) * | 2022-04-20 | 2023-10-31 | 江苏汤谷智能科技有限公司 | 一种数字芯片结构的智能化质量检测系统及方法 |
| CN115033446A (zh) * | 2022-04-20 | 2022-09-09 | 江苏汤谷智能科技有限公司 | 一种数字芯片结构的智能化质量检测系统及方法 |
| CN115266743B (zh) * | 2022-05-17 | 2024-02-02 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估系统及方法 |
| CN115266743A (zh) * | 2022-05-17 | 2022-11-01 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估系统及方法 |
| CN114923916A (zh) * | 2022-06-08 | 2022-08-19 | 苏州清翼光电科技有限公司 | 一种用于无线充电线圈的镀锡端子部的检测装置及方法 |
| WO2024000373A1 (zh) * | 2022-06-30 | 2024-01-04 | 宁德时代新能源科技股份有限公司 | 检测焊印的方法、装置和电子设备 |
| CN115166469A (zh) * | 2022-09-07 | 2022-10-11 | 江苏东海半导体股份有限公司 | Mosfet器件测试方法、装置和存储介质 |
| CN116343213B (zh) * | 2023-05-31 | 2023-08-25 | 成都数之联科技股份有限公司 | 模型训练及芯片的字符识别方法、装置、设备和介质 |
| CN116343213A (zh) * | 2023-05-31 | 2023-06-27 | 成都数之联科技股份有限公司 | 模型训练及芯片的字符识别方法、装置、设备和介质 |
| CN116883434A (zh) * | 2023-09-05 | 2023-10-13 | 昆明理工大学 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
| CN116883434B (zh) * | 2023-09-05 | 2023-11-17 | 昆明理工大学 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
| CN117038494A (zh) * | 2023-10-10 | 2023-11-10 | 天津芯成半导体有限公司 | 一种用于芯片加工产业的辅助智能检测系统 |
| CN117038494B (zh) * | 2023-10-10 | 2023-12-15 | 天津芯成半导体有限公司 | 一种用于芯片加工产业的辅助智能检测系统 |
| CN117161624A (zh) * | 2023-10-18 | 2023-12-05 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制系统 |
| CN117161624B (zh) * | 2023-10-18 | 2024-04-26 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制系统 |
| CN117359044A (zh) * | 2023-10-27 | 2024-01-09 | 南京航空航天大学 | 一种基于在线监测的元器件柔性化搪锡装置及工艺方法 |
| CN117630041A (zh) * | 2023-12-06 | 2024-03-01 | 江苏科睿坦电子科技有限公司 | 一种rfid芯片焊接质量检测方法 |
| CN117630041B (zh) * | 2023-12-06 | 2024-05-10 | 江苏科睿坦电子科技有限公司 | 一种rfid芯片焊接质量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112730460A (zh) | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 | |
| CN107945184B (zh) | 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 | |
| CN101576508B (zh) | 芯片外观缺陷自动检测装置及检测方法 | |
| CN110658198B (zh) | 光学检测方法、光学检测装置及光学检测系统 | |
| CN109115785B (zh) | 一种铸件打磨质量检测方法、装置及其使用方法 | |
| KR101354863B1 (ko) | 인쇄 납땜 페이스트의 결함 감지 시스템 및 방법 | |
| US7570794B2 (en) | System and method for evaluating a machined surface of a cast metal component | |
| CN201434842Y (zh) | 芯片外观缺陷自动检测装置 | |
| US20060271226A1 (en) | Inspection standard setting device, inspection standard setting method and process inspection device | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| CN106651857B (zh) | 一种印刷电路板贴片缺陷检测方法 | |
| CN107305190B (zh) | 缺陷检查方法和缺陷检查系统 | |
| CN104899871B (zh) | 一种ic元件焊点空焊检测方法 | |
| CN105510348A (zh) | 一种印制电路板的缺陷检测方法、装置及检测设备 | |
| CN113109348B (zh) | 一种基于机器视觉的桨影移印缺陷识别方法 | |
| CN114549530B (zh) | 一种基于图像处理的pcb板焊接质量评估方法 | |
| CN110610199B (zh) | 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法 | |
| KR20130077813A (ko) | 프린트 기판의 검사 장치 | |
| CN115690387A (zh) | 一种基于图像识别的合金表面检测系统 | |
| CN105424714B (zh) | 基于多管脚的缺陷检测装置及其检测方法 | |
| CN111307817B (zh) | 一种智能产线pcb生产过程的在线检测方法及系统 | |
| CN116465908A (zh) | 一种印刷电路板生产用光学检测方法 | |
| JP2007033126A (ja) | 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置 | |
| CN205620320U (zh) | 基于多管脚的缺陷检测装置 | |
| CN1734228A (zh) | 机器视觉分析系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |