CN102374993B - 集成电路封装片三维引脚外观检测单元的检测方法 - Google Patents
集成电路封装片三维引脚外观检测单元的检测方法 Download PDFInfo
- Publication number
- CN102374993B CN102374993B CN201010257944.9A CN201010257944A CN102374993B CN 102374993 B CN102374993 B CN 102374993B CN 201010257944 A CN201010257944 A CN 201010257944A CN 102374993 B CN102374993 B CN 102374993B
- Authority
- CN
- China
- Prior art keywords
- pin
- integrated circuit
- image
- light
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000007547 defect Effects 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000004806 packaging method and process Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 13
- 230000004438 eyesight Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000011109 contamination Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000002068 genetic effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种集成电路封装片三维引脚外观检测单元及其检测方法，以视觉系统为核心，视觉系统包括摄像机、照明系统、光路系统和视觉处理软件，摄像机采用面阵CCD，照明采用LED光源，光路中含有棱镜组，视觉处理软件在去噪、去模糊、边缘提取和图像匹配上均有相应的处理。通过视觉处理软件模块，实现图像采集，与模板图像的比对识别，将检测结果输出与存储。该外观检测单元及其检测方法可以检测引脚的三维缺陷，检测缺陷类型多样，检测精度高，效率高，且软件功能可升级扩展。
Description
技术领域
本发明涉及集成电路封装片的外观检测器件和检测方法，特别是指三维引脚外观的检测单元及其检测方法。
背景技术
集成电路封装片的外观检测是保证集成电路封装片能够正确安装到集成电路线路板的重要工序。常用的集成电路封装片的外观检测基本靠目测，手工分检，检测效率较低，劳动强度大，检测缺陷有疏漏，可靠性不高。
申请号为03267088.5的授权专利的说明书公开的集成电路外观光学检测装置中，光的传输利用了平面镜的反射，视场的亮度衰减大和器件轮廓的清晰度不高，且该方法没有配套的图像处理软件，自动化程度低。申请专利号为200810073987.4的说明书中公开了一种IC芯片引脚共面性检测，其检测的指标单一，属于两维的检测，功能不全。申请专利号为200910039848.4的说明书公开的一种芯片外观缺陷自动检测装置缺少清晰的实物结构图形和芯片外观缺陷图形，公开不充分，本领域技术人员不经过创造性的劳动，不能实施其实施例的内容，缺少专利应有的实用价值。
发明内容
发明目的：本发明克服现有封装片分选机器效率低、功能单一、实用性不够的缺陷，提供一种对三维引脚外观多种缺陷都能检测的集成电路封装片三维引脚外观检测单元。
技术方案：本发明具有视觉系统，视觉系统包含摄像机、照明系统、光路系统。视觉系统还包含视觉处理软件模块，视觉处理软件模块具有目标图像的采集与显示、与模板图像的比对识别、引脚项目的检测、检测结果的输出与存储的功能；
所述的摄像机采用面阵CCD摄像机，照明系统采用LED灯光组，光路系统含有棱镜组；所述的LED灯光组的光源，经过漫反射板的漫反射以及经过棱镜组的反射，产生垂直照射光线和小于45°的低角度环形照射光线，两种光线照射到集成电路封装片，环形照射光线反应器件周边引脚的轮廓特征，垂直照射光线反应器件底部的轮廓特征，被摄像机捕捉采集，形成目标图像。
本发明中，由于在满阱容量和噪声抑制上的优势，摄像机采用的传感器可以选择为CCD传感器；鉴于立体成像时需要在静态下对整个器件采集图像，摄像机选用面阵CCD；为了提高系统精度，尽量选择高分辨率和大像素尺寸的CCD；最大帧率衡量了相机采集和传输数据的速度，也应选取较大的。
所述的视觉处理软件模块从逻辑上分为五层，分别是交互层、应用层、接口层、核心层和系统层。每上一层都要用到下一层定义的功能。
本发明的另一目的：克服现有芯片分选方法效率低、分选缺陷种类少、实用性不够的缺陷，提供一种对三维引脚外观多种缺陷都能检测的集成电路封装片三维引脚外观检测单元的检测方法。
为实现本发明的另一目的，其技术方案为包括如下过程：
①通过LED灯光组的光源照明，由漫反射板漫漫反射和棱镜组反射集成电路封装片的侧面和底面的光线；漫反射板反射光照射到集成电路封装片器件上时形成色差；
②采用面阵CCD摄像机，捕捉采集集成电路封装片三维引脚的侧面和底面的图像形成目标图像；
③再通过视觉处理软件模块，实现目标图像采集与显示、与模板图像比对识别、引脚项目检测、检测结果输出与存储。
本发明的检测方法中，还可以采用背光侧影技术，即摄像机在集成电路封装片的下方，通过漫反射板反射灯光，使得光线照射到器件上时形成色差，再由摄像机捕捉棱镜组反射的集成电路封装片引脚的侧面和底面的图像。
所述的图像处理与检测内容包括：
①模板兴趣域的选取与模板图像的制作；②边缘检测；③轮廓提取及表示；④轮廓统计信息的计算与匹配；⑤引脚检测项目的落实。
所述的引脚检测的步骤包括：
①对目标图像进行边缘提取；②在边缘提取的基础上进行轮廓跟踪和提取；③采用轮廓的统计信息对其进行描述；④通过比对识别确定引脚的数量信息和位置信息；⑤根据数量信息判断有无断脚，根据位置信息判定各个引脚的宽度、高度和间距有无缺陷。
所检测的引脚项目的外形缺陷包括：边角损伤、表面污染、边角缺失、边角材料
多余、裂纹、侧面外形缺陷、引脚损伤、引脚毛刺、引脚互连、侧面引脚互连、侧面引脚材料多余、侧面引脚损伤，等等。
所述的视觉处理软件模块将目标灰度匹配、特征匹配、图像去噪、去模糊、边缘检测，其中的步骤包括：
①采用光流约束方程建立基于运动视觉的视觉定位模型，同时应用曲线拟合方法建立基于特征点与模板匹配的视觉定位模型，采用图像金字塔分解法及改进Hausdoff算法实现图像匹配；
②针对成像和图像传输过程中存在的混合噪声干扰，采用基于自适应开关中值滤波和自适应模糊加权平均值滤波相结合的混合滤波算法实现模糊目标图像中混合噪声的去噪处理；
③针对目标图像存在的旋转、平移、尺度变化和信息缺失问题，采用图像金字塔分解法、自适应遗传算法及各向异性正则化算法相结合的方法来实现目标图像的恢复。
有益效果：本发明的集成电路封装片外观检测单元及检测方法可以检测引脚底面和侧面的三维缺陷，检测缺陷类型多样，检测精度高，效率高，且根据引脚缺陷类型的变异，软件功能可做相应的升级和功能扩展，满足大规模的集成电路封装片外观检测需要。
附图说明
图1是本发明的一个结构示意图；
图2是本发明的一个检测流程框图；
图3是本发明的引脚外观缺陷模板图像图例。
图中：1、待检料盘；2、检测平台；3、平板玻璃；4、摄像机；5、视觉处理软件模块；6、已检料盘；7、垂直照射光线；8、漫反射板；9、吸头；10、集成电路封装片；11、棱镜组；12、灯光组；13、环形照射光线。
具体实施方式
选用合适规格的下列零部件：具有面阵CCD摄像机镜头的摄像机4、具有棱镜组11的光路系统、具有灯光组12的照明系统、漫反射板8、吸头9、待检料盘1、已检料盘6、具有视觉处理软件的视觉处理软件模块5；以及准备具有能透过光线平板玻璃3的检测平台2。将各个零部件按如图1所示装配起来，形成外观检测单元。
采用如图2所示的检测流程：
用吸头9从待检料盘1中取出集成电路封装片10，打开灯光组12，经过漫反射板8的漫反射以及经过棱镜组的反射，产生垂直照射光线7和环形照射光线13，两种光线照射到集成电路封装片10，形成色差，再由棱镜组11的反射的集成电路封装片10的侧面和底面的光线，被面阵CCD摄像机4的镜头捕捉。采集图像而成集成电路封装片10的侧面和底面的目标图像，该目标图像传送到视觉处理软件模块5，与视觉处理软件模块5中的模板图像进行比对识别，对集成电路封装片10的引脚数目、尺寸等项目检测，得到合格件和不合格件，将检测结果输出与存储，如项目检测完成（分别见实施例1、实施例2、实施例3），检测过程结束，送到已检料盘6中；如检测项目未完成，或该料片还有其他未检项目，再从采集图像的步骤开始重复进行。
实施例1，如上述过程中，目标图像有如图3中的边角损伤，与模板图像的边角损伤图像比对识别，判断为边角损伤的缺陷，将该集成电路封装片10具有的边角损伤的不合格的检测结果输出与存储。
实施例2，如上述过程中，目标图像有如图3中的裂纹，与模板图像比对识别，判断为有裂纹的缺陷，将该集成电路封装片10为有裂纹的不合格件的检测结果输出与存储。
实施例3，如上述过程中，目标图像有如图3中的引脚互连，与模板图像比对识别，判断为引脚互连的缺陷，将该集成电路封装片10为有引脚互连的不合格的检测结果输出与存储。
Claims (3)
1.一种集成电路封装片三维引脚外观检测单元的检测方法，所述的检测单元包含视觉系统，视觉系统包含摄像机（4）、照明系统、光路系统，视觉系统还包含视觉处理软件模块（5），视觉处理软件模块（5）具有目标图像的采集与显示、与模板图像的比对识别、引脚项目检测、检测结果输出与存储的功能；
所述的摄像机（4）采用面阵CCD摄像机，照明系统采用LED灯光组（12），光路系统含有棱镜组（11）；所述的LED灯光组（12）的光源，经过漫反射板（8）的漫反射以及经过棱镜组（11）的反射，产生垂直照射光线（7）和小于45°的低角度环形照射光线（13），两种光线照射到集成电路封装片（10），环形照射光线（13）反应器件周边引脚的轮廓特征，垂直照射光线（7）反应器件底部的轮廓特征，被摄像机（4）捕捉采集，形成目标图像；
所述的摄像机（4）采用的传感器为CCD传感器；
其特征在于：包括如下过程：
①通过LED灯光组（12）的光源照明，由漫反射板漫（8）漫反射和棱镜组（11）反射集成电路封装片（10）的侧面和底面的光线；漫反射板（8）反射光照射到集成电路封装片（10）器件上时形成色差；
②采用面阵CCD摄像机（4），捕捉采集集成电路封装片（10）三维引脚的侧面和底面的图像形成目标图像；
③所述的视觉处理软件模块（5）将目标图像去噪、去模糊、边缘检测、灰度匹配、特征匹配；再通过视觉处理软件模块（5），实现目标图像采集与显示、与模板图像比对识别、引脚项目检测、检测结果输出与存储；
所述的视觉处理软件模块（5）将目标图像去噪、去模糊、边缘检测、灰度匹配、特征匹配的步骤包括：
（a）采用光流约束方程建立基于运动视觉的视觉定位模型，同时应用曲线拟合方法建立基于特征点与模板匹配的视觉定位模型，采用图像金字塔分解法及改进Hausdoff算法实现图像匹配；
（b）针对成像和图像传输过程中存在的混合噪声干扰，采用基于自适应开关中值滤波和自适应模糊加权平均值滤波相结合的混合滤波算法实现模糊目标图像中混合噪声的去噪处理；
（c）针对目标图像存在的旋转、平移、尺度变化和信息缺失问题，采用图像金字塔分解法、自适应遗传算法及各向异性正则化算法相结合的方法来实现目标图像的恢复。
2.根据权利要求1所述的集成电路封装片三维引脚外观检测单元的检测方法，其特征在于：
所述的引脚项目检测的引脚项目包括：边角损伤、表面污染、边角缺失、边角材料多余、裂纹、侧面外形缺陷、引脚损伤、引脚毛刺、引脚互连、侧面引脚互连、侧面引脚材料多余、侧面引脚损伤。
3.根据权利要求1或2所述的集成电路封装片三维引脚外观检测单元的检测方法，其特征在于：所述的引脚项目检测的步骤包括：
（A）对目标图像进行边缘提取；
（B）在边缘提取的基础上进行轮廓跟踪和提取；
（C）采用轮廓的统计信息对其进行描述；
（D）通过比对识别确定引脚的数量信息和位置信息；
（E）根据数量信息判断有无断脚，根据位置信息判定各个引脚的宽度、高度和间距有无缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010257944.9A CN102374993B (zh) | 2010-08-20 | 2010-08-20 | 集成电路封装片三维引脚外观检测单元的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010257944.9A CN102374993B (zh) | 2010-08-20 | 2010-08-20 | 集成电路封装片三维引脚外观检测单元的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102374993A CN102374993A (zh) | 2012-03-14 |
| CN102374993B true CN102374993B (zh) | 2014-01-08 |
Family
ID=45793910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010257944.9A Active CN102374993B (zh) | 2010-08-20 | 2010-08-20 | 集成电路封装片三维引脚外观检测单元的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102374993B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313745B (zh) * | 2011-07-21 | 2013-03-20 | 华中科技大学 | 集成电路管脚三维检测装置及检测方法 |
| CN102903082B (zh) * | 2012-09-14 | 2015-06-24 | 重庆大学 | 一种基于开关中值滤波的加密图像去噪方法 |
| CN102914544B (zh) * | 2012-09-29 | 2016-08-03 | 吴刚 | 用于租赁业务的视觉检查装置 |
| CN102967602B (zh) * | 2012-11-26 | 2014-12-03 | 成都先进功率半导体股份有限公司 | 检测电子元件引脚焊接性能的方法 |
| CN104198500B (zh) * | 2014-05-30 | 2016-09-07 | 深圳市浦洛电子科技有限公司 | 一种集成电路的针脚检测方法及装置 |
| CN105389802B (zh) * | 2015-10-20 | 2018-07-03 | 无锡日联科技股份有限公司 | 一种基于X-Ray图像的IC元器件缺陷检测方法 |
| CN109211304A (zh) * | 2017-07-05 | 2019-01-15 | 太仓澄天机械有限公司 | 一种带吸盘的自动外观检测装置 |
| CN108072662A (zh) * | 2017-11-10 | 2018-05-25 | 长春理工大学 | 基于机器视觉的排针缺损检测方法及装置 |
| CN108107051B (zh) * | 2017-12-19 | 2020-03-31 | 无锡先导智能装备股份有限公司 | 基于机器视觉的锂电池缺陷检测系统及方法 |
| CN109100366A (zh) * | 2018-08-10 | 2018-12-28 | 武汉盛为芯科技有限公司 | 半导体激光器芯片端面外观的检测系统及方法 |
| CN110187534B (zh) * | 2019-06-18 | 2022-07-08 | 深圳市全洲自动化设备有限公司 | 一种aoi测试检查lcd产品针脚偏位的方法及系统 |
| CN110554046A (zh) * | 2019-09-05 | 2019-12-10 | 西安多维机器视觉检测技术有限公司 | 一种用于电子元器件引脚的检测系统和方法 |
| JP7297907B2 (ja) * | 2019-09-18 | 2023-06-26 | 株式会社Fuji | 部品実装機 |
| CN111640096B (zh) * | 2020-05-25 | 2023-04-21 | 中国电子科技集团公司第十三研究所 | 电子产品外观的检测方法、装置及终端 |
| CN114950990B (zh) * | 2020-11-30 | 2023-12-29 | 深圳市华力宇电子科技有限公司 | Ic芯片检测装置 |
| CN114486883A (zh) * | 2021-12-30 | 2022-05-13 | 中科蓝海(扬州)智能视觉科技有限公司 | 一种手机电源线定位检测方法和装置 |
| CN114577135B (zh) * | 2022-03-01 | 2024-01-19 | 合肥图迅电子科技有限公司 | 基于单镜头的芯片引脚翘曲的3d检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118540A (en) * | 1997-07-11 | 2000-09-12 | Semiconductor Technologies & Instruments, Inc. | Method and apparatus for inspecting a workpiece |
| CN101576508A (zh) * | 2009-05-27 | 2009-11-11 | 华南理工大学 | 芯片外观缺陷自动检测装置及检测方法 |
| CN101650155A (zh) * | 2009-08-14 | 2010-02-17 | 秦拓微电子技术(上海)有限公司 | 等光程五面视觉检测技术 |
-
2010
- 2010-08-20 CN CN201010257944.9A patent/CN102374993B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118540A (en) * | 1997-07-11 | 2000-09-12 | Semiconductor Technologies & Instruments, Inc. | Method and apparatus for inspecting a workpiece |
| CN101576508A (zh) * | 2009-05-27 | 2009-11-11 | 华南理工大学 | 芯片外观缺陷自动检测装置及检测方法 |
| CN101650155A (zh) * | 2009-08-14 | 2010-02-17 | 秦拓微电子技术(上海)有限公司 | 等光程五面视觉检测技术 |
Non-Patent Citations (3)
| Title |
|---|
| 代镭.一种IC芯片管脚焊接缺陷频域检测算法的研究.《电子技术应用》.2008,(第4期),77-80. * |
| 杨勇等.一种集成芯片引脚外观检测系统的研究.《仪器仪表学报》.2002,第23卷(第5期),74-76. * |
| 石炜等.LED芯片测试中基于形状的检测准则.《半导体光电》.2008,第29卷(第5期),722-724，728. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102374993A (zh) | 2012-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102374993B (zh) | 集成电路封装片三维引脚外观检测单元的检测方法 | |
| Ren et al. | State of the art in defect detection based on machine vision | |
| CN109357630B (zh) | 一种多类型工件批量视觉测量系统及方法 | |
| JP3748919B2 (ja) | パッケージ検査方法および装置 | |
| CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN104697998B (zh) | 抛光的宝石中的夹杂物检测 | |
| CN102854192B (zh) | 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法 | |
| CN105403147B (zh) | 一种基于嵌入式的瓶胚检测系统和检测方法 | |
| CN110146516B (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN102680414B (zh) | 基于机器视觉的红提葡萄自动分级装置及其方法 | |
| CN101424645A (zh) | 基于机器视觉的焊球表面缺陷检测装置与方法 | |
| CN102412170A (zh) | 多方向上反射的光源的采集系统和方法 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN113252568A (zh) | 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端 | |
| CN113418933B (zh) | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 | |
| Li et al. | System design for PCB defects detection based on AOI technology | |
| CN113192015A (zh) | 基于深度信息的表面缺陷检测方法和系统 | |
| CN110426395A (zh) | 一种太阳能el电池硅片表面检测方法及装置 | |
| CN108508023A (zh) | 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统 | |
| CN109387527A (zh) | 一种膜上膜内缺陷的检测方法 | |
| CN111307817B (zh) | 一种智能产线pcb生产过程的在线检测方法及系统 | |
| CN117372770A (zh) | 基于光度立体和深度学习的pcb微小缺陷检测识别方法 | |
| CN107741430A (zh) | 一种基于接触式图像传感器的紧凑型结构镜片检测系统 | |
| Lin et al. | Defect detection system for optical element surface based on machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20120314 Assignee: Nantong Kingtech Co., Ltd. Assignor: Wu Hua Contract record no.: 2011320000966 Denomination of invention: Unit and method for detecting appearance of three dimensional pin of integrated circuit package chip License type: Exclusive License Record date: 20110712 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161129 Address after: Jiangsu province Nantong City Chongchuan road 226000 No. 27 4 1 floor Patentee after: Nantong Kingtech Co., Ltd. Address before: Jiangsu province Nantong City Chongchuan road 226000 No. 27 4 1 floor Patentee before: Wu Hua |