CN106501272B - 机器视觉焊锡定位检测系统 - Google Patents

机器视觉焊锡定位检测系统 Download PDF

Info

Publication number
CN106501272B
CN106501272B CN201611210044.2A CN201611210044A CN106501272B CN 106501272 B CN106501272 B CN 106501272B CN 201611210044 A CN201611210044 A CN 201611210044A CN 106501272 B CN106501272 B CN 106501272B
Authority
CN
China
Prior art keywords
image
light source
soldering tin
acquisition card
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611210044.2A
Other languages
English (en)
Other versions
CN106501272A (zh
Inventor
于龙义
谭广有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN EVERYDAY GOOD ELECTRONIC Co Ltd
Original Assignee
DALIAN EVERYDAY GOOD ELECTRONIC Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN EVERYDAY GOOD ELECTRONIC Co Ltd filed Critical DALIAN EVERYDAY GOOD ELECTRONIC Co Ltd
Priority to CN201611210044.2A priority Critical patent/CN106501272B/zh
Publication of CN106501272A publication Critical patent/CN106501272A/zh
Application granted granted Critical
Publication of CN106501272B publication Critical patent/CN106501272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)

Abstract

机器视觉焊锡定位检测系统，属于图像检测领域，技术要点是：包括：工业相机、球积分光源、蜂鸣器、光源控制器、传送带、工业计算机、传感器、显示器、嵌入式系统、图像采集卡；工业相机与图像采集卡连接，图像采集卡与工业计算机相连，工业计算机与光源控制器连接，光源控制器与球积分光源相连，所述球积分光源置于工业相机的下方，且位于传送带的上方，所述图像采集卡与计算机的连线引出两路，一路连接显示器，另一路分别连接传感器和嵌入式系统，所述传感器位于传送带的上方。

Description

机器视觉焊锡定位检测系统
技术领域
本发明属于图像检测领域，涉及一种对焊锡定位时的图像采集系统。
背景技术
目前，大部分厂家都是单纯基于光学原理来对焊接生产中遇到的常见缺陷进行检测，通过CCD摄像机得到元件的二维图像，经过图像处理、图像分析和计算机视觉方法进行处理，得到对图像的理解，进而实现物体的识别、定位和物体的状态表达。随着半导体、芯片等微电子元件行业的发展，芯片向着尺寸更加微小，电路更加复杂，功能更加强大的方向发展。贴装引脚的间距越来越小，精度要求越来越高，这样就给检测提出了更高的要求。但如今现有的AOI检测模式仅仅只是机器通过摄像头自动扫描PCB，采集图像，测试的焊点与数据库中的合格的参数进行比较检查出PCB上缺陷并通过显示器或自动标志把缺陷显示/标志出来，供维修人员修整，这样单一的检测模式仅能执行物件的表面检查，但对于零件边缘的焊点检测的效果便不尽理想，当然现在有许多的AOI能够做到多角度的摄影来增加对于IC脚翘的检出能力，并增加某些被遮蔽的元件的摄影角度，以提供更多的检出率。AOI最主要的不足就是有些灰阶或者遇到外界环境干扰较大光线不足或者被检测元件阴影明暗不明显时机器无法准确找到匹配区域导致检测准确率降低或出现误报。
Korhonen于1981年提出了自组织特征映射(SOFM)神经网络，该网络主要由输入层和竞争层构成的两层网络，输入层用于接收样本，而竞争层完成对输入样本进行分类，这种模式已经广泛的应用于决策制定、机器学习、数据挖掘、文件恢复、图像分割和模式分类等领域。在这些问题中，很少有数据的先验信息可用，而用户又要尽可能少的对数据的可能性进行假设，所以在这种限定下，自组织特征映射神经网络算法特别适用于查看数据点的内在关系，能够更加具体的对他们的组成结构进行评估。
在电路板的制作过程中，作为电路组件与电路板间衔接桥梁的焊点占有举足轻重的位置。焊点的制作过程必须经过锡量控制、定位与焊锡凝固等程序，而此程序比较难于控制，故在电路板的制作过程里，焊接的技术要求相对较高，继而可能发生的缺陷也相对较多。如果不能及时将缺陷发现和修复，将对整个系统能否可靠运行产生很大的影响。
由上可知，焊锡定位是一项对产品质量保证的重要工序，然而，在焊锡定位基本是基于图像进行的，可见，对于在流水线工程中，如何能够获取该产品的采集图像以作为焊锡定位的图像使用，也显得非常重要。
发明内容
为了能够在流水线上对PCB进行图像采集，本发明提出如下技术方案：一种机器视觉焊锡定位检测系统，包括：工业相机、球积分光源、蜂鸣器、光源控制器、传送带、工业计算机、传感器、显示器、嵌入式系统、图像采集卡；工业相机与图像采集卡连接，图像采集卡与工业计算机相连，工业计算机与光源控制器连接，光源控制器与球积分光源相连，所述球积分光源置于工业相机的下方，且位于传送带的上方，所述图像采集卡与计算机的连线引出两路，一路连接显示器，另一路分别连接传感器和嵌入式系统，所述传感器位于传送带的上方。
有益效果：使用本检测系统，可以在流水线上对PCB图像进行采集，并且，该图像可以被使用在焊锡定位的基础图像使用。
附图说明
图1为本发明所述系统的结构示意图。
具体实施方式
实施例1：一种机器视觉焊锡定位检测系统，包括：工业相机1、球积分光源2、蜂鸣器3、光源控制器4、传送带5、工业计算机6、传感器7、显示器8、嵌入式系统9、图像采集卡10；工业相机1与图像采集卡10连接，图像采集卡10与工业计算机6相连，工业计算机6与光源控制器4连接，光源控制器4与球积分光源2相连，所述球积分光源2置于工业相机的下方，且位于传送带的上方，所述图像采集卡10与计算机的连线引出两路，一路连接显示器8，另一路分别连接传感器7和嵌入式系统9，所述传感器7位于传送带的上方。
在本实施例中，涉及一种机器视觉焊锡定位检测方法，使用上述检测系统进行图像采集，包括图像预处理、图像配准、对定位点焊锡检测；图像预处理主要指对图像进行几何畸变校正和噪声点的抑制，减小参考图像和待拼接图像的几何畸变；图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找匹配，完成图像间的对齐；对测量范围内的定位焊点进行焊锡检测，应用模式匹配的方法将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，不断调整初始阈值，量化选取标准，分别统计每个样本图像在色调(H)、饱和度(S)和亮度(I)平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算作为一种形式的卷积，用来匹配的模板相当于卷积核，一个包含N像素的模板与检测图像内的N像素相乘随即求和，卷积核计算求出的测量图像内的每一个像素值，其结果最大的位置是与模板最相近的地方。
实施例2：作为实施例1中所述定位检测方法方案的补充：为了克服现有的AOI不能在有些灰阶或者遇到外界环境干扰较大光线不足被检测元件阴影明暗不明显时不能准确定位的缺陷或不足，基于原有算法编入自组织竞争人工神经网络，这种算法依赖于测量范围的起始位置和被测量物的方向。将依赖数据对应成二值型硬函数输入神经网络科荷伦层，采用无指导的训练方法对输入数据进行自组织竞争的分类与压缩，自组织神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，也就是说选择模式向量两者相距的数值当做聚类判据，本实施例使用的聚类判据为欧氏最小距离法。通过学习确定出一个比较合适的可以在该PCB板上检测所有焊锡的测量范围的大小，然后利用这个尺寸输出限定正确测量范围在需要测量的焊锡上，在学习得到的范围尺寸内找到焊锡的边界，随之求出测量坐标系原点，其精度可以达到亚像素精度。
对在检测过程中由于遇到灰阶或者遇到外界环境干扰较大光线不足或者被检测元件阴影明暗不明显时采集的图像质量过低，首先对图像的质量进行增强以改进图片的质量，将拍摄图片对比度增高去掉模糊和噪声，修正几何畸变，使用频率域法，把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。对由神经网络给出的测量区域使用面积最大法进行再次定位。
定位之前根据已学习的人工数据标定训练样本中的焊锡焊盘位置，对自动获取的焊盘区域中的主要颜色阈值进行统计，定位进行中利用此阈值对测量范围内的图像进行二值化，使用优化后的图像进行焊点定位。
对测量范围内的定位焊点进行焊锡检测，应用模式匹配的方法将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，初始阈值经过人工不断调节规范，达到焊点最佳抽出效果为止，量化选取标准，分别统计每个样本图像在色调(H)、饱和度(S)和亮度(I)平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算能够作为一种形式的卷积，在系统中用来匹配的模板相当于卷积核，普通相关性与以上卷积形式相同，一个包含N像素的模板与正常图像内的N像素相乘随即求和。卷积核计算求出的测量图像内的每一个像素值，结果最大的位置是与模板最相近的地方，标准化向量为：
以检测图像左上角为原点，水平与竖直方向分别为X和Y轴，搜索窗的尺寸为wi和hj，定位焊点坐标为Si(xi,yi)，保持原点相对位置不变，w取值范围为[-min(0，x21),xi-max(x2,x21+x1)],h取值范围为[0,yj-(y21+y1)].假设焊锡定位点属于阈值范围的像素数S(x,y),xs＝-min(0,w21),xe＝ws-max(w2,w21+w1),ys＝0,ye＝hs-(h21+h1).则存在点(xp,yp)使得S(xp,yp)＝maxS(x,y),运算次数为(xe-xs)(ye-ys)(w1hi+w2h2)。
但当图像全部为白色或者黑色是系统将会达到一个最大值，这个最大值使得该点不再与模板相似，这种情况下相关性函数的标准化向量应改为：
Figure BDA0001190782490000062
使用上述表达式结果将不会收到图像或是模板中像素值的线性变化的影响，若测量目标与模板完全匹配时结果会达到最大峰值1，反之为0，如相似性出现负值，系统对负值自动消减为零，r2替代r规避了开放运算的速率缓慢，最终结果匹配分表示为百分数。
Score＝max(r,0)2×100％
该实施例中所述的定位检测方法，极大提高了AOI中焊锡焊点定位的精度，随着SMT行业技术的日新月异，芯片的尺寸也会越来越小，引脚焊线的精度为题势必将成为亟待解决的问题，与神经网络以及模式匹配技术相结合也解决了模板选取时的精度问题，将这些技术应用于半导体封装以及工业生产的视觉定位系统中将给领域内工艺的迅猛发展提供迅速有效的支持。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (1)

1.一种机器视觉焊锡定位检测系统，其特征在于，包括：工业相机（1）、球积分光源（2）、蜂鸣器（3）、光源控制器（4）、传送带（5）、工业计算机（6）、传感器（7）、显示器（8）、嵌入式系统（9）、图像采集卡（10）；工业相机（1）与图像采集卡（10）连接，图像采集卡（10）与工业计算机（6）相连，工业计算机（6）与光源控制器（4）连接，光源控制器（4）与球积分光源（2）相连，所述球积分光源（2）置于工业相机的下方，且位于传送带的上方，所述图像采集卡（10）与计算机的连线引出两路，一路连接显示器（8），另一路分别连接传感器（7）和嵌入式系统（9），所述传感器（7）位于传送带的上方；
机器视觉焊锡定位系统的检测方法，使用上述检测系统进行图像采集，包括图像预处理、图像配准、对定位点焊锡检测；图像预处理主要指对图像进行几何畸变校正和噪声点的抑制，减小参考图像和待拼接图像的几何畸变；图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找匹配，完成图像间的对齐；应用模式匹配的方法对测量范围内的定位焊点进行焊锡检测，将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，不断调整初始阈值，量化选取标准，分别统计每个样本图像在色调、饱和度和亮度平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算作为一种形式的卷积，用来匹配的模板相当于卷积核，一个包含N像素的模板与检测图像内的N像素相乘随即求和，卷积核计算求出的测量图像内的每一个像素值，其结果最大的位置是与模板最相近的地方。
CN201611210044.2A 2016-12-24 2016-12-24 机器视觉焊锡定位检测系统 Active CN106501272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611210044.2A CN106501272B (zh) 2016-12-24 2016-12-24 机器视觉焊锡定位检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611210044.2A CN106501272B (zh) 2016-12-24 2016-12-24 机器视觉焊锡定位检测系统

Publications (2)

Publication Number Publication Date
CN106501272A CN106501272A (zh) 2017-03-15
CN106501272B true CN106501272B (zh) 2020-02-14

Family

ID=58333822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611210044.2A Active CN106501272B (zh) 2016-12-24 2016-12-24 机器视觉焊锡定位检测系统

Country Status (1)

Country Link
CN (1) CN106501272B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107199406B (zh) * 2017-06-05 2019-03-22 武汉比天科技有限责任公司 一种锡丝精密焊接装置及控制方法
CN109148433B (zh) * 2017-06-16 2021-06-04 睿励科学仪器（上海）有限公司 用于确定集成电路器件的尺寸的方法和设备
CN109874235B (zh) * 2017-12-01 2020-09-08 台达电子工业股份有限公司 电子元件组装系统和方法
CN110297013A (zh) * 2018-03-23 2019-10-01 台达电子工业股份有限公司 焊锡制程方法
CN111504194A (zh) * 2020-05-15 2020-08-07 深圳市振邦智能科技股份有限公司 应用在焊点检测aoi中的焊点定位方法
CN112588607A (zh) * 2020-12-04 2021-04-02 广东工业大学 一种基于深度学习的多视角焊锡缺陷检测装置
CN116206381B (zh) * 2023-05-04 2023-07-11 深圳市中际宏图科技有限公司 一种基于机器视觉的摄像头模组生产管理监测分析系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201681051U (zh) * 2009-12-24 2010-12-22 苏州均华精密机械有限公司 集成电路芯片封装成型质量视觉检测系统
CN103676714A (zh) * 2013-11-22 2014-03-26 大连日佳电子有限公司 一种基于机器视觉的基板定位方法和系统
CN203518940U (zh) * 2013-10-15 2014-04-02 深圳市强华科技发展有限公司 一种pcb孔位精度检测装置
CN103822925A (zh) * 2014-03-13 2014-05-28 昆山线针测试电子有限公司 Pcb外观检查机系统
CN203786044U (zh) * 2014-01-26 2014-08-20 冯平 基于机器视觉的食品品种检测系统
CN104698002A (zh) * 2013-12-06 2015-06-10 王健 基于机器视觉的缠辊在线检测报警系统
CN205561756U (zh) * 2016-01-07 2016-09-07 苏州市璟硕自动化设备有限公司 锡膏、红胶检测设备
CN206470210U (zh) * 2016-12-24 2017-09-05 大连日佳电子有限公司 机器视觉焊锡定位检测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203216452U (zh) * 2013-03-06 2013-09-25 江南大学 一种气门摇臂安装位置的自动检测装置
CN105674910B (zh) * 2016-01-14 2018-04-24 江苏大学 一种超大型剪板机板料剪切边缘曲线检测系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201681051U (zh) * 2009-12-24 2010-12-22 苏州均华精密机械有限公司 集成电路芯片封装成型质量视觉检测系统
CN203518940U (zh) * 2013-10-15 2014-04-02 深圳市强华科技发展有限公司 一种pcb孔位精度检测装置
CN103676714A (zh) * 2013-11-22 2014-03-26 大连日佳电子有限公司 一种基于机器视觉的基板定位方法和系统
CN104698002A (zh) * 2013-12-06 2015-06-10 王健 基于机器视觉的缠辊在线检测报警系统
CN203786044U (zh) * 2014-01-26 2014-08-20 冯平 基于机器视觉的食品品种检测系统
CN103822925A (zh) * 2014-03-13 2014-05-28 昆山线针测试电子有限公司 Pcb外观检查机系统
CN205561756U (zh) * 2016-01-07 2016-09-07 苏州市璟硕自动化设备有限公司 锡膏、红胶检测设备
CN206470210U (zh) * 2016-12-24 2017-09-05 大连日佳电子有限公司 机器视觉焊锡定位检测系统

Also Published As

Publication number Publication date
CN106501272A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106501272B (zh) 机器视觉焊锡定位检测系统
Abd Al Rahman et al. A review and analysis of automatic optical inspection and quality monitoring methods in electronics industry
CN107945184B (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
CN106651857B (zh) 一种印刷电路板贴片缺陷检测方法
CN106651802B (zh) 机器视觉焊锡定位检测方法
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN115791822A (zh) 晶圆表面缺陷的视觉检测算法及检测系统
CN110517265A (zh) 一种产品表面缺陷的检测方法、装置及存储介质
Wu et al. Automated visual inspection of surface mounted chip components
WO2017071406A1 (zh) 金针类元件的引脚检测方法和系统
CN112014407A (zh) 一种集成电路晶圆表面缺陷检测的方法
CN115170497A (zh) 一种基于ai视觉检测技术的pcba在线检测平台
CN206470205U (zh) 机器视觉焊锡辅助检测系统
CN112763496A (zh) 一种手机电池表面缺陷检测装置及其检测方法
CN206470210U (zh) 机器视觉焊锡定位检测系统
CN113822836A (zh) 标记图像的方法
JP4814116B2 (ja) 実装基板外観検査方法
Cai et al. PCB defect detection system based on image processing
CN114742823A (zh) 一种物体表面划痕智能检测方法
TW201543053A (zh) 一種線路資訊擷取方法、非線路區資訊擷取方法及運用前述方法的線路缺陷檢測方法
CN104677906A (zh) 影像信息检测方法
Kumar et al. Automated quality inspection of PCB assembly using image processing
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
CN113450331B (zh) 一种异形元器件针脚检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant