CN105809705A - 一种基于最小外接矩形的贴片元件定位识别方法 - Google Patents

一种基于最小外接矩形的贴片元件定位识别方法 Download PDF

Info

Publication number
CN105809705A
CN105809705A CN201610193020.4A CN201610193020A CN105809705A CN 105809705 A CN105809705 A CN 105809705A CN 201610193020 A CN201610193020 A CN 201610193020A CN 105809705 A CN105809705 A CN 105809705A
Authority
CN
China
Prior art keywords
pin
surface mount
mount elements
rectangle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610193020.4A
Other languages
English (en)
Inventor
肖曙红
林德育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201610193020.4A priority Critical patent/CN105809705A/zh
Publication of CN105809705A publication Critical patent/CN105809705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Abstract

本发明公开了一种基于最小外接矩形的贴片元件定位识别方法,用于获取元件中心和偏移角度,包括以下步骤:贴片元件的图像分割和区域特征的提取;对贴片元件分为两大类,不带管脚元件和带管脚元件;根据最小外接矩形的特征,求解出矩形的中心坐标;根据步骤三所得到的目标区域的几何中心即为不带管脚元件的几何中心,再通过限制矩形边的长度,将矩形的两条对称长边筛选出来,其斜率对应的平均角度即为元件的偏移角度;同样根据目标区域的几何中心即为带管脚元件每个管脚对应的几何中心;由已求出带管脚元件管脚部位的中心坐标,求解元件的实际中心坐标;步骤七、求解带管脚贴片元件的偏移角度。通过本发明可以快速精确获得元件中心和偏转角度。

Description

一种基于最小外接矩形的贴片元件定位识别方法
技术领域
本发明涉及表面组装技术(SMT)视觉系统中不带管脚元件和带管脚元件的视觉检测方法,本发明具体涉及一种基于最小外接矩形的定位识别方法获得不带管脚元件和带管脚元件的中心和偏转角度。
背景技术
贴片机在吸贴元件时,由于元件的运输,元件的吸贴,吸嘴的机械定位,气动吸取等动作,可能会产生两个关键问题:一是吸取的元件中心与吸嘴的中心不重合;二是元件的吸取位置与目标贴装位置存在角度偏差。这将会对于元件的准确贴装产生严重影响,因此必须在贴装前进行位置偏差补偿和角度纠偏。
现有的对贴片元件的检测方法主要有模板匹配法、最小二乘直线拟合法、最小外接矩形法。模板匹配法原理简单,但是对于不同型号的贴片元件需要建立不同的标准元件模板,而贴片元件型号繁多,建模需要花费大量时间和存储空间,算法的通用性和灵活性较差;最小二乘直线拟合法同样可用于的贴片元件种类单一,无法适用于多种类型的元件;而本发明提出的这种改进的最小外接矩形法原理简单,可以同时针对不带管脚和带管脚的元件,应用范围和灵活性较好。
目前,表面贴片元件的种类繁多。将元件两端与PCB板焊盘直接连接,没有专门伸出引脚的元件称为无引脚元件,如片状元件(Chip)、贴片LED、金属电极无端子面元件(MELF);将元件底部以面阵列形式排列的焊球作为连接端的元件称为球形引脚元件,如球栅阵列元件(BGA)、芯片尺寸封装元件(CSP)、倒装芯片(FlipChip);将元件周围有向外伸出规则排列的引脚的元件称为伸出引脚元件,如四侧引脚扁平封装元件(QFP)、小外形晶体管(SOT)、小型封装元件(SOP)。综上可以归为不带管脚元件和带管脚元件。而本发明涉及的一种基于最小外接矩形的定位识别方法就是可以用于这两大类元件的检测。
发明内容
本发明的目的在于提出一种基于最小外接矩形的贴片元件定位识别方法,针对不带管脚的元件,提出了最小外接矩形拟合算法用于检测元件的中心坐标,再通过筛选出对称的矩形边,通过数学几何计算方法得出对称边偏移角度的平均值。而针对带管脚的元件,提出了最小外接矩形拟合算法用于检测元件所有管脚的中心坐标,再通过邻接矩阵搜索方法对元件管脚中心坐标进行排序,最后通过最小二乘拟合直线方法拟合出每一排的管脚中心坐标并求平均值,即可得到元件的偏移角度。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于最小外接矩形的贴片元件定位识别方法,用于获取元件中心和偏移角度,包括以下步骤:
步骤一、贴片元件的图像分割和区域特征的提取,具体是:获得二值图像,再通过区域面积和周长大小为限制条件对目标的二值图像进行区域特征提取;通过中值滤波平滑处理剔除背景和噪音;最后通过二值形态学的开运算方法和Canny边缘检测获得元件的像素级边缘轮廓;
步骤二、根据贴片元件在二值化图像的成像结果不同,对贴片元件分为两大类,一类是在图像处理中可以识别到整一个元件,称为不带管脚的元件,另一类是在图像处理中仅识别到元件的管脚,称为带管脚的元件;
步骤三、采用最小外接矩形算法绘制出通过目标区域轮廓点集的凸包的最小外接矩形,根据最小外接矩形的特征,求解出矩形的中心坐标,即目标区域的几何中心,再根据步骤二中对贴片元件的不同类型进行分开处理;
步骤四、针对二值化图像目标区域为整体元件,即为不带管脚的元件,根据步骤三所得到的目标区域的几何中心即为元件的几何中心,再通过限制矩形边的长度,将矩形的两条对称长边筛选出来,即可分别得到两条长边的两个端点坐标(x1,y1),(x2,y2),根据公式θ=arctan(k)分别求解出矩形的两条对称长边与图像坐标系X轴的夹角,再通过数学几何计算方法求取其平均值,即为目标元件在图像坐标系X轴上的偏移角度;
步骤五、针对二值化图像目标区域为元件的管脚部位,即为带管脚的元件,同样根据步骤三所得到的目标区域的几何中心即分别为元件每个管脚对应的几何中心,这里假设各个管脚的中心坐标为:(xi,yi,i=1,2,3,,,,n),n为管脚数,则元件的中心坐标实际上就是所有管脚中心坐标的平均值,则求解得元件中心坐标(x,y):
步骤六、由步骤五已求出带管脚元件的中心坐标,接下来需要求解元件的偏移角度,要求得该元件的偏移角度,首先要将贴片元件的每排管脚中心坐标进行分开记录,通过基于邻接矩阵的搜索方法对贴片元件的管脚中心坐标进行单排记录,将不同排的管脚中心坐标记录到不同的矩阵队列中;
步骤七、由步骤六已生成的矩阵队列,通过最小二乘法拟合直线的方法画出由每个矩阵队列中的数据所拟合的直线,根据步骤四中的计算方法同样可以求解得到每条直线与图像坐标系X轴的夹角,最后将相互对称的直线求得的夹角进行平均求解,所得到的平均值为带管脚贴片元件的偏移角度。
作为优选的技术方案,步骤一中,所述区域特征包括:区域面积、区域周长、矩形度和圆形度。
作为优选的技术方案,步骤一中,通过中值滤波平滑处理方法剔除背景和噪音,中值滤波基本原理是把数字图像中某一点的像素值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。
作为优选的技术方案,步骤一中,所述开运算方法包括:开运算可以断开狭窄的间断和消除孤立的突出物,平滑轮廓,同时也不会改变物体原来面积,开运算就是先腐蚀后膨胀的过程,腐蚀、膨胀、开运算和闭运算是最基本的形态学运算。
作为优选的技术方案,步骤一中,Canny边缘检测的基本思想包括:首先对图像进行平滑滤波,然后采用非极大值抑制算法获取单像素宽度的边缘。
作为优选的技术方案,步骤三中,所述凸包是指针对平面上的一个点集,将这些所有的点都包含在内或在其边上的最小凸多边形,凸包一个很重要的性质就是它“凸”的性质,这个特性对于计算凸包有很大的帮助,若点集P中任意一点a为凸包上的一个顶点,则存在过a点的直线L使得点集P中除a点外的所有点均在直线L的一侧;若连接点集P中任意两点a、b所得到的线段为凸包的一条边,则存在点集P中除a和b点外的所有点均在过点a、b的直线L的一侧。
作为优选的技术方案,步骤三中,最小外接矩形有两个特征:矩形每一条边上必然都有凸包的顶点;矩形至少有一条边与凸包上的一边重合。
作为优选的技术方案,步骤六中,所述基于邻接矩阵的搜索方法实现的步骤包括:
6.1)首先搜索访问贴片元件中的第一个管脚,将其存入队列Q1中,并标记为已访问过;
6.2)从第一个管脚出发,访问该元件剩余的其它管脚,分别计算第一个管脚中心点坐标与其他剩余管脚的中心点距离,若距离等于管脚间距d,就将该管脚列入队列Q1中,并标记为已访问过;
6.3)再以队列Q1中第二个管脚为访问起点,依次访问与其间距等于d的所有未被访问过的其它管脚并标记为已访问过,如此访问下去,直到访问完与管脚距离限制条件成立的所有管脚;
6.4)跳出队列Q1,再次访问未被访问的管脚,重复步骤6.1-6.3,直到所有的管脚被搜索出来,生成多个矩阵队列。
作为优选的技术方案,所述步骤七提出最小二乘法拟合直线的方法来获取元件偏移角度,具体为:给定一点坐标(xi,yi),用最小二乘法拟合得到的函数y=f(x),定义误差平方和s=∑[yi-f(xi)]2,当s→min时,所拟合得到的函数公式就是最佳直线公式;
假设实验得到的单排管脚轮廓中心的坐标为(xi,yi,i=1,2,3,,,,n),n为单排管脚数,直线的最佳公式y=kx+b,根据最小二乘法原理有:
s=∑[yi-f(xi)]2=∑[yi-(kxi+b)]2→min
用求极值的方法求取s的最小值,令k,b偏导数为零,得到两方程,对两个未知数k,b有唯一解,即
化简为:
根据以上公式求得k,b的解为:
通过公式y=kx+b分别对两排管脚中心坐标进行拟合,求得的直线斜率k1,k2,可得每排管脚对应的角度θ1,θ2为:θ1=arctan(k1)
θ2=arctan(k2)
则求解得到元件的角度θ为:θ=(θ1+θ2)/2。
作为优选的技术方案,所述方法用于检测不带引脚和带引脚的贴片元件。
本发明与现有技术相比,具有如下优点和有益效果:
本发明经过相同外界条件重复测试实验以及元件处于不同位置时的测试耗时实验,见表1和2,表1为LED贴片元件和SOP8贴片元件分别在图7和图9位置时进行重复测试实验所获得的数据,可以看出,基于最小外接矩形的贴片元件检测精度可达0.08375像素(pixel)。根据实验时相机所处的视场与物距,得出该相机的像素比例尺为(1/72.89541)mm/pixel,大约为0.014mm/pixel。即元件中心的检测精度可达0.001225mm,完全满足精度为±0.05mm的贴装要求;表2为LED贴片元件和SOP8贴片元件分别处于5个随机不同位置时所测得的测试耗时数据,可以看出,整个算法的最长耗时为19.1ms,完全满足贴装要求。
附图说明
图1是本发明实验SOP14贴片元件(带管脚的元件)的源图像;
图2是本发明实验SOP14贴片元件分割后的二值图像;
图3是本发明实验中值滤波平滑处理方法对SOP14处理后的效果图;
图4是本发明实验形态学开运算方法和Canny边缘检测方法对SOP14处理后的效果图;
图5是本发明实验最小外接矩形算法对经过区域筛选后的SOP14目标区域绘制矩形;
图6是本发明实验LED贴片元件的分割后的二值图像;
图7是本发明最小外接矩形算法对LED元件进行绘制获取包含元件的矩形(白色点为矩形中心);
图8是本发明实验SOP8(带管脚的元件)贴片元件分割后的二值图像;
图9是本发明对SOP8贴片元件先进行区域筛选保留外围区域通过本方法获取元件中心坐标和偏移角度的效果图;
图10是最小外接矩形算法的流程图;
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
以工业计算机配合工业相机MV-VEM033SM进行图像采集,以VS2010为软件平台结合C#编程语言以及EMGU.CV视觉库对算法进行测试。下面结合附图与表并通过具体实施方式来进一步说明本发明的技术方案。
一种基于最小外接矩形的贴片元件定位识别方法,获取元件中心和偏移角度,包括以下步骤:
步骤一、贴片元件的图像分割和区域特征的提取,获得二值图像,再通过区域面积和周长大小为限制条件对目标的二值图像进行区域特征提取;采用中值滤波平滑处理方法剔除背景和噪音;采用二值形态学的开运算先腐蚀后膨胀的过程进行轮廓的平滑处理;最后采用Canny算子进行边缘检测,获得元件的像素级边缘轮廓。
步骤二、根据贴片元件在二值化图像的成像结果不同,对贴片元件分为两大类。一类是在图像处理中可以识别到整一个元件,这里称为不带管脚的元件,如LED芯片,电容芯片,电阻芯片等等;另一类是在图像处理中仅识别到元件的管脚,这里称为带管脚的元件,如SOP芯片,SOT芯片,DIP芯片等。
步骤三、采用基于EMGU.CV的最小外接矩形算法绘制包围目标区域的最小外接矩形,根据EMGU.CV中最小外接矩形函数的特征,可以求解获得矩形的中心坐标,即目标区域的几何中心。再根据贴片元件的不同类型进行分开处理,针对不带管脚元件,采用步骤四获取不带管脚元件的中心和偏移角度;针对带管脚元件,采用步骤五获取带管脚元件的中心和偏移角度。
步骤四、针对二值化图像目标区域为整体元件,即为不带管脚的元件,根据步骤三所得到的目标区域的几何中心转换为机械坐标系的坐标即为元件的几何中心坐标,通过以矩形边的长度为限制条件,将矩形的两条对称长边筛选出来,然后根据EMGU.CV中最小外接矩形函数的特征,可以分别得到两条长边的两个端点坐标(x1,y1),(x2,y2)。根据公式θ=arctan(k)分别求解出矩形的两条对称长边与图像坐标系X轴的夹角,再通过数学几何计算方法求取其平均值,即为目标元件在图像坐标系X轴上的偏移角度。
步骤五、针对二值化图像目标区域为元件的管脚部位,即为带管脚的元件,同样根据步骤三所得到的目标区域的几何中心即分别为元件每个管脚对应的几何中心,这里假设各个管脚的中心坐标为:(xi,yi,i=1,2,3,,,,n)。n为管脚数。则元件的中心坐标实际上就是所有管脚中心坐标的平均值,则求解得元件中心坐标(x,y):
x = Σ i = 1 n x i / n , y = Σ i = 1 n y i / n
步骤六、由步骤五已求出带管脚元件的中心坐标,接下来需要求解元件的偏移角度,要求得该元件的偏移角度,首先要将贴片元件的每排管脚中心坐标进行分开记录。这里提供了一种基于邻接矩阵的搜索方法对贴片元件的管脚中心坐标进行单排记录,将不同排的管脚中心坐标记录到不同的矩阵队列中。
步骤七、由步骤六已生成的矩阵队列,通过最小二乘法拟合直线的方法画出由每个矩阵队列中的数据所拟合的直线,根据步骤四中的计算方法同样可以求解得到每条直线与图像坐标系X轴的夹角,最后将相互对称的直线求得的夹角进行平均求解,所得到的平均值为带管脚贴片元件的偏移角度。
步骤八、完成步骤一-七后,通过该算法的重复测试实验以及测试耗时实验,验证了算法的可行性,得出基于最小外接矩形的贴片元件定位识别算法,可满足高精度贴片要求。
更进一步说明,步骤一中的图像分割是指将原图像中的目标区域进行划分,将其分割为目标区域和背景区域两类的处理方法。因此,图像分割又称为图像的二值化。在贴片元件的图像中,目标区域为贴片元件,其在光源的照射下呈现高亮度,很容易从背景中识别出来,因此采用最常用的全局阂值分割法进行图像分割,分割后的二值图像如图1所示,经过步骤一的区域特征提取,剔除不符合要求的对象,即剔除背景和噪声,考虑到最小外接矩形是矩形形状,所以选择区域面积、矩形周长和矩形度作为区域特征对二值图像进行筛选,获得如图2所示的提取结果。
更进一步说明,步骤一中二值形态学的开运算方法的特征:
开运算可以断开狭窄的间断和消除孤立的突出物,平滑轮廓,同时也不会改变物体原来面积,开运算就是先腐蚀后膨胀的过程。腐蚀与膨胀是最基本的形态学运算。
腐蚀是一种消除边界点,使边界向内部收缩的过程。可以用来消除小且无意义的物体。腐蚀定义如下:
S=E-B={x,y|Bxy∈E}
其中S代表腐蚀处理后的二值图像,E代表原始二值化图像的像素集合,B代表进行腐蚀处理的结构元素。
膨胀是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张的过程,可以用来填补物体中的空洞。膨胀定义如下:
S = E ⊕ B = { x , y | B x y ∩ E ≠ φ }
其中S代表膨胀处理后的二值图像,E代表原始二值化图像的像素集合,B代表进行膨胀处理的结构元素。
更进一步说明,步骤一中中值滤波平滑处理方法剔除背景和噪音,其效果图如图3所示,具体方法包括:
中值滤波法是一种基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。中值滤波基本原理是把数字图像中某一点的像素值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。标准中值滤波器定义为:
公式中MED代表取中值。中值滤波采用滑动的窗口模板,对模板中所有像素点的灰度值进行从大到小排序,取所有灰度值排序多得到的中间的那个灰度值来替代指定点的灰度值。模板的尺寸主要釆用奇数个点,方便取得排序后的中值,若为偶数个点,排序中间两个灰度值的平均值即为中值。中值滤波是典型的低通滤波器,主要用来抑制脉冲噪声,能彻底清除尖波干扰,也能很好的保护目标图像的边缘,一定条件下可克服邻域平均法处理图像带来的图像模糊。中值滤波模板的形状和大小对于滤波效果都有着密切关系。可根据实际情况逐渐改变窗口模板尺寸,达到合适的滤波效果。
更进一步说明,步骤一中Canny边缘检测的基本思想,其效果图如图4所示,具体步骤:首先对图像进行平滑滤波,然后采用非极大值抑制算法获取单像素宽度的边缘。其步骤如下:
(1)平滑滤波图像,消除掉图像中的噪声;
(2)用一阶偏导有限差分计算图像中每个像素的梯度幅值和方向;
(3)对梯度幅值进行非极大值抑制;
(4)用双阈值算法检测和连接边缘,获取像素级别的边缘。
更进一步说明,步骤三中凸包的检测算法,具体步骤:
(1)在输入的边缘点集P中,选取所有点中Y坐标最小的一点A1,并压入栈,当作基点Q1。如果存在多个点的Y坐标都为最小值,则选取X坐标最小的一点。
(2)然后按照其它各点An和基点构成的向量<Q,A>与X轴的夹角进行排序,将点设为A2,A3,,,An。实际中无需求得夹角,只需根据向量的内积公式求出向量的模即可。
(3)按照已经排好的顺序对每一个点进行扫描Ax(2≤x≤n),判断桟中元素的个数是否小于2个,是则Ax作为第二个参考基点Q2。否则计算<Qy-1,Qy>与<Qy,Ax>的外积M,判断M是否大于0,是则Ax在Qy-1和Qy的左边,说明Ax是凸包上的点。否则Ax不是凸包上的点。
(4)将Ax压入栈。
(5)按照顺序,根据步骤(3)遍历点集P中的所有的点,直至回到点A1
更进一步说明,步骤三中最小外接矩形算法具体步骤包括(其效果图如图5所示):
(1)提取输入轮廓点集的凸包;
(2)选取凸包任意一边作为与最小外接矩形的边重合的边,即起始边。找出在这条边的直线投影的正负方向上最远的和到直线距离最远的三点,从而确定和计算出矩形的面积和中心坐标。旋转这条边使该边平行于X轴,从而确定旋转角度。保存矩形面积和坐标,旋转角度及该边的编号;
(3)判断凸包上所有边是否都被计算,若无选择下一条边,转到步骤2,否则转到步骤4;
(4)比较所有记录的矩形的面积,其中面积最小的矩形便是该输入点集所求的最小外接矩形根据以上算法,求轮廓点集的最小外接矩形的流程图见图10。
更进一步说明,步骤六中一种基于邻接矩阵的搜索方法,其具体实现的步骤:
如图9为一个SOP8带管脚的贴片元件,假设图中上面一排管脚从左到右引脚编号为1,3,5,7;下面一排引脚编号为2,4,6,8。d表示元器件相邻两引脚的间距。以间距d做为距离的限制条件,建立一个8*8的邻接矩阵,第i(i=1,2,,,8)行第j列(j=1,2,,,8)表示第i个引脚与第j个引脚的距离是否符合限制条件,其二值化图如图8所示。
基本思想:首先搜索访问如图9中的第一个引脚(引脚1到引脚8的任何一个),将其存入队列Q1中,并标记为已访问过;然后从该引脚出发,访问剩余的7个引脚,分别计算该引脚中心点与其他7个引脚的中心点距离,若距离等于引脚间距d(或在允许的范围内),就将该引脚列入队列Q1中,并标记为已访问过,再以第二个引脚为访问起点,依次访问与其间距等于d的所有未被访问过的其它引脚并标记为已访问过。如此访问下去,直到访问完与引脚距离限制条件成立的所有管脚。最后将剩余的管脚存入队列Q2中。如图9中,假设访问的第一个引脚为引脚1,则根据上述的算法,搜索出来的引脚为1,3,5,7。则队列Q1数组中的元素为1,3,5,7。队列Q2数组中的元素为2,4,6,8。
更进一步说明,步骤七中最小二乘法拟合直线的方法来获取元件偏移角度,具体步骤为:给定一点坐标(xi,yi),用最小二乘法拟合得到的函数y=f(x),定义误差平方和s=∑[yi-f(xi)]2,当s→min时,所拟合得到的函数公式就是最佳直线公式。
假设实验得到的单排管脚轮廓中心的坐标为(xi,yi,i=1,2,3,,,,n),n为单排管脚数。直线的最佳公式y=kx+b,根据最小二乘法原理有:
s=∑[yi-f(xi)]2=∑[yi-(kxi+b)]2→min
用求极值的方法求取s的最小值,令k,b偏导数为零,得到两方程,对两个未知数k,b有唯一解,即
∂ s ∂ b = - 2 Σ [ y i - kx i - b ] = 0
化简为:∑xiyi-b∑xi-k∑xi 2=0
∑yi-nb-k∑xi=0
根据以上公式求得k,b的解为:
通过公式y=kx+b分别对两排管脚中心坐标进行拟合,求得的直线斜率k1,k2,可得每排管脚对应的角度θ1,θ2为:θ1=arctan(k1)
θ2=arctan(k2)
则求解得到元件的角度θ为:θ=(θ1+θ2)/2
最小二乘直线拟合法通过对带脚元件的单管脚中心坐标直接进行最小二乘直线拟合,获得元件的偏转角度,这种方法简单高效。但由于图像处理的二值化图中元件两边对称的管脚中心点所在的直线的斜率有偏差,因此单单拟合一边的直线会由于两边管脚中心不对称造成较大的检测误差,所于必须同时拟合两边对称的直线,最后通过求其平均值得到的数据才符合精度要求。
更进一步说明,步骤八中,对LED贴片元件和SOP8贴片元件分别在图7和图9位置时进行重复测试实验,同时对这两种元件进行随机5个不同位置的测试耗时实验。LED贴片的二值化图如图6所示。见表1和2,从表1中的数据可以看出,基于最小外接矩形的贴片元件检测精度可达0.08375像素(pixel)。根据实验时相机所处的视场与物距,得出该相机的像素比例尺为(1/72.89541)mm/pixel,大约为0.014mm/pixel。即元件中心的检测精度可达0.001225mm,完全满足精度为±0.05mm的贴装要求;从表2中的测试数据可以看出,整个算法的最长耗时为19.1ms,完全满足贴装要求。
表1
表2
综上,针对贴片元件种类繁多的特点,将元件大体分为不带脚元件和带脚元件两类,用于检测此算法的可行性和灵活性。针对不带管脚的元件,提出了最小外接矩形拟合算法用于检测元件的中心坐标,再通过筛选出对称的矩形边,通过数学几何计算方法得出对称边偏移角度的平均值。而针对带管脚的元件,提出了最小外接矩形拟合算法用于检测元件所有管脚的中心坐标,再通过邻接矩阵搜索方法对元件管脚中心坐标进行排序,最后通过最小二乘拟合直线方法拟合出每一排的管脚中心坐标并求平均值,即可得到元件的偏移角度。首先,对元件图像进行图像分割和区域特征的提取,获得二值图像,再通过区域面积和周长大小为限制条件对目标的二值图像进行区域特征提取,通过中值滤波平滑处理剔除背景和噪音,最后通过二值形态学的开运算方法和Canny算子获得元件的像素级边缘轮廓,图像二值化后根据元件种类的不同,采用以上不同的方法进行识别处理。最终,由表1,2仿真实验结果表明元件中心位置定位误差小于0.002mm,偏转角度小于0.06,该算法是可行性和有效性的,在满足精度要求的同时大大提高了多个元件的检测速度。
更进一步的说明,本发明提供一种基于最小外接矩形的贴片元件定位识别方法是可以同时针对不带管脚和带管脚的元件。对于不带管脚元件,其连接部分在元件主体两端,因此该类元件的中心位置和偏移角度只需通过分析主体部分即可;而对于带管脚元件,其连接部分在元件两边的管脚中心,因此该类元件的中心位置和偏移角度只需通过分析周边管脚部分即可。而对于元件主体部分或管脚部分,最小外接矩形算法可以同时应用在这两种情况下。对贴片元件的检测方法主要有模板匹配法、最小二乘直线拟合法、最小外接矩形法。模板匹配法原理简单,但是对于不同型号的贴片元件需要建立不同的标准元件模板,而贴片元件型号繁多,建模需要花费大量时间和存储空间,算法的通用性和灵活性较差;最小二乘直线拟合法同样可用于的贴片元件种类单一,无法适用于多种类型的元件;而本发明提出的这种改进的最小外接矩形法原理简单,可以同时针对不带管脚和带管脚的元件,应用范围和灵活性较好。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种基于最小外接矩形的贴片元件定位识别方法,用于获取元件中心和偏移角度,其特征在于,包括以下步骤:
步骤一、贴片元件的图像分割和区域特征的提取,具体是:获得二值图像,再通过区域面积和周长大小为限制条件对目标的二值图像进行区域特征提取;通过中值滤波平滑处理剔除背景和噪音;最后通过二值形态学的开运算方法和Canny边缘检测获得元件的像素级边缘轮廓;
步骤二、根据贴片元件在二值化图像的成像结果不同,对贴片元件分为两大类,一类是在图像处理中可以识别到整一个元件,称为不带管脚的元件,另一类是在图像处理中仅识别到元件的管脚,称为带管脚的元件;
步骤三、采用最小外接矩形算法绘制出通过目标区域轮廓点集的凸包的最小外接矩形,根据最小外接矩形的特征,求解出矩形的中心坐标,即目标区域的几何中心,再根据步骤二中对贴片元件的不同类型进行分开处理;
步骤四、针对二值化图像目标区域为整体元件,即为不带管脚的元件,根据步骤三所得到的目标区域的几何中心即为元件的几何中心,再通过限制矩形边的长度,将矩形的两条对称长边筛选出来,即可分别得到两条长边的两个端点坐标(x1,y1),(x2,y2),根据公式θ=arctan(k)分别求解出矩形的两条对称长边与图像坐标系X轴的夹角,再通过数学几何计算方法求取其平均值,即为目标元件在图像坐标系X轴上的偏移角度;
步骤五、针对二值化图像目标区域为元件的管脚部位,即为带管脚的元件,同样根据步骤三所得到的目标区域的几何中心即分别为元件每个管脚对应的几何中心,这里假设各个管脚的中心坐标为:(xi,yi,i=1,2,3,,,,n),n为管脚数,则元件的中心坐标实际上就是所有管脚中心坐标的平均值,则求解得元件中心坐标(x,y):
步骤六、由步骤五已求出带管脚元件的中心坐标,接下来需要求解元件的偏移角度,要求得该元件的偏移角度,首先要将贴片元件的每排管脚中心坐标进行分开记录,通过基于邻接矩阵的搜索方法对贴片元件的管脚中心坐标进行单排记录,将不同排的管脚中心坐标记录到不同的矩阵队列中;
步骤七、由步骤六已生成的矩阵队列,通过最小二乘法拟合直线的方法画出由每个矩阵队列中的数据所拟合的直线,根据步骤四中的计算方法同样可以求解得到每条直线与图像坐标系X轴的夹角,最后将相互对称的直线求得的夹角进行平均求解,所得到的平均值为带管脚贴片元件的偏移角度。
2.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤一中,所述区域特征包括:区域面积、区域周长、矩形度和圆形度。
3.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤一中,通过中值滤波平滑处理方法剔除背景和噪音,中值滤波基本原理是把数字图像中某一点的像素值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。
4.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤一中,所述开运算方法包括:开运算可以断开狭窄的间断和消除孤立的突出物,平滑轮廓,同时也不会改变物体原来面积,开运算就是先腐蚀后膨胀的过程,腐蚀、膨胀、开运算和闭运算是最基本的形态学运算。
5.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤一中,Canny边缘检测的基本思想包括:首先对图像进行平滑滤波,然后采用非极大值抑制算法获取单像素宽度的边缘。
6.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤三中,所述凸包是指针对平面上的一个点集,将这些所有的点都包含在内或在其边上的最小凸多边形,凸包一个很重要的性质就是它“凸”的性质,这个特性对于计算凸包有很大的帮助,若点集P中任意一点a为凸包上的一个顶点,则存在过a点的直线L使得点集P中除a点外的所有点均在直线L的一侧;若连接点集P中任意两点a、b所得到的线段为凸包的一条边,则存在点集P中除a和b点外的所有点均在过点a、b的直线L的一侧。
7.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤三中,最小外接矩形有两个特征:矩形每一条边上必然都有凸包的顶点;矩形至少有一条边与凸包上的一边重合。
8.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,步骤六中,所述基于邻接矩阵的搜索方法实现的步骤包括:
6.1)首先搜索访问贴片元件中的第一个管脚,将其存入队列Q1中,并标记为已访问过;
6.2)从第一个管脚出发,访问该元件剩余的其它管脚,分别计算第一个管脚中心点坐标与其他剩余管脚的中心点距离,若距离等于管脚间距d,就将该管脚列入队列Q1中,并标记为已访问过;
6.3)再以队列Q1中第二个管脚为访问起点,依次访问与其间距等于d的所有未被访问过的其它管脚并标记为已访问过,如此访问下去,直到访问完与管脚距离限制条件成立的所有管脚;
6.4)跳出队列Q1,再次访问未被访问的管脚,重复步骤6.1-6.3,直到所有的管脚被搜索出来,生成多个矩阵队列。
9.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,所述步骤七提出最小二乘法拟合直线的方法来获取元件偏移角度,具体为:给定一点坐标(xi,yi),用最小二乘法拟合得到的函数y=f(x),定义误差平方和s=∑[yi-f(xi)]2,当s→min时,所拟合得到的函数公式就是最佳直线公式;
假设实验得到的单排管脚轮廓中心的坐标为(xi,yi,i=1,2,3,,,,n),n为单排管脚数,直线的最佳公式y=kx+b,根据最小二乘法原理有:
s=∑[yi-f(xi)]2=∑[yi-(kxi+b)]2→min
用求极值的方法求取s的最小值,令k,b偏导数为零,得到两方程,对两个未知数k,b有唯一解,即
化简为:
根据以上公式求得k,b的解为:
通过公式y=kx+b分别对两排管脚中心坐标进行拟合,求得的直线斜率k1,k2,可得每排管脚对应的角度θ1,θ2为:θ1=arctan(k1)
θ2=arctan(k2)
则求解得到元件的角度θ为:θ=(θ1+θ2)/2。
10.根据权利要求1所述的基于最小外接矩形的贴片元件定位识别方法,其特征在于,所述方法用于检测不带引脚和带引脚的贴片元件。
CN201610193020.4A 2016-03-30 2016-03-30 一种基于最小外接矩形的贴片元件定位识别方法 Pending CN105809705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610193020.4A CN105809705A (zh) 2016-03-30 2016-03-30 一种基于最小外接矩形的贴片元件定位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610193020.4A CN105809705A (zh) 2016-03-30 2016-03-30 一种基于最小外接矩形的贴片元件定位识别方法

Publications (1)

Publication Number Publication Date
CN105809705A true CN105809705A (zh) 2016-07-27

Family

ID=56459346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610193020.4A Pending CN105809705A (zh) 2016-03-30 2016-03-30 一种基于最小外接矩形的贴片元件定位识别方法

Country Status (1)

Country Link
CN (1) CN105809705A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503720A (zh) * 2016-10-19 2017-03-15 深圳市路远自动化设备有限公司 一种去除吸嘴干扰的元件图像识别方法
CN106780525A (zh) * 2016-11-18 2017-05-31 北方工业大学 基于坐标旋转最小外接矩形的光学遥感图像船只方向特征提取方法
CN106951891A (zh) * 2017-03-21 2017-07-14 北京中安未来科技有限公司 光斑检测方法和装置
CN107478152A (zh) * 2017-08-11 2017-12-15 哈尔滨工业大学 Tr芯片定位方法及检测方法
CN107909613A (zh) * 2017-11-14 2018-04-13 哈尔滨工业大学 一种基于顶点的矩形引脚元件定位方法
CN108230388A (zh) * 2018-02-06 2018-06-29 广西艾盛创制科技有限公司 一种白车身焊点图像的识别定位方法
CN108613630A (zh) * 2018-04-28 2018-10-02 中国计量大学 基于图像处理技术的两线型管水准器气泡偏移量测量方法
CN108876850A (zh) * 2018-06-29 2018-11-23 闽江学院 一种pcb板打孔定位方法
CN109635413A (zh) * 2018-12-07 2019-04-16 郑州云海信息技术有限公司 一种创建球栅阵列bga封装标签的方法及装置
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN111260603A (zh) * 2018-11-30 2020-06-09 新疆金风科技股份有限公司 识别风力发电机组叶片尖端的方法及装置
WO2020132937A1 (zh) * 2018-12-26 2020-07-02 深圳市兴华炜科技有限公司 一种smt精密定位计算方法及相关产品
CN111664799A (zh) * 2019-03-07 2020-09-15 叶时豪 估算由纵横线件所构成的材料的虚拟轮廓的方法
CN112419224A (zh) * 2020-07-17 2021-02-26 宁波智能装备研究院有限公司 一种球形引脚芯片定位方法及系统
CN112541945A (zh) * 2020-12-10 2021-03-23 宁波智能装备研究院有限公司 一种二次匹配对应的ic芯片亚像素精度定位方法
CN112777346A (zh) * 2020-12-23 2021-05-11 深圳市旗众智能科技有限公司 基于工业相机的手机辅料进料识别方法
CN112862951A (zh) * 2021-01-28 2021-05-28 晟通科技集团有限公司 配件建模方法、计算机装置及存储介质
CN112949625A (zh) * 2021-01-29 2021-06-11 西安电子科技大学 基于质心轮廓距离的目标识别方法与系统
CN113933315A (zh) * 2021-10-13 2022-01-14 深圳市中纬智能有限公司 贴片电路板共线性检测方法与系统
CN117392211A (zh) * 2023-12-11 2024-01-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840572A (zh) * 2010-04-13 2010-09-22 河海大学常州校区 一种基于区域分割的qfp元件位置误差视觉检测方法
CN103745475A (zh) * 2014-01-22 2014-04-23 哈尔滨工业大学 一种用于球形引脚元件的检测与定位方法
CN104933720A (zh) * 2015-06-25 2015-09-23 哈尔滨工业大学 一种基于视觉的sop元件定位和缺陷检测方法
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840572A (zh) * 2010-04-13 2010-09-22 河海大学常州校区 一种基于区域分割的qfp元件位置误差视觉检测方法
CN103745475A (zh) * 2014-01-22 2014-04-23 哈尔滨工业大学 一种用于球形引脚元件的检测与定位方法
CN104933720A (zh) * 2015-06-25 2015-09-23 哈尔滨工业大学 一种基于视觉的sop元件定位和缺陷检测方法
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何昌荣等: "《考场数理化生公式定理全解 高中版》", 30 September 2005 *
刘应东等: "基于邻接矩阵的FP-tree构造算法", 《计算机工程与应用》 *
张欢欢: "PLCC型元件基于视觉检测的核心算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨洪天: "贴片机飞行对中图像处理和识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许海丽: "基于OpenCV的SMT纠偏贴片视觉系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503720B (zh) * 2016-10-19 2019-09-13 深圳市路远自动化设备有限公司 一种去除吸嘴干扰的元件图像识别方法
CN106503720A (zh) * 2016-10-19 2017-03-15 深圳市路远自动化设备有限公司 一种去除吸嘴干扰的元件图像识别方法
CN106780525A (zh) * 2016-11-18 2017-05-31 北方工业大学 基于坐标旋转最小外接矩形的光学遥感图像船只方向特征提取方法
CN106780525B (zh) * 2016-11-18 2020-08-14 北方工业大学 基于坐标旋转最小外接矩形的光学遥感图像船只方向特征提取方法
CN106951891A (zh) * 2017-03-21 2017-07-14 北京中安未来科技有限公司 光斑检测方法和装置
CN111368819A (zh) * 2017-03-21 2020-07-03 北京中安未来科技有限公司 光斑检测方法和装置
CN111368819B (zh) * 2017-03-21 2023-05-30 北京中安未来科技有限公司 光斑检测方法和装置
CN106951891B (zh) * 2017-03-21 2020-04-24 北京中安未来科技有限公司 光斑检测方法和装置
CN107478152A (zh) * 2017-08-11 2017-12-15 哈尔滨工业大学 Tr芯片定位方法及检测方法
CN107909613A (zh) * 2017-11-14 2018-04-13 哈尔滨工业大学 一种基于顶点的矩形引脚元件定位方法
CN107909613B (zh) * 2017-11-14 2020-05-22 哈尔滨工业大学 一种基于顶点的矩形引脚元件定位方法
CN108230388A (zh) * 2018-02-06 2018-06-29 广西艾盛创制科技有限公司 一种白车身焊点图像的识别定位方法
CN108613630A (zh) * 2018-04-28 2018-10-02 中国计量大学 基于图像处理技术的两线型管水准器气泡偏移量测量方法
CN108613630B (zh) * 2018-04-28 2022-03-11 中国计量大学 基于图像处理技术的两线型管水准器气泡偏移量测量方法
CN108876850A (zh) * 2018-06-29 2018-11-23 闽江学院 一种pcb板打孔定位方法
CN111260603B (zh) * 2018-11-30 2024-02-02 金风科技股份有限公司 识别风力发电机组叶片尖端的方法及装置
CN111260603A (zh) * 2018-11-30 2020-06-09 新疆金风科技股份有限公司 识别风力发电机组叶片尖端的方法及装置
CN109635413A (zh) * 2018-12-07 2019-04-16 郑州云海信息技术有限公司 一种创建球栅阵列bga封装标签的方法及装置
CN109635413B (zh) * 2018-12-07 2022-03-25 郑州云海信息技术有限公司 一种创建球栅阵列bga封装标签的方法及装置
WO2020132937A1 (zh) * 2018-12-26 2020-07-02 深圳市兴华炜科技有限公司 一种smt精密定位计算方法及相关产品
CN111664799A (zh) * 2019-03-07 2020-09-15 叶时豪 估算由纵横线件所构成的材料的虚拟轮廓的方法
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN112419224A (zh) * 2020-07-17 2021-02-26 宁波智能装备研究院有限公司 一种球形引脚芯片定位方法及系统
CN112419224B (zh) * 2020-07-17 2021-08-27 宁波智能装备研究院有限公司 一种球形引脚芯片定位方法及系统
CN112541945A (zh) * 2020-12-10 2021-03-23 宁波智能装备研究院有限公司 一种二次匹配对应的ic芯片亚像素精度定位方法
CN112541945B (zh) * 2020-12-10 2024-02-27 宁波智能装备研究院有限公司 一种二次匹配对应的ic芯片亚像素精度定位方法
CN112777346A (zh) * 2020-12-23 2021-05-11 深圳市旗众智能科技有限公司 基于工业相机的手机辅料进料识别方法
CN112862951A (zh) * 2021-01-28 2021-05-28 晟通科技集团有限公司 配件建模方法、计算机装置及存储介质
CN112949625A (zh) * 2021-01-29 2021-06-11 西安电子科技大学 基于质心轮廓距离的目标识别方法与系统
CN113933315A (zh) * 2021-10-13 2022-01-14 深圳市中纬智能有限公司 贴片电路板共线性检测方法与系统
CN113933315B (zh) * 2021-10-13 2024-04-05 深圳市中纬智能有限公司 贴片电路板共线性检测方法与系统
CN117392211A (zh) * 2023-12-11 2024-01-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质
CN117392211B (zh) * 2023-12-11 2024-03-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质

Similar Documents

Publication Publication Date Title
CN105809705A (zh) 一种基于最小外接矩形的贴片元件定位识别方法
US9965847B2 (en) Multi-type BGA chip visual recognition method using line based clustering
US7167583B1 (en) Image processing system for use with inspection systems
US6118893A (en) Analysis of an image of a pattern of discrete objects
CN105066892B (zh) 一种基于直线聚类分析的bga元件检测与定位方法
US8577125B2 (en) Method and apparatus for image generation
CN113344931B (zh) 一种插件视觉检测识别方法、可读存储介质及设备
CN104990926A (zh) 一种基于视觉的tr元件定位和缺陷检测方法
JP2011017705A (ja) パターン検査装置、パターン検査方法および記録媒体
CN109816653B (zh) 一种用于导电粒子检测的方法
CN113344929B (zh) 一种焊点视觉检测识别方法、可读存储介质及设备
JP4327289B2 (ja) 部品認識方法および装置
Said et al. Automated detection and classification of non-wet solder joints
JP5045591B2 (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
CN106815830B (zh) 图像的缺陷检测方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN117058411B (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
US11176419B1 (en) Method for labeling image
JP4597509B2 (ja) パターン検査装置およびパターン検査方法
WO2002088688A1 (en) Inspection system using dynamically obtained values and related techniques
CN105718929A (zh) 全天候未知环境下高精度快速圆形目标定位方法和系统
JP2013254242A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN113128247B (zh) 一种图像定位标识验证方法及服务器
CN114092448A (zh) 一种基于深度学习的插件电解电容混合检测方法
CN109470290B (zh) 一种仪表指针自动校准方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160727

RJ01 Rejection of invention patent application after publication