CN102656606B - 用于球栅阵列器件的对准与检查的系统和方法 - Google Patents

用于球栅阵列器件的对准与检查的系统和方法 Download PDF

Info

Publication number
CN102656606B
CN102656606B CN201080050575.4A CN201080050575A CN102656606B CN 102656606 B CN102656606 B CN 102656606B CN 201080050575 A CN201080050575 A CN 201080050575A CN 102656606 B CN102656606 B CN 102656606B
Authority
CN
China
Prior art keywords
alignment
agglomerate
group
significant
ball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080050575.4A
Other languages
English (en)
Other versions
CN102656606A (zh
Inventor
X·王
L·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN102656606A publication Critical patent/CN102656606A/zh
Application granted granted Critical
Publication of CN102656606B publication Critical patent/CN102656606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

提供了用于高速地对准并检查具有非均匀特征的部件(比如BGA器件)的系统和方法。在机器视觉系统的训练期间,少量的对准效果显著的团块连同用于挑选粒度的一定量的几何分析一起被确定。此外,在训练期间,多个球可以与多个组相关联,每一个组可以具有其自己的一组检查参数。

Description

用于球栅阵列器件的对准与检查的系统和方法
技术领域
本发明涉及机器视觉系统,尤其涉及使用机器视觉系统来对准并检查具有多个非均匀特征的部件。
背景技术
在各种制造和质量控制过程中,越来越多地使用了高级机器视觉系统及其底层软件。在大规模生产以及定制产品的生产过程中,机器视觉能够获得更快、更准且可重复的结果,并且很少出错。基本的机器视觉系统包括:对着感兴趣的区域的一个或多个照相机(通常具有固态电荷耦合器件(CCD)成像元件);帧抓取器/图像处理元件,用于捕捉并传送CCD图像;计算机和显示器,用于运行机器视觉软件应用程序并操纵所捕捉的图像;以及在感兴趣的区域上的合适的照明。
机器视觉的许多应用包括:检查各种部件和表面是否有影响质量的缺陷。在发现足够严重的缺陷时,一部分表面就被标记为不可接受/有缺陷。机器视觉也已经被不同程度地用于在执行特定任务时帮助操纵制造引擎。具体来讲,机器视觉系统可以被用于沿着装配线检查各种部件以确保这些部件在插入和/或组装到成品中之前符合预定的标准。机器视觉系统也可以被用于定位这些部件以及正被组装的产品,使得插入和/或组装设备可以自动地组装上述成品而无需人的干预。
在具有球栅阵列(BGA)形状因子的器件的对准和检查过程中,通常使用机器视觉系统。BGA器件通常包括在器件的安装侧的多个小焊接球。一旦器件被恰当地放置在电路板上,就可以使用超声和/或红外技术来焊接这些焊接球。在BGA器件上的焊接球的数目已经急剧地增大了,使得目前的BGA器件可能具有数千个焊接球。此外,现代的BGA器件通常具有在栅格图案上对得不太准的焊接球,即,这些焊接球是非均匀地间隔在部件上的。另外,BGA器件现在可以利用非均匀大小的和/或非圆形的焊接球/焊接点,例如,具有变化的大小和/或形状的焊接球。
这些趋势使目前用于对准和/或检查BGA器件的机器视觉系统变得复杂。随着焊接球的数目变得非常大,目前依赖于提取焊接球或以其它方式测量焊接球特征的那些方法通常以对于运行时间而言是不可接受的很慢的速度来执行。此外,随着焊接球的图案变得更复杂,基于搜索的对准方法可能陷入最糟糕的情形中。这可能会发生,因为很小的平移自由度或旋转角的未对准可能意味着大量单独的特征发生匹配,由此发生不正确的匹配的可能性变大了。
另外,当焊接球在大小和/或形状方面不是均匀的时候,现有技术的机器视觉系统通常不能够执行对准和/或检查。增大的焊接球数目、变化的大小和/或形状以及非均匀的焊接球间隔的组合使目前的机器视觉实现方式无法以商业上可接受的速率和效率来有效地对准和/或检查BGA器件。
发明内容
本发明通过提供一种用于高速对准和/或检查具有多个非均匀特征的部件(比如BGA器件)的系统和方法,克服了现有技术的诸多缺点。作为说明,上述非均匀特征可以包括:焊接球具有变化的大小和/或形状、按变化的栅格图案(或不按栅格图案)排列等等。通常,首先在BGA器件的特征的对准和检查这一方面训练说明性的机器视觉系统。随后,在运行期间,根据本发明的说明性实施例,首先对准BGA器件,然后检查BGA器件。
根据本发明的说明性实施例,在机器视觉系统的训练期间,少量的对准效果显著的团块(alignmentsignificantblob)连同用于挑选粒度的一定量的几何分析一起被确定。通过从器件的图像中进行提取,使用例如边沿检测,或者通过分析该器件的几何模型,就可以确定上述对准效果显著的团块。上述提取要么是通过图像的边沿检测实现的,要么是通过几何模型分析实现的,这种提取产生了一个或多个灰度级团块。然后,从这些灰度级团块中,确定对准效果显著的团块。一旦对准效果显著的团块被确定,就对这些对准效果显著的团块确定用于运行时间平滑化和向下采样的参数,并且产生了对准掩模。作为说明,该对准掩模可以容纳大小不一的团块,并且也可以容纳非圆形的团块(即具有变化的形状的团块)。
此外,在机器视觉检查系统的训练期间,上述器件的几何模型被输入并被分析,以识别出一个或多个候选焊接球组。作为说明,每一个候选焊接球组是由具有相同的大小、形状和栅格对准的一组焊接球构成的。作为说明,这些候选的组被显示给用户,该用户随后可能会修改这些组。作为说明,用户可以使用图形用户界面(GUI)来修改候选焊接球组的成员。一旦每一个组边界被设定,该用户就可以为每一个组设置各种参数,例如,这些参数包括与该组内的焊接球相关联的检查项的各种合格/不合格阈值。
在运行期间的操作过程中,上述器件的图像被捕获,接下来使用先前定义的值对该图像进行平滑化和向下采样。然后,在执行精细的对准之前,执行粗略的对准。这种粗略的和精细的对准仅仅使用了先前识别出的对准效果显著的团块,由此提供了速度和准确度更高的器件对准。然后,这种对准信息被机器视觉系统的检查部件使用。从上述图像中提取出每一个焊接球,并且对于每一个焊接球,使用针对该焊接球所隶属的那个组而设置的合适的参数来执行检查。一旦所有的焊接球都已被检查过,接下来就输出该检查的结果。例如,这些结果可以被工业自动化设备使用,可用于确定是否使用给定的器件等。
附图说明
通过参照下面的描述以及附图,可以更好地理解本发明的上述优点和其它优点,在附图中,相同的标号表示完全一样的或功能相似的元件:
图1是根据本发明一说明性实施例的示例性机器视觉系统的示意性框图;
图2是根据本发明一说明性实施例的示例性器件的焊接球图案的一部分的示意性框图;
图3A是根据本发明一说明性实施例的流程图,该流程图详细描述了使用图像捕获来训练机器视觉系统的过程的步骤;
图3B是根据本发明一说明性实施例的流程图,该流程图详细描述了使用几何模型来训练机器视觉系统的过程的步骤;
图4A是根据本发明一说明性实施例的圆形球的示例性对准掩模的示意图;
图4B是根据本发明一说明性实施例的椭圆形球的示例性对准掩模的示意图;
图4C是根据本发明一说明性实施例的非圆形球的示例性对准掩模的示意图;
图5是根据本发明一说明性实施例的示例性部件的焊接球图案的一部分的示意性框图,示出了对准效果显著的团块的确定;
图6是根据本发明一说明性实施例的示例性部件的焊接球图案的一部分的示意性框图,其中示出了对准效果显著的团块;
图7是根据本发明一说明性实施例的流程图,该流程图详细描述了用于产生示例性候选焊接球组的过程的步骤;
图8是根据本发明一说明性实施例示出了一分析的示例性输出的示意图,该分析的示例性输出示出了示例性的候选焊接球组;
图9是根据本发明一说明性实施例的示意图,示出了在用户修改之后的示例性焊接球组;以及
图10是根据本发明一说明性实施例的流程图,该流程图详细描述了用于执行多个器件的运行时间对准与检查的过程的步骤。
具体实施方式
A.机器视觉系统
图1是根据本发明一说明性实施例的机器视觉系统100的示意性框图,它可以被用于实现本发明的原理。机器视觉系统100包括捕获器件105,用于产生视场110的图像,该视场110包括一个或多个物体115(比如BGA器件或其它部件)。捕获器件105可以包括常规摄像机或扫描仪。这种摄像机可以是电荷耦合器件(CCD)或用于获得合适的图像信息的其它系统(比如公知的CMOS传感器)。在捕获器件105的分辨率之内,捕获器件105所产生的图像数据(或像素)代表了场景中的每一个点的图像强度(比如颜色或亮度)。捕获器件105通过通信路径120将数字图像数据发送给图像分析系统125。图像分析系统125可以包括常规的数字数据处理器,比如可从Cognex公司买到的视觉处理系统。图像分析系统125可以包括常规的微型计算机或其它示例性的计算设备。可以使用其它形式的接口,例如,包括个人数字助理(PDA)等。在备选实施例中,上述捕获设备可以包括执行图像分析系统的功能的处理能力。在这种实施例中,不需要单独的图像分析系统。在另外的备选实施例中,捕获设备可以操作性地与图像分析系统互连以便于训练。一旦训练已经发生,合适的模型可以被存储到上述捕获设备中以便在运行期间使用。
作为说明,图像分析系统125是根据本发明的教导被编程的,并且根据本发明一说明性实施例提供了各种部件的高速对准与检查。图像分析系统125可以具有一个或多个中央处理单元(处理器)130、主存储器135、输入/输出系统145以及一个或多个盘片驱动器或其它形式的大容量存储器140。作为说明,输入/输出系统145与捕获器件105和图像分析系统125之间的通信路径120互连。通过根据本发明的教导的编程指令,可以配置上述系统125。本领域技术人员将会理解,备选的硬件和/或软件配置可以被用于实现本发明的原理。具体来讲,本发明的教导可以被实现在软件、硬件、固件和/或它们的任意组合中。此外,在运行期间,与训练时相反,可以在机器视觉系统100中包括另外的和/或不同的部件。例如,物体115可以通过传输带(未示出)或其它装配线设备等传输。
应该注意到,尽管本发明是用机器视觉系统100来描述的,但是本发明的原理可以被用在各种不同的实施例中。这样,术语机器视觉系统应该被视为包括各种备选的系统。更一般地,本发明的原理可以被实现在用于对准和/或检查各种部件的任何系统上。例如,一个实施例可以涉及一种常规机器视觉系统,该系统包括独立的照相机,该照相机操作性地与独立的计算机互连,该计算机被编程以处理各种图像等。
然而,本发明的原理可以被用在基于所获得的部件图像来对准和/或检查各种部件的其它设备和/或系统中。例如,视觉传感器(比如可从Cognex公司买到的“Checker”产品)或其它设备包括照明源、图像获取能力和/或处理能力。这种视觉传感器可以通过单独的模块(比如“CognexVisionView”)被训练和/或被配置。在这种实施例中,用户可以使用多个物体而非单个物体来训练该视觉传感器。用户可以选择第一物体,将它放在传感器前面,并且指示该系统已放好训练物体。第二(第三等)物体可以被相似地训练。例如,通过使用图形用户界面(GUI)和/或位于训练模块和/或视觉传感器自身上的按钮或其它控制表面,用户就可以控制上述训练步骤。此外,本发明的功能可以被并入到手持设备、无线兼容设备等中。应该注意到,在备选实施例中,对准和检查功能可以被划分到各种硬件和/或软件模块中。这样,术语机器视觉系统应该被宽泛地解释为包括所有这种可利用本发明的一个或多个教导的系统和设备。
B.具有非均匀特征的BGA器件
图2是根据本发明一说明性实施例的示例性BGA器件200的焊接球图案的一部分的示意性框图。应该注意到,在本发明的说明性实施例中,BGA器件可能具有数千个焊接球。由此,BGA器件200的示意图应该被视为仅是示例性的。还应该注意到,在示例性器件200中,大量焊接球是按各种栅格图案排布的。然而,可以明确地想到,在本发明的备选实施例中,所有的焊接球可以是按非栅格或其它非均匀图案排布的。这样,关于器件200的描述不应该被视为将本发明局限于具有至少一些栅格对准的球图案。
在本发明的说明性实施例中,在器件上,球的区域的大小、形状和/或取向可以变化很大。示例性的BGA器件200包括三个不同的区域。第一区域205包括按栅格图案对准的一组焊接球,这些焊接球具有相等的第一直径。作为说明,区域205之内的每一个焊接球都具有相等的第一尺寸。第二区域210包括另一组按栅格对准的焊接球;然而,第二区域210中的焊接球具有与第一区域205的焊接球不同的大小(即不等于第一直径)。第三区域215包括多个不按栅格对准的球。应该注意到,在本发明的备选实施例中,焊接球形状也可以不同,即,这些球可以具有非圆形的形状。这样,关于具有圆形球的示例性器件200的描述应该被视为仅是示例性的。
本领域技术人员应该理解,本发明的原理可以被用在具有非均匀特征(例如,包括按栅格对准的或未对准的球尺寸和/或球形状)的球的任意数目个区域的BGA器件中。这样,关于器件200的描述应该被视为示例性的BGA器件,目的在于示出本发明的原理。本发明的原理可以被概括为具有非均匀特征的任何部件的对准和/或检查。
C.对准训练
图3A是根据本发明一说明性实施例的流程图,该流程图详细描述了使用一器件的图像捕获来训练机器视觉系统的过程300A的步骤。过程300A始于步骤305并继续到步骤310,其中,使用边沿检测从图像中提取灰度级团块。作为说明,一种使用基于灰度级强度的图像分割的团块工具(比如可从马萨诸塞州Natick市的Cognex公司买到的“Cognex团块工具”)被用于识别该图像中的这些物体。然后,所发现的团块的边界被用于产生该球的多边形表示。这种多边形表示可以随后在步骤325中被用于产生对准掩模,下文会进一步描述。在备选实施例中,当目标被限于已知的形状(比如圆形的球)时,Sobel边沿提取技术可以被用于在该图像中找出边沿链,作为说明,一闭合的边沿链或一组带有小间隙的打开的边沿链可以被拟合成已知的形状,该已知的形状被用作一模型。
一旦已提取出灰度级团块,机器视觉系统接下来在步骤315中识别出对准效果显著的团块。“对准效果显著的团块”是当图案在各种方向上移动时不会轻易被误认作其相邻团块的那些团块。更一般地,在密集区域的边界上的团块通常是对准效果显著的。下文描述了一种用于确定对准效果显著性的技术。然而,应该注意到,在本发明的备选实施例中,可以使用用于确定对准效果显著性的备选技术。这样,本文所描述的对准效果显著性确定技术应该被视为仅是示例性的。
为了对准效果显著性确定的说明性实施例,一个团块的紧挨着的近邻被定义为在给定团块的最近邻距离的预定的常数因子之内的那些近邻。在一说明性实施例中,上述预定的常数因子是1.5。由此,在给定团块的最接近的近邻的1.5个单位之内的那些团块被定义为该团块的紧挨着的近邻。然后,如果存在足够大的角度,其中没有紧挨着的近邻,则一个团块被定义为对准效果显著。
图5是根据本发明一说明性实施例的示例性BGA器件500的示意性框图。作为说明,器件500包含与上文结合图2所示出并描述的示例性器件200相同的球图案。作为说明,图5示出了可能包含数千个焊接球的更大的图像的一部分。这样,应该假定,靠外的一行焊接球会延伸超过图5的图像。在一说明性实施例中,预定的角度135°被用于确定对准效果显著性。然而,在备选实施例中,任何角度都可以被用作确定对准效果显著性的阈值角度。这样,关于135°角度的使用的描述应该被视为仅是示例性的。
由此,根据过程300的步骤315,检查说明性器件500中的每一个团块的对准效果显著性。示例性的团块505被检查,并且确定其间没有近邻的角度约为180°。因为这大于示例性的135°阈值,所以团块505被认为是对准效果显著的。相似的是,团块510也被检查,并且被确定为其间没有近邻的角度是180°。与团块505相似,因为这大于135°阈值,所以团块510被认为是对准效果显著的。团块515被检查,并且确定没有紧挨着的近邻的最大角度约为90°。因为90°小于135°阈值,所以团块515被认为不是对准效果显著的。作为说明,对于器件500上的每一个焊接球,确定这种效果显著性。
图6是示出了来自器件600的对准效果显著的团块的示意图。作为说明,只有那些来自图5的器件500且符合135°阈值等级的团块被显示在图6中。如上文注意到的那样,图5的图像被假定为向外延伸。这样,图5所示的最外围那一行焊接球被假定为在远处具有另一行(未示出),由此导致最外围那一行不是对准效果显著的。应该注意到,在备选实施例中,不同的阈值将导致不同的对准效果显著性被确定。这样,图6应该被视为仅是示例性的。返回到过程300A,在步骤320中,机器视觉系统针对该图像确定合适的运行时间平滑化和向下采样。通过确保合理的匹配分数被获得,来执行平滑化从而能够使搜索方法稳定。
在步骤325中,产生对准掩模,该对准掩模只包括那些对准效果显著的团块。作为说明,可以产生多个对准掩模,不同的掩模专用于某些对准工具和/或技术。图4A是根据本发明一说明性实施例的圆形球的示例性对准掩模的示意图。图4B是根据本发明一说明性实施例的椭圆形球的示例性对准掩模的示意图。图4C是根据本发明一说明性实施例的非圆形球的示例性对准掩模的示意图。一旦对准掩模被产生,在步骤330中,所产生的掩模被用于训练一个或多个对准工具。例如,这种对准工具可以包括标准化的相关工具、基于小边沿的工具等。
然后,过程300A在步骤335中完成了。作为说明,过程300A通过只关注部件的对准效果显著的区域来训练机器视觉系统。这减小了复杂性,并增大了在运行期间可以对准各种部件的速度。
图3B是根据本发明一说明性实施例的流程图,该流程图详细描述了用于执行机器视觉系统的训练的过程300B的步骤。过程300B始于步骤305并继续到步骤340,其中几何模型被输入到该机器视觉系统中。作为说明,例如,该几何模型可以包括待检查的BGA器件的计算机辅助设计(CAD)模型。然后,该机器视觉系统在步骤315中从该几何模型中识别出对准效果显著的团块。接下来,在步骤320中,确定用于运行时间平滑化和向下采样的参数。然后,在步骤345中,使用该几何模型产生了合成图像。然后,在步骤325中,产生了对准掩模。然后,在步骤330中,使用所产生的对准掩模和合成图像来训练上述对准工具。然后,过程300B在步骤335中完成了。
D.焊接球组
图7是根据本发明一说明性实施例的流程图,该流程图详细描述了用于建立候选焊接球组以备检查的过程700的步骤。过程700始于步骤705并继续到步骤710,其中BGA器件的几何模型被输入到说明性的机器视觉系统中。作为说明,这可以是待检查的BGA器件的CAD模型。这可以是通过使用常规计算机输入技术被输入到机器视觉系统中以便于分析。响应于该几何模型的输入,在步骤715中,机器视觉系统分析多个球位置以识别出该BGA器件之内的候选焊接球组。作为说明,候选焊接球组被识别成那些共享一个共同的图案的球的组。例如,候选焊接球组可以包括那些具有相同的大小、形状和栅格对准的焊接球。这被示出在示例性的图8中,图8是根据本发明一说明性实施例的示例性候选焊接球组的示意图。作为说明,对于器件800,机器视觉系统具有已识别出多个组。第一组805包括那些具有第一设置图案和尺寸的球。第二组810包括那些具有第二图案和尺寸的球。各个组815A-G中的每一个与没有可识别的图案的单个球相关联。
一旦在步骤715中已识别出候选焊接球组,它们就在步骤720中被显示给用户。在步骤725中,用户可以使用图形用户界面(GUI)和/或其它形式的用户界面来修改候选焊接球组边界。作为说明,用户可以接受某些候选的组,但修改其它的组。例如,如果用户想让所有来自上述的组815A-G中的球都在单个组中,则该用户可以将各个组修改成单个组,正如图9所示那样。图9是根据本发明一说明性实施例的示例性的经修改的球的分组的示意图。
一旦该用户已设置好各种组边界,则该用户可以接下来在步骤730中为每一个组设置各种参数。例如,这些参数可以包括待检查的项、与各个项相关联的阈值等。上述过程随后在步骤735中结束。
E.对准与检查
图10是根据本发明一说明性实施例的流程图,该流程图详细描述了在运行期间对多个器件进行高速对准与检查的过程100的步骤。过程100始于步骤1005并继续到步骤1010,其中捕获了该器件的图像。作为说明,该图像是使用捕获器件105来捕获的。然后,在步骤1015中,所捕获的图像被平滑化且被向下采样。作为说明,这种平滑化和向下采样是使用训练期间所定义的参数值进行的。在本发明的一说明性实施例中,平滑化和向下采样参数是基于所提取的团块的中值最近邻距离。
在步骤1020中,执行该图像的粗略的对准。然后,在步骤1025中,执行该图像的精细的对准。在本发明的备选实施例中,粗略与精细对准步骤1020、1025可以被组合成单个对准步骤。作为说明,通过使用常规机器视觉技术且仅掩盖了对准效果显著的区域,来实现上述粗略与精细对准步骤1020、1025。这能使上述对准技术按足够大的速度来操作从而满足生产要求并且提供必要的准确度。应该注意到,在本发明的说明性实施例中,粗略对准步骤1020是使用标准化的相关技术来执行的,而精细对准步骤1025则使用了基于小边沿的匹配技术。这样,关于使用相同技术的粗略与精细对准步骤的描述应该被视为仅是示例性的。
然后,在步骤1030中,机器视觉系统使用精细对准信息从该图像中提取每一个球。在步骤1035中,对于每一个所提取的球,该机器视觉系统接下来执行检查。作为说明,每一个球被单独地检查。通过使用由用户针对与该球相关联的合适的组而设置的检查项和阈值,来检查每一个球。例如,示例性的检查项包括:准确的球位置;位置误差;球尺寸与尺寸误差;到近邻的距离;距离误差;图像内的强度和/或对比度;以及对球的整体外观和形状进行评分的度量。
然后,在步骤1040中,通过使用所有提取出的焊接球的已知位置,使这种对准更精准。与仅使用对准效果显著的球的情况相比,通过使用所有提取出的球,通常可以获得更准确的对准。一旦基于上述对准信息的所有的焊接球都已被提取出且被检查过,则接下来在步骤1045中从该图像中掩盖那些球并且任何额外的球的检测被执行。这些额外的球也按上述那样被检查。
然后,在步骤1050中,对准与检查的结果被输出。过程1000接下来在步骤1055中就完成了。
上面的描述涉及到本发明的特定实施例。然而,很明显,可以对所描述的实施例作出其它改变和修改,同时获得这些改变和修改的优点中的某些或全部。另外,上文所描述的诸多过程、处理和/或模块可以被实现在硬件、软件(具体实现成具有程序指令的计算机可读介质)、固件及其组合中。因此,权利要求书的目的在于覆盖落在本发明的真实精神和范围中的所有这些改变与修改。

Claims (17)

1.一种用于为球栅阵列器件生成对准掩模的方法,所述方法包括:
从所述球栅阵列器件的几何模型中提取一个或多个团块;
识别一个或多个对准效果显著的团块,其中当图案在各种方向上移动时,所述一个或多个对准效果显著的团块不会被误认作相邻团块;以及
使用所述一个或多个对准效果显著的团块来产生所述对准掩模。
2.如权利要求1所述的方法,其特征在于,还包括:
利用所产生的对准掩模来训练机器视觉系统以操作。
3.如权利要求1所述的方法,其特征在于,
所述对准掩模利用多个不同尺寸的掩模来容纳具有不同尺寸的对准效果显著的团块。
4.如权利要求1所述的方法,其特征在于,
所述对准掩模利用多边形掩模来容纳非圆形的团块。
5.如权利要求1所述的方法,其特征在于,
所产生的对准掩模被用于标准化的相关搜索。
6.如权利要求1所述的方法,其特征在于,
识别对准效果显著的团块进一步包括:
识别在预定的阈值角度之内没有相邻团块的一组团块。
7.如权利要求1所述的方法,其特征在于,
所述团块表示在所述器件上非均匀地对准的焊接球。
8.一种用于为球栅阵列器件生成对准掩模的方法,所述方法包括:
从所述球栅阵列器件的几何模型中提取一组灰度级团块;
从所提取的这组灰度级团块中识别一组对准效果显著的团块,其中当图案在各种方向上移动时,所述一个或多个对准效果显著的团块不会被误认作相邻团块;以及
使用所述一组对准效果显著的团块中的至少一个来产生所述对准掩模。
9.一种用于检查球栅阵列器件的方法,所述方法包括:
捕获所述器件的图像;
对所捕获的图像执行对准操作以产生对准信息;
使用所述对准信息从所述图像中提取多个球中的至少一个;以及
对于每一个所提取的球,使用与多个组中的一个组相关联的参数组来执行检查;
其中在机器视觉训练期间,将所述器件的几何模型的每一个球分配到所述多个组中的一个组;以及
对于所述多个组中的每一个组,设置所述参数组。
10.如权利要求9所述的方法,其特征在于,
所述参数组包括检查项的列表。
11.如权利要求9所述的方法,其特征在于,
所述参数组包括阈值组。
12.如权利要求9所述的方法,其特征在于,
所提取的球中的至少一个是非圆形的。
13.如权利要求9所述的方法,其特征在于,
所提取的球中的至少一个具有第一尺寸,并且所提取的球中的至少一个具有第二尺寸。
14.如权利要求9所述的方法,其特征在于,
所提取的球中的至少一些不是按栅格对准的。
15.如权利要求9所述的方法,其特征在于,还包括:
使用所检查的球中的一个或多个以使通过执行对准操作而获得的对准信息更精准。
16.如权利要求9所述的方法,其特征在于,还包括:
检测在所述器件的模型中未被识别的一个或多个额外的球;以及
检查所述一个或多个额外的球。
17.一种用于为球栅阵列器件生成对准掩模的设备,所述设备包括:
用于从所述球栅阵列器件的几何模型中提取一组灰度级团块的装置;
用于从所提取的这组灰度级团块中识别一组对准效果显著的团块的装置,其中当图案在各种方向上移动时,所述一个或多个对准效果显著的团块不会被误认作相邻团块;以及
用于使用所述一组对准效果显著的团块中的至少一个来产生所述对准掩模的装置。
CN201080050575.4A 2009-11-05 2010-11-04 用于球栅阵列器件的对准与检查的系统和方法 Active CN102656606B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/612,793 2009-11-05
US12/612,793 US8428339B2 (en) 2009-11-05 2009-11-05 System and method for alignment and inspection of ball grid array devices
PCT/US2010/002895 WO2011056219A1 (en) 2009-11-05 2010-11-04 System and method for alignment and inspection of ball grid array devices

Publications (2)

Publication Number Publication Date
CN102656606A CN102656606A (zh) 2012-09-05
CN102656606B true CN102656606B (zh) 2016-06-01

Family

ID=43495365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080050575.4A Active CN102656606B (zh) 2009-11-05 2010-11-04 用于球栅阵列器件的对准与检查的系统和方法

Country Status (5)

Country Link
US (1) US8428339B2 (zh)
JP (1) JP5778685B2 (zh)
CN (1) CN102656606B (zh)
DE (1) DE112010004292B4 (zh)
WO (1) WO2011056219A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544836B2 (en) * 2021-03-18 2023-01-03 Inventec (Pudong) Technology Corporation Grid clustering-based system for locating an abnormal area of solder paste printing and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
CN1287643A (zh) * 1998-01-16 2001-03-14 埃尔温·M·贝蒂 电子组件的三维检测方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446960A (en) * 1994-02-15 1995-09-05 International Business Machines Corporation Alignment apparatus and method for placing modules on a circuit board
US5983477A (en) * 1995-10-13 1999-11-16 Jacks; David C. Ball grid array rework alignment template
US5978502A (en) * 1996-04-01 1999-11-02 Cognex Corporation Machine vision methods for determining characteristics of three-dimensional objects
US5710063A (en) * 1996-06-06 1998-01-20 Sun Microsystems, Inc. Method for improving the alignment of holes with other elements on a printed circuit board
US5796590A (en) * 1996-11-05 1998-08-18 Micron Electronics, Inc. Assembly aid for mounting packaged integrated circuit devices to printed circuit boards
US6177682B1 (en) * 1998-10-21 2001-01-23 Novacam Tyechnologies Inc. Inspection of ball grid arrays (BGA) by using shadow images of the solder balls
US6444563B1 (en) * 1999-02-22 2002-09-03 Motorlla, Inc. Method and apparatus for extending fatigue life of solder joints in a semiconductor device
US7139421B1 (en) * 1999-06-29 2006-11-21 Cognex Corporation Methods and apparatuses for detecting similar features within an image
IL131282A (en) * 1999-08-05 2009-02-11 Orbotech Ltd Apparatus and methods for inspection of objects
JP4389096B2 (ja) * 2000-09-22 2009-12-24 澁谷工業株式会社 ボール検査方法及び検査装置
US7340076B2 (en) * 2001-05-10 2008-03-04 Digimarc Corporation Digital watermarks for unmanned vehicle navigation
US6991960B2 (en) * 2001-08-30 2006-01-31 Micron Technology, Inc. Method of semiconductor device package alignment and method of testing
US7117469B1 (en) * 2001-11-28 2006-10-03 Magma Design Automation, Inc. Method of optimizing placement and routing of edge logic in padring layout design
US7055112B2 (en) * 2001-12-28 2006-05-30 Electro Scientific Industries, Inc. Method for automatically defining a part model for semiconductor components
JP4706366B2 (ja) * 2005-07-22 2011-06-22 株式会社テクノホロン 位置検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
CN1287643A (zh) * 1998-01-16 2001-03-14 埃尔温·M·贝蒂 电子组件的三维检测方法和设备

Also Published As

Publication number Publication date
JP5778685B2 (ja) 2015-09-16
DE112010004292B4 (de) 2021-12-16
JP2013510366A (ja) 2013-03-21
US20110103678A1 (en) 2011-05-05
CN102656606A (zh) 2012-09-05
US8428339B2 (en) 2013-04-23
WO2011056219A1 (en) 2011-05-12
DE112010004292T5 (de) 2013-01-10

Similar Documents

Publication Publication Date Title
JP6922168B2 (ja) 表面実装ラインの品質管理システム及びその制御方法
Wu et al. An inspection and classification method for chip solder joints using color grads and Boolean rules
JP4935109B2 (ja) 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
US9639781B2 (en) Systems and methods for classification and alignment of highly similar or self-similar patterns
JP2011191312A (ja) 画像処理装置
Li et al. Automatic industry PCB board DIP process defect detection with deep ensemble method
CN101467056B (zh) 半导体不良分析装置及方法
Ozturk et al. Detection of PCB soldering defects using template based image processing method
Huang et al. Deep learning object detection applied to defect recognition of memory modules
CN102656606B (zh) 用于球栅阵列器件的对准与检查的系统和方法
Piliposyan et al. Computer vision for hardware trojan detection on a PCB using siamese neural network
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
Zhang et al. An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network
Wang et al. Assembly defect detection of atomizers based on machine vision
CN110274911B (zh) 图像处理系统、图像处理装置、存储介质
JP7215218B2 (ja) 分光検査方法、画像処理装置、及びロボットシステム
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN104677906A (zh) 影像信息检测方法
JP7404017B2 (ja) 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体
Nahar et al. Computer aided system for inspection of assembled PCB
Xiang Industrial automatic assembly technology based on machine vision recognition
They An investigation on smartphone based machine vision system for inspection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Massachusetts, USA

Applicant after: Cognex Corp

Address before: Massachusetts, USA

Applicant before: Cognex Corp.

C14 Grant of patent or utility model
GR01 Patent grant