CN101711105B - 借助于图像处理系统测量和检查对象的方法 - Google Patents

借助于图像处理系统测量和检查对象的方法 Download PDF

Info

Publication number
CN101711105B
CN101711105B CN200910008798.3A CN200910008798A CN101711105B CN 101711105 B CN101711105 B CN 101711105B CN 200910008798 A CN200910008798 A CN 200910008798A CN 101711105 B CN101711105 B CN 101711105B
Authority
CN
China
Prior art keywords
measuring process
feature group
measurement
image processing
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910008798.3A
Other languages
English (en)
Other versions
CN101711105A (zh
Inventor
托马斯·施内肯布格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASMPT GmbH and Co KG
Original Assignee
ASM Assembly Systems GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASM Assembly Systems GmbH and Co KG filed Critical ASM Assembly Systems GmbH and Co KG
Publication of CN101711105A publication Critical patent/CN101711105A/zh
Application granted granted Critical
Publication of CN101711105B publication Critical patent/CN101711105B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35084Geometric feature extraction, concave and convex regions, object recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Abstract

借助图像处理系统测量和检查对象、特别是自动装配机中电子元件的方法。为待测量的对象生成几何模型,通过该模型,对象的外部表现形式借助特征组、例如角、棱、引线或引线列、插头、定心销的数量和/或位置等描述。除了几何模型外,限定测量过程,其中该测量过程包括至少两个测量步骤。每个测量步骤涉及对象的至少一个拍摄图像和对象的至少一个特征组。可选地,测量过程的一个测量步骤也可涉及至少一个之前的测量步骤的至少一个结果。因为对象的测量和检查过程通过测量过程进而与几何模型分开描述,所以能以简单方式限定复杂的测量过程,由该过程在必要时也可访问之前的测量步骤的结果。由此在测量对象、特别是元件时可快速和灵活地适应新的要求。

Description

借助于图像处理系统测量和检查对象的方法
技术领域
本发明涉及一种用于借助于图像处理系统测量和检查对象、特别是自动装配机中电子元件的方法,其中为待测量和检查的对象生成几何模型。该对象具有不同的特征组(例如在电子元件中的角、棱、引线、标志、定心销等),随后其由各自的几何模型描述。然而,特征组具有不同的特性并因此具有不同的测量要求。
背景技术
在为元件载体(例如印制电路板)装配元件时使用所谓的自动装配机。在此,通常由元件供给装置在确定的拾取位置处提供元件和从那里由装配头拾取元件。装配头可借助于定位系统在工作区域内部自由地定位。在拾取后,由装配头将元件传送至装配位置且在预定的插装位置处放置在待装配的元件载体上,该插装位置由相应的电连接面来限定。
由于电子元件越来越微型化,精确的装配过程只有通过对由装配头所捡取的对象或者说元件的精确的测量和检查才可以实现。在此,对象或者说元件具有特征或者说特征组(例如角、棱、元件引线、定心销、标志等),由该特征或者说特征组来给出关于元件的类型和地点或者说位置的说明。
为了在自动装配机中进行对象、特别是元件的测量和检查通常使用图像处理系统。在此,为了进行测量和检查,由装配头所拾取的对象或者说电子元件由装置头或由相应的保持装置相对于图像处理系统的照相机(例如元件照相机)这样定位,即要测量和检查的对象处在照相机的可视范围中。真正的测量和检查-和因此也包括对象或者说元件以及其位置的识别-随后借助于图像处理过程由图像处理系统实现。
对于精确的和可靠的-也就是很少出现故障情况的-在自动装配机中的元件的识别和测量来说所常用的是,在所谓的几何模型中详细地来描述对象、例如电子元件的几何形状。随后,由图像处理系统将这种几何模型应用于识别、测量和检查元件,以测定例如在多个单独的步骤或拍摄图像中的特征组(例如角、棱、引脚、引线球、定心销等)的相对位置且由此确保了安全的和精确的装配过程。
然而单独的特征组(例如角、棱、引脚、引线球、定心销等)具有对于由图像处理系统进行测量和检查的不同的特性和要求。所以例如定心销通常仅很少从元件本体突出,由此其相对位置难以测定。因此,定心销例如很难适用于元件的粗略位置的确定。另一方面,虽然例如引脚或引线列的相对位置进而元件的粗略位置可简单地确定,但是这种特征组-特别是由于其公差-不适用于元件的精确的位置确定。
因此迄今为止所尝试的是,通过几何模型这样来描述对象或者说元件的几何形状,即元件可通过在自动装配机中预定的过程良好地得到处理。文献EP 1282350B1公开了一种在测量和检查时需要考虑到元件的特征组的不同特性的方式。在此,为特征组、例如角、棱、引脚/引线球、引线列、定心销等分配关于用于位置确定的权重(Gewichtung)的标志。所以例如在元件的引脚中,为纵向方向上的相对位置分配比横向方向上的相对位置更小的权重,这是因为例如纵向方向上的引脚的公差更大。然而在此已经证明为不利是,即关于权重的标志进而对于位置确定的调节仅受到各自的特征组的约束。因此特别不可能的是,在自动装配机中实现用于元件的测量和检查的过程或由图像处理系统进行位置确定-例如测量的连续性的过程、测量的并行执行等。
发明内容
所以本发明的目的在于提出一种方法,通过该方法能够以灵活的方式实现用于对象的测量和检查的复杂的过程。
该目的通过开头所述类型的方法来实现,其中除了对象的几何模型之外,还限定测量过程。在此,测量过程包括至少两个测量步骤且每个测量步骤至少涉及要测量和要检查的对象的一个拍摄图像和对象的至少一个特征组。
根据本发明所提出的方法的主要方面在于,除了对象(例如电子元件)的几何模型之外,还限定测量过程,通过该测量过程可以以简单和灵活的方式限定复杂的过程(例如测量的连续性的或并行的执行等)以用于测量-例如特征组的相对位置-。
选择性地,除了测量过程的测量步骤之外,也可涉及至少一个之前的测量步骤的至少一个结果,因此通过测量过程也可将之前的测量步骤的结果一并考虑到对象的经确定的特征组(例如电子元件的定心销)的测量和检查中。在此,当为测量过程的每个测量步骤确定了以何种方式可将对象或者说元件的特征组的测量和检查与至少一个之前的测量步骤的至少一个结果组合在一起时,则在此这是有利的。由此,例如可以更快速地找出难以找到的特征组,例如定心销的位置,该定心销例如仅略微从元件的表面突出,或者例如可以更快速地识别出要测量的元件。
当在测量过程的测量步骤中测量和检查了对象的至少一个特征组(例如引脚、引线列等)时,则这是有利的。随后这个测量步骤的结果可以以理想的方式应用在测量过程的至少一个后续的测量步骤中。因此例如可以首先测量引脚或引线列,它的例如在图像处理系统的拍摄图像中的位置可以容易地测得。随后在另一个测量步骤中例如使用引脚或引线列的所测得的位置,以便以简单和快速的方式确定例如在元件上的定心销的位置。
在此,根据本发明的方法的一个有效的改进方案提出,测量过程作为特别的数据模型存储并且与对象的几何模型分开管理。由此可确定用于对象的测量和检查的主要的复杂过程和可以例如基于用户要求来快速地实施测量过程的调整。此外也存在这种可能性,即确定例如是用户定制的或用于特殊元件的特殊的过程。
当对象的特征组的权重在测量过程中存储时,则这是有利的,这是因为以这种方式可以实施简单的变动或调整。当将几何尺寸、角、棱、单个的引线和/或引线列的数量和/或位置、定心销的位置和/或所谓的插脚标志的位置应用作为对象的待测量的特征组时,则在此这是有利的。
适宜地,对于不同类型的图像处理系统或传感器(例如照相机、行扫描相机、扫描仪等)存储和应用不同的、适用于各自的图像处理系统的测量过程。由此可以使根据本发明的方法快速和灵活地适合于各自的自动装配机的现实条件或适合于所应用的图像处理系统。
附图说明
以下示例性地根据附图1来说明本发明,在附图中示意性地示出了用于测量和检查对象、特别是自动装配机中电子元件的方法的过程。
具体实施方式
图1示例性地和示意性地示出了用于电子元件BE的几何模型MOD,该模型在第一步骤1中生成并由图像处理系统在自动装配机中例如用于对象的识别、测量等。由几何模型MOD按照示例性的特征组MG1,MG2和MG3来描述电子元件BE,其中由几何模型MOD可描述元件BE的部分区域或整个元件BE。在此,特征组MG1,MG2,MG3例如包括元件特征和/或该元件特征的相对位置,例如引脚、引线列AR1,AR2、元件引线球、元件BE的角和/或棱、定心销ZS等。
在图1中,在几何模型MOD中根据引线列AR1,AR2和定心销ZS或它们的相对位置而描述了示例性的元件BE。在此,特征组MG1和MG2包括元件BE的各自的引线列AR1和AR2或它们的位置。特征组MG3描述了定心销ZS或它的位置和数量。自然地,几何模型MOD可包括多于所举例的特征组MG1,MG2,MG3,以便详细描述元件BE以用于测量和检查。
在第二步骤2中,除了几何模型MOD之外,还限定测量过程MA,在该过程中确定至少两个或更多的测量步骤MS1,MS2。在此,测量过程MA作为与几何模型MOD分开的数据模型存储和管理。在测量过程MA中或者说通过测量步骤MS1,MS2而可考虑特征组MG1,MG2,MG3的不同的特性和测量要求。所以例如引线列AR1,AR2与仅很少地从元件BE的本体光学地突出的定心销ZS相比可以更容易地借助于图像处理系统来识别。这同样也可以是必需的,即对于确定的特征组MG1,MG2,MG3(例如标志)的测量必须使用不同的照度值和从而对于该特征组MG1,MG2,MG3必须生成多个拍摄图像BA1,BA2。甚至存在这种可能性,即在自动装配机中限定多个测量过程以用于例如不同的图像处理系统。
在第三步骤3a和3b中,对于每个测量步骤MS1,MS2产生对于元件BE的几何模型MOD的至少一个特征组MG1,MG2,MG3的基准。
在另一第四步骤4a,4b中,在元件BE的至少一个拍摄图像BA1,BA2或一个特征组MG1,MG2,MG3与测量过程的一个或多个测量步骤MS1,MS2之间产生基准。在此,拍摄图像BA1,BA2示例性地利用图像处理系统的照相机或扫描仪生成。在此,也可将多个拍摄图像BA1,BA2分配给测量步骤MS1,MS2,该拍摄图像对于元件BE的测量和检查或对于确定的特征组MG1,MG2,MG3是必需的。
另外选择性地存在这种可能性,即在第五步骤5中确定,由测量步骤MS1,MS2应用至少一个之前的测量步骤MS1,MS2的至少一个结果ERG1,ERG2,以便在第六步骤6中获得结果ERG1,ERG2。
在当前的根据图1的示意性的实施例中,在测量过程MA的第一测量步骤MS1与特征组MG1和MG2之间的第三步骤3a的第一部分中产生基准,由该特征组描述了元件的引线列AR1和AR2或其相对位置。在第三步骤3b的第二部分中在测量过程MA的第二测量步骤MS2与特征组MG3之间产生基准,由该特征组描述了定心销ZS或其位置。
随后在第四步骤4a,4b中,将元件BE的相应的第一拍摄图像BA1分配给第一测量步骤MS1和将相应的第二拍摄图像BA2分配给第二测量步骤MS2,该拍摄图像分别对于元件BE的测量和检查是必需的。附加地,在第二测量步骤MS2中利用这种选择性的可能性,即在第五步骤5中分配结果ERG1-例如根据特征组MG1,MG2或根据引线列AR1,AR2和第一拍摄图像BA1所测得的元件BE的大概位置-。
因此可以在测量过程MA进行时首先在第一测量步骤MS1中确定例如引线列AR1,AR2的相对位置和因此可以基于第一拍摄图像BA1而确定元件BE的大概位置(例如在一个保持装置处)。随后,这个大概位置作为第一测量步骤MS1的结果ERG1例如由第二测量步骤MS2基于第二拍摄图像BA2而应用于寻找或确定描述了定心销ZS的特征组MG3的相对位置。随后,例如定心销ZS的相对位置保存为测量步骤MS2的结果ERG2。
测量过程自然地可包括多于这两个示例性的测量步骤MS1,MS2。在每个测量步骤MS1,MS2中可以以简单的方式确定,特征组MG1,MG2,MG3、拍摄图像BA1,BA1和必要时也有结果ERG1,ERG2是如何组合在一起的。在此,拍摄图像BA1,BA2和/或必要时也有测量步骤MS1,MS2的结果ERG1,ERG2可以由一个或多个测量步骤MS1,MS2使用。测量步骤MS1,MS2也可具有用于元件BE的测量的一个或多个特征组MG1,MG2,MG3的基准。

Claims (9)

1.一种用于借助于图像处理系统测量和检查对象(BE)方法,其中为待测量的对象(BE)生成几何模型(MOD)(1),由所述模型以特征组(MG1,MG2,MG3)的形式来描述所述对象(BE),其特征在于,除了所述对象(BE)的所述几何模型(MOD)之外,限定测量过程(MA)(2),其中,所述测量过程(MA)包括至少两个测量步骤(MS1,MS2)并且对于每个测量步骤(MS1,MS2)产生对于所述对象(BE)的至少一个拍摄图像(BA1,BA2)或所述对象(BE)的至少一个特征组(MG1,MG2,MG3)的基准,其中,所述对象(BE)的所述特征组(MG1,MG2,MG3)的权重在所述测量过程(MA)中存储(2)。
2.根据权利要求1所述的方法,其特征在于,所述对象是自动装配机中的电子元件。
3.根据权利要求1所述的方法,其特征在于,为所述测量过程(MA)的至少一个测量步骤(MS1,MS2)限定将所述对象(BE)的特征组(MG1,MG2,MG3)的测量与至少一个之前的测量步骤(MS1)的至少一个结果(ERG1)结合在一起(5)的方式。
4.根据权利要求3所述的方法,其特征在于,在所述测量过程(MA)的第一测量步骤(MS1)中测量对象(BE)的至少一个特征组(MG1,MG2),以及随后在所述测量过程(MA)的至少一个后续的测量步骤(MS2)中应用所述第一测量步骤(MS1)的所述结果(ERG1)(5)。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述测量过程(MA)作为特别的数据模型存储并且与所述对象(BE)的所述几何模型(MOD)分开管理。
6.根据权利要求1至4中任一项所述的方法,其特征在于,将几何尺寸、角、棱、单个的引线和/或引线列(AR1,AR2)的数量和/或位置、定心销(ZS)的位置和/或所谓的插脚标志的位置应用作为对象(BE)的待测量的特征组(MG1,MG2,MG3)(1)。
7.根据权利要求5所述的方法,其特征在于,将几何尺寸、角、棱、单个的引线和/或引线列(AR1,AR2)的数量和/或位置、定心销(ZS)的位置和/或所谓的插脚标志的位置应用作为对象(BE)的待测量的特征组(MG1,MG2,MG3)(1)。
8.根据权利要求1至4中任一项所述的方法,其特征在于,对于不同类型的图像处理系统存储和应用不同的、适用于各自的图像处理系统的测量过程(MA)(2)。
9.根据权利要求7所述的方法,其特征在于,对于不同类型的图像处理系统存储和应用不同的、适用于各自的图像处理系统的测量过程(MA)(2)。
CN200910008798.3A 2008-09-04 2009-09-04 借助于图像处理系统测量和检查对象的方法 Expired - Fee Related CN101711105B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008045928.3 2008-09-04
DE200810045928 DE102008045928A1 (de) 2008-09-04 2008-09-04 Verfahren zum Vermessen und Inspizieren von Objekten mittels eines Bildverarbeitungssystems

Publications (2)

Publication Number Publication Date
CN101711105A CN101711105A (zh) 2010-05-19
CN101711105B true CN101711105B (zh) 2015-08-05

Family

ID=41650708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910008798.3A Expired - Fee Related CN101711105B (zh) 2008-09-04 2009-09-04 借助于图像处理系统测量和检查对象的方法

Country Status (3)

Country Link
EP (1) EP2169461A3 (zh)
CN (1) CN101711105B (zh)
DE (1) DE102008045928A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036464A2 (en) * 2003-10-08 2005-04-21 Applied Materials Israel, Ltd. A measurement system and a method
US7171036B1 (en) * 2002-05-22 2007-01-30 Cognex Technology And Investment Corporation Method and apparatus for automatic measurement of pad geometry and inspection thereof
DE102007005386A1 (de) * 2007-02-02 2008-08-07 Siemens Ag Erkennung eines elektronischen Bauelementes mittels alternativen Merkmalsvarianten

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1282350B1 (en) 2001-07-20 2006-04-26 Hitachi High-Tech Instruments Co., Ltd. Electronic component mounting apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171036B1 (en) * 2002-05-22 2007-01-30 Cognex Technology And Investment Corporation Method and apparatus for automatic measurement of pad geometry and inspection thereof
WO2005036464A2 (en) * 2003-10-08 2005-04-21 Applied Materials Israel, Ltd. A measurement system and a method
DE102007005386A1 (de) * 2007-02-02 2008-08-07 Siemens Ag Erkennung eines elektronischen Bauelementes mittels alternativen Merkmalsvarianten

Also Published As

Publication number Publication date
CN101711105A (zh) 2010-05-19
EP2169461A2 (de) 2010-03-31
EP2169461A3 (de) 2011-06-22
DE102008045928A1 (de) 2010-03-11

Similar Documents

Publication Publication Date Title
JP7122524B2 (ja) 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
US10674651B2 (en) Printed circuit board inspecting apparatus, method for determining fault type of screen printer and computer readable recording medium
EP3038444B1 (en) Substrate inspecting method and substrate inspecting system using same
CN104837302B (zh) 品质管理系统以及内部检查装置
CN107429991B (zh) 外观检查装置及外观检查方法
CN105074439A (zh) 利用印刷检查装置的不良原因的估计(分类)方法
JP2008185514A (ja) 基板外観検査装置
CN113014816A (zh) 飞拍拍摄触发点的确定方法和装置
KR101132779B1 (ko) 검사방법
CN105164522B (zh) 部件安装基板检查方法以及采用该检查方法的基板制造系统
KR101121992B1 (ko) 실장 검사 데이터 형성방법, 이를 저장한 저장매체 및 이를 이용하는 검사장치
US9743527B2 (en) Stencil programming and inspection using solder paste inspection system
JP2005128016A (ja) 検査システムおよび方法
CN109425327B (zh) 检查系统和检查用图像的修正方法
CN113310997A (zh) Pcb板缺陷确认方法、装置、自动光学检测设备及储存介质
CN101711105B (zh) 借助于图像处理系统测量和检查对象的方法
CN113034427B (zh) 图像识别方法及图像识别装置
CN111752457A (zh) 检查数据输出设备、显示系统和检查数据输出方法
WO2015118997A1 (ja) 品質管理システム
JP7448655B2 (ja) 検査データ作成方法、検査データ作成装置および検査装置
JP2007327824A (ja) 端子リード検査方法
KR101444258B1 (ko) 기판 검사 시의 보상 매트릭스의 유효성 판단 방법
WO2022157995A1 (ja) 検査管理システム、検査管理装置、検査管理方法、及びプログラム
KR102005345B1 (ko) 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법
KR20110088943A (ko) 3차원 형상 검사방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150805

Termination date: 20170904

CF01 Termination of patent right due to non-payment of annual fee