CN115210664A - 用于控制对物品的自动检查的系统和方法 - Google Patents

用于控制对物品的自动检查的系统和方法 Download PDF

Info

Publication number
CN115210664A
CN115210664A CN202180016650.3A CN202180016650A CN115210664A CN 115210664 A CN115210664 A CN 115210664A CN 202180016650 A CN202180016650 A CN 202180016650A CN 115210664 A CN115210664 A CN 115210664A
Authority
CN
China
Prior art keywords
data
inspection
interest
control system
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180016650.3A
Other languages
English (en)
Inventor
亚历山大·舒尔曼
叶夫根尼·莱文
拉恩·萨希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sarkard Vision GmbH
Original Assignee
Sarkard Vision GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sarkard Vision GmbH filed Critical Sarkard Vision GmbH
Publication of CN115210664A publication Critical patent/CN115210664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32186Teaching inspection data, pictures and criteria and apply them for inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32368Quality control
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

公开了用于检查具有一种或更多种类型的多个特征的物品的技术。指示一个或更多个选定的感兴趣特征的输入数据被用于由通过相关联的成像配置数据表征的给定检查系统进行的检查。分析输入数据以提取关于一个或更多个检查任务的信息,以及生成检查计划数据,以用作给定检查系统根据一个或更多个检查任务提供测量数据的操作的配方数据。可以从数据库系统中检索与检查任务数据相对应的选定检查模式数据,并且可以利用选定检查模式数据来生成检查计划数据。

Description

用于控制对物品的自动检查的系统和方法
技术领域
本发明属于自动检查技术领域,且涉及用于管理对物品的检查的方法和系统,该方法和系统特别适用于对在生产线上行进的物品的检查。
背景
现代工业自动化在很大程度上依赖于机器视觉。机器视觉在工业自动化中包括诸如以下应用:定位引导(引导工业机器人进行拾取和放置操作、拧螺钉、焊接、分发等)、测量(间隙、尺寸、半径、角度)和检查(部件存在、各种缺陷检测、边缘质量、表面质量等)。
机器视觉在大多数工业应用中是一项重复性的任务。例如,数以百万计的移动电话或汽车是由相同的部件制成的,这些部件(根据预定义的公差)需要是相同的,以确保最终产品的质量。因此,工业机器视觉系统通常是在新产品(电话或汽车)从设计阶段进入大规模制造阶段时设置的。在大规模生产过程中,工业机器视觉系统一个周期又一个周期地执行相同的操作。为了确保完美的制造操作和高质量的产品,这些机器视觉系统必须证明鲁棒性:在各种检查/测量条件、环境条件下,以及在不断变化的工艺参数下,提供准确和可重复的结果。
概述
本领域中需要一种新颖的方法来用于物品/对象检查,特别是对于具有不同类型的多个特征/元件的复杂物品,以便能够有效地自动检查/测量,且期望减少检查时间并期望减少不必要数据的收集,同时提供高度可靠的信息,从而减少进一步的“人工”验证。此外,本领域需要消除或至少显著减少对设计特定/专用检查技术来检查不同类型的特征的需要。
考虑了通过基于辐射的技术对物品进行检查(将辐射施加到物品上的区域并检测所述区域的辐射响应),这些应用的鲁棒性取决于多个因素,例如照射、被检测对象的反射率、需要执行的视觉任务等。因此,需要机器视觉应用专家执行繁琐的应用设置过程,以确保在各种条件下的精度和鲁棒性。在现代制造环境中,由非专家快速、简单和稳健地实现机器视觉应用对于短时间上市和盈利至关重要。
由于产品、材料等种类繁多,工业机器视觉设置需要定制化,因此,快速且稳健地实现机器视觉应用对于短时间上市至关重要。工业自动化生产线的集成商需要机器视觉解决方案允许自动化工程师(而不是机器视觉专家)的简单集成,消除对特殊编程技能或自定义算法开发的要求,同时提高解决方案的精度并增加鲁棒性。
目前的机器视觉解决方案利用2D相机和各种深度感测技术(3D相机、激光轮廓仪(laser profiler)等),而2D相机无法提供高度信息,以及由二维像素阵列提供的图像数据不能容易地转换为计量单位(毫米),因为需要额外的校准程序。此外,由2D相机获得的图像数据受由高度地形造成的阴影的影响(例如,阴影被错误地识别为边缘,或者在图像中先前已知的特征由于阴影而未被察觉到)。颜色的变化也给2D相机造成巨大挑战。为了在2D相机中获得鲁棒性能,需要一些特殊的编程/图像处理技能。
工业3D相机大多采用结构光:3D表面通过结构光照射(光图案的投影),并且成像传感器(相机)获取在结构光照射下的这种3D表面的图像。这样的光图案呈现二进制编码掩模。由相机捕获的图像相应地变化,且因此,基于成像到相机上的结构光图案与未失真的投影图案相比的失真,可以确定表面的3D几何形状。3D相机固有地(以点云或高度图(heightmap)的形式)生成高度信息。它们有“内置”校准(基线),并以计量单位(例如mm)提供信息。然而,要实现表面的高空间分辨率,需要使用大量顺序施加的光图案。这导致3D图像获取过程的整个持续时间可能太长,并且因此对于工业应用,即对在生产线上行进的物品的检查,是不切实际的。
为了减少获得高分辨率3D图像所需的光图案的数量,提出了使用灰度级图案。然而,与上述光图案的二进制码相比,这样的灰度图案更容易受到强度噪声和系统非线性的影响。
另一种类型的已知技术利用基于相移的条纹投影进行3D表面成像,即,将一组正弦图案投影到对象表面上。相移技术存在解缠方法(unwrapping method)引入的信息不足(不能提供绝对相位)的问题,导致“模糊性”问题,并造成X、Y、Z信息缺失/错误。
对于组合格雷码投影法和相移法的混合技术,这些技术需要更多的投影,并不适合于动态对象的三维成像。对于许多工业应用,获取时间可能又是不切实际的。
要求对表面轮廓的高精度测量的工业应用典型利用的轮廓仪(profilometer)是基于激光三角测量并生成Z轮廓(高度轮廓)的轮廓仪。然而,这种技术对于需要全场测量(full-field measurement)的应用是不切实际的,在全场测量中一部分(或传感器)应该精确地移动,并与传感器完全同步。
在一个系统中组合不同的3D成像技术将不可避免地依赖于整个场景来决定使用哪种图案/技术的组合。整个场景需要使用不同的3D成像技术进行扫描,并且然后在后处理过程中为场景的每个子部分选择最合适的技术的3D图。这对于在许多工业应用中进行使用来说太麻烦了(因为整个场景都要被扫描,并且要处理大量的数据)。
因此,关于重要信息/感兴趣信息的质量,即关于在许多其他特征/元件/细节中的在物品上感兴趣的特定特征的信息,所述种类的已知技术遭受低图像质量的困扰。这是因为使用传统方法收集的图像数据不可避免地包含了太多的无关数据,导致大量收集的无关数据污染了重要信息,从而导致为得到重要信息而进行大量处理。这导致机器视觉专家的复杂开发和许多开发迭代以获得鲁棒性能。
本发明的发明人已经发现,基于后处理的已知方法没有考虑用户在执行数据获取时希望执行的特定检查任务。而不同的检查任务(例如测量两个特征之间的距离,或者测量一个特征的形状,或者检查缺失的部件/特征,等等)可能需要不同的获取方法来更好地收集数据。因此,关于相同或类似特征的不同检查任务可能需要不同光图案(结构光配置)的投影。
传统方法的另一个问题与以下有关:几乎所有3D传感器生成的点云在大多数3D应用中都不能直接使用,且因此通常被转换为网格模型(mesh model)、NURBS曲面模型、或CAD模型。已知的由点云创建三角网格曲面的技术(即使用三角测量法或曲面重建方法)不能准确地重建曲面边界。如上所述,2D相机有多个固有的限制。现有的3D解决方案虽然能够解决其中的一些限制(高度测量、固有校准、优于2D照射不变性),但在以针对/服务于特定检查任务的方式获取信息方面仍然没有得到优化,且因此仍然需要非常复杂且大多不必要的点云后处理来获得相关结果。
因此,本发明基于发明人的理解,即针对现有工业机器视觉技术的“易用(ease-of-use)”方法的解决方案与解决数据获取(检查过程本身)的初始问题相关联,以实现稳健的性能,而不是通过机器视觉专家或机器视觉解决方案的微调来实现这一点的传统尝试。
本发明提供了一种用于检查物品的新颖方法,特别是检查包括相同类型或不同类型的多个特征的物品的新颖方法。应当注意的是,该物品本身可以是功能设备,或者也可以不是功能设备,但可以是承载一个或更多个功能设备/结构的基底,每个功能设备/结构由特征或具有多个特征的感兴趣区域组成。还应该理解,一个特征实际上是一个元件,要么是所谓的“有源”元件,要么是“无源”元件。例如,多个“有源”元件(引脚、连接器等)可以以间隔关系布置,并且要检查的感兴趣特征与作为那些“有源”元件之间的空间的“无源”元件的各种参数/条件相关联。此外,应该注意,感兴趣特征可以与整个元件相关联,也可以不与整个元件相关联,例如,感兴趣特征可以是元件的一部分/片段(fragment)/节段(segment)(例如,垫的顶表面的拐角)。
还应注意的是,术语“检查”应该广义地解释,还包括测量/验证特征和/或它们在物品内(通常在一个或更多个感兴趣区域内)的布置的各种几何(以及可能还包括光学)参数和条件,缺陷检查/检测等。还应该理解,测量/验证可以旨在验证CAD信息和/或物品规格数据,以及进一步引导/导航关于物品的机器人程序。
本发明提供了一种用于管理对物品的光学检查的新颖控制系统和控制方法。本发明的技术旨在根据一个或更多个特定检查任务提供物品检查程序,该程序对于物品上的感兴趣区域和所述感兴趣区域中的感兴趣特征是自适应的。这大大减少和简化了检查程序,且大大减少了检查过程中收集的数据中不必要的信息量,从而提高了重要(目标)信息的质量。
本发明的技术由于提供了允许主动地将成像系统导航到3D空间中的感兴趣区域并对感兴趣特征执行成像本身(即“聚焦”成像过程)的数据,从而能够有效地使用3D成像方案。该方法在数据获取和数据处理过程中最大化了有用的信息,及最小化了对不需要的数据的处理。
因此,根据本发明的一个方面,本发明提供了一种控制系统,该控制系统通常是计算机系统,其除其他外包括数据输入设施和输出设施、存储器、数据处理器,以及还包括用于与其他功能模块进行数据通信的合适的通信端口。该控制系统被配置为分析指示由特定检查系统(其成像配置是预定义的)执行的关于特定物品(即关于该物品存在一些初始数据或“先验知识”)的一个或更多个特定检查任务的数据,并提供指示最优检查计划的数据以用作检查系统的操作数据。
控制系统可以是检查系统的一部分,也可以不是检查系统的一部分。例如,控制系统是一个独立的系统,其能够(经由任何适当的技术和协议)与专用检查系统或多个检查系统进行数据通信。在控制系统与专用检查系统相关联/涉及专用检查系统的情况下,假定控制系统“知道”(即,在其存储器中具有)关于相关联的检查系统的成像配置的配置数据。在控制系统为多个检查系统服务的情况下,控制系统必须能够识别相应的成像配置数据。为此,这种配置数据可以作为来自检查系统的输入数据的一部分提供,或者可选地,检查系统将其唯一ID作为输入数据的一部分提供,并且控制系统在数据库中识别匹配的配置数据。
应当注意,根据本发明的原理管理的检查是基于辐射激发的检查,其可以是利用对在物品上的区域的辐射并检测被辐射区域的辐射响应的任何已知类型。这可以是基于LiDAR、MRI、CT、X射线的检查。
更具体地说,本发明与光学检查技术一起使用,且因此在下面就该具体应用进行例示。然而,应当理解,本发明的原理不限于该具体应用,且因此,诸如“光学检查”、“光学配置”、“照射”、“施照体(illuminator)”、“光”等术语应当被广泛地解释,还包括其他类型的激发辐射和辐射响应。
因此,根据本发明的一个方面,它提供了一种用于管理对具有一种或更多种类型的多个特征的物品的检查的控制系统。该控制系统包括:数据输入设施,该数据输入设施用于接收输入数据,该输入数据指示由相关联的成像配置数据表征的给定检查系统要检查的一个或更多个选定的感兴趣特征;以及数据处理器,该数据处理器被配置并可操作以分析输入数据以提取关于一个或更多个检查任务的信息,并生成检查计划数据以用作给定检查系统根据所述一个或更多个检查任务提供测量数据的操作的配方数据(recipe data)。
数据处理器被配置并可操作用于与数据库系统通信(例如,至少部分地与控制系统的内部存储器相关联,或者在远程存储系统处被维护和管理)。数据处理器向数据库系统请求并接收与检查任务数据相对应的选定检查模式数据,并适于利用选定检查模式数据生成检查计划数据。
选定检查模式数据被分配给一组属性,该组属性包括与一个或更多个成像配置相关联的几何相关属性(物理参数)和材料相关属性中的至少一种,以用于检查对应于所述属性的特征。几何相关属性可以包括各种基础(primitive)/基本形状。材料相关属性可以是定义辐射响应相关属性/参数的类型,即各种表面相关属性的辐射响应特性,例如光学特性。基础/基本形状可包括例如孔、销(pin)、球、盒、光栅结构等。辐射响应特性可包括颜色、高光谱响应、反射率、透明度和扩散率。
数据处理器可以被配置并可操作以生成对数据库系统的请求数据,该请求数据包括选定属性组,该选定属性组是从包括几何相关属性和材料相关属性的预定属性集合中选择的,并且对应于检查任务数据。
在一些实施例中,数据处理器包括:识别器设施;分析器设施;和计划模块。识别器被配置并可操作以利用输入数据来定义指示一个或更多个检查任务的检查任务数据,其中检查任务数据包括指示输入数据的数据、指示一个或更多个选定特征的数据、以及对应于一个或更多个检查任务的测量类型。分析器被配置并可操作以分析检查任务数据并通过生成来自(如上所述的)预定属性集合、与检查任务数据相对应的选定属性组来确定配方数据。计划模块被配置并可操作用于分析检查任务和与所述选定属性组相对应的选定检查模式数据,并生成将由给定检查系统关于一个或更多个选定的感兴趣特征执行的检查计划数据。
因此,计划模块可以操作以生成对数据库系统的包括指示选定属性组的数据的请求数据,以请求分配给所述选定属性组的与给定检查系统相关联的选定检查模式数据。当接收到选定的检验模式数据时,计划模块基于检查任务数据分析选定检查模式数据,并生成检查计划数据。
在一些实施例中,检查模式数据包括将用于由给定检查系统在感兴趣区域上执行的一个或更多个检查会话中的关于所述感兴趣区域的一个或更多个选定检查条件。检查模式/条件包括照射条件和/或扫描条件。照射条件包括:将被投影到感兴趣区域上并在检查中成像的一个或更多个选定辐射图案(例如,以间隔开的相似特征/光斑(spot)的阵列形式的结构光;或预定几何形状的单个特征/光斑);和/或辐射参数(照射的强度和/或光谱内容)。扫描参数/条件包括:扫描路径相对于感兴趣区域的取向和/或扫描密度。
本发明提供有选择地将最佳检查条件/模式应用于每个选定的感兴趣区域,以及有选择地切换到不同的检查条件/模式以用于不同的感兴趣区域或同一区域内的不同特征/元件。
检查计划数据可以包括指示以下中的至少一个的数据:在检查会话期间的检查模式序列(例如,用于投影一个或更多个选定辐射图案的投影序列);一个或更多个选定辐射图案的优化配置;在一个或更多个检查会话期间至少一个辐射通道和至少一个检测通道的相对取向;辐射通道和检测通道与感兴趣区域的对齐;检查会话的数量;用于收集与感兴趣区域相关联的检测数据的数据读出模式。
在下面的描述中,为了简单起见,将检查模式解释为由要被投影的选定光图案来表征。然而,应当理解,本发明不限于这些示例,并且光图案特征应被解释为定义检查模式的一个或更多个特征的示例。
表征成像系统的成像配置数据可以包括指示以下中的一个或更多个的数据:用于将一个或更多个图案投影到感兴趣区域上的辐射通道的数量、用于从被辐射的感兴趣区域的至少一部分收集图像数据的检测通道的数量、辐射通道和检测通道相对于检查平面的位置、辐射通道和检测通道之间的相对取向、以及检查系统的辐射源和检测器的特性。
如上所述,控制系统可以包括用于存储数据库的存储设施;和/或控制系统可被配置为与远程存储系统通信,以访问数据库。控制系统因此包括适当的数据通信功能。
控制系统可以与专用检查系统相关联。控制系统可以是检查系统的一部分;或者可以是与检查系统进行数据通信(以将检查计划数据传送给检查系统)的单独系统;或者控制系统的功能设施可以分布在检查系统的本地控制单元和外部系统之间。
在一些实施例中,控制系统被配置为与多个检查系统通信,以基于所述系统的成像配置和所需的检查任务向这些系统中的每一个提供检查计划数据。
在一些实施例中,控制系统还包括监视器,该监视器被配置并可操作以接收测量数据,该测量数据由检查系统在利用检查计划数据执行的一个或更多个检查会话中获得,并且该测量数据指示与一个或更多个选定特征相关联的一个或更多个参数。监视器分析测量数据并生成指示检查结果的输出数据。指示检查结果的数据可以包括以下中的一个或更多个:更新的检查任务数据;用于优化数据库的内容的更新,所述数据库包含分配给与检查系统相关联的相对应的属性组的预定检查模式数据块。
在一些实施例中,监视器被配置并可操作以与远程中央系统通信,以用于将指示检查结果的输出数据传送给中央系统,从而能够使用检查结果数据来更新检查任务数据和/或优化数据库的内容,该数据库包含被分配给与检查系统相关联的相对应的属性组的预定检查模式数据块。
用于定义检查任务数据的输入数据可以包括以下中的一个或更多个:指示所述一个或更多个感兴趣特征的CAD模型数据;对物品的至少一部分的3D扫描和指示要执行的一个或更多个测量类型的相对应的元数据;以及关于在所述物品上与所述一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的位置数据。位置数据可以包括关于感兴趣特征相对于对齐位置的相对定位的数据和/或关于感兴趣特征相对于对齐位置的相对取向的数据。
关于一个或更多个感兴趣区域的位置数据可以例如从用户获取的对象的2D图像导出。更具体地说,用户可以拍摄对象的常规2D图像,并且该2D图像数据由外部设备(外部传感器或代码)分析以从中导出“可疑(suspicious)”位置数据。
指示检查任务的数据可以包括以下中的一个或更多个:对于所述一个或更多个选定特征中的每一个,它可以包括对所述选定特征在一个或更多个预定感兴趣区域中的存在的验证,和/或对所述特征的一个或更多个参数的测量;对于选定特征中的每一对特征,它可以包括对它们之间的距离和/或它们的相对取向的测量,其中所述一对的这些特征可以位于相同的感兴趣区域中或位于不同的感兴趣区域中;它可以包括对感兴趣区域内的表面部分的表面粗糙度是否满足预定条件的确定,其中该表面部分可以是选定特征的表面,或者是物品的在选定特征之间的表面;它可以包括对一个或更多个选定的感兴趣特征的一个或更多个参数与涉及所述一个或更多个选定特征的相对应的输入数据之间的关系、以及指示所述关系的数据的生成。
在一些实施例中,控制系统还包括操作控制器,该操作控制器被配置并可操作用于根据检查计划数据控制给定检查系统的操作以执行一个或更多个检查会话。操作控制器可以包括对齐模块,该对齐模块被配置并可操作用于监视/控制在正在被检查的物品和关于物品上与一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的输入位置数据之间的初步对齐条件。
本发明还提供了一种用于检查具有一种或更多种类型的多个特征的物品的检查系统,该检查系统包括:成像系统和上述控制系统。成像系统包括:一个或更多个施照体,该一个或更多个施照体定义用于照射正在被辐射的一个或更多个感兴趣区域(例如,在其上投影图案)的一个或更多个辐射通道;以及一个或更多个检测器,该一个或更多个检测器定义一个或更多个检测通道并生成相对应的图像数据,该一个或更多个检测通道用于检测正在被辐射的所述一个或更多个感兴趣区域中每一个感兴趣区域的至少一部分的辐射响应。
成像系统被配置并可操作用于使用辐射通道和检测通道之间的各种相对取向以及辐射和检测的各种特性,根据各种检查计划来执行检查。
成像系统可以是光学成像系统,其被配置成定义由至少一个施照体和至少一个检测器形成的至少一对照射-检测通道。
在一些实施例中,至少一个施照体包括用于投射光图案的至少一个2D投影仪。在一些实施例中,2D投影仪被配置并可操作以在具有至少一个快轴的动态扫描模式下执行光图案的投影。
例如,2D投影仪可以包括光栅或2D谐振MEMS,在这种情况下,动态扫描模式的快轴由MEMS的机械结构定义,或者2D投影仪可以包括逐点MEMS结构,在这种情况下,动态扫描模式的快轴由在表面上形成平行线的MEMS命令序列定义。更具体地说,2D投影仪可以包括谐振2DMEMS扫描镜,其中MEMS扫描镜的机械轴中的任一个构成动态扫描模式的快轴。2D投影仪可包括光栅MEMS扫描镜,其具有构成动态扫描模式的快轴的谐振轴。
在一些实施例中,成像系统包括至少一个相机/检测器,该至少一个相机/检测器与可在具有至少一个快轴的动态扫描模式下操作的两个或更多个这样的2D投影仪相关联。在这种配置中,至少一个第一投影仪的扫描方向可以相对于至少一个第二投影仪的扫描方向旋转90度,使得第一投影仪的快速扫描轴垂直于第二投影仪的快速扫描轴。
例如,检测器可以与这样的2D动态扫描模式投影仪的阵列相关联,其中检测器和投影仪被布置/定向成使得每个投影仪的快轴近似/基本上垂直于检测器和所述投影仪之间的基线向量。
在一些实施例中,至少一个检测器包括具有多个动态重新定位的感兴趣区域(MROI)的相机。
在一些实施例中,光学成像系统包括多个施照体-检测器对,该多个施照体-检测器对共享作为施照体或检测器的至少一个公共单元,从而定义多对照射-检测通道。该多对照射-检测通道可由以下配置中的至少一个配置来定义:多个施照体-检测器对包括与公共2D照射单元相关联的多个检测器单元;以及多个施照体-检测器对包括与公共检测器单元相关联的多个2D照射投影仪。
具有多对照射-检测通道的系统配置优选地使得分别由照射-检测器对定义的基线向量具有定义基线向量相对于彼此的预定取向的公共单元。
可选地,但在一些实施例中优选地,照射-检测器对的基线向量具有满足基线向量彼此基本垂直的条件的公共单元。更具体地说,将施照体连接到一个检测器(即,连接它们的操作中心)的线近似/基本上垂直于将所述施照体连接到另一个检测器的线;和/或将检测器连接到一个施照体的线近似/基本上垂直于将所述检测器连接到另一个施照体的线。换句话说,每对施照体-检测器单元定义(在相应照射和检测通道的中心之间的)基线向量,该基线向量与由共享至少一个公共单元的其他施照体-检测器单元对定义的基线向量近似/基本上垂直。应当理解,这样的“垂直性条件”,如果被使用的话,不应当解释为完全垂直的基线向量的条件,而是近似/基本上垂直的向量的条件,例如,与垂直度的偏差可达大约20度。
本发明还提供了一种存储系统,该存储系统包括管理器设施,该管理器设施被配置并可操作用于管理数据库,该数据库包括对应于多个检查模式的多个数据块,每个检查模式被分配给与一个或更多个成像配置相关联的一个或更多个属性组,所述管理器设施被配置并可操作以:响应于包括指示选定属性组的数据的请求数据,生成指示匹配所述请求数据的一个或更多个检查模式并被格式化以用于与控制系统通信的输出数据。
另外,本发明提供了一种连接到通信网络的服务器系统,该服务器系统包括数据库和用于管理所述数据库的管理器设施,其中数据库包括对应于多个检查模式的多个数据块,每个检查模式被分配给与一个或更多个成像配置相关联的一个或更多个属性组,并且所述管理器设施被配置并可操作用于经由所述通信网络与本文所述的一个或更多个控制系统进行数据通信,使得管理器设施响应于来自与由其成像配置表征的给定成像系统相关联的控制系统的、并包括指示选定属性组的数据的请求数据,以生成到所述控制系统的输出数据,所述输出数据指示匹配所述请求数据的一个或更多个检查模式,并被格式化以用于响应于所述请求数据与所述控制系统进行通信。
在又一个广泛的方面,本发明提供了一种新颖的光学检查系统,该光学检查系统优化了对关于正被成像的感兴趣区域的3D信息的提取。更具体地说,本发明提供了一种用于检查具有一种或更多种类型的多个特征的物品的光学检查系统,该光学检查系统包括成像系统,该成像系统包括:一个或更多个施照体,该一个或更多个施照体定义用于将光图案投影在正在被辐射的一个或更多个感兴趣区域上的一个或更多个照射通道;以及一个或更多个检测器,该一个或更多个检测器定义一个或更多个检测通道,该一个或更多个检测通道用于检测所述一个或更多个感兴趣区域中的每个感兴趣区域的至少一部分对所述照射的响应并生成相对应的图像数据,由此定义由至少一个施照体和至少一个检测器形成的至少一对照射-检测通道,其中至少一个施照体包括光图案的2D照射投影仪。光学检查系统由以下中的至少一项表征:
(i)2D投影仪被配置并可操作以在具有至少一个快轴的动态扫描模式下执行所述投影;和
(ii)成像系统包括由多个施照体-检测器对形成的多对照射-检测通道,该多个施照体-检测器对共享作为2D照射或检测器的至少一个公共单元,其中,由照射-检测器对定义的基线向量具有定义基线向量相对于彼此的预定取向的公共单元。
照射-检测器对的基线向量可以具有满足基线向量彼此基本垂直的条件的公共单元。
在一些实施例中,2D投影仪具有以下配置之一:包括谐振2D MEMS扫描镜,该谐振2D MEMS扫描镜具有是MEMS扫描镜的机械轴之一的快轴;包括光栅MEMS扫描镜,该光栅MEMS扫描镜具有作为MEMS的谐振轴的快轴;以及包括具有快轴的2D MEMS结构,该快轴是对应于提供基本上直线形式的光图案的MEMS定位序列的轴。在一些其他实施例中,投影仪不具有任何快轴(例如,所有投影仪轴都是可控的线性或准静态)。
在一些实施例中,一个或更多个施照体包括至少一个激光源。
如上所述,成像系统可包括与两个或更多个2D照射投影仪相关联的至少一个相机/检测器,该两个或更多个2D照射投影仪可操作以在具有至少一个快轴的动态扫描模式下执行所述投影(例如,谐振或光栅2D MEMS型投影仪)。该配置可以使得至少一个第一投影仪的扫描方向相对于至少一个第二投影仪的扫描方向旋转90度,使得第一投影仪的快速扫描轴垂直于第二投影仪的快速扫描轴。例如,相机/检测器可以与可操作以在具有至少一个快轴的动态扫描模式下执行所述投影的这样的2D照射投影仪阵列相关联,其中所述2D照射投影仪和相机被取向成使得每个投影仪的快轴近似/基本上垂直于在相机/检测器和所述投影仪之间的基线向量。
在一些实施例中,至少一个检测器包括具有多个动态重新定位的感兴趣区域(MROI)的相机。
在一些实施例中,成像系统包括由共享作为施照体或检测器的至少一个公共单元的多个施照体-检测器对形成的多对照射-检测通道,其中由具有公共单元的照射-检测器对定义的基线向量满足基线向量彼此基本垂直的条件,所述多对照射-检测通道由以下配置中的至少一个定义:(a)所述多对包括与公共施照体单元相关联的多个检测器单元;以及(b)所述多对包括与公共检测器单元相关联的多个施照体单元。
检查系统还可以包括控制系统,该控制系统被配置为上述控制系统,该上述控制系统提供检查计划数据,该检查计划数据将由成像系统在一个或更多个检查会话中执行,以测量一个或更多个感兴趣特征的一个或更多个参数。
可选地,检查系统可以被配置并可操作用于与是外部系统的这样的控制系统进行数据通信;或者控制系统的功能设施可以分布在光学检查系统和外部系统之间。例如,检查系统可以包括被配置为生成检查任务数据(例如,可以包括上述数据输入设施和识别器模块)并将检查任务数据传送给外部控制系统的数据处理器,该外部控制系统包括被配置为将检查任务数据转换成选定属性组(例如,包括上述分析器)并与数据库通信且生成检查计划数据(例如,包括上述计划模块)以及将检查计划数据返回到检查系统的数据处理器。
检查系统可以包括操作控制器,该操作控制器被配置并可操作用于根据检查计划数据控制一个或更多个检查会话的执行。操作控制器可以包括对齐模块,该对齐模块被配置并可操作用于监视在正在被检查的物品和关于所述物品上与所述一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的输入位置数据之间的初步对齐条件。
本文公开的主题的又一方面涉及用于检查具有一种或更多种类型的多个特征的物品的方法。该方法包括:接收输入数据,该输入数据指示将由给定检查系统检查的一个或更多个选定的感兴趣特征,该给定检查系统由相关联的成像配置数据表征;分析输入数据以提取关于一个或更多个检查任务的信息;以及生成检查计划数据,以用作给定检查系统根据一个或更多个检查任务提供测量数据的操作的配方数据。
在一些实施例中,该方法包括从数据库系统中检索对应于检查任务数据的选定检查模式数据,并利用选定检查模式数据生成检查计划数据。该方法可以包括向数据库系统请求包括以下项的数据:从包括几何相关属性和材料相关属性的预定属性集合中选择的对应于检查任务数据的选定属性组。
该方法可以包括:基于输入数据定义指示一个或更多个检查任务的检查任务数据,所述检查任务数据包括指示输入数据的数据、指示一个或更多个选定特征的数据、以及对应于一个或更多个检查任务的测量类型;分析检查任务数据并通过生成从包括几何相关属性和材料相关属性的预定属性集合中选择的并对应于检查任务数据的选定属性组来确定配方数据;分析与选定属性组对应的检查任务和选定检查模式数据,并生成将由给定检查系统关于所述一个或更多个选定的感兴趣特征执行的检查计划数据。
附图简述
为了更好地理解本文公开的主题并且为了例示其可以如何在实践中被实施,现在将仅仅通过非限制性示例的方式参考附图来描述实施例,其中:
图1是本发明的用于通过一个或更多个检查系统管理对物品的检查的控制系统的框图;
图2示意性地示出了管理由控制系统可访问和使用的数据库的存储系统的配置和操作;
图3A-图3B和图4A-图4B示出了对其的检查可由本发明的控制系统控制/管理的物品的两个具体但非限制性的示例;
图5以流程图的方式例示了本发明的用于生成将由检查系统执行的检查计划数据的方法(例如,由图1的控制系统实现);
图6A和图6B分别示出了物品相关数据和检查任务数据的准备/创建的两个示例;
图7通过框图的方式示出了检查系统的一个可能的实现方式的配置及其与控制单元和/或与包含关于检查模式的数据的存储系统的通信;
图8A和图8B通过框图的方式示意性地示出了控制和检查系统的配置和操作的两个具体但非限制性的示例,其中,图8A的示例示出了其中控制系统被实现为检查系统的嵌入式模块化系统(System-on-Module,SOM)的整体配置;以及,在图8B的示例中,该控制系统是在外部控制个人计算机(PC)中实现的并且可与一个以上的成像系统并行操作;
图9A-图9F示出了成像系统的配置和操作方案的多个示例;
图9G示意性地示出了利用与多个2D投影仪相关联的相机的成像系统配置的示例;
图9H示意性地示出了利用与多个相机相关联的2D投影仪的成像系统配置的示例;
图9I和图9J例示了利用线断点(line breaks)对锐边进行的对齐过程;
图10A-图10C例示了对在物品上包含是具有平坦矩形顶表面的垫的选定特征的感兴趣区域的检查计划的确定和实现,以用于确定所述顶表面的精确Z轴位置/尺寸的检查任务;
图11A-图11C和图12A-图12C例示了如在图10A-图10C的示例中但根据与确定垫的平坦表面的XZ和YZ角有关的另一检查任务来检查相同(或相似)特征/元件的检查计划的创建和实现的技术;
图13A-图13C例示了以垫的形式但根据与确定垫的顶表面的拐角曲率半径或曲率中心有关的又一检查任务来检查相同(或相似)特征/元件的检查计划的创建和实现的技术;
图14A-图14C例示了基于与确定两个有距离的元件之间的距离相关联的检查任务来检查包含这两个元件(垫)的感兴趣区域的检查计划的创建和实现的技术;
图15A-图15B示意性地示出了本发明的技术的又一示例,其用于创建和实现关于是小(短)垫的感兴趣特征的检查计划,以确定垫的左侧和右侧的准确位置;
图16A和图16B示意性地例示了用于利用本发明的原理检查特定元件的检查计划;
图17A至图17E例示了利用本发明的用于检查对象的图案化区域的技术所获得的改进结果;
图18A和图18B例示了与传统方法相比通过本发明的技术可获得的改进结果;
图19A和图19B例示了最优检查模式条件对检查对象的选定区域的影响;和
图20例示了根据通过本发明确定的检查计划数据的检查会话的运行时执行(run-time execution)的流程图。
具体实施方式
参考图1,其通过框图的方式示出了根据本发明的一些方面配置和操作的控制系统10,该控制系统用于管理通过检查系统对物品的检查。如上所述,控制系统10可以是实现由控制系统10提供的检查计划的检查系统的一部分,或者也可以不是该检查系统的一部分。
同样如上文所示,尽管本发明的技术在下文中与光学检查技术相关地进行例示和描述,但本发明的原理不限于该特定应用,并且可以与任何已知的基于辐射激发的检查(例如,基于LiDAR、MRI、CT、X射线的检查)一起使用。
在当前图1所示的非限制性示例中,控制系统10是独立的系统,其被配置为与多个光学检查系统进行数据通信,在图中例示了三个这样的光学检查系统OIS1、OIS2、OIS3。一般来说,每个第i光学检查系统OISi是通过其执行对物品(此处未示出)检查会话的光学配置数据OCDi来表征的。以下将进一步描述光学配置的示例。
被检查的物品是具有相同类型或不同类型的多个特征/元件的那种物品。应当注意,该物品可以是功能性设备,或者也可以不是功能性设备,但可以是承载一个或更多个功能性设备/元件(作为有源或无源元件)的基底,该一个或更多个功能性设备/元件(作为有源或无源元件)各自由特征或具有多个特征的感兴趣区域构成。下面将参考图3A和图3B进一步描述物品的一些具体但非限制性的示例。
控制系统10还与存储系统30相关联(例如包括或可连接到存储系统30),该存储系统30包含和管理数据库32,数据库32的结构将在下文参考图2进行进一步描述。
控制系统10通常是具有如数据输入设施14和输出设施16的这种主要功能设施(软件和/或硬件)、存储器18和数据处理器20及其他的计算机系统。数据输入设施14被配置并可操作以响应于输入(其可以是用户的输入和/或电子设备的输入)而将相对应的输入数据D输入提供到数据处理器20。数据处理器20被配置并可操作以利用输入数据D输入来确定关于选定的n个(n≥1)感兴趣特征的检查计划数据IPDij,例如,第j特征被分配由给定的第i光学检查系统OISi进行检查。数据处理器20包括识别器20A、分析器20B、和计划模块20C。
输入数据D输入可以包括:指示包含对象数据和所需的测量的CAD模型的数据;和/或对象的3D扫描以及识别哪些测量将被执行的相对应的元数据;和/或关于感兴趣区域/元件的位置数据。这将在下面更具体地描述和例示。
识别器设施/模块20A响应于输入数据D输入并被配置并可操作以提取关于检查任务的信息和定义关于特征Fj将由相应光学检查系统OISi检查的相对应的检查任务数据ITDij。如下文更具体地描述的,由用户和/或由图像或CAD数据提供的输入数据D输入可包括各种参考标记,这些参考标记允许确定对参数/条件的识别,并提供关于特征的一些先验知识(例如,位置信息),从而允许适当地定义检查任务数据。
因此,检查任务数据ITDij实际上包含关于以下项的信息:输入数据D输入本身、感兴趣区域和其中将对其执行测量/检查会话的特征、以及所需的测量/检查类型。
在一个可能的示例中,针对检查一个元件,检查任务数据ITDj可包括:(i)指示包括是印刷电路板(PCB)的具体物品的CAD模型的输入数据D输入的数据,(ii)指示是PCB上电阻器R17的感兴趣对象/特征Fj的数据,以及(iii)所需的测量是电阻器R17的长度。在此示例中,识别器20A基于对CAD模型的分析来定义检查任务数据。
在另一个可能的示例中,检查任务数据ITDj可包括:(i)指示包括PCB的点云扫描的输入数据D输入的数据,(ii)指示与云上的两条边A、B相关联的感兴趣对象/特征Fj的数据,以及(iii)所需的测量是边A、B之间的距离。在这个非限制性示例中,识别器20A分析输入数据并向用户提供相对应的GUI,使用户能够选择在边上的两点并且还指示这些确实是边,并基于用户输入来完成检查任务数据ITDj
分析器设施20B被配置并可操作用于分析检查任务数据ITDij以从预定属性集合PAS中提取/识别与检查任务数据相对应的选定属性组GAj。预定属性集合PAS包括几何相关属性(物理参数),并且优选地还包括定义辐射响应相关属性/参数的材料相关属性,例如光学特性相关属性。在下面的描述中,这种辐射响应相关属性有时也被称为“光学特性相关”和“材料相关”。更具体地说,预定属性集合PAS包括M个属性(A1,……Am),该M个属性(A1,……Am)包括K个几何相关属性(A1……Ak)和L个光学特性相关属性(Ak+1……Am)。下面将进一步描述几何相关属性和光学特性相关属性的示例和细节。
分析器设施20B将嵌入在检查任务数据ITDij中的与特征相关的数据和与测量类型相关的数据变换/转换为选定属性组GAj,该选定属性组GAj包括至少几何相关属性中的一个或更多个。因此,选定属性组GAj是检查任务数据ITDij中与感兴趣特征和测量类型相关的细分(breakdown),其中感兴趣特征(根据测量类型数据)通过几何属性且还可能通过光学属性来呈现。
在一个可能的示例中,选定属性组GAj可包括以下项:(a)与具有平坦表面的3D盒状物(box)(例如PCB的电阻器R17)相对应的几何属性,包括盒状物的位置、以及其大小和取向;(b)与光滑的且白色的元件/表面相对应的光学属性;和(c)所需的测量类型,该所需的测量类型是矩形的长度。在此示例中,分析器20B利用来自CAD的相应数据和预定属性集合PAS。
在另一个可能的示例中,选定属性组GAj可包括以下项:(a)几何属性,该几何属性包括两个壁的列表(例如PCB的点云扫描中的边A、B);(b)关于光学属性的指示N/A(不可用(no available)或无应答(no answer)),因为在前一步骤期间没有提供这方面的用户输入(用户可以使用通过识别器20A提供的GUI来输入光学特性相关的数据);以及(c)所需的测量类型是边之间的距离。
计划模块20C被配置并可操作用于分析检查任务数据ITDij和被分配给选定属性组GAj的预定检查模式数据IMDij,以及被配置并可操作用于确定将由通过光学配置数据OCDi表征的第i光学检查系统OISi执行以服务于关于选定的一个或更多个特征Fj的检查任务的检查计划数据IPDij。换句话说,计划模块20C利用指示选定属性组GAj的数据和光学数据OCDi来创建检查计划数据IPDij
应当理解,光学配置数据OCDi包括指示光学系统的结构和模型的数据。检查计划数据IPDij包括给光学系统的关于如何根据检查任务来执行检查会话以提供测量数据的指令。
为此,数据处理器20(计划模块20C)与管理数据库32的存储系统30通信,以发送包括指示选定属性组GAj的数据以及指示光学配置数据OCDi的数据的请求数据RDij,以及从存储系统30接收匹配(被分配给)选定属性组GAj的与光学配置数据OCDi相关联的相对应的检查模式数据IMDij。应当理解的是,对检查模式数据IMDij的选择可能需要指示相应检查系统OISi的光学数据配置OCDi的数据。因此,请求数据RDij嵌入这样的光学配置数据OCDi或相应检查系统的识别码/数据IDi
应该注意的是,整个检查目标可能包括关于相同特征的一个以上的任务。在这种情况下,相应地配置请求数据,即包括指示相对应的选定属性组的数据,该相对应的选定属性组又基于检查任务和测量类型。存储系统30从而提供对相应的一个以上的检查模式数据块(data pieces)IMD。一旦接收到所有这样的数据块IMD,计划模块20C一起分析和优化它们(“编译”它们)以创建最优的检查计划数据。
考虑到上述两个示例,组合检查模式数据可以包括对具有四(4)条直白线的光图案的照射的要求和对线断点的位置的确定。在这种情况下,最佳检查计划数据可以包括将该检查模式拆分为四(4)帧的序列的指令,每个帧包含单行。
参考图2,根据一些可能的实施例示意性地示出了数据库32的内容的示例。数据库32包括多个(P个)数据块DP(1)……DP(p)。每个第m数据块对应于多个检查模式相关数据块IMD1……IMDh中的一个或更多个(即,检查系统操作的一个或更多个参数/条件)。每个第r检查模式相关数据块被分配给描述将由检查系统根据其特征配置数据进行检查的各个特征的一个或更多个属性组。换句话说,检查模式数据块IMDi被分配给指示属性组GAj和第i成像/检查配置OCDi的数据。如上所述,指示属性组GAj的数据又与选定的感兴趣特征Fj和检查任务数据相关联。
更具体地说,存储在数据库中的检查模式数据块可包括指示一个或更多个照射条件(例如,被分配以测量/检查各种基础形状/几何结构的光图案)的数据。
应当理解,管理数据库32的存储系统30可以是控制系统10的一部分。可选地,如图1和图2所例示的,存储系统30与单独的系统40(例如服务器系统)相关联,该单独的系统40可由被配置为上述控制系统10的控制系统经由使用任何适当的已知数据通信协议的任何适当的已知类型的通信网络进行访问。转回到图1,控制系统10因此可以适当地配备有适当的通信设施24。
又如图2中示意性地所示,存储系统30包括管理器设施34,该管理器设施34被配置并可操作以响应请求数据RDij,该请求数据RDij是从控制系统10接收的并与第i光学检查系统OISi相关联。请求数据RDij包括指示相应光学检查系统的数据,该数据可以是系统的配置数据OCDi本身或者被分配给相对应的配置数据OCDi的光学系统的识别数据IDi。在后一种情况下,管理器设施34适于与(存储在同一存储系统30中或存储在可由管理器设施34经由通信网络访问的单独系统中的)配置数据库36通信。这样的配置数据库36适当地被管理并包含每个光学系统的识别数据IDi之间的关联数据以及相对应的光学配置数据OCDi。配置数据库36被适当地管理以响应于接收到的识别数据提供指示光学检查系统或光学系统配置数据的相应/匹配数据。
控制系统10的计划模块20C响应于从存储系统30接收的作为对在控制系统10处生成的请求数据RDij的答复的检查模式数据IMDij,以及考虑检查任务数据和初始物品相关数据,对检查模式数据进行分析,以生成检查系统OISi的检查计划数据IPDij
如下面将进一步更具体地描述的,光学检查系统OISi包括:一个或更多个照射单元(一个或更多个光源和可能相关联的导光光学器件),该一个或更多个照射单元定义一个或更多个照射通道并被配置为将一个或更多个光图案投射到感兴趣区域的至少一部分上;以及一个或更多个光检测器,该一个或更多个光检测器定义一个或更多个光检测通道。
检查模式数据包括一个或更多个照射条件。在一个简单的示例中,这可以包括用于被应用到一个或更多个感兴趣区域的至少一个照射通道中的光图案。
将用作检查系统的配方数据的检查计划数据包括以所述一个或更多个光图案执行的检查会话的下列参数/条件中的一个或更多个:用于被应用于一个或更多个感兴趣区域的至少一个照射通道中的光图案的一个或更多个序列;光强度;扫描路径取向;扫描密度;至少一个照射通道和至少一个检测通道的相对取向;用于收集与感兴趣区域相关联的检测数据的数据读出模式;扫描模式参数。下面将进一步更具体地描述光学检查系统的配置和操作原理,以及检查计划的示例。
在这方面,应该注意,检查计划数据的光图案序列不一定是将用于相同检查任务目的而顺序应用的不同光图案的序列。更具体地说,检查计划可以包括光图案序列,其中对于给定的检查任务,相同光图案用于感兴趣区域(例如,元件/特征的一部分)的局部“扫描”;或者对于(基于计划模块的决策的)不同检查任务的组合执行,这样的序列可以包括不同的光图案。
转回到图1,控制系统10还可包括操作控制器28(虚线所示),该操作控制器28被配置并可操作以基于光学检查系统的光学配置数据OCDi来控制所述光学检查系统对检查计划IPDij的执行。应当理解,可选地,这种操作控制器可以是光学检查系统OISi的一部分;或者操作控制器的功能模块可以视情况分布在控制系统10和光学检查系统OISi之间。
此外,控制系统10可与监视器26相关联(例如,可包括监视器26作为其数据处理器20的一部分),该监视器接收和分析来自光学检查系统OISi的测量数据MDi,并生成指示检查结果IR的输出数据。应当理解,可选地,这种监视器26可以是光学检查系统OISi的一部分;或监视器26的功能设施可以视情况分布在控制系统10和光学检查系统OISi之间。
一般检查结果IR可能包括各种类型的数据。例如,监视器26被配置并可操作用于接收和分析测量数据MD以及生成指示一个或更多个选定特征的一个或更多个参数/条件的输出数据。
可选地或附加地,对测量数据的分析可用于选择性地生成更新的检查任务数据,在这种情况下,控制系统10如上述进行操作以提供一个或更多个更新的检查计划。例如,对检查任务数据的更新可以与验证输入数据(包括与物品和特征相关的数据,例如CAD信息和/或物品规格数据)的需要相关联。
此外,监视器26可以被配置并可操作以利用指示检查结果的数据来为要在物品上执行的一个或更多个机器人程序生成引导/导航数据。
根据一些其他示例,对测量数据/检查结果的分析可以可替代地或附加地与对指示对应的一个或更多个检查任务的数据和指示对应的检查计划中的一个或更多个的数据的分析一起使用,以优化/更新数据库32中的数据。
应当注意,通常,待检查的选定特征以及检查任务可能与物品结构的各种参数/条件相关。例如,选定特征可以与有源元件和/或它们在支撑基底上的布置相关联。更具体地说,检查任务可以包括验证一个或更多个选定特征(例如,有源元件)在预定的感兴趣区域中的存在。可选地或附加地,检查任务可包括测量/验证物品的选定表面部分的尺寸和/或表面起伏(例如,表面平坦度/粗糙度)。应该理解的是表面部分可以是选定元件的表面;或物品的在选定元件之间的表面。在又一示例中,检查任务可包括测量/验证在选定元件之间的距离和/或元件的相对取向。
还应注意,能够定义关于物品的选定特征的检查任务数据的输入数据利用(基于)一些初始物品相关数据,这些初始物品相关数据可以是图像数据(例如2D或3D图)和/或CAD数据。检查任务可以针对关于与特征及其在物品上的布置相关的任何参数/条件来验证这种输入数据。因此,检查结果可能旨在验证初始物品相关数据。
因此,监视器26分析测量数据MD以确定在由光学检查系统测量/检查的所述一个或更多个选定的感兴趣特征的一个或更多个参数与和所述一个或更多个选定特征相关的相对应的初始物品相关数据(例如,CAD数据)之间的关系,并生成相对应的检查结果IR。如果需要,这使得能够更正/更新初始物品相关数据。
现在参考图3A-图3B和图4A-图4B,它们示出了要通过本发明的技术进行检查的物品的具体但非限制性示例和“简单”检查任务的一些示例。
图3A例示了物品50,该物品50由承载各个元件(特征)的布置的支撑基底56形成。在该特定的非限制性示例中,物品由USB插座组件构成,其中有源元件由USB连接器52A构成,该USB连接器52A在支撑基底56上以在其之间具有空间(无源元件)52B的间隔关系进行布置。在本示例中,特征的布置是周期性图案的形式。然而,本发明的原理不对周期性图案检查要求进行限制/约束。图3B例示了包括扫描程序的检查计划执行。在该示例中,检查任务的测量类型包括对每个元件52B的宽度的测量。相对应的检查计划包括在包含单线的单个帧中对单个光图案的投影、以及对线53的宽度的测量。
图4A和图4B例示了适合使用本发明的技术进行适当检查的分别具有各种类型的特征的两种类型的物品60和70。物品60是具有承载各种类型的各种元件/特征的基底66的印刷电路板的结构。物品70例示了包装组件,该包装组件包括物品60的其之间用空间S适当布置的多个结构。
如上所述,定义检查任务数据所需的初始物品相关数据(输入数据)可以是图像数据(例如,2D或3D图)和/或CAD数据的形式。例如,图4A和图4B可能以图像数据的形式例示了这样的初始物品相关数据,包括指示一个或更多个感兴趣特征的几何数据的数据和关于物品上所述一个或更多个感兴趣区域的位置数据。
例如,图4A示出了初始图像数据60,该初始图像数据60包括与物品中要检查的感兴趣特征相关联的一些指示,例如标记/标志。在该示例中,这些特征F1和F2由两个连接器构成。这些特征F1和F2彼此有距离,并且因此可以被认为位于不同的感兴趣区域中,这些不同的感兴趣区域可以使用在单独的检查会话中执行的不同检查计划进行检查;或者适当的检查计划可以被提供并被用于在公共检查会话中检查这两个特征。如下面将进一步描述的,计划模块执行对与每个不同检查任务相关联的检查模式数据(照射/扫描条件)的分析,并且基于相应的特征适应,决定是否可以组合相应的配方。
每个特征F1和F2在相同物品中的位置可以预先定义并固定在一定的机械公差内,由于制造(装配)过程,机械公差可能因物品而异。此外,相同类型的元件/特征(例如,相同类型的所有连接器)应具有在预定义/允许的公差下的相同几何相关参数(尺寸和形状),并由相同的材料制成(即具有相同的光学特性)。因此,检查任务可以旨在监测几何相关参数(例如,实际公差,以识别它们是否满足用于装配过程控制目的的预定条件)和材料相关条件。
图4B以包装组件62(处在真空成型包装中的PCB 60)的图像数据的形式示出了初始物品相关数据。这里,零件(PCB 60)相对于彼此的定位可由于包装的机械公差而显著变化。因此,检查任务可能旨在精确定位每个PCB上的一个小特征,并将机器人引导到此以用于装配目的。
参考图5,其示出了本发明的通过上述控制系统生成要分配给特定检查任务数据的检查计划数据的示例性方法的流程图100。
提供包括初始物品相关数据(先验知识)的输入数据(步骤102),其是图像或CAD数据,包括关于感兴趣特征Fj的相应指示。该输入数据被用于提取/定义与光学检查系统数据OCDi相关联的检查任务数据ITDji(步骤104)。例如,检查任务数据包括:验证具体特征/元件(如螺栓)在感兴趣区域中的存在,定义检查任务;测量元件的尺寸(所述螺栓的尺寸),这可能形成一个单独的检查任务;测量相同感兴趣区域内连接到物品的相似螺栓之间的距离,形成与相同感兴趣区域相关的检查任务;和测量连接到不同感兴趣区域的两个相似螺栓之间的距离,定义与不同感兴趣区域相关的检查任务。
通常,检查任务数据ITDij定义定义至少一个检查任务和在至少一个感兴趣区域上的至少一个感兴趣特征。应当注意,检查任务可以与多个感兴趣特征相关联(相关)(例如,测量两个感兴趣特征之间的距离);或者一个以上的检查任务可以与相同感兴趣特征相关联(例如,孔的直径的测量和孔的形状的检查/验证)。在检查任务涉及属于不同感兴趣区域(检查部分)的多个感兴趣特征的情况下,针对不同感兴趣区域中的每一个感兴趣区域分别执行对齐过程,并且检查任务数据考虑相对区域间的位移。
在本发明的一些实施例中,检查任务数据由用户根据CAD模型定义。将整个物品(或至少整个感兴趣区域)的CAD模型加载到控制系统10中并与附加的用户输入一起由识别器模块20A进行分析。例如,识别器模块20A被配置为API,其向用户提供各种相关任务过程的预定义列表,允许用户在CAD模型上选择感兴趣特征,并从所述预定义列表中选择一个或更多个任务,所述预定义列表定义光学检查系统需要提供的测量数据的类型。
这在图6A进行了例示,其示出了一个屏幕截图,其上允许用户对特征和过程进行选择。如本示例所示,感兴趣特征与孔/凹槽(recess)相关联,该孔/凹槽是在CAD中通过将两个独立的相对弧(半圆)F1和F2连接而形成的细长椭圆形/卵形轮廓的“反挤压(negativeextrusion)”进行设计/建模的,该两个独立的相对弧(半圆)F1和F2由它们的中心O1和O2与半径以及中心之间的距离d1进行表征。识别器模块20A分析/处理这些CAD数据以选择与测量类型/要求、类型/要求相关的任务过程,即测量F1和F2的半径和选定弧的两个中心O1和O2之间的距离。因此,识别器模块20A分析CAD模型数据并识别用户输入,以及生成指示检查任务和相关联的感兴趣区域的数据。因此,在该示例中,检查任务数据是基于伴随包括从预定义列表中选择过程的用户输入的输入CAD数据来提取/创建的。
此外,在该示例中,感兴趣特征F1和F2是通过物品上的元件80的部分/片段(fragment)构成的。应当理解,在一些其他示例中,特征可以由整个元件构成。
在本发明的一些其他实施例中,检查任务由用户根据参考图像(即,2D或3D图/图像数据)定义。可以预先准备和存储这样的参考图像,以供用户用于定义检查任务;或者可以在初步检查阶段获取。例如,用户可以在被光学检查系统照射的物品中的实际感兴趣区域上选择参考点,以及然后从定义光学检查系统需要提供的测量数据的类型的预定义任务列表(如上所述)中选择一个或更多个任务。
如上所述,对在实际感兴趣区域上的参考点的选择可以以多种方式实现。这些可能的方法之一利用实际感兴趣区域的初始(初步)3D成像(例如,使用利用结构光照射的单次曝光成像)和用户对该3D图像上的参考点的选择。例如,图6B以不言自明的方式示出了这些参考点的选择和任务类型的选择。
在一些其它示例中,实际感兴趣区域的初始3D图像/图是通过检查系统本身执行初步成像会话以创建或更新初始物品相关数据而获得的,并且该3D图像/图随后被用作输入数据D输入的至少一部分以用于确定检查任务数据ITD。例如,过程阶段检查的这种初步检查会话可以利用扫描模式成像,(例如用单线图案扫描相机的整个视场)。
无论获得3D图的成像模式如何,用户都可以在该3D图上选择参考点,且然后从这些任务的预定义列表中指定检查任务。在又一示例中,可以通过控制系统的用户界面向用户提供感兴趣物品/区域的实时2D图像,并允许用户执行选择。在过程阶段成像过程中,用户对参考点的选择可通过光学检查系统辅助。例如,这可以在使用单个点图案作为指针以选择参考点的扫描模式成像中实现。如下文将参考图10A-图10C进一步更具体的描述,照射点的三角化图像辅助用户识别参考点的实际高度(第三维度)。
如上所述,在本发明的一些实施例中,控制系统操作以根据CAD模型自动地定义/识别检查任务,而无需额外的用户输入。在非限制性示例中,CAD数据包括(例如,由创建CAD模型的机械工程师指定的)所有关键尺寸。在这种情况下,识别器模块20A选择相关感兴趣特征,并定义所需的检查任务。
转回到图5,(例如,由上述任何示例提供的)检查任务数据ITDij被分析,并且对应的选定属性组GAj被提供(从包括几何相关属性和光学特性相关属性的预定属性集合中选择)-(步骤106)。对检查任务数据ITDij的分析包括分析嵌入检查任务数据ITDij中的几何数据,以定义包括几何基元(如孔、销、球、盒、光栅结构等)的选定属性组GAj
应该注意的是,在其他一些示例中,选定几何相关属性组GAj可以包括元件或其片段的边缘/陡壁方向(cliff direction)和梯度。例如,如果检查任务还包括验证/检查表面平坦度/粗糙度、和/或相似元件的这些特性之间的差异,则选定属性组GAj也可以包括光学特性相关属性,例如表面部分的反射率。
因此,为了注意对优化检查计划的选择,分析选定的感兴趣特征并将其细分/转换成几何基元(例如孔、销、球、盒、壁、边、光栅结构等)。考虑到自动检查(例如,检查在生产线上行进的物品),感兴趣特征到属性组的这种转换以及对根据感兴趣特征/区域的检查计划的确定可以一次性执行(作为配方的一部分或在应用设置阶段期间)。例如,当CAD模型被用于选择感兴趣特征(在用户的辅助下或完全自动地,如上所述)时,一次确定的属性组随后被包括在更新的CAD模型中以用于进一步的自动检查过程,从而选择相同或不同的检查计划来服务于相同或不同的检查任务。通常,该转换过程要么执行一次,或者要么每次基于初始3D图像或高度图来执行。
对于每个感兴趣特征(元件)或其片段的光学特性相关属性组(反射率/透明度相关参数),这也可以从初始3D图像/图中估计,例如通过分析检测到的反射光的强度和(即,基于初始物品相关数据的)预期强度之间的关系,或者从CAD模型中的材料/表面抛光度的定义来估计。
指示选定属性组GAj的数据(视情况可能与表征给定光学检查系统OISi的光学数据一起)然后被用于创建对数据库系统的请求数据RDij(步骤108)。请求数据可以直接被传送到管理数据库32存储系统30(步骤110),如上文参考图2所述;或者可以先存储以备以后使用。
在存储系统30处的管理器设施34操作以自动选择至少一个检查模式数据IMDij(该至少一个检查模式数据IMDij被准备/格式化以用于与控制系统通信)来被控制系统的10的计划模块20C接收(步骤112)。检查模式数据IMDij可包括指示在检查会话期间要使用的一个或更多个光参数(照射图案、照射光斑形状、照射强度和/或光谱)和/或扫描密度和/或扫描轴取向的数据。基于检查任务数据,对该检查模式数据进行分析,以及生成(步骤114)待由给定的光学检查系统执行的最优检查计划数据IPDij
检查计划数据IPDij包括选定光图案的序列,以及可能还包括光图案的可变取向,检查计划数据IPDij然后可以(被操作控制器28)用于管理/控制检查系统在同时考虑所有检查任务和所有感兴趣特征的时候对选定的感兴趣区域执行检查计划的实施。
对最优检查计划数据的确定是以最小化获取时间和避免不同图案之间的干扰为目标的。例如,在某些情况下,如果选定光图案中的两个或更多个光图案被投影到检查系统的视场的不同部分上,则它们可以同时被投影。在其他情况下,如果不同的检查任务需要,可能需要使用不同的光图案来执行不同的扫描,以检查相同感兴趣特征。检查计划数据IPDij可与相应感兴趣区域的坐标系有关地/相关联地存储在控制系统的存储器中和/或相关联的光学检查系统的存储器中。
参考图7,其通过框图的方式,示出了用于适用于利用本发明的原理的光学检查系统OIS的可能的实现方式的主要功能部分。光学检查系统OIS包括成像系统72,该成像系统72包括一个或更多个施照体74(本文有时称为扫描仪或投影仪),该一个或更多个施照体定义用于照射被检查物品上感兴趣区域的一个或更多个照射通道IC;以及一个或更多个成像器(光检测器/相机)76,该一个或更多个成像器定义用于检测被照射区域的至少一部分的光响应并生成指示检测到的光响应DLR的数据的一个或更多个检测通道DC。
在光学检查系统中还提供了控制单元78,该控制单元78有处理器(图像处理器)78A,该处理器被配置并可操作以基于检查计划数据IPD处理检测到的光响应DLR,并生成测量数据MD,该测量数据MD指示由检查计划数据IPD定义的一个或更多个参数/条件(例如,分析投影图案的反射的序列,以获得关于被检查部分的3D信息)。光学检查系统OIS被配置并可操作以使用结构光执行检查会话。因此,施照体74被配置为用于将光图案投影在被照射的一个或更多个感兴趣区域上的投影仪。
如图所例示,光学检查系统OIS可包括上述控制系统10或可与上述控制系统10进行数据通信。如上所述,由光学检查系统OIS执行的检查会话旨在执行如上所述提供的检查计划。为此,操作控制器28被使用来(作为光学检查系统OIS的一部分和/或控制系统10)根据检查计划数据IPD控制检查计划的执行,检查计划数据IPD又基于光学检查系统的光学配置数据。操作控制器28包括图案生成器模块28A(或扫描控制器),该图案生成器模块28A(或扫描控制器)由主任务控制器28B配置并可操作,以根据检查计划数据(优化的检查计划数据)生成光图案。
又如上面提到的和图中所示,光学检查系统可以与监视器26相关联,分析由控制单元78提供的测量数据MD以及生成指示检查结果IR的输出数据。后者然后可由控制系统10进一步分析,以用于更新检查任务数据和/或更新/优化CAD数据和/或更新/优化数据库的目的。
参考图8A和图8B,图8A和图8B以不言自明的方式示出了检查系统80的配置和操作的两个具体但非限制性的示例,检查系统80包括成像系统72和控制系统10。
在图8A的示例中,控制系统10被实现为嵌入式模块化系统(SOM),其运行成像系统72的操作序列,生成光图案的序列并管理投影仪的控制器,管理相机模块,从相机模块读出图像,执行图像处理算法并返回检查结果。在该示例中,允许成像系统进行应用设置的应用开发软件在外部PC上运行,并且嵌入式SOM经由允许本地连接(on premises connection)和/或经由云的连接的混合web接口连接到外部PC。
在图8B的示例中,外部控制PC用于运行成像系统的操作序列,并生成光图案的序列以及管理投影仪的控制器,管理相机模块,从相机模块读出图像,执行图像处理算法,返回检查结果,以及(可选地)运行用于成像系统进行应用设置的应用开发软件。在这种情况下,控制PC(控制系统10)可以与一个以上的成像系统并行操作。控制PC经由混合web接口连接到工厂IT(本地或在云上)。
在上述两个非限制性示例中,数据库32是在远程存储系统处进行维护的,由控制单元经由web服务器(webserver)访问。又如图所示,控制单元10将测量数据或测量数据分析(检查结果)返回提供到管理数据库的中央系统,以便经由机器学习过程来更新/优化数据库。然而,应当理解,本发明不限于需要与远程数据库系统通信的这种示例。整个数据库或其至少一部分(例如,与几何特征属性相关联的检查模式数据块)可以由控制单元10的内部存储器存储和管理,以及数据处理器适当地与该内部存储器通信,向内部存储器请求检查模式并从其接收检查模式。
如上所述,给定光学检查系统OIS的光学配置数据是通过以下项定义的:照射通道IC的数量(即光图案投影仪的数量);光学检测通道DC的数量;照射和检测通道相对于检查平面的位置;照射通道和检测通道之间可能的相对取向;以及光学检查系统的施照体和检测器的各种特性。
通常,适于实现上述本发明原理的成像系统可以包括至少一个投影仪/施照体和至少一个成像器/相机,并且优选地包括至少两个投影仪和/或至少两个相机。投影仪优选为2D投影仪(即,可以引导它在2D表面上输出光)。这样的2D投影仪可以利用空间光调制器(SLM)、数字光处理器(DLP)或扫描镜(例如,MEMS、Galvo等)。
本发明在其另一方面提供了一种用于配置和操作成像系统的新颖方法,该方法可以有利地用在实现本发明的上述方面的原理(即,自适应检查计划)的光学检查系统中。
在本发明的成像系统的一些实施例中,它包括:一个或更多个2D投影仪,每个2D投影仪与两个或多个相机相关联;或者一个或更多个相机,每个相机与两个或多个投影仪相关联。优选地,相机和投影仪(或投影仪和相机)被布置成三角形配置。当系统处于操作中时,多个投影仪的视场(FOV)优选地在感兴趣区域所在的检查平面中的区域上重叠(至少部分地重叠)。从相机到多个投影仪的距离,以及在投影仪与多个相机之间的距离可以相同,或者也可以不相同。
在多个投影仪和/或多个相机的这种实施例中,即,共享是施照体或检测器的至少一个公共单元的多个施照体-检测器对,提供多对照射-检测通道。每个施照体-检测器对定义基线向量,并且施照体和检测器的布置使得具有公共单元的照射-检测器对的基线向量定义基线向量相对于彼此的预定取向。
在一些实施例中,投影仪和相机的布置可以使得它们的基线向量近似/基本上垂直。更具体地说,将投影仪连接到一个相机(即,连接其操作中心)的线近似/基本上垂直于将所述投影仪连接到另一个相机的线,并且关于将相同的相机连接到不同的投影仪也是如此。换句话说,每一对照射-检测通道定义在照射和检测通道的中心之间的向量,该向量相对于由共享至少一个公共元件/单元的其他照射-检测通道定义的向量近似/基本上垂直。
这种近似/基本上垂直的基线向量的条件与以下情况相关联:
假设投影仪不在扫描模式下操作(即,光束(激光束)不移动并且“陷(stuck)”在单个位置上),光束照射目标表面上的单个点,并且被照射的点在相机上成像为单个点。当目标表面改变其高度(Z定位),即存在表面浮凸(relief)时,被照射的点的图像在相机上沿直线(对极线(epipolar line))移动。这符合对极几何学的原理(这些原理通常是已知的,且不需要具体描述)。
考虑使用2D投影仪,它的输出可能不是一个单一的点,而是一条直线。对于被照射的线上的每一个点,相机上存在一条对极线。如果这些对极线相同,将很难检测和定位目标高度变化,因为相机将“看到”相同的线。如果两个相机与普通2D投影仪一起使用,并且它们的布置满足基线向量的“近似/基本垂直”的条件,这样的问题就被消除了,因为由2D投影仪创建/照射的每一条线对于至少两个相机中的至少一个相机来说提供高度灵敏度。因此,本发明的成像系统的这种配置优化了提取被检查的区域的3D信息的系统能力。
参考图9A-图9H,图9A-图9H示出了成像系统的配置和其中的光传播方案的一些特定但非限制性示例(元件的俯视图/平面图上的投影)。为了便于说明和理解,分别在图9A-图9F中的成像系统72、172、272、372、472、572的功能元件通过相同的参考标号/符号来进行识别,在所有示例中它们是相似的。
在图9A,成像系统72包括:两个投影仪/施照体74A和74B,它们各自能够在被检查的部分/区域上投影光图案;以及一个相机(检测器)76。两个投影仪和相机分别定义两个照射通道和检测通道的大致的传播轴。相机76以及投影仪74A和74B以三角形配置进行布置。相机76以及投影仪74A和74B被布置成使得它们的基线向量V(76-74A)和V(76-74B)近似/基本上垂直。
上述基线向量的“近似/基本垂直”的条件规定,如果由投影仪74A投影的2D光图案与基线向量V(76-74A)平行且因此很难从被照射的图案的检测到的光响应中提取3D信息,那么可以从被投影仪74B照射的图案的检测到的光响应中提取相关的3D信息。类似地,如果投影仪74B的照射图案平行于V(76-74B),则从被投影仪74A照射的图案的检测到的光响应中提取3D信息。如果投影仪74A和74B的每个图案不平行于任何基线向量V(76-74A)和V(76-74B),则可以从两个图案的组合中提取3D信息。
图9B示出了稍微不同的成像系统172的示例。根据该示例,成像系统172包括:一个投影仪74,该投影仪74能够在物品的被检查部分/区域上投射光图案;以及两个相机76A和76B,该两个相机76A和76B采用三角形配置进行布置,以及基线向量V(74-76A)和V(74-76B)近似/基本上垂直。类似于上面的示例,如果投影的图案平行于基线向量V(74-76A),则难以从该相机的图像数据提取3D信息,且在这种情况下,可以从相机76B的图像数据中提取相关的3D信息,以及反之亦然。如果投影图案不平行于两个向量V(74-76A)和V(74-76B),那么可以从两个相机的图像数据中提取3D信息。
在图9C的示例中,成像系统272包括一个投影仪74,该投影仪74与四个相机76A、76B、76C、76D相关联。投影仪和四个相机被布置成使得两对相机中的每一对与投影仪一起形成三角形配置,并且相应基线向量近似/基本上垂直。更具体地说,这些是向量对V(74-76A)、V(74-76B)和V(74-76C)、V(74-76D)。然而,对于向量V(74-76A)和V(74-76D)可能需要或者也可能不需要这样的条件。在该示例中,相机76A和76C安装在投影仪74的不同侧面,以避免或最小化来自被检查部分/区域上的3D形状的阴影。类似地,相机76B和76D沿垂直于第一轴的第二轴安装,以避免或最小化垂直方向上的阴影。
图9D例示了成像系统372,其中一个相机76与四个投影仪74A、74B、74C和74D相关联。这四个投影仪和一个相机的安装和取向如上所述,如在图中清楚所示。这里,近似/基本垂直的条件与向量对V(74A-76)、V(74B-76)和V(74C-76)、V(74D-76)相关,而对于向量V(74C-76)和V(74B-76)不一定相关。在本示例中,投影仪74A和74C安装在相机76的不同侧面,以避免或最小化来自被检查部分/区域上的3D形状的阴影。类似地,投影仪74B和74D沿垂直于第一轴的第二轴安装,以避免或最小化垂直方向上的阴影。除了避免阴影之外,这种配置还允许通过在投影仪之间实施交错模式(interlacing mode)来更快地扫描。
图9E例示了成像系统472,其具有投影仪74A、74B和相机76A、76B的所谓的矩形配置。这里,这样的“几乎垂直”向量是:向量V(74A-76A)和V(74A-76B);向量V(74B-76A)和V(74B-76B);以及V(74A-76B)和V(74B-76B)
这种配置可能允许投影仪(74A或74B)和相机(76A或76B)的最佳组合,解决了基线向量垂直约束和阴影最小化(针对来自被检查部分上的3D形状的阴影)。而且,通过这种配置,当投影仪74A和74B的视场不重叠时,可以使用扫描角度窄的投影仪。
图9F示出了成像系统572的最简单配置,其利用单个投影仪74和单个相机76。尽管该配置对于提供照射通道和检测通道之间的各种相对取向可能不那么灵活,但对于不需要解决关于一个方向上的基线向量垂直度约束的应用,它可以为自适应和选择性3D成像系统提供成本有效的解决方案。
投影仪(被配置用于投影光图案的施照体)可以是任何已知的合适配置。考虑到在成像系统中使用一个以上的投影仪,它们通常可以具有相似或不同的配置/类型。
在以上例示的包括至少一个投影仪和至少一个相机的成像系统的任何配置中,本发明还有利地提供基于例如借助于具有至少一个快轴或关于至少一个快轴可操作的MEMS等进行2D图案的“动态”投影来使用2D投影仪。
例如,2D投影仪可以包括谐振或光栅2D MEMS扫描镜,以及与至少一个激光源、激光驱动器IC和电源管理IC相关联的MEMS控制板。通常,可以使用3-4个激光源(RGB和IR)。来自光源的激光束被引导到2D投影仪(即扫描镜)上,扫描镜将它们反射到被检查的区域。扫描镜快速移动,允许在被检查区域上创建光图案。例如,为了允许高速检查,可以使用类似于微微投影仪(pico projector)的基于谐振MEMS的反射镜。在其典型频率为>10kHz时,基于谐振2D MEMS的反射镜的一个轴是快轴(谐振),在其典型频率为大约1kHz时,垂直轴是一个慢速光栅扫描轴。因此,与用沿MEMS扫描仪的慢轴的行扫描序列相比,沿快轴的行扫描序列明显更快。
成像器/检测器可以是任何已知的合适类型。在一些实施例中,优选使用具有多个动态重新定位的感兴趣区域(MROI)的相机。这允许(与整个帧的读出相比)明显更快的读出和数据传输。一些CMOS相机允许将读出的方向从行改变为列。将多个ROI读出与切换读出方向的能力相结合,对于优化的感兴趣区域,可以显著提高(大约10倍)典型的帧速率。
通常,相机可以被配置为RGB、单色、NIR、IR和高光谱。例如,可以使用具有静态的多个感兴趣区域的CMOS相机,但在某些情况下,它可能会稍微降低传感器的性能。根据另一示例,可以使用没有多个感兴趣区域的CMOS相机或CCD相机(尽管这降低了传感器的性能)。
在一些实施例中,本发明利用基于MEMS的投影仪和具有MROI的相机。这允许对被照射图案的选定部分成像。
例如,谐振或光栅2D MEMS型投影仪可用在上述图9A和图9D的包括至少两个投影仪和至少一个相机的成像系统72和172中。在图9D的系统配置中,如箭头所示,投影仪74B和74D的扫描方向相对于投影仪74A和74C的扫描方向旋转90度,使得投影仪74A和74C的快速扫描轴垂直于投影仪74B和74D的快速扫描轴。类似地,在图9A中例示的系统配置中,投影仪74A和74B的扫描方向彼此垂直。
上述方法的原理在图9G中被示意性地示出,图9G示出了一个成像系统,其中一个相机76与用于投影2D光图案的四个投影仪74A、74B、74C和74D相关联。每个投影仪至少有一个快轴,一般标记为FA。相机和投影仪被布置/定向成使得每个投影仪的快轴近似/基本上垂直于相机和所述投影仪之间的基线向量。
上述配置可以显著提高检查会话的速度。在常规扫描仪中,当扫描整个视场时,扫描仪的操作通常受到投影仪的慢轴频率(大约30FPS)的限制。然而,当根据检查任务优化扫描序列时,在优化扫描序列时考虑光图案的方向。在这方面,应该理解,扫描序列是连续应用的不同图案和相机的读出模式的序列。基于图案的方向选择具有最佳快速扫描轴取向的投影仪。根据使扫描图案与不同投影仪的快轴取向同步的能力,扫描速度可以提高高达100倍。在这种情况下,CMOS相机成为整个传感器扫描速度的限制因素。但如果使用具有多个ROI和可变读出方向(行/列)的CMOS相机,则总体速度可提高约10倍(这取决于ROI优化)。
应当注意,本发明的原理不限于上述例示的“垂直条件”,以及也不限于具有任何快轴的2D投影仪。
图9H示意性地示出其中由公共投影仪74与三个相机76A、76B和76C相关联形成多个施照体-检测器对的系统配置的示例。照射-检测器对的基线向量具有相对于彼此的预定取向。
如上所述,由数据库的管理器提供的检查模式相关数据IMDij被选择以匹配指示选定属性组GAj的请求数据以及给定检查系统OISi的光学配置数据OCDi。选定属性组GAj又是基于由检查任务数据定义的与特征相关的数据进行选择的。
如上所述,计划模块分析检查模式相关数据以及还分析关于一个或更多个特征的检查任务数据,并生成最佳检查计划数据。例如,优化在于检查计划包括在相同检查会话中对多个特征的检查,例如测量一个或两个特征的一些参数以及还测量这两个感兴趣特征之间的距离。如果要对属于不同感兴趣区域的多个感兴趣特征执行检查计划,并且在所述感兴趣区域之间的相对定位从一个检查到另一个检查可能有改变,则对每个这样的区域单独执行对齐过程,并且检查计划数据包括与区域间位移相关的数据。此外,可以确定检查计划以能够测量/检查相同特征的更多的参数(例如,测量孔的直径和检查孔的形状)。而且,检查计划数据利用由数据库提供的选定光图案的配置,并且还考虑检查系统的成像配置。例如,针对对齐过程,优化初始光图案。例如,对于具有光滑表面的感兴趣区域,可以使用初始条纹图案,而对于具有锐边的区域,可以使用象棋线图案。根据本发明,可以基于在设置阶段期间(根据CAD或参考图像)执行的高度估计来自动调整包括但不限于图案频率和不同光图案之间的距离的光图案参数。
控制系统可以分析检测到的光响应(顺序投影的光图案的反射图像),以便在以下6个维度中定位感兴趣区域:X、Y、Z和关于所有三个轴的旋转。
例如,图9I和图9J例示了当投影线垂直于边缘时,使用线断点对锐边进行对齐。图中示出了将棋线图案投影到感兴趣区域(感兴趣特征)上的图像,使得能够发现线断点以准确识别盒状物边缘。垂直边缘的线断点在由其相应检测通道的一个取向表征的一个相机上被更好地看到(图9I),而水平边缘的线断点在具有其检测通道的不同取向的另一个相机上被更好地看到(图9J)。
应当注意,为了解决视场中任何边缘的对极约束,可以使用具有多个投影仪(图9A或图9D)或多个相机(图9B、图9C或图9H)的配置。当感兴趣区域被精确定位时,可以在系统坐标中定位任何参考点或感兴趣特征,并且可以基于检查计划中的扫描数据将光图案投影到正确的定位上。
以下是对通过光学检查系统的给定配置来确定检查计划数据的一些具体而非限制性示例的描述。
图10A-图10C例示了对物品上包含是具有平坦矩形顶表面PS的垫的选定特征F的感兴趣区域的检查计划的确定和实现。初始物品相关数据包括指示以下项的数据:(i)特征F的配置:几何结构(垫具有矩形顶表面,它是平坦的,并且接近平行于基平面,即物品的基底);以及(ii)特征F的初始位置数据(相对于特定对齐特征的近似X、Y、Z位置)。检查任务数据包括对所述特征F的精确Z轴高度的确定。
本发明的(如上所述配置的)控制系统操作以分析关于特征F的检查任务数据,并创建相对应的配方以进一步由给定光学检查系统使用。为此,控制系统识别特征相关数据并将其转换为选定属性组,即基础形状。在这个具体示例中,基础形状描述是平行于Z轴的矩形表面。基础形状数据与光学检查系统相关数据(光学配置数据或分配给相应配置数据的系统ID)一起用于生成对数据库的管理器的请求数据,数据库的管理器从数据库中选择定义检查模式相关数据的相应光图案数据。在该具体示例中,选定光图案数据包括将要投影到垫的顶面上的包含若干个点D的网格G1的单个帧图案序列(图10B)。控制系统分析关于选定光图案的该数据,并生成指示用于光学检查系统的最佳检查计划数据的数据,以定义相应配方。该分析包括将投影的图案居中于特征的中心,确定关于每个点的投影角度,以及为立体声耦合分配点(图10C)以与相机一起使用,用于收集指示垫的Z定位的相应图像数据。然后,可以(例如通过光学检查系统的控制单元)进一步处理图像数据以生成对应于检查任务数据的相应测量数据。为此,确定每个点的精确X、Y、Z定位,并且将垫的Z定位确定为点Z的平均值。
参考图11A-图11C和图12A-图12C,图11A-图11C和图12A-图12C例示了关于与相同(或类似)特征/元件F相关联的另一检查任务的检查计划的创建和实现的技术,该特征/元件F是具有平坦矩形顶表面的垫。在该示例中,初始物品相关数据包括指示以下项的数据:(i)特征F的配置:几何结构(具有平坦顶表面的垫);以及(ii)特征F的初始位置数据(所述平坦表面的边界相对于特定对齐特征的近似X、Y、Z位置)。检查任务数据包括对特征F的所述平坦表面的XZ角和YZ角的确定。
本发明的(如上所述配置的)控制系统操作以分析关于特征F的检查任务数据并建立相对应的配方以供给定光学检查系统进一步使用。为了创建配方的目的,控制系统基于检查任务数据生成描述该特征F的选定属性组,即,基础形状。在这个具体示例中,基础形状描述是平坦表面。基础形状数据与光学检查系统相关数据(光学配置数据或分配给相应配置数据的系统ID)一起用于生成对数据库的管理器的请求数据,数据库的管理器利用该请求数据从数据库中选择定义检查模式相关数据的相应光图案数据。在该具体示例中,选定光图案数据包括间隔开的平行线L的网格G2。控制系统(计划模块)分析光图案数据和检查任务数据,并确定将被包含在配方数据中的相对应的检查计划数据,定义最佳光图案施加顺序。在本示例中,这是两个帧的序列,分别如图11A-图11C和图12A-图12C所示,其中覆盖顶表面的网格线分别沿X轴和Y轴施加(图11A-图11B和图12A-图12B)。更具体地说,对于第一帧获取(图11A-图11C),覆盖顶表面的平行线L的网格G2形式的光图案由第一投影仪生成,使得所述线平行于所述第一投影仪快轴的快轴;以及对于第二帧获取(图12A-图12C),这些线(在使用两个投影仪的情况下)垂直于所述第一投影仪的快轴,或平行于第二投影仪的快轴。在图11C和图12C示出了在顶表面上的相应网格图像,其中图像中两个图案之间的角度(即,线旋转角)与顶表面角成正比。因此,如此创建的图像数据指示表面角度。为了确定表面角度,根据检查任务,使用关于顶表面的边界相对于对齐特征的近似X、Y、Z位置的初始数据(先验知识)来确定线的位置;确定关于每条线的线角,并根据平均线角确定表面角度。第一帧图像数据可用于确定XZ角,以及第二帧图像数据可用于确定YZ角。
参考图13A-图13C,图13A-图13C示出了发明技术的另一个示例。在此示例中,类似的垫型特征F是感兴趣的(图13A)。然而,检查任务与对垫的顶表面PS的拐角C的确定相关联。初始物品相关数据包括指示以下项的数据:(i)特征F配置:几何结构(垫具有多边形顶表面);和(ii)拐角曲率中心相对于特定对齐特征的X、Y、Z位置,如图13B所示。检查任务数据包括对表面的XY拐角的半径的确定。
本发明的(如上所述配置的)控制系统操作以分析检查任务数据,并创建包括检查计划数据的相对应的配方,以供给定光学检查系统进一步使用。为了创建配方的目的,控制系统基于检查任务数据生成描述特征F的选定属性组,即基础形状。在这个具体的示例中,基础形状描述是具有多边形几何形状的平坦表面。基础形状数据与光学检查系统相关数据(光学配置数据或分配给相应配置数据的系统ID)一起被用于生成对数据库的管理器的请求数据,数据库的管理器利用该请求数据从数据库中选择定义检查模式相关数据的相应光图案数据。在该具体示例中,选定光图案数据包括单线L。控制系统(计划模块)分析光图案数据和检查任务数据,以及确定相对应的配方数据,定义最佳光图案施加序列。在本示例中,这是多帧序列——在图13C中例示的三个这样的帧R1、R2、R3,其中每个帧包含单线L,该单线L穿过拐角曲率中心(基于所述中心的已知位置),但与序列中的其他帧相比具有不同的斜率。这样获得的图像数据能够确定拐角曲率半径。为此,获得在3D边缘处出现线断点LB的位置,以及所获得的断点与圆的轮廓近似,从而获得其半径。
参考图14A-图14C,图14A-图14C示出了本发明的技术如何可用于物品检查的一个更具体但非限制性的示例。在这个示例中,感兴趣特征与两个元件(垫)相关联,这两个元件(垫)在它们的面对的表面F1和F2之间具有一定的距离,而检查任务的目的是确定这两个表面之间的距离。初始数据包括:(i)两个面对的表面的配置(已知这些面对的表面相对于彼此平行);(ii)所述表面的位置及其相对于对齐特征的近似高度;以及(iii)所述平行表面相对于对齐特征的取向。
本发明的控制系统分析检查任务数据和初始数据(先验知识),以及创建相对应的配方,以供给定光学检查系统进一步使用。为了创建配方的目的,控制系统基于检查任务数据生成描述特征F的选定属性组,即,基础形状。在这个具体的示例中,基础形状描述是一对间隔的平行壁。控制系统与数据库的管理器通信,并从数据库的管理器接收指示匹配光图案的数据,在本示例中,光图案是沿着X轴延伸并且沿着Y轴间隔开(图14B)使其垂直于壁(图14A)的平行线L的网格G3的形式。控制系统的计划模块分析光图案数据并生成配方,该配方包括定义图案序列的检查计划数据,在本例中,该图案序列是施加的单帧图案序列,使得网格覆盖壁之间的空间并还与壁的平面相交。相对应的图像在图14C中示出,图14C清楚地示出了在每条线与壁的平面的相交处的断点LB。该图像数据可用于通过确定每条线上的断点的XYZ定位来确定两个垫之间的距离,确定这些断点之间的距离,并将壁之间的距离确定为关于所有线的断点之间的平均距离。
参考图15A-图15B,图15A-图15B示出了本发明的技术的又一示例。在该示例中,感兴趣特征F与小(短)垫相关联,该小(短)垫具有在它的两个相对的(左和右)面/侧S1和S2之间的短的顶表面PS,而检查任务的目的是确定垫在物品中的位置。初始数据(先验知识)包括:(i)特征(在两个相对侧之间的短壁)配置;(ii)壁相对于对齐特征的取向;以及(iii)壁相对于对齐特征的近似位置。检查任务是找到壁的左右两侧S1和S2的精确位置。
本发明的控制系统分析检测任务数据和初始数据(先验知识),生成相对应的配方,以供给定光学检查系统进一步使用。为了创建配方的目的,控制系统基于检查任务数据生成描述特征F的选定属性组,即,基础形状。在这个具体示例中,基础形状描述是一对间隔的平行表面。控制系统与数据库的管理器通信,并从数据库的管理器接收指示匹配光图案的数据,在本示例中,光图案是单线L图案的形式。控制系统的计划模块分析光图案数据并生成配方,该配方包括定义图案序列的检查计划数据,在该示例中,图案序列是多帧序列,其中在每帧中,图案包括(根据先验知识)“扫描”近似位置的区域的正好一条短线,并且该线垂直于壁的取向。应该要理解的是,对于短壁特征,其中在该壁周围的区域是空的,位置公差不允许精确的投影仪线定位在壁上。因此,壁的左右两侧的精确位置将被找到。在这样的多帧检查会话(本示例中为四帧会话)期间收集的图像数据在图15B中示出,图15B示出了逐帧线移动,其提供关于线断点LB的信息。该图像数据可以被用于确定感兴趣的顶表面的相对侧壁的位置。图像数据分析包括识别是否断线。没有断线指示没有壁的存在。当识别出断线时,“折断的线段”的定位被记录为壁的位置,这可以用来提供所需的输出。
参考图16A和图16B,图16A和图16B示意性地示出了一些可能的实施例的又一示例性扫描技术。在这个非限制性示例中,感兴趣特征F与小(短)垫相关联,该小(短)垫具有在其两个相对的(左右)面/侧S1和S2之间的短顶壁表面,而检查任务的目的是确定垫在物品中的位置。初始数据(先验知识)包括:(i)特征(在两个相对的面/边S1、S2之间的短顶壁PS)的配置;(ii)壁PS相对于对齐特征的取向;以及(iii)壁PS相对于对齐特征的大致位置。检查任务是找到壁PS的左右面/侧S1和S2的精确位置。
控制系统(10)分析检测任务数据和初始数据(先验知识),以及创建相对应的配方,以供给定光学检查系统进一步使用。为了创建配方的目的,控制系统基于检查任务数据生成描述特征的选定属性组,即,基础形状。在该具体示例中,基础形状描述包括一对间隔的平行表面。控制系统与数据库的管理器通信,并从数据库的管理器接收指示匹配光图案的数据,在本示例中,光图案包括单个照射线图案L,该单个照射线图案L垂直于侧/面S1和S2的取向。照射线图案L也被分成多个段,一些是实心连续的照射线,而其他的是分离照射点。控制系统的计划模块(20C)分析光图案数据并生成配方,该配方包括定义照射图案序列的检查计划数据,在本示例中,该照射图案序列是多帧序列,其中在每个帧中,图案包括连续照射线或沿着假想连续的线L的单个照射点。这样的帧序列是基于时间的编码方案,其允许沿着扫描线L的不同段(段可以是点或连续线)之间分离。使用这种编码方案在求解被扫描的目标的3D定位时允许更严格的约束,这反过来导致更好的扫描分辨率。
因此,壁PS的左右两侧S1、S2的精确位置将被找到。在这样的多帧检查会话(在该具体示例中为12帧)期间收集的图像数据在图16B中示出,图16B示出了逐帧单点移动,提供了关于线断点LB的信息。该图像数据可用于确定感兴趣的顶表面PS的相对侧壁S1、S2的位置。图像数据分析包括识别照射点是否在特定定位处断开。没有照射点断开指示在特定的照射点位置处不存在壁(例如S1)。当识别到照射点断开时,“断开的线段”的定位被记录为壁的位置,这可以用来提供所需的输出。
图17A到图17E示出了利用根据本发明的用于检查对象的不同图案化的区域中的元件/特征的最佳检查模式/计划所获得的改进结果。图17A示出了对象OB的透视图,其中包括要根据检查任务进行检查的元件。这些元件包括由第一多个间隔开的平行壁特征(突起)W1形成的第一图案化结构以及由第二多个间隔开的平行壁特征(突起)W2形成的第二图案化结构。突起W1和W2沿不同的轴A1和A2(例如垂直轴)延伸。
图17B和图17C示出了利用相同的检查模式对对象OB的所有壁特征W1和W2进行成像所获得的图像。在这种检查模式下,使用沿轴SA的相同的扫描方向。该扫描轴基本上垂直于特征W2的轴A2,特征W2对应于如“长薄壁”的特征/元件的最优检查模式,从而特征W2的图像足以确定第二图案化结构的参数。但是,扫描轴SA不适合检查长薄壁W1,且从所获得的包括多条阴影线的第一图案化结构的图像中可以明显看出这一点,所述多条阴影线实质上损害了对在对象OB的表面上的壁特征W1的实际位置的检测。
图17D和图17E示出了利用不同检查模式获得的符合在第一图案化结构和第二图案化结构中的壁特征W1和W2的取向的图像,即,利用不同的扫描轴SA1和SA2来对分别垂直于壁的特征W1和W2的第一图案化结构和第二图案化结构进行成像。如在图17D和图17E所见到的,利用包括这种不同的检查模式的检查计划提供显著改进的区分阴影和壁W1和W2的特征线的能力。
图18A和图18B例示了用常规方法(图18A)和用本发明的技术(图18B)获得对同一对象的检查结果。如从图18A上看到的,当以均匀的扫描密度扫描整个物体时,一些具有小特征的图案不能正确成像。如在图18B看到的,根据本发明确定的检查计划包括用于检查对象的特定区域的一个或多个不同扫描密度,该一个或多个不同扫描密度不同于对周围区域的扫描密度。这使得能够以相对低的分辨率(扫描密度)扫描整个对象,并且能够对于对象的选择区域切换到期望的高扫描密度模式,从而揭示选定特征的附加信息。使用如此高的扫描分辨率来检查整个对象将消耗时间和资源,而较低的扫描分辨率不能提供如在图18A所示的所需结果。
图19A和图19B还例示了本发明的技术。在该示例中,检查计划包括使用不同的检查模式来检查三个不同的特征(垫)F1、F2和F3。这些检查模式在照射强度方面是不同的。
特征F1利用沿轴S1的线进行扫描,这是因为要测量对象宽度。应该注意的是,对象仅一部分被扫描,因为宽度测量可以通过对象的一部分进行平均。
特征F2和F3首先利用沿轴S1的线进行扫描,以及然后利用沿着轴S2的线进行扫描(扫描组合),以便获得关于宽度和长度测量的良好分辨率。
相比于特征F2,特征F1和F3以更高的照射功率进行扫描(图中未示出),因为它们位于视场的边缘,且因此与成像设备的距离更大。
在未具体示出的一些其他示例中,检查任务可以旨在确定表面部分上至少一个3D凸起的存在,该表面部分可以是物品基底上感兴趣区域的表面或物品上有源元件(例如,垫状元件)的顶表面。为此目的,初始物品相关数据包括指示所述表面部分的边界位置的数据。在这种情况下,选定基元组包括多边形平坦表面,并且从数据库接收的选定光图案数据包括以其相位为特征的条纹状图案。控制系统结合检查任务数据对光图案数据进行分析,并创建相对应的配方。例如,该配方定义至少三个帧图案的形式的图案序列,其中每个图案是具有不同于其他帧的相位的条纹。然后可以处理图像数据以从条纹建立高度图,并识别所述高度图是否对应于一个或更多个3D凸起的存在。
在另一示例中,物品检查任务可以旨在识别感兴趣区域在其表面上是否包含任何特征/元件。初始数据指示所述表面在特定波长(或波长范围)的反射率。在这种情况下,控制系统将特征(反射表面)转换成与光学特性相关的基元(例如,所述表面的反射率最大以便最大化接收信号/光响应的照射波长)相关联的属性组。至于图案,任何图案都可以被使用,或者也可以不被使用。
然而,应该注意的是,相同的感兴趣区域以及相同的特征/元件可能与一个以上的检查任务相关联,并且因此配方应该相应地被制备。在多个配方不涉及相同视场(即,涉及相同的被成像的感兴趣区域)的情况下,它们可以组合成包含多个配方的单个配方结构,每个配方在其相关视场内操作。
在正确地创建和存储配方后,检查系统可以执行检查会话。在运行时执行期间,感兴趣区域相对于成像系统的定位从一个执行周期(检查会话)到另一个执行周期可以有改变。因此,部分对齐——感兴趣区域在成像系统的坐标系中的定位将被执行。
图20例示了由操作控制器管理的检查会话的运行时执行的流程图500,操作控制器可以是控制系统和/或光学检查系统的一部分。操作控制器从存储器(例如,控制系统的存储器或光学检查系统的存储器)中检索与特定感兴趣区域相关联的配方数据(步骤502)。如上所述,该配方包括指示最佳检查计划的数据(例如,光图案、光图案的序列以及它们相对于被检查的特征的取向)。操作控制器被配置并可操作以操作所述系统来执行对齐过程,从而将感兴趣区域与成像系统对齐(步骤504);以及(基于对齐-定位数据)将光图案的坐标转换/变换到成像系统的坐标系——步骤506。然后,成像系统执行检查会话以获得3D图像数据。为此,适当地同步投影仪和相机的操作,以分别使用投影仪执行/施加光图案序列(步骤508)和通过提供形成测量数据的一系列图像的相机捕获投影图案的反射——步骤510。可选地,操作控制器可以执行对投影的图案的质量的分析(步骤512),并在识别出质量不够(即,不满足预定条件)时,控制器将启动(步骤514)检查计划数据的参数迭代和重复步骤508-510,直到质量足够或直到达到迭代次数的限制。
如上所述,监视器26(控制系统和/或光学检查系统的一部分)还可用于分析测量数据(指示投影的图案的反射序列的数据),以提供与检查任务匹配的检查结果,并生成相对应的输出数据(例如,一个或更多个选定特征的一个或更多个参数/条件)——步骤516。对检查结果的分析可用于决定是否参于定义进一步的检查任务——步骤518。
除上述检查结果的示例外,检查结果还可包括以下类型:局部点云或局部高度图;多个方向的高度剖面(profile);3D基元(如孔、销、球、盒、光栅结构等)的向量表示;感兴趣位置(XYZ)和/或取向(X,Y,Z,Rx,Ry,Rz)的特征;感兴趣特征的特性(尺寸、圆半径、拐角半径(corner radios)、面积、平均/最大高度等);感兴趣特征之间的距离;平面夹角。
对测量数据的分析取决于检查结果的类型和投影的图案。
下表基于从数据库系统接收的关于检查任务和相关联的特征的输入数据以及关于光图案的类型的数据,例示了由本发明的技术提供的多种配方结构和检查计划方案。
Figure BDA0003813830660000461
Figure BDA0003813830660000471
如上所述,包含指示与属性组和成像配置相关联/分配给属性组和成像配置的各种光图案的数据的数据库是通用数据库,并且可以被多个控制系统访问,控制系统生成指示属性组的数据和对数据库的管理器的相应请求数据。更具体地说,数据库将最佳光图案匹配到3D基元和将由给定成像系统配置执行的检查计划。这样的3D基元和检查任务和计划本身经常重复,例如,这是因为工业自动化中的机器视觉分析成千上万到数百万个相同的零件;和/或因为不同的零件(甚至来自不同的客户/生产线)具有相似的基元,因为它们都是使用CAD软件建模的。
因此,每个检查系统获得的检查结果可用于更新/优化数据库。这可以按以下方式执行:数据库的管理器/控制器从部署在现场的多个成像系统中收集信息,对各种基元运行并执行各种检查计划,以服务于各种检查任务。该信息和检查结果被上传到这样的中央数据库,并且管理器运行优化算法以改进针对特定基元和检查任务的检查计划,从而能够访问定期改进的数据库。

Claims (47)

1.一种用于管理对具有一种或更多种类型的多个特征的物品的检查的控制系统,所述控制系统包括:
数据输入设施,所述数据输入设施用于接收指示将由给定检查系统检查的一个或更多个选定的感兴趣特征的输入数据,所述给定检查系统由相关联的成像配置数据表征;
数据处理器,所述数据处理器被配置并能够操作以分析所述输入数据以提取关于一个或更多个检查任务的信息,并生成检查计划数据,以用作所述给定检查系统根据所述一个或更多个检查任务提供测量数据的操作的配方数据。
2.根据权利要求1所述的控制系统,其中,所述数据处理器被配置并能够操作用于与数据库系统通信,以向所述数据库系统请求对应于检查任务数据的选定检查模式数据并从所述数据库系统接收对应于所述检查任务数据的所述选定检查模式数据,以及利用所述选定检查模式数据来生成所述检查计划数据。
3.根据权利要求2所述的控制系统,其中,所述选定检查模式数据被分配给与一个或更多个成像配置相关联的属性组,以用于检查对应于所述属性的特征,所述属性组包括几何相关属性和材料相关属性中的至少一种。
4.根据权利要求2或3所述的控制系统,其中,所述数据处理器被配置并能够操作以生成对所述数据库系统的请求数据,所述请求数据包括从包括几何相关属性和材料相关属性的预定属性集合中选择的并且对应于所述检查任务数据的选定属性组。
5.根据前述权利要求中任一项所述的控制系统,其中,所述数据处理器包括:
识别器设施,所述识别器设施被配置并能够操作以利用所述输入数据来定义指示所述一个或更多个检查任务的检查任务数据,所述检查任务数据包括指示所述输入数据的数据、指示所述一个或更多个选定特征的数据、以及对应于所述一个或更多个检查任务的测量类型;
分析器设施,所述分析器设施被配置并能够操作以分析所述检查任务数据并通过生成从包括几何相关属性和材料相关属性的预定属性集合中选择的并对应于所述检查任务数据的选定属性组来确定所述配方数据;和
计划模块,所述计划模块被配置并能够操作用于分析所述检查任务和对应于所述选定属性组的选定检查模式数据,并生成将由所述给定检查系统关于所述一个或更多个选定的感兴趣特征执行的检查计划数据。
6.根据权利要求5所述的控制系统,其中,所述计划模块被配置并能够操作以执行以下操作:生成对数据库系统的请求数据以请求分配给所述选定属性组的与所述给定检查系统相关联的所述选定检查模式数据,所述请求数据包括指示所述选定属性组的数据;以及基于所述检查任务数据,分析所选定检查模式数据,并且生成所述检查计划数据。
7.根据权利要求2至6中任一项所述的控制系统,其中,所述检查模式数据包括指示关于要在由所述给定检查系统执行的一个或更多个检查会话中被成像的感兴趣区域的以下一个或更多个条件的数据:
被投影到所述感兴趣区域的选定辐射图案;照射强度;照射光谱数据;扫描路径相对于所述感兴趣区域的取向;扫描密度。
8.根据权利要求7所述的控制系统,其中,所述检查计划数据包括指示以下中的至少一个的数据:在所述一个或更多个检查会话期间的检查模式序列;一个或更多个选定辐射图案的优化配置;在所述一个或更多个检查会话期间至少一个辐射通道和至少一个检测通道的相对取向;辐射通道和检测通道与所述感兴趣区域的对齐;所述检查会话的数量;用于收集与所述感兴趣区域相关联的检测数据的数据读出模式。
9.根据权利要求4至8中任一项所述的控制系统,其中,所述预定属性集合包括各种表面的多个基本几何形状和多个辐射响应特性。
10.根据权利要求2至9中任一项所述的控制系统,包括用于存储所述数据库的存储设施。
11.根据权利要求2至10中任一项所述的控制系统,包括通信模块,所述通信模块被配置并能够操作用于执行所述数据处理器与位于远程存储系统中的所述数据库系统的数据通信。
12.根据前述权利要求中任一项所述的控制系统,所述控制系统被配置并能够操作用于与所述至少一个给定检查系统进行数据通信,以将所述检查计划数据传送给所述检查系统。
13.根据前述权利要求中任一项所述的控制系统,还包括监视器,所述监视器被配置并能够操作用于接收和分析由所述检查系统在利用所述检查计划数据执行的一个或更多个检查会话中获得的测量数据,所述测量数据指示与所述一个或更多个选定特征相关联的一个或更多个参数;以及生成指示检查结果的输出数据。
14.根据权利要求13所述的控制系统,其中,指示所述检查结果的所述数据包括以下中的一个或更多个:更新的检查任务数据;用于优化所述数据库的内容的更新,所述数据库包含被分配给与所述检查系统相关联的相对应的属性组的预定检查模式数据块。
15.根据权利要求13所述的控制系统,其中,所述监视器被配置并能够操作以与远程中央系统通信,用于将指示检查结果的所述输出数据传送给所述中央系统,从而能够将所述检查结果数据用于以下中的至少一项:更新检查任务数据;优化所述数据库的内容,所述数据库包含被分配给与检查系统相关联的相对应的属性组的预定检查模式数据块。
16.根据前述权利要求中任一项所述的控制系统,其中,所述输入数据包括以下中的一项或更多项:指示所述一个或更多个感兴趣特征的CAD模型数据;对所述物品的至少一部分的3D扫描和指示要被执行的一个或更多个测量类型的相对应的元数据;和关于所述物品上与所述一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的位置数据。
17.根据权利要求16所述的控制系统,其中,所述位置数据包括关于以下中的至少一个的数据:所述感兴趣特征相对于对齐位置的相对定位;以及所述感兴趣特征相对于对齐位置的相对取向。
18.根据前述权利要求中任一项所述的控制系统,其中,指示所述检查任务的所述数据包括以下中的一个或更多个:
(i)对于所述一个或更多个选定特征中的每一个,验证所述选定特征在一个或更多个预定感兴趣区域中的存在;
(ii)对于所述一个或更多个选定特征中的每一个,测量所述特征的一个或更多个参数;
(iii)对于来自所述一个或更多个选定特征的每一对特征,测量所述一对特征之间的至少一个距离及所述一对特征的相对取向,其中,所述一对中的所述特征位于相同的感兴趣区域中或位于不同的感兴趣区域中;
(iv)确定感兴趣区域内的表面部分的表面粗糙度是否满足预定条件,其中,所述表面部分包括以下之一:所述选定特征的表面;或所述物品的在所述选定特征之间的表面;
(v)确定所述一个或更多个选定的感兴趣特征的一个或更多个参数与涉及所述一个或更多个选定特征的相对应的输入数据之间的关系,并生成指示所述关系的数据。
19.根据权利要求9至18中任一项所述的控制系统,其中,所述辐射响应特性相关属性包括以下中的一个或更多个:颜色、高光谱响应、反射率、透明度和扩散率。
20.根据前述权利要求中任一项所述的控制系统,还包括操作控制器,所述操作控制器被配置并能够操作用于根据所述检查计划数据控制所述给定检查系统的操作以执行一个或更多个检查会话。
21.根据前述权利要求中任一项所述的控制系统,其中,所述成像配置数据包括指示以下中的一个或更多个的数据:用于将一个或更多个图案投影到感兴趣区域上的辐射通道的数量、用于从被辐射的感兴趣区域的至少一部分收集图像数据的检测通道的数量、所述辐射通道和所述检测通道相对于检查平面的位置、所述辐射通道和所述检测通道之间的相对取向、以及所述检查系统的辐射源和检测器的特性。
22.根据权利要求20或21所述的控制系统,其中,所述操作控制器包括对齐模块,所述对齐模块被配置并能够操作用于监视正在被检查的所述物品与关于所述物品上与所述一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的输入位置数据之间的初步对齐条件。
23.一种用于检查具有一种或更多种类型的多个特征的物品的检查系统,所述检查系统包括:
成像系统,所述成像系统包括:一个或更多个施照体,所述一个或更多个施照体定义用于将图案投影在被辐射的一个或更多个感兴趣区域上的一个或更多个辐射通道;一个或更多个检测器,所述一个或更多个检测器定义用于检测被辐射的所述一个或更多个感兴趣区域中的每一个感兴趣区域的至少一部分的辐射响应的一个或更多个检测通道,并生成相对应的图像数据;所述成像系统被配置并能够操作用于使用所述辐射通道和所述检测通道之间的各种相对取向以及辐射和检测的各种特性,根据各种检查计划执行检查;和
根据前述权利要求中任一项所述的控制系统。
24.根据权利要求23所述的检查系统,其中,所述成像系统是光学成像系统,所述光学成像系统被配置为定义由至少一个施照体和至少一个检测器形成的至少一对照射-检测通道。
25.根据权利要求24所述的检查系统,其中,所述至少一个施照体包括用于投影光图案的至少一个2D投影仪。
26.根据权利要求25所述的检查系统,其中,所述2D投影仪被配置并能够操作以在具有至少一个快轴的动态扫描模式下执行对所述光图案的所述投影。
27.根据权利要求26所述的检查系统,其中,所述2D投影仪具有以下配置之一:
(i)包括谐振2D MEMS扫描镜,所述动态扫描模式的所述快轴是所述MEMS扫描镜的机械轴之一;
(ii)包括光栅MEMS扫描镜,所述动态扫描模式的所述快轴是所述MEMS的谐振轴;和
(iii)包括2D MEMS结构,所述动态扫描模式的所述快轴是对应于提供基本上直线形式的光图案的MEMS定位的序列的轴。
28.根据权利要求24至27中任一项所述的检查系统,其中,所述至少一个检测器包括具有多个动态重新定位的感兴趣区域(MROI)的相机。
29.根据权利要求24至28中任一项所述的检查系统,其中,所述光学成像系统包括多个施照体-检测器对,所述多个施照体-检测器对共享是施照体或检测器的至少一个公共单元,从而定义多对照射-检测通道。
30.根据权利要求29所述的检查系统,其中,所述多对照射-检测通道由以下配置中的至少一个定义:(a)所述多个施照体-检测器对包括与公共2D照射投影仪单元相关联的多个检测器单元;以及(b)所述多个施照体-检测器对包括与公共检测器单元相关联的多个2D照射投影仪。
31.根据权利要求29或30所述的检查系统,其中,每个施照体-检测器对定义基线向量,所述照射-检测器对的基线向量具有定义所述基线向量相对于彼此的预定取向的公共单元。
32.根据权利要求31所述的检查系统,其中,所述照射-检测器对的所述基线向量具有满足所述基线向量彼此基本垂直的条件的公共单元。
33.一种存储系统,包括管理器设施,所述管理器设施被配置并能够操作用于管理数据库,所述数据库包括对应于多个检查模式的多个数据块,每个检查模式被分配给与一个或更多个成像配置相关联的一个或更多个属性组,所述管理器设施被配置并能够操作以:响应于包括指示选定属性组的数据的请求数据,生成指示匹配所述请求数据的一个或更多个检查模式并被格式化以用于与根据权利要求2至33中任一项所述的控制系统通信的输出数据。
34.一种服务器系统,所述服务器系统连接到通信网络,所述服务器系统包括数据库和用于管理所述数据库的管理器设施,其中,所述数据库包括对应于多个检查模式的多个数据块,每个检查模式被分配给与一个或更多个成像配置相关联的一个或更多个的属性组,并且所述管理器设施被配置并能够操作用于经由所述通信网络与一个或更多个控制系统进行数据通信,所述一个或更多个控制系统被配置为根据权利要求2至33中任一项所述的控制系统,使得所述管理器设施响应于来自与给定成像系统相关联的所述控制系统的并包括指示选定属性组的数据的请求数据,向所述控制系统生成指示匹配所述请求数据的一个或更多个检查模式并被格式化以用于响应于所述请求数据与所述控制系统进行通信的输出数据,所述给定成像系统由所述给定成像系统的成像配置表征。
35.一种用于检查具有一种或更多种类型的多个特征的物品的光学检查系统,所述光学检查系统包括成像系统,所述成像系统包括:一个或更多个施照体,所述一个或更多个施照体定义用于将光图案投影在被辐射的一个或更多个感兴趣区域上的一个或更多个照射通道;以及一个或更多个检测器,所述一个或更多个检测器定义一个或更多个检测通道,所述一个或更多个检测通道用于检测所述一个或更多个感兴趣区域中的每一个感兴趣区域的至少一部分对所述照射的响应并生成相对应的图像数据,从而定义由至少一个施照体和至少一个检测器形成的至少一对照射-检测通道,其中,所述至少一个施照体包括所述光图案的2D照射投影仪,所述系统由以下中的至少一个表征:
(i)所述2D投影仪被配置并能够操作以在具有至少一个快轴的动态扫描模式下执行所述投影;和
(ii)所述成像系统包括由多个施照体-检测器对形成的多对照射-检测通道,所述多个施照体-检测器对共享是2D照射或检测器的至少一个公共单元,其中,由所述照射-检测器对定义的基线向量具有定义所述基线向量相对于彼此的预定取向的公共单元。
36.根据权利要求35所述的检查系统,其中,所述照射-检测器对的基线向量具有满足所述基线向量彼此基本垂直的条件的公共单元。
37.根据权利要求35或36所述的检查系统,其中,所述2D投影仪具有以下配置之一:
(i)包括谐振2D MEMS扫描镜,所述动态扫描模式的所述快轴是所述MEMS扫描镜的机械轴之一;
(ii)包括光栅MEMS扫描镜,所述动态扫描模式的所述快轴是所述MEMS的谐振轴;和
(iii)包括2D MEMS结构,所述动态扫描模式的所述快轴是对应于提供基本上直线形式的光图案的MEMS定位的序列的轴。
38.根据权利要求35至37中任一项所述的光学检查系统,其中,所述一个或更多个施照体包括至少一个激光源。
39.根据权利要求35至38中任一项所述的光学检查系统,其中,所述成像系统包括与至少第一2D照射投影仪和第二2D照射投影仪相关联的至少一个检测器,所述第一2D照射投影仪和第二2D照射投影仪能够操作以在具有至少一个快轴的动态扫描模式下执行所述投影,其中,至少一个第一投影仪的扫描方向相对于至少一个第二投影仪的扫描方向旋转90度,使得所述第一投影仪的快扫描轴垂直于所述第二投影仪的快扫描轴。
40.根据权利要求35至38中任一项所述的光学检查系统,其中,所述成像系统包括与所述2D照射投影仪的阵列相关联的至少一个检测器,所述2D照射投影仪的阵列能够操作以在具有至少一个快轴的动态扫描模式下执行所述投影,其中,所述2D照射投影仪和所述相机被定向成使得每个投影仪的快轴基本上垂直于由所述投影仪和所述检测器定义的基线向量。
41.根据权利要求35至40中任一项所述的检查系统,其中,所述至少一个检测器包括具有多个动态重新定位的感兴趣区域(MROI)的相机。
42.根据权利要求35至41中任一项所述的检查系统,包括控制系统,所述控制系统提供检查计划数据,所述检查计划数据将由所述成像系统在一个或更多个检查会话中执行,以测量一个或更多个感兴趣特征的一个或更多个参数,所述控制系统包括:
数据输入设施,所述数据输入设施用于接收指示要由给定检查系统检查的一个或更多个选定的感兴趣特征的输入数据,所述给定检查系统由相关联的成像配置数据表征;
数据处理器,所述数据处理器被配置并能够操作以分析所述输入数据,以提取关于一个或更多个检查任务的信息并生成检查计划数据以用作所述检查系统根据所述一个或更多个检查任务提供测量数据的操作的配方数据。
43.根据权利要求42所述的检查系统,还包括操作控制器,所述操作控制器被配置并能够操作用于根据所述检查计划数据控制一个或更多个检查会话的执行。
44.根据权利要求43所述的检查系统,其中,所述操作控制器包括对齐模块,所述对齐模块被配置并能够操作用于监视正在被检查的物品和关于所述物品上与所述一个或更多个选定的感兴趣特征相关联的一个或更多个感兴趣区域的输入位置数据之间的初步对齐条件。
45.一种用于检查具有一种或更多种类型的多个特征的物品的方法,所述方法包括:接收指示要由给定检查系统检查的一个或更多个选定的感兴趣特征的输入数据,所述给定检查系统由相关联的成像配置数据表征;分析所述输入数据以提取关于一个或更多个检查任务的信息;以及生成检查计划数据以用作所述给定检查系统根据所述一个或更多个检查任务提供测量数据的操作的配方数据。
46.根据权利要求45所述的方法,包括从数据库系统中检索对应于所述检查任务数据的选定检查模式数据,以及利用所述选定检查模式数据来生成所述检查计划数据。
47.根据权利要求46所述的方法,包括向所述数据库系统请求包括以下项的数据:从包括几何相关属性和材料相关属性的预定属性集合中选择的、对应于所述检查任务数据的选定属性组。
CN202180016650.3A 2020-02-24 2021-02-22 用于控制对物品的自动检查的系统和方法 Pending CN115210664A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062980624P 2020-02-24 2020-02-24
US62/980,624 2020-02-24
PCT/IL2021/050201 WO2021171287A1 (en) 2020-02-24 2021-02-22 System and method for controlling automatic inspection of articles

Publications (1)

Publication Number Publication Date
CN115210664A true CN115210664A (zh) 2022-10-18

Family

ID=74860367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180016650.3A Pending CN115210664A (zh) 2020-02-24 2021-02-22 用于控制对物品的自动检查的系统和方法

Country Status (6)

Country Link
US (1) US20230016639A1 (zh)
EP (1) EP4111277A1 (zh)
CN (1) CN115210664A (zh)
IL (1) IL294522A (zh)
TW (1) TW202147050A (zh)
WO (1) WO2021171287A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023227201A1 (de) * 2022-05-24 2023-11-30 Siemens Ag Österreich Computer-implementiertes verfahren und system zur steuerung der herstellung eines produkts
WO2024069499A1 (en) 2022-09-29 2024-04-04 Saccade Vision Ltd. High resolution 3d scanning using laser

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904330B2 (en) * 2002-08-07 2005-06-07 Kimberly-Clark Worldwide, Inc. Manufacturing information and troubleshooting system and method
US7482730B2 (en) * 2004-02-09 2009-01-27 Microvision, Inc. High performance MEMS scanner
US7501616B2 (en) * 2006-05-25 2009-03-10 Microvision, Inc. Method and apparatus for capturing an image of a moving object
CN112837266A (zh) * 2014-11-24 2021-05-25 基托夫系统有限公司 自动检查
TWI824334B (zh) * 2018-08-17 2023-12-01 荷蘭商Asml荷蘭公司 非暫時性電腦可讀媒體

Also Published As

Publication number Publication date
TW202147050A (zh) 2021-12-16
US20230016639A1 (en) 2023-01-19
IL294522A (en) 2022-09-01
EP4111277A1 (en) 2023-01-04
WO2021171287A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US11042146B2 (en) Automated 360-degree dense point object inspection
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN114041168A (zh) 自动化360度密集点对象检验
EP2475954B1 (en) Non-contact object inspection
JP5911904B2 (ja) 形状および位置の光学的計測のための構造化光システムに関する正確な画像取得
CN112161619B (zh) 位姿检测方法、三维扫描路径规划方法和检测系统
Catalucci et al. Measurement of complex freeform additively manufactured parts by structured light and photogrammetry
Di Leo et al. Covariance propagation for the uncertainty estimation in stereo vision
JP2015135331A (ja) 実用型3dビジョンシステム装置およびその方法
JP2015057612A (ja) 非接触測定を行う装置および方法
WO2014136490A1 (ja) 形状検査方法およびその装置
Lee et al. A framework for laser scan planning of freeform surfaces
CN108458659A (zh) 一种叶片非接触式检测装置及方法
El-Hakim et al. Multicamera vision-based approach to flexible feature measurement for inspection and reverse engineering
de Araujo et al. Computer vision system for workpiece referencing in three-axis machining centers
CN115210664A (zh) 用于控制对物品的自动检查的系统和方法
Niola et al. A new real-time shape acquisition with a laser scanner: first test results
Stroppa et al. Stereo vision system for accurate 3D measurements of connector pins’ positions in production lines
Munaro et al. Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system
JPH04148814A (ja) 非接触型測定装置
Ojal et al. Optimizing exposure times of structured light metrology systems using a digital twin
Kwon et al. Rescan strategy for time efficient view and path planning in automated inspection system
Bernal et al. Accuracy analysis of fringe projection systems based on blue light technology
Percoco et al. 3D image based modelling for inspection of objects with micro-features, using inaccurate calibration patterns: an experimental contribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination