CN104029008A - 利用视觉系统在遮挡环境下对齐两工件的系统与方法 - Google Patents

Abstract

本发明提供一种在第一工件遮挡第二工件的关键对齐特征的情况下，使第一工件对齐下方第二工件的系统与方法。视觉系统引导夹持第一工件的机械手以及夹持第二工件的移动平台的移动，并学习获取第一工件和第二工件中的至少一个工件的次要对齐特征。利用这些次要特征，所述视觉系统测定两工件间的对齐，并引导机械手以及移动平台实现对齐以使第一工件与第二工件啮合。所述次要特征用于路线对齐。机械手和/或移动平台的确定性移动用于获得次要特征和主要特征之间的关系。次要特征用于方向对齐。

Description

利用视觉系统在遮挡环境下对齐两工件的系统与方法

技术领域

本发明涉及一种用于使物体相互对齐的视觉系统，尤其涉及一种对齐以叠加关系装配的物体的视觉系统。

背景技术

在机器视觉系统中（此处亦可称为“视觉系统”），利用一个或多个摄像头对成像场景内的物体或表面执行视觉系统处理。该处理可包括监测、解码符号、对齐及各种其他自动化任务。特别地，视觉系统可用于监测通过成像场景的扁平工件。典型的，一个或多个视觉摄像头对该场景进行取像，所述摄像头含有内置或者外接的视觉系统处理器，进行相关的视觉系统处理以生成处理结果。

在不同的生产流程中，需要将一扁平工件对齐另一工件。特别地，在装配过程中，在一工序中通过移动上层的第一工件，使其悬停于第二工件上方，然后放低第一工件高度来实现将一独立工件对齐另一独立工件。在一个示例性流程中，这可以是将手机或平板电脑的玻璃屏嵌入至外壳内。在另一示例性流程中，这可以是放低窗户玻璃，使之嵌入到窗户框内，或者将一电路芯片置于电路板上。在此生产流程中，工件必须沿参考平面的X和Y平移方向对齐，以及在X-Y平面内旋转并且沿与X-Y平面正交的Z轴下降，直至最后啮合。该流程通过机械手和/或移动平台抓取第一工件后根据视觉系统反馈与第二工件对齐得以实现。尽管三维（3D）视觉系统可以应用于此流程中，但是可以设想，由于X-Y平面上的两工件在所有的高度（沿Z轴）均是平行的，因此2D视觉系统已满足条件。

在很多应用中，将第一工件嵌入至第二工件后，通过第一工件的外边缘与第二工件的内边缘之间的空隙测量两者之间的对齐精度。理想状态下，由于该两物体被机械手和/或移动平台装配在一起，因此上述边缘应该是用于对齐两物体的主要对齐特征。然而，如上所述，在第一工件完全嵌入第二工件之前，机械手/移动平台将第一工件悬浮于第二工件之上，导致第一工件遮挡第二工件的内边缘，致使摄像头无法取像或者照明源无法照明。因此，当机械手和/或移动平台移动实现装配过程时，由于工件之间必须精准对齐，同步观察每个工件上的关键对齐特征通常是一种挑战。

因此，需要提供一种技术，当第一工件部分遮挡下方的第二工件时，可降低或消除对齐过程中的不确定性。

发明内容

本发明提供一种在第一工件遮挡第二工件关键对齐特征的情况下，使第一工件对齐其下方的第二工件的系统与方法，以克服现有技术的缺陷。该视觉系统引导夹持第一工件的机械手的移动（如沿Z方向）以及引导夹持第二工件的移动平台的移动（如沿X和Y方向），并在两工件中的至少一个上学习获取次要对齐特征。利用这些次要对齐特征，视觉系统可确定两工件间的准确对齐，并当放低第一工件并使之与第二工件啮合时，引导机械手和/或移动平台实现准确对齐。特别地，该流程引导机械手和/或移动平台进行一系列决定性的移动，以显露主要对齐特征，然后学习获取次要特征与主要特征的位置关系。然后在装配过程中，利用次要特征，至少部分次要特征，去引导最终的对齐。

在一个示例性实施例中，将第一工件装配至下方第二工件的系统与方法包括视觉系统摄像头总成，对包含第一工件和第二工件未装配和装配后布局的场景进行取像。对齐流程接收来自视觉系统摄像头总成的图像数据。该对齐流程配置为：（a）在第一工件和第二工件中的至少一个上确定次要对齐特征；（b）移动机械手和移动平台中的至少一个，显露出第一工件和第二工件中至少一个上的被遮挡的主要对齐特征，并且获取图像；以及（c）获取场景图像，并且根据该图像，确定主要对齐特征与次要对齐特征的关系，进而调用移动控制流程进行对齐。该移动控制（流程）利用上述关系引导第一工件装配到第二工件。这是基于次要对齐特征完成的。用作说明地，第一工件的主要对齐特征界定了外边缘，而第一工件的次要对齐特征界定了远离此外边缘的顶端边缘。第一工件至少有一部分在内边缘和外边缘周围是透明的，并且此内边缘定义了沿第一工件上表面倾斜的斜面的拐角。同样地，第二工件的主要对齐特征界定了内边缘，而第二工件的次要对齐特征界定了远离此内边缘的外边缘。此内边缘界定了朝向内部的搁板，该搁板在装配后布局中支撑第一工件，而外边缘则至少界定了第二工件外边界的一部分。所述移动控制流程能够在X方向和Y方向中的每一方向上移动移动平台，并且至少可在与含有X方向和Y方向的平面向垂直的Z方向上移动机械手。更普遍地，机械手和移动平台中的至少一个可以沿X、Y和Z方向，以及绕Z方向旋转中的至少一个方向移动。用作说明地，所述视觉系统摄像头总成包括多个适用于对与第一工件和第二工件相关的预设位置成像的摄像头，其中每一摄像头均在工作时与对齐流程连接。

附图说明

下文将引用附图对本发明进行描述，其中：

图1为工件装配装置的示意图，其中第一工件在出现遮挡时与下方第二工件的对齐由视觉系统中的对齐流程所控制；

图2为悬浮于下方第二工件之上的第一工件的局部侧剖视图，显示了图1中的视觉系统用到的界定主要对齐特征和次要对齐特征的各个边缘，并且显示了对一边缘的遮挡；

图3为悬浮于第二工件之上的第一工件的局部侧剖视图，其中机械手已将第一工件移动至与第二工件适当对齐的位置；

图4为与第二工件对齐啮合的第一工件的局部侧剖视图；

图5为利用次要对齐特征推断关键/主要对齐特征位置的对齐流程的流程图；以及

图6为图5的子流程的流程图，此子流程执行显示第二工件不可见和/或被遮挡的边缘并允许建立主要对齐特征与次要对齐特征之间的精准位置关系的一系列决定性移动步骤。

具体实施方式

图1所示为一个概括性的生产装置100，其中第一工件110由可移动机械手部件120悬浮于第二工件112上方。在不同实施例中，第一工件110可以是透明的窗户或其他具有平面结构的物体，而第二工件112可以是框架或外壳，其在一装配步骤中永久性地接收第一工件110。第一工件可以是透明的（如图所示）或半透明的，或者表面完全或局部不透明的。至于工件110和112装配前后的位置关系将会在下文进一步描述。第二工件112位于移动平台121（可包括传送带的一部分）上，根据本领域技术，该移动平台可在移动平台控制器及关联的控制流程124的控制下沿两个方向（双箭头122）中的任一方向向前或向后移动。方向122的特征在于X-Y平面上沿X轴和Y轴方向的平移（或移动）。机械手部件120被构造和设置为可以沿至少一个轴（Z轴）移动，可选的，还可沿X轴和/或Y轴移动。可以把机械手的移动方向以及移动平台121的移动方向当作视觉系统摄像头的全局“运动坐标系”中的轴，并可利用适当的技术在线下（非运行时）校准流程中对所述方向进行校准。在某些特定的实施方式中，还可以通过机械手120和/或移动平台121对第一工件110和/或第二工件112沿Z轴（如弯曲的双箭头所示）分别进行旋转。一般而言，示例性装置100省略了沿X轴或Y轴的翻转（即不会倾斜），因此第一工件110一直处于与移动平台121和/或第二工件112确定的平面平行的X-Y轴平面内。在另一实施例中，倾斜是允许的，但这需要额外的视觉系统处理流程去处理增加的自由度。

装置100包括至少一个视觉系统摄像头，在此用作说明性的，包括四个视觉系统摄像头140、142、144以及146，每一个摄像头分别带有一个图像传感器（或简称为“传感器”）150、152、154以及156。每一个传感器150、152、154以及156分别通过透镜部件160、162、164以及166从视野范围内的成像场景中接收光线。该成像场景可由一个或多个照明装置170、172、174以及176提供照明，所述照明装置受各摄像头140、142、144以及146的处理器控制发出闪光。所述一个或多个照明装置可为“内置”，如在摄像头防护罩上环绕摄像头透镜的环形照明器，所述一个或多个照明装置也可以是外接的，设置在该成像场景中可提供理想照明效果的位置，以最小化遮挡以及其他不良影响，如表面高光反射。照明装置的数量并不限于图1所示装置100的描述，可以是更多或者更少。此外，虽然图中所示摄像头140、142、144以及146的光轴OA向成像场景倾斜（相对于Z轴成锐角），然而，在另一实施例中，每个摄像头的摄像头光轴OA可以近似与Z轴同轴。总之，摄像头应被设置为可完整、无障碍地显示两工件110和112的边缘。

每个摄像头的视觉系统处理器均可全部或部分位于各自的摄像头外壳内。与每个摄像头相关联的视觉系统处理器及其处理功能由方框180表示。若为每个摄像头提供一个视觉系统处理器180，摄像头则可以单独处理图像信息，并进一步与远程处理器，如电脑，共享视觉系统处理结果。或者，一个或多个摄像头处理器作为“主”视觉系统处理器，而其他摄像头作为“从属”，将未处理图像数据传送至主视觉系统处理器，留待进一步处理。又或者，所有的摄像头140、142、144以及146通过合适的摄像头接口（如USB接口或基于TCP/IP的网络）将图像帧传送到中央视觉系统处理单元（如一台电脑）。

需要注意的是，此处所使用的术语“流程”和/或“处理器”应从广义上来理解,包括各种基于电子硬件和/或软件的功能和组件。此外,一个所述的流程或处理器能够与其他流程和/或处理器组合，或分为多个子流程或子处理器。根据本文的实施例可对这些子流程和/或子处理器进行各种不同的组合。同样地,可以明确地设想到,本文所述的任何功能、流程和/或处理器均能够通过电子硬件、软件（包括程序指令的非暂失性计算机可读媒介）、或硬件和软件的结合实施。

根据一个示例性的实施例，视觉系统处理器/流程180包括对齐流程182。所述对齐流程182的构造和配置满足保证第一工件110的外边缘184与下层第二工件112的内边缘186可正确对齐的要求。该对齐流程与机械手部件120中的机器人控制188相通讯，跟踪并指示Z轴的移动，并还与移动平台控制器124相通讯，跟踪并指示X轴和Y轴的移动。根据对齐流程182的反馈，移动平台121受控移动第一工件110使其与第二工件适当地对齐，随后机械手沿Z轴放低第一工件使其与第二工件啮合。如上所述，在此操作中关键挑战在于，在操作时，第二工件内边缘186的一部分会被上层的第一工件所遮蔽，或者照明中产生阴影或被遮挡，进而为摄像头系统提供中断的图像。因此，对齐流程缺少正确对齐所需的信息。

进一步参见图2，其通过局部截面图示出了两工件示例性的边缘位置关系。第二工件112在内边缘186上具有向内的示例性“搁板”，该“搁板”用于支撑第一工件。本例中，在搁板210上设有粘结层220，用于永久性（或半永久性）地将两工件固定在一起。作为另一种固定机制，可以在其他装配过程中，使用夹片或者嵌槽。如图2所示，机械手和移动平台定位第一工件110，使其外边缘184位于第二工件112内边缘之上。如摄像头光轴OA所示，该定位实际上遮挡了相关摄像头的视线，由于缺少边缘186的位置信息，这给对齐流程182的对齐带来了更大的难度。

除图2所示的对边缘186的遮挡之外，由于光线的变化以及下层第二工件的光学效应，有时第一工件的外边缘184对于相关摄像头也不是完全可见的。这同样给对齐流程182对齐两工件带来了更大的挑战。

在一个典型的对齐流程中，两边缘184和186是关键对齐特征，它们用于构成两工件正确对齐时的缝隙（如下文将进一步描述的图3和图4中所示的G）。可以认识到，大多数工件包含“次要”对齐特征，用于辅助对齐工件。举例说明，第一工件110含有由斜面230所界定的内/上边缘190。由于内/上边缘190位于工件110的顶部，外边缘183（如上所述，会被部分或完全遮挡）以内，它更可能实现相对于每一个摄像头的完全可见。同样的，第二工件112含有外边缘194，作为次要对齐特征。需要注意的是，在任一工件上的如脊状体、洞体、印刷标记等可在对齐流程中保持可见，并与关键/主要对齐特征具有已知关系的其他清晰特征均可以在其他实施例中作为次要对齐特征。

参考图3和图4，以及图5的流程图，流程500除利用关键/主要对齐特征外，还利用次要对齐特征对齐第一工件和第二工件，下文将对此流程进一步详细描述。在初始步骤510中，因每一个工件均被供至生产装置中，流程500识别在整个对齐流程中均保持可见的次要对齐特征（如边缘190和194）。所述对齐流程将存储这些特征的位置并将该位置关联至运动坐标系中。在步骤520中，流程500学习这些次要对齐特征与当机械手对齐工件移动时不可见（被遮挡）的关键/主要对齐特征之间的精确关系。可以设想到，各工件主要对齐特征与次要对齐特征的关系各不相同。

关于每个工件关键/主要对齐特征与次要对齐特征间位置精确关系的获取，可以参考步骤520的子流程600，该流程图如图6所述。在步骤610中，对齐流程182指示移动平台121，（通过控制器122），略微移动第二工件112，使其不被第一工件遮蔽。根据一个实施例，开始时，工件112的上边缘（图1所示远端处）及左边缘同时显露。一旦显露，在步骤620中，一个或多个摄像头就会获取并存储图像信息。此图像用于学习显露关键/主要特征边缘及已识别的次要特征边缘的相对位置关系。可以对第二工件的显露边缘，同样也可对第一工件选定的边缘184和190，执行学习步骤，其中外边缘184不再与第二工件的如下边缘及右边缘等边缘产生混淆。然后，在步骤630中，移动平台可以向相反的方向移动，显露出第二工件的下边缘和右边缘。在步骤中640中，得到另一幅图像，并学习显露和/或未遮挡边缘的相对位置。基于这些已学习到的关系，步骤650建立了描述主要对齐特征与次要对齐特征位置关系的全部数据。如下文所述，在其他实施例中，移动步骤的顺序，和/或它们移动的方向都可以是高度变化的。

建立了清晰可见的次要对齐特征与主要对齐特征之间的位置关系后，流程500就可以推断出第一工件的外边缘184和第二工件内边缘186的位置。因此，如图3所示，移动平台沿X轴和/或Y轴方向（箭头310）移动（步骤530），以建立所需的对齐，包括关键边缘184和186之间的空隙G。当开始移动时，对齐流程获取图像并对其进行分析，确定次要特征是否移到合适的对齐位置-从而确保关键/主要特征适当地对齐。当两工件正确地物理对齐后（判断步骤540），机械手总成可以放低（如图3中箭头330及图5中步骤550所示）第一工件110，以使其与第二工件112的搁板210相啮合。带有所需缝隙G的已完成总成如图4所示，其具有将工件保持在所需装配关系上的粘结层（或者其他固定装置）。此时，该总成可被传送带移动到下一生产位置。

尽管通过对次要特征进行取像分析以实现对齐，但很容易设想到，当条件允许时，也可以将可视的主要特征应用于对齐中，以进一步确保其精确性。

需要清楚的一点是，本文所述的系统和方法提供了一种技术，该技术快速高效地解决了各种不同的利用移动平台和/或机械手从上下位置装配构成的物体的对齐问题。此系统和方法只需要相对较少的额外对齐步骤，并且可以应用于具有各种形状和尺寸的物体上。

前文已经详细描述了本发明的示例性实施例。在不脱离本发明思想和范围的前提下，可进行各种修改和添加。为提供与新实施例相关的特征组合的多样性，上述各种实施例中的每一个实施例的特征均可酌情与其他于此所述实施例的特征相结合。此外，虽然前文描述了本发明的设备和方法的一些独立的实施例，但这些描述仅仅是对本发明原理的应用的说明。例如，X轴和/或Y轴移动（或旋转）可以通过机械手实现，以代替或者连同移动平台使用。同样的，在其他示例性的生产装置中，移动平台可以执行Z轴移动。对齐流程和移动方向以不违背本文中的实施方式的基本原则为准。此外，尽管所描述的流程露出了上/左边缘和下/右边缘的组合，在进一步的实施例中，还可移动使单个边缘，或者多个边缘的组合同步显露。此外，虽然本文中第一工件和第二工件均含有被遮挡或不可见的主要对齐特征，但可以预想，本系统和方法也可以应用于第一工件和第二工件中只有一个工件含有被遮挡/不可见主要对齐特征的情况，因此也只需要对具有被遮挡/不可见主要对齐特征的工件采集次要特征。还有，本文中应用的方向性和方位性的术语，如“纵向”、“水平方向”、“上方”、“下方”、“低端”、“顶端”、“侧边”、“前边”、“后边”、“左边”、“右边”等，只适用于相对情况，与固定坐标系统中的绝对方向，如重力方向，不同。因此，本说明书仅仅起到示例性的作用，而不限制本发明的范围。

Claims (17)

1.一种将装配至下方第二工件的第一工件对齐的系统，包括：

视觉系统摄像头总成，对含有第一工件和第二工件未装配和装配后布局的场景进行成像；以及

从所述视觉系统摄像头总成接收所述场景的图像数据的对齐流程；其中，所述对齐流程构成和配置为：

（a）确定第一工件和第二工件中的至少一个工件上的次要对齐特征；

（b）移动机械手和移动平台中的至少一个，显露出第一工件和第二工件中至少一个工件被遮挡的主要对齐特征，并且获取其图像；以及

（c）获取所述场景的图像，并且根据所述图像，建立主要对齐特征与次要对齐特征之间的关系，实现第一工件和第二工件的对齐。

2.根据权利要求1所述的系统，其特征在于，还包括移动控制，其利用所述关系根据次要对齐特征引导第一工件相对于第二工件的装配。

3.根据权利要求1所述的系统，其特征在于，第一工件的主要对齐特征为外边缘，而第一工件的次要对齐特征为远离外边缘的顶端边缘。

4.根据权利要求3所述的系统，其特征在于，其中内边缘为沿第一工件上表面的斜面的拐角。

5.根据权利要求3所述的系统，其特征在于，第一工件至少在内边缘和外边缘周围的部分是透明的。

6.根据权利要求1所述的系统，其特征在于，第二工件的主要对齐特征为内边缘，而第一工件的次要对齐特征为远离内边缘的外边缘。

7.根据权利要求6所述的系统，其特征在于，所述内边缘为朝内指向的搁板的边缘，所述搁板在装配后支撑第一工件。

8.根据权利要求6所述的系统，其特征在于，所述外边缘为第二工件的至少部分外边界。

9.根据权利要求1所述的系统，其特征在于，还包括移动控制，利用所述关系根据次要对齐特征引导第一工件相对于第二工件的装配，其中所述移动控制沿X方向、Y方向、与X方向和Y方向构成平面正交的Z方向以及绕Z方向旋转中的至少一个方向移动所述移动平台和机械手中的至少一个。

10.根据权利要求1所述的系统，其特征在于，所述视觉系统摄像头总成包括多个朝向关于第一工件和第二工件的预设位置成像的摄像头，其中每一个摄像头均在工作时与对齐流程连接。

11.一种将装配至下方第二工件的第一工件对齐的方法，包括以下步骤：

对包含第一工件和第二工件未装配和装配后的布局的场景进行成像；并且

从视觉系统摄像头总成接收所述场景的图像数据，并根据接收到的图像数据，

（a）在第一工件和第二工件中的至少一个工件上确定次要对齐特征；

（b）移动机械手和移动平台中的至少一个，显露出第一工件和第二工件中至少一个工件上被遮挡的主要对齐特征，并且获取其图像；以及

（c）获取所述场景的图像，并且根据该图像，建立主要对齐特征与次要对齐特征之间的关系，使第一工件相对第二工件对齐。

12.根据权利要求11所述的方法，其特征在于，还包括利用所述关系，根据次要对齐特征引导第一工件相对于第二工件的装配。

13.根据权利要求11所述的方法，其特征在于，所述第一工件的主要对齐特征为外边缘，而第一工件的次要对齐特征为远离外边缘的顶端边缘。

14.根据权利要求13所述的方法，其特征在于，第一工件至少在内边缘和外边缘周围的部分是透明的。

15.根据权利要求11所述的方法，其特征在于，第二工件的主要对齐特征为内边缘，而第一工件的次要对齐特征为远离内边缘的外边缘。

16.根据权利要求11所述的方法，其特征在于，还包括利用所述关系，根据次要对齐特征引导第一工件相对于第二工件的装配，并沿X方向、Y方向、与X方向和Y方向构成平面正交的Z方向以及绕Z方向旋转中的至少一个方向移动所述移动平台和机械手中的至少一个。

17.根据权利要求11所述的方法，其特征在于，还包括提供多个朝向关于第一工件和第二工件的预设位置取像的摄像头。