CN103153553A - 视觉引导对准系统和方法 - Google Patents

Abstract

一种用于对准多个组件的视觉引导对准系统包括被配置为将一个组件相对于另一组件进行移动的机器人手爪以及耦合至处理器的生成组件图像的相机。该处理器所生成的仿真机器人工作单元计算定义机器人手爪的移动的初始校准位置，以使得机器人手爪的实际位置和校准位置之间的位置误差通过该处理器所执行的基于相机空间操控的控制算法得到补偿，以控制该机器人手爪基于组件图像而将一个组件移动为与另一组件对准。

Description

视觉引导对准系统和方法

技术领域

总体上，本发明涉及一种视觉引导对准系统。更具体地，本发明涉及一种利用相机空间操控控制过程的视觉引导对准系统。特别地，本发明涉及一种使用自动初始化的相机空间操控控制过程进行控制的视觉引导对准系统。

背景技术

诸如拾取和放置操作、材料去除以及包括诸如移动通信设备、GPS(全球定位系统)导航设备和PDA(个人数据助理)之类的便携式掌上电子设备的电子设备组装的要求两个或更多组件相对于彼此对准的机器人自动化过程主要是重复的手工作业。具体地，关于拾取和放置操作以及材料去除，执行这样的操作的机器人处理需要以高精度移动各种结构组件以成功完成操作。然而，使得电子设备组装自动进行的困难是因为涉及到小比例或小尺寸电子组件的独特特性，上述电子组件通常处于1至10mm的范围之中，并且它们必须以紧密的空间公差被组装在一起。因此，电子设备的成功自动组装要求每个小型组件所提供的结构特征(诸如印刷电路板(PCB)上的连接插口)被精确对准以允许它们成功组装。

为了实现结构组件的精确对准以及小型电子组件紧凑公差自动组装，已经利用诸如模型校准技术和视觉伺服技术之类的视觉引导的机器人对准和组装技术对自动机器人对准和组装系统的操作中所固有的位置和方位变化误差进行补偿。模型校准技术依赖于获取准确的相机模型校准以及产生准确的机器人运动学模型，以在自动机器人对准和组装期间实现精确的组件定位，这是昂贵、复杂且耗时的。另一方面，视觉伺服需要高速图像处理以始终鲁棒地检测机器人当前姿态和目标机器人姿态之间的图像误差，以便对机器人的运动进行调节以使得其能够接近目标姿态或者否则向目标姿态进行调节。不幸的是，视觉伺服所采用的高速图像处理的部署和维护是复杂且昂贵的。

由于模型校准和视觉伺服技术的缺陷，研发了相机空间操控(CSM)控制技术。相机空间操控在组件被机器人操控或否则移动时使用一个或多个成像相机对所述组件进行成像以生成简单的局部相机空间模型，该模型对机器人的标称位置坐标和相机成像空间中所操控的诸如电子组件的组件上所找到的结构特征的外观之间的关系进行映射。例如，相机空间模型可以对组件上的结构特征的外观进行建模，所述结构特征是诸如被机器人手爪所抓握的印刷电路板(PCB)上的连接插口。相机空间操控仅需要在定位过程期间获取有限数量的局部数据点以改善局部相机模型以便对抓握误差、机器人向前运动学误差和相机模型误差进行补偿，从而实现小型组件精确的紧凑公差组装，以及例如拾取和放置以及材料去除操作期间的精确对准。

然而，为了使用相机空间操控技术来实现视觉引导对准或组装，首先要求进行手动设置或初始化以使得局部相机空间模型识别被机器人操控的组件所提供的视觉结构特征。为了完成手动训练，在视觉上可被相机所访问的组件的视觉结构特征由个人基于其经验而在特别基础上进行选择。一旦特征被确定，组件就被带到相机的视场之内以使得其被成像为图像帧。此外，个人必须手动定义相机空间视场中的视觉特征的中心，同时要求对机器人物理空间中的每个视觉特征之间的相对位置进行定义。而且，手工初始化要求在视觉上可被相机所访问的视觉特征与处于相机视场之外的图像帧中组件的组装特征之间的相对位置也要被定义。然而，由于组件的组装特征无法在视觉上被成像相机所访问，所以难以准确地手动测量视觉特征和组装特征之间的距离。不幸的是，手动测量所产生的误差导致了基于视觉特征位置所生成的机器人相机模型不准确。该机器人相机模型被用来控制机器人以便对组件进行定位以使得在视觉上被遮挡的组装特征处于正确位置。因此，如果机器人相机模型不准确，则机器人无法以高精度准确地对准或组装组件，这是不期望看到的。

此外，通过手动轻推或移动机器人来识别插入位置是非常困难的并且需要熟练的机器人工程师的多次试验，该插入位置确定组件要耦合或组装在一起的地方的结构特征的位置。用于识别在视觉相机空间中所捕捉的机器人位置和视觉特征外观数据的初始校准信息被用来对机器人相机校准模型进行初始化，并且取决于需要遍及相机的每个校准位置建立组件视觉特征的可视性的机器人工程师的技能。不幸的是，使用手动初始化过程难以确保机器人的可达性(reachability)，确保机器人能够避免与机器人单元中的周边结构相碰撞，并且确保在校准位置和插入位置之间存在相同的方位，原因在于每个机器人位置可能具有由有缺陷的机器人向前运动模型所导致的不同定位误差。此外，手动初始化过程使得难以确保校准位置在相机成像空间和机器人物理空间中进行分布以便获得所期望的对来自相机空间操控(CSM)控制过程初始化计算的噪声进行采样的稳定性和灵敏度水平，而这是期望的。

另外，初始校准位置的手动测试是乏味、耗时且易于出错的，因为该过程通常需要多次重复地手动移动机器人以便形成可接受的校准位置。

因此，需要一种对相机空间操控模型进行自动初始化和配置以对位置和方位变化误差进行补偿的视觉引导对准系统，其中使用相关联的CAD(计算机辅助设计)组件模型自动识别所要组装的组件的视觉特征。此外，需要一种视觉引导对准系统，该系统对相机空间操控模型进行自动初始化和配置以自动定义被组装组件的可视觉访问特征和视觉遮挡组装特征之间的相对位置。另外，需要一种视觉引导对准系统，该系统在计算机仿真的机器人工作单元中自动生成校准位置以获取数据来计算初始相机机器人校准模型，该初始相机机器人校准模型在该计算机仿真的机器人工作单元中进行测试和验证。

发明内容

鉴于以上内容，本发明的第一方面提供了一种视觉引导对准系统和方法。

本发明的另一方面提供了一种用于对准多个组件的视觉引导对准系统，其包括被配置为使一个组件相对于另一组件移动的机器人手爪，以及耦合至处理器的相机，所述相机生成组件的图像，其中所述处理器所生成的仿真机器人工作单元计算定义所述机器人手爪的移动的初始校准位置，从而机器人手爪的实际位置和所述校准位置之间的位置误差被所述处理器所执行的基于相机空间操控的控制算法所补偿，以基于组件的所述图像而控制所述机器人手爪将一个组件移动至与另一组件对准。

在本发明的又一个方面提供了一种对准多个组件的方法，包括提供均由处理器控制的相机和机器人手爪，该机器人手爪被配置为使被抓握的组件相对于已安装组件移动，从处理器处理的被抓握组件的模型来识别至少一个被抓握组件可被相机看到的特征与至少一个被抓握组件无法被相机看到的特征的相对位置，基于被抓握组件的模型在处理器仿真的工作单元中为手爪生成校准位置(所述校准位置定义由机器人手爪所进行的被抓握组件到已安装组件的移动)，由机器人手爪依据该校准位置移动被抓握组件，由相机监视被抓握组件相对于已安装组件的移动，并且将被抓握组件的至少一个特征接合至已安装组件的至少一个特征。

附图说明

本发明的这些和其它特征及优点将关于以下描述和附图而被更好地理解，其中：

图1是依据本发明的概念的视觉引导对准系统的示意图，其示出了在成像相机的视场内相对于已安装组件移动被抓握组件的机器人手爪；

图2是依据本发明的概念的视觉引导对准系统的示意图，其示出了对准被抓握组件和已安装组件的组装特征的机器人手爪；

图3A是依据本发明的概念的具有视觉上可访问的视觉特征和视觉上被遮挡的组装特征的被抓握组件的顶部平面图；

图3B是依据本发明的概念的具有视觉上可访问的视觉特征和视觉上被遮挡的组装特征的已安装组件的顶部平面图；

图4是依据本发明的概念的流程图，其示出了用于自动设置或初始化用来控制视觉引导对准系统的相机空间操控控制过程的操作步骤。

具体实施方式

图中示出了一种用于对用于视觉引导对准系统10的相机空间操控(CSM)控制过程算法进行自动初始化的系统和方法，该视觉引导对准系统10用来实现诸如电子设备的小型组件之类的结构的精确对准和/或紧凑公差组装。具体地，参见图1，为了将被抓握的电子组件20的结构特征与已安装电子组件30上的结构特征对准和/或耦合，视觉引导机器人组装系统10利用具有包括机器人手爪42的末端执行器(end effector)的机器人40。手爪42使用耦合到处理器60的一个或多个相机50进行引导，上述相机50作为被配置为视觉地识别所述组件20、30上的结构特征的视觉识别系统。相机50被定位为使得其视场(FOV)包含机器人手爪42以及被抓握和已安装的组件20、30。例如，相机50使用任意适当手段(诸如通过另一机器人)被置于固定或可移动位置，并且被定位为使得相机50的视场包含机器人手爪42以及组件20、30，如图2所示。应当意识到的是，相机50可以包括用于对组件20、30进行成像的任意适当分辨率，而处理器60则可以包括必要的硬件和/或软件，包括诸如显示器和键盘之类的必要输入和输出设备，以便执行所要讨论的功能。实际上，处理器60能够将机器人手爪42和相机50移动至任意所期望位置，并被配置为完全控制机器人40和相机50的操作。此外，处理器60能够接收用户输入以促进机器人40、机器人手爪42和相机50的操作。另外，应当意识到的是，组件20和30可以包括任意组件或结构，例如包括诸如小型电子组件之类的电子组件。在系统10的操作期间，相机空间操控控制过程改善对视觉引导对准系统10的操作所导致的抓握误差、机器人向前运动误差和相机模型误差进行补偿的局部相机机器人模型，并且以所要讨论的方式自动初始化以便实现组件20、30的精确的紧凑公差组装。

虽然这里所给出的讨论描述了视觉引导对准系统和方法10用来基于小型电子组件的视觉特征132、142而对其进行对准和组装，但是并不应当理解为其局限于此。这样，应当意识到的是，这里所描述的视觉引导对准系统和方法10可以被用来对准结构，诸如对于执行拾取和放置操作所必要的对准工具和工作，用来实施材料去除或者执行或建造操作，或者完成需要基于结构的视觉特征的外观而使两个或更多结构对准的任意其它自动化任务。

继续至图3A，被抓握组件20包括衬底100，诸如具有相对的顶面110和底面120的印刷电路板。顶面110提供了在视觉上可被相机50所访问的视觉特征132，而底面120则提供了在视觉上从相机50的视场有所遮挡的组装特征134。由于组件20在被机器人手爪42抓握时的顶面110和底面120的方位，处于被抓握组件20底面120上的组装特征134从相机50的视场(FOV)有所遮蔽或阻挡。这使得系统10无法使用从相机50所捕捉的被抓握组件20的图像而获得的数据将被抓握组件20与已安装组件40准确对准。相对应地，图3B示出了已安装组件30，其包括具有相对的顶面130和底面140的衬底136。这样，顶面130提供了在视觉上可被相机50所访问的视觉特征142，而底面140则提供了在视觉上从相机50的视场有所遮挡的组装特征144。应当意识到的是，例如，被抓握组件20和已安装组件30可以具有任意数量的视觉和组装特征132、134、142、144，并且视觉特征132、134以及组装特征142、144可以包括任意适当的结构组件，诸如被配置为耦合或配合在一起的连接插口或连接器。

为了将位于被抓握组件20的底面120上的遮挡组装特征134与已安装组件30的视觉特征142对准，与组件20、30相关联的计算机辅助设计(CAD)布局模型或组件模型被加载到处理器60中并且被系统10使用以建立被抓握组件20在视觉上可被相机50所访问的视觉特征132与在视觉上从相机50的视场有所遮挡的组装特征134之间的关系。也就是说，CAD组件模型电子表示组件20、30，诸如其定义其所有结构特征132、134、142、144的位置和排列，从而识别在视觉上可被相机50访问的视觉特征132、142与在视觉上从相机50有所遮挡的组装特征134、144之间的相对空间位置。这样，对准系统10所采用的相机空间操控控制方法通过使用被抓握组件20的CAD组件模型和视觉特征132的相机图像，而允许机器人手爪42在所定义的插入位置将被抓握组件20的任意一个被遮挡装配特征134与已安装组件30的适当匹配或容纳的视觉特征142精确对准。

因此，利用所给出的视觉引导对准系统10的细节，以下讨论给出其中对用来控制对准系统10的相机空间操控(CSM)控制过程进行设置或初始化的操作步骤，如附图的图4所示，它们总体上由附图标记200所标示。最初，在步骤220，由处理器60从与组件20、30相关联的CAD组件模型提取视觉特征132、142以及装配特征134、144的精确相对位置。应当意识到的是，可以使用例如包括有线或无线数据传输在内的任意适当的数据传输方式将CAD组件模型传输至处理器60。视觉特征132、142的形状和尺寸从CAD组件模型被提取并且随后被用来对包括相机50和处理器60的视觉识别系统进行训练，以在视觉上识别出与组件20、30的视觉特征132、142相关联的视觉模式。由处理器60从相机50所捕捉的图像自动识别出视觉特征132的中心，这允许机器人手爪42自动移动被抓握组件20以使得视觉特征132在物理空间中的物理位置与相机50所捕捉的图像相匹配。该自动初始化过程200是用户友好的，其允许设置简化同时减少了否则将被引入系统10之中的人为误差。

在另一个方面，过程200可以被配置为作为半自动系统进行操作，由此可以首先对组件20、30的模式识别进行自动训练，同时允许终端用户使用处理器60所提供的输入设备调谐或调节模式中的参数。

接下来，在步骤230，由处理器60通过使用与组件20、30相关联的CAD组件模型来识别定义要被耦合或配合在一起以完成组件20、30的组装的视觉特征对132、142和/或组装特征对134、144的插入位置。还应当意识到的是，用户能够从CAD组件模型中选择组件20、30的视觉特征132、142和组装特征134、144，以及用于对准和/或组装组件20、30的具体方式。

在步骤240，处理器60所生成的完全或部分表示真实或潜在机器人工作单元的计算机仿真机器人工作单元自动生成初始机器人校准位置，其用来计算与机器人手爪42的位置相关联的初始相机机器人校准模型。应当意识到的是，虽然步骤240描述了自动生成初始机器人校准位置，但是这样的位置可以在计算机仿真机器人工作单元中直接手动指定。例如，可以由用户通过手工轻推仿真机器人并且记录机器人已经移动经过的位置来生成或指定初始机器人校准位置。在一个方面，初始校准位置可以使用大致指定或估计的安装组件30的位置生成以定义具有指定半径的球体的中心点。随后基于以下约束对位于该球体上的候选校准位置进行过滤和选择，该约束包括但并不局限于标称机器人向前运动模型；相机50的位置和方位以及视觉识别系统(相机50和处理器60)的操作参数；组件20、30的大致指定或估计的位置；与组件20、30相关联的CAD组件模型；手爪42的估计位置；以及机器人40将被抓握组件20移动至与已安装组件30对准所采用的最优路径。具体地，相机50的位置和方位以及视觉识别系统(相机50和处理器60)的操作参数定义了初始校准位置的约束，这确保视觉引导对准系统10能够看到手爪42所抓握的组件20上的视觉特征132的外观。此外，标称的机器人向前运动模型、组件20、30的CAD组件模型，以及机器人手爪42的位置定义了初始校准位置的约束，这确保机器人40在其操作期间能够在物理上达到初始校准位置。组件20、30的大致指定或估计位置定义了初始校准位置的约束以确保在组件20、30的组装期间随着机器人40移动在机器人40和机器人工作单元中的任何其它物体之间不会发生碰撞。机器人40将被抓握组件20移动至与已安装组件30相对准所采用的最优路径确保了初始校准位置的方位与机器人40针对组件20、30在插入位置处的最终对准和组装的物理方位相同。然而，由于标称机器人向前运动模型是有缺陷的，所以机器人40的位置可能与初始校准位置有所不同，因此产生定位误差。然而，由于自动生成的校准位置与机器人40用来组装组件20、30所采用的最终对准位置具有相同的方位，所以定位误差由处理器60从初始机器人校准位置所生成的作为结果的相机机器人校准模型补偿。初始校准位置的自动生成还考虑到了使用初始校准数据以拟合(fit)相机机器人校准模型以及在相机图像空间和机器人物理空间中分布校准位置时的数字稳定性和噪声敏感度。也就是说，如果校准位置在图像空间或机器人物理空间中彼此非常接近，则包含从这些位置所收集的初始数据的矩阵就接近于病态矩阵。然而，从参数拟合过程所产生的数字稳定性问题在本发明的自动初始化过程200期间有所考虑并且被最小化，否则上述数字稳定性问题会趋于生成对数据中的噪声敏感的相机机器人校准模型。

接下来，在步骤250，自动生成的初始校准位置在处理器60所生成的计算机仿真或虚拟机器人工作单元中进行验证和测试，该机器人工作单元完全或部分地表示使用数据的实际或潜在机器人工作单元，该数据包括但并不局限于：标称机器人向前运动模型；相机50的位置和方位以及视觉识别系统(相机50和处理器60)的操作参数；组件20、30的大致指定或估计的位置；以及机器人40将被抓握组件20移动至与已安装组件30对准所采用的最优路径。

在已经在步骤250通过计算机仿真对机器人手爪42的校准位置进行了测试和验证之后，该过程继续进行至步骤260，在那里机器人手爪42移动被抓握组件20通过在相机50的视场(FOV)内的在步骤240中所创建的每个机器人校准位置。继续进行至步骤270，随着手爪42移动通过每个校准位置，相机50在多个位置处获取手爪42的位置并且监视视觉特征132的外观。最后，过程200继续进行至步骤280，在那里系统10利用所获取的机器人手爪42的位置数据和视觉特征132的外观数据，以用任意适当的数据拟合方法来建立初始相机机器人校准模型，例如，上述数据拟合方法诸如最小二乘法、列文伯格-马夸尔特(Levenberg-Marquardt)法、线性回归法以及单形法。也就是说，相机空间操控控制过程所使用的初始相机机器人校准模型映射了机器人40的标称位置坐标和在相机50的视场中进行移动的被抓握组件20上被相机50所识别的视觉特征132的外观之间的关系。这样，所产生的自动初始化的相机机器人校准模型允许系统10在所定义的插入位置将组件20、30精确组装在一起。

因此，将要意识到的是，本发明的一个或多个实施例的优势在于，在没有专门且易于出错的手动训练的情况下，通过从相关联CAD组件模型提取待组装组件的训练模式对使用相机空间操控的视觉引导对准系统进行初始化或设置。本发明的另一个优势在于，通过利用与组件相关联的CAD组件模型来确定一个组件到其它组件之中的插入位置而执行视觉引导对准系统的初始化或设置，不存在手动轻推或移动机器人来向系统教导该插入位置的困难。本发明的又另一个优势在于，该视觉引导对准系统使用计算机仿真的工作单元，其基于组件的视觉特征在每个校准位置对一个或多个相机的可视性并且基于机器人的可到达性来生成初始校准位置。本发明的再另一个优势在于，视觉引导对准系统使用计算机仿真的工作单元来确保避免机器人与机器人单元中的结构的碰撞，确保了校准位置和插入位置之间存在相同方位，即使每个机器人位置可能具有由于有缺陷的机器人向前运动模型而导致的不同定位误差。本发明的另一个优势在于，视觉引导对准系统使用计算机仿真的工作单元而确保校准位置在相机图像空间和机器人物理空间中进行分布，这导致稳定性有所提高并且降低了对相机空间操控(CSM)控制过程的初始化计算所生成的采样噪声的敏感度。本发明的又另一个优势在于，在没有乏味且耗时的手动测试的情况下，视觉引导对准系统在仿真工作单元中对校准位置进行测试，通过对所有重要要求进行测试而验证自动生成的校准位置。

虽然已经参考特定实施例对本发明进行了相当详细的描述，但是其它实施例也是可能的。因此，所附权利要求的精神和范围不应当局限于这里所包含的实施例的描述。

Claims (14)

1.一种用于对准多个组件的视觉引导对准系统，包括：

机器人手爪，被配置为使一个组件相对于另一个组件移动；和

耦合至处理器的相机，所述相机生成所述组件的图像；

其中所述处理器所生成的仿真机器人工作单元计算定义所述机器人手爪的移动的初始校准位置，从而所述机器人手爪的实际位置和所述校准位置之间的位置误差被所述处理器所执行的基于相机空间操控的控制算法所补偿，以基于所述组件的所述图像而控制所述机器人手爪将一个组件移动至与另一个组件对准。

2.根据权利要求1所述的视觉引导对准系统，其中所述初始校准位置在所述仿真机器人工作单元中进行验证和测试。

3.根据权利要求1所述的视觉引导对准系统，其中所述机器人手爪在由所述处理器使用与所述组件的至少一个相关联的组件模型识别的预定插入位置将对准的组件组装在一起。

4.根据权利要求3所述的视觉引导对准系统，其中所述组件模型识别所述相机可看到的至少一个特征和所述相机看不到的至少一个特征之间的关系。

5.根据权利要求4所述的视觉引导对准系统，其中所述组件模型包括计算机辅助设计(CAD)模型。

6.根据权利要求1所述的视觉引导对准系统，其中所述处理器被配置为使用与所述组件的至少一个相关联的组件模型从所述图像识别视觉特征。

7.根据权利要求1所述的视觉引导对准系统，其中所述相机具有视场，所述视场包含所述机器人手爪所抓握的组件。

8.根据权利要求1所述的视觉引导对准系统，其中所述初始校准位置由所述处理器依据数据拟合方法生成，所述数据拟合方法从最小二乘法、列文伯格-马夸尔特法、线性回归法或单形法构成的组中选择。

9.一种对准多个组件的方法，包括：

提供均由处理器控制的相机和机器人手爪，所述机器人手爪被配置为使被抓握的组件相对于已安装组件移动；

从所述处理器处理的所述被抓握组件的模型来识别所述被抓握组件能够被所述相机看到的至少一个特征与所述被抓握组件无法被所述相机看到的至少一个特征的相对位置；

基于所述被抓握组件的所述模型在所述处理器仿真的工作单元中为所述手爪生成校准位置，所述校准位置定义由所述机器人手爪进行的所述被抓握组件到所述已安装组件的移动；

由所述机器人手爪依据所述校准位置移动所述被抓握组件；

由所述相机监视所述被抓握组件相对于所述已安装组件的移动；并且

将所述被抓握组件的所述至少一个所述特征接合至所述已安装组件的至少一个特征。

10.根据权利要求9所述的方法，其中在所述生成步骤生成的所述校准位置被所述相机的一个或多个位置、一个或多个所述组件的位置，或者所述机器人手爪的位置约束。

11.根据权利要求9所述的方法，还包括在所述生成步骤之后在所述工作单元中验证所述校准位置。

12.根据权利要求9所述的方法，其中所述校准位置在所述生成步骤中依据数据拟合方法生成，所述数据拟合方法从最小二乘法、列文伯格-马夸尔特法、线性回归法或单形法构成的组中选择。

13.根据权利要求9所述的方法，其中在所述接合步骤，所述被抓握组件的所述至少一个特征无法被所述相机看到。

14.根据权利要求9所述的方法，还包括通过由所述处理器处理的所述已安装组件的模型来识别所述已安装组件的所述至少一个特征的位置。

Images