CN116457628A - 修复的机器人方法 - Google Patents

Abstract

提供了一种机器人操作的检查和修复的方法。机器人操作优选地包括将材料分配至部件的表面上。摄像头被用于捕获机器人操作的图像并在所捕获的图像中标识机器人操作中的缺陷。然后缺陷的位置从图像坐标系变换到机器人坐标系。然后机器人被移动到机器人坐标系中的缺陷位置以修复缺陷，例如通过在缺陷处分配附加材料。

Description

修复的机器人方法

技术领域

本发明总体涉及机器人操作，更具体地，涉及修复机器人操作的机器人方法。

背景技术

机器人被用于许多分配应用中，包括将粘合剂和密封剂应用到表面、焊接操作和3D打印等。在典型的机器人分配操作中，材料从机器人沿着路径分配。然而，在分配应用期间可能出现缺陷。分配缺陷的一个示例是当被分配的密封材料中存在空气时。在这种情况下，当空气到达分配喷嘴时，由于空气从喷嘴射出而不是密封剂，沿着所分配的密封剂路径会出现间隙。虽然希望避免这些类型的缺陷，但由于被分配的材料的不可预测的性质，防止分配缺陷可能不总是可能的。因此，希望提供能够标识分配应用中出现的缺陷并修复这些缺陷的系统。

发明内容

描述了一种修复机器人操作的方法。该方法包括捕获机器人操作的图像并且标识机器人操作中的缺陷。缺陷的位置在所捕获的图像的坐标系中也被标识。然后缺陷位置被变换到机器人坐标系。然后机器人可以被移动到机器人坐标系中的缺陷位置以修复缺陷。本发明还可以包括以下书面描述或附图中描述的任何其他方面及其中的任何组合。

附图说明

通过结合附图阅读以下描述可以更全面地理解本发明，在附图中：

图1是用于对部件进行操作的机器人的透视图；

图2是由机器人分配的一系列焊道的俯视图；

图3是一系列具有缺陷的焊道的俯视图；以及

图4是用于修复机器人操作的方法的流程图。

具体实施方式

现在参考附图，特别是图1，示出了机器人分配系统。机器人分配系统设置有安装在机器人可移动结构12上的分配喷嘴10，以允许喷嘴10由机器人12在一个、两个或三个维度上移动。控制器根据待分配材料的期望路径控制机器人结构12和分配喷嘴10的运动。在这种情况下，喷嘴10可以沿着三维路径14将粘合剂或密封剂14分配至组装部件16上。多种分配应用也是可能的，例如焊接和3D打印。一个或多个摄像头18也被提供用于捕获所分配的材料路径14的一个或多个图像。尽管摄像头18可以位于与机器人12分离的固定位置，但是摄像头18是可移动的是优选的，以从不同的定位捕获多个图像。更优选地，摄像头18可以安装到机器人12本身，使得摄像头18与具有分配喷嘴10的同一机器人结构12一起移动。尽管可以使用单个摄像头18，但是提供两个摄像头18是优选的，其使用组合的图像来生成所分配的材料路径14的3D图像。也可以在不同位置(例如，固定位置和机器人12上)使用多个摄像头18。尽管摄像头18可以捕获各种格式的图像，但是灰度图像、点云数据(例如，具有x、y、z和强度属性)等可能是期望的.

图2和图3示出了已经分配到表面上的材料的焊道14，例如粘合剂或密封剂14。如图所示，图2中的焊道14在宽度上大致统一，具有一致的起始点和停止点，并且在焊道14中没有间隙。相反，图3示出了具有比期望的更宽的段20的焊道14、在焊道14中具有间隙22、以及比期望的开始或停止点短的开始和停止点24。这里的机器人方法可以用于标识和修复这种缺陷。

在图4的流程图中示出了检查和修复的方法。在第一步中，机器人操作被执行26，例如在对部件16进行进一步组装操作之前将材料的焊道14分配在部件16上。然后摄像头18捕获机器人操作30的一个或多个图像用于图像分析。尽管当机器人12正在执行操作26时摄像头18捕获图像30是可能的，但是更期望摄像头18在操作26完成之后捕获图像30。例如，在机器人12正在分配粘合剂或密封剂14的焊道14并且摄像头18被安装至机器人12的情况下，可能优选的是首先完成分配操作26并且然后单独地将机器人12移动至不同位置以捕获所分配的焊道14的图像30。这可以允许摄像头18被定向在对于焊道14检查最佳的特定位置，如果摄像头18仅仅是在焊道14被分配时沿着焊道14的路径，这将是不可能的。

优选地，在利用摄像头18捕获图像30之前，摄像头18与部件16对准28。这可以通过使用部件16上的一个或多个特征16A作为参考点并将摄像头18移动至相对于参考点16A的预定位置来完成。例如，具有包括在图像中的参考特征16A的组件16的图像可以被捕获。然后，机器人12可以分析图像以确定参考特征16A在图像中的位置并且将摄像头18移动至所对准的位置，其中参考特征16A位于图像中的预定位置。当比较检验图像与主图像时，确保在检验相同类型等的多个部件16时的一致性可能是有用的。

在图像已经被捕获30之后，机器人12(例如，与其连接的控制器或处理器)分析图像以标识已经被分配的焊道14中的缺陷32。例如，机器人12可以计算焊道14在沿其长度的点处的宽度。计算焊道14的宽度的一种方式是使机器人12对具有相似对比度或颜色的焊道14上的图像像素的数量进行计数。因此，当在焊道14上扫描时，像素对比度或颜色的急剧变化可以指示焊道14的边缘。预期的焊道14宽度(例如，像素)的设置公差范围可以存储在机器人12中，用于可接受的焊道特性。机器人12还可以使用机器学习技术和可接受的焊道14的图像来训练。应当理解，此处所指的机器人12可以包括位于离开机器人手臂的系统部件以及其可移动部件。例如，机器人12可以具有位于远离使用机器学习/深度学习技术训练的机器人手臂的视觉PC或其他视觉处理器。

当在所捕获的图像中标识缺陷32时，机器人12还可确定缺陷是否可以通过机器人12修复44。例如，当建立机器人系统时，可以由工程师确定机器人12不应当修复具有超过阈值数目的多个缺陷的操作。该确定的原因可能是大量的缺陷可能指示应当修复的机器人系统中的故障。与手动修复46所需要的相比，大量的缺陷也可能需要更多的时间来用机器人系统修复。其它类型的焊道14缺陷分类也可以用来确定可修复性。如果机器人12确定分配操作是通过机器人12不可修复的44，则部件16可以被标记并为将对部件16进行的手动修复46留出。尽管检查可修复性44的步骤可以在不同的点完成，并且甚至可以在整个过程中多次执行，但是可修复性检查44在将机器人48移动至任何所标识的缺陷并开始修复50之前完成是优选的。

当在捕获的图像中标识分配的焊道14的缺陷32时，机器人12也在各自图像的图像坐标系中标识缺陷的位置32。例如，机器人12可以标识图像中缺陷所位于的像素位置。然后缺陷可以变换至机器人坐标系38，使得机器人12可以使用机器人坐标系中的缺陷位置被移动至缺陷位置48。优选地，缺陷位置被变换为图像坐标系32和机器人坐标系38之间的中间坐标系(即，工件坐标系)34。这可以使用部件16上的参考特征16A来完成。因此，在优选实施例中，机器人12在捕获图像中标识缺陷32，并且首先标识图像的坐标系中每个缺陷的位置(例如，使用像素位置)32。然后，机器人12使用所捕获的图像中的参考特征16A的位置来确定缺陷相对于部件本身(即，工件坐标系)位于何处34。最后，机器人12可以使用摄像头18和机器人12(例如喷嘴10)之间的校准数据来确定缺陷相对于机器人12(即机器人坐标系)位于何处38。

通过标识缺陷位置32并将缺陷位置变换至机器人坐标系38，然后机器人12可以被移动至机器人坐标系中的每个缺陷48以修复缺陷50。机器人12可以通过在缺陷的位置处分配材料的另一焊道14来修复缺陷50。例如，在缺陷是焊道14中的间隙22的情况下，机器人12可以移动至间隙22并在间隙22中分配另一短焊道14以填充间隙22。传统的修复方法可以标识缺陷由于焊道14带有标识缺陷何时发生的时间戳被分配，与传统的修复方法相反，这里的优选方法不需要跟随原始的机器人操作的路径来移动至缺陷位置48。反而，因为该方法在机器人坐标系38中确定缺陷位置，所以机器人12能够直接移动到每个缺陷48以执行修复操作50。这可以在焊道路径14是长且曲折的情况下提供显著的时间节省。

当修复缺陷50时，对于用于执行原始分配操作的机器人程序，以与分配操作指令相关联的位置来标记可能是有用的。例如，结构化的机器人程序可以与顺序的位置和将在每个位置使用的相关机器人指令一起使用。当修复缺陷50时，机器人12然后可以搜索原始程序代码以确定对应于所标识的缺陷位置的机器人分配指令，并使用这些指令用于修复50。机器人指令可以包括，例如，焊道14的路径、焊道14的宽度、分配速度等。为了使修复操作50更有效，也可以期望对缺陷进行分类，其可以包括将多个缺陷成批分组在一起40，并发送批修复指令至机器人12以在一个修复操作50中修复缺陷。这与缺陷被标识时机器人12移动到每个缺陷并修复缺陷50的一次一个地单独完成的修复形成对比。通过批处理缺陷40，单个修复操作50可以被执行，并且缺陷修复可在批修复指令中以有效次序布置(例如，以与原始分配操作不同的次序)。多个缺陷的位置也可以相对于彼此被分析，以在连续段42中标识彼此相邻的缺陷。在这种情况下，多个缺陷可以被分组在一起用于连续段42的在开始位置和结束位置之间的单次修复。因此，在一个操作中机器人12可能分配统一的焊道14和/或跟随从开始位置到结束位置的统一路径来修复缺陷50，而不是彼此分开地修复每个单独的缺陷。通过将缺陷变换到部件坐标系34中，也可以期望将来自不同部件的缺陷的位置进行制表36。因为所标识的缺陷可以通过它们在部件本身上的位置来标识，所以可以比较来自多个部件(每个在工件坐标系中被标识)的多个缺陷以标识重复的缺陷位置。因此，可以确定机器人操作在部件上的特定位置重复某些缺陷。结果，工程师可以使用该列表信息36来改进机器人操作以便减少对修复操作50的需要。

虽然已经描述了本发明的优选实施例，但是应当理解，本发明不限于此，并且在不脱离本发明的情况下可以进行修改。虽然在此描述的每个实施例可以仅涉及某些特征并且可以不具体地涉及相对于其他实施例描述的每个特征，但是应当认识到，除非另外描述，在此描述的特征是可互换的，即使在没有提及具体特征的情况下。还应当理解，上述优点不一定是本发明的唯一优点，并且不一定预期本发明的每个实施例将实现所有描述的优点。本发明的范围由所附权利要求限定，并且落入权利要求的含义内的所有装置和方法，无论是字面上的还是等同的，都旨在包含在其中。

Claims (20)

1.一种用于修复机器人操作的方法，包括：

利用机器人在部件上执行操作；

利用摄像头捕获所述操作的图像；

在所述图像的图像坐标系中标识所述操作的缺陷的位置；

将所述缺陷的所述位置变换至机器人坐标系；

将所述机器人移动至所述机器人坐标系中的所述位置；以及

利用所述机器人修复所述缺陷。

2.根据权利要求1所述的方法，其中在捕获所述图像之前将所述摄像头与所述部件对准。

3.根据权利要求2所述的方法，其中将所述摄像头与所述部件对准包括将所述摄像头移动至相对于所述图像内的所述部件的特征的预定位置。

4.根据权利要求1所述的方法，还包括使用位于所述图像内所述部件的特征的位置将所述缺陷的所述位置从所述图像坐标系变换至工件坐标系。

5.根据权利要求1所述的方法，还包括使用所述摄像头与所述机器人之间的校准将所述缺陷的所述位置从所述工件坐标系变换至所述机器人坐标系。

6.根据权利要求1所述的方法，其中所述摄像头能够相对于所述部件移动。

7.根据权利要求6所述的方法，其中所述摄像头相对于所述部件被移动以捕获与执行所述操作分离的图像。

8.根据权利要求1所述的方法，还包括两个所述摄像头，其中所述图像是由两个所述摄像头捕获的3D图像。

9.根据权利要求1所述的方法，其中所述操作包括分配材料的焊道。

10.根据权利要求9所述的方法，其中标识所述缺陷的所述位置包括确定所述焊道沿其长度的宽度。

11.根据权利要求10所述的方法，其中确定所述焊道的宽度包括将在所述图像中表示所述焊道的像素的数目与所述焊道的像素的预期数目进行比较。

12.根据权利要求9所述的方法，其中修复所述缺陷包括在所述缺陷的所述位置处分配所述材料的另一焊道。

13.根据权利要求1所述的方法，其中所述缺陷包括所述操作中沿其长度的间隙。

14.根据权利要求1所述的方法，还包括在利用所述机器人修复所述缺陷之前确定所述缺陷是否能够利用所述机器人来修复，并且如果所述缺陷被确定为不能由所述机器人修复，则标记所述部件用于手动修复。

15.根据权利要求14所述的方法，其中缺陷的数目被计数，如果所述缺陷的数目超过阈值数目，则所述部件被确定为不能由所述机器人修复。

16.根据权利要求1所述的方法，其中多个缺陷的位置被标识并且被成批分组在一起，批修复指令被发送至所述机器人以修复所述多个缺陷。

17.根据权利要求1所述的方法，其中多个缺陷的位置被标识为连续段，开始位置和结束位置针对所述连续段被确定，并且所述多个缺陷由所述机器人在所述开始位置与所述结束位置之间以统一的操作被修复。

18.根据权利要求1所述的方法，其中所述缺陷通过将所述机器人移动至在所述机器人坐标系中所述缺陷的所述位置来被修复，而不需要跟随所述操作的路径。

19.根据权利要求1所述的方法，还包括标识来自多个部件的所述操作的缺陷的位置，以及将每个缺陷的所述位置从所述图像坐标系变换至每个部件的工件坐标系，以及在每个部件的工件坐标系中对来自所述多个部件的所述缺陷的所述位置进行制表。

20.根据权利要求1所述的方法，其中利用所述机器人修复所述缺陷包括标识用于在所述缺陷的所述位置处执行所述操作的机器人指令，以及基于所标识的机器人指令利用所述机器人执行另一操作。