CN108463313A

CN108463313A - 机器人系统校准

Info

Publication number: CN108463313A
Application number: CN201680079151.8A
Authority: CN
Inventors: D·希尔克特; J·普埃什; P·弗兰森
Original assignee: ABB Technology AG
Current assignee: ABB Technology AG
Priority date: 2016-02-02
Filing date: 2016-02-02
Publication date: 2018-08-28
Also published as: EP3411194A1; WO2017133756A1; US20180354137A1; US11230011B2

Abstract

一种用于校准包括平面拾取表面(90)的机器人系统(10)的方法，包括：使机器人夹持器(30)到达抵靠拾取表面(90)的第一位置；以及从下方生成机器人夹持器(30)的第一图像。当知道图像中的机器人夹持器(30)的某个可标识部分总是抵靠平面拾取表面(90)时，如果机器人夹持器(30)相对于拾取表面(90)的取向是已知的，或者如果在机器人夹持器(30)的可标识部分上在抵靠拾取表面(90)的至少三个不同位置存在图像，则拾取表面90相对于操纵器坐标系70的位置和取向可以被完全限定。

Description

机器人系统校准

技术领域

本发明涉及视觉系统坐标系相对于机器人系统中的操纵器坐标系的校准。

背景技术

存在相对简单的常规方法，以通过将机器人末端执行器处的校准指针轻推到焊接夹具处的预定义的目标点、并且基于校准指针在操纵器坐标系中的相应位置来计算焊接夹具在操纵器坐标系中的位置和取向，从而相对于诸如焊接夹具的另一不动对象来校准操纵器坐标系。此外，通常例如从WO2012076038A1和WO2014161603A1中已知，通过将设置有校准标记的末端执行器移动到操纵器坐标系中的多个已知目标点、并且基于校准标记上的图像来计算视觉系统坐标系中的相应位置，从而相对于操纵器坐标系来校准视觉系统坐标系。

其中需要将操纵器轻推到预定义的目标点的方法涉及多个缺点，诸如这些方法费时、容易出错以及为了准确而需要操作人员具有高的技能来执行方法。基于自动校准程序的方法复杂且难以开发，并且由于获取良好的准确度需要大量目标点，所以它们也是耗时的。

发明内容

本发明的一个目的是提供用于校准机器人系统的改进的方法，该方法快速、简单且准确，并且不需要操作人员具有高的技能来执行方法。

这些目的通过根据所附权利要求1的方法和根据所附权利要求13的设备来实现。

本发明基于以下认识：当知道图像中的机器人夹持器的某个可标识部分总是抵靠平面拾取表面时，如果机器人夹持器相对于拾取表面的取向是已知的，或者如果在机器人夹持器的可标识部分上在抵靠拾取表面的至少三个不同位置存在图像，则拾取表面相对于移动机器人夹持器的操纵器的操纵器坐标系的位置和取向可以被完全限定，其中该至少三个不同位置没有成直线。

根据本发明的第一方面，提供了用于校准包括平面拾取表面的机器人系统的方法。方法包括以下步骤：使机器人夹持器到达抵靠拾取表面的第一位置。方法还包括以下步骤：从下方生成机器人夹持器的第一图像。

根据本发明的一个实施例，方法还包括以下步骤：将机器人夹持器移动到抵靠拾取表面的第二位置；并且从下方生成机器人夹持器的第二图像。

根据本发明的一个实施例，方法还包括以下步骤：围绕垂直于拾取表面的轴线旋转机器人夹持器。

根据本发明的一个实施例，方法还包括以下步骤：将机器人夹持器移动到抵靠拾取表面的第三位置；以及从下方生成机器人夹持器的第三图像。

根据本发明的一个实施例，机器人夹持器包括至少一个检测标记，该至少一个检测标记被配置为使得机器人系统被允许精确地检测该至少一个检测标记在图像中的位置。

根据本发明的一个实施例，至少一个所生成的图像包括至少一个检测标记的图示。

根据本发明的一个实施例，至少一个检测标记相对于拾取表面的取向是已知的。

根据本发明的一个实施例，机器人夹持器限定夹持器平面，使该夹持器平面能够明确地抵靠拾取表面以与该拾取表面相平行。

根据本发明的一个实施例，夹持器平面由至少三个单独的支撑点限定。

根据本发明的一个实施例，机器人夹持器被配置成仅在校准期间而不是在机器人系统的正常操作期间限定夹持器平面。

根据本发明的一个实施例，机器人夹持器包括至少两个检测标记，诸如三个检测标记。

根据本发明的一个实施例，机器人系统还包括用于在限定的操纵器坐标系内移动机器人夹持器的操纵器，方法还包括以下步骤：基于所生成的一个或多个图像来计算拾取表面的位置和取向与操纵器坐标系之间的相关性。

根据本发明的第二方面，提供了机器人系统，其包括：平面拾取表面、用于在限定的操纵器坐标系内移动机器人夹持器以从拾取表面拾取对象的操纵器、用于在拾取表面上的对象上生成图像的视觉系统、以及用于控制操纵器的移动和视觉系统的操作的控制单元。控制单元被配置成基于第一图像来计算拾取表面的位置和取向与操纵器坐标系之间的相关性，该第一图像来自与拾取表面接触抵靠的机器人夹持器的下方。

根据本发明的一个实施例，机器人夹持器限定夹持器平面，使该夹持器平面能够明确地抵靠拾取表面以与拾取表面相平行。

附图说明

将参考附图更详细地解释本发明，在附图中：

图1示出了根据本发明一个实施例的机器人系统，

图2示出了根据本发明一个实施例的机器人夹持器，

图3示出了来自下方的具有两个检测标记的机器人夹持器的图像，以及

图4示出了来自下方的具有三个检测标记的机器人夹持器的图像。

具体实施方式

参考图1，根据本发明的一个实施例的机器人系统10包括用于移动机器人夹持器30的操纵器20和用于确定要由机器人夹持器30拾取的对象50的位置的视觉系统40。机器人系统10还包括控制单元60，控制单元60用于控制操纵器20的移动并且用于控制视觉系统40的操作。操纵器20具有定义明确的坐标系统，操纵器坐标系70，机器人夹持器30在操纵器坐标系70内被移动。机器人的每个接头80设置有用于移动相应接头80的致动器，并且设置有用于确定相应接头80的角位置的解析器。基于解析器信号，控制单元60能够恒定地计算机器人夹持器30在操纵器坐标系70中的位置和取向。

视觉系统40包括透明且平坦的拾取表面90，在该拾取表面90下方布置有用于在拾取表面90上的对象50上生成2D图像的平板扫描仪100。扫描仪100包括接触式图像传感器(未示出)，接触式图像传感器的宽度覆盖拾取表面90的整个宽度110，并且接触式图像传感器被配置成在扫描方向130上穿过拾取表面90的长度120在拾取表面90下方移动。控制单元60包含算法140，该算法140基于对象50上的图像能够识别对象50并且确定对象50在视觉系统坐标系150中的位置和取向。

由于操纵器20和视觉系统40在预定义的相对位置中没有彼此附接，所以在机器人系统10投入运行时，操纵器坐标系70与视觉系统坐标系150之间的位置关系通常不是预先已知的。机器人系统10因此需要被校准以确定视觉系统坐标系150相对于操纵器坐标系70的位置和取向。之后才可以将来自视觉系统40的对象50的位置信息转换成操纵器坐标系70中的位置信息，并且机器人夹持器30可以被移动到用于拾取相应对象50的期望位置。

由于拾取表面90是平面且矩形的，因此将视觉系统坐标系150定义为笛卡尔坐标系是方便的，在笛卡尔坐标系中，第一轴线151在拾取表面90的平面中并且平行于扫描方向130，第二轴线152在拾取表面90的平面中并且垂直于第一轴线151，以及第三轴线153垂直于第一轴线151和第二轴线152。假定机器人夹持器30上具有检测标记160(参见图3)，检测标记160在操纵器坐标系70中的位置是已知的，则通过使检测标记160在第一位置处接触抵靠拾取表面90并且通过在视觉系统坐标系150中在视觉系统40的帮助下确定检测标记160的位置，可以确定视觉系统坐标系150与机械手坐标系70之间在第一位置处的相关性。如果在拾取表面90的第二位置处重复相同的练习，则可以确定视觉系统坐标系150与操纵器坐标系70之间在连接第一位置和第二位置的第一线处的相关性。此外，如果在拾取表面90的第三位置处重复相同的练习，其中第三位置没有位于第一线上，则可以完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。

因此，根据本发明的一个实施例，机器人系统10通过采取以下步骤进行校准：轻推操纵器20以使检测标记160在第一位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第一检测标记位置；轻推操纵器20以使检测标记160在第二位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第二检测标记位置；轻推操纵器20以使检测标记160在第三位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第三检测标记位置；并且基于第一、第二和第三检测标记位置来计算视觉系统坐标系150与操纵器坐标系70之间的相关性。为了实现两个坐标系之间的相关性的良好准确度，第一和第二位置应当相对较远地远离彼此，并且第三位置应当相对较远地远离连接第一和第二位置的第一线。此外，检测标记160应当被配置成允许视觉系统40精确地检测检测标记160的位置。这可以通过给予检测标记160合适的形状来实现，该合适的形状包括例如十字的形式。

参考图2，根据本发明的一个实施例的机器人夹持器30包括两个夹持指状物170，该两个夹持指状物170被配置成通过从两侧按压对象50来握住对象50。进一步参考图3，夹持指状物170中的每个夹持指状物在底面180中设置有十字形式的检测标记160，两个检测标记160具有不同的颜色，使得它们可以彼此区分。根据本发明的一个实施例，机器人系统10通过采取以下步骤进行校准：打开机器人夹持器30以完全打开；轻推操纵器20以使两个检测标记160中的每个检测标记在相应的第四和第五位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第四和第五检测标记位置；使机器人夹持器30围绕垂直于拾取表面90的轴线旋转九十度，并且使两个检测标记160中的每个检测标记在相应的第六和第七位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第六和第七检测标记位置；并且基于第四、第五、第六和第七检测标记位置来计算视觉系统坐标系150与操纵器坐标系70之间的相关性。

也就是说，当机器人夹持器30具有在校准期间都抵靠拾取表面90的两个检测标记160时，只要知道哪个检测标记160在四个检测标记位置中的各个检测标记位置处，仅需要两个机器人夹持器位置/取向就可以完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。为了实现两个坐标系之间的相关性的良好准确度，第四和第五位置以及第六和第七位置应当相对较远地远离彼此。

因为处于机器人夹持器30的完全打开位置的两个夹持指状物170之间的有限的距离而导致上述两个检测标记160之间的距离通常相当有限，所以与先前描述的本发明的实施例相比，机器人系统10可以通过采取以下步骤更准确地进行校准：打开机器人夹持器30以完全打开；轻推操纵器20以使两个检测标记160中的每个检测标记在拾取表面90的第一拐角附近的相应的第八和第九位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第八和第九检测标记位置；轻推操纵器20以使两个检测标记160中的每个检测标记在拾取表面90的与第一拐角相对的第二拐角附近的相应的第十和第十一位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第十和第十一检测标记位置；并且基于第八、第九、第十和第十一检测标记位置来计算视觉系统坐标系150与操纵器坐标系70之间的相关性。应当注意，根据本发明的这个实施例，两个检测标记160可以是相同的(具有相同的形状和颜色)，因为控制单元60能够基于操纵器坐标系70中的移动来将它们彼此区分开。可选地，本发明的这个实施例可以通过以下方式来补充：轻推操纵器20以使两个检测标记160中的每个检测标记在拾取表面90的一个或多个附加位置处(诸如在拾取表面90的第三拐角和第四拐角附近的位置处)抵靠拾取表面90以便能够计算视觉系统坐标系150与操纵器坐标系70之间的更加准确的相关性。

参考图4，根据本发明的一个实施例，除了在夹持指状物170处的两个检测标记160之外，机器人夹持器30在临时附接到机器人夹持器30用于促进校准的校准辅助工具190处设置有第三检测标记160，并且机器人系统10通过采取以下步骤进行校准：打开机器人夹持器30以完全打开；轻推操纵器20以使三个检测标记160中的每个检测标记在相应的第十二、第十三和第十四位置处抵靠拾取表面90；在视觉系统40的帮助下在视觉系统坐标系150中确定相应的第十二、第十三和第十四检测标记位置；并且基于第十二、第十三和第十四检测标记位置来计算视觉系统坐标系150与操纵器坐标系70之间的相关性。

也就是说，当机器人夹持器30具有在校准期间全部抵靠拾取表面90的三个检测标记160时，只要知道哪个检测标记160在三个检测标记位置中的各个校测标记位置处，仅需要一个机器人夹持器位置就能够完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。为了实现两个坐标系之间的相关性的良好准确度，第十二、第十三和第十四位置应当相对较远地远离彼此，并且第十四位置应当相对较远地远离连接第十二和第十三位置的第二线200。可选地，本发明的这个实施例可以通过以下方式来补充：轻推操纵器20以使三个检测标记160中的每个检测标记在拾取表面90的一个或多个附加位置处抵靠拾取表面90以便能够计算视觉系统坐标系150与操纵器坐标系70之间的更加准确的相关性。

在本发明的所有先前描述的实施例中，需要视觉系统坐标系150中的至少三个检测标记位置来计算视觉系统坐标系150与操纵器坐标系70之间的相关性。然而，如果检测标记160相对于视觉系统坐标系150的取向是已知的，则只要视觉系统坐标系150中的单个检测标记位置就足以完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。因此可以认为先前的实施例的三个检测标记160构成单个大的检测标记160，这个单个大的检测标记160相对于视觉系统坐标系150的取向可以通过使所有三个检测标记160抵靠拾取表面90来明确地建立。即，三个检测标记160用作限定可以明确地抵靠拾取表面90以与拾取表面90平行的夹持器平面210的三个单独的支撑点。夹持器平面210和拾取表面90的平行关系约束了检测标记160相对于视觉系统坐标系150的第一轴线151(在拾取表面90的平面中并且平行于扫描方向130)和第二轴线152(在拾取表面90的平面中并且垂直于第一轴线151)的取向，并且检测标记160相对于视觉系统坐标系150的第三轴线153(垂直于第一轴线151和第二轴线152)的取向可以根据检测标记160在视觉系统坐标系150中的相互位置来计算。

此外，假定操纵器坐标系70与视觉系统坐标系150之间的某些约束影响完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性所需要的视觉系统坐标系150中的检测标记位置的数目。例如，如果假定拾取表面90与操纵器坐标系70中的平面(视觉系统40和操纵器20两者都站立在平面基座上)相平行，则只要知道哪个检测标记160在两个检测标记位置中的各个检测标记位置处，视觉系统坐标系150中的两个检测标记位置就足以完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。

此外，如果检测标记160相对于视觉系统坐标系150关于第一轴线151和第二轴线152的取向是已知的，则只要知道哪个检测标记160在两个检测标记位置中的各个检测标记位置处，视觉系统坐标系150中的两个检测标记位置就足以完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。因此，在图3的机器人夹持器30的情况下，如果两个检测标记160可以例如按颜色或形状而被分开，则使两个检测标记160抵靠拾取表面90并且垂直于拾取表面90使得能够完全确定视觉系统坐标系150与操纵器坐标系70之间的相关性。

应当理解，除了限定夹持器平面210的支撑点以外，任何合适的装置可以用于限定检测标记160相对于视觉系统坐标系150的取向。例如，在一些应用中，熟练的操作人员可以被认为能够通过眼睛以足够的准确度使检测标记160相对于视觉系统坐标系150进入某个取向。

当在至少三个支撑点的帮助下限定夹持器平面210时，视觉系统40需要能够将支撑点彼此区分开。这可以例如通过以下方式来实现：将支撑点布置为不关于点对称(允许关于线对称)，或者按颜色或形状分开支撑点。备选地，区分支撑点可以通过以下方式来实现：使支撑点在多于一个的机器人夹持器位置处与拾取表面90接触，这允许控制单元60通过基于操纵器坐标系70中的移动而进行的计算来将支撑点彼此区分开。应当理解，不是所有的支撑点都需要被配置为检测标记160；例如两个检测标记160和一个附加支撑点也是足够的。备选地，夹持器平面210可以由例如足够大以便明确地抵靠拾取表面90以与拾取表面90相平行的机器人夹持器30的平面部分来限定。这样的平面部分应当包括至少一个检测标记160、优选地是两个检测标记160，或者整体用作其方向可以确定的检测标记160，以使得视觉系统40能够确定其在视觉系统坐标系150中的位置和取向。因此平面中的相对较大(非对称)十字可以用作检测标记160和用作限定夹持器平面210的平面部分两者。

如上所述，至少在一些情况下，需要知道哪个检测标记160在相应的检测标记位置中的各个检测标记位置处。在两个检测标记160的情况下，这可以通过将检测标记160按颜色或形状分开来实现，并且在三个或更多个检测标记160的情况下，这还可以通过以非对称方式布置检测标记160来实现。此外，任何数目的检测标记160可以通过以下方式来彼此区分开：使检测标记160在多于一个的机器人夹持器位置处与拾取表面90接触，这允许控制单元60通过基于操纵器坐标系70中的移动而进行的计算来将检测标记160彼此区分开。在完成校准之后，可以向操作人员提供关于校准成功的反馈，例如通过将控制单元60配置成沿着拾取表面90的轮廓移动机器人夹持器30使其靠近拾取表面90。

在上面给出的所有示例中，假定所有检测标记160和支撑点在操纵器坐标系70中的位置是已知的。此外假定本领域技术人员能够将控制单元60编程为执行已经提及的所有计算，并且因此任何关于如何执行这样的计算的详细公开内容都被认为是不必要的。

在本公开的上下文中，术语“图像”应当被认为不仅覆盖事物的可见图示，而且还覆盖基于其可以生成这样的可见图示的任何信息。例如，扫描仪100提供基于其可以生成零件的可见图示的数字信息。然而，为了本发明的目的，可能不需要生成可见图示，而是数字信息的处理可能就足够了。此外，图像的生成可以基于除了可见光之外的其它物理现象。拾取表面90由此可以由任何合适的平面板组成，该平面板可以是透明或不透明的。

本发明不限于上面示出的实施例，本领域技术人员可以在由权利要求限定的本发明的范围内以多种方式修改它们。因此，例如，本发明不限于其中操纵器20在校准期间由操作人员手动地轻推以使机器人夹持器30抵靠拾取表面90的方法，该方法的该步骤也可以由适当地配备和编程的机器人系统10来执行。

Claims

1.一种用于校准包括平面拾取表面(90)的机器人系统(10)的方法，所述方法包括步骤：使机器人夹持器(30)到达抵靠所述拾取表面(90)的第一位置，

其特征在于，从下方生成所述机器人夹持器(30)的第一图像。

2.根据权利要求1所述的方法，其中所述方法还包括以下步骤：

-将所述机器人夹持器(30)移动到抵靠所述拾取表面(90)的第二位置；以及

-从下方生成所述机器人夹持器(30)的第二图像。

3.根据权利要求2所述的方法，其中所述方法还包括以下步骤：

-围绕垂直于所述拾取表面(90)的轴线旋转所述机器人夹持器(30)。

4.根据前述权利要求中任一项所述的方法，其中所述方法还包括以下步骤：

-将所述机器人夹持器(30)移动到抵靠所述拾取表面(90)的第三位置；以及

-从下方生成所述机器人夹持器(30)的第三图像。

5.根据前述权利要求中任一项所述的方法，其中所述机器人夹持器(30)包括至少一个检测标记(160)，所述至少一个检测标记(160)被配置为使得所述机器人系统(10)被允许精确地检测所述至少一个检测标记(160)在图像中的位置。

6.根据权利要求5所述的方法，其中至少一个所生成的图像包括至少一个检测标记(160)的图示。

7.根据权利要求5或6所述的方法，其中所述至少一个检测标记(160)相对于所述拾取表面(90)的取向是已知的。

8.根据权利要求7所述的方法，其中所述机器人夹持器(30)限定夹持器平面(210)，使所述夹持器平面(210)能够明确地抵靠所述拾取表面(90)以与所述拾取表面(90)相平行。

9.根据权利要求8所述的方法，其中所述夹持器平面(210)由至少三个单独的支撑点限定。

10.根据权利要求8或9所述的方法，其中所述机器人夹持器(30)被配置成仅在校准期间、而不是在所述机器人系统(10)的正常操作期间限定所述夹持器平面(210)。

11.根据前述权利要求中任一项所述的方法，其中所述机器人夹持器(30)包括至少两个检测标记(160)，诸如三个检测标记(160)。

12.根据前述权利要求中任一项所述的方法，其中所述机器人系统(10)还包括用于在限定的操纵器坐标系(70)内移动所述机器人夹持器(30)的操纵器(20)，所述方法还包括以下步骤：

-基于所生成的一个或多个图像来计算所述拾取表面(90)的位置和取向与所述操纵器坐标系(70)之间的相关性。

13.一种机器人系统(10)，包括：

平面拾取表面(90)，

操纵器(20)，用于在限定的操纵器坐标系(70)内移动机器人夹持器(30)，以从所述拾取表面(90)拾取对象(50)，

视觉系统(40)，用于在所述拾取表面(90)上的对象(50)上生成图像，以及

控制单元(60)，用于控制所述操纵器(20)的移动和所述视觉系统(40)的操作，

其特征在于，所述控制单元(60)被配置成基于第一图像来计算所述拾取表面(90)的位置和取向与所述操纵器坐标系(70)之间的相关性，所述第一图像来自与所述拾取表面(90)接触抵靠的所述机器人夹持器(30)的下方。

14.根据权利要求13所述的机器人系统(10)，其中所述机器人夹持器(30)包括至少一个检测标记(160)，所述至少一个检测标记(160)被配置为使得所述机器人系统(10)被允许精确地检测所述至少一个检测标记(160)在图像中的位置。

15.根据权利要求13或14所述的机器人系统(10)，其中所述机器人夹持器(30)限定夹持器平面(210)，使所述夹持器平面(210)能够明确地抵靠所述拾取表面(90)，以与所述拾取表面(90)相平行。