CN112672860B - 用于ar和数字孪生的机器人校准 - Google Patents

Abstract

一种用于基于机器人的位置配置来校准增强现实(AR)装置的位置和取向的方法和系统。AR装置校准不需要常规的视觉校准目标。相反的，任何姿势下的机器人本身被用作三维(3D)校准目标。AR系统设置有整个机器人的CAD模型以用作参考系，并且基于从机器人控制器已知的关节位置，将各个机器人臂的3D模型组合为单个对象模型。然后，与当前姿势下的机器人的表面模型相比，通过分析来自AR装置相机的图像，将当前姿势下的整个机器人的3D表面模型用于AR系统的视觉校准。该技术适用于初始AR装置校准和正在进行的装置跟踪。

Description

用于AR和数字孪生的机器人校准

相关申请的交叉引用

本申请要求于2018年9月10日提交的名为用于AR和数字孪生的机器人校准(ROBOTCALIBRATION FOR AR AND DIGITAL TWIN)的美国临时专利申请第62/729,174号的优先权日期的权益。

技术领域

本公开涉及工业机器人领域，并且更具体地涉及一种用于基于机器人的位置配置来校准增强现实(AR)装置的位置和取向的方法，其中，不需要常规的视觉校准目标，AR系统设置有处于当前姿势的整个机器人的静态CAD模型作为参考系，并且将各个机器人臂的3D模型组合为单个对象模型以用于AR系统的视觉校准。

背景技术

结合工业机器人使用增强现实(AR)系统在本领域中是已知的。例如，AR系统可以用于教导机器人如何执行特定操作，其中，熟练的操作员使用AR系统来演示该操作，并且机器人学习所涉及的运动。AR系统还可以用于其他教学活动，诸如建立机器人不得侵入其中的虚拟安全区域，或者为多机器人系统中的每个机器人建立用于从传送带上拾取零件的边界。物理机器人的AR表示有时被称为“数字孪生”。

为了使数字孪生像物理孪生一样出现并移动，并且使任何虚拟项目以其相对于物理项目的图像的适当位置和取向显示，必须校准AR装置，使得其在机器人工作单元中的位置和取向是已知的。不幸的是，校准AR装置以达到所需的精度水平传统上是困难和耗时的。一种已知技术涉及分析视觉目标的图像以确定AR装置的位置和取向。然而，存在与将平面视觉目标或“基准”(固定的比较基础)放置在机器人工作单元中的某个精确的固定位置处相关联的巨大努力和高成本。基准坐标系与机器人坐标系之间的转换需要六个自由度。校准平面上的任何小倾斜都可能导致较长距离的较大误差。任何间接校准将导致校准不精确。不精确的校准导致AR系统功能的不准确性和限制。

此外，由于信息是局部化的，并且一些机器人轴可能被遮挡，因此在单个预定义姿势下校准机器人的3D模型可能不是非常精确。另外，机器人轴中没有太多的高频信息，因此来自单个机器人轴的信息可能导致校准不精确。另外，“δ”型机器人(具有多个平行连杆的拾取和放置机器人)可能无法使用单轴方法来校准。

因此，期望提供一种不受上述缺点影响的用于AR系统的机器人校准的方法。

发明内容

根据本公开的教导，一种用于基于机器人的位置配置来校准增强现实(AR)装置的位置和取向的方法。AR装置校准不需要常规的视觉校准目标。相反的，任何姿势下的机器人本身被用作三维(3D)校准目标。AR系统设置有整个机器人的CAD模型以用作参考系，并且基于从机器人控制器已知的关节位置，将各个机器人臂的3D模型组合为单个对象模型。然后，与当前姿势下的机器人的表面模型相比，通过分析来自AR装置相机的图像，将当前姿势下的整个机器人的3D表面模型用于AR系统的视觉校准。该技术适用于初始AR装置校准和正在进行的装置跟踪。

结合附图，根据以下描述和所附权利要求，当前公开的技术的附加特征将变得显而易见。

附图说明

图1是本领域中已知的用于注册和跟踪机器人工作单元中的AR装置的位置的常规技术的图示，其中，需要将视觉目标放置在机器人工作单元中精确测量的位置；

图2是根据本公开的实施例的用于将AR装置校准到机器人坐标系的技术的图示，其中，机器人的3D模型和已知的机器人运动学使得机器人本身能够用作视觉目标参考；以及

图3是根据本公开的实施例的用于使用机器人本身作为视觉目标参考来注册和跟踪机器人工作单元中的AR装置的位置的方法的流程图。

具体实施方式

涉及基于任何姿势下的机器人的3D表面模型来校准增强现实(AR)装置的位置和取向的本公开的实施例的以下讨论本质上仅是示例性的，并且决不旨在限制所公开的装置和技术或其应用或使用。

结合工业机器人使用增强现实(AR)系统是已知的。例如，在2019年6月26日提交的名为“使用增强现实对操作边界区域进行可视化和修改(VI SUALIZATION ANDMODIFICATION OF OPERATIONAL BOUNDING ZONES USING AUGMENTED REALITY)”的美国专利申请第16453811号中描述了辅助人类操作员定义操作边界区域的AR系统，在此通过引用将其全部内容并入本文。另外，在2019年6月26日提交的名为“用于机器人拾取系统的增强现实可视化(AUGMENTED REALITY VISUALIZATION FOR ROBOTIC PICKING SYSTEM)”的美国专利申请第16453838号中描述了辅助操作员定义机器人拾取和放置参数的AR系统，在此通过引用将其全部内容并入本文。

以上提及的AR系统使用AR装置(通常是头戴式耳机设备或平板计算机装置)将计算机生成的虚拟元素(诸如区域边界、虚拟零件等)覆盖在真实世界机器人和工作单元中的其他对象的图像上。其他应用定义了“数字孪生”机器人，该机器人是真实机器人的虚拟副本，并且可以独立于真实机器人移动。为了正确地描绘相对于真实机器人和其他物理对象的虚拟元素，AR装置和AR应用软件必须始终知道AR装置在工作单元内的位置和取向。

图1是本领域中已知的用于注册和跟踪机器人工作单元中的AR装置的位置的技术的图示。机器人110安装在工作单元中，并且定义了机器人基座参考系(坐标系)112。所示的机器人110是本领域已知类型的多轴工业机器人。例如，机器人110可以是六轴机器人，可以对其进行编程以执行各种操作-诸如材料切割、焊接、零件选择/移动/放置等。机器人110可以具有定义的许多其他参考系(诸如每个机器人臂的参考系)，并且这些其他参考系中的每一个的位置和取向可以根据基座参考系112直接或间接地定义，如本领域技术人员所公知的。然而，出于建立相对于机器人110的AR装置位置的目的，仅基座参考系112是重要的。

视觉标记120被放置在工作单元中某处的固定位置。标记参考系122具有相对于标记120定义的原点和取向。例如，标记参考系122可以使其原点位于标记120的一个角上，并且其X轴和Y轴沿着标记120的两个边缘延伸。标记参考系122相对于机器人基座参考系112的位置和取向(如步骤①所示)是通过本领域已知的测量和校准过程确定的。从标记参考系122到机器人基座参考系112的转换包括三个平移和三个旋转，并且必须确切知道该转换，以避免在AR系统中虚拟项目的显示的不准确。这可以包括进行标记120的位置和取向的精确测量。

AR装置130具有定义在其上的AR装置参考系132。AR装置130可以是用户134可佩戴的头戴式耳机设备，其中，头戴式耳机包括处理器、惯性传感器、相机和护目镜，其将计算机生成的3D图像覆盖在真实世界对象的用户视图的顶部。AR装置130还可以是诸如移动电话、平板装置或机器人示教器的手持装置，在这种情况下，除了所需的通信系统之外，装置130还包括处理器、惯性传感器、相机和显示屏。AR装置130在其处理器上运行AR应用。

通过将AR装置130中的相机指向视觉标记120来将AR装置130注册到机器人基座参考系112(如步骤②所示)，使得通过AR装置130捕获标记120的多个图像。在实践中，这通过将AR装置130的相机指向标记120使得标记120出现在AR装置130的显示器中来实现；AR装置130的自然运动(由于其被人持有或佩戴)从略微不同的视角提供了标记120(其具有机器人控制器和AR应用已知的图案和位置)的后续图像，从而允许AR应用确定AR装置参考系132相对于标记参考系122的位置和取向。因为从步骤①知道了标记参考系122相对于机器人基座参考系112的位置和取向，因此，AR应用可以计算AR装置参考系132相对于机器人基座参考系112的位置和取向(如步骤③所示)。

在将AR装置130的位置和取向校准到机器人基座参考系112之后，AR应用使用惯性和视觉里程计来连续地跟踪AR装置130相对于机器人基座参考系112的位置和取向。在该技术中(如步骤④所示)，AR装置130中的处理器从装置130上的加速度计和陀螺仪接收信号，并且基于加速度和偏航率信号的集成来连续地计算装置130的更新的位置和取向。基于来自装置130上的相机的图像(诸如标记120的图像或存在于已知位置处的其他可识别项目的图像)来检查和校正位置和取向。

如本领域技术人员将理解的，机器人基座参考系112实际上不必在机器人基座上，而是可以是任何工作单元坐标系，该工作单元坐标系仅是机器人在其中操作的工作单元中的固定坐标系。简单的变换可以用于在任何固定的工作单元坐标系中计算机器人臂位置、标记120的位置以及AR装置130的动态位置。

图1所示和以上所讨论的技术使得在AR装置上运行的AR应用软件能够连续地确定AR装置相对于机器人及其工作单元的位置和取向，这是AR装置在AR显示器中准确地显示叠加在真实世界对象上的虚拟元素所必需的能力。然而，图1的技术依赖于标记120相对于机器人基座参考系112的位置和取向的精确测量。这些测量可能是乏味的、耗时的并且容易出错的，其中，即使角度取向上的细微误差也可能导致AR装置对机器人和工作单元的校准的较大误差。

不仅精确地放置标记120并确定到机器人基座参考系112的精确坐标变换是困难且耗时的，而且这种传统方法还存在其他问题。具体地，可能难以提供从工作单元中的不同位置清晰可见的目标。

其他校准技术也受到类似的限制。例如，已经提出通过将机器人放置在特定的预定义姿势中、提供该特定姿势下的机器人的实体模型，并且与实体模型相比分析机器人的相机图像以找到一个特定的零件或轴(诸如基座)，来将机器人用作3D目标。然而，该技术遭受以下事实：当从许多视角观察时，机器人基座可能被机器人的其他零件遮挡，从而使得无法识别和定位基座轴。另外，校准到3D模型的单个轴可能不是很精确。此外，使用仅识别3D模型中的单个轴的技术来校准“δ”型拾取和放置机器人将是不可能的。

已经开发了本公开的技术，以通过消除对精确放置的视觉标记的需求来简化AR到机器人的校准，同时提高校准的准确性。

图2是根据本公开的实施例的用于将AR装置校准到机器人坐标系的系统200的图示，其中，机器人的3D模型和已知的机器人运动学使得机器人本身能够用作视觉目标参考。机器人210位于工作单元220中并在其中操作。机器人210被描绘为具有在旋转关节处串联连接的臂的传统的多轴关节型工业机器人，但是可以是具有多个平行连杆的“δ”型拾取和放置机器人或任何其他类型的机器人-包括但不限于被配置用于零件/材料移动、焊接、喷涂或其他应用的工业机器人。实际上，尽管在图2中使用机器人进行说明，但是所公开的用于AR装置校准的技术可以与能够采取不同的姿势并传达姿势几何形状的任何类型的关节型机器一起使用。

机器人210通常经由电缆214与控制器212通信。如本领域已知的，控制器212包括具有用于根据程序来操作机器人210的指令的处理器和存储器，其中，控制器212从机器人210上的关节编码器接收位置信息，并且将限定关节电机运动的命令发送到机器人210。仅示出了一个机器人210，但是系统200可以包括在工作单元220内操作的多个机器人210。当多于一个机器人210包括在系统200中时，每个机器人210可以具有其本身的控制器212，并且控制器212彼此通信。

机器人210具有机器人基座参考系216，其中，通过运动学计算，所有机器人臂的位置相对于机器人基座参考系216总是已知的。即，机器人的运动学，尤其是每个臂从一个关节中心到下一个关节中心的长度是确切已知的。关节角位置也始终从关节位置编码器已知。从基座关节开始，该基座关节可以使其旋转轴线与机器人基座参考系216的轴线对准，可以在机器人基座参考系216的坐标中计算每个臂的位置和每个臂的末端处的关节中心的位置。如本领域技术人员将理解的，还可以定义其他局部坐标系，诸如固定到每个臂的一个坐标系。

在机器人210的操作期间，操作员230存在于工作单元220中。操作员230使用AR装置232运行增强现实(AR)应用程序。如上所述，AR装置232可以是由操作员230佩戴的头戴式耳机设备，或者由操作员230持有的手持装置(例如，智能电话、平板电脑或示教器)。当AR装置232是头戴式耳机时，头戴式耳机包括处理器、惯性传感器、相机和护目镜，其将计算机生成的3D图像覆盖在真实世界对象的用户视图或相机图像的顶部。AR装置232也可以是手持装置，在这种情况下，除了所需的通信系统之外，装置232还包括处理器、惯性传感器、相机和显示屏。AR应用程序向操作员230提供在机器人配置中使用的增强现实特征和功能-诸如，叠加在机器人210和位于工作单元220中的其他元素的操作员视图上的机器人路径、程序、边界和/或输出的虚拟显示。

AR装置232与控制器212无线通信，使得AR应用程序和机器人控制程序可以维持数据的双向交换。至少，控制器212将关节位置信息实时提供给AR装置232，AR应用使用该关节位置信息来确定以下讨论的校准技术中的机器人姿势。在图2的多轴机器人210中，关节位置信息包括每个关节的关节角位置，如本领域已知的，可以从机器人210中的每个关节处的关节编码器确定该关节角位置。AR应用程序还可以将AR装置232和/或其他数据的位置和取向提供给控制器212。AR装置232与控制器212之间的无线通信可以经由无线局域网(WiFi)、蓝牙、蜂窝通信或任何其他合适的无线技术。如果工作单元220包括多个机器人210，则AR装置232优选地仅与控制器212中的一个(被指定为主机)无线通信。

AR装置232包括至少一个相机或其他传感器234。如下所述，相机或其他传感器234可以包括一个或多个相机、超声波传感器、雷达传感器、LiDAR(光检测和测距)传感器、红外传感器或适用于感测对象并确定机器人的姿势的任何其他类型的传感器。在优选实施例中，相机或其他传感器234是至少一个相机，其拍摄机器人210的数字图像并将该图像与处于其当前姿势下的机器人210的实体/表面模型进行比较以确定AR装置232的位置和取向。

AR装置232具有分配给其的AR装置参考系236。AR装置参考系236相对于AR装置232(无论是头戴式耳机还是手持装置)具有固定的位置和取向，并且AR装置参考系236相对于机器人基座参考系216的位置和取向必须始终是已知的，以便在AR应用程序中正确地显示虚拟项目。确定AR装置参考系236相对于机器人基座参考系216的位置和取向(涉及在三个正交方向上的平移和围绕三个轴线的旋转的坐标变换)是本公开技术的主题。

计算机240将CAD数据提供给AR装置232。CAD数据包括机器人210的每个臂(每个独立运动零件)的实体或网格表面模型。计算机240可以是能够将CAD数据提供给AR装置232的任何类型的计算机、服务器或存储装置。尽管可以使用计算机240与AR装置232之间的硬线连接，但是无线连接(WiFi等)是优选的。

本公开的校准技术执行相对于AR装置232的机器人基座位置的直接计算。换句话说，AR装置232计算AR装置参考系236相对于机器人基座参考系216的位置和取向(或反之亦然)，而无需图1所示的视觉标记120。该校准技术不要求所有机器人轴/臂的可见性，因此如果机器人基座在一些观察位置或机器人姿势中被遮挡，则这不是问题。所公开的校准技术可以非常精确，因为机器人世界系始终确切地位于正确的地点。

根据本公开的解决方案是向AR应用程序提供处于其当前姿势的整个机器人210的3D实体或表面模型作为虚拟世界中所有事物的参考系。通过与机器人210的表面模型相比较来分析机器人210的图像以确定AR装置相机到机器人210的精确视线和观看距离来完成校准。不需要校准到平面视觉目标。

所公开的校准技术利用3D目标来校准AR装置232的位置，并且3D目标是整个机器人210。如果工具的CAD数据可用，则3D目标可能包括客户工具(在工具中心点参考系处)。在当前公开技术中使用的3D视觉目标能够实现比在先前技术中使用的2D目标大得多的校准精度。

所公开的校准技术如下工作。各个机器人臂的3D实体或表面模型从计算机240提供给AR装置232。对于机器人的特定模型，该数据传输仅需要发生一次。将机器人210的当前姿势的关节位置数据从控制器212提供给AR装置232。重要的是要注意，所公开的技术适用于机器人210的任何姿势，而不仅是特定的预定姿势(诸如原始位置)。只要关节位置数据被机器人控制器212已知并且被传送到AR装置232，AR应用程序就可以计算当前姿势下的整个机器人232的实体/表面模型。这是通过使用关节位置数据来将每个机器人臂的CAD模型放置在适当的位置和取向上来完成的，从机器人基座开始并依次继续到手腕部分，使得每个臂组件的CAD实体/表面数据被构造为当前姿势下的整个机器人210的模型。

利用现在已知的当前姿势下的整个机器人210的模型，AR应用程序可以分析由相机234拍摄的机器人210的图像以确定拍摄图像的确切位置和视角。图像分析和与机器人实体/表面模型的比较可以包括用于识别某些机器人特征(诸如机器人基座上的可识别特征、内臂上的特征、外臂上的特征等)以快速确定AR装置相机的近似视角的技术。与机器人实体/表面模型相比，对图像的附加分析将得出拍摄图像的确切视角和距离。

在机器人210的运动期间使用各种传感器来确定机器人210上的各个点的位置。除了上述一个或多个相机之外或代替上述一个或多个相机，传感器可以包括诸如激光传感器的基于光的传感器、诸如超声的音频频谱传感器、基于飞行时间的传感器、雷达、LiDar等。关节编码器还包括在机器人210本身中，用于确定机器人姿势。

总之，机器人3D目标随着机器人移动而改变。AR系统可以将当前姿势下的机器人用作目标。通过连续地将自身用作3D目标，校准过程是自我校正的。机器人模型中的每个三角形(用于对AR系统中机器人臂的实体模型显示进行网格化)始终处于已知位置。因此，所公开的校准技术可以用于最初建立AR装置位置和取向，并且还可以用于正在进行的AR装置位置跟踪。

在如上所述将AR装置232的位置和取向校准到机器人基座参考系216之后，AR应用软件使用惯性和视觉里程计来连续地跟踪AR装置232相对于机器人基座参考系216的位置和取向。在该技术中，AR装置232中的处理器从AR装置232上的加速度计和陀螺仪接收信号，并且基于加速度和偏航率信号的集成来连续地计算AR装置232的更新的位置和取向。基于来自AR装置232上的相机的图像(诸如机器人自身的图像或存在于工作单元220中的已知位置处的其他可识别项目的图像)来检查和校正位置和取向。因此，当操作员230围绕工作单元220行走并且AR装置232从多个不同的位置和视角拍摄机器人210的图像时，分析每个图像以确定AR装置232的位置和取向，并且惯性里程计和多个图像分析的累积效果是AR装置位置和取向的极其精确的计算。

应理解，AR装置232运行由操作员230用于机器人设置、配置、操作、故障排除或一些其他功能中的程序的有益特征的AR应用程序。根据当前公开的技术，使用相机图像和在任何姿势下的机器人本身的实体/表面模型来校准AR装置232相对于机器人210的位置和取向的技术是有益的特征，可以将其结合到任何这样的AR应用程序中。

前面的讨论描述了通过将当前姿势下的机器人210的相机图像与相同当前姿势下的机器人210的实体/表面模型进行比较来校准AR装置的位置和取向。利用AR装置232与控制器212之间的足够快的通信以及AR装置232中的足够快的计算，机器人210仅需要保持姿势短暂的时刻。实际上，利用足够的通信和计算速度，本领域技术人员可以设想，可以在机器人连续运行程序的情况下以持续的基础执行AR装置校准，而恒定运动仅通过非常短暂的停止或方向的反转间断。换句话说，AR装置校准可以在机器人210在操作时发生，而不仅是在静止时。

还设想了本公开的其他实施例。一个这样的实施例是，除了将AR装置的位置校准到具有多个刚性臂的机器人的3D模型之外，还可以将AR装置的位置校准到具有至少一个完全柔性元素的装置的3D模型。例如，包括柔性涂料软管或柔性液压软管的机器人还可以包括编码器，该编码器确定沿着柔性软管的长度的空间中的点，并且点数据可以用于创建柔性软管的实体/表面模型以与图像数据进行比较。

在另一实施例中，工作单元包含多个机器人，并且每个机器人具有特定的标识符。可以将每个机器人的关节位置数据以及每个机器人的每个零件的实体/表面模型提供给AR装置，使得能够构建工作单元中所有机器人的实体/表面模型。用于确定AR装置位置的所得图像分析将具有大量的数据，该些数据作为计算的基础，并且AR装置位置将以很高的精度进行计算。另外，该技术可以用于相对于主机器人映射工作单元中的机器人和其他对象的位置，而不是执行所有其他机器人和对象的位置的艰苦的测量。

图3是根据本公开的实施例的用于使用机器人本身作为视觉目标参考来注册和跟踪机器人工作单元中的AR装置的位置的方法的流程图300。在框302处，如先前所讨论的，操作员230启动AR装置232上的AR软件应用(app)，并且AR装置232经由无线通信信道建立与机器人控制器212的通信。

在框304处，将所有机器人组件的3D模型提供给AR装置232。在优选实施例中，3D模型是来自诸如图2的计算机240的CAD系统的实体模型或表面模型。提供每个单独组件(例如，机器人臂)的3D模型，以及标识信息(例如，机器人基座、内臂、外臂等)和索引信息(关节中心点和旋转位置索引)，使得每个组件3D模型能够基于关节位置信息精确地放置在完整的机器人模型中。

在框306处，针对机器人210的当前姿势，将机器人关节位置数据从控制器212提供给AR装置232。关节位置数据由机器人210中的关节编码器测量，并提供给机器人控制器212。在如图2所示的多臂关节型机器人的情况下，关节位置数据包括六个关节中每个关节的角位置。在框308处，使用来自框306的关节位置数据和来自框304的组件实体/表面模型构造当前姿势下的完整机器人的3D实体或表面模型。例如，根据关节1位置信息来定向第一组件(附接到机器人基座)；因此，第一组件的取向和几何形状定义了关节2的位置，并且下一个组件使其内部关节放置在该位置，其中，取向基于关节2角度数据等。对于关节型机器人，这种几何构造技术继续通过内臂到外臂和手腕部分，从而完全定义了机器人几何形状。对应的技术可以用于使用组件模型和关节位置数据来构建“δ”型机器人的3D模型。

还可以使用测量的笛卡尔坐标数据来定义机器人姿势。在该实施例中，传感器确定机器人210上某些地点的位置，诸如每个臂部分的两端的笛卡尔坐标(在机器人基座参考系216中)，而不是使用关节位置数据。

在框310处，由AR装置232捕获当前姿势下的机器人210的图像或传感器数据。在一个实施例中，图像或传感器数据是来自AR装置232上一个或多个相机的图像。在其他实施例中，图像或传感器数据是来自激光传感器、音频频谱传感器(诸如超声)、基于飞行时间的传感器、雷达、LiDar或任何其他合适类型的传感器的定义机器人210上的表面的数据。

在框312处，将来自框310的图像或传感器数据与来自框308的3D模型进行比较，以确定AR装置232的位置。可以直观地理解，在工作单元220中仅存在一个AR装置位置和取向，这将导致来自框308的3D模型精确地对应于来自相机或来自框310的其他传感器234的图像。在框312处的计算中，调整3D模型的观看视角，直到模型的外观与来自相机或其他传感器234的图像匹配为止，并且该观看视角(视线和距离)定义了AR装置232的位置和取向。

在框312处第一次计算AR装置位置之后，并且此后连续地，如果对于任何应用功能(诸如由控制器212计算操作员安全区域)有必要，AR装置232将装置位置和取向传送给机器人控制器212。同时，操作员230将在AR装置232上运行的AR应用软件用于其预期目的。如前所述，AR应用软件可以用于机器人设置、配置、操作监控、故障排除或一些其他功能。

在框312之后，流程图300的处理可以返回到框306，在框306中，新的机器人关节位置数据从控制器212传送到AR装置232，相应地再次计算AR装置位置，并且只要AR装置232通电并位于工作单元220内，处理就连续地实时循环。在框312处的每个后续计算中，AR应用软件使用惯性和视觉里程计来连续地跟踪AR装置232相对于机器人基座参考系216的位置和取向。在该技术中，AR装置232中的处理器从AR装置232上的加速度计和陀螺仪接收信号，并且基于加速度和偏航率信号的集成来连续地计算AR装置232的更新的位置和取向。基于来自AR装置232上的相机或其他传感器234的图像(尤其是包括与原始校准相同的姿势或任何其他姿势下的机器人210本身的图像)来检查和校正位置和取向。使用惯性和视觉里程计连续地跟踪AR装置的位置和取向提供极其精确的结果，这使得AR应用软件能够在AR显示器中实时正确地显示虚拟项目。

多个机器人可以包括在工作单元240中，其中，所有机器人提供关节位置数据，并且AR装置232基于所有机器人姿势而不是仅单个机器人来计算其在工作单元220中的位置。可选地，在基于单个机器人的姿势计算AR装置位置和取向之后，可以通过将工作单元220中的其他机器人和其他对象的图像与其他机器人和其他对象的已知实体/表面模型进行比较来映射它们的位置。

在前面的讨论中，描述并暗示了各种计算机和控制器。应理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算装置上执行。具体地，这包括上述计算机240、机器人控制器212和AR装置232中的处理器。这些装置之间以及这些装置与任何其他装置(诸如平板装置、示教器或工厂主控制器)之间的通信可以通过硬线网络，或者可以使用任何合适的无线技术-诸如蜂窝电话/数据网络、Wi-Fi、宽带因特网、蓝牙等。

如上所述，所公开的用于基于任何姿势下的机器人的3D实体/表面模型来校准增强现实(AR)装置的位置和取向的技术提供了优于现有技术的若干优点。使用任何姿势下的机器人本身作为视觉目标来计算AR装置的位置，并且然后使用机器人上的视觉里程计结合惯性里程计来连续地重新校准AR装置的位置的能力远优于现有技术，该现有技术依赖于精确地放置平面目标或仅在特定姿势下对机器人进行视觉分析。

尽管以上已经讨论了用于基于任何姿势下的机器人的3D实体/表面模型来校准AR装置的位置和取向的方法和系统的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、排列、添加和子组合。因此，旨在将以下所附权利要求和此后引入的权利要求解释为包括在其真实精神和范围内的所有此类修改、排列、添加和子组合。

Claims (24)

1.一种用于将增强现实(AR)装置校准到机器人基座参考系的方法，所述方法包括：

将机器人的每个结构组件的三维(3D)模型提供到所述AR装置；

将当前姿势下的所述机器人的所有关节的位置数据从机器人控制器提供到所述AR装置；

通过所述AR装置使用组件的所述3D模型和所述位置数据来计算所述当前姿势下的所述机器人的3D模型；

通过所述AR装置中的一个或多个相机或传感器捕获所述当前姿势下的所述机器人的图像或传感器数据；并且

将所述机器人的所述图像或传感器数据与所述机器人的所述3D模型进行比较，以确定所述AR装置相对于所述机器人基座参考系的位置和取向。

2.根据权利要求1所述的方法，其中，所述机器人的所述结构组件中的每一个结构组件的所述3D模型是计算机辅助设计(CAD)实体或表面模型。

3.根据权利要求1所述的方法，其中，所述AR装置是由操作员佩戴的头戴式耳机设备，或者所述AR装置是由所述操作员持有的智能电话、平板计算装置或机器人示教器。

4.根据权利要求1所述的方法，其中，所述机器人是具有串联连接的多个臂的关节型机器人，并且所述位置数据是由所述机器人中的关节编码器测量的关节角位置数据。

5.根据权利要求1所述的方法，其中，所述机器人是具有串联连接的多个臂的关节型机器人，并且所述位置数据是由所述机器人上的传感器测量的关节笛卡尔坐标。

6.根据权利要求1所述的方法，其中，所述机器人是具有将移动的拾取和放置头连接到固定的毂的多个平行连杆的δ型机器人。

7.根据权利要求1所述的方法，其中，所述图像或传感器数据是由所述AR装置中的一个或多个相机拍摄的所述机器人的数字图像。

8.根据权利要求1所述的方法，其中，所述图像或传感器数据是来自激光传感器、音频频谱传感器、基于飞行时间的传感器、雷达传感器或LiDar传感器的数据。

9.根据权利要求1所述的方法，进一步包括：连续地重新计算所述AR装置相对于所述机器人基座参考系的位置和取向，包括基于来自所述AR装置中的加速度计和偏航率传感器的信号进行惯性里程计算。

10.根据权利要求9所述的方法，进一步包括：通过将新姿势下的所述机器人的图像或传感器数据与所述新姿势下的所述机器人的3D模型进行比较来对所述惯性里程计算进行误差校正以确定所述AR装置相对于所述机器人基座参考系的位置和取向。

11.根据权利要求1所述的方法，进一步包括：通过在所述AR装置上运行的AR应用程序使用所述AR装置相对于所述机器人基座参考系的位置和取向，以便在所述AR装置的显示器上正确地描绘虚拟元素。

12.根据权利要求1所述的方法，其中，当所述机器人停放在静止位置时，发生提供所述位置数据、计算所述机器人的所述3D模型、捕获所述图像或传感器数据并且将所述图像或传感器数据与所述3D模型进行比较。

13.根据权利要求1所述的方法，其中，当所述机器人运行运动程序时，提供所述位置数据、计算所述机器人的所述3D模型、捕获所述图像或传感器数据并且将所述图像或传感器数据与所述3D模型进行比较。

14.一种用于将增强现实(AR)装置校准到机器人基座参考系的系统，所述系统包括：

工业机器人，具有多个结构组件；

机器人控制器，与机器人通信，所述控制器包括处理器和存储器，并配置有机器人操作控制软件；以及

增强现实(AR)装置，与所述机器人控制器通信，所述AR装置具有一个或多个相机或对象传感器、位置跟踪传感器、显示器以及配置为运行AR应用的处理器和存储器，

其中，所述机器人控制器将当前姿势下的所述机器人的所有关节的位置数据提供到所述AR装置，并且

所述AR装置使用所述结构组件的3D模型和所述位置数据计算所述当前姿势下的所述机器人的3D模型，使用所述一个或多个相机或传感器捕获所述当前姿势下的所述机器人的图像或传感器数据，并且将所述机器人的所述图像或传感器数据与所述机器人的所述3D模型进行比较，以确定所述AR装置相对于所述机器人基座参考系的位置和取向。

15.根据权利要求14所述的系统，其中，所述AR装置是由操作员佩戴的头戴式耳机设备，或者所述AR装置是由所述操作员持有的智能电话、平板计算装置或机器人示教器。

16.根据权利要求14所述的系统，其中，所述机器人是具有串联连接的多个臂的关节型机器人，或者所述机器人是具有将移动的拾取和放置头连接到固定的毂的多个平行连杆的δ型机器人。

17.根据权利要求14所述的系统，其中，所述图像或传感器数据是由所述AR装置中的一个或多个相机拍摄的所述机器人的数字图像，或者所述图像或传感器数据是来自激光传感器、音频频谱传感器、基于飞行时间的传感器、雷达传感器或LiDar传感器的对象数据。

18.根据权利要求14所述的系统，其中，所述机器人的所述结构组件的所述3D模型是计算机辅助设计(CAD)实体或表面模型。

19.根据权利要求14所述的系统，其中，所述AR装置连续地重新计算所述AR装置相对于所述机器人基座参考系的位置和取向，包括基于来自所述位置跟踪传感器的信号进行惯性里程计算，并且通过将新姿势下的所述机器人的图像或传感器数据与所述新姿势下的所述机器人的3D模型进行比较来对所述惯性里程计算进行误差校正。

20.根据权利要求14所述的系统，其中，在所述AR装置上运行的AR应用程序中使用所述AR装置相对于所述机器人基座参考系的所述位置和取向，以便在所述AR装置的显示器上正确地描绘虚拟元素。

21.根据权利要求14所述的系统，其中，当所述机器人停放在静止位置时或当所述机器人运行运动程序时，发生提供所述位置数据、计算所述机器人的所述3D模型、捕获所述图像或传感器数据并且将所述图像或传感器数据与所述3D模型进行比较。

22.一种用于将增强现实(AR)装置校准到机器基座参考系的方法，所述方法包括：

将关节型机器的每个结构组件的三维(3D)模型提供到所述AR装置；

将当前姿势下的机器的所有零件的位置数据从机器控制器提供到所述AR装置；

通过所述AR装置使用组件的所述3D模型和所述位置数据来计算所述当前姿势下的所述机器的3D模型；

通过所述AR装置中的一个或多个相机或传感器捕获所述当前姿势下的所述机器的图像或传感器数据；并且

将所述机器的所述图像或传感器数据与所述机器的所述3D模型进行比较，以确定所述AR装置相对于所述机器基座参考系的位置和取向。

23.根据权利要求22所述的方法，其中，在模拟系统上运行的程序中使用所述AR装置相对于所述机器基座参考系的位置和取向，以便正确地显示所述机器的数字孪生的运动，其中，所述数字孪生是由所述AR装置校准的所述机器的虚拟副本。

24.根据权利要求22所述的方法，进一步包括通过所述AR装置映射所述机器基座参考系中的其他机器和其他对象的位置和取向，包括将所述其他机器和其他对象的图像与所述其他机器和其他对象的已知实体/表面模型进行比较。