CN112638594A - 机器人的连续路径的零示教 - Google Patents

Abstract

一种用于对路径跟踪机器人进行编程以在考虑到处理设备特征的同时沿连续路径执行操作的方法和系统。该方法消除了手动教导周期的使用。在一个示例中，分配机器人被编程为沿连续路径施加一致的材料珠，例如粘合剂或密封剂。CAD生成的路径的定义以及分配设备特征的模型将被提供给优化例程。优化例程反复计算机器人工具的中心点路径和速度以及材料流，直到找到优化解决方案为止。然后将优化后的机器人运动和分配设备命令提供给增强现实(AR)系统，该系统允许用户在查看分配系统动作的AR模拟和模拟材料珠的同时可视化和调整操作。其他示例包括自动焊接或沿连续路径切割。

Description

机器人的连续路径的零示教

相关申请的交叉引用

本申请要求于2018年9月10日提交的名称为机器人的连续路径的零示教的美国临时专利申请序列号62/729,179的优先权的权益。

技术领域

本公开涉及工业机器人领域，并且更具体地，涉及一种用于对机器人进行编程以沿没有手动教导周期的零件跟随规定的连续路径的方法，其中，提供定义规定的连续路径和处理设备特征的CAD数据作为优化过程的输入，并显示由机器人执行的优化路径和操作结果，以在增强现实系统中进行验证和进一步调整。

背景技术

在本领域中已知使用机器人来一致地执行涉及精确地跟随路径的工业操作。应用后的路径的一个示例是，其中，机器人被用于沿规定路径将“珠(bead)”材料(例如填缝料、密封剂或粘合剂)施加到零件上。但是，到目前为止，对机器人进行编程以精确地跟随规定的路径同时施加一致的材料珠的程序一直是一个反复试验的过程。这是因为机器人的工具中心点(在分配应用中是涂抹器尖端)在直线上的移动速度与在小半径曲线(tight curve)和拐角处的移动速度不同。如果不调整材料分配的速率以补偿工具中心点速度，则材料珠在沿路径的不同点处将具有不同的厚度，这是不希望的。

机器人还用于许多其他路径跟随操作-例如焊接、切割、描、喷涂等。在执行操作时工具中心点需要跟随规定路径的任何这些应用中，机器人工具中心点位置、速度和处理设备特征的相互作用是很重要的。

还已知将增强现实(AR)系统与工业机器人一起使用。AR系统提供了叠加在真实物体的相机图像上的计算机生成元素的虚拟显示，从而使操作者可以直观地看到机器人系统的配置参数和实际性能。但是，在路径跟随领域，AR系统已被简单地用于使用上面讨论的反复试验法进行的手动教导。

鉴于上述情况，期望提供一种对机器人进行编程的方法，以沿连续路径一致地执行操作，而无需手动教导周期。

发明内容

根据本公开的教导，描述了一种用于对机器人连续路径进行编程而无需反复试验教导周期的方法和系统。提供定义规定的连续路径的CAD数据和处理设备特征模型作为优化计算的输入。优化过程迭代地计算和调整机器人运动命令，直到在工具中心点运动的模拟中忠实跟随规定的连续路径为止，并且最终的速度分布具有所需的特征，包括最小的速度波动。还计算出与机器人运动命令相对应的处理设备控制信号。优化过程的输出被提供给增强现实系统，在该系统中显示优化路径和由机器人执行的操作结果，以供操作者进行验证和进一步调整。

通过结合附图进行的以下描述和所附权利要求，本公开技术的附加特征将变得显而易见。

附图说明

图1是示出根据本公开的实施例的用于对分配机器人进行编程以沿连续路径施加一致的材料珠的技术的示意性流程图；以及

图2是根据本公开的实施例的用于使用增强现实对机器人连续路径进行零示教编程的系统的图。

具体实施方式

对本公开的实施例的以下讨论涉及的一种用于在没有反复试验教导周期的情况下对机器人连续路径进行编程的方法和系统本质上仅是示例性的，且绝不旨在限制所公开的装置和技术或其应用或用途。

工业机器人非常擅长一致地执行重复性任务。特别是，机器人几乎能够跟随可以在二维或三维中定义的任何路径。这使得机器人可以用于各种路径跟随操作，例如焊接、切割、喷涂和材料分配。为了说明与机器人路径跟随操作的已知反复试验教导方法相关的问题以及当前公开技术的优点，下面将以示例的方式详细讨论材料分配应用。

为其配置了机器人的一种工业操作是沿零件上的规定路径施加诸如粘合剂、填缝料或密封剂的材料珠。工业机器人，例如本领域中已知的六轴机器人，装配有材料分配系统。简而言之，分配系统可以包括例如具有柱塞的泵或罐的分配器、分配尖端以及从分配器到分配尖端运行的供应管线。分配尖端是“工具中心点”，在分配器跟随命令(例如开/关和材料流速)时，机器人必须沿指定路径移动。

已知上述的分配机器人布置能够沿零件上的路径重复地施加材料珠，但是为了获得一致的材料珠(沿整个路径的宽度不变)，而不会偏离路径，传统上需要反复试验机器人教导。这是因为机器人在沿路径遇到弯道和拐角时自然会以不同的速度移动分配尖端。此外，机器人路径跟随计算算法通常会导致沿路径的明显速度波动。这些不同的分配尖端速度导致分配的珠的厚度增加和减小，这是不希望的。反复试验机器人教导方法不合需要地昂贵且费时，这引出了本文公开的新技术的发展。

图1是示出了根据本公开的实施例的用于对分配机器人进行编程以沿连续路径施加一致的材料珠的技术的示意性流程图100。在步骤110处，通常从CAD系统提供要在零件上跟随的路径112的几何定义。路径112例如可以是机加工铸件的不规则形状的外围，其中在将另一部分附接到铸件之前，在外围周围施加密封剂珠。路径112可以是二维的或三维的。路径112通常由多个点组成，并且混合曲线通过这些点拟合。路径112还可包括所需工具方向角的定义。例如，在分配应用到平面椭圆形路径上的情况下，要求可以是分配器尖端在路径平面上方以45°角定向(加上或减去一些公差)，始终垂直于路径的局部切线(再加上或减去垂直线的一些公差)，并且分配器尖端始终位于路径的外部。可以将工具方向要求定义为整个路径112的属性，或者定义为与每个路径点相关联的特定属性。

在步骤120处，提供分配设备特征的模型。分配设备特征模型包括分配设备的输入信号(例如，泵流量设置范围为0-10)和输出参数(例如，分配的材料的体积流速，以立方厘米/秒为单位)之间的关系。输入信号和输出参数之间的关系可以是非线性的，并且可以描述为数学方程式、一组参数曲线、值表或任何其他合适的格式。分配设备特征模型还包括在分配器/泵的输入信号的变化与分配器尖端处的流速的实际变化之间的时间差。由于供应管线的长度(从分配器到分配尖端)，分配材料的可压缩流特征以及其他因素，在提供“分配器开启”信号的时间与材料实际开始从分配尖端流出的时间之间存在时间差。同样，在“分配器关闭”信号之后存在时间滞后，而在流速信号变化之后存在时间滞后。流速变化命令特别重要，因为必须在分配器尖端的速度随尖端跟随路径而变化时随时执行。流速变化滞后时间可能不是恒定的，而可能是流速的函数，例如，当流速较低时，滞后时间会更长。对于特定的机器人和分配器系统，可以描述这些时间滞后；这就是分配设备特征模型中包含的内容。

在步骤130执行优化任务。如132所示，使用路径112的几何定义和其他输入参数(例如所需的分配器尖端方向)，可以计算初始机器人运动模拟。初始模拟可能具有非常不均匀的尖端速度(如上图的132所示)，并且可能超过或低于期望路径112(如下图的132所示)。在步骤130的优化任务中执行了机器人运动模拟的迭代计算，最终导致速度曲线更平滑(如上图的134所示)和所需路径112(如下图的134所示)的精确匹配。

基于优化尖端运动模拟和分配设备特征模型，可以计算分配设备命令以匹配尖端位置和速度。例如，可以命令分配器在机器人开始沿路径112移动分配器尖端之前200毫秒(ms)开始流动，并且可以在尖端速度降低之前的200毫秒(或多或少，取决于特征模型)向下调整分配器流速。在一个示例中，所分配的材料的体积流速是分配尖端速度的线性函数，其中较高的流速用于较高的速度。

可以在模拟阶段中在考虑机器人路径规划和处理设备的特征的情况下执行步骤130的优化任务。该迭代优化过程的目标函数包括所生成的运动命令和CAD模型之间的最小路径偏差以及处理设备的最小工具中心点(TCP)速度变化。其他与过程相关的目标(例如工具方向)也可以包含在优化计算中。这个离线优化过程为使用AR装置的下一步提供了可控制的结果。当达到目标函数的目标时，将机器人运动命令和相应的处理设备命令信号提供给机器人控制器。

然后，机器人控制器使用优化过程的输出通过试运行操作使机器人运行，并且操作者使用增强现实(AR)系统查看试运行操作。在图1的步骤140处，示出了AR系统显示器的模拟。该显示器可以是一组AR护目镜，或者是平板装置上的显示器。在一个实施例中，AR显示器包括分屏，其具有实际机器人的图像，并且部件的左侧包括虚拟覆盖物，右侧包括位置和速度轨迹。

在AR显示器的左侧，且如142处所示，将实际位于AR用户前面的实际部分显示为来自AR装置相机的图像。命令实际机器人使用优化的运动命令执行分配操作的试运行。也就是说，实际机器人实际上沿指定的路径移动分配器尖端，但是没有打开用于AR模拟的分配设备，或者可以打开了分配设备，但是分配器中没有任何材料。当机器人跟踪所需的路径时，将在AR系统中显示虚拟的材料珠(基于分配设备的命令和特征以及分配器尖端速度进行计算)，以便用户可以验证其均匀性。工具中心点速度(例如，毫米/秒的数量)也叠加在142处的AR显示器上，其对应于减速的显示。

在AR显示器的右侧，跟踪点沿位置(如144处所示)和速度(如146处所示)曲线与机器人在实际零件上的运动同步移动。AR用户可以确认机器人运动命令和分配设备命令，和/或可以基于AR系统反馈进行最终调整。反馈可以包括与CAD规定路径的实际路径对齐、机器人关节机械极限检测以及对虚拟珠的观察，这可能需要对分配设备的模型或命令进行调整。

AR显示器允许操作者验证在真实工件上执行的模拟机器人操作的所有方面。特别地，可以在两个主要区域中识别出理论路径与实际工件之间的不匹配；CAD定义的零件的形状与实际工件的形状之间的差异(沿实际制造零件的路径可能与理论CAD路径的形状略有不同)，以及工件相对于机器人基座坐标系的理论位置和方向与工件的实际位置和方向之间的差异(即，夹具对准公差或误差)。

在操作者可以基于AR模拟对机器人运动和/或分配设备命令进行任何最终调整之后，将经验证的机器人运动命令和分配设备命令批准用于生产过程，如以下步骤150处所示。

图2是根据本公开的实施例的用于使用增强现实对机器人连续路径进行零示教编程的系统200的图示。CAD计算机系统210提供描述机器人工具中心要跟随的理论路径的设计路径212。工程计算机系统220提供处理设备特征的模型222，例如分配设备的滞后时间和流速与输入值，或者焊枪能量与输入值。设计路径212和特征模型222被提供给如上所述进行迭代优化处理的计算机230。本领域技术人员应当理解，CAD计算机系统210、工程计算机系统220和计算机230可以是客户端计算机、服务器、数据存储装置等的任意组合。例如，CAD系统210可以作为台式客户端计算机，工程计算机系统220和计算机230可以是位于服务器机房中的计算服务器，并且来自所有计算机的所有数据可以存储在存储区域网络中。

在计算机230上执行的优化过程导致优化后的一组机器人运动命令，以使工具中心点跟随设计路径212，同时使工具中心点速度的波动最小化。为此，可以定义目标函数，其包括与设计路径212的偏差和工具中心点速度的波动，其中优化过程的目标是使目标函数最小化。优化后的一组机器人运动命令也可以符合其他要求，例如，工具方向垂直于路径形状的局部切线。优化计算还提供了一组与工具中心点位置和速度相对应的处理设备输入信号或命令。处理设备输入信号包括例如接通和断开信号以及流速或功率的变化。

优化过程可以使用已知的逆运动学算法来计算实现规定路径所需的机器人关节角度和速度，并且可以调整路径点位置、线段终止类型(从一条曲线线段到另一曲线线段的过渡)以及其他路径相关参数，并且还调整与过程相关的参数(例如过程预期时间、流速等)以匹配过程可交付成果(例如恒定的分配珠宽度和所需路径)。

优化后的一组机器人运动命令和相应的一组处理设备输入信号被提供给机器人控制器240。机器人控制器240通常经由电缆242与机器人250通信。机器人控制器240是具有处理器和存储器的计算装置，其具有用于根据程序(机器人运动命令的优化集合)操作机器人250的指令，其中，控制器240从机器人250上的关节编码器接收位置信息，并向机器人250发送定义关节电机运动的命令。

操作者使用增强现实(AR)装置260进行可视化，最终修改(如果需要)和验证优化后的机器人运动和处理设备命令信号。AR装置260可以是由操作者持有的智能电话或平板装置，或者是由操作者佩戴的头戴式耳机设备。如操作者所看到的，机器人250在AR装置260上的显示器262中可见。在显示器262中还可见放置在夹具272上的工件270。为了视觉清晰，在图2中简化了工件270和夹具272。在实际实施中，工件270可以是复杂的铸件，而夹具272类似地是复杂的。在许多这样的实现中，设计路径212跟随工件270的三维特征。

如前所述，显示器262可以包括分屏格式，其在一侧上示出实际/虚拟场景，而在另一侧上示出工具中心点位置和速度的轨迹。图2中所示的实际/虚拟场景包括实际机器人250通过规定的运动实际移动工具中心点252的图像。实际/虚拟场景还包括过程输出的虚拟显示(图2中未显示)，例如分配的材料珠。根据工具中心点的位置和速度，所分配的材料珠被计算为相应的处理设备输入信号和处理设备特征模型，并随着工具中心点252沿工件270的路径显示为实时铺设。实际/虚拟场景还可以包括AR系统显示的其他典型特征，例如整个工具中心点路径280的虚拟显示，包括接近和离开路线。

如以上关于图1的步骤140所讨论的，操作者可以在与AR装置260交互的同时对机器人运动命令和处理设备命令信号进行最终调整。最终调整可以包括移动路径点以解决CAD零件与实际工件270之间的变化，和/或调整优化工具中心路径的位置或方向(六个自由度中的任何一个)，以说明工件270相对于机器人250的理论和实际固定位置之间的变化。

在AR装置260上运行的AR应用还可以记录显示器262的视频，以便在确认用于生产操作的机器人运动命令和处理设备命令信号之前，可以详细评估结果(例如填缝珠在工件270上的位置和厚度)。观看视频后，可以对机器人运动程序和处理设备命令信号进行进一步调整。

当AR装置260是头戴式耳机时，头戴式耳机包括处理器、惯性传感器、相机和护目镜，它们将计算机生成的3D图像叠加在用户视图或真实对象的相机图像之上。AR装置260还可以是诸如移动电话、平板装置或机器人示教器的手持装置，在这种情况下，除了所需的通信系统之外，装置260还包括处理器、惯性传感器、相机和显示屏。如前所述，AR应用程序向操作者提供增强现实特征和功能。

AR装置260与机器人控制器240无线通信，使得AR应用程序和机器人控制程序可以维持数据的双向交换。至少，AR应用程序从控制器240接收处理设备命令信号，该信号使AR应用程序能够计算处理设备输出(例如，填缝珠的厚度)，而AR装置260的已知位置和方向使AR应用能够正确地显示(例如)相对于工件270的填缝珠。AR应用程序还可以将对机器人运动程序的改变传达回控制器240，以保存为修改版本。通过视觉图像处理以及视觉和惯性测距法或本领域已知的任何其他合适的技术的组合，已知AR装置260相对于机器人250的位置和定向。AR装置260和控制器240之间的无线通信可以是经由无线局域网(WiFi)、蓝牙、蜂窝通信或任何其他合适的无线技术。

总之，图1所示的过程和图2所示的系统提供了虚拟路径规划技术，该技术可反映机器人路径行为(例如圆角倒圆)和处理设备特征(例如流速和滞后时间)，其中AR应用允许操作者可视化和验证结果，而无需打开实际的分配过程。

前面对材料分配机器人的详细讨论仅仅是路径跟随机器人操作的一个示例。可以容易地设想到，沿路径焊接的另一示例如何表现出与现有技术方法相同的问题以及所公开技术的相同优点。在路径焊接操作中，连续的规定路径可能是两个零件的边缘接触的地方。规定的路径可以具有与零件的边缘相关联的任何三维形状。焊接电极或焊炬表示必须跟随规定路径的工具中心点，并且当电极/焊炬沿路径移动时，也可能具有所需的尖端方向角度。就像材料分配一样，焊接操作对工具中心点速度也很敏感，因为焊缝特征是速度和焊接电流/能量的函数。因此，路径跟随机器人焊机也可以从所公开的方法中受益，其中路径被优化而没有过冲或下冲以及平滑的速度分布，保持了所需的方向，根据机器人工具中心运动来计算处理设备的特征(电极电流或焊炬气体流速)，并将其纳入AR模型，然后验证所产生的路径和焊缝，并将其用于生产中。

机器人路径跟随的其他示例-例如切割(例如，金属的激光切割-激光能量水平、与工件的距离、速度、方向角和金属厚度均会影响性能)和喷涂(例如，沿规定的路径，相对于车身面板的距离和方向的喷雾压力或流速)可以类似地受益于本公开的零示教连续路径优化技术。

在前面的讨论中，描述和暗示了各种计算机和控制器。应当理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算装置上执行。特别地，这包括上述计算机210-230、机器人控制器240和移动装置260中的处理器。这些装置之间以及这些装置与任何其他装置(例如平板装置、示教器或工厂主控制器)之间的通信可以通过硬线网络进行，或者可以使用任何合适的无线技术-例如蜂窝电话/数据网络、Wi-Fi、宽带互联网、蓝牙等。

如上所述，所公开的用于使用增强现实对机器人连续路径进行零示教编程的技术相对于现有技术具有若干优点。使用相应的工艺设备控制命令计算优化的路径，以产生一个忠实地跟随的路径和一致的过程结果，然后使用增强现实可视化和调整路径和过程的能力，远远优于连续路径编程的预先反复试验技术。

尽管上面已经讨论了用于使用增强现实对机器人连续路径进行零示教编程的方法和系统的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，旨在将所附权利要求书和此后引入的权利要求书解释为包括在其真实精神和范围内的所有此类修改、置换、添加和子组合。

Claims (20)

1.一种用于对机器人进行编程以沿连续路径执行操作的系统，所述系统包括：

具有配置有优化算法的处理器和存储器的计算机，所述优化算法使用包括设计路径和处理设备特征模型的输入并执行机器人运动命令的迭代计算以实现包括机器人工具中心路径和速度的目标函数，以及相应的处理设备命令信号；

装配有处理设备以执行所述操作的工业机器人；

与所述机器人和所述计算机通信的机器人控制器，所述控制器包括处理器和存储器，并配置有机器人操作控制软件；以及

与所述机器人控制器通信的增强现实(AR)装置，所述AR装置具有一个或多个相机、位置跟踪传感器和显示器，所述AR装置还包括被配置为运行AR应用的处理器和存储器，

其中，所述机器人控制器从所述计算机接收所述机器人运动命令和所述相应的处理设备命令信号，并命令所述机器人执行试运行程序，

并且所述AR应用显示叠加在工件上的具有所述操作的模拟输出的所述机器人的所述试运行程序。

2.根据权利要求1所述的系统，其中，所述AR装置是操作者佩戴的头戴式耳机设备，或者所述AR装置是由所述操作者持有的智能电话、平板计算装置或机器人示教器。

3.根据权利要求1所述的系统，其中，所述设计路径由来自计算机辅助设计(CAD)系统的数据定义。

4.根据权利要求1所述的系统，其中，所述处理设备特征模型包括作为输入水平信号的函数的物理输出量，以及在接收到开/关事件信号和输入水平信号变化之后经历的输出时间滞后。

5.根据权利要求1所述的系统，其中，所述AR应用在分屏显示器的一侧显示叠加在所述工件上的具有所述操作的所述模拟输出的所述机器人的所述试运行程序，并在所述分屏显示器的另一侧显示路径轨迹和工具尖端速度曲线，其中所述路径轨迹和工具尖端速度曲线包括与所述机器人的工具尖端运动同步移动的轨迹点。

6.根据权利要求1所述的系统，其中，所述优化算法使用逆运动学计算来基于所述设计路径来计算所述机器人运动命令，并且根据需要调整路径点和路径段参数以最小化所述目标函数。

7.根据权利要求1所述的系统，其中，所述优化算法还接收工具方向要求输入，并在所述目标函数中包含工具方向。

8.根据权利要求1所述的系统，其中，所述AR应用使得AR操作者能够改变所述机器人工具中心路径和所述相应的处理设备命令信号。

9.根据权利要求1所述的系统，其中，所述操作在所述工件上沿所述连续路径分配材料珠，并且当所述机器人上的分配尖端沿所述工件移动时，所述AR应用显示所述材料珠的所述模拟输出。

10.根据权利要求1所述的系统，其中，所述操作沿所述连续路径焊接一个或多个工件，沿所述连续路径切割所述工件，或者通过沿所述连续路径喷涂所述工件。

11.一种用于对机器人进行编程以沿连续路径执行操作的方法，所述方法包括：

向具有配置有优化算法的处理器和存储器的计算机提供包括设计路径和处理设备特征模型的输入；

使用所述输入来运行所述优化算法，包括执行机器人运动命令的迭代计算以实现包括机器人工具中心路径和速度的目标函数，并计算相应的处理设备命令信号；

基于从所述计算机接收到的所述机器人运动命令和所述相应的处理设备命令信号，由机器人控制器对装配有处理设备的所述机器人进行操作以执行所述操作的试运行；以及

在运行在增强现实(AR)装置上的AR应用中查看所述操作的所述试运行，包括显示所述机器人执行叠加在工件上的具有所述操作的模拟输出的所述操作的所述试运行。

12.根据权利要求11所述的方法，其中，所述优化算法使用逆运动学计算来基于所述设计路径来计算所述机器人运动命令，并且根据需要调整路径点和路径段参数以最小化所述目标函数。

13.根据权利要求11所述的方法，其中，所述优化算法还接收工具方向要求输入，并且将所述工具方向包括在所述目标函数中。

14.根据权利要求11所述的方法，还包括由AR操作者使用所述AR应用来改变所述机器人工具中心路径和所述相应的处理设备命令信号。

15.根据权利要求14所述的方法，还包括通过所述AR应用进行具有所述模拟输出的所述操作的所述试运行的视频记录，通过所述AR操作者观看所述视频记录，并且进行所述改变。

16.根据权利要求11所述的方法，其中，所述AR装置是由操作者佩戴的头戴式耳机设备，或者所述AR装置是由所述操作者持有的智能电话、平板计算装置或机器人示教器。

17.根据权利要求11所述的方法，其中，所述处理设备特征模型包括作为输入水平信号的函数的物理输出量，以及在接收到开/关事件信号和输入水平信号变化之后经历的输出时间滞后。

18.根据权利要求11所述的方法，其中，所述操作在所述工件上沿所述连续路径分配材料珠，并且当所述机器人上的分配尖端沿所述工件移动时，所述AR应用显示所述材料珠的所述模拟输出。

19.根据权利要求11所述的方法，其中，所述操作沿所述连续路径焊接一个或多个工件，沿所述连续路径切割所述工件，或者通过沿所述连续路径喷涂所述工件。

20.一种用于对机器人进行编程以沿连续路径执行操作的方法，所述方法包括执行机器人运动命令的迭代优化计算以最小化包括工具路径偏差和工具尖端速度变化的目标函数，将所述机器人运动命令和处理设备命令信号提供给机器人控制器，使用所述机器人运动命令和所述处理设备命令信号操作所述机器人，并使用增强现实(AR)应用查看所述操作，其中所述AR应用显示所述机器人执行叠加在工件上的具有所述操作的模拟输出的所述操作的试运行。

Images