CN117464662A - 为机器工作单元中的操作者提供动态安全区的系统和方法 - Google Patents

Abstract

本发明涉及一种用于为机器工作单元中的操作者提供动态安全区的系统和方法。用于通过增强现实(AR)实现的机器人应用程序的协同安全认知系统。工作单元中的一个或多个机器人与工作单元中的操作者佩戴或持有的AR设备上运行的应用程序通信。AR设备可以是头戴套件装置，或者平板电脑或示教器设备。在操作者周围创建动态安全区，并且由机器人控制器基于由AR应用程序提供的AR设备的位置来连续更新动态安全区的位置，其中，AR应用程序使用内部惯性传感器和视觉里程计来确定AR设备的位置。机器人控制器禁止机器人的运动进入动态安全区，并且根据需要减慢或重新规划机器人的路径，以防止机器人与动态安全区之间的干扰情况。

Description

为机器工作单元中的操作者提供动态安全区的系统和方法

相关申请的交叉引用

本发明要求2022年7月27日提交的标题为“增强现实和其他基于位置的技术实现的机器人应用程序的协同安全认知”的第63/369569号的美国临时专利申请的优先权。

技术领域

本发明涉及机器人操作安全区建立的领域，更具体地，涉及一种系统，该系统使用用户佩戴或持有的增强现实(augmented reality，AR)设备来建立并持续更新用户周围的机器人操作安全区，其中机器人被禁止进入该用户安全区。

背景技术

工业机器人是复杂的机器，能够精确可靠地执行许多不同的功能。在一些情况下，操作者需要位于与正在操作的机器人非常接近的工作单元中。熟悉机器人安装/应用的人知道定义操作区，该操作区定义了机器人被允许或被禁止的空间移动。操作区有多种用途，包括禁止机器人操作的安全区，以及在某种情况下禁止机器人操作(诸如有操作者存在)的条件安全区。然而，操作安全区在传统上是手动定义的，并且是静态的；也就是说，当建立安全区时，该区域包含了机器人工作单元内的固定空间，并且机器人工作单元中的任何人都有责任留在安全区内。

一些现有的机器人安全系统包括多个安全区，并且当传感器检测到特定安全区的预定义边界内存在物体时，单独的操作安全区被触发为活动的。这些系统具有一定程度上适应用户存在的优点，但这样的系统不能区分操作者和另一个物体，它们不能基于速度来预测用户的未来位置，并且它们仍然需要建立预定义的静态安全区，同时还要求在每个安全区内提供用于物体检测的传感器。

鉴于上述现有技术的现状，最好提供一种用于工业机器人的协同安全认知系统，其中定义有安全区并且其位置基于操作者在机器人工作单元内的位置被连续更新。

发明内容

根据本公开的教导，公开了一种用于由增强现实实现的机器人应用程序的协同安全认知系统。工作单元中的一个或多个机器人与运行于工作单元中的操作者拥有的增强现实(AR)设备之上的应用程序实时通信。AR设备可以是操作者佩戴的头戴套件(headset)装置，或者操作者持有的平板电脑或示教器设备。在操作者周围创建动态安全区，并且由机器人控制器基于由AR应用程序提供的AR设备的位置来连续更新动态安全区的位置，其中AR应用程序使用内部惯性传感器和视觉里程计来获知AR设备的位置。机器人控制器禁止机器人的运动进入动态安全区，并根据需要减慢或重新规划机器人的路径，以防止机器人与动态安全区之间的干扰情况。

通过结合附图进行的以下描述和所附权利要求，本文公开的设备和方法的附加特征将变得显而易见。

附图说明

图1是本领域已知的工业机器人、操作者和作为保护操作者的安全区建立的操作区的示意图；

图2是本领域已知的用于在机器人工作单元中注册和跟踪增强现实(AR)设备的位置的技术的示意图；

图3是根据本公开实施例的用于在机器人工作单元中为AR设备操作者提供动态安全区的技术的示意图；

图4是根据本公开实施例的用于在机器人工作单元中为AR设备操作者提供动态安全区的系统的示意图；以及

图5是根据本公开实施例的用于在机器人工作单元中为AR设备操作者提供动态安全区的方法的流程图。

具体实施方式

用于由增强现实实现的机器人应用程序的协同安全认知系统的本公开的实施例的以下讨论本质上仅是示例性的，且绝不旨在限制所公开的设备和技术或其应用或用途。

工业机器人用户群体知道定义与机器人运动相关的安全区和其他类型的空间区，诸如禁止机器人进入的区域。这些安全区和其他类型的区域有时被统称为操作区。

操作区通常用于建立工业机器人和其他类型机器的运动边界。在以下讨论和相应的附图中，操作区是在工业机器人的背景下描述和显示的。然而，所公开的系统和方法不仅适用于机器人，还适用于在空间包络(Spatial envelope)中移动的可能有干扰、碰撞和可能影响操作者安全的任何其他类型的机器。

可以建立许多不同类型的操作区，包括定义允许或禁止的运动空间的三维(3D)体积、在机器人手臂和其他物品周围建立空间缓冲的干涉检查区、以及监控机器人关节位置的关节位置检查区。以往，操作区是在机器人在其工作单元中进行生产操作之前建立的，然后根据这些区域不断检查机器人的速度和位置，以确保机器人始终遵守定义的区域的边界。以下对本公开的技术的讨论针对用于保护操作者的操作安全区。

图1是本领域已知的工业机器人100、人类操作者102和作为用于保护操作者102的安全区而建立的操作区110的示意图。工作台104用作支架或平台，工件可以放置在工作台104上，以便机器人100进行操作。如图1所示，操作区110的形状为正六面体，但操作区110可以具有任何形状，包括不对称、非平面、圆柱和球体等。图1中所示的操作区110是安全区，为机器人100在工作台104正上方定义了禁止空间。此外，区域110是条件安全区，这意味着只有当操作者102存在于工作台104附近时，区域110才被禁止机器人侵入，这可以由地板垫(当操作者102站在地板垫上时检测重量)或传感器(诸如检测光束堵塞的红外传感器或光学传感器)来指示。

图1的操作区110示出了一种类型的自适应安全区，其中，当操作者102不在工作台104附近时，允许机器人100进入区域110，而当操作者102位于工作台104附近时，禁止机器人100进入区域110。虽然这种类型的安全区是有用的，但它不能基于操作者102的实际位置自适应地重新定位，并且操作者102有责任理解操作区110的限制。例如，如果操作者102绕到工作台104的相对侧以取回掉落的部件，则区域110在完全无法保护操作者102不被机器人100接触。

其他已知的机器人安全系统定义多个安全区，并使用传感器来确定操作者或其他物体在任何区域中的存在。这些系统可能由于所需传感器的数量较多而变得昂贵，由于需要多个预定义区域而配置困难且耗时，并且还不具有适应特定操作者移动的灵活性。

结合工业机器人使用增强现实(AR)系统也是已知的。例如，在2019年6月26日提交的标题为“使用增强现实对操作边界区进行可视化和修改(VISUALIZATION ANDMODIFICATION OF OPERATIONAL BOUND-ING ZONES USING AUGMENTED REALITY)”的美国专利申请第16/453,811号中描述了一种可帮助人员定义操作边界区的AR系统，通过引用整体并入本文。另外，在2019年6月26日提交的标题为“用于机器人拾取系统的增强现实可视化(AUGMENTED REALITY VISUALIZA-TION FOR ROBOTIC PICKING SYSTEM)”的美国专利申请第16/453,838号中描述了一种协助操作者定义机器人拾放参数的AR系统，通过引用整体并入本文。

上面提到的AR系统使用AR设备(通常是头戴套件装置或平板电脑设备)将计算机生成的虚拟元素(诸如区域边界，虚拟部件等)覆盖在真实世界的机器人以及工作单元中的其他对象的图像上。为了正确地描述相对于机器人和其他对象的虚拟元素，AR设备和AR应用程序软件必须始终知道AR设备在工作单元中的位置和朝向。

图2是本领域中已知的用于在机器人工作单元中注册和跟踪AR设备的位置的技术的图示。机器人210安装在工作单元中，并定义了机器人基座参考系(坐标系)212。如本领域技术人员所已知的，机器人210可以定义许多其他参考系(诸如每个机器人手臂一个)，并且这些其他参考系中的每一个的位置和朝向可以根据基本参考系212直接或间接地定义。然而，出于建立相对于机器人210的AR设备位置的目的，仅基座参考系212是重要的。

视觉标记220放置在工作单元中的某处固定位置。标记参考系222具有相对于标记220定义的原点和朝向。例如，标记参考系222可以使其原点位于标记220的一个角上，并且其X轴和Y轴沿着标记220的两个边缘延伸。标记参考系222相对于机器人基座参考系212的位置和朝向(显示为步骤①)是通过本领域已知的测量和校准过程确定的。此过程可以包括进行标记220的位置和朝向的精确测量。

AR设备230具有在其上定义的AR设备参考系232。AR设备230优选地是用户234可佩戴的头戴套件装置，其中头戴套件包括处理器、惯性传感器、相机和护目镜，头戴套件装置将计算机生成的3D图像叠加在用户对真实世界的视图之上。AR设备230还可以是诸如移动电话、平板设备或机器人示教器的手持设备，在这种情况下，除了所需的通信系统外，设备230还包括处理器、惯性传感器、相机和显示屏。AR设备230在其处理器上运行AR应用程序。

通过将AR设备230中的相机对准视觉标记220来将AR设备230注册到机器人基座参考系212(显示为步骤②)，从而通过AR设备230捕获标记220的多个图像。在实践中，这是通过将AR设备230的相机对准标记220以使得标记220出现在AR设备230的显示器中来完成的；AR设备230的自然运动(由于其被人持有或佩戴)从略微不同的角度提供了标记220的后续图像(其具有机器人控制器和AR应用程序已知的图案和位置)，从而允许AR应用程序确定AR设备参考系232相对于标记参考系222的位置和朝向。因为从步骤①已知标记参考系222相对于机器人基座参考系212的位置和朝向，因此，AR应用程序可以计算AR设备参考系232相对于机器人基座参考系212的位置和朝向(如步骤③所示)。对于本领域技术人员来说是显而易见的是，可以使用将AR设备230注册到机器人基座参考系212的其他方法。

在将AR设备230的位置和朝向注册到机器人基座参考系112之后，AR应用程序使用惯性和视觉里程计来连续跟踪AR设备230相对于机器人基座参考系212的位置和朝向。在此技术中(显示为步骤④)，AR设备230中的处理器从设备230上的加速度计和陀螺仪接收信号，基于加速度和横摆率(yaw rate)信号的积分，连续地计算设备230的更新的位置和朝向。基于来自设备230上的相机的图像(诸如标记220的图像或存在于已知位置的其他可识别物品的图像)，来检查和校正位置和朝向。

如本领域的技术人员将理解的，机器人基座参考系212实际上不必在机器人基座上，而是任何工作单元坐标系，它只是机器人在其中工作的工作单元中的固定坐标系。简单的变换可用于在任何固定的工作单元坐标系中计算机器人手臂位置、标记220的位置以及AR设备230的动态位置。

图2所示和上面讨论的技术使运行在AR设备上的AR应用程序软件能够连续确定AR设备相对于机器人及其工作单元的位置和朝向，这是AR设备在AR显示器中准确显示叠加在现实世界的对象上的虚拟元素所必需的功能。由于AR设备现在通常由机器人工作单元中的操作者使用，因此根据以下讨论，可以利用这种AR设备位置跟踪能力来提供动态操作者安全区特征。

此外，还可使用任何其他位置跟踪技术，对上述视觉标记和惯性及视觉里程计的使用形成代替或补充。例如，系统可以通过对来自多个收发器的信号进行三角测量来跟踪AR设备的位置，并且可以使用横摆率传感器或来自AR设备的图像数据来提供AR设备的朝向。可以使用任何合适的技术组合来提供AR设备相对于机器人及其工作单元的位置和朝向，然后将其用于建立动态安全区，如下所述。

图3是根据本公开实施例的用于在机器人工作单元中为AR设备操作者提供动态安全区的技术的示意图。机器人310在工作单元320内操作。基座参考系322被定义在工作单元320中的固定位置处，使得机器人控制器始终知道全部机器人手臂和工具相对于基座参考系322(其可以是任何固定的工作单元坐标系，而不一定在机器人基座上)的位置。

佩戴AR设备332的操作者330也位于工作单元320内。无论是在机器人设置和验证过程中，还是在实际生产机器人操作过程中，操作者在机器人操作期间出现在工作单元内的情况都越来越普遍。如前所述，AR应用程序可以协助工作单元内的许多不同的操作者活动，因此需要操作者330佩戴AR设备332。同样如前所述，AR设备332(作为优选实施例，被描绘为头戴套件)可以是平板计算设备或机器人示教器，而不是头戴套件装置。

在图3的步骤①中确定AR设备332相对于基座参考系322的位置，如图2的讨论中详细描述的。基于AR设备332的位置在操作者330的周围定义动态安全区340(如步骤②所示)。动态安全区340当然是三维空间体积。动态安全区340根据由AR设备应用程序软件跟踪的AR设备332的位置，与操作者330一起移动。当操作者330在工作单元320周围移动时(作为步骤③在不同位置示出)，动态安全区340相应地自动移动，始终将操作者330保持在机器人310被禁止进入的区域内。如下文将进一步讨论的，AR设备应用程序软件将AR设备332的位置连续地传送给机器人控制器，机器人控制器控制机器人运动并防止机器人310的任何部分进入动态安全区340。

动态安全区340可以被配置有适合于任何特定应用的许多不同参数。例如，动态安全区340可以被配置为具有在操作者330周围的水平(或径向)缓冲器342和垂直缓冲器344。可替换地，动态安全区340可以被定义为具有特定半径和高度的垂直圆柱体(具有可选的半球形顶端)，其中半径和高度可以具有默认值，并且也可以由用户指定。动态安全区340的形状不需要是圆柱形的；可以被定义为适合于给定的应用程序的其他形状。动态安全区340的配置(以下讨论的尺寸/形状和行为类型)可以使用AR设备应用程序软件来执行，然后被传送到机器人控制器，或者该配置可以可替代地直接在机器人控制器上执行。

如果AR设备332是手持设备(诸如平板电脑或示教器)，则AR设备应用程序软件可以被配置为补偿设备位置距离操作者330重心的轻微偏移。例如，设备332通常保持在操作者330前方的大约一只脚处，因此动态安全区340的中心可以被相应地调节，其中操作者330相对于设备332的位置从设备朝向是已知的。这种相同的偏移补偿虽然相当小，但也可以应用于头戴套件装置的情况。

基于AR设备332的速度，还可以预期动态安全区340的移动，和/或补偿动态安全区的大小。例如，可以基于AR设备332的速度来预期动态安全区340在未来时间增量的位置。可替换地，或附加地，动态安全区340的尺寸可以在运动朝向上增加(“水平拉伸”)，以覆盖操作者330的预期未来位置。这些基于速度的调整可以由AR设备应用程序软件进行并传送到机器人控制器，或者这些调整可以由机器人控制器本身进行。在任何情况下，最终计算和控制机器人运动的是机器人控制器，同时严格遵守动态安全区340的边界。速度可以由AR设备直接确定，或者基于先前的位置和朝向数据来计算。

除了防止机器人310的任何部分进入动态安全区340之外，机器人控制器还可以基于动态安全区34和来自AR设备应用程序软件的信息对机器人运动进行其他调整。这些调整可以包括降低机器人310的速度，或者命令机器人310在将工具从一个位置移动到另一个位置时采取不同的路径。例如，在许多情况下，机器人310正在运行定义工具运动的程序，诸如拾取和放置部件，或者沿着预定义的路径执行一系列焊接操作。如果对未来的机器人位置的计算指示机器人310的任何部分(工具或任何手臂)将侵占动态安全区340，或者将侵占动态安全区在该未来时间将处于的位置，则控制器可以将机器人310的速度降低到程序中规定的速度以下。当然，如果即使在机器人速度降低之后，安全区侵占仍然迫在眉睫，则控制器将完全停止机器人310的移动。

在协同和适应的另一个示例中，如果动态安全区340的位置使得机器人工具在从当前位置移动到下一个编程位置时将被机器人工具或手臂侵占，则控制器可以重新规划机器人工具的路径以避免侵占。重新规划路径可以包括在动态安全区340“上面和上方”，或在动态安全区340周围，或允许机器人310到达下一个编程位置同时避开动态安全区340的手臂运动的任何其他组合。

图4是根据本公开实施例的用于在机器人工作单元中为AR设备操作者提供动态安全区的系统400的示意图。机器人或其他机器410位于工作单元420中并在其中操作。机器人410被描述为传统的多轴工业机器人，但也可以是在空间包络中移动的机器人或任何其他类型的机器，其中干扰、碰撞和操作者安全可能都是问题——包括但不限于配置用于零件/材料移动、焊接、喷涂或其他应用的工业机器人。

机器人410通常通过电缆414与控制器412通信，但也可能是无线的。如本领域中已知的，控制器412包括具有用于根据程序来操作机器人410的指令的处理器和存储器，其中控制器412接收从机器人410上的关节编码器获取位置信息，并将定义关节电机运动的命令发送到机器人410。仅示出了一个机器人410，但是系统400可以包括在工作单元420内运行的许多机器人410。当系统400中包括多个机器人410时，每个机器人410可以具有其自己的控制器412，且控制器412彼此通信——以共享动态安全区信息和其他数据。

在机器人410的操作期间，操作者430存在于工作单元420中。操作者430使用AR设备432运行增强现实应用程序。如上所述，AR设备432可以是由操作者430佩戴的头戴套件装置，或者由操作者430持有的手持设备(例如，平板电脑或示教器)。当AR设备432是头戴套件时，头戴套件包括处理器、惯性传感器、相机和护目镜，该头戴套件将计算机生成的3D图像叠加在用户视图的顶部或真实对象的相机图像上。AR设备432也可以是诸如移动电话、平板电脑设备或机器人示教器等手持设备，在这种情况下，除了所需的通信系统之外，设备432还包括处理器、惯性传感器、照相机和显示屏。AR应用程序向操作者430提供了在机器人配置中使用的增强现实特征和功能，诸如，将机器人路径、程序、边界和/或输出(例如，嵌缝(Caulk bead))的虚拟显示叠加在操作者对机器人410和位于工作单元420中的其他元素的视图上。

AR设备432与控制器412无线通信，使得AR应用程序和机器人控制程序可以保持数据的双向交换。至少，如图3所讨论的，AR应用程序向控制器412提供AR设备432的位置和朝向，以便在控制器412上运行的机器人控制程序可以在操作者430周围建立动态安全区。AR设备432和控制器412之间的无线通信可以是经由无线局域网(WiFi)，蓝牙，蜂窝通信或任何其他合适的无线技术。

系统400还包括位于工作单元420中的某处固定位置和朝向处的视觉标记440。控制器412从工作单元420的先前设置和配置中已知了标记440的位置和朝向，及其尺寸、形状和视觉设计细节。AR设备432包括至少一个相机，该至少一个相机用于向AR应用程序提供机器人410和其他物品的图像。如前所述，为了校准AR设备432在工作单元420中的位置，当操作者430将相机对准标记440时，则拍摄标记440的数字图像。AR设备432中的处理器分析图像并确定AR设备432相对于标记440的位置和朝向。此后，AR设备432使用惯性传感器和视觉里程计来连续计算其相对于标记440的位置和朝向，该位置和朝向被传送到控制器412并由控制器412用于建立动态安全区，该动态安全区始终定位在操作者430周围。如前所述，可以基于AR设备的速度、AR设备的类型等对动态安全区进行调整。

如果工作单元420包括多个机器人410，则AR设备432优选地仅与控制器412中的一个(指定为主控制器)无线通信，动态安全区由主控制器计算一次，并且与通过(有线或无线)局域网通信的全部控制器412共享。

对于动态安全区的行为，可以有许多不同的配置选项。可以在控制器412上运行的机器人控制程序和/或在AR设备432上运行的AR应用程序中进行配置。例如，动态安全区可以是由操作者430在AR应用程序中激活的特征。可替换地，当AR设备432在工作单元420内并通电时，动态安全区可以被定义为始终处于活动状态。描述动态安全区行为的尺寸、速度灵敏度和其他参数优选地由操作者430在AR应用程序中配置。最终，是在控制器412上运行的机器人控制程序通过防止机器人410的任何部分侵入安全区并根据需要调整机器人速度和路线，来遵守动态安全区。

用于将安全区合并到机器人运动命令中的若干已知技术可以与本公开的动态定位的安全区一起使用。例如，可以在每个机器人手臂周围定义填充(padding)的操作区(长方形的“气泡(bubbles)”)，并与机器人手臂一起移动，并且任何填充的机器人手臂操作区与动态安全区之间即将发生的干扰都可导致控制器412完全停止机器人410。通过这种方式，围绕机器人手臂的操作区的填充(自由空间)，以及围绕操作者430的动态安全区的填充，提供了额外的安全边际，以防止机器人410与操作者430的任何实际接触。

如前所述，已知的技术也可以用于减慢机器人410的速度或重新规划机器人410的路径以防止预期的干扰情况。当动态安全区特征在操作时，控制器412可以检测到AR设备432和机器人控制器412之间的通信丢失，并使控制器412完全停止机器人410。在这种情况下，优选地在AR设备432上向操作者430显示警告，告知操作者430通信丢失和机器人停止的原因。

可以通过容易理解的方式对多个操作者430(每个操作者都具有自己的AR设备432)加以支持。也就是说，AR设备432中的每一个都具有与其相关联并始终与其一起移动的动态安全区，并且机器人控制器412遵守全部动态安全区。类似地，多个机器人410和多个操作者430可以存在于工作单元420内，在这种情况下，每个操作者430的动态安全区都被定义并连续更新，并且全部机器人控制器412将全部动态安全区合并到它们的机器人运动控制计算中。在多个机器人410的情况下，机器人运动控制计算还可以包括设计用于防止机器人与机器人碰撞的计算。

在本公开的另一个实施例中，AR设备432是用于机器人操作的“实现设备”。实现设备的概念对于工业机器人配置和设置领域的技术人员是已知的，其中实现设备用作一种操作者存在开关(operator presence switch)，指示操作者存在并且知道机器人操作。在现有的机器人配置系统中，通常使用机器人示教器作为实现设备。在本公开的技术中，AR设备432和自动定位的动态安全区可以消除对用作实现设备的机器人示教器或其他设备的需要。

应当理解，AR设备432正在运行AR应用程序，操作者430正在使用该AR应用程序来实现程序在机器人设置、配置、操作、故障排除或某些其他功能中的有益特征。根据当前公开的技术，由AR设备432的位置定义的动态安全区是无需额外传感器或其他部件的附加有益特征。

动态安全区本身可以显示在AR设备的显示器上，使得操作者在机器人工作单元中工作时能看到安全区及其状态。可以如在系统配置中定义的那样实施各种其他显示选项。例如，可以基于操作者所在的动态安全区的接近程度，对机器人手臂周围的操作区进行颜色编码。此外，AR设备显示器中可能会提供安全区状态窗口，该窗口显示诸如机器人何时减速或重新规划路径等信息，以避免侵入动态安全区。

上文的整个讨论中，公开了使用AR设备来建立和自动更新操作者安全区的位置。在一些应用中，无需使用增强现实，并且除了AR设备之外的位置感测设备也可用于操作者的位置确定。例如，操作者可以将智能电话放在他/她的口袋中或放在他/她的身上，其中智能电话包括WiFi、蓝牙或其他通信能力以及适于确定和传送操作者位置的惯性和/或其他位置跟踪能力。如本领域技术人员所理解的，其他类型的设备也可以用于确定和传送操作者位置。

图5是根据本公开的实施例，使用图4的系统400在机器人工作单元中为AR设备操作者提供动态安全区的方法的流程图500。在框502处，如前所述，操作者430在AR设备432上启动AR软件应用程序(app)，并且AR设备432经由无线通信信道建立与机器人控制器412的通信。在框504处，AR设备432的位置和朝向被校准到机器人410操作的工作单元420中的固定坐标系。工作单元坐标系对于机器人控制器412是已知的，并且可以针对机器人410的全部位置配置来计算机器人关节位置和工作单元坐标系中的工具中心位置。如前所述，可以通过将AR设备中的相机指向具有已知位置和朝向的视觉标记440，来执行AR设备432到工作单元坐标系的校准。除了视觉标记440的成像之外，还可使用将AR设备432校准到工作单元坐标系的其他方法，这对于本领域技术人员来说是显而易见的。

还是在框504处，在AR设备432的位置和朝向被校准到工作单元坐标系之后，AR应用程序通过使用惯性和视觉里程计来连续跟踪AR设备432相对于工作单元坐标系的位置和朝向。在此技术中，AR设备432中的处理器从AR设备432上的加速度计和陀螺仪接收信号，基于加速度和横摆率信号的积分，连续地计算AR设备432的更新的位置和朝向。基于来自AR设备432上的相机的图像，诸如标记440、机器人基座或存在于已知位置的其他可识别项目的图像，检查和校正位置和朝向。

在框506处，AR设备432将设备位置和朝向传送到机器人控制器412。同时，操作者430将在AR设备432上运行的AR应用程序软件用于其预期目的。如前所述，AR应用程序软件可用于机器人设置、配置、操作监控、故障排除或一些其他功能。在框508处，机器人控制器412基于AR设备位置来定义动态安全区。动态安全区通过这样的方式被限定和移动，使得操作者430始终处于安全区内并且被保护免受机器人410的伤害。如上所述，安全区可以以AR设备位置为中心，或者稍微偏移以补偿相对于操作者重心的AR设备位置。安全区可以配置有许多不同的尺寸和形状选项、基于AR设备速度的可选拉伸或移动等。无论可选的行为参数如何，机器人控制器412总是基于最近接收到的AR设备位置数据来移动动态安全区，以保护操作者430。

在框510处，机器人控制器412将动态安全区合并到机器人运动控制计算中。至少，这包括在必要时停止机器人410，以防止机器人410的任何部分侵入动态安全区。若干其他选项可用于在机器人运动控制中使用动态安全区，包括如果预计可能与动态安全区发生冲突，则减慢和/或重新规划机器人手臂的路径。此外，可以在每个机器人手臂周围定义填充的操作区(“气泡”)，并且机器人手臂操作区与操作者动态安全区的任何交叉点都可以用于使机器人410完全停止，其中机器人手臂操作区和操作者动态安全区中的自由空间填充提供了防止机器人手臂或工具与操作者430之间的任何实际接触的安全边际。

还是在框510处，AR设备可以显示与动态安全区相关的信息，诸如安全区的几何描述、安全区的颜色编码状态，以及列出总体状态并识别机器人控制器为遵守动态安全区的边界而采取的任何行动的信息窗口。

在框510之后，流程图500的过程返回到框506，在框506中，AR设备432的当前新位置和朝向被传送到控制器412，动态安全区被相应地重新定位，并且只要AR设备432被通电并且位于工作单元420内，该过程就连续地实时循环。可以通过类似的方式包括多个操作者和/或多个机器人，其中全部机器人从全部操作者的AR设备接收位置信息，并且保护全部相应的动态安全区免受任何机器人的侵入。

上文的整个讨论中，描述并暗示了各种控制器——用于控制机器人的运动和任务，用于AR设备的操作等。应当理解，这些控制器的软件应用程序和模块在具有处理器和存储器模块的一个或多个计算设备上执行，包括配置在非易失性存储器中的算法。具体而言，这包括上文讨论的图4的机器人控制器412和AR设备432中的处理器。机器人、它们的控制器和AR设备之间的通信可以通过硬线网络，也可以使用任何合适的无线技术诸如蜂窝电话/数据网络、Wi-Fi、蓝牙、宽带互联网等。

如上所述，通过增强现实实现的用于机器人应用程序的协同安全认知的公开技术提供了优于现有技术的几个优点。使用AR设备及其AR应用固有的位置跟踪能力，基于AR设备位置自动移动操作者安全区的能力远远优于用于手动定义静态安全区的现有技术。

尽管上文已经讨论了由增强现实实现的用于机器人应用程序的协同安全认知系统的一系列示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，旨在将所附权利要求和此后引入的从属权利要求解释为包括在其真实精神和范围内的全部此类修改、置换、添加和子组合。

Claims (10)

1.一种用于为机器工作单元中的操作者提供动态安全区的系统，所述系统包括：

能够在工作单元中操作的机器；

与所述机器通信的机器控制器，所述机器控制器包括处理器和存储器，并且所述机器控制器配置有机器操作控制软件；以及

与所述机器控制器通信的增强现实设备，所述增强现实设备具有位置跟踪传感器、显示器和一个或多个相机，所述增强现实设备还包括被配置为运行增强现实应用程序的处理器和存储器；

其中，所述增强现实应用程序建立并且连续跟踪所述增强现实设备相对于工作单元坐标系的位置和朝向，并且连续跟踪所述增强现实设备相对于所述机器控制器的位置和朝向，

并且，所述机器控制器基于所述增强现实设备的位置和朝向建立并移动包围所述操作者的动态安全区，并且将所述动态安全区合并到机器运动控制计算中，所述机器运动控制计算包括防止所述机器的任何部分进入所述动态安全区。

2.根据权利要求1所述的系统，其中，所述增强现实设备是所述操作者佩戴的头戴套件装置。

3.根据权利要求1所述的系统，其中，所述增强现实设备是由所述操作者持有的智能手机、平板电脑设备或机器人示教器。

4.根据权利要求1所述的系统，其中，所述增强现实应用程序通过分析具有已知设计并且放置在所述工作单元坐标系中的已知位置的视觉标记的图像，来建立所述增强现实设备相对于所述工作单元坐标系的位置和朝向。

5.根据权利要求1所述的系统，其中，所述位置跟踪传感器包括一个或多个陀螺仪和一个或多个加速度计，其中，所述传感器向所述增强现实设备中的所述处理器提供信号以实现连续计算所述增强现实设备的位置和朝向的变化。

6.根据权利要求1所述的系统，其中，所述动态安全区具有能够由所述操作者在所述增强现实应用程序或者所述机器操作控制软件中定义的大小和行为参数，其中，所述行为参数包括：基于所述增强现实设备的朝向的、所述动态安全区的中心从所述增强现实设备的位置的偏移；以及基于所述增强现实设备的速度矢量的对所述动态安全区的位置或大小的调整。

7.根据权利要求1所述的系统，其中，所述机器控制器减慢或重新规划所述机器的运动，以防止所述机器对所述动态安全区的未来干扰。

8.根据权利要求1所述的系统，其中，所述操作者使用所述增强现实应用程序，同时所述机器控制器基于所述增强现实设备的位置和朝向建立和移动所述动态安全区。

9.一种用于为机器工作单元中的操作者提供动态安全区的方法，所述机器工作单元包括与机器控制器通信的至少一个机器，所述方法包括：

在增强现实设备和所述机器控制器之间建立通信，并且在所述增强现实设备上启动增强现实应用程序；

通过所述增强现实应用程序建立所述增强现实设备相对于工作单元坐标系的位置和朝向，并且随着所述增强现实设备的移动而连续跟踪所述位置和朝向；

向所述机器控制器连续传送所述增强现实设备的位置和朝向；

基于所述增强现实设备的位置和朝向来创建和移动包围所述操作者的动态安全区；并且

向机器运动控制计算中合并所述动态安全区，所述机器运动控制计算包括防止所述机器的任何部分进入所述动态安全区。

10.一种用于为机器工作单元中的操作者提供动态安全区的方法，所述方法包括：由所述操作者携带位置跟踪设备，向机器控制器连续地无线传送所述位置跟踪设备的位置，基于所述位置跟踪设备的位置来定义包围所述操作者的动态安全区，并且由所述机器控制器将所述动态安全区合并到机器运动控制计算中，所述机器运动控制计算包括防止所述机器的任何部分进入所述动态安全区。