CN112368659B - 具有增强现实的自动动态诊断指导 - Google Patents

Abstract

用于工业机器人的诊断、故障排查和修复的增强现实(AR)系统。公开的诊断指导系统与工业机器人的控制器通信并从机器人控制器收集数据，数据包括识别机器人的问题的故障代码。然后，系统基于收集到的数据识别适当的诊断决策树，并向具有AR功能的移动设备的用户提供交互式逐步故障排查指导，包括用于描述在测试和组件更换期间要采取的措施的增强现实。该系统包括数据收集器、树生成器和指导生成器模块，并使用诊断树、决策和诊断步骤以及关联的AR数据的存储库来构建决策树和诊断指导。

Description

具有增强现实的自动动态诊断指导

相关申请的交叉引用

本申请要求于2018年6月26日提交的标题为“AUTOMATIC DYNAMIC DIAGNOSISGUIDE WITH AUGMENTED REALITY”的美国临时专利申请号62/690,045的优先权权益。

技术领域

本发明涉及机器人故障排查和诊断领域，并且更具体地，涉及用于快速且有效地诊断工业机器人的问题的系统，该系统从机器人控制器收集数据，基于收集到的数据识别适当的诊断决策树，并向移动设备的用户提供交互式逐步故障排查指导，包括用于描述在测试和组件更换期间要采取的措施的增强现实。

背景技术

工业机器人是非常复杂的机器，其能够精确且可靠地执行许多不同的功能。但是，当机器人出现问题时，可能很难确定根本原因并难以校正问题。

当前，快速警报诊断的方式存在多个障碍，包括：故障排查没有充分记录；现有的故障排查文档散布在各种手册中；客户无法快速且容易地获取手册；许多警报可能有多种根本原因，以及在没有提供解决方案的情况下，所有这些工作都会浪费时间、精力和成本；并且由于控制器和机器人硬件的复杂性，难以执行故障排查指令。此外，客户通常在机器人故障排查和维修方面没有高水平的专业知识。

其他现有的诊断系统要求用户通过关于诊断问题的指令观看视频或收听音频记录。这要求用户首先看向计算设备上的屏幕，并且然后看向实际系统，这需要额外的时间。此外，如果视频或音频没有描述用户正在使用的确切系统或问题，而是描述了某些变型，则用户可能会感到困惑。

鉴于上述情况，期望提供交互式工具，用于快速且有效地指导用户完成故障排查过程，以使机器人尽快恢复运行。

发明内容

根据本公开的教导，公开了用于诊断由机器人上的警报代码指示的问题的增强现实系统。公开的诊断指导系统与工业机器人的控制器通信，并从机器人控制器收集数据。然后，系统基于收集到的数据识别适当的诊断决策树，并向移动设备的用户提供交互式逐步故障排查指导，包括用于描述在测试和组件更换期间要采取的措施的增强现实。该系统包括数据收集器、树生成器和指导生成器模块，并使用决策和诊断步骤以及关联的AR的存储的库来构建决策树和诊断指导。

通过结合附图根据以下描述和所附权利要求，本公开设备的附加特征将变得显而易见。

附图说明

图1是根据本公开的实施例的使用增强现实对机器人故障代码进行自动指导诊断的系统的示图；

图2是示出根据本公开的实施例的图1的自动指导诊断应用程序的模块的架构图；

图3是示出根据本公开的实施例的来自图2的自动指导诊断应用程序架构的诊断树的框图；

图4是将来自图2的应用程序架构的部分诊断树与传统的直通零件更换方法进行比较的框图；

图5是根据本公开的实施例的来自图2的应用程序架构的决策库组件的示图；

图6是根据本公开的实施例的向用户显示诊断步骤(动作)和决策点(问题)以及支持的增强现实(AR)显示的诊断指导应用程序的示图；以及

图7是根据本公开的实施例的采用图1的系统使用增强现实的机器人故障代码的自动指导诊断的方法的流程图。

具体实施方式

涉及使用增强现实对工业机器人进行自动故障排查和诊断的方法和系统的本公开的实施例的以下讨论本质上仅是示例性的，并且绝不旨在限制所公开的设备和技术或其应用或用途。

由于机器人系统的复杂性和灵活性，所以已知警报很难理解和排除故障。由于缺乏对客户和不良文档的了解，存在需要很长时间才能解决的许多简单问题的示例。使警报诊断高效且用户友好的系统，对于任何一个机器人客户都是非常有价值的，尤其是强调于一般行业。虽然某些行业(如汽车)的机器人客户有资源聘请机器人专家并且有处理机器人的多年经验，但一般行业的客户可能没有这种奢望，并且很可能发现令人生畏的警报故障排查。对于这些刚开始机器人应用程序的客户来说，交互式诊断指导系统将是有吸引力的功能。

认识到上述需求，已经开发了改进的系统以提供对工业机器人的问题的快速且有效的故障排查。诊断指导系统从机器人控制器收集数据，基于收集到的数据识别适当的诊断决策树，并向移动设备的用户提供交互式逐步故障排查指导，包括用于描述在测试和组件更换期间要采取的措施的增强现实。

移动应用程序(“app”)被设计为诊断指导系统的客户接口。通过移动应用程序，客户能够选择需要诊断的控制器，并且该应用程序提供了有关如何诊断警报的系统教程。该指导包括具有图表、图像和视频的交互式逐步演示。此外，增强现实启用(AR)设备能够覆盖相关数据并突出显示现实世界中的部分。取决于设备的功能，用户可能只能获得多媒体诊断指导(不使用AR)，或者用户也可以利用AR功能。

图1是根据本公开的实施例使用增强现实对机器人故障代码进行自动指导诊断的系统100的示图。如本领域中已知的，工业机器人110通常通过电缆114与机器人控制器112通信。机器人110可以是任何类型的工业机器人，例如焊接机器人、喷涂机器人或被配置和编程为执行任何其他任务的机器人。由于机器人110的复杂性以及有时它们所工作的极端环境，问题不时出现。机器人或机器人控制器可以提供许多不同类型的警报和信息信号(视觉、听觉、显示屏幕消息及其组合)来指示问题，并且这些中的每一个都会导致识别问题并用作诊断过程基础的故障代码、或警报代码或数据消息。警报或故障代码由控制器112指示，并且可能需要立即关注或很快就会关注。

当控制器112指示警报或故障代码时，运行诊断指导应用程序130的移动设备120可以用于诊断和解决故障代码。此时，机器人110已经停止运行其运动程序，并且机器人110和控制器112处于可以执行诊断和故障排查的模式。控制器数据的“快照”从控制器112提供给移动设备120以供应用程序130使用。数据优选地通过无线通信连接来提供，例如，可以通过控制器112和移动设备120与局域网(LAN)无线通信来实现。控制器快照包括与机器人110的性能有关的所有数据，这些数据可能与诊断和故障排查有关。该数据将包括警报或故障代码标识符，该标识符识别代码所适用的问题的类型(例如，关节电动机问题)。快照数据还可以包括时间历史数据和用于参数(例如，关节负载和扭矩、电动机电流等)的最大值数据。

使用控制器快照数据(如果可用)，诊断指导应用程序130利用可选增强现实(AR)内容准备诊断指导，以供用户140使用。用户140回答问题并执行诊断步骤，并且诊断指导逐步将用户140引导到诊断树中的下一个问题或步骤。AR内容(如果可用)用于清楚地向用户140显示如何识别机器人110上的特定部件，或如何执行特定动作(例如拔下电缆或更换部件)。AR特征允许用户140将移动设备120的相机对准机器人110的一部分，并且AR内容(例如突出显示和其他虚拟图形)叠加在真实世界视图的相机图像上。最终，将采取解决故障代码的措施，根本原因将记录在应用程序130中，并且机器人110将重新投入使用。

然后，指导中的用户动作和从控制器112下载的信息可以流到网络服务器或具有知识数据库(表示为云150)的其他服务器，以便可以对数据进行汇总和分析以用于将来可能对诊断或其他信息的改进。诊断指导应用程序130还可以通过从云150中的服务器/数据库下载项目，来使用最新的指导和信息来升级自身。控制器112还可以使用本领域技术人员清楚理解的通信基础结构与云150中的服务器/数据库直接通信，例如，控制器112连接到又具有互联网连接性的LAN。

用户遵照的过程实质上如下：使用诊断指导应用程序130，从列表中识别机器人控制器，诊断指导应用程序130将在该列表上下载控制器数据“快照”；识别控制器正在经历的警报状况(可以基于控制器快照自动执行)；并按照用户指导中的指示进行步骤，包括回答问题、执行诊断测试以及根据需要更换组件。

诊断指导应用程序130的输出是指示用户采取哪些步骤和观察哪些信息以了解警报的根本原因的指导。该指导可能根据需要具有图表、照片或视频，并将向用户提出问题，以决定如何最好地进行。该指导还可能包含AR数据，这些数据将在现场直播(在平板电脑或手机的情况下)或全息图(在AR耳机的情况下)中突出显示现实世界中的项目和信息。

图2是示出根据本公开实施例的图1的诊断指导应用程序130的模块的架构图200。如上所述，诊断指导应用程序130优选地从控制器112接收“快照”。控制器快照包括由控制器112记录的描述机器人110中最近的运行状况的数据。诊断指导应用程序130可以在没有控制器快照数据的情况下使用，在这种情况下，用户140首先指示控制器112指示的警报或故障代码，然后遵照由应用程序130呈现的诊断树。然而，控制器快照数据有助于提供关于机器人110的数据，这可以加快故障排查和诊断，并且快照数据通常可用于下载到移动设备120上的诊断指导应用程序130。

诊断指导应用程序130的结构要求由诊断树表示每个受支持的问题。有关要诊断的实际系统状态的信息(来自控制器快照)以及用户对问题的响应，确定了用户通过树进行最终诊断的路径。该结构包括与软件模块分离的数据库，其中，设计允许在数据库中添加或修改受支持的故障状况，而无需更改软件模块。此外，该结构通过封装通信和指导显示特征，允许诊断指导应用程序130在许多不同类型的设备上可执行。

决策库210包括可以在诊断树中使用的许多不同的决策点和自动决策功能。诊断树库220包括用于每个受支持的警报或故障代码的诊断树。诊断步骤库230包括可以在诊断树中使用的许多不同的诊断步骤。AR数据库240包括增强现实(AR)数据文件，当向用户呈现步骤时，该数据文件可以与诊断步骤或决策点相关联。库210至库240中的每个项目都包含在文件(例如XML或HTML)中，并且将在下面进一步讨论。

图3是示出根据本公开实施例的来自图2的诊断指导应用程序架构的诊断树库220的诊断树300的框图。诊断树300是用于诊断指导应用程序130的受支持的故障状况的示例诊断树。每个诊断树都包含在树库220中的XML文件中。诊断树是由机器人制造商的专家服务技术人员创建的。每个诊断树由节点组成，每个节点只有一个父节点。存在四种不同类型的节点，下面分别讨论。

根节点302指定正在被诊断的受支持的故障状况。根节点302是基于特定警报或故障代码进行诊断的起点。为在根节点302中识别的特定警报或故障代码唯一地限定诊断树300。

动作节点(或诊断步骤)304是诊断中步骤的示例，在该步骤中，要求用户执行与该问题有关的诊断步骤，例如拔下电缆或更换组件。该动作可以具有关联的指导说明以及增强现实数据。每个动作节点(或诊断步骤)包含在诊断步骤库230中的HTML或XML文档中，其中，文档可以包含多媒体(音频和/或视频)，并且还可以具有链接的AR数据。诊断步骤库中的每个动作都具有描述和路径标识符，它们唯一地标识诊断步骤库230中的文档。动作节点(例如节点304)可能会导致另一动作节点(节点306)或动作节点可以导致决策点(诸如决策节点308)，其中，这些关系在决策树300的结构中限定。

诊断步骤是作为诊断的一部分采取的离散动作。每个诊断步骤都是可以在多个不同的诊断树中重复使用(即用于不同的警报或故障代码)的原子单元。诊断步骤以HTML文档(网页)形式显示，并且可以包括图像、动画图像(gif)、视频和文本，这些清楚地说明了如何执行此步骤。

诊断树中的某些步骤将具有与之关联的AR数据。该AR数据实质上将识别要叠加的信息、要锚定的现实对象(机器人组件)以及要绘制的形状，以引起用户注意机器人上需要执行动作的某些区域。

决策节点308是诊断中要求用户回答问题的点的示例，或者替代地，系统基于来自控制器快照的数据自动回答问题。决策点确定遵循两条以上路径中的哪条，从而确定在特定诊断会话中通过诊断树300的路径。每个决策节点都包含在决策库210中的XML文档中。决策节点可以具有是/否回答，或者可以具有多个选择回答，其中，输出路径取决于回答。在决策树300中，决策节点308被示出为具有两个可行的回答(回答节点310和回答节点312)。图3示出了各自作为节点的决策节点308以及回答节点310和312；但是，在流程图中，通常将它们组合并显示为决策菱形。

叶节点表示故障状况的最终确定原因，并且是没有子节点的节点。在诊断树300中，动作节点314、324和328是叶节点，其中每个叶节点是通过树300的不同路线或路径到达的。具体地，从决策节点308，在节点312处的是(2)的回答导致动作节点314作为叶节点。另一方面，节点310处的否(1)的回答导致动作节点316和318，随后是决策节点320，其中，节点322处的否的回答导致动作叶节点324，而节点326处的“是”回答导致动作叶节点328。

诊断指导应用程序130支持的每个警报或故障代码都具有与诊断树300类似的相应诊断树。专家技术人员或客户支持代表使用决策库210中包含的决策和诊断步骤库230中包含的诊断步骤(动作)，来创建树结构。每棵树都包含诊断警报所需的所有可能步骤。从树的根部开始，通过树到达最终原因的过程，可能根据决策点而变化。在使用控制器快照数据在诊断指导应用程序130中将树呈现给用户之前，尽可能多地修剪树。

图4是将图2的应用程序架构中的部分诊断树与传统的直通部件更换方法进行比较的框图。400处显示的是来自诊断指导应用程序130的部分诊断树的示例。使用此方法，对决策点402和408的回答指示随后的步骤，其可以包括中间动作节点406，并最终导致叶动作节点404、410或412。在诊断指导应用程序130中，交互式诊断树通过一系列测试和组件更换来指导用户，这可以更快地识别和校正根本原因，而无需花费时间和金钱来更换不是问题原因的组件。如先前的诊断步骤所示，这种方法使得仅在该特定组件可能是警报代码的根本原因时才更换这些组件。

在420处示出的是传统的直通部件更换方法的示例。在传统方法中，在框422、424和426处一次更换一个组件，直到问题解决为止，其中更换顺序可以基于最有可能解决该问题或最容易执行的组件。在诊断指导应用程序130可用之前使用的传统方法，经常导致冗长的诊断过程，并且不必要地更换机器人组件。

图5是根据本公开实施例的来自图2的应用程序架构的决策库210的决策库组件的示图。决策点510是决策树基于用户对问题的回答进行分支的点。决策点510被示为具有三个可能的回答，其中每个回答都通向决策树中的不同路径。每个路径都可能导致另一个决策点或一个动作(诊断步骤)。决策库中的决策点通常有两个可能的回答(例如“是”或“否”)，每个回答都通向不同的路径。

自动决策功能520是嵌入在决策树中的功能，该决策树基于来自控制器快照的数据而自动评估。自动决策功能520不呈现给用户。替代地，诊断指导应用程序130在向用户呈现决策树之前(在这种情况下，基于自动决策功能520修剪树)、或在用户与应用程序130交互期间(在这种情况下，根据最终输出路径将下一个决定或动作呈现给用户)，自动评估自动决策功能520。根据输入的诊断数据，自动决策功能可能具有两个以上可能的输出路径。

图6是根据本公开实施例的向用户显示诊断步骤(动作)和决策点(问题)以及支持增强现实(AR)显示的诊断指导应用程序130的示图。如前所述，诊断指导应用程序130显示在移动设备120的屏幕上。诊断指导应用程序130以分屏方式划分为右侧的用户对话部分610和左侧的AR显示620。用户可以选择或应用程序130可以自动确定屏幕的哪个部分用于用户对话部分610和AR显示620。例如，当没有可用的AR数据时，用户对话部分610可以占据显示屏幕的100％，并且当用户正在积极地使用AR显示620时，用户对话部分610可以缩小到显示屏幕的10％。对于移动设备120是耳机型AR设备的情况，用户对话部分610可以被“停放在空间中”以供观看，而在占据整个观看区域的AR显示620中观看真实世界元素和虚拟元素。

用户对话部分610包括诊断步骤(动作)和决策点(问题)的组合。如图6所示，在612处指示先前执行的诊断步骤，并在614处指示决策点(问题)。用户对话部分610还包括封装的视频窗口616，在该窗口中显示了描绘指示用户执行当前步骤(例如拔下电动机的插头)的视频。窗口616可以包括图像、插图、动画插图(GIF)、视频或其他媒体。用户对话部分610中显示的诊断步骤(动作)和决策点(问题)是如图3所示并在前面讨论的诊断树的一部分。基于对问题614的回答，诊断树将沿着到适当节点的路径移动，并且与该节点相关联的动作或决策将在用户对话部分610中显示。

除了视频窗口616之外，在图6的诊断指导应用程序130中示出了AR显示620。如前所述，一些诊断步骤(动作)和决策点(问题)具有关联的AR数据。AR显示620被设计为提供交互式可视化辅助，这有助于用户完成诊断步骤。AR显示620包括作为示出运动方向或观看方向的箭头的虚拟特征显示622、和作为指示机器人上的部件位置的轮廓的虚拟特征显示624)。虚拟特征显示622和624覆盖在由移动设备120的相机所观看的真实世界场景(机器人和周围环境)的图像626上。虚拟特征显示622和624由移动设备120中的处理器计算并基于移动设备120相对于机器人的位置和方向以适当的尺寸和方向显示。如AR技术领域的技术人员所理解的，可以通过分析工作单元中的视觉标记的图像，来确定移动设备120相对于机器人(或机器人工作单元)的位置和方向，并且可以通过视觉和/或惯性测距技术对位置和方向进行连续跟踪。移动设备120可以是平板计算设备、智能电话或AR耳机/护目镜设备。

返回图2的架构图200，上面已经讨论了数据库210至数据库240，并且在图3至图5中示出了它们的内容。数据库210至数据库240可以基于特定的基础进行更新；也就是说，只要元素的新版本可用，就可以添加或更新数据库210至数据库240中的元素。例如，可以针对先前不支持的警报或故障代码创建新的诊断树，或者可以为特定的诊断步骤添加AR数据。当此新的AR数据在云150中的网络服务器上可用时，它将被下载到移动设备120并添加到应用程序130中的AR数据库240中。对数据库210至数据库240的添加和更新不需要软件升级。

诊断指导应用程序130还包括软件模块250、260、270和280。当诊断指导应用程序130的新版本发布时，更新软件模块250至软件模块280，在这种情况下，可以从云150中的网络服务器下载应用程序130的新版本。如图2所示并在下面进行讨论的，数据库210至数据库240与软件模块250至软件模块280进行通信。

诊断指导应用程序130包括诊断数据收集器模块250，其用作到机器人控制器112的数据下载接口。数据收集器模块250与控制器112建立通信并请求且接收控制器快照数据。如下所述，包括警报或故障代码以及所有相关数据的快照数据存储在移动设备120的存储器中，并且可用于诊断指导应用程序130，并由诊断指导应用程序130使用。

用户140通过识别需要被诊断的控制器112来开始诊断。如果到故障控制器112的连接是可行的，则应用程序130从控制器112下载控制器快照。控制器快照包含可以帮助诊断警报的数据。这可能包括：警报历史、伺服状态、系统变量、特殊趋势数据等。快照的生成和下载是自动的，并且对用户不可见。

诊断数据收集器模块250使用任何适当的方法(USB驱动器、直接硬线连接、到公共LAN的连接等)与控制器112通信，其中，优选方法是无线连接。

诊断数据收集器模块250请求伺服诊断，并从控制器112收集可能有助于警报诊断的任何其他文件。诊断数据收集器模块250解析来自快照文件的相关数据，并将所有内容放入诊断指导应用程序130可以使用和利用的内部诊断数据结构中。

诊断指导应用程序130还包括树生成器模块260。树生成器模块260针对特定的警报或故障代码(如果可用)，从诊断树库220中检索诊断树。树生成器模块260解析诊断树XML数据，并为特定故障代码建立内部树结构。树生成器模块还基于从数据收集器模块250中的控制器接收到的诊断数据，来“修剪”诊断树。例如，可以调用自动决策功能，并使用来自控制器快照的数据来决定如何构建树的其余部分，其中，可以基于自动决策功能修剪树的一个或多个分支。

如果诊断指导应用程序130无法通过控制器快照获取诊断数据，则不会自动回答任何问题，而是诊断树中的每个决策点都会成为用户140的潜在问题。在这种情况下，用户140仅输入警报或故障代码标识符，并且诊断指导应用程序130从诊断树库220中检索适当的诊断树。

另外，如果对于特定警报或故障代码不存在诊断树，但是确实存在统计诊断数据(指示故障代码的不同根本原因的统计百分比)，则由树生成器模块260以解决问题的最高可能性的顺序，将诊断树构造为一系列动作。如果统计诊断数据不存在或模棱两可，则可以基于执行步骤的时间在动作链中对动作进行排序，其中执行时间最短的步骤将被排在最前面。当“树”被构造为一系列动作时，诊断指导应用程序130仍然充当有用的工具，要求用户按顺序更换最可能的组件，直到修复警报为止。即使没有诊断树，这些组件更换步骤仍可以提供增强现实(AR)辅助。

如果针对特定警报或故障代码，既没有诊断树也没有统计诊断数据，则诊断指导应用程序130的树生成器模块260将指示此状态的消息返回给用户140。在这种情况下，可以将特定警报或故障代码的诊断树的创建需求记录在云150中的网络服务器上，以便机器人制造商的服务技术人员可以在不久的将来创建和分发这种诊断树。此外，如果诊断指导应用程序130无法提供警报的诊断(没有可用的诊断树和统计诊断数据)，则应用程序130允许用户140提交图像、视频和控制器快照，以供专业技术人员进行分析。用户140只按下应用程序130中的按钮可封装图像和数据，并将图像和数据提交到电子邮件地址或网络服务器位置，客户服务代表将在该位置查看数据并在帮助下响应用户140。

诊断指导应用程序130还包括指导生成器模块270。指导生成器模块270接收由树生成器模块260生成的决策树，无论该树是从诊断树库220中检索到的树，还是由树生成器模块260基于统计诊断数据构建的树。指导生成器模块270遍历诊断树，加载适当的诊断步骤(来自诊断步骤库230)和AR数据(来自AR数据库240)，以基于诊断树创建完整的诊断指导。

诊断指导应用程序130还包括指导用户界面(UI)模块280。指导UI模块280从指导生成器模块270接收充分详实的指导，并将诊断指导呈现给移动设备120的用户。指导UI模块280还接收用户对问题的回答，并将回答提供给指导生成器模块270，以便可以由指导UI模块280向用户呈现适当的后续节点。

如上所述，有时需要创建新的诊断树，以解决先前不支持的警报或故障代码。为此，技术人员首先为特定警报创建诊断树。新诊断树中所需的许多动作和决策点可能已经存在于决策库210和诊断步骤库230中。对于任何新动作，将生成新的HTML页面，并在适当的地方生成新的AR数据。对于任何新的决策点，需要新的XML来限定要提出的问题和可能的回答。如果自动决定可行，则必须编写一个新功能，以基于诊断数据限定如何回答问题。如果需要其他诊断数据，则需要对诊断数据收集器进行软件修改以解析其他数据，并将其他数据添加到内部数据结构中。

图7是根据本公开实施例采用图1的系统使用增强现实自动指导诊断机器人故障代码的方法的流程图。在框702处，识别需要诊断的机器人的控制器。有问题的机器人通常将停止运行，并且控制器将显示警报状况或故障代码。在框704处，在所识别的控制器与运行诊断指导应用程序的移动设备(优选地具有AR功能)之间建立通信，并且控制器数据的“快照”从控制器下载到运行诊断指导应用程序的设备。

在框706处，为由控制器识别的特定故障代码创建诊断树。创建诊断树包括：如果存在，则从诊断树库中选择一个现有的诊断树，或者如果诊断树库中不包含针对特定故障代码的诊断树，则基于统计根本原因数据构建诊断树。创建诊断树还包括：基于树中的使用控制器快照中的数据进行评估的自动决策功能修剪树(选择某些路径并消除其他路径)。

在框708处，交互式遍历诊断树，包括显示诊断指导，该诊断指导具有用户执行的诊断步骤和用户要回答的问题，其中，问题的回答确定了在诊断树中遵循的路径。在框708处遍历诊断树，直到通过执行诊断步骤确定故障代码的根本原因并解决。遍历诊断树包括向用户提供图像、描述和视频，其中任何或所有这些形式的媒体均可用于向用户解释和说明需要采取什么措施，如何做，以及在哪里找到机器人或控制器上的特定项目。除了其他形式的媒体外，还可以提供AR显示，其中，AR显示在真实世界场景的图像上部设置虚拟叠加(例如指针和亮光笔)，并且AR显示允许用户在正确描绘虚拟叠加项目的同时移动到不同的视角。

根据移动设备是平板电脑计算设备(针对AR显示和用户对话部分使用分屏)还是AR耳机设备(其中，整个查看区域可以是AR显示，用户对话部分“停在空间中”供用户查看并与之交互)提供的用户体验略有不同。

移动设备上的诊断指导应用程序可以与网络服务器或“云中的”知识数据库进行通信-或用于在捕获控制器快照后实时创建诊断树，或用于定期更新存储在应用程序的库中的可用的诊断树和步骤、AR数据等。

在前面的讨论中，描述并暗示了各种控制器–用于控制机器人的运动和任务，用于在移动设备上运行诊断指导应用程序等。应当理解，这些控制器的包括在非易失性存储器中配置的算法的软件应用程序和模块，在具有处理器和存储器模块的一个或多个计算设备上执行。具体地，这包括上述机器人控制器112和移动设备120中的处理器。机器人、他们的控制器和移动设备之间的通信可以通过硬线网络进行，或者可以使用任何合适的无线技术，例如蜂窝电话/数据网络、Wi-Fi、蓝牙、宽带互联网等。

如上所述，具有增强现实的自动机器人诊断指导的公开技术提供了优于现有技术的若干优点。通过机器人和其他真实世界项目的嵌入式图像、描述、视频和增强现实视图，用户轻松、直观地执行诊断步骤并回答问题的能力，远远优于先前可以顺序更换组件的迭代技术。

尽管上面已经讨论了使用增强现实的自动机器人警报诊断的方法和系统的许多示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，旨在将所附权利要求书和以后引入的权利要求解释为包括在其真实精神和范围内的所有此类修改、置换、添加和子组合。

Claims (22)

1.一种用于诊断和修复机器的问题的系统，所述系统包括：

与机器通信的机器控制器，所述控制器包括处理器和存储器，并配置有机器控制软件，所述机器控制软件用于控制所述机器的运行并记录所述机器的故障代码；以及

增强现实AR设备，所述AR设备具有一个或多个相机、位置跟踪传感器和显示器，所述AR设备还包括被配置为运行诊断指导软件应用程序的处理器和存储器；

其中，所述诊断指导软件应用程序提供的功能包括：

从所述机器控制器向所述AR设备提供数据，所述数据包括指示所述机器的问题的数据；

建立并连续跟踪所述AR设备相对于工作单元坐标系的位置和方向；

创建包括诊断步骤和决策点的诊断树，所述诊断树将诊断所述问题的根本原因；以及

提供诊断指导，所述诊断指导通过在所述诊断步骤和所述决策点与用户进行交互而遍历所述诊断树，直到确定所述问题的根本原因并解决所述问题的所述根本原因；

其中，创建所述诊断树包括：基于来自所述机器控制器的快照数据，由在所述诊断树的一个或多个决策点处自动回答问题的所述诊断指导软件应用程序修剪所述诊断树。

2.根据权利要求1所述的系统，其中，所述AR设备是用户佩戴的耳机设备。

3.根据权利要求2所述的系统，其中，所述诊断树的包括图像、视频和描述的部分被显示在用户对话窗口中，所述用户对话窗口位于空间中的固定位置处以供所述用户观看。

4.根据权利要求1所述的系统，其中，所述AR设备是由用户持有的智能电话或平板计算设备，并且以分屏模式显示AR显示和用户对话窗口。

5.根据权利要求1所述的系统，其中，建立所述AR设备相对于所述工作单元坐标系的所述位置和方向包括：分析具有已知设计并放置在所述工作单元坐标系中的已知位置的视觉标记的图像。

6.根据权利要求1所述的系统，其中，从所述机器控制器提供数据包括：在所述AR设备与所述控制器之间建立通信，以及下载关于所述机器的数据，关于所述机器的数据包括警报历史、机器人关节负载和扭矩、伺服电动机状态、电动机电流和趋势数据。

7.根据权利要求1所述的系统，其中，从所述机器控制器提供数据包括：由所述机器控制器生成并显示二维条形码QR码，以及由所述AR设备读取QR码，其中，所述QR码标识所述故障代码。

8.根据权利要求1所述的系统，其中，创建所述诊断树还包括：从诊断树库中选择先前为所述问题创建的诊断树，以及当所述诊断树库中不存在针对所述问题的诊断树时，将所述诊断树构建为包括按照解决所述问题的概率更换机器组件的一系列动作。

9.根据权利要求1所述的系统，其中，用户指导利用被设计为帮助所述用户完成所述诊断步骤的图像、视频、描述和AR数据来呈现所述诊断步骤，要求所述用户在每个所述决策点回答问题，以及基于所述回答遵循树的分支。

10.根据权利要求1所述的系统，其中，所述位置跟踪传感器包括一个或多个陀螺仪和一个或多个加速度计，其中，所述传感器向所述AR设备中的处理器提供信号，从而能够连续计算所述AR设备的所述位置和方向的变化。

11.根据权利要求10所述的系统，其中，AR数据包括叠加在所述机器的相机图像上的虚拟特征，其中，所述虚拟特征被设计为在完成所述诊断步骤时向所述用户提供视觉辅助，并且所述虚拟特征的显示基于所述AR设备的所述位置和方向的变化而不断更新。

12.根据权利要求1所述的系统，还包括：包括知识数据库的网络服务器，其中，所述AR设备与所述网络服务器通信，并从所述知识数据库下载所述诊断树和AR数据，并且将根本原因信息上传至所述知识数据库。

13.根据权利要求1所述的系统，其中，所述机器是工业机器人。

14.一种用于诊断和修复工业机器人的问题的设备，所述设备包括与机器人控制器通信的增强现实AR设备，所述AR设备具有一个或多个相机、惯性传感器和显示器，所述AR设备还包括被配置为运行诊断指导软件应用程序的处理器和存储器，其中，所述诊断指导软件应用程序被配置为：从所述机器人控制器下载包括指示所述机器人的问题的数据的数据；创建包括诊断步骤和决策点的诊断树，所述诊断树将诊断所述问题的根本原因；以及提供诊断指导，所述诊断指导通过在所述诊断步骤和所述决策点与用户进行交互而遍历所述诊断树，直到解决所述根本原因；

其中，创建所述诊断树包括：基于来自所述机器人控制器的快照数据，由在所述诊断树的一个或多个决策点处自动回答问题的所述诊断指导软件应用程序修剪所述诊断树。

15.一种用于诊断和修复机器的问题的方法，所述方法包括：

提供机器和与所述机器通信的机器控制器；

提供增强现实AR设备，所述AR设备具有一个或多个相机、位置跟踪传感器和显示器，所述AR设备还包括被配置为运行诊断指导软件应用程序的处理器和存储器；

建立并连续跟踪所述AR设备相对于工作单元坐标系的位置和方向；

从所述机器控制器向所述AR设备提供机器诊断数据，所述机器诊断数据包括标识所述机器的问题的数据；

基于所述诊断数据确定诊断树，其中，所述诊断树包括诊断所述问题的根本原因的诊断步骤和决策点；

向所述AR设备的用户呈现诊断指导，其中，所述诊断指导遵循所述诊断树；以及

所述用户遵照所述诊断指导直到识别并校正所述问题的根本原因包括：在所述诊断步骤处执行测试和组件更换操作，并在所述决策点处回答问题；

其中，确定诊断树包括：在由所述诊断指导软件应用程序确定的所述诊断树中的一个或多个决策点处询问使得通过基于来自所述机器控制器的快照数据自动回答问题，所述诊断指导软件应用程序修剪所述诊断树。

16.根据权利要求15所述的方法，其中，向所述用户呈现所述诊断指导包括：在所述AR设备上提供AR数据，所述AR数据描述所述诊断树中包括的至少一个测试和组件更换活动。

17.根据权利要求16所述的方法，其中，所述AR设备是所述用户佩戴的耳机设备，其中，所述AR数据被叠加在所述机器及所述机器周围环境的实时图像上，并且其中，所述诊断树的包括图像、视频和描述的部分被显示在用户对话窗口中，所述用户对话窗口位于空间中的固定位置处以供所述用户观看。

18.根据权利要求17所述的方法，其中，所述AR数据包括叠加在所述机器的所述实时图像上的虚拟特征，其中，所述虚拟特征被设计为在完成所述诊断步骤时向所述用户提供视觉辅助，并且所述虚拟特征的显示基于所述AR设备的所述位置和方向的变化而不断更新。

19.根据权利要求15所述的方法，其中，确定所述诊断树还包括：从诊断树库中选择先前为所述问题创建的诊断树，或者当所述诊断树库中不存在针对所述问题的诊断树时，将所述诊断树构建为一系列动作，所述一系列动作包括按照解决所述问题的概率来更换机器组件。

20.根据权利要求15所述的方法，还包括：由所述AR设备与包括知识数据库的网络服务器通信包括：从知识数据库下载所述诊断树和AR数据，以及将根本原因信息上传到所述知识数据库。

21.根据权利要求15所述的方法，其中，所述机器是工业机器人。

22.根据权利要求15所述的方法，其中，标识所述机器的问题的所述数据是警报代码或故障代码。