CN108089696B - 用于工业自动化的虚拟现实和增强现实 - Google Patents

Abstract

本发明公开了一种用于工业自动化的虚拟现实和增强现实。工业可视化系统生成工业设施的虚拟现实(VR)和增强现实(AR)呈现并且将其传送至可穿戴器具，以便于与设施内的自动化系统的远程或增强交互。VR呈现可以包括工厂设施内的位置或工厂设施的三维(3D)全息视图。系统可以选择性地渲染按比例缩小的视图，其将设施渲染为3D比例模型或渲染为第一人称视图，所述第一人称视图将设施渲染为模拟用户存在于工厂地面上的全尺度演示。可以选择在VR呈现中渲染的摄像机图标，以切换至由工厂内的360度摄像机生成的实况视频流。系统还可以渲染工作流呈现，该工作流呈现通过纠正检测到的维护问题的过程来指导用户。

Description

用于工业自动化的虚拟现实和增强现实

相关申请的交叉引用

本申请要求于2016年11月8日提交的题为“VIRTUALREALITY AND AUGMENTEDREALITY FORINDUSTRIALAUTOMATION”的美国临时申请序列第62/419,061号的优先权，其全部内容通过引用并入本文中。

技术领域

本文公开的主题一般性地涉及工业自动化系统，并且更具体地涉及工业数据的可视化。

背景技术

工业自动化系统通常包括一个或更多个人机界面(HMI)，其使得工厂人员能够查看与自动化系统相关联的遥测数据和状态数据，并且控制系统操作的一些方面。HMI可以通过工厂网络与工业控制器中的一个或更多个进行通信，并且与工业控制器交换数据，以便于在一个或更多个预开发的操作者接口屏幕上使与受控工业过程相关的信息可视化。HMI还可以被配置成使得操作者能够向工业控制器的指定的数据标签或存储地址提交数据，从而为操作者提供方法以向受控系统发布命令(例如，循环启动命令、装置致动命令等)、修改设定点值等。HMI 11可以生成一个或更多个显示屏，操作者通过一个或更多个显示屏与工业控制器118交互并且从而与受控过程和/或系统交互。

通常，为了查看与由构成工业控制环境的机器和装置执行的工业过程有关的信息，用户必须依靠在HMI上执行的预开发的接口显示屏，或者使用便携式计算机直接连接至装置，以便查看控制编程和装置配置。

当今的工业数据可视化系统的上述缺点仅旨在提供对常规系统的一些问题的概述，而不旨在是详尽的。常规系统的其它问题以及本文所描述的各个非限制性实施方式的相应优点在查阅以下描述后会变得更加显而易见。

发明内容

下文中给出了简要的概述，以便提供对本文中所描述的一些方面的基本理解。该概述既不是广泛综述也不意在识别关键/重要元件或者描述本文中所描述的各个方面的范围。该概述的唯一目的是以简要的形式给出一些概念，以作为随后要给出的更详细的描述的序言。

在一个或更多个实施方式中，提供了一种系统，包括：装置接口部件，其被配置成从与工业设施相关联的工业装置接收工业数据；客户端接口部件，其被配置成从可穿戴器具接收身份数据、位置数据和定向数据，其中，所述身份数据定义与可穿戴器具相关联的用户身份，并且所述位置数据和定向数据分别指示可穿戴器具的当前位置和定向；监测部件，其被配置成监测工业数据，并且基于确定工业数据的子集满足指示维护问题的条件来识别维护问题的发生；以及渲染部件，其被配置成响应于识别到维护问题来检索定义用于纠正维护问题的工作流的工作流数据，并且基于工作流数据、身份数据、位置数据和定向数据来生成在可穿戴器具上渲染增强现实呈现的增强现实呈现数据。

而且，在一个或更多个实施方式中，提供了一种方法，包括：通过包括处理器的系统接收由工业设施的工业装置生成的工业数据；通过系统接收指定与可穿戴器具相关联的用户身份的身份数据、指定可穿戴器具的当前位置的位置数据和指定可穿戴器具的当前定向的定向数据；通过系统监测工业数据；基于通过监测而确定工业数据的子集满足指示维护问题的条件，通过系统标识维护问题的发生；响应于识别到维护问题，通过系统检索定义用于纠正维护问题的工作流的工作流数据；以及通过系统基于工作流数据、身份数据、位置数据和定向数据来生成在可穿戴器具上渲染增强现实呈现的增强现实呈现数据。

此外，根据一个或更多个实施方式，提供了一种存储有指令的非暂态计算机可读介质，所述指令响应于执行使系统执行操作，所述操作包括：接收由工业设施的工业装置生成的工业数据；接收识别与可穿戴器具相关联的用户身份的身份数据；接收识别可穿戴器具的当前位置的位置数据；接收识别可穿戴器具的当前定向的定向数据；基于对工业数据的监测，基于确定工业数据的子集满足指示维护问题的条件来识别维护问题的发生；响应于识别，检索定义用于纠正维护问题的工作流的工作流数据；以及基于工作流数据、身份数据、位置数据和定向数据在可穿戴器具上渲染增强现实呈现。

为了实现前述和相关的目的，本文中结合下面的描述和附图来描述某些说明性的方面。这些方面表示可以被实践的各种方式，各种方式中的所有方式旨在涵盖于本文中。根据下面结合附图考虑时的具体实施方式，其他优点和新型特征可以变得明显。

附图说明

图1是示例工业控制环境的框图。

图2是示出了将增强或虚拟现实呈现呈现给由用户穿戴的可穿戴器具或计算装置的概念图。

图3是示例虚拟和增强现实呈现系统的框图。

图4是示例可穿戴器具的框图。

图5是包括用作用于工业设施的增强和虚拟现实呈现的内容提供的VR/AR呈现系统的一般性示例架构的框图。

图6A是示出了VR/AR呈现系统的部件和数据流的框图。

图6B是示出了系统包括单独的内容提供者和渲染系统的VR/AR呈现系统的部件和数据流的框图。

图7是示出了由VR/AR呈现系统利用以生成虚拟和增强现实呈现的数据输入的图。

图8是示出了可以由VR/AR呈现系统的渲染部件生成的工业区域的示例VR/AR现实呈现的演示。

图9是示出了工业区域的示例VR/AR现实呈现的另一个演示。

图10是示出了工业区域的示例VR/AR现实呈现的另一个演示。

图11是基于工厂模型和用户当前定向的由渲染部件生成的生产区域的示例第一人称视图。

图12是示出了VR/AR呈现系统、可穿戴器具与工业控制器之间的数据流的图。

图13是示出了便利于用于生成虚拟现实或增强现实呈现的可穿戴器具与一个或更多个工业装置之间的通信的示例数据流的图。

图14A和图14B是示出了将视频信息合并到由VR/AR呈现系统生成的VR呈现中的示例配置的图。

图15是包括摄像机图标的示例VR呈现的透视图。

图16是示出了用于传送交互式工作流呈现的VR/AR呈现系统、工业设备与可穿戴器具之间的示例数据流的图。

图17是示出了当用户纠正停机时间问题时将实时工作流反馈传送至可穿戴器具的图。

图18是示出了正在测试的控制程序与工业设施的VR/AR模型之间的交互的一般性框图。

图19A是用于用转换成实况视频馈送的选项创建和渲染工业设施的VR/AR呈现的示例方法的第一部分的流程图。

图19B是用于用转换成实况视频馈送的选项创建和渲染工业设施的VR/AR呈现的示例方法的第二部分的流程图。

图19C是用于用转换成实况视频馈送的选项创建和渲染工业设施的VR/AR呈现的示例方法的第二部分的流程图。

图20A是用于控制工业设施的VR/AR呈现的示例方法的第一部分的流程图。

图20B是用于控制工业设施的VR/AR呈现的示例方法的第二部分的流程图。

图21是用于经由使用可穿戴器具的虚拟控制面板与工业自动化系统连接的示例方法的流程图。

图22A是用于生成增强现实呈现以通过解决检测到的维护问题的过程指导工厂人员的示例方法的第一部分的流程图。

图22B是用于生成增强现实呈现以通过解决检测到的维护问题的过程指导工厂人员的示例方法的第二部分的流程图。

图23是示例计算环境。

图24是示例联网环境。

具体实施方式

现在将参照附图来描述本主题公开内容，其中贯穿全文，相同的附图标记用于指代相同的元素。在以下描述中，出于解释的目的，阐述了许多特定细节以便提供对其的彻底理解。然而，明显的是，本主题公开内容可以在没有这些特定细节的情况下进行实践。在其他实例中，公知的结构和装置以框图的形式示出以便利于对其进行描述。

如在本申请中所使用的，术语“部件”、“系统”、“平台”、“层”、“控制器”、“终端”、“站”、“节点”、“接口”旨在指示计算机相关实体或者与具有一个或更多个特定功能的操作装置有关或作为其一部分的实体，其中这样的实体可以是硬件、硬件与软件的组合、软件或执行中的软件。例如，部件可以是但不限于：在处理器上运行的进程；处理器；硬盘驱动器；包括固定(例如，螺纹连接或螺栓连接)的固态存储驱动器或可拆卸地固定的固态存储驱动器的(光学或磁存储介质的)多个存储驱动器；对象；可执行文件；执行的线程；计算机可执行程序；和/或计算机。作为说明，在服务器上运行的应用和服务器二者均可以是部件。一个或更多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一个计算机上以及/或者分发在两个或更多个计算机之间。此外，本文所描述的部件可以从其上存储有各种数据结构的各种计算机可读存储介质执行。部件可以经由本地和/或远程处理例如根据具有一个或更多个数据包的信号(例如，来自经由该信号与本地系统、分布式系统中的另一部件和/或跨网络如因特网与其他系统进行交互的一个部件的数据)进行通信。作为另一示例，部件可以是具有由下述电气或电子电路操作的机械部件提供的特定功能的装置，所述电气或电子电路由处理器执行的软件或固件应用来操作，其中处理器可以在该装置的内部或外部并且执行软件或固件应用的至少一部分。作为又一示例，部件可以是通过电子部件而不是机械部件提供特定功能的装置，该电子部件可以包括其中的处理器以执行至少部分提供电子部件的功能的软件或固件。作为又一示例，(一个或更多个)接口可以包括输入/输出(I/O)部件及其相关联的处理器、应用或应用编程接口(API)部件。尽管前述示例涉及部件的各方面，但例示方面或特征也适用于系统、平台、接口、层、控制器、终端等。

如本文所使用的，术语“推断”和“推论”通常是指从如经由事件和/或数据所捕获的一组观察结果中推出或推断系统、环境和/或用户的状态的过程。例如，可以采用推论来识别特定背景或动作，或者可以生成关于状态的概率分布。推论可以是概率性的，也就是说，基于事件和数据的考虑来计算关于所关注状态的概率分布。推论还可以指用于从一组事件和/或数据构成较高级别的事件所采用的技术。这样的推论导致从一组观察到的事件和/或所存储的事件数据构造出新事件或动作，无论该事件是否以紧密的时间接近度相关，以及事件和数据是否来自一个或若干个事件和数据源。

另外，术语“或”旨在意指包含性的“或”而非排他性的“或”。也就是说，除非另外指定或从上下文中清楚可见，否则短语“X采用A或B”旨在意指本质包含性的排列中的任何排列。也就是说，以下实例中的任何实例满足短语“X采用A或B”：X采用A；X采用B；或者X采用A和B二者。另外，除非另有指定或从上下文清楚可见涉及单数形式，否则在本申请和所附权利要求中所使用的冠词“一”和“一个”通常应当被解读为是指“一个或更多个”。

此外，如本文中所使用的术语“集合”不包括空集，例如，其中没有元素的集合。因此，本主题公开内容中的“集合”包括一个或更多个元素或实体。作为说明，控制器的集合包括一个或更多个控制器；数据资源的集合包括一个或更多个数据资源等。同样地，如本文所使用的术语“组”是指一个或更多个实体的集合，如一组节点是指一个或更多个节点。

将按照可以包括许多设备、部件和模块等的系统来呈现各个方面或特征。要理解和领会的是，各个系统可以包括另外的设备、部件、模块等，以及/或者各个系统可以不包括结合附图所讨论的全部设备、部件、模块等。还可以使用这些方法的组合。

工业控制器及其相关联的I/O设备是现代自动化系统的操作的中心。这些控制器与工厂地面的现场装置进行交互，以控制与如产品制造、材料处理、批量加工、监督控制以及其他这样的应用之类的目的有关的自动化过程。工业控制器存储并且执行用户定义的控制程序，以实现与受控过程有关的决策制定。这样的程序可以包括但不限于：梯形逻辑、顺序功能图、功能块图、结构化文本或其他这样的平台。

图1是示例工业控制环境100的框图。在该示例中，多个工业控制器118被部署在整个工业工厂环境中，以监视和控制与产品制造、加工、运动控制、批量处理、材料处理或其他这样的工业功能有关的相应工业系统或过程。工业控制器118通常执行相应控制程序，以便于监视和控制构成受控工业系统的工业装置120。一个或更多个工业控制器118还可以包括在个人计算机或其他硬件平台上执行的软控制器，或者将控制器功能与其他功能(例如可视化)组合的混合装置。由工业控制器118执行的控制程序可以包括用于处理从工业装置120读取的输入信号并且控制由工业控制器产生的输出信号的任何可想到的类型的代码，包括但不限于梯形逻辑、顺序功能图、功能框图或结构化文本。

工业装置120可以包括：输入装置，其向工业控制器118提供与受控工业系统有关的数据；以及输出装置，其响应于由工业控制器118产生的控制信号来控制工业系统的各个方面。示例输入装置可以包括遥测装置(例如，温度传感器、流量计、液位传感器、压力传感器等)、手动操作者控制装置(例如，按钮、选择器开关等)、安全监视装置(例如，安全垫、安全拉绳、光幕等)以及其他这样的装置。输出装置可以包括马达驱动器、气动致动器、信号装置、机器人控制输入、阀等。

工业控制器118可以通过硬连线连接或网络连接与工业装置120通信上连接。例如，工业控制器118可以配备有与工业装置120进行通信来影响对装置的控制的本地硬连线输入端和输出端。本地控制器I/O可以包括向现场装置发送离散电压信号并从现场装置接收离散电压信号的数字I/O或者向装置发送模拟电压或电流信号并从装置接收模拟电压或电流信号的模拟I/O。控制器I/O可以通过背板与控制器的处理器进行通信，使得数字信号和模拟信号可以被控制程序读入并控制。工业控制器118还可以通过使用例如通信模块或集成网络端口的网络与工业装置120进行通信。示例性网络可以包括因特网、内联网、通用工业协议(CIP)、以太网、装置网(DeviceNet)、控制网(ControlNet)、数据高速通道和数据高速通道加(DH/DH+)、远程I/O、现场总线、Modbus、Profibus、无线网络、串行协议等。工业控制器118还可以存储可以由控制程序引用并且用于控制决策的持续数据值，其包括但不限于：表示受控机器或过程的操作状态(例如，灌内液面、位置、警告等)的测量或计算的值，或者自动化系统的操作期间收集的捕获的时间序列数据(例如，多个时间点的状态信息、诊断事件等)。

工业自动化系统通常包括一个或更多个人机界面(HMI)114，其使得工厂人员能够查看与自动化系统相关联的遥测数据和状态数据，并且控制系统操作的一些方面。HMI114可以通过工厂网络116与工业控制器118中的一个或更多个进行通信，并且与工业控制器交换数据，以便于在一个或更多个预开发的操作者接口屏幕上使与受控工业过程相关的信息可视化。HMI114还可以被配置成使得操作者能够向工业控制器118的指定的数据标签或存储地址提交数据，从而为操作者提供方法以向受控系统发布命令(例如，循环启动命令、装置致动命令等)、修改设定点值等。HMI 114可以生成一个或更多个显示屏，操作者通过一个或更多个显示屏与工业控制器118交互并且从而与受控过程和/或系统交互。示例显示屏可以使用以下处理的图形表示来使工业系统或它们相关联的装置的当前状态可视化：其显示计量或计算的值，使用基于状态的颜色或位置动画，呈现警报通知，或者使用用于向操作者呈现相关数据的其他这样的技术。以该方式呈现的数据由HMI 114从工业控制器118读取，并且根据由HMI开发者选择的显示格式被呈现在显示屏中一个或更多个上。

通常，为了查看与由构成工业控制环境100的机器和装置执行的工业过程有关的信息，用户必须依靠在HMI114上执行的预开发的接口显示屏(参见用户122)，或者使用便携式计算机直接连接至装置，以便查看控制编程和装置配置(参见用户124)。虽然这些数据可视化系统使得用户能够查看与各种机器和装置相关联的相关数据值和警告，但是这些系统的本地化特性要求用户物理地靠近HMI终端或工业控制器，以便针对给定的工业系统或机器查看操作和状态数据。此外，HMI显示器和控制器编程工具在出现机器故障或其他性能问题的情况下几乎没有提供故障排除指导或分析的方式。通常，经由HMI屏幕或控制器编程工具呈现机器和装置数据的方式要求用户将呈现在屏幕上的数据与用户自己的相关机器或装置的直观视图视觉上相关联。

当诊断问题时，维护人员经常需要使用特定于正被搜索的相应数据源的几个不同的软件包来单独搜索这些信息源中的几个。此外，搜索关于特定装置或机器的信息经常需要对整个工业系统的广泛了解，以便定位要搜索的数据源(例如，以便定位适当的工业控制器或HMI终端)，以及以识别相关的操作者屏幕和控制程序例程。与解决系统停机时间问题或其他问题结合地，单独搜索这些数据源中的每一个可能会延迟维护问题的纠正，从而导致收入损失和调度问题。此外，如果操作者或维护人员在操作或维护问题发生时不在信息源(例如HMI终端)附近，则可能不会及时通知用户该问题。

为了解决这些和其他问题，本公开内容的一个或更多个实施方式提供了一种生成增强现实(AR)或虚拟现实(VR)呈现(在此统称为“VR/AR呈现”)并经由可穿戴计算机或其他客户端装置将其传送至用户的系统。由系统生成的VR/AR呈现可以包括工厂设施的三维(3D)全息视图或工厂设施内的位置(例如，工作区域、生产线等)。全息视图可以被传送至可穿戴的可视化计算机，其根据用户的当前位置和/或定向来渲染3D视图。系统可以渲染工厂地面区域的按比例缩小的视图，其为用户提供该区域的外部概览。该外部视图可以包括表示人类操作者的实时头像(avatar)、叠加的生产统计信息和状态数据以及其他信息。根据用户选择输入，系统可以从该外部视图切换至内部视图，其从站在环境中的人的视角来渲染工厂地面区域的现实呈现。该内部视图可以包括放置在相关工业装置或控制面板的表示上或附近的叠加操作和状态数据。

呈现系统302还可以被配置成与安装在工厂环境中的一个或更多个位置处的视频捕获装置(例如，360度摄像机、网络摄像头、基于旋转的IP摄像机等)共同工作。在360度摄像机与系统集成的示例实现中，呈现系统302可以根据请求将工厂地面的实况360度视频馈送传送至用户的可穿戴器具206。例如，上述外部视图可以包括表示能够提供实况视频馈送的360度摄像机的摄像机图标。响应于由用户执行并可由用户的可穿戴可视化装置识别的手势(或响应于可识别的口头命令)，呈现系统可以从外部视图切换至传送至用户的可穿戴装置的360度实况视频馈送。视频的视角可以根据用户的当前观看方向或头部定向而改变，从而向远程位置处的用户提供工厂地面的现实的实况视图。在一些实施方式中，呈现系统可以利用定位在相关机器或装置的视图表示上或其附近的叠加操作或状态数据来增强或增加该实况视图，从而产生环境的增强现实视图。

对于物理上位于工厂地面的用户，VR和AR呈现系统可以经由修改用户的他的或她的直接环境的视图来向用户提供自动化系统数据、通知和主动指导。这样的修改可以包括例如通过用户的可穿戴计算机(或能够渲染机器或系统的基本上实时的视图的其他客户端装置)将数据值或指示符叠加在用户的机器或自动化系统的视图上。系统可以基于用户的角色、位置、视线、可穿戴装置的类型和/或其他环境信息来定制该信息的呈现。

通常，呈现系统可以经由具有至少一个图像感觉输入端的可穿戴器具获得具有至少一个对象的工业自动化装置的“真实世界”图像。系统利用与工业自动化系统的至少一个识别的对象相关联的虚拟或增强现实图像、数据等来补充器具上的真实世界图像。真实世界工业自动化装置或至少一个识别的对象可以与至少一个对象或真实世界工业自动化装置的虚拟/增强属性显示一起显示在器具上。虚拟或增强现实呈现可以包括但不限于：修订信息、拓扑信息、控件、固件、连接、问题、警报、训练、人机界面、控制器/设备的位置、地图、手册、指令、线图表、阶梯程序、位置、头像、过滤视图、摄像机、X射线视图、可移动视图、故障排除、操作方法(how-to’s)、防错技术(error proofing)、安全机器人、客户信息、设备信息、过滤器、视线过滤器、知识共享门户、工作流程、视图/抓取HMI、视线(包括遥远的视线)、超能视线(super power line of sight)、认证、权限控制和资产跟踪。

图2是示出了将增强或虚拟现实呈现204呈现到由用户穿戴的可穿戴器具206或计算装置的概念图。可穿戴器具206可以包括能够渲染基本上围绕用户的视野的虚拟现实或增强现实呈现的任何合适的可穿戴或便携式计算装置或器具。如将在本文中更详细地描述的，通过用户的可穿戴器具206与用作内容提供者的VR/AR呈现系统之间的数据交换来便于用户与AR或VR呈现204的交互。然而，可穿戴器具206的一些实施方式还可以被配置成建立与工业装置的直接通信信道，以向这些装置发送控制指令。为此，可穿戴器具206的一个或更多个实施方式可以包括在驻留在工业网络——例如通用工业协议(CIP)网络、装置网网络、控制网网络、以太网IP网络或其他网络——上的工业系统与可穿戴器具206之间建立连接的通信栈。可穿戴器具206可以包括能够渲染虚拟现实或增强现实呈现的任何合适的可穿戴或便携式计算装置或器具。

响应于例如用户确定的角色、位置、视线或其他信息的各种条件，系统可以生成增强或虚拟现实呈现并且将其传送至用户的可穿戴器具206。用于填充呈现204的数据可以通过来自相关工业装置的VR/AR呈现系统获得并且作为VR/AR呈现204的一部分传送。在一些场景下，可穿戴器具206还可以借助于通信栈经由工业网络直接从工业装置中获得工业数据的至少一部分，所述通信栈将可穿戴器具206连接至网络上的各种装置。这些装置可以包括例如控制器、人机界面(HMI)装置和马达驱动器的单独装置以及容纳在控制面板中或构成受控工业机器或系统的装置的集合。VR/AR呈现系统可以基于用户的当前环境、视线、用户正在使用的客户端装置的类型(例如，可穿戴计算机、手持装置等)和/或其他相关信息来定制呈现204，使得可以基于在工业网络上可用的数据的相关子集来生成定制的增强现实或虚拟现实呈现。

在示例场景中，当用户正在通过可穿戴计算机(或作为在用户的客户端装置上渲染的基本上实时的视频图像)来查看自动化系统、机器或工业装置时，VR/AR呈现系统可以监测可穿戴计算机以确定用户相对于自动化系统的位置、用户的当前视线或视场、和/或指示用户与自动化系统的关系的其他上下文信息。基于当前正在由用户查看的自动化系统的确定身份，VR/AR呈现系统可以确定构成自动化系统的装置和/或机器或者正在由自动化系统执行的过程的当前状态信息。然后，VR/AR呈现系统可以生成增强现实或虚拟现实呈现，并且将这些呈现传送至用户的可穿戴器具；例如，作为覆盖在用户视场上的基于图形或文本的指示符，使得每个指示符定位于指示符所属的机器或装置附近。例如，如果用户的当前视图包括实际或虚拟的马达驱动输送器和控制马达的马达驱动器，则呈现系统可以在如用户感觉到的马达驱动器的图像或视图附近叠加马达驱动器的当前操作状态(例如，当前速度、故障状态、操作模式等)。如果用户当前正在观看压铸炉，则呈现系统可以在炉的视图附近叠加当前炉温。

在另一示例中，VR/AR呈现系统的监测部件可以基于对由自动化系统生成的基本上实时的系统数据的分析来识别维护问题。响应于检测到这样的维护问题，呈现系统可以向与合格的工厂技术员相关联的可穿戴器具或其他客户端装置传送通知。为了帮助所选择的用户定位检测到的问题的源头，VR/AR呈现系统可以将图形叠加在将用户引导到问题的源头的用户的他的或她的环境的视图上。这些图形可以包括例如：将用户引导到受影响的机器或装置的图形箭头或其他指示符，以及将用户的注意力焦点引导到需要注意的自动化系统、机器或工业装置的特定区域或部件的图形指示符。

图3是根据本公开内容的一个或更多个实施方式的示例虚拟和增强现实呈现系统302(在此也称为VR/AR呈现系统)的框图。在本公开内容中说明的系统、设备或过程的各方面可以构成体现在(一个或更多个)机器内例如体现在与一个或更多个机器相关联的一个或更多个计算机可读介质(或介质)中的机器可执行部件。这些部件当由一个或更多个机器(例如(一个或更多个)计算机、(一个或更多个)计算装置、(一个或更多个)自动化装置、(一个或更多个)虚拟机等)执行时可以使(一个或更多个)机器执行描述的操作。

VR/AR呈现系统302可以包括客户端接口部件304、认证部件306、渲染部件308、报告部件310、视频处理部件312、装置接口部件314、监测部件316、一个或更多个处理器320和存储器322。在各种实施方式中，客户端接口部件304、认证部件306、渲染部件308、报告部件310、视频处理部件312、装置接口部件314、监测部件316、一个或更多个处理器320和存储器322中的一个或更多个可以彼此电耦接和/或通信地耦接，以执行VR/AR呈现系统302的功能中的一个或更多个。在一些实施方式中，部件304、306、308、310、312、314和316可以包括存储在存储器322上并由(一个或更多个)处理器320执行的软件指令。VR/AR呈现系统302还可以与图3中未示出的其他硬件和/或软件部件交互。例如，(一个或更多个)处理器320可以与一个或更多个外部用户接口装置例如键盘、鼠标、显示监视器、触摸屏或其他这样的接口装置交互。

客户端接口部件304可以被配置成在VR/AR呈现系统302与具有访问系统的授权的可穿戴器具或其他客户端装置之间交换信息。例如，客户端接口部件304可以基于如下的监测来接收关于用户的上下文信息：用户的可穿戴器具或其他客户端装置、装置或机器身份信息(例如，由可穿戴器具从与装置或机器相关联的光学代码获得的信息)，来自可穿戴器具的用于从呈现中添加或移除信息的请求，来自可穿戴器具的用于将呈现转换成由所选择的视频摄像机提供的实况视频馈送的命令，来自可穿戴器具的用于调用虚拟控制面板或其他虚拟或增强现实呈现的请求等。客户端接口部件304还可以将增强现实、虚拟现实或混合现实呈现传送至可穿戴器具。

认证部件306可以被配置成确认对用户接收虚拟控制面板或其他虚拟或增强现实呈现并与其交互的授权。例如，认证部件306可以被配置成将从可穿戴器具接收的用户标识信息与为所识别用户定义的控制权限信息相互对照。认证部件306还可以确定与用户标识信息相关联的定义角色，并且授予与用户角色相称的控制权限级别。由认证部件306控制的控制权限级别可以包括例如仅视图权限、完全控制权限、有限的控制权限，从而所选择的虚拟控制面板功能的子集可以被用户或其他这样的访问级别连接。

渲染部件308可以被配置成检索用于在用户的可穿戴器具上渲染的合适的虚拟现实或增强现实呈现，并且利用从一个或更多个工业装置、工厂地面的实况或历史视频馈送或其他信息中检索到的实时或历史数据来修改或增强呈现。在用户遍历工厂环境时增强现实呈现传送至用户的可穿戴器具的情况下，渲染部件308的一些实施方式可以基于从可穿戴器具接收的工业装置、自动化系统、控制柜或机器的身份来生成呈现，使得在器具上显示关于用户视线内的装置、机器或控制柜的可用信息。渲染部件308还可以根据用户的控制权限(由认证部件306确定)来选择VR/AR呈现。然后，所选择的呈现可以经由客户端接口部件304发送至可穿戴器具。

报告部件310可以被配置成基于在所收集的工业数据的子集上执行的计算来生成报告数据，并且经由可穿戴器具在VR/AR呈现上以合适的格式呈现报告数据。例如，报告部件310可以被配置成基于从工厂地面上的工业装置收集的数据来计算装置、工作单元、机器或生产区域的操作统计信息。然后，渲染部件308可以在增强或虚拟现实呈现上渲染这些统计信息。视频处理部件312可以被配置成处理和存储来自安装在工厂地面上的一个或更多个摄像机的视频流数据，使得来自每个摄像机的视频数据被标记有指示由视频数据记录的位置的标识信息。渲染部件308可以响应于从用户的可穿戴器具接收的手势或口头输入，将VR/AR呈现转换成由所存储的视频数据提供的实况或历史视频馈送。

装置接口部件314可以被配置成在VR/AR呈现系统302与位于一个或更多个工业工厂设施处的一个或更多个内部部署(on-premise)的工业装置(例如，工业控制器、遥测装置、马达驱动器、质量检查系统、工业安全系统等)、摄像机或数据收集装置(例如，工业数据史学家(datahistorian))之间交换信息。在一些实施方式中，装置接口部件314可以经由设备驻留的工厂网络与内部部署的装置交换数据。在一些实施方式中，装置接口部件314还可以经由例如因特网的公共网络来接收一些或全部工厂地面数据。在一些实施方式中，装置接口部件314可以经由一个或更多个公共和/或专用网络直接访问由这些内部部署的工业装置和系统生成的数据。可替选地，装置接口部件314可以经由代理或网关装置访问这些内部部署的装置上的数据，所述代理或网关装置聚合来自多个工业装置的数据，以经由装置接口部件迁移到云平台。由装置接口部件314接收的数据。

监测部件316可以被配置成根据定义的监测规则来监测由装置接口部件314收集的选择的数据子集，并且响应于检测到基于监测结果的维护或性能问题来传送通知和/或工作流建议。监测部件316可以与渲染部件308共同工作，以将合适的通知和工作流传送至与适当的工厂人员相关联的可穿戴器具，使得工作流被呈现为增强现实呈现的一部分，以通过制定适当的对策的过程将人员引导到检测到的问题。除了限定定义需要通知的问题的条件之外，监测规则还可以限定响应于每种类型的检测到的性能或维护问题要通知哪些雇员。

一个或更多个处理器320可以参考所公开的系统和/或方法执行本文描述的功能中的一个或更多个。存储器322可以是存储用于参考所公开的系统和/或方法执行本文描述的功能的计算机可执行指令和/或信息的计算机可读存储介质。

图4是根据本公开内容的一个或更多个实施方式的示例可穿戴器具206的框图。可穿戴器具206可以包括系统接口部件404、装置通信部件406、可视化部件408、位置和定向部件410、一个或更多个处理器420和存储器422。在各种实施方式中，系统接口部件404、装置通信部件406、可视化部件408、位置和定向部件410、一个或更多个处理器420和存储器422中的一个或更多个可以彼此电耦接和/或通信地耦接，以执行可穿戴器具206的功能中的一个或更多个功能。在一些实施方式中，部件404、406、408和410可以包括存储在存储器422上并由(一个或更多个)处理器420执行的软件指令。可穿戴器具206还可以与图4中未示出的其他硬件和/或软件部件交互。例如，(一个或更多个)处理器420可以与一个或更多个外部用户接口装置例如键盘、鼠标、显示监视器、触摸屏或其他这样的接口装置交互。

系统接口部件404可以被配置成通过无线通信信道与VR/AR呈现系统302交换数据。装置通信部件406可以被配置成经由装置驻留的工业网络在可穿戴器具206与工业装置之间交换数据。在与CIP网络一起使用的示例实现中，装置通信部件406可以支持由以太网/IP承载的CIP协议。然而，本文描述的实施方式不限于这些协议。

可视化部件408可以被配置成通过VR/AR呈现系统302渲染传送至可穿戴器具206的虚拟现实、增强现实、混合现实或视频呈现。示例增强现实呈现可以包括经由可穿戴器具在用户的他的或她的周围环境的视场上叠加的图形覆盖。这些图形覆盖可以包括但不限于：用户视场内的工业系统或装置的操作或状态数据指示符(基于字母数字和图标的指示符)，将用户指向工厂环境内的工业系统或装置的位置的指示符，用于利用工业系统或装置辅助用户诊断和解决所识别问题的指导指示符，或者其他这样的覆盖。示例VR/AR呈现可以包括工厂地面区域的外部按比例缩小的视图以及工厂地面的虚拟化第一人称视图两者。可视化部件408还可以在VR/AR呈现系统302的指令下渲染从安装在工厂地面的选择区域处的360度摄像机(或其他类型的视频或音频捕获装置)接收的实况或预录的视频馈送。

位置和定向部件410可以被配置成确定可穿戴器具206的位置和定向。该信息可以由系统接口部件404发送至VR/AR呈现系统302，使得人类操作者可以被追踪并在VR呈现中被渲染，并且使得由可视化部件408渲染的VR/AR呈现反映了用户的当前位置和/或定向。

一个或更多个处理器420可以参考所公开的系统和/或方法执行本文描述的功能中的一个或更多个。存储器422可以是存储用于参考所公开的系统和/或方法执行本文描述的功能的计算机可执行指令和/或信息的计算机可读存储介质。

图5是包括渲染工业设施的增强和虚拟现实呈现的VR/AR呈现系统302的通用示例架构的框图。图5所示的示例工业环境包括一个或更多个工业控制器504、HMI 506、马达驱动器518、工业安全系统520、数据库508(例如，数据史学家、雇员数据库、库存数据库等)和装置文档库510。工业环境也可以包括图5中未示出的其他工业数据源，包括但不限于质量系统(例如，视觉系统或其他质量验证系统)、遥测装置、存在传感器(例如，光电检测器、光学扫描仪、接近开关等)、视频摄像机和其他装置或子系统。在示例环境中，这些工业装置和系统可以驻留在工厂(操作技术)网络116上。在一些场景下，工业装置可以跨工厂设施内的多个工厂网络116分布。工业环境还可以包括驻留在办公室(信息技术)网络108上的装置和系统，包括但不限于制造执行系统(MES)526、企业资源计划(ERP)系统528、商业智能系统、商业级分析系统或其他这样的资产。办公室网络108或工厂网络116中的一者或两者也可以访问例如因特网的外部网络514(例如，经由防火墙装置516)。

VR/AR呈现系统302——其驻留在图5所示的示例架构中的工厂网络116上，但其也可以驻留在办公室网络108上、外部网络上、web服务器上、或作为基于云的服务提供商的云平台上——经由网络116从多种工业装置的集合中收集数据。在一些配置中，呈现系统302还可以从办公室网络108上的一个或更多个装置或系统——包括但不限于MES系统526、ERP系统528、商业智能系统或其他这样的资产——收集所选择的工厂数据项。呈现系统302将用于在虚拟和增强现实呈现中渲染的数据格式化。存储在呈现系统302上的一个或更多个工厂模型524可以定义工业设施内的区域(例如，生产线或工作区域)的三维视图，并且呈现系统302可以基于工厂模型524生成区域的三维虚拟或增强现实呈现，其包括机器、控制柜、输送机、工业装置等。呈现系统302还可以将所收集的工业数据的选择的子集叠加在与数据相关的工业资产(例如，机器、控制柜、工业控制器等)的图形表示上或附近的虚拟或增强现实呈现上。本文将更详细地描述虚拟和增强现实呈现的其他交互特征。

还可以根据如在为系统的每个用户定义的用户简档522中指定的器具206的穿戴者的定义角色来定制虚拟和增强现实呈现。可以确定如何向用户呈现VR和AR数据的示例用户角色可以包括但不限于线路操作者、维护人员、工厂经理、工厂工程师或其他角色。

呈现系统302可以将这些呈现传送至由用户穿戴的可穿戴器具206，所述用户可以在工厂设施处或在相对于设施的远程位置处。在从设施外部进行远程访问的情况下，呈现系统302可以经由例如因特网的外部网络由授权的可穿戴器具206进行安全的访问。在一些实施方式中，呈现系统302可以在web服务器上实现，使得可穿戴器具206能够经由因特网连接来调用VR/AR呈现。呈现系统302还可以经由无线网络连接在可由可穿戴器具206访问的联网的本地服务器上实现。在另一种场景下，呈现系统302可以在云平台上实现，其中，搜索系统作为基于云的服务执行。

图6A是更详细地示出了VR/AR呈现系统302的部件的框图。VR/AR呈现系统302包括从跨工业环境分布的工业装置和系统608收集实况和历史工业数据的装置接口部件314。在一些实施方式中，装置接口部件314可以被配置成根据指定要收集的数据项的定义的监测规则经由网络116或108从工业装置和系统608检索所选择的数据项。可以根据如下项来定义要收集的数据项：在工业控制器、HMI、数据史学家或其他工业装置上识别数据标签的数据标签名称；要收集的数据文件(例如，工作命令数据文件、装置文档文件、库存文件等)的名称和位置信息，或其他这样的数据标识符。收集的数据项可以包括：与装置或其相关联的工业自动化系统的操作有关的遥测和状态信息，以及工业装置的配置信息(例如，马达驱动参数、工业控制器通信设置、安装在每个工业控制器上的I/O模块等)。从办公室网络108或外部网络514，收集的数据可以包括但不限于工作管理信息、生产线调度信息、操作者工作进度信息、产品或材料库存信息等。

对于一些工业装置，用于对装置进行配置和/或编程的装置配置或程序开发应用也可以用于定义将由VR/AR呈现系统302收集装置上的哪些数据项。例如，用于在工业控制器上定义数据标签以及用于对控制器进行编程并配置控制器的I/O和通信设置的程序开发应用可以包括：用于标记控制器上定义的用于收集和通过VR/AR呈现系统302渲染的数据标签的选项。在这样的实施方式中，程序开发应用可以与虚拟/增强现实配置工具集成，使得控制器的VR或AR可视化的控制器和各方面都可以使用相同的配置工具一起配置。例如，对于在工业控制器上定义的给定数据标签，程序开发应用可以使得用户能够将标签设置为要由AR/VR呈现系统收集的值，并且能够定义标签可能超出控制器的范围的任何关联(例如，通过识别与数据标签相关联的任何生产区域、机器、工业过程或自动化系统)。用户还可以经由程序开发应用来定义与标签相关联的可视化权限，所述程序开发应用可以由渲染部件308用于确定哪些用户角色被允许查看与数据标签相关联的数据。基于这样的配置信息，渲染部件308可以与已经分配了数据标签的虚拟化生产区域、机器、过程或系统相关联地并且根据定义的基于角色的可视化权限来渲染在工业控制器(或其他工业装置)上定义的选择的数据项。

在一些实施方式中，装置接口部件314还可以被配置成发现驻留在跨环境分布的工业装置上的数据项。在一些实施方式中，装置接口部件314可以通过在网络116和/或108上部署发现代理来发现可用的数据项。这些代理(其可以是程序或自动程序(bot))可以遍历网络116和/或108，并且识别贯穿工厂正在使用的装置以及与这些装置相关联的数据项或标签、应用和配置信息。由于给定的工业环境通常包括不同类型和供应商的装置的异构集合，并且通过这些装置可用的数据可以包括许多不同的数据类型(例如，控制器标签、HMI标签、警报、通知、事件等)，装置接口部件314的一些实施方式可以管理和部署被配置成从特定类型的装置或数据平台(例如，控制器、HMI等)提取和分析信息的特定于装置或特定于平台的代理。一些特定于装置的代理可以被配置成定位存储在特定装置类型上的应用项目文件(例如，工业控制器上的配置和/或程序文件、HMI上的屏幕配置文件等)，并且基于对这些项目文件中包含的数据的分析来提取关于装置的相关信息。通过利用特定于装置和特定于平台的代理，装置接口部件314的实施方式可以发现和检索符合许多不同格式和平台的数据。

为了将该不同的异构数据统一在用于集体搜索的公共平台下，装置接口部件314(或特定于装置的代理)可以将收集的数据转换成渲染部件308可理解的格式以产生标准化的工厂数据610。

在一些实施方式中，装置接口部件314还可以发现和记录系统608和工业装置上发现的数据项之间的(明确和推断两种)关系。在这样的实施方式中，装置接口部件314可以通过用分类标签标记发现的数据项并基于这些分类标签构建搜索索引来记录这些关系，使得相关数据项共享公共标签。分类标签可以识别例如与装置相关联的共同机器或自动化系统、装置驻留的生产区域、控制柜标识符或其他这样的分类标签。在一些场景下，这些分类标签可以由系统开发者明确地定义，使得装置接口部件314确定哪些预定义标签应当被应用于新发现的数据项。装置接口部件314还可以基于上下文信息自动生成用于给定数据项的分类标签，所述上下文信息包括但不限于与控制器标签相关联的梯级注释、新发现的数据项与先前发现的数据项之间的习得的相互依赖性(例如，得知名为泵5的泵与名为罐1的罐相关联，因此将泵5标记为与罐1相关联，或者根据较大系统(他们在其中操作)来标记罐1和泵5两者)或其他发现的上下文信息。装置接口部件314可以定义类似地标记的数据项之间的关联，而不管它们被发现的平台如何。例如，装置接口部件314可以使分别在工业控制器、HMI、数据史学家以及ERP或MES系统、商业智能系统等中发现的共同或相关数据项相关联。

使用这些技术中的一些或所有技术，装置接口部件314可以发现并收集与跨设施的工业自动化系统的操作和健康有关的操作、状态和配置数据以及来自办公室或IT网络上的装置的高级业务数据。该收集的工厂数据610可以存储在与VR/AR呈现系统302(例如，存储器322)相关联的存储器中，并且由渲染部件308使用，以用实况或历史数据来填充虚拟和增强现实呈现。

尽管图6A示出了如驻留在公共系统装置上的呈现系统302的部件，但是在一些实施方式中，系统302的部件中的一个或更多个部件可以驻留在不同的物理装置上。图6B是示例实现的图，其中，呈现系统302包括渲染系统302a和内容提供者302b两个单独的系统。在该示例中，内容提供者302如上所述收集工厂数据610。在该示例实现中，用户简档522和工厂模型524也可以驻留在内容提供者上。报告部件310可以被配置成结合生成的报告数据(例如，计算的KPI、效率计算等)对工厂数据执行任何分析或计算。渲染接口部件612可以将工厂数据610的选定子集、由报告部件310生成的报告数据、以及从工厂模型524和用户简档522获得的数据提供至渲染系统302a，其渲染VR/AR呈现并且将呈现传送至可穿戴器具206。呈现302的部件的其他分布也在本公开内容的一个或更多个实施方式的范围内。

可穿戴器具206可以经由客户端接口部件304与VR/AR呈现系统302连接，所述客户端接口部件304可以包括有线或无线网络接口、近场通信接口或适合于实现呈现系统302的特定平台的其他这样的装置接口。在一些实施方式中，客户端接口部件304可以被配置成：在使得VR/AR呈现能够被传送至可穿戴器具206之前，验证对可穿戴器具206访问呈现系统302的授权。客户端接口部件304可以通过如下项来认证可穿戴器具或其所有者：使用密码验证、生物特征(biometric)标识(例如，由可穿戴器具206从用户收集并提交至客户端接口部件304的视网膜扫描信息)，将可穿戴器具206的标识符与已知的授权装置的集合相互对照，或其他这样的验证技术。

渲染部件308被配置成生成虚拟和增强现实呈现数据604，以供可穿戴器具206通过客户端接口部件304来传送。呈现数据604当由可穿戴器具206接收和执行时将工业区域的交互式三维虚拟现实呈现渲染在可穿戴器具的显示器上。

基于由渲染部件308接收和处理的不同信息的组合来生成VR/AR呈现。图7是示出了由VR/AR呈现系统302利用以生成VR/AR呈现的数据输入的图。如上指出的，呈现系统302跨工厂环境从工业装置或系统702收集装置数据704。呈现系统302还维护一个或更多个工厂模型524，其定义由VR呈现表示的区域的物理布局的视觉表示。例如，给定工业区域(例如，生产区域、工作单元、装配线等)的工厂模型可以定义位于该区域内的工业资产(其包括机器、输送机、控制柜和/或工业装置)的图形表示以及这些工业资产之间的物理关系。对于每个工业资产，工厂模型可以定义资产的物理尺寸和颜色以及由图形表示支持的任何动画(例如，颜色变化动画、反映资产的移动的位置动画等)。工厂模型524还定义了工业资产之间的物理关系，其包括工厂地面上的资产的相对位置和定向、在资产之间运行的导管或管道以及其他物理定义。

由渲染部件308支持的渲染引擎被配置成基于工厂模型中指定的工业资产渲染定义来生成工业区域的交互式VR/AR呈现。渲染部件308利用收集的工厂数据610的选择子集(以及基于工厂数据610的子集由报告部件310计算的生产或操作统计信息)填充该虚拟现实呈现，并且客户端接口部件304将所得到的聚合VR/AR呈现传送至可穿戴器具206作为VR/AR呈现数据604。渲染部件308可以生成呈现，使得工厂数据610的项被覆盖在与数据项相关的工业资产的图形表示上或附近。

图8是示出了可以由渲染部件308生成的工业区域的示例虚拟现实呈现的部分演示。应当理解，由于经由二维附图呈现虚拟现实呈现固有的约束，图8和本公开内容的其他附图所示的示例VR/AR呈现不能完全示出在合适的可穿戴器具上渲染的VR/AR呈现。通常，由可穿戴器具206渲染的VR/AR呈现提供包围用户的整个视场的环绕的虚拟渲染，并且随着用户的位置和定向的改变而转换它们的视线或视角。本文中的部分演示和相关联的描述旨在：在考虑到二维图示的限制的情况下传达可能程度的虚拟现实渲染和交互。

渲染部件308可以支持来自区域外的人的视角的工业区域的外部VR/AR视图以及通过渲染区域的全尺度视图来模拟用户在工业区域内的存在的区域的第一人称视图。图8中呈现的视图是根据由呈现系统302传送的VR/AR呈现数据604由可穿戴器具的可视化部件408生成的工业区域的外部视图。VR/AR呈现系统302可以将最新的VR/AR呈现数据604流传输至可穿戴器具206，以确保包括用户的视角和实况工业数据值的视图保持现状。呈现中渲染的包括罐818、输送机812、缸814和机器816的工业资产根据由工厂模型524中的一个或更多个定义的渲染指令由渲染部件308渲染。

在图8所示的示例视图中，生产统计图标802被渲染在生产区域上方的固定位置处。这些生产统计图标802显示渲染的生产线的生产统计信息或关键性能指标(KPI)。生产统计信息可以基于工厂数据610的选择子集由报告部件310来计算。可以经由生产统计图标802渲染的示例统计信息包括但不限于：设备综合效率(OEE)、性能或生产效率、随时间推移的机器可用性的百分比、产品质量统计信息、循环时间、总体停机时间或运行时间(例如，累积的或每个工作班次)或其他这样的统计信息。

渲染部件308还可以渲染表示生产区域中存在的人类操作者的人类图标808a和808b。暂时回到图7，在一些实施方式中，可以基于VR/AR呈现系统302从与每个用户相关联的可穿戴器具206接收的位置和定向数据606来确定VR/AR呈现中的人类图标808a和808b的位置和定向。在这方面，可穿戴器具206的位置和定向部件410可以被配置成确定器具206的当前地理位置。在一些实施方式中，位置和定向部件410可以利用全球定位系统(GPS)技术来确定用户的绝对位置，或者可以被配置成与位于工厂设施内的定位传感器交换数据，以便确定用户在工厂内的相对位置。位置和定向部件410还可以包括：定向感测部件，其根据器具的现场线路的方向、器具相对于水平线的角度等来测量可穿戴器具的当前定向。可以通过用于确定穿戴者的当前位置和定向的可穿戴器具206的实施方式来支持其他类型的传感器或算法，包括但不限于惯性测量单元(IMU)或视觉惯性测距(VIO)。可穿戴器具的系统接口部件404可以将由位置和定向部件410生成的位置和定向信息报告给VR/AR呈现系统302作为位置和定向数据606。

VR/AR呈现系统302使用位置和定向数据606来控制人类图标808a和808b如何在用户的VR/AR呈现上渲染以及整体上控制VR/AR呈现的视点。例如，第一用户可能经由用户的可穿戴器具206正在观看工业区域的VR呈现(例如，图8所示的外部呈现)。渲染部件308接收由第一用户的可穿戴器具生成的位置和定向数据606，并且根据第一用户的当前位置和定向将呈现渲染在可穿戴器具上。特别地，VR呈现的观看视角的方向和角度是第一用户的位置和定向的函数。

例如，如果用户的可穿戴器具206当前正在呈现图8所示的视图，并且用户前移且稍微向左，则渲染部件308将转换成图9所示的视图。通常，由VR/AR呈现系统302生成的外部视图将工业区域渲染为该区域的虚拟比例模型，并且使得用户能够围绕该区域的缩放版本移动并与之交互。随着用户围绕、朝向或远离虚拟缩放的工业区域移动，可穿戴器具206将更新的位置和定向数据606流传输至呈现系统302，所述呈现系统302基本上连续地更新呈现数据604，以模拟围绕生产区域的比例模型行走的效果。因此，前移且稍微向左使图8所示的呈现转换成图9所示的呈现，从而视角现在较靠近于人类图标808a和808b并且稍微在人类图标808a和808b之后。

图10是响应于用户移动绕到正在被渲染的生产区域的前方由渲染部件308生成的示例VR/AR呈现的另一透视图。

如从图8至图10可以看出的，人类图标808a和808b被渲染在与实际生产区域内的人类操作者的实际位置对应的呈现内的位置处。为了确定人类图标808a和808b的适当位置和定向，渲染部件308可以利用从人类操作者穿戴的其他可穿戴器具206接收的位置和定向数据606。可替选地，也可以使用由人类操作者携带或穿戴并能够跟踪操作者的位置和定向的其他类型的装置来向VR/AR呈现系统302提供操作者位置和定向信息。渲染部件308可以基于从操作者的可穿戴器具206接收的位置信息来确定人类图标808a和808b将被放置在虚拟生产区域内的位置，而人类图标808a和808b面向的方向可以基于从可穿戴器具206接收的指示操作者的当前视线的定向信息。

在一个或更多个实施方式中，渲染部件308可以在每个人类图标808附近生成操作者信息图标804(在图8至图10中，操作者信息图标804a和804b分别放置在人类图标808a和808b附近)。正在用于查看VR/AR呈现的可穿戴器具206的穿戴者可以选择这些操作者信息图标804中的任意图标来调用关于与人类图标808对应的人类操作者的信息。在一些实施方式中，可穿戴器具206可以被配置成识别由穿戴者执行的选择手势，并且可以使用这些选择手势来选择操作者信息图标804中之一。作为示例选择手势，用户可以将他的或她的手放置在与期望的操作者信息图标804对应的位置附近的可穿戴器具206前面，并且用他的或她的拇指和食指执行捏手势。可穿戴器具206可以识别手势，并且识别呈现中手势被执行的位置。如果位置与可选图标(例如操作者信息图标804)对应，则将选择图标并执行适当的动作。在一些实施方式中，也可以使用口头命令来选择图标。

对操作者信息图标804的选择可以使操作者信息窗口被覆盖在与所选择的操作者信息图标804对应的人类图标808附近。关于每个操作者的信息可以存储在与VR/AR呈现系统302相关联的存储器332上。由于每个可穿戴器具206除了位置和定向数据606之外还提供用户身份数据602，所以渲染部件308可以响应于对操作者的信息图标804的选择将所接收的用户身份数据602与所存储的操作者数据相互对照，并且在覆盖的操作者信息窗口中检索与所选择的用于呈现的操作者对应的操作者数据的子集。可以响应于操作者信息图标804显示的示例操作者数据可以包括但不限于：操作者的名称和角色(例如，机器操作者、工程师、维护人员、工厂经理等)、工作进度信息、记录的工作小时数(其也可以根据在多个生产区域中的每一个中工作的小时数进行分类)、操作者持有的认证(例如，安全培训认证或其他认证)、用于操作者的经验指示(例如，操作者已经具有操作或维护经验的机器或工业装置的类型、操作者过去已经解决的维护问题的类型)或其他这样的特定于操作者的信息。

VR/AR呈现系统302的一些实施方式还可以使得VR/AR呈现的远程观看者能够打开到与用户(其对应于人类图标808中所选择的图标)相关联的可穿戴器具206的音频或视听信道。例如，响应于可由观看的用户的可穿戴器具206识别为对用于音频或视听通信的人类图标808中之一的选择的适当的手势或口头命令，渲染部件308可以在观看的用户的可穿戴器具206与对应于所选择的人类图标808的人物的可穿戴器具206之间建立音频或视听通信信道。因此，由观看者的可穿戴器具206接收的例如语音或视听信息的可听信息将被发送至所选择的用户的可穿戴器具206的视听输出部件。这使得远程用户能够向工厂地面上的选择人员提供口头指示(例如，与解决操作或维护问题有关的指导)，或能够在用户之间共享视觉信息。此外，对于可穿戴器具206支持向穿戴者生成触觉反馈的一些实施方式，VR/AR呈现系统302还可以使得VR/AR呈现的远程观看者能够经由与人类图标808的交互来发起指向与人类图标808对应的用户的触觉信号(例如，振动)。该特征可以用于在用户处于嘈杂环境时远程吸引用户的注意。

渲染部件308还可以将资产信息图标810(例如，810a和810b)叠加在附加信息可用的工业资产的表示上或附近。在图8至图10中，资产信息图标810a已经放置在控制柜902附近，并且另一资产信息图标810b已经放置在机器904附近。这些资产信息图标810可以使用用于选择操作者信息图标804的类似的手势或口头识别技术来选择。对资产信息图标810的选择可以使渲染部件308在与图标810对应的资产上或附近渲染信息窗口，并且利用与资产相关的信息来填充该信息窗口。渲染的资产信息中的一些或全部可以从工厂数据610的相关子集中导出，或者可以从关于先前用VR/AR呈现系统302注册的资产的存储数据中导出。在控制柜的情况下，渲染的信息可以包括但不限于：由控制柜控制的柜、机器或工业过程的名称、安装在柜内的装置(例如，工业控制器、I/O模块、马达驱动器、接触器等)的标识、安装在柜内的装置的状态或其他这样的信息。在机器的情况下，可以响应于对资产信息图标810b的选择而渲染的信息可以包括但不限于：机器的当前操作模式(例如，自动、手动、半手动等)、机器的故障状态、操作速度或生产率、记录的工作小时数的总数(或自最近的维护活动以来的工作小时数)、最近对机器执行维护的日期、关于对机器执行的维护动作的信息或其他这样的信息。

生产区域的VR/AR呈现还包括许多摄像机图标806(例如，806a至806d)，其使得用户能够将呈现切换至实况或历史视频馈送，如下面将更详细地描述的。

在图8至图10所示的示例外部视图中，渲染部件308渲染用户可以观看的生产区域的按比例缩小的版本，就像生产区域是动画的交互式比例模型一样。这使得用户能够从外部概览视角虚拟地围绕模型行走并查看生产区域的各方面。渲染部件308还使得用户能够切换至提供生产区域的第一人称视角的生产区域的全尺度渲染。图11是基于(一个或更多个)工厂模型524和用户的当前定向由渲染部件308生成的生产区域的示例第一人称视图。在一些实施方式中，渲染部件308可以被配置成响应于用户对转换手势或口头命令的识别而在外部视图与第一人称视图之间转换。第一人称视图使得用户能够从工厂地面上的用户的视角虚拟地遍历生产区域的渲染表示，即使用户相对于实际工厂设施处于偏远的位置。在一些实施方式中，当用户从外部视角观看VR/AR呈现时，用户可以选择用户希望开始第一人称视角的生产区域内的目标位置。响应于选择目标位置，渲染部件308可以通过将视图缩放到目标位置而从外部视角平滑地转换成第一人称视角。随着呈现被缩放，虚拟生产区域向上缩放，直到虚拟生产区域的虚拟维度基本上模拟用户在工厂地面的实际存在。以该方式平滑地转换成第一人称视角可以帮助在虚拟生产区域内定向用户。

虽然在第一人称视图中，渲染部件308可以将字母数字消息、计算的生产或机器统计信息或者工厂数据610的子集渲染为放置在与信息相关的虚拟资产(例如，控制柜例如控制柜1102、机器、控制装置、马达驱动器、阀门、罐等)上或附近的覆盖信息。例如，当用户以第一人称视图观看虚拟控制柜(例如，虚拟控制柜1102)时，渲染部件308可以渲染信息窗口1104，其显示柜内的面板安装装置以及由柜1102(例如，所示示例中的“线路4”)控制的自动化系统有关的相关信息。

在一些实施方式中，渲染部件308可以基于以下项来确定工厂数据910的哪些子集与正在被观看的给定工业资产相关联，并且相应地渲染与资产相关联的该数据：数据源自工业资产(例如，存储在工业控制器的数据寄存器上的工业控制器状态信息)的确定或存储在定义数据项与工业资产之间的关联的工厂模型524上的信息。在后一种场景下，可以由用户使用配置应用在资产配置和/或VR/AR呈现期间定义数据项(例如，控制器数据标签、由马达驱动器生成的数据值、由遥测装置生成的测量值等)与工业资产之间的关联。配置应用可以是例如包括工业装置编程工具以及VR/AR配置工具两者的捆绑应用，使得可以使用相同的配置工具并行配置装置的可用数据的装置配置和可视化。例如，在使用配置应用的工业控制器的编程和配置期间，用户可以定义用于存储由与罐(例如，罐1)相关联的压力计测量的水压值(例如，罐1水压)的数据标签。工厂模型524可以出于为罐渲染VR或AR呈现的目的来定义关于罐1的信息，其包括但不限于罐在工厂设施内的位置、罐的图形表示、与罐相关联的任何动画等。在定义罐1水压数据标签之后，配置应用也可以用于指定数据标签的值与罐1实体相关联。该关联定义将被存储在工厂模型524中的一个或更多个中，并且基于该定义，渲染部件308将响应于确定器具的位置和定向将罐1(或在VR呈现的情况下的罐1的图形表示)放置在用户的视线内而将罐1水压数据值渲染在用户的可穿戴器具206上。

在一些实施方式中，渲染部件308可以被配置成：响应于确定柜1102在用户的当前视线内来显示关于柜1102(或其他机器或工业装置)的最小量的信息，并且响应于指示更详细数据的请求的用户手势或口头命令显示关于柜的附加信息。基本信息可以包括例如与柜1102相关联的机器或生产线的名称、机器或线路的当前操作模式、例如当前产品计数或累积停机持续时间的生产统计信息、当前或历史故障信息、或其他这样的数据。可以为控制柜1102显示的更详细的信息可以包括但不限于：包含在柜中的装置的列表、用于柜中的控制装置的状态或操作信息(例如，工业控制器的运行状态、可变频率驱动器的操作统计信息、接触器开/关状态等)、对相应物理柜的访问是否需要弧闪(arc-flash)保护的指示、或其他这样的信息、柜1102内的装置的固件修订信息、网络拓扑信息、柜1102的物料清单图表或电气图表(其可以由呈现系统302从装置文档库510或从其他来源检索)、柜1102中的装置的供应商和模型信息、或其他这样的信息。

对于由控制柜装置监视和控制的工业机器，也可以调用类似的信息。例如，当用户正在观看虚拟冲压机时，渲染部件308可以渲染压机(press)的当前操作模式(例如，运行、空闲、归位(homed)等)、压机的当前操作速度、当前产品计数(例如，当前班次的每日总计或总计)、压机的当前或历史警报或故障、或者其他这样的信息。如上所述，虚拟冲压机(或其他工业资产或实体)与要与压机相关联渲染的工厂数据610的子集之间的关联可以由用户使用配置应用定义并且存储在工厂模型524中。

除了响应于确定用户的位置和定向将资产放置在用户的视线内来向用户呈现资产数据之外，VR/AR呈现系统的一些实施方式还可以处理请求关于工业资产的指定信息的自然语言口语查询，无论用户是否当前正在查看资产。例如，用户可以陈述对由用户的可穿戴器具402接收并被中继至VR/AR呈现系统302的特定资产(例如，工业机器人、生产线、马达、冲压机等)的当前状态的请求。呈现系统302可以将口语请求翻译成对关于指定资产的期望信息的查询，检索工厂数据610的相关子集，并且在用户的可穿戴器具206上将所请求的信息渲染为AR呈现。

在上述控制柜和冲压机的示例中(并且在类似情况下)，渲染部件308基于用户的当前位置和定向信息(如经由位置和定向数据606获得的)以及对用户在模拟工厂环境中的当前虚拟位置的确定来确定在用户的可穿戴器具上显示的相关信息的合适子集以及数据要被显示在呈现中的位置。例如，如果确定用户位于虚拟控制柜前面的虚拟位置处并且用户被定向成使得控制柜位于用户的视线内，则渲染部件308将在虚拟柜上或附近的呈现中的位置处检索和渲染与柜及其关联装置相关的信息。在一些实施方式中，渲染部件308可以基于用户的当前位置和定向(如根据位置和定向数据606确定的)与组成工业设施的工业资产的已知位置的相关性来确定哪些工业资产在观察者的视线内，其可以由(一个或更多个)工厂模型524定义。

而且，在一些实施方式中，呈现系统302可以生成分层的VR视图，并且使得用户能够选择性地启用或禁用层以便定制呈现。例如，当用户正在经由可穿戴器具206观看虚拟控制柜1102或机器时，呈现系统302可以渲染柜或机器的外部的表示。响应于经由来自用户的可穿戴器具206接收的输入或指令(例如，可由可穿戴器具206识别的手势或口头命令)，呈现系统302可以从呈现中移除层，以显露柜1102或机器的层或者内部视图，使得柜或机器的内部部件被显示。该内部呈现可以包括柜或机器内的物理部件或状况的图形表示(例如，机器内的卡住(jam)、机器内的移动部件、非移动部件等)以及数据呈现(例如，内部机器或柜部件的温度变化或温度、即将发生的过流指示等)。

因为VR/AR呈现可以从用户的可穿戴器具206可以与VR/AR呈现系统302连接的任何位置调用，所以如果用户相对于物理生产区域位于远程位置(例如，在工厂内的另一位置处或工厂外部)，则上述第一人称VR/AR呈现可以是有用的。如果用户物理上位于实际生产区域内，则系统使得用户能够切换至AR/VR呈现，其通过用户对实际工业资产的直接查看来渲染数据、图形或虚拟化的工业资产。对于这样的VR/AR呈现，渲染部件308通过可穿戴器具206来在用户的真实环境的视图上覆盖虚拟元素。以该方式，当用户遍历生产区域时，呈现系统302可以用包括由报告部件310生成的任何相关的计算统计信息以及收集的工厂数据610的相关子集的数据覆盖来增强用户的生产区域的真实世界视图。

在该VR/AR呈现中渲染的一些信息可以类似于在上述远程第一人称VR/AR呈现期间呈现的信息。例如，响应于确定用户的当前位置和定向指示用户当前正在经由可穿戴器具观看控制柜，渲染部件308可以生成并传送AR/VR呈现，其包括关于柜中的装置和/或与柜相关联的自动化系统的相关信息。以该方式，VR/AR呈现系统302将用户的视线信息(例如，如基于用户的位置和定向数据606确定的用户的自然视图)与应用数据(其与用户当前正在查看的控制面板、机器或自动化系统相关)组合。

而且，在一些实施方式中，呈现系统302可以检测用户何时通过可穿戴器具206正在观看控制柜(或虚拟控制柜)，并且呈现控制柜的内容的虚拟X射线视图，其包括控制柜内的面板安装装置(例如，工业控制器、马达驱动器、接触器等)的虚拟视图。虚拟视图可以包括装置的图形表示以及与包含在柜内的装置中的一个或更多个装置相关联的相关数据(从工厂数据610获得)。在一些实施方式中，用户可以针对关于控制柜的附加信息——包括用于柜的电气图表或线图、与安装在柜内的工业控制器相关联的梯形逻辑编程、用于任何装置的诊断数据等——将请求发送至呈现系统302(例如，经由可穿戴器具可识别的手势或口头命令)。响应于该请求，呈现系统302将检索所请求的数据，并且通过可穿戴器具将所请求的数据渲染为用户视图上的覆盖。

在一些实施方式中，可以由用户选择性地过滤经由VR/AR呈现正在被查看的信息。例如，马达驱动器组可以生成并存储各种操作和诊断数据(例如，马达速度数据、马达电流数据、警报数据等)。当用户经由可穿戴器具正在查看马达驱动器组(或马达驱动器组的虚拟表示)时，用户可以经由可穿戴器具206可识别的手势或口头命令来请求识别哪个马达驱动器需要更换风扇(例如，基于驱动器上活跃的相应警告)的视图。用户还可以调用如下视图，其识别当前安装在相应驱动器上的固件版本，或者识别(例如，使用图形覆盖)哪个驱动器当前配置有过时的固件版本。这样的选择性数据过滤可以应用在正在被观看的装置或机器中可用的基本上任何参数。

渲染部件308还可以基于如由用户简档522定义的用户的身份或角色来过滤呈现给用户的数据。在这点上，用户简档522可以针对使得用户能够查看的每个机器或装置定义信息的集合，并且渲染部件308可以将用户可访问的数据限制为那些定义的数据集合。例如，对于具有“操作者”角色的用户，渲染部件308可以仅使得用户能够查看与机器或自动化系统的操作相关的数据(例如，操作模式、警告信息、运行速度、产品计数等)。对于具有“工程”角色的用户，渲染部件308还可以使得用户能够查看控制装置的固件信息、工业控制编程(例如，梯形逻辑或其他编程)、网络统计信息或其他这样的工程数据。

除了在可穿戴器具206上渲染VR/AR呈现之外，VR/AR呈现系统302的一些实施方式可以使得控制指令源于可穿戴器具206并且被传送至目标控制装置(例如，工业控制器、马达驱动器、人机界面端子或其他这样的控制装置)。在可穿戴器具206的穿戴者物理地位于工厂地面上的场景中，在一些实施方式中，这样的控制指令可以直接从可穿戴器具206传送至控制装置。图12是示出在可穿戴器具被配置成将控制指令1206引导至工业控制器1204的场景中的呈现系统302、可穿戴器具206以及工业控制器1204之间的数据流的图。与图7所示的数据流类似，VR/AR呈现系统302从遍及工厂设施的包括工业控制器1204的多个工业装置收集工厂数据610。如前面的示例中所描述的，VR/AR呈现系统302还从可穿戴器具206获得用户身份数据602以及位置和定向数据606，以便于VR/AR呈现数据604的生成。集成到呈现中的工厂数据和VR/AR呈现的布局部分地基于工厂模型524和用户简档522。

在该示例实施方式中，可穿戴器具206的装置通信部件406支持通信栈1210，通信栈1210允许可穿戴器具206与工业控制器1204(以及其他工业装置)之间经由驻留有工业控制器1204的工业网络(有线或无线的网络)的直接通信。在用于与CIP网络一起使用的示例实现中，通信栈1210可以支持由以太网/IP携载的CIP协议。然而，本文中描述的实施方式不限于这些协议。通过可穿戴器具206与工业控制器1204(或其他自动化系统、机器等)之间的该直接通信，用户可以使用与AR呈现的手势交互或可识别的口头命令来向工业控制器1204发送控制信息。

在示例场景中，当用户的视线被引导至工业控制器、控制器驻留的控制柜或正在由工业控制器1204控制的机器时，用户可以执行可以由可穿戴器具206识别的手势或说出可以由可穿戴器具206识别的口头命令，其指示用户已经选择工业控制器1204(或与其相关联的机器)作为控制指令的目标。响应于手势或口头命令，可穿戴器具206向VR/AR呈现系统发送目标装置的身份作为选择数据1202。在一些实施方式中，对工业控制器1204或与其相关联的机器的选择可以使渲染部件308在VR/AR呈现上渲染可以针对选择的机器发布的可用命令的预定义列表。示例命令可以包括例如机器启动/停止命令、开关设置调整、设置点调整、警报复位命令或其他这样的注释。用户可以使用合适的可识别的手势或口头命令来从预定义命令的列表中进行选择，并且可穿戴器具206可以向工业控制器1204发布选择的命令。例如，如果命令是二进制指令——例如警报复位命令、启动命令或停止命令——则可穿戴器具206可以经由工厂网络(例如，驻留有控制器的CIP网络)将瞬时的或锁存(latching)的ON命令引导至工业控制器的数据表的适当的寄存器，使逻辑1位被写入到寄存器。在需要来自用户的数字输入的命令——例如设置点调整——的情况下，渲染部件308可以使用可识别的手势(例如，通过选择图形化的向上或向下箭头来增加或减小数值)或通过说出期望的数值来提示用户输入数值，并且可穿戴器具206可以发送输入的数值作为引导至控制器的数据表的适当的寄存器的模拟值。装置通信部件406的通信栈1210可以使用通信栈1210来经由驻留有控制器1204的有线或无线网络发送这些控制指令1206。

可以使用用于配置VR/AR呈现的方面的配置应用来预定义可以被选择并且被传送至用户视线内的给定机器的控制器的可用命令。在一些实施方式中，配置应用可以是使得工业装置及其相关联的VR/AR呈现被并行配置的捆绑软件应用。在示例配置场景中，配置应用可以用于配置表示设置点值、命令位或可以被写入到控制器的数据表作为控制指令的另一类型的命令值的工业控制器的读写数据标签。控制器的控制编程(也在配置应用上被开发)可以使用数据标签的值作为用户可调整的设置点(例如，目标填充水平、速度、温度等)、作为ON位来触发功能或子例程或者作为另一类型的命令输入。使用配置应用，用户可以将数据标签识别为能够经由VR/AR呈现被写入的可写入标签。配置应用还可以使得用户将数据标签与识别的机器、控制柜、自动化系统或其他工业资产相关联。在使用配置应用在数据标签与工业资产之间定义这样的关联情况下，当确定器具的位置和定向将资产放置在穿戴者的视线内时，渲染部件508将在可穿戴器具206上渲染存储在数据标签中的数据(假设可穿戴器具与具有对数据项的观看权限的用户相关联)。如果数据标签已经被配置为用户可以经由VR/AR呈现向其写入命令的标签，则渲染部件308还可以如上所述渲染可以被发布至数据标签的可选择的命令(例如，“调整设置点”、“调整速度”、“切换至半自动模式”等)。在一些实施方式中，可以从与读写数据标签相关联的元数据中检索可用命令的文本，例如使用配置应用提供至标签的名称(例如，半自动模式打开、输送机速度等)。

支持可穿戴器具206与工业装置(例如工业控制器1204)之间的直接通信的一些实施方式也可以支持可穿戴器具206与工业装置之间的双向通信。在这样的实施方式中，除了从VR/AR呈现系统302接收用于在VR/AR呈现上渲染的工厂数据610的选择的子集之外，还可以经由控制网络(例如，CIP网络)通过可穿戴器具206从工业装置直接检索实况数据并且将实况数据渲染在VR/AR呈现上。

在一些可替选实施方式中，响应于可穿戴器具对工业资产的识别，可以检索给定工业资产的VR/AR呈现并且将其呈现至用户的可穿戴器具206。图13是示出了便于可穿戴器具206与一个或更多个工业装置1304之间的通信以生成虚拟现实或增强现实呈现的示例数据流的图。在该示例中，可穿戴器具206通过扫描与待观看的工业装置或系统相关联的快速响应(QR)代码1306来识别工业装置、机器、自动化系统或控制面板。然后，可穿戴器具206向VR/AR呈现系统302无线地发送从QR代码1306获得的装置或系统标识符。此外，可穿戴器具206可以发送可以用于识别和/或认证可穿戴器具206的用户的认证信息(例如，用户身份数据602)。

基于用户正在请求以观看的装置或系统的身份以及用户的身份或角色，VR/AR呈现系统302可以确定用户是否被授权以接收用于装置或系统的虚拟或增强现实接口，以及基于用户的身份或用户的角色而对用户授权的控制权限的程度。例如，取决于用户的身份或角色，用户可能被授予仅观看的权限，或者可能可替选地被授予全部或有限的控制权限，从而准许用户向装置或系统传送控制指令1206。

一旦确定用户被授权以观看和/或虚拟地控制装置或机器，VR/AR呈现系统302向可穿戴器具206发送虚拟或增强现实呈现。在示例场景中，呈现可以采取与由QR代码1306识别的装置相对应的虚拟控制面板的形式。虚拟控制面板可以是预定义的虚拟面板，相比于与装置或系统相关联的实际控制面板的布局和功能，该预定义的虚拟面板具有相似的布局和功能。可替选地，虚拟控制面板可以是没有类似的物理控制面板的完全虚拟的面板。虚拟控制面板可以被存储在与VR/AR呈现系统302相关联的存储器322上，并且基于装置或系统的身份和发布请求的用户的控制权限而被系统302选择。

一旦可穿戴器具206已经接收到增强或虚拟现实呈现，用户可以通过与虚拟控制面板的交互来远程地控制工业装置或自动化系统。例如，通过可穿戴器具206与工业装置504(或其他自动化系统、机器等)之间的直接通信，虚拟控制面板可以接收并且显示装置的状态信息，以及向装置发送控制信息(例如，启动/停止命令、开关设置、设置点调整、警报复位命令等)。

在图13所示的示例中，基于从QR代码获得的标识信息来确定正在被用户观看的工业装置、自动化系统或机器的标识。然而，在一些实施方式中，装置或系统的身份可以由VR/AR呈现系统302基于用户相对于装置或系统的位置以及确定的用户的可穿戴器具206的定向来确定。例如，基于位置和定向数据606，呈现系统302可以推断用户的当前视线。通过将该位置和定向信息与工厂环境内的装置和系统的已知的位置信息相互对照，呈现系统302可以推断哪些装置或系统当前在用户的视场内。然后，呈现系统302可以根据用户的授权和当前正在被观看的装置和系统的身份向可穿戴器具206发送合适的虚拟或增强现实呈现(例如，虚拟控制面板)。这些呈现可以包括：由正在被观看的装置或系统生成的数据和由其他装置或系统(例如，分析系统、维护历史数据库等)生成的已经被定义为具有与正在被观看的装置或系统的关联的数据或其他这样的信息。

在一些实施方式中，系统302可以从分布在工厂环境各处的一个或更多个摄像机收集视频(或视听)数据，并且将该视频数据的选择的集合与VR/AR呈现集成。当使用360度摄像机时，这样的实施方式可以在远程位置处向用户提供模拟用户在工厂地面上的物理存在的工厂设施的交互式实况视频馈送。图14A是示出将视频信息并入至由VR/AR呈现系统生成的VR/AR呈现中的示例配置的图。在该示例中，多个视频捕获装置1414(例如，数字视频摄像机或其他类型的视频捕获装置)被安装在整个工厂设施的各个位置处，以捕获设施的各个区域的视频。视频捕获装置1414被安装在可以访问其上实现有VR/AR呈现系统302的硬件或基于云的平台的网络上。在该示例中，每个视频捕获装置1414均是360度摄像机，360度摄像机针对围绕摄像机的全360度视角生成视频数据1412。每个视频捕获装置1414将视频数据1412推送至VR/AR呈现系统302作为单独的视频流。VR/AR呈现系统302的视频处理部件312可以处理每个视频流并且将每个视频流存储在视频存储装置1404(其可以是存储器322的一部分或另外的数据存储装置)上，使得来自每个摄像机的视频数据1412被标记有指示源视频捕获装置1414的标识信息、指示视频数据1412的每个帧被记录的时间的时间戳信息以及可选地由视频数据1412记录的工厂设施和工作区域。

如在图8至图10所示的示例外部(按比例缩小的)VR/AR呈现中所示的，渲染部件308渲染与安装在工厂地面上的每个视频捕获装置1414相对应的摄像机图标806(例如，图8至图10中的摄像机图标806a至806d)。在一个或更多个实施方式中，生产区域或设施内的每个视频捕获装置1414的位置可以在工厂模型524中的一个或更多个中定义，工厂模型524也可以指定与每个摄像机图标806相对应的视频捕获装置1414的身份。在示例摄像机部署场景中，用户可以与具有配置应用的VR/AR呈现系统交互，其中，配置应用可以渲染当前联网至VR/AR呈现系统302的工业装置的可浏览视图。在视频捕获装置1414已经被安装在期望的位置处并且通信地连接至工厂网络之后，用户可以经由配置应用浏览视频捕获装置1414，并且将视频捕获装置1414添加至当前的VR/AR项目。工厂内的视频捕获装置1414的位置可以由用户经由配置工具手动输入，或者可以由装置接口部件314基于通过网络从视频捕获装置1414接收的自报告位置数据来学习。然后，该位置信息与视频捕获装置1414的身份一起可以被保存至工厂模型524中的一个或更多个，使得与在VR/AR呈现内的适当的位置处渲染相应的摄像机图标806结合地，该信息可以被渲染部件308参照。

基于在(一个或更多个)工厂模型524中定义的该摄像机定义信息，渲染部件308将摄像机图标806放置在VR呈现内的与定义的实际工厂设施内的视频捕获装置的物理位置相对应的位置处。在一些实施方式中，视频捕获装置1414可以被配置成确定其自身的地理位置(或相对于工厂内的定位装置的位置)，并且向VR/AR呈现系统302报告其身份和位置，VR/AR呈现系统302然后可以将每个视频捕获装置1414的位置和身份记录在(一个或更多个)工厂模型524中，使得摄像机图标806可以被渲染在正确的位置处。该技术可以使新安装的视频捕获装置1314与VR/AR呈现系统302的集成简化。

在示例应用中，视频捕获装置中的一个或更多个可以安装在与机器或生产线相关联的栈灯(stack light)上，以提供机器或生产线周围的区域的升高的360度视图。图15是图8至图10所示的VR/AR呈现的提供摄像机图标806d的更近的视图的另一透视图。在该示例中，视频捕获装置1414中的一个已经被安装在物理工厂中的由虚拟栈灯1502表示的栈灯上。如在图15中所见，与该视频捕获装置1414相对应的摄像机图标806d已经被渲染在虚拟栈灯1502上。

虽然图8至图10以及图15所示的示例在外部的、按比例缩小的VR/AR呈现的背景下示出摄像机图标806，但是也可以在第一人称VR/AR呈现的背景下使摄像机图标806可见。

在图8至图10以及图15所示的示例VR/AR呈现中，摄像机图标806是具有嵌入的摄像机形状的球形“气泡”形状，以帮助标识图标的功能。在一些实施方式中，代替嵌入的摄像机形状或除了嵌入的摄像机形状之外，球形摄像机图标806可以包含针对相应的视频捕获装置1414获得的静止或实况视频图像，从而向用户提供在该位置处可用的视频的预览。当观看VR/AR呈现时，用户可以使用适当的选择手势或口头命令来选择摄像机图标806中的一个，以从生产区域的当前外部视图转换至渲染在可穿戴器具206上的实况交互视频呈现。参照图14A，响应于选择手势或口头命令，可穿戴器具206的系统接口部件404向VR/AR呈现系统302发送摄像机选择数据1402。摄像机选择数据1402指示被用户选择的视频捕获装置1414的身份。如图14B所示，响应于接收到选择数据1402，渲染部件308将用户的当前VR/AR呈现视图转换至由与选择的摄像机图标806相对应的视频捕获装置1414提供的实况视频呈现1408。基于从视频存储装置1404获得的特定于摄像机的视频数据1410来生成视频呈现1408，其中，特定于摄像机的视频数据1410是接收的视频数据1412的与选择的视频捕获装置1414相对应的子集。在一些实现中，可以由呈现系统302经由两个单独的通信通道或网络将来自选择的视频捕获装置1414的视频和音频发送至可穿戴器具206，以满足给定网络的带宽需求。

视频呈现1408通过在用户的可穿戴器具206上渲染摄像机的生产区域的当前透视图来模拟用户在工厂地面上的实际存在。如果由360度摄像机提供视频数据，则渲染部件308可以追踪用户的可穿戴器具206的定向，并且根据用户的头部移动(向左、向右、向上或向下)转移视频呈现的观看方向。以该方式，当用户移动他或她的头时，可以改变来自用户的视线内的摄像机的可用的可用360度视频视图的片段，从而模拟在用户处于摄像机位置处的情况下的用户将经历的现实世界视图。此外，如果视频捕获装置1414被配置成捕获来自周围区域的音频以及视频，则VR/AR呈现系统302可以从视频捕获装置1414一起接收音频数据与视频数据1412，并且一起提供实况音频与实况视频作为视频呈现1408的一部分。其他类型的视频捕获装置1414也可以用作视频呈现的来源，其他类型的视频捕获装置包括但不限于网络摄像机、基于旋转的IP摄像机等。

在一些实施方式中，当用户选择摄像机图标806时，渲染部件308可以经由缩放动作将用户的当前视图(如图8至图10以及图15所示的外部视图或者如图11所示的第一人称VR/AR呈现)平滑地转换至实况360度视频呈现1408。例如，当用户在可穿戴器具206上正在渲染图15所示的外部视图的同时选择摄像机图标806d时，渲染部件308将朝向选择的摄像机图标806d平滑地缩放用户的视图。该缩放动作模拟用户对摄像机的物理运输。一旦缩放动作使用户的视图被摄像机图标806d包围，则渲染部件308切换至上述实况视频馈送。以这种方式模拟用户对摄像机图标806d的运输可以帮助对虚拟生产区域内的用户进行定向，使得至视频馈送的转换将不会使用户迷失方向。

在观看视频呈现时，用户可以使用可穿戴器具206可识别的合适的手势或说出可穿戴器具206可识别的口头命令，以在需要时转换回到VR/AR呈现。

一些实施方式还可以使得用户在观看由第一视频捕获装置1414提供的视频呈现时能够将视图转换至第二视频捕获装置1414。在这样的实施方式中，当用户正在观看由第一视频捕获装置1414提供的视频呈现时，如果第二视频捕获装置1414在第一视频捕获装置1414的视场或视线内，则渲染部件308可以将摄像机图标806覆盖在视频呈现上的该第二视频捕获装置1414的位置处(即，在视频呈现内的第二视频捕获装置1414的视频图像上或附近)。在观看第一视频呈现时，用户可以使用可识别的选择手势或口头命令来选择该第二摄像机图标806。作为响应，渲染部件308将使用户的视频呈现从第一视频捕获装置1414转换至所选择的第二视频捕获装置。以该方式，用户可以在处于彼此的现场线路内的不同的摄像机视频馈送之间轻松地“跳跃”。此外，在一些实施方式中，系统可以使得用户能够在安装在生产区域中的摄像机中的任何摄像机之间转换，无论摄像机是否在彼此的视线内。

可以选择360度视频捕获装置1414的安装点，以提供关键或危险区域的远程可见性。例如，在安全访问点附近或可能引起安全风险的装备附近安装一个或更多个视频捕获装置1414可能是有用的，使得这些区域可以被远程可视化地监测。视频捕获装置1414也可以被安装在通常无人工作但是可能应获得可视化检查的位置处。通过将这些360度视频捕获装置1414与VR/AR呈现系统302集成，可以从可以访问VR/AR呈现系统302的任何位置可视地检查这些关键区域。

虽然前面的示例已经在将实况视频馈送传送至用户的可穿戴器具206的方面进行了描述，但是一些实施方式也可以允许用户通过视频处理部件312访问存储在视频存储装置1404中的历史视频记录。在这样的实施方式中，用户可以指导可穿戴器具206向VR/AR呈现系统302发送识别待观看的视频捕获装置1414以及待观看的历史视频的开始日期和时间的请求。响应于接收到请求，渲染部件308检索与所识别的视频捕获装置1414以及指示的日期和时间相对应的存储的视频数据，并且可以开始将检索到的视频数据流传输至可穿戴器具206。与实况视频馈送类似，用户可以通过向左或向右移动他或她的头部以改变视角或现场线路来与历史视频馈送进行交互。

在一些实施方式中，VR/AR呈现系统302的监测部件316可以被配置成监测从视频捕获装置1414接收的可用视频数据1412，并且响应于检测到应获得工厂人员的关注的可能问题而生成警报。在这样的实施方式中，可以训练监测部件316来识别视频数据1412的每个流内的应当通知的事件。由于被认为是关键的事件通常取决于正在被监测的区域，所以可以针对视频数据1412的每个流定制该训练。例如，如果视频捕获装置1414被安装在设施的人类进入要被约束的高安全区域内，则监测部件316可以被配置成基于对从该视频捕获装置1414接收的视频数据1412的分析来识别该区域内的人的存在。在一些实施方式中，监测部件316可以被配置成对视频数据1412执行二维成像分析，并且基于成像分析的结果来识别人的存在。在不脱离一个或更多个实施方式的范围的情况下，也可以使用其他视频分析技术。

在另一示例中，视频捕获装置1414可以安装在关键机器附近的位置处，使得可以可视地和/或可听地监测该机器。监测部件316可以被训练成基于对针对机器捕获的视频数据1412的分析来识别一个或多个关键性能事件。例如，如果机器处理部件或产品并且易于卡住(例如，纸卡在由网状(web)张力系统馈送的纸处理机器中、部分卡在输送带上等)，则监测部件316可以被配置成基于对相应的视频数据的分析来识别这种卡住的发生。如同在人类检测的情况下，可以基于对视频数据1412的成像分析或使用其他视频分析技术来检测卡住事件。对视频数据1412的成像分析还可以用于检测不适当的机器运动(例如，过行程(over-stroking)或欠行程(under-stroking)、过度振动等)、过度的烟度的存在或指示可能的维护问题的其他事件。在另一示例应用中，多个摄像机可以被安装在从多个角度捕获关键区域的位置处，并且监测部件316可以被配置成共同分析来自各个摄像机的图像和/或音频。这样的共同分析可以用于使用三角测量技术来确定监测区域内的人、物体或车辆的位置，或者用于其他目的。

当使用支持音频捕获的视频捕获装置1414时，监测部件316还可以被训练成识别指示需要关注的事件的音频队列。例如，一些机器可能在经历过度振动时或者当机器不适当地另外运行或以次优方式运行时在可识别的特征频率处发出噪声。监测部件316可以被配置成基于对从视频捕获装置1414接收的视听数据的分析来识别这些音频队列，并且发起向适当的人员发送通知。

除了音频和视频数据之外，监测部件316的一些实施方式还可以被配置成分析从支持这样的信息的视频捕获装置1414接收的其他类型的信息。例如，视频捕获装置1414中的一个或更多个可以支持红外或紫外数据的捕获，并且提供除了视频数据1412之外的该信息或提供该信息作为视频数据1412的替代。监测部件316可以分析该信息，以确定机械部件或机器的温度是否过度。在另一示例中，视频捕获装置1414中的一个或更多个可以是针对扫描仪的视场内的物体或表面生成距离信息(例如，点云或深度映射信息)的飞行时间(TOF)光学扫描仪或传感器。在这样的实施方式中，监测部件316可以被配置成将物体识别结果与距离信息关联，并且响应于确定该关联的结果满足定义的准则而生成被引导至可穿戴器具或工业控制器的通知。

在示例TOF应用中，监测部件316可以被配置成基于对从TOF光学传感器获得的TOF距离数据的分析来检测：视频数据1412中检测到的物体位于距视频捕获装置1414小于定义的安全距离的距离处。在一些实施方式中，监测部件还可以基于对从TOF光学传感器或另一图像捕获装置获得的图像数据的成像分析来确定物体的类型。如果物体的类型与不被准许处于定义的安全距离内的物体类型相对应(例如，人、车辆等)并且TOF传感器数据指示该物体位于定义的安全距离内，则监测部件316可以执行定义的动作。动作可以是例如设置改变机器的操作的工业控制器内的比特或寄存器(例如，通过将机器放置在安全状态，例如停止或减缓状态)。动作也可以包括：将通知图形覆盖在由视频捕获装置生成的视频数据上以指示图像内的物体被检测到的位置，以及通知字母数字消息(其通知可能的防护或安全问题)。

响应于检测到应当通知的事件(例如在上面的示例中描述的那些)，监测部件316可以指导渲染部件308向与一个或更多个用户相关联的可穿戴器具206传送通知信息。可以基于检测到的该类型问题中的一个或更多个、检测到问题的区域、对哪些用户距问题的来源在定义的距离内的识别(例如，基于对从可穿戴器具206接收到的位置和定向数据606的分析)或者其他这样的考虑来确定要通知的目标用户。当确定要通知的用户的合适的子集时，渲染部件308还可以考虑包含在用户简档522中的信息。例如，用户简档522可以定义每个用户的角色，以及每个用户被分配至工厂设施的哪些生产区域。如果问题被确定成需要维护人员的关注，则渲染部件308可以基于对用户简档522的分析来识别哪些用户被识别为维护人员并且被分配至检测到问题的生产区域。

通知可以采取以下形式：在用户的可穿戴器具206上渲染的识别问题的性质的叠加消息。在一些实施方式中，如果用户在通知时位于工厂地面上，则渲染部件308可以渲染以下VR/AR呈现，其将方向箭头叠加在用户的他或她的环境的自然视图上以将用户引导至问题的来源。方向箭头可以首先将用户指引至检测到问题的机器或区域。箭头的方向以及箭头图形在可穿戴器具206的显示器屏幕上的位置是如由位置和定向数据606确定的用户的当前位置和定向的函数。一旦位于该位置，则可以生成指示经历该问题的特定工业装置、机器或机器部件的另外的方向箭头。再次，这些箭头的方向和显示位置基于当前的位置和定向数据606。当用户改变位置和定向时，渲染部件308将根据更新的位置和定向数据606来更新箭头和其他图形指示符的方向和/或显示位置，以确保图形指示连续地沿正确的方向或朝向正确的装置或部件引导用户的关注。

如下面将更详细地讨论的，事件的检测还可以发起交互式工作流数据向通知接收者的可穿戴器具206的传送。该工作流数据可以通过经由交互式工作流呈现纠正识别问题的处理来指导用户或多个用户共同工作。

在一些实施方式中，还可以基于对工厂数据610的分析来检测应当通知的事件。在各种示例中，可以通过监测部件316来监测被收集作为工厂数据610的一部分的关键操作参数(例如温度、压力、速度、电压电平或其他这样的参数)，以识别这些参数何时落在定义的可接受值范围之外。监测部件316还可以被配置成响应于在工厂数据中检测到的机器或装置警报状况而发起通知。与经由视频分析识别的事件类似，渲染部件308可以响应于基于对工厂数据610的分析而检测到问题来生成通知并且向选择的人员传送通知。

如上所述，VR/AR呈现系统302的一些实施方式可以被配置成使用针对检测到的问题定制的交互式工作流呈现来帮助用户解决检测到的操作或维护问题。图16是示出用于交互式工作流呈现的传送的VR/AR呈现系统302、工业装备与可穿戴器具206之间的示例数据流的图。图16所示的示例示出了以下场景，其中，系统302响应于检测到的状况而动态地选择工作流呈现并且向用户的可穿戴器具206传送工作流呈现。

当装置接口部件314如上所述从工厂地面上的工业装置和系统收集并且索引操作和状态数据1606时，监测部件316监测工厂数据610的选择的数据项，并且响应于确定一个或更多个数据项指示值得一个或更多个注册用户关注的自动化系统或装置的问题而发起合适的工作流呈现1602的传送。例如，基于工业装置中的一个或更多个的当前状态和/或操作信息(例如，操作参数、KPI等)，监测部件316可以检测工业装置或系统何时已经生成报警或故障、经历停机时间状况、执行失序操作或其他这样的状况。监测部件316还可以检测何时工业处理或机器的性能度量(例如，KPI或其他类型的度量)已经偏离可接受的公差范围，这表示生产效率的下降，其可以通过用户干预来纠正。如上所述，监测部件316还可以基于对从一个或更多个视频捕获装置1414接收的视频数据1412的分析来检测需要通知的问题。

对于监测和控制工业机器或处理的操作的工业控制器，由监测部件316检测到的通知事件可能涉及控制器的内部操作(例如，控制器故障)或正在被控制的机器或处理。在后一种场景中，可以将与被控制的机器或处理相关联的警报或故障状况预定义为在工业控制器上正在被执行的控制程序的一部分。例如，可以由工业控制程序中的程序员定义处理参数设置点值、异常机器状态、处理警报状况以及其他这样的可通知状况，并且这些状况将由监测部件316检测并且用作通知触发器的基础。

其他类型的工业资产例如遥测装置、马达驱动器等可以具有将由监测部件316监测的相关联的可通知状况的不同集合。例如，在马达驱动器(例如，可用频率驱动器或其他类型的驱动器)的情况下，监测部件316可以监测内部驱动异常状况，内部驱动异常状况包括但不限于过电流或欠电流故障、超速或欠速故障、过电压或欠电压故障等。

为了便于用于帮助检测到的问题的工作流呈现的生成，VR/AR呈现系统302可以存储(例如，在存储器322上)定义要被采取以纠正各种问题的动作的工作流数据1608以及用于渲染与执行这些动作有关的指导的VR/AR呈现指令。在一个或更多个实施方式中，可以与工作流涉及的事件或机器相关联地存储工作流数据1608的集合。例如，工作流数据1608的集合可以定义被确定为对于从与相关警报相关联的输送机系统的特定警报状况恢复而言有效的工作流，使得可以响应于检测到相关警报，将工作流传送至用户的可穿戴器具206作为VR/AR呈现。类似地，与给定自动化系统的优选操作相关联的工作流可以用相关自动化系统的标识符来标记，使得工作流将被递送至与用户(其被确定当前正在操作相关系统)相关联的可穿戴器具206。

响应于检测到问题(定义的工作流针对其可用)，监测部件316可以向渲染部件308发送识别检测到的问题的指令1610，其发起将合适的工作流呈现1602传送至与一个或更多个用户(其被确定为能够或被授权解决检测到的问题)相关联的可穿戴器具206。由监测部件316发送的指令可以包括识别检测到的事件和/或相关工业系统的工厂数据610的子集。基于该信息，渲染部件308选择与所识别的事件和/或自动化系统相关联的工作流数据1608的集合，并且将工作流呈现数据1602传递至一个或更多个选择的可穿戴器具206。

如上所述，渲染部件308可以基于受影响的机器或装置和/或事件的类型来识别用于工作流呈现的一个或更多个合适的接受者。在这方面，VR/AR呈现系统302可以基于存储的通知规则来识别合适的接受者。这些通知规则可以例如包括：关于哪些类型的用户或用户角色应当接收不同类别的事件的通知和工作流的规则、对可以基于用户的角色呈现至每个用户的数据类型的限制、对于数据呈现的基于位置的限制、针对每种类型的用户应该如何呈现工作流数据等。在一些实施方式中，渲染部件308可以基于当前用户环境信息来进一步缩小合适的接受者的列表，当前用户环境信息包括但不限于每个潜在的接受者的当前可用性或者相对于检测到的问题的来源的位置(如基于从用户的可穿戴器具206接收的位置和定向数据606而确定的)、关于通知涉及的特定装置或设备件的技能或训练(如基于用户简档522而确定的)等。在示例场景中，渲染部件308可以通过追踪每个用户的位置和定向数据606来确定每个潜在的接受者的当前位置，并且仅向受影响的机器或装置的定义的半径内的那些用户传送通知和工作流呈现。

在一些实施方式中，可以通过系统302学习合适的接受者的标识作为工作流学习例程的一部分。例如，VR/AR呈现系统302观察某些特定雇员通常聚集以解决问题(如基于针对各个雇员对可穿戴器具206的监测而确定的)的特定机器停机时间状况的多个实例，渲染部件308可以将这些识别的雇员与关联于该停机时间事件的学习的工作流链接，并且修改通知规则以反映该关联。在一些实施方式中，如果观察到各个人员解决不同的停机时间状况的发生，则渲染部件308可以进一步确定哪个人员通常相对于其他技术员以最少时间量来恢复机器。根据该确定，渲染部件308可以优先将后续停机时间通知和对应的工作流传送至该用户。

当已经识别所有合格的接受者时，渲染部件308将工作流呈现数据1602发送至每个接受者的可穿戴器具206。在示例场景中，渲染部件308可以将工作流呈现渲染为：将指令序列渲染作为用户的视场上的覆盖的增强现实呈现。这些呈现可以包括：指向或另外可视地识别在工作流的当前步骤期间用户应当关注的装置、工作站或机器部件的图形指示符覆盖；通知用户要执行的下一步骤的字母数字指令；指示何时已经正确地执行了步骤或何时用户已经偏离正确的工作流序列的反馈图形；以及其他这样的信息。工作流呈现可以包括示出工作流的某些步骤的图形指导以及字母数字指令。这些图形指导可以例如包括：示出要执行的动作的图、演示如何执行给定步骤的照片或视频数据、装置文档或其他这样的指导。

通常，工作流呈现通知用户要执行的合适的操作序列，以便最好地解决检测到的状况。在一些实施方式中，当检测到的状况正在被工作流呈现的接受者解决时，监测部件316可以连续地对实际操作者的动作与由工作流数据表示的最佳工作流进行比较，并且如果用户的动作偏离最佳工作流，则向用户提供反馈。图17是示出了当用户正在纠正停机时间问题时正在被传送至可穿戴器具206的实时工作流反馈1712的图。在诊断和纠正停机时间问题期间，当用户执行纠正问题并且恢复系统的步骤时，监测部件316继续监测从自动化系统接收的工厂数据610的相关子集。

同时，装置接口部件314收集用户数据1704，用户数据1704可以用于确认用户正在执行由被传送至用户的可穿戴器具206的工作流推荐的步骤。用户数据1704可以包括例如用户的身份和相对于自动化系统或其部件的位置。用户的位置可以用于确认用户处于适当的位置以执行当前正在等待完成的工作流步骤(例如，在适当的控制面板、HMI、机器站或机械/电气部件的前面)。用户数据1704还可以包括指示用户与关联于自动化系统的装置的交互的数据。可以基于用户相对于自动化系统的位置与从自动化系统的一个或更多个装置收集的状态信息的相关性来推断这些交互中的一些。例如，基于用户与控制面板的确定的接近度以及控制面板上的模式开关从第一位置转换至第二位置，监测部件316可以根据工作流的当前未决步骤确认用户已将自动化系统放置在正确的模式下。

其他用户数据1704可以包括：装置定向数据，其识别用户的可穿戴器具206的当前定向，当与用户的当前位置数据组合时，该装置定向数据可以指示用户当前是否正在观看自动化系统的正确区域，以完成未决的工作流步骤。在一些实施方式中，装置接口部件314还可以以多媒体(例如，音频和/或视频数据)的形式接收由用户的可穿戴器具206收集的环境数据；红外数据；热签名数据；振动数据(当用户触摸工业机器或系统的振动部件时，可以通过可穿戴器具206经由用户的身体来获得振动数据)；环境噪声水平；通量数据；指示用户的直接环境中的特定气体、颗粒物、烟雾或毒素的存在的数据；或其他这样的环境数据。这样的环境数据可以提供以下另外信息：所述另外信息可以由监测部件316利用来确定是否正在遵循工作流，或者由用户执行的与解决问题有关的动作是否已经产生应当通知用户的非预望的结果(例如，部件过热、释放毒素、烟雾或颗粒物的水平升高等)。

基于用户与自动化系统的交互与优选的工作流的步骤的比较，渲染部件308可以响应于确定用户已经偏离工作流而生成工作流反馈数据1712并且将工作流反馈数据1712传送至用户的可穿戴器具206。这样的反馈可以包括例如纠正指令，该纠正指令意在向用户通知偏离，并且将用户引导至由工作流所指示的正确的操作序列。在一些实施方式中，监测部件316还可以基于用户的遵从工作流或偏离工作流的测量的程度来计算并且记录评估用户的工作流性能的用户的性能度量。这些性能度量可以基于这样的因素，例如检测到的偏离工作流的数目、用户完成工作流的平均速度、用户执行的工作流的数目或其他这样的因素。这些性能度量可以记录在与用户相对应的用户简档522中。管理人员可以使用这些度量来确定哪些操作者需要与解决特定的性能或维护问题相关的额外的培训。如上面结合图8至图10所描述的，每个用户的性能度量也可以被包括作为响应于对用户的操作者信息图标804的选择而渲染的操作者信息的一部分。

在多个用户正在解决检测到的问题的协同动作的情况下，渲染部件308可以将工作流呈现数据1602传送至每个接受者的可穿戴器具206，以协调接受者之间的活动。在每个用户的可穿戴器具206上显示的工作流呈现将是用户的当前位置和观看方向的函数。例如，如果第一用户处于与工作流中的步骤(例如，半自动模式中的生产线的放置，这要求用户位于生产线的控制面板的前面)相对应的位置，并且第二用户处于与工作流中的另一步骤(例如，从输送机移除工件)相对应的位置，则渲染部件308将基于用户的位置和视线在每个用户的可穿戴器具206上渲染能够被该用户执行的工作流的步骤。当一个用户完成步骤时，渲染部件308将更新被传递至其他用户的工作流呈现，以反映该步骤的完成。

为了进一步便于协调解决检测到的问题的多个用户之间的活动，VR/AR呈现系统302可以允许用户彼此共享他们的个人视图。例如，机器的一侧上的第一用户可能希望与机器的另一侧上或另一位置处的第二用户共享他或她的机器的视图。响应于经由第一用户的可穿戴器具206接收到的合适的手势或口头命令，可以通过可穿戴器具206将用户的当前视图的实况馈送经由VR/AR呈现系统302发送至第二用户的可穿戴器具206。第二用户可以选择第一用户的视图是被呈现为画中画视频图像还是被呈现为“全屏幕”视频(由此，第一用户的视图在第二用户的视场中被完全再现为视频流)。由于可穿戴器具206支持音频通信，所以用户可以在共享视图的同时经由可穿戴器具206交换口头通信，以便于协调用户之间的活动。

虽然前述示例结合机器停机时间事件、警报时间或其他维护动作描述了工作流以及工作流反馈的传送，但是可以使用类似的技术来将工作流传送至机器操作者，以在机器的正常运行时间期间执行特定的机器控制操作，并且评估操作者对工作流的遵从。例如，如果VR/AR呈现系统302已经学习了优选的操作员工作流，以便针对给定生产线实现最佳产品吞吐量，则可以响应于确定生产线的性能度量已经偏离可接受的公差而将该工作流传送至与值班的操作者相关联的可穿戴器具206，从而向用户提供操作方法，以将性能度量带回至可接受的公差。

VR/AR呈现系统的一些实施方式还可以允许各个用户定制工作流，并且将定制的工作流与其用户身份相关联地保存回到系统302。例如，渲染在用户的可穿戴器具206上的VR/AR呈现可以包括使得用户隐藏或移除用户发现不必要或无用的工作流的一个或更多个步骤的控件，从而产生针对给定状况的个性化工作流。然后，用户可以将该个性化工作流保存回到呈现系统302，使得当发生维护或操作问题的另一实例时，呈现系统302将向用户提供工作流的经修改的个性化版本而不是默认版本。这可以给予用户对经由其个性化版本的工作流而提供的工作流信息量的一定程度的控制。用户可以根据用户在解决所识别的问题时的经验程度或舒适水平来选择隐藏工作流的某些步骤。

此外，在一些实施方式中，VR/AR呈现系统302可以允许用户将虚拟笔记或信息标签与选择的工业资产相关联，以便其他用户观查看。这些虚拟笔记可以用于将有关资产的个性化信息传达至之后可能经由其可穿戴器具206观看资产的其他用户。在示例场景中，维护人员在对传送系统执行维护的处理中可能希望通知将要进行后续工作轮班的操作者：输送机只应当以低速运行，直到可以执行将来的维护为止。维护人员还可能希望向随后的轮班期间进入的其他维护人员提供有关在当前轮班期间执行的工作的信息。VR/AR呈现系统302可以允许用户将虚拟笔记与输送机系统的控制柜相关联，并且选择准许哪些用户角色来观看每个笔记。因此，用户可以通过向可穿戴器具206说出笔记的文本并且指示渲染部件308将笔记与选择的控制柜相关联(例如，通过执行与指令相对应的手势或口头命令)，来创作用于下一个轮班的操作者的笔记。用户可以进一步指示渲染部件308仅允许所有角色的用户观看笔记。因此，当渲染部件308确定另一用户的位置和定向数据606指示用户正在观看控制柜时，渲染部件308可以将笔记作为控制柜的用户的视图上或附近的覆盖渲染在用户的可穿戴器具206上。可替选地，渲染部件308可以在控制柜上或附近渲染指示虚拟笔记已经附接至控制柜的虚拟笔记图标。使用观看者的可穿戴器具206可识别的合适的手势或口头命令来选择虚拟笔记图标可以使笔记的文本被显示。

类似地，维护人员可以创作仅被引导至其他维护人员的另一虚拟笔记，其识别在当前轮班执行的维护动作以及应当在下一轮班被执行的剩下的维护动作。因此，维护人员可以创作虚拟笔记、将笔记与控制柜相关联并且指示仅允许具有维护角色的其他用户观看笔记。随后，响应于确定具有维护角色的用户正在观看控制柜，渲染部件308将在与用户相关联的可穿戴器具206上渲染笔记(或可选择的虚拟笔记图标)。

虚拟笔记可以用于在用户之间共享基本上任何类型的信息，并且可以选择性地被引导至所有用户、指定角色的用户或者指定的个人用户。可以经由虚拟笔记被传达的示例消息可以包括但不限于：要由后续轮班工作的操作者或维护人员执行的动作项目的列表；用于可视地监测已经表现不规律的机器部件的指令；或者其他这样的消息。

在一些实施方式中，由VR/AR呈现系统302生成的工业工厂的VR/AR呈现可以用作工厂的数字双工(twin)的基础。在这样的实施方式中，工厂模型524不仅可以对工业资产的物理外观进行建模，还可以对这些资产的某些行为(例如，对控制输入在移动、速度、温度、流量、填充水平等方面的响应)进行建模。这可以使得VR/AR呈现用作用于测试控制程序或装置配置的模拟环境。图18是示出被测试的控制程序1802与由渲染部件308生成的工业设施的VR/AR模型1804之间的交互的一般框图。以与上述VR/AR呈现相似的方式基于工厂模型524和收集的工厂数据来生成VR/AR模型1804。在该示例中，VR/AR呈现系统302的模拟部件318用作工业控制器仿真器，以对VR/AR模型1804执行控制程序1802。

VR/AR模型1804可以模拟要由控制程序1802监测和调节的物理工业系统的各个方面。模拟部件318可虚拟地将控制程序1802与VR/AR模型1804连接，以交换I/O数据来模拟现实世界控制。控制程序1802可以包括用于处理读入到控制器中的输入信号并且控制来自控制器的输出信号的任何可想到的类型的代码，包括但不限于梯形逻辑、顺序功能图表、功能框图或结构化文本。控制程序1802被设计成调节通过VR/AR模型1804被建模的自动化系统。VR/AR模型1804通过生成表示例如传感器输出、计量输出或与预期由正在被建模的物理系统生成的数据类似的其他工厂数据的数字和模拟I/O值来在数学上对要被调节的系统进行建模。可以通过工厂模型524针对每个工业资产定义这些输入和输出。该模拟输出数据1808被提供至执行控制程序1802的模拟部件318，模拟部件318接收该数据作为一个或更多个虚拟物理输入。控制程序1802根据用户定义的算法处理这些输入，并且基于该处理生成数字和/或模拟控制器输出数据1806。该输出数据1806表示将由执行控制程序1802的控制器生成并且被发送至包括自动化系统的硬连线现场装置的物理输出(例如，PID回路控制输出、螺线管激励输出、马达控制输出等)。控制器输出数据1806被提供至相应地更新模拟输出数据1808的VR/AR模型的适当的输入点。该模拟技术可以用于测试和调试控制程序而不将现场装备和机器置于危险中，模拟对工厂或机器操作的修改以及这些修改如何影响某些性能或财务度量的估计，或者执行其他分析。

模拟部件318可以被配置成模拟多个控制装置的执行，其中，多个控制装置包括但不限于工业控制器、马达驱动器和其他这样的控制装置。随着更多的模拟控制装置与VR/AR模型1804集成，可以实现物理自动化系统的数字双工。该数字双工可以用于测试与现实世界对应物相似的虚拟化装备上的新控制程序、执行预测分析以估计资产维护或替换进度或其他这样的功能。

在一些实施方式中，当穿戴者遍历工厂地面时，VR/AR呈现系统302可以从可穿戴器具206收集数据，并且使用该收集的数据来生成工厂环境的文档。这可以包括例如创建管道和仪器(P&ID)图、装置库存数据、机器库存数据或其他这样的工厂映射。在一些实施方式中，VR/AR呈现系统302可以以三维格式生成该文档。在某些场景中，系统302可以从与分布在工厂环境各处的多个用户相关联的多个可穿戴器具206收集生成这些工厂映射所需要的数据，并且随着接收到更多数据来更新工厂文档。

在一些实施方式中，VR/AR呈现系统302可以创建用于自动化系统或工作站的虚拟控制面板，并且将该虚拟控制面板呈现至用户的可穿戴器具206。一些实施方式可以基于当用户正在观看控制面板时由可穿戴器具206收集的实际控制面板的视觉信息来生成虚拟控制面板。例如，当用户正在观看控制面板时，可穿戴器具206可以获得面板的视觉快照，识别面板上的按钮、开关或其他控制部件的位置，并且生成基本上复制实际控制面板的布局的控制面板的虚拟表示。然后，用户可以与该虚拟控制面板虚拟地交互，以对与该面板相关联的自动化系统执行远程控制。

在一些实施方式中，由VR/AR呈现系统302生成的呈现还可以替代或增强马达驱动器的人机接口模块(HIM)。在这样的实施方式中，当用户正在通过可穿戴器具206观看马达驱动器时，呈现系统302可以在可穿戴器具206上渲染包括用于驱动器的操作和/或诊断统计信息的呈现。这样的统计信息可以包括但不限于马达速度、频率、电流、警报或故障信息(例如，过电流故障)或其他这样的信息。

此外，在一些实施方式中，结合系统302工作的可穿戴器具206可以用于执行资产追踪功能。以该方式，可穿戴器具206可以用作传统的资产追踪技术的替代(例如，基于无线电频率标识的资产追踪技术)。在相关方面，呈现系统302的一些实施方式可以帮助用户定位资产(例如，驱动器、传感器、控制器等)。在这样的实施方式中，用户可以说出或另外提供要被定位的资产的资产标识符，并且可穿戴器具206将向呈现系统302转发资产标识符。作为响应，呈现系统302可以向可穿戴器具206传送将用户指引至所请求的资产的呈现。例如，如果资产在用户的视场内，则呈现可以在资产上或附近生成高亮图形。如果资产在工厂的其他地方，则呈现可以使用适当的图形指示符(例如，箭头图形，基于文本的方向等)来将用户指引至资产。呈现系统302可以接受资产标识符作为口语的或另外输入的资产标识符编号，或作为口语的或输入的资产名称。用户还可以输入对与特定资产类型相对应的所有资产进行定位的请求；例如，通过说出“呈现所有驱动器”或“呈现所有传感器”。作为响应，呈现系统302将提供以下呈现：将与所请求的资产类型相对应的所有资产加亮或者将用户引导至与所请求的资产类型相对应的所有资产。

图19至图22示出了根据本申请的一个或更多个实施方式的各种方法。虽然为了简化说明的目的，将本文所示的一种或更多种方法示出并且描述为一系列动作，但是应当理解和意识到，本发明不受动作顺序的限制，因为一些动作可以根据本发明以与本文所示和描述的顺序不同的顺序发生和/或与其他动作同时发生。例如，本领域技术人员将理解和意识到的是，方法可以替代地被表示为一系列相互关联的状态或事件，例如以状态图表示。此外，并不需要所有示出的动作来实现根据本发明的方法。此外，当不同的实体演示方法的不同的部分时，(一个或更多个)交互图可以表示根据本主题公开内容的方法或方式。还进一步地，可以彼此组合地实现所公开的示例方法中的两个或更多个，以实现本文所述的一个或更多个特征或优点。

图19A是用于创建和渲染具有转换至实况视频馈送的选项的工业设施的VR/AR呈现的示例方法1900A的第一部分。最初，在1902处，从安装在工业设施处的一组工业资产接收数据。数据可以包括例如从工业控制器、马达驱动器、遥测装置、传感器或其他这样的工业装置接收的操作或状态数据。数据还可以包括用于工业装置中的一个或更多个的配置信息。

在1904处，基于在步骤1902处接收到的数据和定义工业资产的图形表示的一个或更多个工厂模型，在可穿戴器具上生成工业设施的VR/AR呈现。VR/AR呈现可以提供设施的外部视图或者第一人称视图，该设施的外部视图将设施内的工业区域渲染为可以与用户进行交互的设施的虚拟比例模型，在该第一人称视图中，工业区域被放大以模拟用户在实际设施中的存在。在1906处，接收识别安装在工业设施内的一个或更多个360度视频摄像机的位置的摄像机标识数据。在1908处，与一个或更多个360度视频摄像机相对应的一个或更多个摄像机图标被渲染在步骤1904处生成的VR/AR呈现上，其中，摄像机图标位于VR/AR呈现中与由在步骤1906处接收的摄像机标识数据识别的位置相对应的位置处。在一些实施方式中，摄像机图标可以包括虚拟球体或气泡。在一些这样的实施方式中，可以在摄像机图标的每一个内渲染来自每个摄像机的可用的视频的预览。在1910处，接收并且存储来自一个或更多个360度视频摄像机的视频数据。

方法继续图19B所示的第二部分1900B。在1912处，进行是否从可穿戴器具接收到识别一个或更多个摄像机图标中的选择的摄像机图标的选择输入的确定。如果未接收到这样的选择输入(在步骤1912处为否)，则方法返回至步骤1902，并且重复步骤1902至步骤1912。可替选地，如果接收到这样的选择输入(在步骤1912处为是)，则方法进行至步骤1914，在步骤1914处，将可穿戴器具上对VR/AR呈现的渲染从工业设施的当前虚拟视图朝向由在步骤1912处接收的选择输入识别的摄像机图标缩放。

在1916处，进行朝向摄像机图标的缩放是否完成的确定。当由VR/AR呈现提供的视角足够靠近摄像机图标时，认为完成缩放，其中，所述图标包含定义的用户的视图的百分比。用于确定缩放完成的其他准则也在一个或更多个实施方式的范围内。如果仍未完成缩放(在步骤1916处为否)，则步骤1914继续执行缩放。可替选地，如果完成朝向图标的缩放(在步骤1916为是)，则方法进行至步骤1918，在步骤1918处，将可穿戴器具上的渲染从VR/AR呈现改变成视频流呈现，该视频流呈现包括在步骤1910处从与在步骤1912处选择的摄像机图标相对应的360度视频摄像机接收到的视频数据的子集。

方法继续图19B所示的第三部分1900C。在步骤1920处，进行是否从可穿戴器具接收到转换回到VR/AR呈现的指令的确定。如果未接收到这样的指令(在步骤1920处为否)，则方法进行至步骤1922，在步骤1922处，根据从360度视频摄像机接收到的新视频数据，在可穿戴器具上更新视频呈现。在1924处，进行是否从可穿戴器具接收到指示可穿戴器具已经改变定向的指示的确定。如果未接收到这样的指示(在步骤1924处为否)，则方法返回至步骤1920。可替选地，如果接收到这样的指示(在步骤1924处为是)，则方法进行至步骤1926，在步骤1926处，根据可穿戴器具的新定向，在可穿戴器具上更新视频呈现，以改变视频呈现的视野方向。然后，方法返回至步骤1920。

如果从可穿戴器具接收到转换回到VR/AR呈现的指令(在步骤1920处为是)，则方法进行至步骤1928，在步骤1928处，可穿戴器具上的渲染从视频流呈现改变至工厂设施的VR/AR呈现。然后，方法返回至步骤1902并且重复。

图20A是用于控制工业设施的VR/AR呈现的示例方法2000A的第一部分。开始，在2002处，从安装在工业设施处的一组工业资产接收数据。数据可以包括例如从工业控制器、马达驱动器、遥测装置、传感器或其他这样的工业装置接收的操作或状态数据。数据还可以包括用于工业装置中的一个或更多个的配置信息。

在2004处，基于在步骤2002处接收到的数据和定义工业资产的图形表示的一个或更多个工厂模型，在可穿戴器具上生成工业设施的VR/AR呈现的外部视图。设施的外部视图使设施内的生产区域或设施渲染为可以与用户交互的虚拟比例模型。例如，按比例的设施的透视图或视角将与用户的位置和定向协调改变，以模拟围绕设施的物理比例模型的行走。

在2006处，在VR/AR呈现上渲染在步骤2002处接收到的数据的至少一个子集。例如，可以在虚拟现实呈现内的相关虚拟化工业资产附近渲染设施或生产区域的生产统计信息或KPI。在另一示例中，由工业控制器或HMI生成的警报信息可以在VR/AR呈现上在与该警报相关的工业资产上或附近渲染。

在2008处，进行是否从可穿戴器具接收到以第一人称模式渲染VR/AR呈现的指令的确定。如果未接收到这样的指令(在步骤2008处为否)，则方法返回至步骤2002并且重复步骤2002至步骤2008。可替选地，如果接收到以第一人称模式渲染VR/AR呈现的指令(在步骤2008处为是)，则方法进行至步骤2010，在步骤2010处，VR/AR呈现的外部视图被转换至第一人称视图，在第一人称视图中，虚拟比例模型被放大至模拟用户在工业设施处的存在的尺寸和视角。

方法继续图20B所示的第二部分2000B。在2012处，使用从工业装置的集合接收的新数据和从可穿戴器具接收的定向信息来更新在步骤2010处渲染的第一人称VR/AR呈现。该更新可以包括例如更新在用户视线内的虚拟化工业资产上或附近渲染的操作和状态数据的值，以及根据用户的定向的变化(例如，向前或向后移动、或向左或向右转动他或她的头部)来改变呈现的视角或视线。

在2014处，进行是否从可穿戴器具接收到将VR/AR呈现渲染为外部视图的指令的确定。如果未接收到这样的指令(在步骤2014处为否)，则方法返回至步骤2012并且第一人称呈现继续更新。可替选地，如果从可穿戴器具接收到渲染外部视图的指令(在步骤2014处为是)，则方法进行至步骤2016，在步骤2016中，第一人称视图被转换回到外部视图。然后，方法返回至步骤2002并且重复方法。

图21是用于使用可穿戴器具经由虚拟控制面板与工业自动化系统连接的示例方法2100。开始，在2102处，将用于虚拟控制面板的请求从可穿戴器具发送至VR/AR呈现系统，其中，该虚拟控制面板与正在经由可穿戴装置被观看的自动化系统(或装置)相关联。在示例实施方式中，可以基于由可穿戴设备从附加至自动化系统的光学代码读取的标识信息来获得自动化系统或装置的标识。在另一示例性实施方式中，可以基于可穿戴器具的当前位置和定向来推断自动化系统的身份，如基于由可穿戴器具自身生成的位置和定向数据而确定的。

在2104处，将用户信息从可穿戴器具发送至VR/AR呈现系统。用户信息可以由器具的穿戴者提供至可穿戴器具，可以从可穿戴器具上的存储的用户标识信息读取，或者可以从穿戴者读取作为生物数据(例如，经由视网膜扫描或其它方式)。在2106处，进行在步骤2104处发送的用户信息是否识别出被授权与自动化系统连接的用户的确定。如果用户信息未识别出授权用户(在步骤2106处为否)，则方法结束。可替选地，如果用户信息识别出授权用户(在步骤2106处为是)，则方法进行至步骤2108，在步骤2108处，基于从VR/AR呈现系统接收的VR呈现数据将与自动化系统相关联的所请求的虚拟控制面板渲染在可穿戴计算机上。

在2110处，在可穿戴计算机与驻留有自动化系统(或其装置)的工业网络之间建立通信信道。在2112处，经由与虚拟控制面板的交互跨在步骤2110处建立的通信信道与自动化系统交换数据。

图22A是用于通过解决检测到的维护问题的处理生成增强现实呈现以指导工厂人员的示例性方法2200A的第一部分。开始，在2202处，从安装在工业设施处的一组工业资产接收数据。在2204处，在与用户相关联的可穿戴器具上生成增强现实呈现，其中，增强现实呈现基于以下项生成：在步骤2202处接收的工业数据和定义关于工业资产的信息(例如，资产的位置和名称、与资产相关联的设施内的自动化系统或生产区域等)的一个或更多个工厂模型。

在2206处，进行是否基于对在步骤2202处接收到的数据的监测检测到维护问题的确定。可以例如基于以下项来检测维护问题：由工业控制器、HMI、马达驱动器或其他工业资产生成的警报的标识；确定被控制的机器或处理的关键性能指标已经落在允许的公差之外；基于对从安装在工业设施处的视频捕获装置接收的音频或视频数据的分析来检测可能的维护问题；或者其他这样的检测场景。

如果未检测到维护问题(在步骤2206处为否)，则方法返回至步骤2202并且重复步骤2202至步骤2206。可替选地，如果检测到维护问题(在步骤2206处为是)，则方法进行至步骤2208，在步骤2208处，将维护问题的通知发送至可穿戴器具。

在2210处，进行工作流是否可用于维护问题的确定。工作流可以是定义的对纠正检测到的问题已知的一系列步骤，工作流可以被记录为工作流数据，工作流数据可以便于通过工作流指导用户的增强现实呈现的生成。如果没有可用于检测到的问题的工作流(在步骤2210处为否)，则方法结束。可替选地，如果用于检测到的问题的工作流可用(在步骤2210处为是)，则方法进行至步骤2212，在步骤2212处，进行是否留有工作流的未完成步骤的确定。

如果仍然留有工作流的未完成步骤(在步骤2212处为是)，则方法进行至图22B所示的第二部分2200B。在2214处，在可穿戴器具上渲染增强现实工作流呈现。增强现实工作流基于来自可穿戴器具的当前位置和定向数据而生成，并且图形地指示用于执行工作流的当前步骤的指令。增强现实呈现可以包括例如：覆盖在用户的视场上的图形指示符，所述图形指示符指示用户的焦点应该被引导至的位置、机器、装置或部件，以便完成工作流的当前步骤；说明当前步骤的字母数字或声音指令；演示要由用户执行的动作的视频呈现；或其他这样的呈现。增强现实呈现可以根据用户的变化的位置和定向以及正在被处理的工业资产的更新的状态信息来不断更新。

在2216处，进行当前工作流步骤是否已经完成的确定。如果工作流步骤尚未完成(在步骤2216处为否)，则方法返回至步骤2214，并且继续渲染增强现实呈现。可替选地，如果当前工作流步骤已经完成(在步骤2216处为是)，则方法返回至步骤2212，在步骤2212处，进行工作流的步骤是否仍未完成的另一确定。如果额外的工作流步骤仍未完成(在步骤2212处为是)，则为了工作流中的下一步骤，方法再次执行步骤2214和步骤2216。当没有待完成的剩余的工作流步骤时(在步骤2212处为否)，方法结束。

本文描述的实施方式、系统、部件以及工业控制系统和工业自动化环境(其中可以执行本说明书中阐述的各个方面)可以包括能够跨网络进行交互的计算机或网络部件，例如服务器、客户端、可编程逻辑控制器(PLC)、自动化控制器、通信模块、移动计算机、无线部件、控制部件等。计算机和服务器包括：一个或更多个处理器(采用电信号执行逻辑运算的电子集成电路)，其被配置成执行存储在介质例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器以及可移除存储器装置中的指令，其中，可移除存储器装置可以包括存储棒、存储卡、快闪驱动器、外部硬盘驱动器等。

类似地，如本文使用的术语PLC或自动化控制器可以包括可以跨多个部件、系统和/或网络被共享的功能。作为示例，一个或更多个PLC或自动化控制器可以跨网络与各种网络装置进行通信和协作。这可以包括经由网络进行通信的基本上任何类型的控件、通信模块、计算机、输入/输出(I/O)装置、传感器、致动器、仪器以及人机界面(HMI)，其包括控件、自动化和/或公共网络。PLC或自动化控制器还可以与各种其他装置进行通信并且控制各种其他装置，例如包括模拟、数字、编程/智能I/O模块的标准或安全相关的I/O模块、其他可编程控制器、通信模块、传感器、致动器、输出装置等。

网络可以包括公共网络，例如因特网、内联网以及自动化网络，自动化网络例如包括装置网、控制网以及以太网/IP的控制和信息协议(CIP)网络。其他网络包括以太网、DH/DH+、远程I/O、现场总线、Modbus、Profibus、CAN、无线网络、串行协议、近场通信(NFC)、蓝牙等。此外，网络装置可以包括各种可能性(硬件和/或软件部件)。这些包括以下部件：诸如具有虚拟局域网(VLAN)能力的交换机、LAN、WAN、代理、网关、路由器、防火墙、虚拟专用网(VPN)装置、服务器、客户端、计算机、配置工具、监测工具和/或其他装置。

为了针对公开的主题的各个方面提供背景，图23和图24以及以下讨论意在提供对可以实现公开的主题的各个方面的合适环境的简要的一般描述。

参照图23，用于实现上述主题的各个方面的示例环境2310包括计算机2312。计算机2312包括处理单元2314、系统存储器2316以及系统总线2318。系统总线2318将包括但不限于系统存储器2316的系统部件耦接至处理单元2314。处理单元2314可以是各种可用处理器中的任何一种。多核微处理器和其他多处理器架构也可以用作处理单元2314。

系统总线2318可以是数种类型的总线结构中的任何一种，包括使用任何各种可用总线架构的局部总线、外围总线或外部总线和/或存储器总线或存储器控制器，其中，可用总线架构包括但不限于8位总线、工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子(IDE)、VESA局部总线(VLB)、外围部件互连(PCI)、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储卡国际协会总线(PCMCIA)以及小型计算机系统接口(SCSI)。

系统存储器2316包括易失性存储器2320和非易失性存储器2322。基本输入/输出系统(BIOS)(其包含用于例如在启动期间在计算机2312内的元件之间传输信息的基本例程)被存储在非易失性存储器2322中。作为说明而非限制，非易失性存储器2322可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除PROM(EEPROM)或快闪存储器。易失性存储器2320包括用作外部缓冲存储器的随机存取存储器(RAM)。作为说明而非限制，RAM可用于许多形式，例如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。

计算机2312还包括可移除/不可移除、易失性/非易失性计算机存储介质。图23示出了例如磁盘存储装置2324。磁盘存储装置2324包括但不限于诸如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、快闪存储卡或存储棒的装置。此外，磁盘存储装置2324可以单独包括存储介质，或者包括与其他存储介质组合的存储介质，其中，其他存储介质包括但不限于光盘驱动器例如紧致盘ROM装置(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用盘ROM驱动器(DVD-ROM)。为了便于磁盘存储装置2324与系统总线2318的连接，通常使用可移除或不可移除的接口，例如接口2326。

应当理解，图23描述了用作用户与在合适的操作环境2310中描述的基本计算机资源之间的中介的软件。这样的软件包括操作系统2328。可以存储在磁盘存储装置2324上的操作系统2328用于控制和分配计算机2312的资源。系统应用2330通过存储在系统存储器2316中或在磁盘存储装置2324上的程序模块2332和程序数据2334来利用操作系统2328对资源的管理。应当理解，可以使用各种操作系统或操作系统的组合来实现本主题公开内容的一个或更多个实施方式。

用户通过(一个或更多个)输入装置2336将命令或信息输入至计算机2312中。输入装置2336包括但不限于指针装置例如鼠标、轨迹球、触控笔、触摸垫、键盘、麦克风、操纵杆、游戏垫、卫星天线、扫描仪、TV调谐卡、数码摄像机、数码视频摄像机、网络摄像机等。这些和其它输入装置经由(一个或更多个)接口端口2338通过系统总线2318连接至处理单元2314。(一个或更多个)接口端口2338包括例如串行端口、并行端口、游戏端口以及通用串行总线(USB)。(一个或更多个)输出装置2340使用一些与(一个或更多个)输入装置2336相同类型的端口。因此，例如，USB端口可以用于向计算机2312提供输入，并且从计算机2312向输出装置2340输出信息。提供输出适配器2342以说明在其他输出装置2340中存在需要特殊的适配器的一些输出装置2340例如监视器、扬声器和打印机。输出适配器2342包括作为说明而非限制的视频和声卡，其提供输出装置2340与系统总线2318之间的连接方式。应当注意，其他装置和/或装置的系统提供输入和输出能力二者，例如(一个或更多个)远程计算机2344。

计算机2312可以使用与一个或更多个远程计算机例如(一个或更多个)远程计算机2344的逻辑连接在网络环境中操作。(一个或更多个)远程计算机2344可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的器具、对等装置或其他公共网络节点等，并且远程计算机2344通常包括相对于计算机2312描述的许多元件或全部元件。为了简洁，仅示出了与(一个或更多个)远程计算机2344一起的存储器存储装置746。(一个或更多个)远程计算机2344通过网络接口2348逻辑地连接至计算机2312，然后经由通信连接2350物理连接。网络接口2348包括通信网络，例如局域网(LAN)和广域网(WAN)。LAN技术包括光纤分布式数据接口(FDDI)、铜分布式数据接口(CDDI)、以太网/IEEE 802.3、令牌环/IEEE802.5等。WAN技术包括但不限于点对点链路、诸如集成服务数字网络(ISDN)及其变型的电路交换网络、分组交换网络以及数字用户线路(DSL)。网络接口2348还可以包括近场通信(NFC)或蓝牙通信。

(一个或更多个)通信连接2350指用于将网络接口2348连接到系统总线2318的硬件/软件。虽然为了说明的清楚在计算机2312内示出通信连接2350，但是通信连接2350也可以在计算机2312的外部。仅为了示例性目的，对于连接至网络接口2348必要的硬件/软件包括内部和外部技术，例如包括常规电话级调制解调器、电缆调制解调器以及DSL调制解调器的调制解调器、ISDN适配器以及以太网卡。

图24是可以与公开的主题交互的样本计算环境2400的示意性框图。样本计算环境2400包括一个或更多个客户端2402。(一个或更多个)客户端2402可以是硬件和/或软件(例如，线程、进程、计算装置)。样本计算环境2400还包括一个或更多个服务器2404。(一个或更多个)服务器2404还可以是硬件和/或软件(例如，线程、进程、计算装置)。例如，服务器2404可以容纳线程，以通过采用如本文描述的一个或更多个实施方式来执行变换。客户端2402与服务器2404之间的一种可能的通信可以是适于在两个或更多个计算机进程之间传输的数据包的形式。样本计算环境2400包括通信框架2406，通信框架2406可以用于便于(一个或更多个)客户端2402与(一个或更多个)服务器2404之间的通信。(一个或更多个)客户端2402可操作地连接至一个或更多个客户端数据存储器2408，客户端数据存储器2408可以用于存储(一个或更多个)客户端2402的本地信息。类似地，(一个或更多个)服务器2404可操作地连接至一个或更多个服务器数据存储器810，服务器数据存储器810可以用于存储服务器2404的本地信息。

以上所描述的内容包括本主题发明的示例。当然，为了描述所公开的主题的目的，不可能描述部件或方法的每个可想到的组合，但本领域技术人员可以认识到本主题发明的许多进一步的组合和排列是可能的。因此，所公开的主题旨在涵盖落入所附权利要求的精神和范围内的所有这样的更改、修改和变化。

特别地，并且对于由上述部件、装置、电路和系统等执行的各个功能，除非另有说明，否则用于描述这样的部件的术语(包括提及“装置”)旨在与执行所描述的部件的指定功能(如功能等同物)的任何部件相对应，尽管其在结构上与所公开的结构不等同，但执行本文所示的所公开主题的示例方面中的功能。在这一点上，还将认识到，所公开的主题包括具有用于执行所公开主题的各种方法的动作和/或事件的计算机可执行指令的计算机可读介质以及系统。

另外，尽管可能已经针对若干实现中的仅一个实现公开了所公开主题的特定特征，但是这样的特征可以与如对于任何给定或特定应用来说可能是期望和有利的其他实现中的一个或更多个其他特征进行组合。此外，就具体实施方式或权利要求中使用术语“包括”和“包含”及其变型来说，这些术语以与术语“含有”相类似的方式旨在是包含性的。

在本申请中，词语“示例性”用于意指用作示例、实例或说明。本文中被描述为“示例性”的任何方面或设计不一定被解释为优于或胜过其他方面或设计。相反，使用词语示例性旨在以具体形式呈现构思。

本文中所描述的各个方面或特征可以被实现为方法、设备、或使用标准编程和/或工程技术的制造的物品。如本文中所使用的术语“制造的物品”意在包括能够从任何计算机可读装置、载体或介质访问的计算机程序。例如，计算机可读介质可以包括但不限于：磁存储装置(例如，硬盘、软盘、磁条……)、光盘(例如，紧致盘(CD)、数字多功能盘(DVD)……)、智能卡和快闪存储器装置(例如，卡、条、键驱动器……)。

Claims (18)

1.一种系统，包括：

存储器，其存储可执行部件；以及

可操作地耦接至所述存储器的处理器，其执行所述可执行部件，所述可执行部件包括：

装置接口部件，其被配置成从与工业设施相关联的工业装置接收工业数据，所述工业装置至少包括工业控制器，所述工业控制器从至少一个工业输入装置接收输入数据，并将输出数据发送至一个或更多个工业输出装置；

客户端接口部件，其被配置成从可穿戴器具接收身份数据、位置数据和定向数据，其中，所述身份数据定义与所述可穿戴器具相关联的用户身份，并且所述位置数据和所述定向数据分别指示所述可穿戴器具的当前位置和定向；

监测部件，其被配置成监测所述工业数据，并且基于确定所述工业数据的子集满足指示维护问题的条件来识别所述维护问题的发生；以及

渲染部件，其被配置成：响应于识别到所述维护问题来检索定义用于纠正所述维护问题的工作流的工作流数据，并且基于所述工作流数据、所述身份数据、所述位置数据和所述定向数据来生成增强现实呈现数据，所述增强现实呈现数据在所述可穿戴器具上渲染增强现实呈现，

其中所述可穿戴器具是第一可穿戴器具，

所述客户端接口部件还被配置成从所述可穿戴器具接收定义字母数字消息的虚拟笔记数据、所述字母数字消息所属的工业资产的指示以及用于所述字母数字消息的观看准许准则，并且

所述渲染部件还被配置成：响应于确定第二可穿戴器具的当前位置和当前定向使所述工业资产处于所述第二可穿戴器具的视场内以及所述第二可穿戴器具与满足所述观看准许准则的用户身份相关联，将所述字母数字消息渲染在所述第二可穿戴器具上。

2.根据权利要求1所述的系统，其中，所述渲染部件被配置成：基于所述身份数据与所述维护问题的类型或所述维护问题的位置中至少之一之间的关联来选择用于传送所述增强现实呈现数据的可穿戴器具。

3.根据权利要求1所述的系统，其中，

所述工作流数据定义要被执行以纠正所述维护问题的步骤序列，并且

所述渲染部件被配置成：对于所述步骤序列的当前步骤，在所述可穿戴器具上渲染图形指示，所述图形指示提供关于所述当前步骤的执行的指令。

4.根据权利要求3所述的系统，其中，所述渲染部件被配置成在所述可穿戴器具的显示区域内的基于所述位置数据和所述定向数据而选择的位置处渲染所述图形指示。

5.根据权利要求3所述的系统，其中，所述图形指示包括以下项中至少之一：字母数字指令；图形箭头，其渲染在所述可穿戴器具的显示屏上，指示朝向所述维护问题的方向；图形指示符，其渲染在所述显示屏的识别要被执行所述当前步骤的工业装置或机器部件的位置处；所述当前步骤已经被正确执行的指示；或者所述当前步骤未被正确执行的指示。

6.根据权利要求3所述的系统，其中，所述渲染部件还被配置成将演示所述当前步骤的执行的视频渲染在所述可穿戴器具上。

7.根据权利要求1所述的系统，其中，所述渲染部件被配置成基于所述维护问题从存储在所述存储器上的定义的工作流的库中选择所述工作流数据。

8.根据权利要求1所述的系统，其中，所述维护问题是以下项中至少之一：关键性能指标偏离定义的范围；检测到机器故障或装置故障；或者所述工业装置中的一个工业装置或机器的警报状况。

9.根据权利要求3所述的系统，其中，

所述监测部件还被配置成基于对所述工业数据、所述位置数据或所述定向数据中的至少一个的监测来检测与所述工作流的偏差，并且

所述渲染部件还被配置成响应于通过所述监测部件检测到与所述工作流的偏差将纠正指令渲染在所述可穿戴器具上。

10.根据权利要求9所述的系统，其中，所述监测部件还被配置成：基于与所述工作流的偏差的数目或所述工作流的完成速度中的至少一个来计算性能度量，并且与所述用户身份相关联地存储所述性能度量。

11.一种方法，包括：

通过包括处理器的系统接收由工业设施的工业装置生成的工业数据，所述工业装置至少包括工业控制器，所述工业控制器从至少一个工业输入装置接收输入数据，并将输出数据发送至一个或更多个工业输出装置；

通过所述系统接收指定与可穿戴器具相关联的用户身份的身份数据、指定所述可穿戴器具的当前位置的位置数据以及指定所述可穿戴器具的当前定向的定向数据；

通过所述系统监测所述工业数据；

基于通过所述监测确定所述工业数据的子集满足指示维护问题的条件，通过所述系统识别所述维护问题的发生；

响应于识别到所述维护问题，通过所述系统检索定义用于纠正所述维护问题的工作流的工作流数据；以及

通过所述系统基于所述工作流数据、所述身份数据、所述位置数据和所述定向数据来生成增强现实呈现数据，所述增强现实呈现数据在所述可穿戴器具上渲染增强现实呈现，

其中所述可穿戴器具是第一可穿戴器具，并且所述方法还包括：

通过所述系统从所述第一可穿戴器具接收包括字母数字消息的虚拟笔记数据、所述字母数字消息所属的工业资产的指示以及用于所述字母数字消息的观看准许准则；以及

响应于确定第二可穿戴器具的当前位置和当前定向使所述工业资产放置在所述第二可穿戴器具的视场内以及所述第二可穿戴器具与满足所述观看准许准则的用户身份相关联，通过所述系统将所述字母数字消息渲染在所述第二可穿戴器具上。

12.根据权利要求11所述的方法，还包括：通过所述系统基于所述身份数据与所述维护问题的类型或所述维护问题的位置中至少之一之间的关联来选择用于传送所述增强现实呈现数据的可穿戴器具。

13.根据权利要求11所述的方法，其中，所述工作流数据定义要被执行以纠正所述维护问题的步骤序列，并且所述方法还包括：

对于所述步骤序列的当前步骤，通过所述系统在所述可穿戴器具上渲染图形指示，所述图形指示指导所述当前步骤的执行；以及

响应于基于对所述位置数据、所述定向数据、所述工业数据或企业数据中至少之一的监测而确定所述当前步骤未被正确执行或正在以可能阻止所述步骤序列的下一步骤的执行的方式被执行，在所述可穿戴器具上渲染反馈数据，所述反馈数据指示所述当前步骤未被正确执行。

14.根据权利要求13所述的方法，其中，渲染所述图形指示包括：将所述图形指示渲染在所述可穿戴器具的显示屏上的基于所述位置数据和所述定向数据而选择的位置处。

15.根据权利要求13所述的方法，其中，渲染所述图形指示包括渲染以下项中至少之一：字母数字指令；图形箭头，其渲染在所述可穿戴器具的显示屏上，指示朝向所述维护问题的方向；图形指示符，其渲染在所述显示屏的识别要被执行所述当前步骤的工业装置或机器部件的位置处；所述当前步骤已经被正确执行的指示；或者所述当前步骤未被正确执行的指示。

16.根据权利要求13所述的方法，其中，渲染所述图形指示包括将演示所述当前步骤的执行的视频渲染在所述可穿戴器具上。

17.一种存储有指令的非暂态计算机可读介质，所述指令响应于执行而使包括处理器的系统执行操作，所述操作包括：

接收由工业设施的工业装置生成的工业数据；

接收识别与可穿戴器具相关联的用户身份的身份数据；

接收识别所述可穿戴器具的当前位置的位置数据；

接收识别所述可穿戴器具的当前定向的定向数据；

基于对所述工业数据的监测，基于确定所述工业数据的子集满足指示维护问题的条件来识别所述维护问题的发生；

响应于所述识别，检索定义用于纠正所述维护问题的工作流的工作流数据；以及

基于所述工作流数据、所述身份数据、所述位置数据和所述定向数据在所述可穿戴器具上渲染增强现实呈现，

其中所述可穿戴器具是第一可穿戴器具，并且所述操作还包括：

从所述第一可穿戴器具接收包括字母数字消息的虚拟笔记数据、所述字母数字消息所属的工业资产的指示以及用于所述字母数字消息的观看准许准则；以及

响应于确定第二可穿戴器具的当前位置和当前定向使所述工业资产放置在所述第二可穿戴器具的视场内以及所述第二可穿戴器具与满足所述观看准许准则的用户身份相关联，将所述字母数字消息渲染在所述第二可穿戴器具上。

18.根据权利要求17所述的非暂态计算机可读介质，其中，基于以下项中至少之一来选择所述工作流数据：对与识别到所述维护问题的机器有关的工业数据的子集的分析；机器历史数据，其记录识别到所述维护问题的机器的维护历史或操作历史；所述机器的当前状态；对企业数据的分析；或者用户信息。

Images