CN109559380A - 过程控制环境的3d映射 - Google Patents

过程控制环境的3d映射 Download PDF

Info

Publication number
CN109559380A
CN109559380A CN201811124251.5A CN201811124251A CN109559380A CN 109559380 A CN109559380 A CN 109559380A CN 201811124251 A CN201811124251 A CN 201811124251A CN 109559380 A CN109559380 A CN 109559380A
Authority
CN
China
Prior art keywords
mobile device
user
real world
node
world objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811124251.5A
Other languages
English (en)
Inventor
J·A·克鲁斯
T·D·施莱斯
B·M·毕晓普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fisher Rosemount Systems Inc
Original Assignee
Fisher Rosemount Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fisher Rosemount Systems Inc filed Critical Fisher Rosemount Systems Inc
Publication of CN109559380A publication Critical patent/CN109559380A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

在映射现实世界过程控制环境的方法中，在参考位置处注册移动设备，并且使用惯性测量单元跟踪移动设备的3D位置和定向。检测指示要将新节点添加到过程控制环境的3D地图的用户输入，并且基于所跟踪的移动设备的3D位置和定向确定或致使确定现实世界对象相对于参考位置的3D位置。至少通过将现实世界对象的3D位置与新节点相关联地存储来使节点数据库将新节点添加到过程控制环境的3D地图。

Description

过程控制环境的3D映射
技术领域
本公开内容总体上涉及增强现实技术，并且更具体而言，涉及可以在过程控制或其他环境中使用的增强现实平台。
背景技术
在现实世界环境中提供数字信息覆盖图(例如，文本、图像、动画等)的增强现实(AR)系统随着该技术的新应用被探索而变得越来越普遍。AR系统通常提供特定于用户的当前现实世界周围环境的上下文的信息。对于这样的系统，通常需要现实世界的知识，例如当前在用户视图中的物理事物的知识，以及用户的当前位置处和周围的物理布局的知识。为了使这种信息可用于AR系统，通常创建表示用户环境及其中的对象的三维(3D)数字模型。然后可以利用与环境中的特定位置和/或特定对象有关的特定类型的数据(例如，描述)、图形(例如，图标)等来增强3D模型。当配备有适当的AR设备的用户移动通过映射环境时，可以通过在用户的现实世界视图(例如，实时相机视图或用户观察环境的平视显示器(HUD))上覆盖数字信息，将增强部分渲染/显示给用户，而无需渲染/显示3D模型的其余部分。
传统上，这种3D模型由人类设计者手动和/或使用3D扫描仪构造。然而，对于涉及具有复杂布局和/或大量对象的环境的应用，这两种方法可能都是非常耗费时间和劳动力的。此外，对环境的任何改变(例如，当在环境中移动或替换/更新对象时)可能需要重复整个建模过程，或者需要其他耗费时间和劳动力的过程。
当前的AR系统也可能遭受其他缺点。例如，当在相对密集的环境(例如，具有紧邻的多个对象和/或具有要在AR视图中显示的大量信息的环境)中使用时，AR系统可能使用户遭受到大量信息的影响，很容易导致感觉负担过重，和/或用户可能不容易察觉所有信息的上下文。此外，一些对象可能在AR视图中被遮挡。例如，对象可以位于壳体内，或者可以位于难以接近或不方便(例如，遥远)的位置。
发明内容
本文公开了用于提供增强现实体验的技术、系统、装置和方法。所述技术、系统、装置和方法可以应用于工业过程控制系统、环境和/或工厂，例如，其可以在本文中互换地称为“过程控制”或“过程”系统、环境和/或工厂。通常，这种系统和工厂以分布式方式提供对一个或多个过程的控制，这些过程运行以制造、精炼或以其他方式转化原始物理材料以生成或生产产品。然而，在一些实施例中，本文描述的技术、系统、装置和方法可以用在其他类型的环境中，和/或用在除增强现实之外的上下文中(例如，在虚拟现实(VR)上下文中)。
通常，过程控制环境可以引起上面在“背景技术”部分中讨论的与生成和使用传统增强现实(AR)系统或平台相关联的许多各种困难。例如，这种环境通常包含大量不同的对象(例如，罐、泵、阀、马达、变送器等)，这些对象非常靠近和/或与大量信息(例如，传感器读数、诊断状态等)相关联。而且，可能经常移动或更换这些对象。
本文描述的AR平台可以克服或改善这些困难中的一些或全部，因此非常适合用于过程控制环境。利用AR平台，由用户使用AR移动设备生成三维(3D)模型。AR移动设备可以是AR头盔、AR头戴式耳机、AR眼镜、智能眼镜、智能电话、平板电脑或能够支持位置跟踪(如下所述)并且可以向用户呈现AR体验的任何其他合适类型的移动设备。
3D模型指示在过程控制环境内的对应于不同现实世界对象(例如，现场设备、罐、输送机、控制器、开关等)的感兴趣的3D地点/位置点。添加到3D模型的对象在本文中称为AR平台或系统的“节点”。如本文使用的术语，“对象”(也称为“现实世界对象”)可以是任何物理事物(例如，设备、部件、装备、结构等)、事物的一部分(例如，设备或部件的元件等)、或事物的组合(例如，一组相关设备或部件等)。在过程控制环境中，例如，对象可以是现场设备(例如，阀、泵、传感器等)、设备件(例如，输送机、罐等)、过程控制器、开关等。
在一些实施方式中，当AR应用在AR移动设备上启动时(例如，具体地当由用户启动时，或者在设备加电时)，用户在某个参考或“地标”位置处“登记”或注册AR移动设备。例如，用户可以利用AR移动设备的相机在地标位置扫描QR码或代码/标识符的另一视觉表示。扫描代码的操作可以为用户/设备建立起始位置(例如，{x,y,z}空间中的坐标{0,0,0})。
在注册之后，用户可以开始带着AR移动设备物理地移动通过过程控制环境。合适的定位技术(例如，由用户的AR移动设备提供)可用于跟踪用户通过过程工厂的移动。因为GPS或GNSS单元在许多过程工厂环境中不能很好地运行并且不能提供定向数据或精确的高度数据(特别是对于室内的过程控制环境)，所以可以使用其他定位和/或定向技术。例如，AR移动设备相对于地标位置的位置，以及AR移动设备的定向(例如，AR移动设备的相机的视野的方向，该方向可以对应于用户面对的方向)可以使用惯性测量单元(IMU)数据(例如，由加速度计、陀螺仪等生成)和相机图像数据的融合来跟踪。在一个实施方式中，例如，由 开发的视觉-惯性测距(VIO)技术用于跟踪位置和定向。
当到达要作为节点添加的现实世界对象处或附近时，并且在面对对象的方向(例如，在佩戴AR头盔或眼镜的情况下)或以其他方式将设备相机指向对象(例如，在设备是平板电脑或智能电话的情况下)时，用户可以选择添加新节点的选项。例如，AR移动设备可以在用户说出语音命令“添加节点”时识别该语音命令，或者(例如，如果设备是平板电脑或智能电话)AR移动设备可以允许用户选择“添加节点”或AR移动设备显示器的图形用户界面(GUI)上的类似选项/控件。然后，AR移动设备可以捕捉对象的图像，并处理该图像以估计AR移动设备和对象之间的距离。可替换地，可以使用其他传感器(例如，激光雷达、雷达等)来确定AR移动设备和对象之间的距离。然后，AR移动设备可以基于AR移动设备的当前位置和定向以及AR移动设备和对象之间的距离来确定对象相对于地标位置的位置。可替换地，远程服务器或其他计算设备/系统可以处理由AR移动设备捕捉的图像数据以确定相对于地标位置的对象位置。
用户还可以指定新节点(例如，阀、泵等)的名称或类型和/或其他信息(例如，对象的型号或其他标识符，对象的简短描述等)。然后，可以将指定的信息与AR系统的后端数据库中的新节点相关联。后端数据库可以包含由用户(以及可能还有其他用户)添加的节点库，以及相对于地标位置的相关3D位置，以共同建立过程控制环境中的对象/资产的虚拟3D“地图”。例如，数据库还可以存储其他节点信息，例如相关和/或连接节点的列表。
在特定过程控制环境中的至少一个感兴趣的对象被映射(即，被使用AR移动设备添加到节点库)之后，在地标位置注册其AR移动设备的任何用户(包括映射用户)可以进行过程控制环境的增强之旅。当具有注册的AR移动设备的用户将AR移动设备的相机的视野指向包括特定现实世界对象的区域时(例如，如果用户在佩戴AR头盔或眼镜时看着该区域)，并且如果对象已经与节点库中的节点相关联，则AR移动设备可以用节点“标记”(例如，文本、图标、图形等)来增强用户观察到的现实世界场景，该节点“标记”对于用户而言，看起来如同位于对象在用户的现实世界视图中的坐标处或附近。
如果用户选择特定节点(例如，通过聚焦在节点标记，或发出语音命令等)，则AR移动设备可以使用户可以使用一个或多个“节点体验”。例如，一个节点体验可以在用户的现实世界视图上叠加文本(节点名称、描述等)，表格和/或图形/图标。例如，其他节点体验可以叠加来自特定URL的web内容(例如，指导或“帮助”视频)，或者可以叠加到其他对象/节点的物理或逻辑连接的显像、和/或与其他对象/节点的关系的显像。又一些节点体验可以包括检索与对象/节点相关联的工作命令(work order)，在用户与远程位置处的适当专家之间建立通信链接等等。在一些实施方式中，至少一个节点体验在用户正在观察的对象的特定上下文中启动(或链接到)一个或多个其他软件应用或系统。例如，AR移动设备可以在视野中叠加用于所选对象/节点(例如，现场设备)的传感器数据、状态和/或虚拟控制，其中数据是从不同的应用接收的(并且到控件的用户输入被传送到这些不同的应用)。
可以至少部分地基于用户的“角色”确定对给定节点的用户可用的体验，在特定节点体验内呈现的内容的类型，和/或在一些实施方式中，任何增强信息是否完全对给定节点的特定用户可用。例如，特定用户可以使用AR移动设备来选择“操作员”角色、“维护者”角色或“工程师”角色，或者可以被预先分配这样的角色。
还可以向用户提供许多其他特征。在一些实施方式中，例如，可以通过创建超逼真或伪逼真的3D模型显像来向用户提供虚拟“x射线视觉”，该超逼真或伪逼真的3D模型显像当被叠加在用户的现实世界视图上时，可以看起来如同用户正在看隐藏在壳体内(例如，在机柜内)或障碍物后面的对象。AR移动设备还可以向用户呈现(和/或使用户能够选择)与隐藏对象相关联的某些节点体验，诸如查看与隐藏对象相关联的状态数据或警报，发出语音命令以控制隐藏对象的操作等。
作为另一示例，AR移动设备可以在用户的现实世界视图上叠加接近受限和/或远程的对象/节点的“化身”。例如，对象可以位于高塔的顶部，或者处于有毒或高电压区域中等。与隐藏对象一样，可以向用户提供某些节点体验，这些节点体验提供与接近受限/远程的对象各种交互。在隐藏对象(“X射线视觉”)和接近受限/远程的对象实施方式/场景中，当用户与对象交互时，可以向用户提供非常类似于使对象/节点就在用户前面并且对用户明显可见的整体体验。
AR平台也可以支持其他类型的功能。例如，用户的当前位置可以触发各种警报(例如，用户处于危险区域的警告)和/或其他信息显示。作为另一个示例，可以出于各种目的跟踪/记录用户在过程工厂内的当前和/或历史3D位置，这些目的为例如确保在紧急情况下员工疏散，确保员工不受伤或者不需要医疗救助，或监视某些员工的培训。
上面和更下面描述的AR平台可以根据具体实施方式提供许多优点。例如，相比于使用传统手段(例如，使用3D扫描仪来映射环境)而言，通过仅映射某些对象的相对3D位置可以更容易和高效地生成3D模型。同样，可以更快速和容易地执行过程控制环境内的对象的更新或重新配置。此外，通过使用本文描述的映射过程，并且通过如本文所述的跟踪AR移动设备/用户的移动，AR平台可以确定何时向用户提供增强信息，而无需改装或者以其他方式配备具有短程通信技术(例如，蓝牙或近场通信(NFC)单元)的对象的费用和/或时间，并且无需用户导航环境(例如，扫描对象上的QR码，对象标识符的手动数据输入、物理连接到对象等)的耗时操作。因此，可以减少或消除特别是在过程控制环境中部署AR系统的传统障碍。
作为另一示例，AR平台通常可以提供市场，其中第三方可以提供对应于与对象/节点的不同用户交互的新的、定制的类型或类别的“节点体验”，和/或可以为现有节点体验提供新内容。例如，仪表供应商或其他实体可以提供对“帮助”信息的订阅，或者对特定对象的基于AR或视频的工作指导的订阅。在一些实施例中，虚拟“应用商店”可以允许客户许可各种应用，和/或订阅客户的移动工作人员所需的特定类型的内容。
此外，促成显示/查看模糊、远距离和/或接近受限的节点的增强信息的特征可以节省用户的时间(并因此节省成本)，并且在一些实施方式和/或场景中，可以通过避免需要访问危险区域来提高工作人员的安全。
此外，AR平台架构可以是高度灵活的。AR平台可以促成在各种不同平台上向用户显示相关信息，不同平台为例如智能头盔、智能眼镜、智能电话、平板电脑等。AR平台还可以促成与许多其他软件应用(例如，能够检索指示控制逻辑、设备读数等数据的过程控制软件)的交互，和/或允许容易地提供新的体验、内容或其他功能。
如上所述，本文描述的某些实施方式和/或特征不需要在AR系统中使用，和/或不需要在过程控制环境中使用。例如，可以基于对象在工厂内的映射3D位置和用户的当前位置和定向来为具有智能电话、平板电脑或其他移动设备的用户呈现“节点体验”，而无需将这些体验作为AR显示来提供(例如，使用虚拟现实显示器或简单地GUI)。作为另一示例，本文描述的技术可以应用于除过程控制环境之外的环境中，诸如在办公室空间、仓库、医院等中。
附图说明
图1是示出示例性增强现实(AR)系统的方框图，其提供可以支持本文描述的各种方法、技术、功能和/或特征的AR平台。
图2是示出其中可以利用图1的AR系统的示例性过程控制环境的部件的方框图。
图3示出了过程控制环境中的节点的示例性三维(3D)图。
图4A到4H示出了可以叠加在AR移动设备提供的视野上的示例性用户界面。
图5A和5B示出了可以在AR平台中使用的数据库的示例性元素。
图6示出了其中向AR移动设备的用户提供虚拟x射线视觉的示例性实施例和场景。
图7A和7B示出了可以叠加在AR移动设备提供的视野上的示例性用户界面，用以提供用户和远离用户或者难以接近的对象之间的虚拟邻近度。
图8是用于使用移动设备映射现实世界过程控制环境的示例性方法的流程图。
图9是用于在现实世界过程控制环境中向AR移动设备的用户提供虚拟增强视觉的示例性方法的流程图。
图10是用于促成AR移动设备的用户与处于过程控制环境的远程或接近受限的区域中的现实世界对象之间的交互的示例性方法的流程图。
具体实施方式
示例性增强现实系统
图1示出了示例性增强现实(AR)系统10，其通常可以提供用于在环境(例如，过程控制环境)中提供AR体验的AR平台。AR系统10包括用户的AR移动设备12，以及可以经由网络16通信地耦合到AR移动设备12的后端服务器14。AR移动设备12可以是具有适当处理和感测能力并且能够被用户佩戴或以其他方式携带的任何计算设备。例如，AR移动设备12可以是专门为AR配置的设备，例如AR头盔(例如，由开发的Smart)或AR眼镜。可替换地，AR移动设备12可以是也具有非AR应用，但是执行将设备12配置为具有AR能力的软件应用的设备(例如，平板电脑、智能电话、智能眼镜、智能手表等)。虽然图1仅描绘了一个AR移动设备12，但是应当理解，可以以类似的方式在AR系统10中使用与AR移动设备12相同或不同的更多数量的AR移动设备。
AR移动设备12通常被配置为通过利用上下文信息(例如，文本、图形、动画等)增强用户的现实世界视图来向用户提供AR体验。后端服务器14通常通过以下方式来支持用户和其他AR移动设备的用户的AR体验：管理指定在特定情况下应如何增强用户的现实世界视图的数据，从AR移动设备接收指示AR设备和/或用户的当前状态和/或环境的数据，并且根据需要向AR移动设备提供数据。
网络16包括一个或多个无线网络，并且可能还包括一个或多个有线网络。在图1的示例性实施例中，AR系统10的AR平台利用基于云的架构，并且网络16包括互联网。如果在室内使用AR系统10，则网络16还可以包括不需要与远程塔或基站进行任何直接通信的无线网络，例如IEEE802.11或“WiFi”网络。然而，在其他实施例中，网络16包括蜂窝网络(例如，LTE、GSM等)。如下面进一步讨论的，AR系统10还可以包括通信地耦合到后端服务器14和/或AR移动设备12并且共同存储和执行一个或多个应用19的一个或多个其他服务器18。
如在图1的示例性实施例中所见，AR移动设备12可以包括网络接口20、显示器22、相机24、惯性测量单元(IMU)26和存储AR应用32的存储器30。网络接口20被配置为实现使用网络16(例如，WiFi或蜂窝网络)的至少一部分的无线通信协议与远程计算设备和系统(包括后端服务器14)的通信。
显示器22可以包括根据任何合适类型的数字显示技术配置的硬件和相关固件和/或软件。例如，显示器22可以使用液晶显示器(LCD)技术、发光二极管(LED)技术、有机发光二极管(OLED)技术等。显示器22通常可以是透明或半透明的，或者可以是不透明的。显示器22的结构或形状因子，以及显示器是透明/半透明还是不透明的，通常取决于AR移动设备12的类型。例如，如果AR移动设备12是头盔，则显示器22可以具有护目镜的形式，并且可以是半透明的，使得显示器22显示的任何信息叠加在用户的直接现实世界视图上(即，“平视显示器”或“HUD”)。相反，如果AR移动设备12是平板电脑或智能电话，则显示器22可以具有传统的矩形形状因子，并且可以仅允许现实世界的间接视图(例如，由相机24拍摄)。
相机24可以是任何合适类型的光学传感器，例如电荷耦合器件(CCD)图像传感器。在替代实施例中，相机24替代地或者还包括不同类型的成像器件，例如光检测和测距(激光雷达)传感器或雷达传感器。IMU 26可以包括一个或多个传感器(例如，加速度计和/或陀螺仪)，其生成指示AR移动设备12在三个维度上的移动的数据。虽然图1中未示出，但是AR移动设备还可以具有其他部件，例如话筒和/或扬声器。
存储AR应用32的存储器30可以是任何合适类型的永久存储器，例如固态或硬盘形式的只读存储器(ROM)。AR应用32通常例如通过在显示器22上生成适当的增强信息并根据需要与后端服务器14进行通信来协调AR移动设备12的用户的AR体验。图1示出了对应于可以由AR应用32执行或提供的示例性功能或特征的模块集合，包括角色标识模块40、注册模块42、定位和定向模块44、节点体验模块46、节点创建模块48、视觉增强模块50和基于位置的警报模块52。下面将结合AR系统10的操作进一步讨论模块40-52中的每一个。在一些实施例中，AR应用32包括比图1中所示的模块更少、更多和/或不同的模块。例如AR应用32可以包括用于识别用户语音命令的语音识别模块。
同样在图1的示例性实施例中，后端服务器14包括web服务接口60、体验提供单元62、3D模型生成单元64、视觉增强单元66、警报生成单元68和用户监视单元70。通常，web服务接口60可以向耦合到后端服务器14(或包括在后端服务器14内)的AR数据库72提供面向对象的基于web的接口。在一些实施例中，web服务接口60向诸如AR移动设备12的远程设备提供应用编程接口(API)。
AR数据库72通常存储定义特定环境的3D地图的信息(例如，通过存储节点标识符，3D地图内的节点相对于地标的位置，以及与节点相关联的可能的其他信息)，并且在下面结合图5A和5B被更详细地讨论(根据一个特定实施例)。AR数据库72可以是单个数据库或数据库集合，并且可以存储在单个物理存储器中，或者分布在一个或多个地理位置处的多个存储器中。元件/单元60至70中的一个、一些或全部可以实现为存储在永久存储器(例如，ROM)上的软件指令。在其他实施例中，后端服务器14包括比图1中所示的元件/单元更少、更多和/或不同的元件/单元。
在操作中，佩戴或以其他方式携带AR移动设备12的用户可以使AR移动设备12启动AR应用32。例如，可以通过在显示器22上手动选择图标、发出语音命令，或者简单地为AR移动设备12加电来启动AR应用32。
在一些实施例中，AR应用32的角色标识模块40最初(例如，在启动时)提示用户指示特定“角色”，其可以对应于用户的作业位置，和/或可以对应于例如，用户试图通过使用AR系统10来完成的一个或多个特定任务。在其他实施例中，首先提示用户在稍后的时间(例如，如下所述，在地标处注册之后)指示他或她的角色。以下结合图4A讨论角色标识模块40可以在显示器22上或通过显示器22看到的现实世界视图(例如，在由相机24拍摄的图像帧上，或在用户的直接现实世界视图上)上叠加的一个示例性用户界面。在替代实施例中，角色标识模块40不提示用户选择角色，而是基于AR移动设备12的标识符和/或用户输入或说出的标识(例如，名称、员工编号等)确定用户的预先分配的角色。
所选择或分配的用户角色可以调节提供给用户的AR体验的各个方面，如下面进一步讨论的。根据实施例，用户角色一旦被选择或分配后就可以是固定的了，或者可以随着用户移动通过环境而由他或她即时改变。在一些实施例中，角色标识模块40不包括在AR应用32中，并且在AR系统10内没有选择或分配用户角色。
在映射环境之前，或者在更新或探索先前映射的环境之前，在一些实施例中，用户可能需要在“地标”处注册AR移动设备12，其位置随后被将用作AR移动设备12(等同地，用户)的未来移动的参考点。相同的地标位置还用作环境中已经作为3D地图的节点建立(或将要建立)的任何对象的位置的参考点，从而能够确定AR移动设备12相对于任何映射对象的位置。地标位置可以例如表示{x,y,z}坐标系中的{0,0,0}，或者可以使用其他坐标系(例如，极坐标)。
为了注册AR移动设备12，注册模块42可以处理由相机24捕捉的一个或多个图像/帧。地标可以是QR码，或者物理打印在地标位置处(例如，在过程控制工厂内的区域的入口附近的墙壁或门上)的任何其他合适类型的图像或文本。在一些实施例中，注册模块42或AR应用32的另一部分可以在提供给用户的现实世界视图内叠加标线(例如，如下面相关于图4E所讨论的)，以帮助用户聚焦在QR码、图像上。在一些实施例中，使用不同的技术来识别地标，例如AR移动设备12与固定在地标位置处的另一设备的互补蓝牙或NFC通信单元。
在一些实施例中，当用户在特定地标处注册AR移动设备24时，注册模块42经由网络16和web服务接口60将指示地标的标识符的数据(例如，通过传送QR码的二进制表示，或者在解码图像之前传送QR码的图像)转发到后端服务器14。后端服务器14然后可以将地标标识符与存储在AR数据库72中的地标标识符(如果有的话)进行比较。如果尚未存储标识符，则后端服务器14可以经由web服务接口60和网络16向注册模块返回失败消息，或者在一些实施例中，可以使AR数据库创建与新3D地图相关联的新地标标识符条目。相反，如果地标识别符已经存在于AR数据库72中，则后端服务器14可以使AR移动设备12可利用一些或全部相应的3D地图(和相关数据)，并经由web服务接口60和网络16向注册模块42返回指示成功注册的消息。
AR数据库72可以存储多个不同的地标标识符，每个地标标识符与不同的3D地图相关联，每个地图与不同的节点库相关联。多个地图可以与相同的环境相关联(例如，通过在单个环境内添加不同的对象作为不同地图的节点)，和/或不同的地图可以与不同的环境相关联(例如，一个地图用于过程控制工厂的第一区域，另一个地图用于工厂的第二区域等)。
在一些实施例中，AR移动设备12在地标处的成功注册使得定位和定向模块44将AR移动设备12的位置设置为等于地标位置(例如，{0,0,0})。然而，为了更高的精度，注册模块42可以使用深度感测技术处理由相机24捕捉的地标的图像，以确定AR移动设备12与地标之间的距离。然后，定位和定向模块44可以基于所确定的距地标的距离和AR移动设备12相对于地标的定向两者来使AR移动设备12的起始位置偏离地标的已知/参考位置。如果地标是QR码或其他视觉标识符，则可以基于地标所面向的方向来采取AR移动设备12的相对定向。可替换地，可以根据拍摄的图像(例如，通过确定相机视图相对于地标的入射角等)确定该相对定向。
一旦注册，AR移动设备12的用户可以开始移动通过环境，具有通常由数字文本、表格、图形、动画和/或与对应于地标的3D地图相关联的其他类型的信息增强的现实世界视图(经由显示器22提供)。为了跟踪用户(即，AR移动设备12)的位置和定向，定位和定向模块44可以访问IMU26、相机24和/或图1中未示出的AR移动设备12的一个或多个其他传感器。在一些实施例中，定位和定向模块44使用所收集的传感器数据来确定位置和定向，而不依赖于GPS、NSS、WiFi定位(例如，三边测量)或需要AR移动设备12与其他设备或系统之间的通信链路的任何其他定位技术。“位置”或“地点”可以指代3D坐标系(例如，笛卡尔坐标或极坐标)中的特定坐标集，并且“定向”可以指特定方向(例如，在360度水平/方位角范围内，加上高程或高度)。在一些实施例中，“定向”还可以指AR移动设备12的倾斜度，而与设备12面向的方向无关。因为仅跟踪相对位置(例如，在“航位推算”意义上)，所以定位和定向模块44确定相对于发生注册的地标的位置的AR移动设备/用户位置。
在一些实施例中，定位和定向模块44处理来自至少相机24和IMU 26的数据的融合，帮助克服与孤立使用时的任何类型的传感器相关的缺陷。例如，定位和定向模块44可以利用由开发的视觉-惯性测距(VIO)技术来跟踪AR移动设备12的位置和定向。这种技术可以帮助提高准确度，减少确定的位置的“漂移”，和/或具有其他优势。
由于相机24相对于AR移动设备12本身的位置和定向是已知的，因此AR应用32可以针对由定位和定向模块44确定的任何给定位置和取向确定AR移动设备12的视野(在一些实施例中，其也可以对应于用户的现实世界视图)。基于所确定的位置和定向，并使用在AR数据库72中为3D地图存储的节点位置，AR应用32因此可以确定在任何给定时间哪些映射对象在视野内。在一些实施例中，如果对象在相机传感器的水平和垂直范围/区域内(例如，在某些方位角和垂直/高度/仰角内)，则可以认为对象在相机的“视野内”，而不管对象与捕捉图像的AR移动设备之间的距离如何，并且不管对象是否恰好被环境中的障碍物阻挡。例如，即使对象被壳体、屏障、其他对象等遮挡，也可以认为直接并且紧挨着相机24前方的对象在相机24的“视野内”。在其他实施例中，在对象未被遮挡的情况下，即，当相机能够捕捉对象的图像时，才认为对象在相机的“视野内”。
为了确定映射对象的位置，AR应用32可以经由网络16和web服务接口60周期性地访问AR数据库中的节点位置。例如，AR应用32可以周期性地请求后端服务器14提供在AR移动设备12的阈值距离内(和/或在设备12的视野内等)内的节点的位置数据，其中该请求指示AR移动设备12的当前位置(和/或定向)。可替换地，AR应用32可以请求后端服务器14例如在注册时发送与用于注册的地标相关联的3D地图的所有节点位置(以及可能的其他信息，例如节点描述等)。在又一些实施例中，后端服务器14可以当AR移动设备12在地标处成功注册时自动发送所有相关节点位置。
AR应用32可以确定应该为用户的当前视野中的一个、一个以上映射对象/节点或不为映射对象/节点中的任何一个提供增强。为了做出该确定，节点体验模块46可以应用一个或多个标准。在一些实施例中，例如，节点体验模块46可以确定将为用户的当前视野中的所有映射对象提供增强，而不管对象和用户之间的距离如何，并且不管对象是否在用户的视图中被任何障碍物阻挡。可替换地，节点体验模块46可以确定不为在视野中但是距离用户超过阈值距离(例如，根据由定位和定向模块44确定的当前用户位置，以及根据存储在AR数据库72中的相应节点位置来确定)的映射对象提供增强。
节点体验模块46还可以或替代地确定不为在AR移动设备12的视野中但被阻挡无法看见的映射对象提供增强。取决于实施例，可以以不同方式确定是否映射对象被遮挡。例如，AR数据库72中的字段可以指示特定节点是否对应于通常被遮挡的对象。例如，对于封闭在机柜内的部件，相应的节点具有指示部件和机柜之间的关系的字段。在其他实施例中，AR应用32和/或后端服务器14可以执行对节点配置、节点类型和/或节点大小的更复杂的分析，以确定从用户的当前视角而言，特定的映射对象是否可能是可见的。
在一些实施例中，为了减少用户的感觉负担过重的危险，不为某些类型的映射对象提供增强，除非(除了简单地移动和/或重定向AR移动设备12之外)用户采取某些特定操作。例如节点体验模块46可以不为机柜内的大量相对较小的部件提供增强(每个部件对应于不同的映射对象)，除非用户选择机柜的图标或其他图形表示，和/或选择用于显示机柜内容物的选项等。
此外，在一些实施例中，节点体验模块46可以基于角色识别模块40确定的用户角色来确定是否要为用户的视野中的特定映射对象提供增强。因此，节点体验模块46可以专门针对与地标和所选择或分配的角色相关联的节点来查询web服务接口60。在过程控制环境中，例如，可以为具有“维护者”角色的用户增强电源开关，但不为具有“操作员”角色的用户增强电源开关。
对于要增强的对象，节点体验模块46可以在显示器22的区域上最初叠加节点“标记”，例如文本(例如，设备标识符、状态和/或描述)和/或图标或其他图形等，该区域在用户看起来好像它位于对象在用户的现实世界视图中的坐标处(或附近)。例如，标记可以看起来通过在显示器22上呈现的线连接到现实世界视图中的映射对象。在其他实施例中，标记是在对象上呈现的圆圈或其他形状，大致围绕对象的矩形轮廓，或一些其他类型的指示符。
如果用户(例如，通过将虚拟标线聚焦在节点标记上，或通过发出语音命令等)选择特定节点，则节点体验模块46可以使用户可以使用一个或多个“节点体验”。与移动通过映射环境的适当装备的用户的更一般的“AR体验”相反，“节点体验”是指与对象/节点的一种或多种特定类型的用户交互。节点体验模块46可以通过例如在现实世界视图上叠加菜单或其他交互式显示，和/或通过被配置为识别来自用户的语音命令，来向用户提供选择特定节点体验的选项。用户可以以类似于选择节点标记的方式(例如，将虚拟标线聚焦在选项上、语音命令等)或以其他合适的方式选择菜单选项。
当选择特定节点体验时，节点体验模块46可以将选择经由网络16转发到web服务接口60。作为响应，体验提供单元62可以从AR数据库72(和/或其他位置，例如服务器18)检索与所选节点和所选体验相关联的数据(例如，文本、图形等)，并经由web服务接口60将检索到的数据发送回AR移动设备12以使得节点体验模块46能够据此增强用户的现实世界视图。
节点体验可能相对简单或复杂。例如，节点标记本身可以被认为是默认的“节点体验”。作为其他示例，节点体验模块46可以将其他文本和/或表格(即，与对应对象相关联的信息)叠加在用户的现实世界视图(通过显示器22)、对象的简单图形或图标、对象的超逼真或伪逼真3D模型、对象的图像、包括对象的动画(例如，对象的旋转3D模型)等上。
节点体验也可以或替代地包括其他类型的交互性。例如，节点体验模块46可以叠加到提供关于对象和/或其在环境内(例如，在特定过程控制例程内)的操作的教程的视频的链接(例如，URL)、到涉及对象的工作命令的链接，或者到远程专家的链接。可替换地或另外，用户可以针对这些节点体验中的一些或全部发出语音命令。在诸如视频或工作命令之类的内容被选择或调用的实施例中，节点体验模块46可以将该内容叠加在用户的现实世界视图上。如果远程专家或其他人被选择或呼叫，则节点体验模块46可以使网络接口20或另一个合适的网络接口(例如，通过网络16)建立与该人的通信链路，并且在某些实施例可以叠加该人的静止图像或视频，直到通信结束。
其他节点体验可以列出和/或图形示出所选对象/节点与其他对象/节点之间的特定类型的关系。例如，对于一个节点体验，节点体验模块46可以在用户的现实世界视图上叠加与所选对象/节点相关的对象/节点(例如，父和/或子对象/节点)的列表。“关系”可以以任何期望的方式定义，并且可以在添加新节点时由用户手动设置，或者以其他合适的方式设置。例如，一些关系可以指对象是否是另一对象的部件，和/或其自身包括多个部件。例如，阀可以对应于作为一群节点的父节点的节点，该群节点中的每一节点对应于阀的部件。
节点体验模块46可以通过经由web服务接口60查询体验提供单元62来确定关系，体验提供单元62从AR数据库72检索相关节点的标识符并向节点体验模块46提供这些节点的指示。默认情况下，通过不显示所有个体阀部件的节点标记和/或节点体验(例如，除非用户特别选择某节点或特定选项)，可使用户免于一次性接收巨大量的视觉信息量。
可以以图形方式向用户示出某些种类的关系。例如，节点体验模块46可以提供对应于所选节点的对象与对应于其他节点的一个或多个其他对象之间的物理或逻辑连接的图形表示。节点体验模块46可以通过经由web服务接口60查询体验提供单元62来确定连接，体验提供单元62从AR数据库72检索所连接节点的标识符并向节点体验模块提供这些节点的指示。然后，节点体验模块46可以生成示出连接适当对象的线的显示，并将线叠加在用户的现实世界视图上。如下面所讨论的，图4H中提供了这种节点体验的一个示例。
所示的连接和/或其他关系也可以基于用户的选择或分配的角色而变化。在过程控制环境中，例如，可以为“操作员”显示从传感器/变送器设备到罐的线，其中该线指示传感器/变送器测量罐中的压力。相反，可以替代地(或另外)为“工程师”显示从传感器/变送器到接收传感器传输的另一设备的线，并且可以替代地(或另外)为“维护者”显示从传感器/变送器到设备的电源的线(例如，因此维护者可以在维护、修理或更换设备之前容易地找到在何处关闭电源)。
在一些实施例中，体验提供单元62利用来自其他服务器18和/或应用19的数据和/或功能，以便提供一个或多个节点体验，和/或一个或多个应用19可以响应于从体验提供单元62发送的数据而启动。以下结合图2讨论了在过程控制环境中的这些实施例的一些示例。
如上所述，节点体验模块46可以基于用户选择或分配的角色(例如，操作员、维护者等)来确定是否增强特定映射对象的用户现实世界视图。另外或可替换地，节点体验的类型和/或特定体验所提供的内容或交互可以基于用户角色而变化。例如，可以为具有“维护者”角色并且在他或她的现实世界视图中具有泵的用户呈现显示针对泵的预定维护提醒的节点体验，而可以替换地为具有“操作员”或“工程师”角色的用户呈现与过程控制例程中泵的逻辑连接有关的信息。如果预定维护过期，则可以向维护者显示警报，而可以仅在其他场景下(例如，如果泵发生故障)向操作员或工程师显示警报。
节点创建模块48支持在3D地图内添加与用于注册AR移动设备12的地标相对应的新节点。在一些实施例中，任何用户都可以将新节点添加到3D地图。在其他实施例中，仅某些用户角色和/或仅某些AR设备可用来添加新节点。为了添加新节点，用户可以将AR移动设备12的视野(例如，在视野内居中的标线)指向要映射的现实世界对象，并选择添加该对象作为新节点的选项。
取决于实施例，这可以以不同方式实现。例如，用户可以选择叠加的菜单项(例如，虚拟的“添加节点”按钮)，或发出语音命令，并且作为响应，节点创建模块48可以在用户的现实世界视图上叠加标线。在将标线瞄准对象时，用户可以启动另一个控件(例如，虚拟“确认”按钮)或发出第二语音命令。作为响应，节点创建模块48可以确定对象的位置，并提示用户输入节点名称和/或描述。然后，节点创建模块48可以经由网络16将位置、输入或说出的名称等发送到web服务接口60，3D模型生成单元64可以至少将位置和节点标识符(例如，由用户输入或说出的节点名称)添加到AR数据库72。
为了确定被映射的对象的位置，节点创建模块48可以利用AR移动设备12的当前位置(由定位和定向模块44确定)，并且基于AR移动设备12与对象之间的距离以及AR移动设备12的定向来偏移该位置。这可以按类似于如上所述的在地标处注册时确定AR移动设备12的初始3D位置的方式来实现。例如，节点创建模块48可以使用深度感测技术处理由相机24捕捉的对象的图像，以确定AR移动设备12与对象之间的距离。然后，定位和定向模块44可以基于所确定的距离以及AR移动设备12的方向(例如，基于该距离以及AR移动设备12的视野在对象的图像被捕捉时正面向的方向)来使对象位置偏离AR移动设备12的位置。
在一些实施例中，节点创建模块48还可以用于更新/修改现有节点。例如，由节点体验模块46提供的菜单可以包括用于更新节点信息的选项。如果节点创建模块48被选择，则节点创建模块48可以在用户的现实世界视图上叠加一个或多个菜单或其他用户界面，以使用户能够改变与节点有关的信息(例如，节点名称、节点描述等)。可以经由网络16将任何改变发送到web服务接口60，并且3D模型生成单元64可以据此更新AR数据库72。
在一些实施例中，除了上述增强特征外，AR应用32还配置AR移动设备12以增强用户的虚拟视觉。例如，对于某些类型的节点，视觉增强模块50可以确定映射对象何时在通过用户的当前视野捕捉的区域内(例如，如上面针对节点体验模块46所讨论的)但却被一个或多个其他对象遮挡了，并向用户提供虚拟的“X射线视觉”。，虚拟x射线视觉可仅在一个或多个其他标准被建立的情况下(例如，在视觉增强模块50确定隐藏对象在AR移动设备12的阈值距离内的情况下)才被提供，或者可被提供而不管任何其他标准。
在一个这样的实施例中，AR数据库72对于至少一些节点条目中的每一个节点条目包括标志或其他可见性指示符，该可见性指示符指示该节点可能对任何用户的视图都是隐藏的。该可见性指示符可以基于已知的对象关系自动生成(例如，如果3D模型生成单元64访问控制系统以获知对应于该节点的对象位于机柜内)，或者可以由用户手动设置(例如，当经由节点创建模块48叠加在用户的现实世界视图上的用户界面添加节点时)。当特定的映射对象在用户的视野内时，视觉增强模块50可以经由网络16和web服务接口60查询后端服务器14的视觉增强单元66，视觉增强单元66可以进而访问AR数据库72以检索相关的可见性指示符。然后，视觉增强单元66可以使用web服务接口60将可见性指示符或指示对象是否被遮挡的其他数据发送到视觉增强模块50。
可替换地，视觉增强模块50和/或视觉增强单元66可以以其他方式做出可见性确定。例如，特定的映射对象或对象集合可以在标有模型号、QR码或其他视觉指示符的机柜内。视觉增强模块50可以处理由相机24捕捉的视觉指示符的图像以确定机柜的标识符(例如，节点标识符)，并且经由web服务接口60将该标识符发送到视觉增强单元66。然后，视觉增强单元66可以使用该标识符来确定哪些映射对象(例如，现场设备、I/O卡等)在机柜内，并且发送回指示机柜内的对象被遮挡的数据。
为了提供针对给定对象的虚拟x射线视觉的效果，视觉增强模块50可以检索该对象的超逼真或伪逼真2D或3D模型，或该对象的数字图像或视频，并在用户视野中在该对象上(或对象附近)叠加模型、图像或视频。在默认情况下，或者响应于用户选择2D或3D模型或语音命令等，节点体验模块46还可以提供视觉菜单选项或语音命令识别，以使用户能够选择如上所述的针对节点的各种体验。因此，当隐藏对象正好在他或她的视野中时，用户可以按看起来和“感觉上”非常类似于与现实世界对象进行交互的方式来与隐藏对象进行交互。
视觉增强模块50还可以或替代地以其他方式增强用户的虚拟视觉。如果对象例如处于接近受限和/或危险的区域中(例如，在非常高的位置、有障碍的位置、高压或有毒区域等)和/或远离用户，视则觉增强模块50可以使用户能够将表示对象的“化身”提取到他或她的视场中。化身可以与上面针对x射线视觉示例描述的2D或3D模型、图像、视频等相同，或者可以在某些方面不同。实际上，在一些实施例中，虚拟x射线视觉仅仅是用于召唤现实世界对象的化身的多个用例之一。
取决于实施例和/或场景，可以按不同方式召唤化身。在一些实施例中，如果满足某些标准，视觉增强模块50首先在用户的现实世界视图上叠加视觉指示符，视觉指示符给出对应对象相对于用户的现实世界视图的位置的某个指示。例如，如果(1)AR移动设备12在对象的某个阈值距离内，并且(2)该节点被标记为接近受限对象，则可以呈现视觉指示符。AR数据库72可以存储例如指示这种状态的数据(例如，基于用户添加节点时的手动用户输入)，或者状态可以被推断(例如，在视觉增强单元66确定对象位于后端服务器14已标记为“危险”区域的区域中的情况下，或者在视觉增强模块50或视觉增强单元66确定对象的位置在z方向上距离AR移动设备12至少阈值距离，因此在完全不同的高度的情况下等)。视觉指示符可以包括指向对象方向的箭头、通向对象的线、或某个其他位置指示。以下结合图7A讨论视觉指示器的一个示例。如果用户选择指示符或采取另一合适的操作(例如，在一些实施例中，如果用户改变他或她的视野以包括对象)，则视觉增强模块50可以将化身叠加在用户的现实世界视图上。
在其他实施例中，对象的位置的指示符包括化身本身(例如，其中指向对象位置的箭头/指针覆盖化身或在化身附近)。在又一些实施例和/或场景中，视觉增强模块50将化身叠加在用户的视野上，而不呈现对象的位置的任何视觉指示符。例如，视觉增强模块50可以响应于用户(例如，通过发出语音命令或手动输入数据)请求或搜索相应对象，或者响应于用户选择相对较远对象(例如，超过某个阈值距离)的节点标记等，而向用户呈现化身。在一个这样的实施例中，化身不会立即以完整尺寸显现。例如，视觉增强模块50可以创建视觉效果，在该视觉效果中，化身对用户看起来好像它从(例如，远离用户的)对象位置移动到恰好在用户前面的位置。例如，化身可以扩大尺寸以模拟更挨近用户的效果。
节点体验模块46(除了显示对象的化身之外)还可以自动向用户提供针对对象的特定节点体验，和/或可以使用户能够在首次呈现化身之后选择一个或多个节点体验(例如，通过发出语音命令或选择菜单选项)。例如，可以提供上面讨论的任何一个或多个节点体验。以下结合图7B讨论可以与化身相关联的体验的一个示例。
在一些实施例中，AR应用32配置AR移动设备12以基于用户的当前位置和/或基于特定区域中的当前情况(例如，过程工厂的某些区域与警告相关联)来生成警报。警报生成单元68可以周期性地或连续地确定AR移动设备12的当前位置是否在受到警报或警告的区域中，例如，通过将由定位和定向模块44(经由web服务接口60)报告的位置与一个或多个地理围栏区域的边界进行比较来确定。如果用户/设备处于与警报相关联的区域中，则警报生成单元68可以经由web服务接口60向基于位置的警报模块52发送警报的指示符，而基于位置的警报模块52可以在用户的现实世界视图上叠加警报的指示(例如，文本和/或图形)，导致某个其他视觉效果(例如，闪烁的红灯或包含整个现实世界视图的浅色)，和/或向用户提供音频警报(通过AR移动设备12的扬声器，图1中未示出)。可替换地或另外，警报生成单元68可以基于AR移动设备12与特定映射对象的邻近度来发送警报指示符(例如，如果对象发生故障并且需要维护，或者应该避开等)。警报生成单元68还可以基于用户的所选或分配的角色来调节警报的传递。
在一些实施例中，后端服务器14可以监视AR移动设备(以及因此用户)在映射环境中的3D位置。为此，用户监视单元70可以基于经由web服务接口60从定位和定向模块44接收到的数据，记录已经在地标处注册其AR移动设备的用户的当前和/或历史位置。
取决于实施例和/或需要，用户位置监视可以用于各种目的。例如，用户监视单元70可以在耦合到后端服务器14的显示器或终端(图1中未示出)上绘制出用户位置，并且显示器或终端的操作员可以在紧急情况事件中说明员工位置，或在更典型的条件下只是监视用户以确定是否有任何员工需要医疗救助。还可以使用其他数据来监视员工健康，该其他数据为例如由AR移动设备12的一个或多个传感器收集的生物测量数据(例如，以检测脉搏、血压、体温等)。作为进一步的示例，可以将员工/用户位置添加到员工培训日志，由管理者或人力资源人员使用以监视对协议的遵从性等。在其他实施例和/或场景中，可以在映射环境内跟踪某些非人类移动资产的3D位置。例如，后端服务器14的单元可以出于各种目的监视移动反应器、推车、现场服务车和/或其他对象的3D位置。
应理解，图1和以上描述仅表示一些潜在的实施例，其他实施例也是可能的。例如，AR平台可能不使用基于云的架构或基于Web的服务。作为另一示例，后端服务器14的单元62至68中的一些或全部和/或AR数据库72本身的功能可改为被部分或全部并入AR移动设备12中。例如，节点标记和/或节点体验可以在非AR上下文中(例如，在虚拟现实(VR)上下文中)，或者结合非AR、非VR图形用户界面(GUI)来提供。
此外，AR平台可以提供上面未讨论的其他特征。例如，AR移动设备的用户可以(例如，使用语音命令)在AR数据库72中添加与各种节点/对象相关联地存储的字段注释，和/或可以发起与各种节点/对象相关联的新工作命令等。
示例性过程控制环境
图2是可以利用图1的AR系统10的示例性过程控制环境100的框图。过程控制环境100(本文也可互换地称为过程控制系统100或过程工厂100)包括一个或多个过程控制器，此一个或多个过程控制器接收指示由现场设备进行的过程测量的信号，处理该信息以实现控制例程，并且生成控制信号，该控制信号通过有线和/或无线过程控制通信链路或网络被发送到其他现场设备，以控制工厂100中的过程的操作。通常，至少一个现场设备执行物理功能(例如，开启或关闭阀，使输送机移动材料，增加或降低温度，进行测量，感测状况等)以控制过程的操作。某些类型的现场设备通过使用I/O设备与控制器通信。过程控制器、现场设备和I/O设备可以是有线的或无线的，并且过程工厂环境或系统100中可以包括任何数量的有线和无线过程控制器、现场设备和I/O设备和其任意组合。
例如，图2示出了经由输入/输出(I/O)卡126和128通信地连接到有线现场设备115-122的过程控制器111。过程控制器111包括处理器130、存储器132和一个或多个过程控制例程138，其在下面进一步详细讨论。控制器111还经由过程控制通信网络或主干110和无线网关135通信地连接到无线现场设备140-146。主干110可以包括一个或多个有线和/或无线通信链路，并且可以使用任何合适的通信协议来实现，通信协议为例如以太网协议。在一些配置中(图2中未示出)，控制器111可以使用除主干110之外的一个或多个通信网络通信地连接到无线网关135，例如通过使用支持一个或多个通信协议的任何数量的其他有线或无线通信链路，例如符合IEEE 802.11的无线局域网协议、移动通信协议(例如，WiMAX、LTE等)、Profibus、现场总线等。
控制器111(作为示例，可以是由Emerson Process Management公司销售的DeltaVTM控制器)可以操作以使用现场设备115-122和140-146中的至少一些来实现批量过程或连续过程。在一个实施例中，除了通信地连接到主干110之外，控制器111还使用与例如标准4-20mA设备、I/O卡126、128和/或任何合适的智能通信协议(例如现场总线协议、协议、协议等)相关联的任何期望的硬件和软件通信地连接到现场设备115-122和140-146中的至少一些。在图2中，控制器111、现场设备115-122和I/O卡126、128是有线设备，现场设备140-146是无线现场设备。当然，有线现场设备115-122和无线现场设备140-146可以符合任何其他期望的标准或协议，例如任何合适的有线或无线协议，并且包括将来开发的任何合适的标准或协议。
过程控制器111的处理器130实现或监管一个或多个过程控制例程或模块138，其可以存储在存储器132中。为此，处理器130被配置为与现场设备115-122和140-146并且与通信地连接到控制器111的其他节点通信。应当注意，如果需要，本文描述的任何控制例程或模块可以具有由不同控制器或其他设备实现或执行的部分。同样，要在过程控制系统100内实现的控制模块138可以采用任何形式，包括软件、固件、硬件等。控制例程可以以任何期望的软件格式实现，例如使用面向对象的编程、梯形逻辑、顺序功能图、功能框图或使用任何其他软件编程语言或设计范例。其上可以存储一些或所有控制模块138的存储器132可以是一个或多个任何合适类型的存储器，例如随机存取存储器(RAM)和/或只读存储器(ROM)。此外，控制模块138可以硬编码到例如一个或多个EPROM、EEPROM、专用集成电路(ASIC)或任何其他硬件或固件元件中。因此，控制器111可以以任何期望的方式配置以实现控制策略或控制例程/模块。
控制器111使用通常被称为功能块的物件来实现控制策略，其中每个功能块是整个控制例程的对象或其他部分(例如，子例程)并且与其他功能块一起操作(通过被称为链路的通信)以实现过程系统100内的过程控制回路。基于控制的功能块通常执行以下之一：输入功能(例如与变送器、传感器或其他过程参数测量设备相关联的输入功能)、控制功能(例如与执行PID、模糊逻辑等控制的控制例程相关联的控制功能)、或输出功能(控制某个设备(例如阀或输送机电机)的操作以在过程控制系统100内执行某个物理功能)。当然，存在混合和其他类型的功能块。功能块可以存储在控制器111中并由控制器111执行(在这些功能块用于标准4-20mA设备和某些类型的智能现场设备(例如，设备)或与之相关联时通常是这种情况)，或者可以被存储在现场设备本身中并由其实施(现场总线设备通常是这种情况)。控制器111中的一个或多个控制模块138可以实现一个或多个控制回路，这些控制回路通过执行一个或多个功能块来执行。
有线现场设备115-122可以是任何一个或多个类型的设备，例如传感器、阀、输送机电机、变送器、定位器等，而I/O卡126和128可以是符合合适的通信或控制器协议的任何类型的I/O设备。例如，现场设备115-118可以是通过到I/O卡126的模拟线路(或组合的模拟和数字线路)进行通信的标准4-20mA设备或设备，而现场设备119-122可以是通过到I/O卡128的数字总线使用现场总线通信协议进行通信的智能设备(诸如现场总线现场设备)。然而，在一些实施例中，附加地或替代地，有线现场设备115-122中的至少一些和/或I/O卡126、128中的至少一个使用主干网110及合适的控制系统协议(例如，Profibus、DeviceNet、Foundation Fieldbus、ControlNet、Modbus、HART等)与控制器111通信。
在图2中，无线现场设备140-146经由无线过程控制通信网络170使用无线协议(例如协议)进行通信。这样的无线现场设备140-146可以直接与无线网络170中也被配置为进行无线通信的一个或多个其他设备或节点通信。为了与未被配置为无线通信的其他节点通信，无线现场设备140-146可以利用连接到主干网110或另一个过程控制通信网络的无线网关135。无线网关135提供从主干网110到无线通信网络170的各无线设备140-158的访问。具体地，无线网关135提供无线设备140-158、有线设备115-122和/或过程控制工厂100的其他节点或设备之间的通信耦合。
类似于有线现场设备115-122，无线网络170的无线现场设备140-146执行过程工厂100内的物理控制功能，例如开启或关闭阀门、测量过程参数等。然而，无线现场设备140-146被配置为使用网络170的无线协议进行通信。这样，无线现场设备140-146、无线网关135和无线网络170的其他无线节点152-158可以是无线通信分组的生产者和消费者。
在过程工厂100的一些配置中，无线网络170包括非无线设备。例如，在图2中，现场设备148可以是传统的4-20mA设备，而现场设备150可以是有线设备。为了在网络170内通信，现场设备148和150经由无线适配器152A、152B中相应的一个无线适配器连接到无线通信网络170。无线适配器152A、152B支持无线协议，例如WirelessHART，并且还可以支持一个或多个其他通信协议，例如现场总线、PROFIBUS、DeviceNet等。另外，在一些配置中，无线网络170包括一个或多个网络接入点155A、155B，其可以是与无线网关135进行有线通信的分开的物理设备，或者可以被集成在无线网关135内。无线网络170还可以包括一个或多个路由器158，用以在无线通信网络170内的无线设备之间转发分组。无线设备140-146和152-158可以通过无线通信网络170的无线链路160和/或经由主干网110彼此通信，并与无线网关135通信。
在图2中，过程控制系统100包括通信地连接到主干网110的一个或多个操作员工作站171。通过操作员工作站171，人类操作员可以监视过程工厂100的运行时间作，以及采取任何可能需要的诊断、纠正、维护和/或其他操作。至少一些操作员工作站171可以位于工厂100中或附近的各种受保护区域，例如，在工厂100的后端环境中，并且在一些情况下，至少一些操作员工作站171可以远程定位(但是仍然与工厂100通信连接)。操作员工作站171可以是有线或无线计算设备。
示例性过程控制系统100在图2中被进一步示为包括一个或多个配置应用172A和一个或多个配置数据库172B，其中的每一个也通信地连接到主干网110。配置应用172A的各实例可以在一个或多个计算设备(图2中未示出)上执行以使用户能够创建或改变过程控制模块并经由主干网110将这些模块下载到过程控制器111和/或其他过程控制器，以及使用户能够创建或改变操作员界面，操作员能够通过该操作员界面查看数据并改变过程控制例程中的数据设置。配置数据库172B存储配置的模块和/或操作员界面。通常，配置应用172A和配置数据库172B可以是集中式的，并且对过程控制系统100具有单一的逻辑外观(但是配置应用172A的多个实例可以在过程控制系统100内同时执行)，并且配置数据库172B可以存储在单个物理数据储存设备中或跨多个数据储存设备存储。配置应用172A、配置数据库172B及其用户界面(图2中未示出)共同形成用于创建/配置控制和/或显示模块的配置或开发系统172。通常但非必要地，配置系统172的用户界面与操作员工作站171不同，配置系统172的用户界面改为由配置和开发工程师使用，而不管工厂100是否正在实时操作，而操作员工作站171由操作员在过程工厂100的实时(或“运行时”)操作期间使用。
示例性过程控制系统100还包括一个或多个数据历史记录应用173A和一个或多个数据历史记录数据库173B，其中每一个通信地连接到主干网110。数据历史记录应用173A操作以收集跨主干网110提供的一些或全部数据，并将数据存储在数据历史记录数据库173B中以供长期储存。类似于配置应用172A和配置数据库172B，数据历史记录应用173A和数据历史记录数据库173B可以是集中式的并且对过程控制系统100具有单一的逻辑外观(但是数据历史记录应用173A的多个实例可以在过程控制系统100内同时执行)，并且数据历史记录数据库173B可以被存储在单个物理数据储存设备中或跨多个数据储存设备存储。数据历史记录应用173A、数据历史记录数据库173B及其用户界面(图2中未示出)共同形成数据历史记录系统173。
在一些配置中，过程控制系统100包括一个或多个其他无线接入点174，其使用其他无线协议与其他设备通信，其他无线协议为诸如符合IEEE802.11的无线局域网协议，诸如WiMAX(全球互操作性微波接入)、LTE(长期演进)或其他ITU-R(国际电信联盟无线电通信部门)兼容协议之类的移动通信协议，诸如近场通信(NFC)或蓝牙之类的短波无线电通信，和/或其他无线通信协议。通常，这样的无线接入点174允许手持式或其他便携式计算设备(例如，用户接口设备175)通过与无线网络170不同并且支持与无线网络170不同的无线协议的相应无线过程控制通信网络进行通信。例如，无线或便携式用户接口设备175可以是由过程工厂100内的操作员使用的移动工作站或诊断测试设备(例如，操作员工作站171之一的实例)。在一些场景中，除了便携式计算设备之外，一个或多个过程控制设备(例如，控制器111、现场设备115-122、无线设备135、140-158等)也使用无线接入点174支持的无线协议进行通信。
注意，尽管图2仅示出了示例性过程工厂100中包括单个过程控制器111、以及特定数量的现场设备115-122和140-146、无线网关35、无线适配器152、接入点155、路由器1158和无线过程控制通信网络170，但这仅是说明性和非限制性实施例。例如，任何数量的控制器111可以被包括在过程控制工厂或系统100中，并且任何控制器111可以与任何数量的有线或无线设备和网络115-122、140-146、135、152、155、158和170通信，以控制工厂100中的过程。
现在回过头参考图1，使用AR移动设备(例如，AR移动设备12)映射的对象可以包括控制器111、设备115-122和140-158、I/O卡126、128、无线网关135和/或工厂100中的其他装置和/或设备中的一些或全部，使得它们在工厂100内的3D位置(以及可能它们彼此的关系、它们的化身等)存储在AR数据库72中。在一些实施例中，后端服务器14可以通信地耦合到主干网110，并且其他服务器18可以包括或耦合到操作员工作站171、配置系统172、数据历史记录系统173和/或过程控制环境100的其他计算设备或系统。
由服务器18运行的应用19可以包括一个或多个DeltaVTM应用、诊断和维护应用，和/或其他基于应用或软件的系统。因此，应用19可以支持以下节点体验：显示现场设备的运行时状态和/或测量数据，提供对现场设备的运行时控制，显示机器的诊断/维护信息等。仅作为一个示例，可以向AR移动设备12的用户呈现与各种设备相关联的HART和/或现场总线信息。体验提供单元62可以(例如，经由主干网110)启动应用19和/或与适当的应用19对接以收集所需的显示数据，然后将其转发到节点体验模块46。体验提供单元62还可以或者改为将从节点体验模块46接收到的任何用户输入转发到控制器111以使得适当的现场设备被据此进行控制等。
示例性3D地图
通过以上图1的描述应该理解，AR系统10的3D“地图”不需要是环境的完整模型，而可以仅包括节点在该环境内的3D位置。图3中示出了仅包含四个对象/节点的高度简化的示例性3D地图200。在图3中，z轴对应于(例如，高于地平面的)高度。如上所述，地标位置202可以为环境内的所有其他位置(例如，节点和用户/AR设备位置)提供参考点。
在示例性地图200中，第一对象/节点的第一位置204以偏移{x1,y1,z1}(在高度方向)稍微高于地标位置202，第二对象/节点的第二位置206和第三对象/节点的第三位置208分别以偏移{x2,y2,z2}和{x3,y3,z3}更高一些，并且第三对象/节点的第三位置210以偏移{x4,y4,Z4}更高。当然，在一些场景中,对于某些对象/节点，x，y和/或z方向上的偏移可能是负的。
在地图200内，{x5,y5,z5}处的位置220对应于AR移动设备(例如图1的AR移动设备12)的当前位置。图3还以虚线示出了AR移动设备的视野222，该视野222对应于该设备的特定定向。视野222可以由图1的定位和定向模块44例如使用来自IMU 26的传感器数据(以及可能来自相机26的图像数据，例如，利用VIO技术)以及已知的相机26的方位范围/角来确定。虽然图3中未示出，但是定位和定向模块44还可以知道视野222在z方向上的范围，例如，使得视野222具有锥形形状而不是采取z方向上的无限覆盖。
在该示例性场景中，位置206和208处的对象在设备的/用户的当前视野222内，而位置204和210处的对象不在该当前视野222内。图1的体验提供单元62可以例如基于(如存储在AR数据库72中的)节点位置、(如由定位和定向模块44确定并且经由web服务接口60转发的)AR移动设备的位置220和定向以及相机24的视野的已知或估计特性来做出该确定。基于确定哪些对象/节点在视野222内，体验提供单元62可以向AR移动设备12发送数据，该数据指示仅针对位置206和208处的对象呈现节点标记(和/或特定节点体验)。节点体验模块46可以处理该数据，并且作为响应，在显示器22上对应于位置206和208的点处或附近叠加节点标记和/或其他信息。
示例性AR用户界面
现在将结合图4A至4H说明可以叠加在AR显示器(例如，图1的AR移动设备12的显示器22)上的一组示例性用户界面。为了便于解释，还将对图1的AR系统10作出参考，但是所示的用户界面可以替代地用在其他系统中。对于可以进行用户选择的用户界面，可以通过用户直接看着特定菜单选项来进行选择(例如，如果用户界面相对于环境具有固定位置，而不是相对于显示器22中心具有固定位置)。在其他实施例中，可以通过用户发出适当的语音命令、在键盘或触摸屏上输入数据，或以其他合适的方式进行选择。
首先参考图4A，用户界面200使用户能够选择特定的“角色”，如上面结合图1所讨论的。可以在启动AR应用32时或在其他合适的时间向用户显示用户界面200。AR应用32可以先验地知道可用角色，或者可以通过经由web服务接口60查询后端服务器14来被通知可用角色。一旦选择了角色，角色识别模块40可以通过Web服务接口60向后端服务器14发送指示角色的数据。然后，体验提供单元62、警报生成单元68和/或后端服务器14的其他部件可以利用所选择的角色来确定要增强的适当节点，要为特定节点提供的适当类型的体验和/或内容等，如上所述。
图4B描绘了用户界面220，其可以充当用户当前视野内的一些或所有对象中的每一个的节点标记(受制于任何其他标准，例如邻近度或用户角色)。示例性用户界面220包括指示对象/节点的状态的图标(带圆圈的“X”)和描述符(“状态词(StatusWord)”)、节点名称(例如，过程控制工厂内的设备标识符，例如“ESD-3”等)、节点的简短描述(例如，“紧急关闭开关”等)、以及从这些信息段引向用户界面底部的实心圆圈的垂直线220。实心圆圈(或其他指示符)可以放置相应对象在用户现实世界视图内的{x,y,z}位置上，例如，在用户(或其他用户)将节点添加到3D地图时所关注的现实世界{x,y,z}位置处。例如，文本和线可以根据需要旋转以保持与AR移动设备12和用户的垂直轴对齐，或者可以始终与z轴对齐。
状态图标和描述符可以指示是否应该对对象采取某些操作，和/或对于对象是否存在某种危险。例如，图4B中所示的带圆圈的“X”可以对应于“危急”状态，三角形中的“！”可以对应于“警告”的状态，菱形中的“i”可以对应于“咨询”状态，而没有图标可以对应于“正常”状态。虽然图4B描绘了一系列可能的状态图标，但是应该理解，对于该特定实施例和/或场景，用户界面220仅包括带圆圈的“X”图标。针对特定对象/节点所示的状态以及该状态的含义可取决于用户的角色而变化。
用户界面220的节点标记(即，图4B中的文本、线和实心圆圈)的尺寸可随着距AR移动设备12的距离缩放，使得越近的对象具有越大的节点标记，并且越远的对象具有越小的节点标记。在一些实施例中，用户界面220例如借助附加文本、附加图形和/或颜色编码而包括更多的信息(例如，针对“危急”状态的红色文本和线，针对“正常”状态的绿色文本和线等)。
图4C描绘了当在用户界面200处或在另一合适时间选择了用户角色之后可以显现的用户界面240。用户界面240中的“+”图标可以由用户选择来将新节点添加到3D地图，如上面结合图1所讨论的。头盔图标可由用户选择来选择不同的角色，并且第三图标可由用户选择来管理某些设置，如以所讨论的。用户界面240中的矩形框可以向用户显示系统消息。例如，消息框可以用于显示由警报生成单元68和/或基于位置的警报模块52生成的警报。
图4D描绘了在用户在用户界面240中选择设置图标的情况下可以显现的用户界面260。如图4D所示，用户界面260使用户能够改变AR移动设备12的名称或标识符、地标标识符以及后端服务器14的名称或IP地址。例如，这些值中的一些或全部可由AR移动设备12对Web服务接口60作出Web服务调用时使用。
图4E描绘了可在用户在用户界面240中选择“+”(添加节点)图标的情况下可以显现的简单用户界面280。在该示例中，用户界面280仅仅是(例如，在用户的显示器22的中心的)标线，用户可以仅通过环顾四周(例如在AR移动设备12是AR头盔或眼镜，或智能眼镜的情况下)或者通过以其他方式对AR移动设备12的相机24(例如，在为平板电脑或智能电话的情况下)进行瞄准来使标线位于现实世界环境中的任何位置的中心。AR应用32的节点创建模块48可以要求用户在标线被适当地放置时进行确认(例如，通过发出语音命令)，或者可在相机24的视野在某个阈值时间段内基本上没有改变的情况下采取适当的放置等。
图4F描绘了在用户已经定位用户界面280的标线之后并且在定位和定向模块44已经确定用于放置新对象/节点的必要位置和/或定向信息(例如，AR移动设备12的位置，设备12的定向以及从设备12到对象的距离)之后可以显现的用户界面300。示例性用户界面300包括供用户输入节点名称和/或节点描述的文本框。可替换地，该信息中的一些或全部可以通过语音命令来提供(例如，在用户选择话筒图标的情况下)。在其他实施例中，节点名称和/或描述可以通过使用光学字符识别(OCR)技术处理对象的一部分的图像来确定。例如，用户可以将相机24指向贴在对象上的并且包括序列号、型号或其他标识符的标签或标记。然后，标识符可以经由web服务接口60被发送到后端服务器14并与存储在后端服务器14中的信息交叉参照，或者被存储在另一个系统或数据库(例如，其他服务器18中的一个)中，以确定节点名称和/或描述。
图4G描绘了当用户(例如，通过选择用户界面220的节点标记)选择了特定对象/节点时可以针对该对象/节点显现的用户界面320。例如，用户界面320可以由节点体验模块46基于指示由后端服务器14的体验提供单元62提供的节点的可用体验的数据来生成。示例性用户界面320包括在用户界面220中的节点标记上显示的节点名称和描述，以及两个矩形区域。用户界面320底部的实心圆圈可以保持在与它在用户界面220中所处的相同的对象上的位置处(在现实世界视图内)。如图4G中的空白矩形所示的第一“工作”区域可以(例如，取决于正提供的节点体验的类型和/或用户的角色)显示与所选对象/节点有关的附加信息，例如对象的状态信息、对象的详细警报信息等。
用户可以从第二区域中选择所需类型的节点体验，第二区域列出对于节点(并且可能对于用户的角色)可用的那些节点体验。如图4G中所见，在该示例中，可用节点体验包括：“更多信息”(例如，用于在工作区域中提供附加类型的基于文本的信息)，“连接”(例如，用于显示到其他对象/节点的物理或逻辑连接，如下面结合图4H所讨论的)，“信息链接”(例如，用于在工作区域中显示来自特定URL处的“帮助”文档、指导视频或其他网页的信息)，“子对象”(例如，用于在工作区域中显示与作为所选对象/节点的“子对象/节点”相关的其他对象/节点的关系)，“过程值”(例如，用于在工作区域中显示从其他服务器18和应用19之一获得的控制过程值)，和“工作命令”(例如，用于在工作区域中显示与所选对象/节点相关联的工作命令的文本)。
图4H描绘了当用户已在用户界面320中选择了“连接”图标时可以显现的用户界面340。对于用户界面340，节点体验模块46呈现在当前所选的对象/节点的{x,y,z}位置和当前所选的对象/节点物理地和/或逻辑地连接到的对象/节点的{x,y,z}位置之间的线(例如，如上结合图1所讨论的)。在用户界面340底部的实心圆圈可以处于较早的位置，而在用户界面340顶部的实心圆圈可以处于较晚的位置。当然，实心圆圈的相对位置可以取决于场景而改变(例如，相比于所连接的对象/节点的圆圈，所选对象/节点的圆圈在现实世界视图中可看起来更高)。
在图4H的实施例中，节点体验模块46以三段呈现连接线：指示沿y轴的距离和方向的第一段(在当前所选对象/节点处开始)，指示沿x轴的距离和方向的第二段(在第一段的结尾处开始)，指示沿z轴的距离和方向并在所连接的对象/节点处结束的第三段(在第二段的结尾处开始)。线段可以是彩色编码的、由线格式(虚线、实线等)编码的、和/或以其他方式编码以提供附加信息(例如，为用于指示当前不起作用的通信连接的红线)。在其他实施例中，连接可以以不同的方式示出，例如以对象/节点之间的单个线段(例如，通过线变得更宽或更窄以描绘与用户的距离)示出。在各种不同的实施例中，可以在用户界面340中示出到多个不同对象/节点的连接，或者用户可能需要选择期望可视化的每个个体连接。
示例性AR数据库
图5A和5B共同描绘了可以由图1的AR数据库72使用的数据库结构400(例如，当在图2的过程控制环境100中使用时)。在数据库结构400中，每个框表示可以存储在AR数据库72中的表，每个框的顶行是表名(例如，“节点”，“节点状态”等)。这些表使用主键链接，每个主键在图5A和5B中由键图标和字母“PK”表示。
数据库结构400实现了数据项的有效交叉参照，并允许用户和系统进行更新而不破坏现有的链接，也不需要大量更新。例如，使用“节点ID”主键允许用户改变现有节点的“节点名称”，而无需更新其他相关表。图5B中的“GetOPCDA”表可以对应于以上结合图4G描述的“过程值”节点体验。
示例性增强的虚拟视觉
图6和7涉及其中(例如，由图1的AR系统10提供的)AR平台提供增强用户的“虚拟视觉”的特征的实施例。图6描绘了其中(以上结合图1讨论的)“虚拟x射线视觉”特征用于“看到”过程控制环境内(例如，图2的过程控制环境100内)的封闭机柜内部的特定场景，而图7A和7B描绘了其中为过程控制环境的接近受限区域(例如，难以到达的区域或危险区域)中的和/或远离用户的当前位置的传感器/变送器设备提供“化身”(也在以上结合图1讨论的)的特定场景。
首先参考图6的示例，封闭的(并且可能是锁定的)机柜500可以包含多个内部部件(图6中未示出)，例如I/O卡、断路器等。当以上结合图1讨论的任何标准被满足(例如，内部部件在AR移动设备12的视野内并且在阈值距离内，和/或机柜500被用户选择等)时，并且如果(同样如以上所讨论的，例如，基于机柜和内部部件之间的已知关系，和/或通过扫描QR码等)确定机柜500包含被遮挡的对象/节点，则图1的视觉增强模块50可以在用户的现实世界视图上叠加用户界面520。
用户界面520包括内部部件的图示522。图示522可以是机柜500内的各实际部件处于其相对于彼此的实际布置中的图像。在其他实施例中，图示522单个地或以示出这些部件在机柜500内的相对布置的方式包括这些部件的超逼真或伪逼真图形表示(例如，3D模型、2D模型等)。在任一情况下，图示522可以向用户提供类似于他或她在查看实际内部部件的情况下将具有的体验的AR体验。
用户界面520可以直接被叠加在用户的现实世界视图中的机柜500上，并且被适当地缩放，以便将图示522在隐藏的内部部件的实际位置上方对准。可替换地，用户界面520可偏离用户的现实世界视图中的机柜500，可能通过线或一些其他手段连接。
只有当这些部件先前已被映射时，图示522才可包括或可不包括针对这些内部部件中的各个体内部部件的节点标记(例如，类似于图4B的用户界面220)。此外，用户界面520可以使用户能够通过选择这样的节点标记，通过选择图示522本身，或通过发出适当的语音命令来选择各种节点体验。图示522或用户界面520还可以包括用户可以选择以从他或她的视图中去除图示522的控件(例如，在一角中的“X”)，或者合适的语音命令可被使用。
现在参考图7A，方向指示符550包括特定对象(此处是传感器/变送器设备)的图示以及示出对象相对于用户的现实世界视图的大致方向的箭头。例如图1的视觉增强模块50可以响应于以上(结合图1)描述的与远距离和/或接近受限的对象的化身有关的任何条件，在用户的现实世界视图上叠加方向指示符550。示例性方向指示符550中的设备的图示是真实的模型或图像，但是当然其他格式也是可能的(例如，轮廓、动画、视频等)。
如果用户选择方向指示符550，则视觉增强模块50可以在用户的现实世界视图上叠加“化身”560，如图7B所示。虽然图7B中所示的化身560与方向指示符550中的对象的图示相同，但是在其他实施例中，化身560比方向指示符550中的图示(如果有的话)更详细和/或更逼真。类似如图6的图示522所示，化身560可以向用户提供类似于他或她在查看紧邻的实际对象(此处是传感器/变送器设备)的情况下将具有的体验的AR体验。实际上，如上所述，图6的虚拟x射线视觉特征可以简单地是图7B中所示的视觉增强的特殊情况，图6的图示522是封闭在机柜510内的各种部件的化身的集合。
如果用户选择化身560或发出适当的语音命令，则视觉增强模块50可以在用户的现实世界视图内在化身560附近叠加用户界面570。可替换地，默认情况下可以向用户界面570呈现化身560，而不需要对化身560的任何用户选择也不需要任何语音命令。图7B的示例性用户界面570对应于提供过程值(此处是传感器读数)的节点体验，并且允许对设备的用户控制(此处，通过发起校准过程)。为了实现该节点体验，图1的体验提供单元62可以与由其他服务器18运行的一个或多个应用19通信，如上所述。例如，体验提供单元62可以使过程控制应用启动或使用API与执行过程控制应用对接等。
示例性3D映射方法
图8描绘了用于映射现实世界过程控制环境(例如，图2的过程控制环境100)的示例性方法600。例如，可以使用图1的AR移动设备12或另一合适的移动设备来执行方法600。在一些实施例中，可以使用没有AR能力的移动设备。
在框602处，移动设备在过程控制环境中的参考或“地标”位置处注册。注册可以包括使用移动设备的相机(例如，图1的相机24)来扫描位于参考位置的代码(例如，QR代码或其他图像)的视觉表示。例如，代码可以在墙壁上(例如，在板或海报上)。
在框604处，随着移动设备被用户移动通过过程控制环境，至少使用移动设备的IMU(例如，图1的IMU 26)跟踪移动设备相对于参考位置的3D位置，并跟踪移动设备的定向。框604可以无限期地继续(例如，与框606到610同时)，直到用户结束AR体验(例如，通过关闭移动设备，或者关闭在移动设备上运行的应用等)。框604处的跟踪还可以使用移动设备相机。例如，VIO技术可用于跟踪移动设备的位置和定向。
在框606处，在移动设备处检测要将新节点添加到过程控制环境的3D地图的用户输入。例如用户输入可以是用户语音命令(例如，“添加节点”)，或用户对菜单选项的选择(例如，通过将移动设备相机聚焦在特定位置上，或在键盘或触摸屏上输入数据)。
在框608处，至少基于所跟踪的移动设备的3D位置以及所跟踪的移动设备的定向来确定或致使确定现实世界对象(相对于参考位置)的3D位置。在一个实施例中，框608包括使用移动设备的相机(例如，在用户输入被输入时或之后不久)拍摄现实世界对象的图像。然后，可至少通过使用深度感测技术处理相机图像来从图像确定移动设备和对象之间的距离。然后可以基于所跟踪的移动设备的3D位置和定向以及所确定的距离来确定或致使确定3D位置。
在一些实施例中，在框608处由执行方法600的设备、系统等直接确定对象的3D位置。在其他实施例中，执行方法600的设备、系统等例如通过经由web服务接口(例如，图1的web服务接口60)发出请求，使得另一设备、系统等确定对象的3D位置。
在框610处，至少通过将对象的3D位置与新节点相关联地存储而使节点数据库或库将新节点添加到3D地图。例如框610可以包括使用web服务接口来使远程服务器(例如，图1的后端服务器14)至少将新节点的3D位置存储在节点数据库中(例如，图1的AR数据库72)。
方法600可以包括图8中未示出的一个或多个框。例如，方法600可以包括在移动设备处接收另一个用户输入(例如，语音命令、键盘输入等)的框，其中用户输入指示新节点的标识符(例如，名称)和/或描述。在这样的实施例中，框610还可以包括将新节点的标识符和/或描述与新节点相关联地存储在节点数据库内。
作为另一示例，方法600可以包括与不同移动设备的稍后操作(或者执行框602到610的相同移动设备的稍后操作)相对应的附加框，该不同移动设备在新节点已被添加到3D地图中之后导航过程控制环境的区域。在第一框中，例如，第二移动设备(例如，AR移动设备12或类似设备)可以在参考位置处注册。此后，可以至少使用第二移动设备的IMU(例如，使用VIO技术)来跟踪第二移动设备(相对于参考位置)的3D位置以及第二移动设备的定向。然后，可例如通过(例如，基于所跟踪的第二移动设备的定向)确定该对象在第二移动设备的相机的视野内的区域内和/或(例如，基于所跟踪的第二移动设备的位置)确定物理对象接近第二移动设备来检测触发条件。响应于检测到触发条件，可以将与新节点相关联的数字信息叠加在第二移动设备的显示器上或通过第二移动设备的显示器看到的现实世界视图上(例如，节点标记，或者根据以上所讨论的任何节点体验)。
用于提供虚拟X射线视觉的示例性方法
图9描绘了用于在现实世界过程控制环境(例如，图2的过程控制环境100)中向AR移动设备的用户提供虚拟增强视觉(例如，虚拟“x射线视觉”)的示例性方法620。方法620可以例如由计算系统或设备(例如图1的后端服务器14)的一个或多个处理器和/或AR移动设备(例如图1的AR移动设备12)执行。
在框622处，确定与过程控制环境的地图相关联的特定节点(“第一节点”)对应于当前在AR移动设备的相机(例如，图1的相机24)的视野内的特定现实世界对象(“第一对象”)。第一对象可以是例如结合图2示出或描述的任何设备，或者是至少部分不透明的任何其他物理事物。在一些实施例中，第一对象是壳体，例如被配置为包含多个较小设备或部件的机柜。
在一些实施例中，框622包括检测AR移动设备的当前定向，并且基于AR移动设备的当前定向，并且进一步基于由地图指示的第一节点的位置，确定第一对象当前在相机的视野内。框622还可以包括基于AR移动设备的当前位置和第一节点位置确定第一对象在AR移动设备的某个阈值距离(例如，10米、50米等)内。
在框624处，确定第一节点和同样与地图相关联的一个或多个其他节点之间的特定关系。该关系(明确地或隐含地)指示对应于一个或多个其他节点的一个或多个其他现实世界对象至少部分地被第一对象遮挡。例如，节点数据库(例如，AR数据库72或其一部分)可以存储指示第一节点对应于包含与其他节点相对应的对象(例如，控制器、I/O卡、交换机等)的机柜或其他壳体的数据，框624可以包括直接(例如，在本地存储器中)或经由另一计算系统访问节点数据库。在一些实施例中，第一对象用QR码或其他可视代码标记，框624包括扫描代码以确定节点标识符，并使用该节点标识符(例如，通过使用该标识符作为数据库的关键词)来确定该关系。
在框626处，从存储器(例如，本地或远程持久存储器)检索一个或多个数字模型或数字图像，其中，该模型或图像描绘该对象至少部分地被第一对象遮挡。例如，可以从存储器中检索对象的一个或多个超逼真或伪逼真3D模型、2D模型、动画模型、数字图像或数字视频。
在框628处，在第一对象仍处于相机的视野中时，使AR移动设备的显示器(例如，图1的显示器22)向用户呈现检索到的模型或图像。例如，模型或图像可以叠加在现实世界视图上，该现实世界视图在显示器上呈现给用户或者由用户通过显示器看到。例如，框628可以包括(例如，经由图1的web服务接口60)向AR移动设备传送至少一些显示内容和/或传送显示指令。
方法620可以包括图9中未示出的一个或多个框。例如，方法620可以包括其中向用户呈现用于被遮挡对象的一个或多个节点体验的框(例如，最初使用模型或图像，或响应于进一步的动作，例如用户选择特定被遮挡对象的模型或图像)。
用于可视化接近受限对象的示例性方法
图10描绘了用于促成AR移动设备的用户与可能处于过程控制环境(例如，图2的过程控制环境100)的接近受限(例如，危险、阻塞的等)区域中的现实世界对象(“第一对象”)之间的交互的示例性方法640。方法640可以例如由计算系统或设备的一个或多个处理器(例如图1的后端服务器14)和/或AR移动设备(例如图1的AR移动设备12)执行。
在框642处，随着用户移动通过过程控制环境，致使AR移动设备的显示器(例如，图1的显示器22)将数字信息叠加在环境中在AR移动设备的相机(例如，图1的相机24)的视野内的各部分上。叠加的信息与过程控制环境的地图(例如，3D地图)中的节点相关联，其中节点对应于环境中的其他现实世界对象。框642可以包括例如(例如，经由图1的web服务接口60)向AR移动设备传送至少一些显示内容和/或传送显示指令。
在框644处，在第一对象不在相机的视野内时，使得AR移动设备的显示器指示第一对象的方向。该指示可以包括例如文本、箭头、线和/或动画。类似于框642，框644可以包括例如(例如，经由图1的web服务接口60)向AR移动设备传送至少一些显示内容和/或传送显示指令。
在框646处，在检测到经由AR移动设备作出并且指示选择第一对象的用户输入(例如，请求用于第一对象的用户界面的语音命令)之后，使得显示器在过程控制环境的当前在视野内但不包括第一对象的一部分上叠加第一对象的数字模型或图像(即，第一对象的“化身”)，以及第一对象的用户界面。例如，化身可以是该对象的超逼真或伪逼真的3D模型、2D模型、动画模型、数字图像或数字视频。用户界面可以包括一个或多个虚拟控件和/或一个或多个显示，该一个或多个虚拟控件实现对第一对象的用户控制(例如，校准第一对象，设置第一对象的操作参数等)，该一个或多个显示呈现与第一对象的状态(例如，诊断状态、维护状态、操作状态等)、设置和/或输出(例如，传感器读数等)相关联的信息。在一些实施例中，用户界面不与化身同时呈现，而是改为响应于用户选择化身或语音命令而(与化身一起)显现。
在一些实施例中，框644处的指示方向在检测到指示选择第一对象的用户输入(即，图10中所示的序列)之前发生。在一些这样的实施例中，方向指示符(例如，指向包含第一对象的非显示区域的箭头)可响应于检测到(1)第一对象在AR移动设备的阈值距离内，以及(2)第一对象当前不在相机的视野内而被生成和显示。方向指示符的其他合适的触发或标准也是可能的。例如，指示符可以仅被提供给具有与第一对象相关的特定用户角色的用户。
在其他实施例中，指示方向改为在检测到已指示选择第一对象的用户输入之后发生。例如，用户可以发出请求检索用户界面以查找第一对象(例如，用户“搜索”第一对象)的语音命令，此后，将方向指示符(并且可能是化身)叠加在用户的现实世界视图上。
可以使用web服务接口从数据库(例如，使用web服务接口60从图1的AR数据库72)检索数字模型或图像，不管数字模型或图像是与方向指示符一起显示和/或在后续阶段显示。
一般考虑因素
当在软件中实现时，本文描述的任何应用和功能可以作为指令存储在任何实体、非暂时性计算机可读存储器中，例如磁盘、激光盘、固态存储器设备、分子存储器储存设备或其他储存介质、计算机或处理器等的RAM或ROM中等。尽管本文公开的示例性系统被公开为包括在硬件上执行的软件和/或固件以及其他部件，但应该注意，这样的系统仅仅是说明性的，不应被视为限制性的。例如，预期这些硬件、软件和固件部件中的任何一个或全部可以专门以硬件、专门以软件或以硬件和软件的任何组合来体现。因此，本领域普通技术人员将容易理解，尽管本文描述的示例性系统被描述为在一个或多个计算机设备的处理器上执行的软件中实现，但所提供的示例不是实现这种系统的唯一方式。
尽管已经参考具体示例描述了本发明，这些示例仅旨在说明而不是限制本发明，但对于本领域普通技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以对所公开的实施例进行改变、添加或删除。

Claims (20)

1.一种使用移动设备映射现实世界过程控制环境的方法，所述方法包括：
在所述过程控制环境中的参考位置处注册所述移动设备；
至少使用所述移动设备的惯性测量单元来跟踪：(i)所述移动设备相对于所述参考位置的三维(3D)位置，以及(ii)所述移动设备的定向；
在所述移动设备处检测指示要将新节点添加到所述过程控制环境的3D地图的用户输入；
至少基于以下来确定现实世界对象相对于所述参考位置的3D位置或者致使确定所述现实世界对象的3D位置：(i)所跟踪的所述移动设备的3D位置和(ii)所跟踪的所述移动设备的定向；以及
至少通过将所述现实世界对象的3D位置与所述新节点相关联地存储来使节点数据库将所述新节点添加到所述过程控制环境的所述3D地图。
2.根据权利要求1所述的方法，其特征在于，在所述参考位置处注册所述移动设备包括：
使用所述移动设备的相机扫描代码的视觉表示，所述视觉表示位于所述参考位置处。
3.根据权利要求2所述的方法，其特征在于，使用所述移动设备的相机扫描代码的视觉表示包括：
使用所述移动设备的相机扫描位于所述参考位置处的QR码。
4.根据权利要求1所述的方法，其特征在于，跟踪所述移动设备的3D位置和所述移动设备的所述定向包括：
使用所述移动设备的所述惯性测量单元和相机跟踪所述移动设备的3D位置和所述移动设备的所述定向。
5.根据权利要求1所述的方法，其特征在于，检测指示要将新节点添加到所述3D地图的用户输入包括：
检测语音命令、键盘输入或触摸屏输入。
6.根据权利要求1所述的方法，其特征在于，确定所述现实世界对象的3D位置，或者致使确定所述现实世界对象的3D位置，包括：
使用所述移动设备的相机捕捉所述现实世界对象的图像；
至少通过使用深度感测技术处理所述现实世界对象的图像来确定所述移动设备和所述现实世界对象之间的距离；以及
至少基于以下来确定所述现实世界对象的3D位置或者致使确定所述现实世界对象的3D位置：(i)所跟踪的所述移动设备的3D位置，(ii)所述移动设备和所述现实世界对象之间的距离，以及(iii)所跟踪的所述移动设备的定向。
7.根据权利要求1所述的方法，其特征在于，还包括：
在所述移动设备处接收指示新节点的标识符和/或描述的用户输入，
其中，使节点数据库将所述新节点添加到所述过程控制环境的所述3D地图还包括：将所述新节点的标识符和/或描述与所述新节点相关联地存储。
8.根据权利要求1所述的方法，其特征在于，所述移动设备是增强现实(AR)移动设备，所述增强现实(AR)移动设备将数字信息叠加在经由所述AR移动设备的显示器呈现的现实世界视图上。
9.一种使用移动设备映射和导航现实世界过程控制环境的方法，所述方法包括：
在所述过程控制环境中的参考位置处注册第一移动设备；
至少使用所述第一移动设备的惯性测量单元来跟踪：(i)所述第一移动设备相对于所述参考位置的三维(3D)位置，以及(ii)所述第一移动设备的定向；
在所述第一移动设备处检测指示要将新节点添加到所述过程控制环境的3D地图中的用户输入；
至少基于以下确定现实世界对象相对于所述参考位置的3D位置或者致使确定所述现实世界对象的3D位置：(i)所跟踪的所述第一移动设备的3D位置和(ii)所跟踪的所述第一移动设备的定向；
至少通过将所述现实世界对象的3D位置与所述新节点相关联地存储来使节点数据库将所述新节点添加到所述过程控制环境的3D地图；
至少使用第二移动设备的惯性测量单元来跟踪：(i)所述第二移动设备的3D位置，以及(ii)所述第二移动设备的定向；
通过以下两者之一检测触发条件：(i)基于所跟踪的所述第二移动设备的定向确定所述现实世界对象在所述第二移动设备的相机的视野内的区域内，(ii)基于所跟踪的所述第二移动设备的位置确定所述现实世界对象接近所述第二移动设备；以及
响应于检测到所述触发条件，使得与所述新节点相关联的数字信息叠加在经由所述第二移动设备的显示器呈现的现实世界视图上。
10.根据权利要求9所述的方法，其特征在于，还包括：
在所述参考位置处注册所述第二移动设备，
其中，跟踪所述第二移动设备的3D位置包括跟踪所述第二移动设备相对于所述参考位置的3D位置。
11.根据权利要求9所述的方法，其特征在于，在所述参考位置处注册所述第一移动设备包括：
使用所述第一移动设备的相机扫描代码的视觉表示，所述视觉表示位于所述参考位置处。
12.根据权利要求9所述的方法，其特征在于，检测指示要将新节点添加到所述3D地图的用户输入包括：
检测语音命令、键盘输入或触摸屏输入。
13.根据权利要求9所述的方法，其特征在于，确定所述现实世界对象的3D位置或者致使确定所述现实世界对象的3D位置，包括：
使用所述第一移动设备的相机拍摄所述现实世界对象的图像；
至少通过使用深度感测技术处理所述现实世界对象的图像，来确定所述第一移动设备与所述现实世界对象之间的距离；以及
至少基于以下来确定所述现实世界对象的3D位置或者致使确定所述现实世界对象的3D位置：(i)所跟踪的所述第一移动设备的3D位置，(ii)所述第一移动设备和所述现实世界对象之间的距离，以及(iii)所跟踪的第一移动设备的定向。
14.根据权利要求9所述的方法，其特征在于，还包括：
在所述第一移动设备处接收指示所述新节点的标识符和/或描述的用户输入，
其中，使所述节点数据库将所述新节点添加到所述过程控制环境的所述3D地图还包括：将所述新节点的标识符和/或描述与所述新节点相关联地存储。
15.根据权利要求9所述的方法，其特征在于，所述第一移动设备和所述第二移动设备是增强现实(AR)移动设备，所述增强现实(AR)移动设备将数字信息叠加在经由所述AR移动设备的显示器呈现的现实世界视图上。
16.一种用于映射现实世界过程控制环境的系统，所述系统包括：
服务器；以及
包括惯性测量单元的移动设备，所述移动设备被配置为：
在所述过程控制环境中的参考位置处进行注册，
至少使用所述惯性测量单元来跟踪：(i)所述移动设备相对于所述参考位置的三维(3D)位置，以及(ii)所述移动设备的定向，及
检测指示要将新节点添加到所述过程控制环境的3D地图的用户输入，
其中，所述移动设备或所述服务器被配置为基于以下来确定所述现实世界对象相对于所述参考位置的3D位置：(i)所跟踪的所述移动设备的3D位置和(ii)所跟踪的移动设备的定向，以及
其中，所述服务器被配置为将所述新节点添加到节点数据库的过程控制环境的3D地图，所述节点数据库将所述现实世界对象的3D位置与所述新节点相关联地存储。
17.根据权利要求16所述的系统，其特征在于：
所述移动设备还包括相机；以及
所述移动设备被配置为至少通过使用所述相机扫描代码的视觉表示来在所述参考位置处进行注册，所述视觉表示位于所述参考位置处。
18.根据权利要求16所述的系统，其特征在于，所述移动设备被配置为至少通过以下方式检测指示要将新节点添加到所述3D地图的用户输入：
检测语音命令、键盘输入或触摸屏输入。
19.根据权利要求16所述的系统，其特征在于：
所述移动设备还包括相机；
所述移动设备被配置为使用所述相机来捕捉所述现实世界对象的图像；以及
所述移动设备或所述服务器被配置为至少通过使用深度感测技术处理所述现实世界对象的图像来确定所述移动设备与所述现实世界对象之间的距离；以及
所述移动设备或所述服务器被配置为至少基于以下来确定所述现实世界对象的3D位置：(i)所跟踪的所述移动设备的3D位置，(ii)所述移动设备和所述现实世界对象之间的距离，以及(iii)所跟踪的所述移动设备的定向。
20.根据权利要求16所述的系统，其特征在于，所述移动设备是增强现实(AR)移动设备，所述增强现实(AR)移动设备进一步包括将数字信息叠加在现实世界视图上的显示器。
CN201811124251.5A 2017-09-27 2018-09-26 过程控制环境的3d映射 Pending CN109559380A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762564074P 2017-09-27 2017-09-27
US62/564,074 2017-09-27
US16/036,358 US10796487B2 (en) 2017-09-27 2018-07-16 3D mapping of a process control environment
US16/036,358 2018-07-16

Publications (1)

Publication Number Publication Date
CN109559380A true CN109559380A (zh) 2019-04-02

Family

ID=65807773

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880063496.3A Pending CN111149134A (zh) 2017-09-27 2018-09-26 对受限访问对象的虚拟访问
CN201811124251.5A Pending CN109559380A (zh) 2017-09-27 2018-09-26 过程控制环境的3d映射
CN201880063431.9A Active CN111149133B (zh) 2017-09-27 2018-09-26 过程控制环境中的虚拟x射线视觉

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880063496.3A Pending CN111149134A (zh) 2017-09-27 2018-09-26 对受限访问对象的虚拟访问

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880063431.9A Active CN111149133B (zh) 2017-09-27 2018-09-26 过程控制环境中的虚拟x射线视觉

Country Status (6)

Country Link
US (4) US10796487B2 (zh)
JP (4) JP7315313B2 (zh)
CN (3) CN111149134A (zh)
DE (2) DE112018004395T5 (zh)
GB (3) GB2607819B (zh)
WO (2) WO2019067573A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718043A (zh) * 2019-10-17 2020-01-21 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
WO2021227082A1 (en) * 2020-05-15 2021-11-18 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
CN115468560A (zh) * 2022-11-03 2022-12-13 国网浙江省电力有限公司宁波供电公司 基于多传感信息融合的质检方法、机器人、设备及介质
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650597B2 (en) * 2018-02-06 2020-05-12 Servicenow, Inc. Augmented reality assistant
US10977867B2 (en) * 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10547974B1 (en) * 2019-03-19 2020-01-28 Microsoft Technology Licensing, Llc Relative spatial localization of mobile devices
JP2020197836A (ja) * 2019-05-31 2020-12-10 ファナック株式会社 産業用機械のデータ収集確認装置
US11307647B2 (en) * 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
US11250624B2 (en) * 2020-04-24 2022-02-15 Trimble Inc. Methods of displaying an augmented reality model on an augmented reality device
US11120093B1 (en) 2020-06-02 2021-09-14 Capital One Services, Llc System and method for providing a content item based on computer vision processing of images
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US20240024065A1 (en) * 2020-08-10 2024-01-25 Orcana Inc. Method and Platform for Portable Remote Support During Medical Device Implantation Using Augmented Reality Devices
CN112287928A (zh) * 2020-10-20 2021-01-29 深圳市慧鲤科技有限公司 一种提示方法、装置、电子设备及存储介质
CN116917847A (zh) 2021-03-01 2023-10-20 昕诺飞控股有限公司 根据图像中到最近设备的距离显示数据的聚合
CN117813541A (zh) * 2021-07-30 2024-04-02 伊奎蒂公司 交互式标线
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
TWI826198B (zh) 2022-12-21 2023-12-11 生展生物科技股份有限公司 一種嗜熱鏈球菌st7用於調節免疫能力之用途

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221953A (zh) * 2010-09-23 2013-07-24 诺基亚公司 在增强现实中用于分组内容的方法，装置和计算机程序产品
US20130301875A1 (en) * 2012-05-11 2013-11-14 Service Solutions U.S. Llc Augmented reality virtual automotive x-ray having service information
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002538543A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
US7079990B2 (en) 2001-02-08 2006-07-18 Solidworks Corporation Automated connections of computer-aided design components
US7092974B2 (en) * 2003-03-12 2006-08-15 Right Hemisphere Limited Digital asset server and asset management system
DE102005061211B4 (de) 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US7920071B2 (en) 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8397181B2 (en) 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US9865125B2 (en) * 2010-11-15 2018-01-09 Bally Gaming, Inc. System and method for augmented reality gaming
US8509483B2 (en) * 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
KR101199290B1 (ko) * 2011-03-31 2012-11-09 전자부품연구원 증강현실을 이용한 플랜트 관리 방법 및 시스템
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20150153181A1 (en) 2011-07-27 2015-06-04 Google Inc. System and method for providing indoor navigation services
CA2754225A1 (en) * 2011-08-29 2013-02-28 Clover Point Cartographics Ltd. Geographic asset management system and method
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP5999679B2 (ja) 2012-01-18 2016-09-28 株式会社日立製作所 設備保守管理システム
US9147221B2 (en) 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
US9420275B2 (en) 2012-11-01 2016-08-16 Hexagon Technology Center Gmbh Visual positioning system that utilizes images of a working environment to determine position
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US9730029B2 (en) 2012-11-08 2017-08-08 Duke University Unsupervised indoor localization and heading directions estimation
JP6016268B2 (ja) 2012-12-20 2016-10-26 Kddi株式会社 フィールド作業支援装置、方法及びプログラム
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US20150062123A1 (en) 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US10209955B2 (en) * 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9383816B2 (en) * 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9530250B2 (en) 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
US20150169597A1 (en) 2013-12-17 2015-06-18 Qualcomm Incorporated Methods and Systems for Locating Items and Determining Item Locations
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
FR3019333B1 (fr) 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
WO2015160515A1 (en) * 2014-04-16 2015-10-22 Exxonmobil Upstream Research Company Methods and systems for providing procedures in real-time
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
FR3023948B1 (fr) * 2014-07-21 2017-12-22 Airbus Operations Sas Procede d'aide a la maintenance d'un aeronef par realite augmentee.
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160140868A1 (en) 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
JP6540108B2 (ja) 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
US10950051B2 (en) * 2015-03-27 2021-03-16 Rockwell Automation Technologies, Inc. Systems and methods for presenting an augmented reality
WO2016157193A1 (en) 2015-04-01 2016-10-06 Snapback S.R.L. Methods and systems foe electronic device interactions
EP3281403A4 (en) * 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US10206068B2 (en) 2015-07-09 2019-02-12 OneMarket Network LLC Systems and methods to determine a location of a mobile device
US10037627B2 (en) 2015-08-14 2018-07-31 Argis Technologies Llc Augmented visualization system for hidden structures
US20170053042A1 (en) * 2015-08-19 2017-02-23 Benjamin John Sugden Holographic building information update
US10395116B2 (en) 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
EP3171302A1 (en) * 2015-11-18 2017-05-24 F. Hoffmann-La Roche AG A method for generating an entry for an electronic laboratory journal
JP6766824B2 (ja) * 2015-12-10 2020-10-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6687835B2 (ja) * 2016-02-10 2020-04-28 株式会社Ｊｖｃケンウッド 移動端末装置およびプログラム
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
WO2018012206A1 (ja) * 2016-07-12 2018-01-18 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
US10878240B2 (en) 2017-06-19 2020-12-29 Honeywell International Inc. Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221953A (zh) * 2010-09-23 2013-07-24 诺基亚公司 在增强现实中用于分组内容的方法，装置和计算机程序产品
US20130301875A1 (en) * 2012-05-11 2013-11-14 Service Solutions U.S. Llc Augmented reality virtual automotive x-ray having service information
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718043A (zh) * 2019-10-17 2020-01-21 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
WO2021227082A1 (en) * 2020-05-15 2021-11-18 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法
CN115468560A (zh) * 2022-11-03 2022-12-13 国网浙江省电力有限公司宁波供电公司 基于多传感信息融合的质检方法、机器人、设备及介质

Also Published As

Publication number Publication date
US10796487B2 (en) 2020-10-06
CN111149133A (zh) 2020-05-12
GB2580825B (en) 2022-09-28
DE112018004395T5 (de) 2020-05-14
CN111149133B (zh) 2023-12-15
GB202212775D0 (en) 2022-10-19
JP2020535534A (ja) 2020-12-03
GB2580824B (en) 2022-08-17
GB2580825A (en) 2020-07-29
GB2607819A (en) 2022-12-14
US11244515B2 (en) 2022-02-08
JP7315313B2 (ja) 2023-07-26
JP2020535536A (ja) 2020-12-03
DE112018004347T5 (de) 2020-05-07
JP2019067383A (ja) 2019-04-25
GB2580824A (en) 2020-07-29
US11080931B2 (en) 2021-08-03
JP7209704B2 (ja) 2023-01-20
GB202004547D0 (en) 2020-05-13
JP2023153815A (ja) 2023-10-18
US20200402320A1 (en) 2020-12-24
GB2607819B (en) 2023-04-12
CN111149134A (zh) 2020-05-12
US11062517B2 (en) 2021-07-13
US20190096133A1 (en) 2019-03-28
US20190096132A1 (en) 2019-03-28
WO2019067573A1 (en) 2019-04-04
GB202004546D0 (en) 2020-05-13
JP7198276B2 (ja) 2022-12-28
WO2019067570A1 (en) 2019-04-04
US20190096131A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN109559380A (zh) 过程控制环境的3d映射
CN110850959B (zh) 用于工业增强现实应用的漂移校正
US11816887B2 (en) Quick activation techniques for industrial augmented reality applications
US20200388080A1 (en) Displaying content in an augmented reality system
CN103069349B (zh) 具备改进的定位意识功能的手持现场维护工具
KR101894471B1 (ko) 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치
CN105659170A (zh) 用于向远程用户传送视频的方法及视频通信装置
US20190377330A1 (en) Augmented Reality Systems, Methods And Devices
GB2568138A (en) 3D Mapping of a process control environment
GB2606650A (en) Drift correction for industrial augmented reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination