CN116107425A - 用于在工地上配置增强现实的系统和方法 - Google Patents

Abstract

在工地操作的增强现实设备获得与用户和与该用户相关联的机器有关的语境数据和工地数据。基于从语境数据为用户识别的工作角色和机器类型，从多个视觉覆盖中选择用于混合现实显示的视觉覆盖。与现实图像和状态数据协调地在增强现实设备的窗口中为场景显示所选择的视觉覆盖，所述真实世界图像和状态数据从工地数据导出并且还基于工作角色和机器类型。当操作机器时，用户可以查看所选择的可视覆盖和状态数据，其可以针对新的工作角色或机器而改变。

Description

用于在工地上配置增强现实的系统和方法

技术领域

本发明涉及一种用于至少基于操作增强现实设备的用户的工作角色来生成增强现实设备中可见的场景的覆盖的方法。更具体地，本发明涉及一种系统，该系统包括作业机器，增强现实设备和电子控制器，该电子控制器配置为生成特定于用户的工作角色的增强现实覆盖，并且涉及与用户相关联的作业机器。

背景技术

作业机器可以帮助在工地内移动、成形和重新配置地形。例如在铺路工地处，可以使用一件或多件铺路装置(例如冷刨机)来移除道路、停车场或其他此类作业表面的一部分，以便暴露铺路表面。一旦作业表面的该部分已经被移除，诸如沥青铺路机的铺路机可以将加热的铺路材料(例如沥青)分布、成形和部分地压实到铺路表面上。然后可以使用一台或多台压实机进一步压实铺路材料，直到达到所需的铺路材料密度。

增强现实设备可用于帮助用户在工地操作作业机器。增强现实(augmentedreality)是指从通过电子设备的物理环境的真实世界视图开始并利用数字内容来增强该视图的技术。通常，增强现实设备是头戴式显示器，通常是计算机化智能眼镜的形式，尽管其他实现也是可用的。通过适当的编程，在工地使用的增强现实设备可以警告用户在项目中的危险，例如电力线、管道、检查井盖或铺路工地内的项目的位置。

在美国专利第10,829,911号(“'911专利”)中描述了一种在工地内使用增强现实设备的方法。'911专利描述了一种虚拟协助系统，其包括用于辅助作业机器对工地进行分级的增强现实显示器。与虚拟协助系统相关联的各种模块指示工地内危险的存在，然后在增强现实显示中强调这些危险。强调可以通过在机器操作员的物理工地视图内增加\覆盖或叠加附加的可视对象来进行。然而，'911专利仅涉及由机器操作员使用增强现实显示。大型工地可以具有许多具有不同角色或职责的人员，这些人员可以受益于'911专利未考虑的增强现实显示。因此，'911专利的系统对于必须根据用户的角色而适用于不同操作模式的增强现实设备是不受期待的，所述角色可能存在于大型工地内的各种人员。

本发明的示例旨在克服这种系统的缺陷。

发明内容

在本发明的一方面，一种计算机实施方法包括：由电子控制器接收与工地处的用户相关联的增强现实设备的激活的指示；以及获得与工地处的增强现实设备的使用有关的语境数据，其中，语境数据包括用户的用户身份。该方法还包括由电子控制器为增强现实设备识别与工地内的用户身份相关联的第一工作角色，以及至少部分地基于第一工作角色为用户专用的增强现实设备生成增强现实覆盖。电子控制器对用户可视的增强现实设备的窗口内的场景的真实世界图像的混合现实显示进行第一修改。第一修改包括与真实世界图像视觉协调的增强现实覆盖，并且在第一工作角色和第二工作角色之间不同。

在本发明的另一方面，一种计算机实施方法包括由电子控制器接收识别工地处的增强现实设备的用户的用户数据、识别所述用户在所述工地处的工作角色，以及接收识别与所述用户在所述工地处相关联的作业机器的机器数据。电子控制器至少部分地根据工作角色和作业机器的组合，从可用于在增强现实设备内可视的场景的多个可视覆盖中选择可视覆盖。此外，该方法包括由电子控制器接收与工地的用户对作业机器的操作有关的工地数据，并至少部分地基于工作角色和作业机器的组合将工地数据过滤为状态数据。另外，电子控制器使得在用户可观看的增强现实设备的窗口内修改场景的真实世界图像的混合现实显示，其中场景的修改包括与真实世界图像和状态数据协调的视觉覆盖，并且其中修改专用于工作角色和作业机器。

在本发明的又一方面中，一种系统包括可由用户在工地上操作的作业机器、与用户相关联的增强现实设备，以及至少联接到增强现实设备的电子控制器。所述电子控制器配置为在所述工地处接收所述增强现实设备的用户的用户身份，识别与所述增强现实设备的所述工地内的所述用户身份相关联的第一工作角色；以及至少部分地基于所述第一工作角色来生成针对所述用户的所述增强现实设备的增强现实覆盖。此外，该系统的电子控制器配置为引起对用户可观看的增强现实设备的窗口内的场景的真实世界图像的混合现实显示的修改。该修改包括与真实世界图像视觉协调的增强现实覆盖，并且在第一工作角色和第二工作角色之间不同。

附图说明

图1是根据本发明的示例的工地内的系统(例如铺路系统)的透视图。

图2是根据本发明的示例的图1的工地内的代表性信息流的功能图。

图3是描绘根据本发明的示例的用于系统基于工地内的语境来配置增强现实设备的方法的流程图。

图4是根据本发明的示例的待研磨的街道的没有增强现实的示例视图。

图5是根据本发明的示例的待研磨街道的研磨操作员的增强现实的示例图。

图6是根据本发明的示例的待铺砌的街道的现场检查员的增强现实的示例图。

具体实施方式

只要可能，在所有附图中使用相同的附图标记来表示相同或相似的部件。本发明始于对图1中描绘的示范性系统100(例如铺路系统100)的讨论。虽然参考图1中的系统100进行讨论，但是本发明的原理可应用于系统100之外的受益于具有多种操作模式的增强现实设备的其他工作环境和设置。图2-6提供了对本发明内的概念的更多解释。

首先转到图1，示例铺路系统100包括至少一个示例机器，该示例机器配置为用于一个或多个研磨、挖掘、拖运、压实、铺路或其他此类过程。在该环境中，增强现实设备帮助用户在铺路系统100中执行工作功能。该增强现实设备(例如详细讨论的智能眼镜之类的)提供铺路系统100内的物理环境的真实世界视图，并通过具有数字信息的显示器增强该视图。显示器内的数字信息可包括对部分物理环境、数据、文本、图形、全息图、化身或补充视图的其他数字内容的叠加加亮或强调。数字信息被叠加以与视图内相应物理对象的位置协调或重合。此外，在以下讨论的示例中，增强现实设备可以至少基于其用户的工作角色来改变其行为和其数字内容的显示。例如系统100内的作业机器的操作员可以在增强现实设备内看到与使用相同增强现实设备的工地的监督员或访问者不同的叠加图像。图1提供了用于进一步解决这些概念的框架。

图1中的示例性铺路系统100可包括铺路机102，该铺路机可用于道路或公路建设、停车场建设和其他相关行业。可替代地，铺路机102可以是用于沉积加热的沥青、混凝土或类似材料的任何其他机器。铺路机102还可以包括用于存储铺路材料的料斗112。铺路机102还可以包括用于将铺路材料从料斗112传送到铺路机102的其他下游部件的传送系统114。例如铺路机102可以包括螺旋推运器组件116，该螺旋推运器组件接收经由传送系统114供应的铺路材料并且将铺路材料分配到铺路表面118上。这种铺路材料在图1中表示为120。在这样的示例中，螺旋推运器组件116可配置为基本上在铺路机102的整个宽度上分配铺路材料120。

进一步参照图1，操作员站128可联接到牵引机部分104。操作员站128可包括控制台130和/或用于操作铺路机102的其他杠杆或控制器。例如控制台130可以包括用于控制铺路机102的各种功能的控制接口。控制接口可以支持其他功能，包括例如与铺路系统100的一个或多个其他机器共享各种操作数据。在一些示例中，该控制接口的显示器可以是可操作的以显示工地地图，该工地地图识别铺路表面的至少一部分和/或位于该铺路表面下方的一个或多个物体。

如图所示，铺路机102还可以包括通信设备132。这样的通信设备132可以配置为允许在铺路机102与铺路系统100的各种其他机器之间无线传输多个信号、指令和/或信息。通信设备132还可以配置为允许在铺路机102与铺路系统100的一个或多个服务器、处理器、计算机和/或其他控制器134、一个或多个平板电脑、计算机、蜂窝/无线电话、个人数字助理，移动设备或其他电子设备136和/或其他部件之间无线传输多个信号、指令和/或信息。

图1所示的控制器134可位于铺路机102附近的工地、远程铺路材料厂、远程指挥中心(未示出)和/或任何其他位置。在这里描述的任何示例中，控制器134的功能可以是分布式的，使得某些操作在工地执行而其他操作远程执行。例如控制器134的一些操作可以在工地、在铺路机102、拖运卡车、冷刨机和/或铺路系统100的其他部件中的一个或多个上执行。应当理解，控制器134可以包括铺路系统100的部件。

控制器134可以是单个处理器或其他设备，或者可以包括多于一个的控制器或处理器，这些控制器或处理器配置为用于控制铺路系统100的不同功能和/或特征。如在此使用的，术语“控制器”在其最广泛的意义上是指包括一个或多个控制器、处理器和/或微处理器，这些控制器、处理器和/或微处理器可以与铺路系统100相关联，并且可以协作来控制铺路系统100的部件(例如机器)的各种功能和操作。控制器134的功能可以在硬件和/或软件中实现，而不考虑功能。

一个或多个电子设备136还可以包括铺路系统100的部件。这样的电子设备136可以包括例如移动电话、笔记本电脑、台式计算机和/或项目经理(例如前门)的平板，该项目经理监督工地和/或铺路材料厂处的日常铺路操作。这样的电子设备136可以包括和/或可以配置为访问一个或多个处理器、微处理器、存储器或其他部件。在这样的示例中，电子设备136可以具有与控制器134类似和/或相同的部件和/或功能。

网络138可以是局域网(“LAN”)、诸如广域网(“WAN”)的较大网络，或诸如因特网的网络集合。用于网络通信的协议(例如TCP/IP)可以用于实现网络138。尽管本文将实施例描述为使用例如因特网的网络138，但可实施经由存储卡、快闪存储器或其他便携式存储器设备传输信息的其他分发技术。网络138可以实现或利用包括多个通信标准中的任何一个的任何期望的系统或协议。所需协议将允许控制器134、电子设备136、本文所述的各种通信设备132和/或铺路系统100的任何其他所需机器或部件之间的通信。可以由在此描述的铺路系统100使用的无线通信系统或协议的示例包括诸如蓝牙RTM(例如IEEE802.15)的无线个域网、诸如IEEE802.11b或802.11g的局域网、蜂窝网络，或用于数据传输的任何其他系统或协议。可以设想其他无线通信系统和配置。

在示范性实施例中，铺路系统100的一个或多个机器(例如铺路机102)可以包括位置传感器140，该位置传感器配置为确定对应机器的位置和/或取向。在这样的实施例中，相应机器的通信设备132可配置为产生和/或向例如控制器134、一个或多个电子设备136和/或铺路系统100的其他相应机器发送指示这样确定的位置和/或取向的信号。在一些示例中，各个机器的位置传感器140可以包括和/或包含全球导航卫星系统(GNSS)或全球定位系统(GPS)的部件。或者，可利用通用全站仪(UTS)来定位机器的相应位置。铺路系统100的一个或多个附加机器还可以与一个或多个GPS卫星142和/或UTS通信，并且这种GPS卫星142和/或UTS还可以配置为确定这种附加机器的相应位置。在本文所述的任何示例中，由相应位置传感器140确定的机器位置可由控制器134、一个或多个电子设备136和/或铺路系统100的其他部件使用，以协调铺路机102、一个或多个冷刨机和/或铺路系统100的其他部件的活动。

铺路机102还可以包括控制器144，控制器144可操作地连接到控制台130、通信设备132和/或铺路机102的其他部件和/或以其他方式与控制台130、通信设备132和/或铺路机102的其他部件通信。控制器144可以是单个控制器或一起工作以执行各种任务的多个控制器。控制器144可以体现为单个或多个处理器、微处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他部件，这些部件配置为至少部分地基于从铺路系统100的一个或多个其他机器接收的信息、从铺路机102的操作员接收的铺路机操作信息、从GPS卫星142接收的一个或多个信号和/或其他信息来计算和/或以其他方式确定铺路机102的一个或多个行进路径、整平装置设置和/或铺路机102的其他操作约束。许多市场上可买到的处理器或微处理器配置为执行控制器144的功能。

如图1所示，铺路系统100还可包括一个或多个冷刨机146和一个或多个拖运卡车148。在这样的示例中，冷刨机146可以包括控制器152，该控制器152与以上关于铺路机102描述的控制器144基本上类似和/或相同。在这些示例中，冷刨机146的控制器152可以经由网络138与铺路机102的控制器144通信。

冷刨机146可以进一步包括一个或多个转子156，这些转子具有接合地面齿、钻头或其他部件，这些部件配置为移除其上布置有冷刨机146的作业表面158的道路、路面、沥青、混凝土、砾石、泥土、沙子或其他材料的至少一部分。冷刨机146还可包括连接到框架159的传送系统160，该传送系统160配置为将作业表面158的移除部分从转子156附近(或从第一和第二转子附近)输送到拖运卡车148的底座162。另外，冷刨机146可以包括致动器组件163，该致动器组件163连接至框架159并且配置为当转子156移除作业表面158的部分时相对于框架159移动转子156(或移动第一转子和第二转子)。

除了与转子156相关联的致动器组件163之外和/或代替与转子156相关联的致动器组件163，冷刨机146可以包括前致动器组件167和后致动器组件169。在这些示例中，前致动器组件167可连接到框架159，并配置为相对于框架159升高和/或降低一个或多个车轮、连续履带或其他地面接合元件(设置在冷刨机146的前部)。类似地，后致动器组件169可连接到框架159，并配置为相对于框架159升高和降低一个或多个车轮、连续履带或其他地面接合元件(设置在冷刨机146的后部)。

如图1所示，冷刨机146还可包括一个或多个GPS传感器或其他类似的位置传感器164，传感器配置为确定冷刨机146和/或其部件的位置。在示例性实施例中，连接到冷刨机146的框架159的位置传感器164可以配置为结合上述一个或多个GPS卫星142来确定GPS坐标(例如纬度和经度坐标)、网格坐标、地图位置和/或指示冷刨机146的位置的其他信息。在这些示例中，冷刨机146的控制器152和/或铺路机102的控制器144可以至少部分地基于指示冷刨机146的位置的信息(例如GPS坐标)来确定转子156的轴向最外边缘(例如左边缘和右边缘)的相应GPS坐标。

冷刨机146还可以包括操作员站166，并且操作员站166可以包括控制台168和/或用于操作冷刨机146的其他杠杆或控制器。在一些示例中，操作员站166和/或控制台168可以基本上类似于以上关于铺路机102描述的操作员站128和控制台130。例如控制台168可以包括用于控制冷刨机146的各种功能的控制接口，包括例如与铺路系统100的一个或多个其他机器共享各种操作数据。

继续参照图1，拖运卡车148可包括配置为将铺路材料120、作业表面158的去除部分和/或其他建筑材料运输到工地和从工地运输的任何道路车辆或越野车辆。例如类似于冷刨机146和铺路机102，拖运卡车148可以包括成组的轮子或其他地面接合元件，以及用于驱动地面接合元件的动力源。如上所述，拖运卡车148可包括配置为接收从冷刨机146移除的作业表面158的部分和/或运输铺路材料120的底座162。

另外，拖运卡车148可包括通信设备170和位置传感器172。通信设备170可以基本上类似于和/或相同于上述通信设备132、154，并且位置传感器172可以基本上类似于和/或相同于上述位置传感器140、164。

以铺路系统100的形式的工地可以另外包括一个或多个为用户150提供“增强现实”或“增强视觉”的设备，在图1中示出为增强现实设备174。增强现实设备174是其中利用附加信息输入来增强用户对真实物理世界的感知或观看的显示设备。该输入可以包括关于观察者当前观看的场景或焦点的附加信息。增强现实设备174有时被称为“平视显示器”，因为它使操作员能够观看增强数据而不必移动他们的头部。增强显示设备174包括显示屏幕176，在其上显示增强内容。显示屏幕176可以设置在操作员的视线中，如操作员眼睛164的位置所示。因此，显示屏幕通常是透明的，但是也可以被修改以显示如下所述的增强输入。增强现实设备174可以采用其他合适的形式。在一种实现方式中，增强现实设备174是具有眼罩或护目镜的头戴式显示器(HMD)，眼罩或护目镜具有用作显示屏幕176的透明透镜，佩戴者通过显示屏幕176观看周围环境。

增强现实设备174的一个当前商业选择是可从华盛顿州雷蒙德市的微软公司获得的一组全息透镜智能眼镜。全息透镜设备是头戴式混合现实智能眼镜。在其他特征中，全息透镜是无缆全息设备，其包括用于确定沿XYZ坐标的线性加速度的加速度计、用于确定旋转的陀螺仪、用于确定绝对取向的磁力计、用于眼睛跟踪的两个红外相机，以及用于头部跟踪的四个可见光相机。这样，全息透镜包括高级传感器以捕获关于用户正在做什么以及用户所处的环境的信息。全息透镜包括经由wi-fi的网络连接，并且可以与使用蓝牙的其他兼容设备配对。定制处理器或控制器使全息透镜能够处理来自传感器的重要数据并处理诸如空间映射之类的附属任务。

与铺路系统100内的其他设备一样，增强现实设备174可以经由网络138与控制器134通信，例如通过其建立Wi-Fi连接的能力。通过这种通信，增强现实设备174或控制器134可以提供或生成与地理区域(例如铺路系统100的工地)相关的空间映射信息。空间映射提供增强现实设备174周围的环境中的现实世界表面的详细表示。空间映射帮助锚定物理世界中的对象，使得当在显示器内增强时，数字信息可以与它们精确地协调。在一些示例中，可以从外部源检索与铺路系统100相关联的工地的地形图以供增强现实设备174使用。在其他示例中，增强现实设备174通过其相机收集数据，并建立其随时间看到的环境的空间地图。当物理环境改变时，增强现实设备174可以在其相机收集佩戴者看到的信息时更新地图。

控制器134或增强现实设备174可以保留增强现实设备174可用的工地的地图。在操作中，增强现实设备174通过其许多传感器和相机可以识别作为眼镜的佩戴者的用户150的视场内的对应于地图的物理场景。随着用户150的视野改变，来自与用户150通过显示屏幕176看到的内容相关联的空间地图的相关数据也改变。

增强现实设备174使得能够在显示屏幕176内的物理世界的视图上叠加或增强数字信息的编程。特别地，通过物理域中的显示屏幕176看到的所选物理对象可以用数字域中的图形加亮或强调。已知来自空间映射数据的所选物理对象的坐标，增强现实设备174可以协调显示屏幕176内的图形的定位，以使两者对准。在一些示例中，图形被加亮地叠加。在其他示例中，图形包括全息图或足以向用户150传送所需信息的其他图形。

尽管未在图1中示出，但显然，铺路系统100的工地可包括许多障碍物或危险物，这些障碍物或危险物可影响铺路机102、冷刨机146或拖运卡车148的有效和安全操作。这些可能包括可能损害设备安全移动的架空电力线、研磨或铺路路径内的检查井和检查井盖、铺路路径侧面的沟渠或其他坡度、工地内的设备、铺路路径附近地面上的人员、铺路路径附近行驶的车辆和其他障碍物。这些危险可以在工地内的任何物理尺寸中识别，例如在作业表面158上，在作业表面158之下，在铺路机102、冷刨机146或拖运卡车148之一的侧面，或在作业表面158之上。在一些示例中，增强现实设备174在铺路机102、冷刨机146和拖运卡车148的操作期间当这些危险出现在显示屏幕176内时识别这些危险中的一个或多个。因此，当用户150佩戴增强现实设备174并通过包括这些危险中的一个或多个的视场看到显示屏幕176中的物理世界时，增强现实设备174添加数字信息以向用户150强调或加亮危险。

除了潜在危险之外，在一些示例中，增强现实设备174突出显示对用户150的作业功能重要的视场内的数字信息对象。例如当用户150是冷刨机146的操作员时，基于用户150的当前位置和视场，增强现实设备174可以帮助识别待治疗的作业表面158的区域。至少如上所述在铺路系统100内的除了增强现实设备174内的传感器之外的传感器可以用于收集关于相对于用户150的视野的位置、透视和地形的信息。

虽然图1示出了用于在工地内实现增强现实设备174的一般环境，但是图2示出了根据本发明原理的铺路系统100的示例内的信息流的示例。如以上关于图1所讨论的，铺路系统100包括一个或多个配置为收集、存储、共享、递送和处理与工地相关联的数据的设备，包括控制器134、电子设备136、网络138和卫星142。从铺路系统100中，一种类型的可用数据是语境数据202，其在一些示例中是用于增强现实设备174的操作的语境的数据特征。语境数据202可以来自铺路系统100内的许多设备和情况，具有不同的类型和形式，并且可以以多种方式存储和传送。在一些实施方式中，语境数据200在作为铺路系统100内的各种作业机器的一部分的电子处理和存储设备之间传送。具体地，语境数据202可由铺路机102的控制器144和通信设备132、冷刨机146的控制器152和通信设备154或拖运卡车148的控制器和通信设备170中的一个或多个产生或捕获并从其传送。语境数据202的通信可以在这些作业机器之间发生，通过网络138到控制器134，直接到增强现实设备174，或通过任何其他通信路径。

如图2中的204所示，语境数据202包括用户身份。用户身份204是当前与增强现实设备174的使用相关联的个人的唯一表示。用户身份可以是登录名、公司识别或雇员编号、政府识别码，或唯一识别增强现实设备174的用户150的任何类型的序列。用户身份可以是用户名和密码的组合，或者是为避免身份混淆或重复而选择的代码的其他变体。在一些示例中，用户身份204被直接输入到增强现实设备174中。该输入可以通过用户150与增强现实设备174的交互来发生，或者增强现实设备174可以使用其相机之一来扫描用户150的视网膜以执行一种类型的生物安全检查以进行识别。在其他示例中，通过在诸如个人的智能电话或平板电脑之类的计算机化设备上运行的应用程序来提供用户身份204，并且用户身份204从计算机化设备被传送到网络138或增强现实设备174。或者，用户身份204被输入到由该人操作的作业机器中，并从该作业机器传送到网络138或增强现实设备174。

机器身份206是语境数据202的另一示例。机器身份206指定与增强现实设备174的用户150相关联的特定机器或机器类型。在一些情况下，机器身份206是字母数字代码或传达作业机器的构造、类型和/或型号的其他信息符号，所述作业机器例如是CaterpillarAP555F履带式沥青铺路机或Caterpillar PM620冷刨机。机器身份206可以以各种方式提供，例如通过直接进入增强现实设备174，通过从计算机化设备到控制器134或增强现实设备174的通信，或者通过从作业机器之一上的控制器144或控制器152到控制器134或增强现实设备174的通信。

语境数据202还包括位置208和时间210。如以上针对图1所讨论的，铺路系统100内的作业机器或其他设备(例如位置传感器140)可以与一个或多个GPS卫星142和/或UTS通信，并且此类GPS卫星142和/或UTS还可以配置为确定此类机器或设备的相应位置。另外，增强现实设备174包括位置感测能力并相对于其位置确定位置208。在铺路系统100中的任何控制器或电子设备内以及在增强现实设备174内确定时间209。如果位置208和时间209尚未由控制器134和/或增强现实设备174确定，则将位置208和时间209传达给控制器134和/或增强现实设备174，以便在铺路系统100中使用。

除了语境数据202之外，铺路系统100内的电子部件收集并传送工地数据210。通常，工地数据210包括从与作业机器和工地相关联的一个或多个操作传感器收集的与铺路系统100内的作业功能的执行相关的操作数据212。在一个示例中，铺路系统100的系统控制器134、电子设备136和/或任何其他希望的机器或部件可以连续地或周期性地向通信设备132、通信设备154或通信设备170发送请求，请求从操作传感器(未示出)获得的数据。操作传感器可以检测任何参数，例如光、运动、温度、磁场、电场、重力、速度、任何方向上的加速度、湿度、湿气、振动、压力和声音，以及其他参数。因此，操作传感器可包括加速度计、温度计、近程传感器、电场近程传感器、磁力计、气压计、地震计、压力传感器和声学传感器，以及其他类型的传感器。可以收集与传感器类型相关联的相应操作数据212。因此，经由操作传感器获得的操作数据212可以被传输到控制器132或控制器152，例如用于进一步的传输和/或处理。从传感器收集的操作数据212的示例包括作业机器的操作员操纵、机器速度、机器位置、流体压力、流体流速、流体温度、流体污染水平、流体粘度、电流水平、电压水平，流体(例如燃料、水、油)消耗速率、有效负载水平和类似特性。在图1和图2的示例中，铺路机102、冷刨机146和拖运卡车148可以在本领域普通技术人员的知识范围内收集许多其他类型的操作数据212(也称为远程信息处理数据)并且经由网络138将这些数据至少传送到控制器134。

在图2的实现中，工地数据210还包括生产度量214。生产度量214通常包括与评估项目、操作员或机器的工作任务或工作流程的进度相关的数据。例如对于如图1中的研磨和铺砌项目，可以测量作业表面158和铺路表面118的状况，以确定冷刨机146和铺路机102在工地计划内的任务进度。从生产度量214确定的性能指标可用于识别工地计划内的性能欠佳的机器，以及允许与工地计划相关联的主管、工头、监督员、乘务人员和其他个人知道沿工地计划进展了多远以及可留下多少工地计划来完成。在一些示例中，生产度量214用于评估整个项目内的作业机器(诸如铺路机102、冷刨机146和拖运卡车148)的工作流程的状态，并且用于识别完成工作流程内剩余的步骤。生产度量214可以由例如系统控制器134使用一个或多个数据图、查找表、神经网络、算法、机器学习算法和/或其他部件来处理，以呈现工地的确定性能指标和工作状态。

在一些示例中，无人驾驶飞机数据216是工地数据210的一部分。空中的一个或多个无人驾驶飞机可以收集关于Y轴方向上的工地和关于宽广视野的工地的作为无人驾驶飞机数据216的唯一信息。无人驾驶飞机数据216可以包括关于作业表面158和铺路表面118的状况、工地的进展状态、工地内的设备和人员的移动和状态，以及本领域普通技术人员的知识和实验内的其他状况的信息。

在图2的实现中，工地数据210包括危险数据218和人员状态220。危险数据218包括所收集的与工地内存在对工作流造成伤害或破坏的风险的对象有关的信息。危险数据218可以包括与研磨操作有关的地下危险(例如检查井、电线)、地面危险(例如检查井盖、沟渠、人员、车辆)和地上危险(例如电力线、桥梁)。铺路机102、冷刨机146和拖运卡车148中的一个与危险数据218中识别的物体的交叉可能导致人员受伤，设备损坏或至少中断计划工作流程。类似地，人员状态220是与工地内的人员的位置、移动和识别相关联的数据。在一个语境中，人员状态220可以与危险数据218重叠，以识别工地内可能处于对工作流造成伤害或破坏的风险中的人。在另一语境中，人员状态220提供关于工地内用于完成工作流的资源可用性的信息。例如人员状态220可以识别供应品到达工地，例如具有更多铺路内容的沥青卡车或返回工地的空的拖运卡车148。与其他工地数据210一样，危险数据218和人员状态220通常经由网络138传送到控制器134，或者直接或间接地传送到增强设备174，用于以下面参照图3-6讨论的方式通过增强现实设备174存储、分析、处理和潜在使用。

虽然图2描绘了与诸如铺路系统100的代表性工地内的增强现实设备174相关的语境数据202和工地数据210的类别中的数据流，但是图3是用于配置与本发明的实现一致的增强现实设备174的示例方法的流程图。如图3中概括的，方法300需要至少增强现实设备174和控制器134之间关于语境数据202和工地数据210的代表性交互。

具体地，方法300从步骤302开始，步骤302由电子控制器接收与工地处的用户相关联的增强现实设备的激活的指示。在一个示例中，用户打开增强现实设备174，并且增强现实设备174内的电子控制器登记该设备的激活以开始操作。或者，电子控制器是控制器134，其通过网络138接收指示。

在下一步骤304中，电子控制器获得包括用户数据和机器数据的语境数据。例如在激活之后，控制器(无论是控制器134还是增强现实设备174内的控制器)获得与增强现实设备174相关的语境数据202，其至少包括用户身份204和机器身份206。如上所述，用户身份204可以与用户使用增强现实设备174的登录和认证过程相关联，并且机器身份206可以是与用户150相关联的工地处的特定作业机器的识别，特定作业机器诸如用户150将操作的作业机器。在一些语境中，如下所述，语境数据202不包括机器身份206，因为用户150不与特定机器相关联。语境数据202的其他特征也可以由控制器获得，诸如位置208和时间209，尽管它们没有在方法300中详细说明。

在步骤304之后，根据用户身份为工地处的用户150识别工作角色222(步骤306)。工作角色是用户在工地内具有的定义的责任或功能。在本发明的语境中，典型的工作角色是操作员、监督员、检查员和访问者。在不脱离所披露和要求保护的过程的情况下，可以存在更少或更多的工作角色。在该示例中，操作员是工作角色，其中用户150控制或引导用户机器224的操作，用户机器224例如铺路机102、冷刨机146和拖运卡车148中的一个。在这种情况下，操作员能够影响转向、加速、停止、启动以及与用户机器224相关联的许多其他功能。在一些示例中，通过访问包括增强现实设备174的合格用户和与这些用户相关联的工作角色的数据库来为用户150识别工作角色。企业内的其职业是操作如冷刨机146的铺路装置的人员可以在数据库中作为操作员列出。另一个人可以在管理中工作并且在企业数据库中被列为监督员。可替代地，铺路系统100可以为增强现实设备174的用户提供选项以输入特定的工作角色，例如通过电子设备136或通过作为登录过程的一部分的一些其他装置直接输入到增强现实设备174中。所提供的用于将工作角色与用户相关联的访问和控制的级别受特定实现的支配并且在本领域普通技术人员的知识范围内。

步骤306还需要从语境数据202内的机器数据中识别用户机器。如上所述，从机器数据206识别的用户机器224在一些示例中指定与用户150相关联的设备的样式、型号或类型。因此，如果用户150具有作为操作员的工作角色，则在一种情况下，该操作员可以进一步与CaterpillarPM620冷刨机相关联。对于其他工作角色，可以不发生步骤306下的机器数据206和用户机器224的识别。具体地，如果工作角色222是检查员或访问者，则与该用户相关联的活动不必绑定到特定机器。使用户与作业机器相关联的变化取决于实现方式。

如图3所反映的，步骤308涉及由电子控制器在可用于在增强现实设备内可视的场景的多个可视覆盖中选择可视覆盖。增强现实设备174包括软件和用于对软件进行编程以生成用于结合物理世界的视图来显示的增强或覆盖的可用性。这些覆盖可以表现为重叠图像、加亮、全息图或与在物理世界中观看的场景内的对象相关联的其他强调。对于包含增强现实设备174或控制器134内的映射的物理空间内的任何给定场景，多个增强或覆盖，或对增强或覆盖的多个变化是可能的。本发明考虑在可用于场景的多个视觉覆盖中选择覆盖或覆盖的变型，而不是为增强现实设备174的任何用户呈现公共覆盖。此外，如步骤308所示，选择视觉覆盖包括至少部分地基于工作角色222和用户机器224的组合在多个视觉覆盖中进行选择。因此，选择用于增强现实(即，加亮场景内的某些对象)的视觉覆盖或增强覆盖226以适合用户150的工作角色222，并且还可能适合使用与该用户相关联的用户机器224的用户任务。

继续通过图3，步骤310包括接收与用户150在工地处对用户机器224的操作有关的工地数据，并且步骤312是至少部分地基于工作角色222和用户机器224的组合将该工地数据过滤成状态数据。例如在接收到诸如操作数据212、性能度量214和危险数据218中的一个或多个之类的工地数据210之后，诸如控制器134之类的控制器处理所接收的数据，以便为用户150选择与所识别的工作角色和作业机器相关的信息。在工作角色222是操作员而用户机器224是冷刨机146的情况下，控制器134(或增强现实设备174内的控制器)过滤所接收的工地数据210以获得与冷刨机146与当前工作流的操作相关的操作数据212、性能度量214和危险数据218。

在步骤314中，控制器对用户150可查看的增强现实设备的窗口内的场景的真实世界图像的混合现实显示进行修改。该修改包括与真实世界图像和状态数据228协调的增强覆盖226，并且专用于工作角色222和用户机器224。在一些实现中，增强现实设备174内的控制器(或控制器134)将使显示屏幕176通过叠加专用于工作角色222和用户机器224的增强覆盖226来改变场景的用户视场内的内容。因此，对于冷刨机146的操作员的示例，控制器将使显示屏幕176显示针对与该机器的操作相关的增强覆盖226确定的突出显示显示的对象，并显示针对该机器发生的工作流程的过滤后的工地数据210。

结合图3的方法观察的图4-6帮助说明视觉覆盖和过滤的工地数据的这些选择。图4是通过街道内的车道402的增强现实设备174的显示屏幕176的示例性视图，该车道402在没有增强的情况下被研磨和铺砌。对向车道404通过分隔线406与车道402分开。检查井盖408在车道402内，并且架空电力线410在该距离上跨越道路。护栏412沿着车道402的延伸，并且右路侧414和左路侧416与街道接界。图4中的物理世界中待研磨和铺砌的街道的此视图不包含可能由增强现实设备174添加的增强。

图5通过显示屏幕176示出了与图4相同的物理世界的视图，即，要研磨和铺砌的街道，但是具有根据操作员的工作角色为作为冷刨机146的作业机器选择的覆盖层。从工地接收的工地数据210在该示例中还根据作为操作员的工作角色222和冷刨机146的用户机器224来过滤。如图5所示，为操作员提供增强覆盖226，其突出显示与冷刨机146的操作相关的显示屏幕176的视场内的对象。在屏幕中与对象协调的指示包括“待研磨区域”的第一通知502、与检查井盖406相关联的“障碍检查井盖”的突出显示和第二通知504、沿着护栏412和右路侧414的边界的“安全陡坡”的突出显示和第三通知506，以及沿着左路侧416的“安全陡坡”的突出显示和第四通知508。同样，在架空电力线410上叠加“安全架空电力线”的突出显示和第五通知510。图5中的增强覆盖226内的这些重点中的每一个基于它们与由工作角色222和用户机器224定义的冷刨机146的操作的直接相关性而从更大的一组可能的覆盖或重点中选择，如上所述。因此，仅覆盖对于用户150重要且适合的信息。

除了与显示屏幕176内的对象协调的增强之外，混合现实显示的修改还包括与过滤后的工地数据210相关的内容，该内容而不必与观看的对象协调。例如图5中的显示屏幕176包括第六通知512，其识别被过滤以与用户机器224的当前工作活动相关的性能数据。由于性能数据不直接与物理视图中的对象相关，因此它可以显示在显示屏幕176的视场内的任何方便的位置。

与图5相反，图6示出了由待铺砌的街道的现场检查员通过具有增强现实的显示屏幕176的在物理世界中的相同场景的示例性视图。在这种情况下，工作角色222已被识别为检查员，因此，没有作业机器与增强现实设备174的用户150相关联。在该示例中，控制器134或增强现实设备174内的控制器选择特定于检查员并与检查员在工地内的位置相关的增强覆盖226。因此，显示屏幕176显示与现实世界中的对象协调的若干叠加项目，即第一通知602、第二通知604和第三通知606，其识别检查员的检查位置。这些项目与检查员在评估用于铺路的车道402中的角色有关。此外，提供了“待铺砌区域”的第四通知608，以帮助引导检查员进行任务。最后，提供过滤后的工地数据210的若干项。即，性能数据的第五通知被过滤以涉及检查员的当前工作活动。此外，提供第六通知以警告检查员关于对向车道404的安全。因为第五和第六通知不直接与物理视图中的对象相关，所以它们可以显示在视场内的任何方便的位置。由于地面上和街道侧面的危险对于检查员来说不是危险，所以图5中的第三通知506(陡峭坡度)、第四通知508(陡峭坡度)、第五通知510(架空电力线)被滤出并且不显示。

回到图3，在最后的步骤318中，方法300评估语境数据202、特别是工作角色222或用户机器224是否发生了改变。如果没有，则该方法继续评估接收到的工地数据210以确定要在显示界面176内提供的信息。如果工作角色222或用户机器224已经改变，则方法300返回到步骤306，在步骤306，方法300再次评估语境数据202以确定新的工作角色222或用户机器224。无论工作角色是可通过增强现实设备174直接定义的，由控制器124查找的，还是以不同的方式获得的，用户可以相对于增强现实设备174从一个责任级别改变到另一个责任级别。例如在完成工作流程之后，冷刨机146的操作员可以从操作员到检查员改变工作角色。在这种情况下，相关控制器将选择不同的增强覆盖226以匹配用户150的新工作角色。作为示例，显示屏幕176内的用户视图将从作为冷刨机146的操作员的图5改变为作为检查员的图6。类似地，相同的增强现实设备174可以与不隶属于企业的用户(例如访问者)共享。在该情况下，工作角色222将选择仅提供安全信息以防止对工地的位置的伤害或未授权访问的增强覆盖226。

因此，如图3-6所示，本发明的方法使增强现实设备174适应与其使用相关的语境数据，特别是针对用户的工作角色和与用户相关联的作业机器。所属领域的技术人员将了解，本发明的原理不限于图中所论述或说明的特定实例。例如尽管就铺路系统100进行了讨论，但是本发明的方法和系统同样适用于各种工业应用，包括但不限于采矿、农业、林业、建筑和其他工业应用。此外，虽然主要针对基于工作角色和机器身份来选择视觉覆盖，但是本发明还适用于不同类型的选择和过滤，所述不同类型的选择和过滤被应用于可能适合期望目的的其他类型的语境数据202。

工业实用性

本发明提供了用于至少基于操作增强现实设备的用户的工作角色来生成增强现实设备中可见的场景的覆盖的系统和方法。增强现实设备获得与用户和与用户相关联的机器有关的语境数据和工地数据。根据语境数据，为用户识别工作角色。基于工作角色和机器类型，从多个增强覆盖中选择用于混合现实显示的增强覆盖。所选择的增强覆盖提供了对用户视场内的所选择对象的叠加强调，并且提供了与用户正在执行的工作流相关的状态数据。结果，用户可以获得针对用户的工作角色和与用户相关联的机器定制的定制信息。此外，可以为其他用户配置相同的增强现实设备，或者为具有不同工作角色的相同用户或相关联的机器重新配置相同的增强现实设备，从而提供高效的功能。

如上关于图1-6所述，示例方法300包括接收用户数据，识别工地处的增强现实设备174的用户150，以及识别工地处的用户150的工作角色222和与工地处的用户150相关联的用户机器224。诸如134的电子控制器至少部分地基于工作角色222和用户机器224的组合，在可用于在增强现实设备174内可视的场景的多个可视覆盖中选择增强覆盖226。该方法还包括接收与用户150在工地处对用户机器224的操作有关的工地数据210，并且至少部分地基于工作角色222和用户机器224的组合将工地数据212过滤为状态数据228。最后，电子控制器对用户150可观看的增强现实设备174的显示屏幕174内的场景的真实世界图像的混合现实显示进行修改。修改包括与特定于工作角色222和用户机器224的真实世界图像和状态数据228协调的增强覆盖226。

在本发明的示例中，增强现实设备174可配置为至少匹配该设备的用户的工作角色222。另外，与用户150相关联的用户机器224可以实现设备的附加配置。在工地，如果用户具有作为机器的操作员的工作角色，则可以选择专用于该机器的操作的增强覆盖226，示出与用户的工作角色和机器相关的危险、工作指导、性能度量和其他信息。如果用户改变工作角色222，或者新用户具有不同的工作角色，例如监督员，则操作员可查看的相同场景的增强覆盖226可突出显示不同对象并呈现与监督员的任务相关的不同信息。因此，遵循本发明的方法，增强现实设备174可配置为基于工作角色222和用户机器224向用户提供最有用的信息，并且设备内显示的信息可被改变以匹配不同用户的定义的工作角色。因此，增强现实设备174在各种用户中提供更灵活的使用，并且提供适合于用户的工作功能的增强。

除非明确排除，否则使用单数来描述部件、结构或操作并不排除使用复数个此类部件、结构或操作或其等效物。如这里所使用的，词语“或”是指一组项目的任何可能的排列。例如短语“A、B或C”是指A、B、C中的至少一个或其任何组合，如以下中的任一个：A；B；C；A和B；A和C；B和C；A、B和C；或任何项的倍数，如A和A的倍数；B、B和C的倍数；A、A、B、C和C的倍数；等等。

虽然已经参照上述实施例具体示出和描述了本发明的各方面，但是本领域技术人员将理解，在不脱离所披露内容的精神和范围的情况下，可以通过对所披露的机器、系统和方法的修改来设想各种附加实施例。这样的实施例应当被理解为落入基于权利要求及其任何等同物确定的本发明的范围内。

Claims (10)

1.一种计算机实施方法，包括：

由电子控制器接收识别工地处的增强现实设备的用户的用户数据；

由所述电子控制器识别所述用户在所述工地处的工作角色；

由所述电子控制器接收识别与所述工地处的所述用户相关联的作业机器的机器数据；

由所述电子控制器从能够用于在所述增强现实设备内能够查看的场景的多个视觉覆盖中选择视觉覆盖，所述视觉覆盖是至少部分地基于所述工作角色和所述作业机器的组合从所述多个视觉覆盖中选择的；

由所述电子控制器接收与所述作业机器在所述工地的用户操作相关的工地数据；

由所述电子控制器至少部分地基于所述工作角色和所述作业机器的组合将所述工地数据过滤成状态数据；以及

通过所述电子控制器使得对所述场景的真实世界图像的混合现实显示的修改在所述用户可见的所述增强现实设备的窗口内进行，所述修改包括与所述真实世界图像和所述状态数据协调的所述视觉覆盖，其中对所述场景的所述修改特定于所述工作角色和所述作业机器。

2.如权利要求1所述的计算机实施方法，还包括：

由所述电子控制器接收与所述工地内的所述用户的活动相关的工地数据；

由所述电子控制器至少部分地基于所述工作角色将所述工地数据过滤成工作专用数据；以及

由所述电子控制器引起所述混合现实显示器的附加修改，所述附加修改包括与所述真实世界图像视觉协调的所述工作专用数据。

3.如权利要求1所述的计算机实施方法，其中，所述工作角色是监督员、操作员和访问者之一。

4.如权利要求1所述的计算机实施方法，其中，所述识别所述工作角色包括经由所述增强现实设备从所述用户接收工作输入。

5.如权利要求4所述的计算机实施方法，还包括由所述电子控制器经由所述增强现实设备接收所述用户的新工作输入，识别所述用户在所述工地处的新工作角色，以及至少部分地基于所述新工作角色在能够用于所述场景的所述多个视觉覆盖中选择新视觉覆盖。

6.一种系统，包括：

由用户在工地上操作的作业机器；

与所述用户相关联的增强现实设备；以及

电子控制器，所述电子控制器至少联接到所述增强现实设备，所述电子控制器配置为：

在所述工地处接收所述增强现实设备的实施用户的用户身份；

在所述增强现实设备的所述工地内识别与所述用户身份相关联的第一工作角色；

至少部分地基于所述第一工作角色来生成针对所述用户特定的增强现实设备的增强现实覆盖；以及

引起对用户可见的所述增强现实设备的窗口内的场景的真实世界图像的混合现实显示的修改，所述修改包括与所述真实世界图像视觉协调的增强现实覆盖，其中对所述场景的所述修改在第一工作角色和第二工作角色之间不同。

7.如权利要求6所述的系统，其中，所述电子控制器还配置为：

接收由所述用户操作的所述作业机器的机器身份，

其中至少部分地基于所述第一工作角色和所述机器身份来生成特定于所述用户和所述作业机器的所述增强现实覆盖。

8.如权利要求7所述的系统，其中，所述增强现实设备与所述作业机器建立无线网络，并且所述作业机器通过所述无线网络将所述机器身份传送到所述增强现实设备。

9.如权利要求7所述的系统，其中，所述第一工作角色是操作员，所述机器身份是地面整形机器，并且所述增强现实覆盖包括要整形的地面区域。

10.如权利要求9所述的系统，其中，所述电子控制器还配置为经由所述增强现实设备接收所述用户的第二工作输入，识别所述用户在所述工地处的所述第二工作角色，以及至少部分地基于所述第二工作角色来生成所述场景的新的增强现实覆盖。

Images