CN114190095A - 用于执行工地计划以修改工地处的工作表面的方法和系统 - Google Patents

Abstract

一种方法包括从监督实体的计算设备接收要由工地处的至少一个机器执行的工地计划，控制器位于相对于工地的非视距(NLOS)位置处。工地计划可以包括实施工地计划的工地的边界、定义工地计划的至少一个任务、以及执行任务的至少一个机器的选择。该方法可以包括从位于工地处的设备接收验证信号，该验证指示工地已准备好基于工地准备就绪的至少一个参数来实施工地计划。该方法可以包括选择机器的第一操作模式以执行任务，以及基于第一操作模式向机器发射第一指令以执行任务。

Description

用于执行工地计划以修改工地处的工作表面的方法和系统

技术领域

本发明涉及一种用于执行工地计划以修改工地处的工作表面的系统和方法。更具体地，本发明涉及从非视距(NLOS)位置创建工地计划并监督该工地计划的系统和方法。此外，本发明涉及改变和报告在工地计划内执行任务的机器的模式操作的系统和方法。

背景技术

挖掘机器、装载机器、牵引机器、分级机器、压实机器和其他机器通常用于在工地执行各种任务。例如，可以使用一个或多个推土机来移除构成工地处的工作表面的一部分的砂砾、混凝土、沥青、土壤或其他材料的层。在一些示例中，推土机可以在工地的第一位置处形成被移除材料的土堆或堆，并且轮式装载机或其他装载机器可以经配置将被移除材料的堆从第一位置移除到工地处的倾倒区、牵引机器或任何其他第二位置。在这样的示例中，压实机可以经控制(例如，由操作员手动地、由位于相对于机器的NLOS位置处的操作员远程地、半自主地、完全自主地等)以横穿由工作表面定义并从压实机的当前位置延伸到工作区域的位置的行进路径。

可以创建工地计划以帮助操作员和其他用户管理、执行和完成工地计划内概述的多个任务。在手动操作机器以执行和完成任务的情况下，效率可能由于人员或其他个人(诸如监督员和工作人员)的手动活动和干预而降低。人员的干预可能导致错误或以较慢的速率执行工作。

在机器半自主地、完全自主地或经由远程控制操作的情况下，基于工地计划的指令可以被发送到机器，机器又执行多个操纵和操作以按指示完成任务。然而，将半自主、完全自主或远程操作的机器引入到还包括人员或其他个人(诸如监督员和工作人员)的工地可能造成工地危险，其中人员可能处于与机器或其材料移动器具接触的危险中。此外，当自主操作或经由远程控制操作时，机器可能遇到工地内的障碍，诸如沟渠、车辙、坑洼、材料堆积或工地内的其他工作表面缺陷；野生动植物、牲畜、个人和工地内的其他机器；可能增加完成任务的时间或完全禁止完成任务的其他障碍。在一些示例中，诸如轮式装载机的手动控制的机器的操作员可以采取校正动作来修改这种缺陷或消除障碍。然而，半自主或完全自主机器可能未配置为执行这样的维护任务。

此外，对于远程地或以自主方式操作半自主或完全自主机器的人员，可能难以标识项目何时接近完成或工地计划内的一个或多个任务的任何状态或完成百分比。这可能导致监督员或远程操作员不能完全了解还有多少工作需要执行，并且可能导致监督员或远程操作员错误分配资源，使得完成工地计划内的任务的期限和/或可能使对工地计划内的各种任务的调度变得困难。

在美国专利申请公开第2015/0379457号(以下称为’457参考文献)中描述了一种用于施工机器的任务驱动操作的示例系统。特定地，’457参考文献描述了一种用于调度施工项目的任务的系统和方法。’457参考文献的任务调度包括将施工项目的计划分成多个任务。多个任务中的每个特定任务由一个或多个参数定义。基于定义用于执行特定任务的动作序列的操作模型来修改每个特定任务的一个或多个参数。基于特定任务的经修改的一个或多个参数将施工机器分配给每个特定任务。每个特定任务被分派给被分配给该特定任务的施工机器，以便呈现用于执行该特定任务的动作序列。然而，’457参考文献没有描述施工机器的非视距操作或工地计划的监督，并且没有描述在半自主、完全自主或远程控制的机器环境中清除障碍的方法。此外，’457参考文献没有描述与工地计划如何进度到其他NLOS实体相关联的信息的发射。

本发明的示例实施例旨在克服上述缺陷。

发明内容

在本发明的示例实施例中，一种方法包括利用控制器从监督实体的计算设备接收要由工地处的至少一个机器执行的工地计划，该控制器位于相对于工地的NLOS位置处。工地计划可以包括实施工地计划的工地的边界、包括定义工地计划的任务参数的至少一个任务、执行任务的至少一个机器的选择、以及至少一个机器参数。该方法还可以包括利用控制器从位于工地处的设备接收验证信号，该验证指示工地已准备好基于工地准备就绪的至少一个参数来实施工地计划。此外，该方法可以包括：利用控制器并且至少部分地基于工地计划选择机器的第一操作模式以执行任务；以及基于第一操作模式向机器发射第一指令以执行任务。

在本发明的另一示例实施例中，一种系统包括通信网络，该通信网络经配置在NLOS控制器、监督实体的NLOS计算设备和验证人员的视距(LOS)计算设备之间发射信号。NLOS控制器和NLOS计算设备位于相对于工地的NLOS位置，而LOS计算设备位于相对于工地的LOS位置。NLOS计算设备经配置创建工地计划。工地计划包括实施工地计划的工地的边界、包括定义工地计划的任务参数的至少一个任务，其中NLOS计算设备经配置将工地计划发送到NLOS控制器、以及至少一个机器参数。该系统还可以包括至少一个经由通信网络与NLOS计算设备和NLOS控制器通信地耦合的机器，用于实施任务。该机器包括至少一个电子控制模块(ECM)，用于控制与ECM相关联的机器的功能；以及由机器承载的、与NLOS控制器通信、并连接到通信网络的通信设备，该通信设备经配置从NLOS控制器接收定义机器要实施的任务的第一指令。

在本发明的又一示例实施例中，一种系统包括位于相对于工地的第一NLOS位置处的非视距(NLOS)控制器、以及位于工地处的机器。该机器包括至少一个ECM，用于控制与ECM相关联的机器的功能；以及由机器承载的、与NLOS控制器通信的通信设备，该通信设备经配置从NLOS控制器接收定义机器要实施的任务的第一指令。该系统还包括通信网络，该通信网络经配置在NLOS控制器和由机器承载的通信设备之间发射信号。该信号包括工地计划，并且该工地计划包括定义工地计划的任务参数、实施工地计划的工地的边界、以及至少一个机器参数的任务。该信号还包括由机器承载的通信设备的验证请求，请求LOS验证人员验证工地已准备好工地计划。该信号还包括由NLOS控制器分配的机器的操作模式。该操作模式包括自主操作模式、远程控制(RC)操作模式和手动操作模式中的至少一种，在自主操作模式中，机器经配置执行至少一个无人操作的功能；在远程控制(RC)操作模式中，机器经配置经由来自操作员的NLOS计算设备的远程输入来操作；在手动操作模式中，机器经配置经由人类的本地输入来操作。

附图说明

图1是根据本发明的示例实施例的系统的示意图。

图2是图1所示系统的示意图。

图3是描绘与图1和图2所示的系统相关联的示例方法的流程图。

图4是描绘与图1和图2所示的系统相关联的示例方法的流程图。

具体实施方式

只要可能，在所有附图中使用相同的附图标记来表示相同或相似的零件。参照图1，示例系统100可以包括在工地112处操作以执行各种任务的一个或多个机器102、104、105、106、107。例如，系统100可以包括一个或多个挖掘机器102、一个或多个装载机器104、一个或多个压实机器105、一个或多个牵引机器106、一个或多个分级机器107和/或用于工地112处的施工、采矿、铺路、挖掘和/或其他操作的其他类型的机器。本文所述的每个机器可以通过一个或多个中心站108彼此通信和/或与本地或远程控制系统120通信。为了发射和/或接收操作数据和/或指令的目的，中心站108可以促进本文所述的机器之间和/或在这种机器与例如控制系统120的系统控制器122之间的无线通信。

挖掘机器102可以指为了后续操作(即，用于爆破、装载、牵引和/或其他操作)的目的而减少工地112处的材料的任何机器。挖掘机器102的示例可以包括挖掘机、反铲挖土机、推土机、钻孔机器、挖沟机和拖缆，以及其他类型的挖掘机器。多个挖掘机器102可以共同位于工地112的公共区域内，并且可以执行类似的功能。例如，一个或多个挖掘机器可以移动土壤、沙子、矿物、砂砾、混凝土、沥青、覆盖层和/或包括工地112的工作表面110的至少一部分的其他材料。这样，在正常条件下，当暴露于类似的现场条件时，类似的共同定位的挖掘机器102可以在生产率和效率方面执行大致相同的操作。

装载机器104可以指提升、运载、装载和/或移除已经被一个或多个挖掘机器102减少的材料的任何机器。在一些示例中，装载机器104可以移除这种材料，并且可以将所移除的材料从工地112处的第一位置运输到工地112处的第二位置或者运离或运到工地上。装载机器104的示例可以包括轮式或履带式装载机、前铲、挖掘机、电缆铲和堆取料机、以及其他类型的装载机器104。一个或多个装载机器104可以在工地112的公共区域内操作，以例如将减少的材料装载到牵引机器106上。

牵引机器106可以指在工地112内的不同位置之间运载挖掘材料的任何机器。牵引机器106的示例可以包括铰接式卡车、非公路卡车、公路自卸卡车和轮式拖拉机铲运机、以及其他类型的牵引机器106。满载的牵引机器106可以从工地112内的挖掘区域运载覆盖层，沿着运材道路到不同的倾卸地点，并且返回到相同或不同的挖掘区域以再次装载。在正常条件下，当暴露于类似的现场条件时，类似的共同定位牵引机器106可以在生产率和效率方面执行大致相同的操作。

压实机器105可以指经配置在工地112的工作表面110上施加应力并使土壤、混凝土、沥青和/或其上的其他材料致密化，和/或获得可接受的表面光洁度的任何机器。压实机器105的操作可以紧跟在土壤分级机器107的操作之后和/或可以立即进行土壤分级机器107的操作。在一个示例中，压实过程可以用压实机器105诸如双滚筒压实机器来执行，该双滚筒压实机器具有前滚筒和后滚筒，前滚筒和后滚筒用于推进机器并经由压实机器105的重量将材料压实到合适的状态，并且可以与滚筒振动装置配合使用。压实机器105的其他示例可以包括轮式或履带式压实机、振动式压实机和串列式振动式压实机以及其他类型的压实机器105。在示例实施例中，压实机器105可以包括经配置压实位于工地的工作表面110上的土壤或其他材料的土壤压实机器105。尽管可以使用压实机器105压实其他材料，但是本文所述的示例是结合土壤压实来描述的。完成压实可以包括用压实机器多次穿过材料。

分级机器107可以指经配置通过在工地112处对材料(诸如土壤)进行分级来创建基本上平坦的表面以用于后续操作(例如，用于压实操作)的任何机器。土壤分级机器107的示例可以包括刮刀、推土机、机动平地机或本领域公知的其他类似机器，以在操作期间创建平坦表面。多个土壤分级机器107可以共同位于工地112的公共区域内，并且可以执行类似的功能。

继续参照图1，系统100可以包括控制系统120和系统控制器122以控制系统100内的各种元件和/或在系统100内的各种元件之间进行协调。在一些示例中，控制系统120和/或系统控制器122可以位于远离工地112的命令中心(未示出)。在其他示例中，系统控制器122和/或控制系统120的一个或多个部件可以位于工地112处。不管控制系统120的各种部件的位置如何，这样的部件可以经配置便于挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或系统100的其他机器之间的通信，并向它们提供信息。在本文所述的任何示例中，系统控制器122的功能可以是分布式的，使得某些操作在工地112处执行，而其他操作诸如在上述远程命令中心处远程地执行。例如，系统控制器122的一些操作可以在工地112处、在一个或多个挖掘机器102、一个或多个装载机器104、一个或多个牵引机器106、一个或多个压实机器105、或一个或多个分级机器107、以及系统100的其他位置和设备上执行。应当理解，系统控制器122可以包括系统100的部件、设置在工地112处的一个或多个机器的部件、诸如移动电话，平板电脑和膝上型计算机等其他类型的移动设备的单独移动设备的部件、和/或控制系统120。

系统控制器122可以是以逻辑方式操作以执行操作、执行控制算法、存储和检索数据以及其他期望操作的电子控制器。系统控制器122可以包括和/或访问存储器、辅助存储设备、处理器和用于运行应用程序的任何其他部件。存储器和辅助存储设备可以是只读存储器(ROM)或随机存取存储器(RAM)或由控制器可访问的集成电路的形式。各种其他电路可以与系统控制器122相关联，诸如电源电路、信号调节电路、驱动器电路和其他类型的电路。

系统控制器122可以是单个控制器或者可以包括多于一个控制器。在系统控制器122包括多于一个控制器的示例中，系统控制器122可以例如包括与挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或经配置控制系统100的各种功能和/或特征的系统100的其他机器中的每一个相关联的附加控制器。如本文所使用的，术语“控制器”在其最广泛的意义上意味着包括一个或多个控制器、处理器、中央处理单元和/或微处理器，其可以与系统100相关联，并且可以协作来控制系统100中所包括的机器的各种功能和操作。系统控制器122的功能可以在硬件和/或软件中实现，而不考虑功能。系统控制器122可以依赖于一个或多个数据映射、查找表、神经网络、算法、机器学习算法和/或可以存储在系统控制器122的存储器中的与系统100的操作条件和操作环境有关的其他部件。上述数据映射、查找表、神经网络和/或其他部件中的每一个可以包括表格、图表和/或等式形式的数据集合，以最大化系统100及其操作的性能和效率。

控制系统120的部件可以经由网络124与系统100的任何部件通信和/或以其他方式可操作地连接到系统100的任何部件。网络124可以是局域网(“LAN”)、诸如广域网(“WAN”)的较大网络、或诸如因特网的网络集合。用于网络通信的协议，诸如TCP/IP，可以用于实现网络124。尽管本文将实施例描述为使用诸如因特网的网络124，但可实施经由存储卡、快闪存储器或其他便携式存储器设备发射信息的其他分发技术。

还应当理解，系统100的挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或其他机器可以包括相应的控制器，并且本文所述的每个相应的控制器(包括系统控制器122)可以是通信的和/或可以以其他方式经由网络124可操作地连接。例如，网络124可以包括系统100的无线通信系统的部件，并且作为这种无线通信系统的一部分，系统100的挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或其他机器可以包括相应的通信设备126。这样的通信设备126可以经配置允许在系统控制器122与系统100的挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或其他机器的相应控制器之间无线发射多个信号、指令和/或信息。这样的通信设备126还可以经配置允许与远离工地112的其他机器和系统进行通信。例如，这样的通信设备126可以包括经配置向一个或多个其他这样的通信设备126的接收机发射信号(例如，经由中心站108并通过网络124)的发射机。在这样的示例中，每个通信设备126还可以包括经配置接收这样的信号(例如，经由中心站108并通过网络124)的接收机。在一些示例中，特定通信设备126的发射机和接收机可以组合为收发机或其他这样的部件。在本文所述的任何示例中，挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或系统100的其他机器的相应控制器可以与系统控制器122基本相似和/或相同，并且可以包括其相同部件中的一个或多个。

在本文所述的任何示例中，通信设备126还可以实现与位于工地112处和/或远离工地112的一个或多个平板电脑、计算机、蜂窝/无线电话、个人数字助理、移动设备或其他电子设备128的通信(例如，经由中心站108并通过网络124)。这样的电子设备128可以包括例如监视工地112处或相对于工地112的非视距(NLOS)位置处的日常操作的项目管理员(例如，领班或监督员)的移动电话和/或平板电脑。如本文和所附权利要求中所使用的，术语“非视距(NLOS)”意味着广义地理解为相对于工地112的被物理对象阻挡的任何位置，使得电磁波不能在该位置和工地112之间传播。在一个示例中，NLOS位置可以是提供足以执行本文所述功能的数据存储和计算能力的云网络。相反地，如本文和所附权利要求中所使用的，术语“视距(LOS)”意味着广义地理解为相对于工地112的不被物理对象阻挡的任何位置，使得电磁波可以在该位置和工地112之间传播。例如，NLOS位置可以是相对于工地112的远程位置，诸如中心站108的中间通信设备从该位置用于在远程位置和工地112之间发射信号，其中在远程位置和工地112之间的直接发射是不可能的。通过包括经由例如GPS卫星132提供的卫星通信，NLOS位置可以在系统100相对于工地112在其上操作的陆地体(例如，地球)的圆周的几英里和一半之间。在该示例中，远程操作员可以通过经由GPS卫星132、中心站108和/或网络124将信号从诸如系统控制器122、电子设备128或另一远程定位的计算设备等计算设备发送到工地112来半自主和/或完全自主地远程操作机器102、104、105、106、107。

类似地，如本文和所附权利要求中所使用的，术语“远程”意味着被广泛地理解为远离工地112。虽然远程位置可以在工地112的LOS内，但是如本文所使用的远程是指诸如系统控制器122、电子设备128或另一远程定位的计算设备的计算设备不在工地112处或工地112上并且使用诸如GPS卫星132、中心站108和/或网络124的中间通信设备向工地112发送信号的位置。相反地，如本文和所附权利要求中所使用的，“本地”意味着被广泛地理解为位于工地112处或工地112上。

网络124、通信设备126和/或本文所述的无线通信系统的其他部件可以实现或利用包括多个通信标准中的任何一个的任何期望的系统或协议。期望的协议将允许系统控制器122、电子设备128、一个或多个通信设备126和/或系统100的任何其他期望的机器或部件之间的通信。本文所述的系统100可以使用的无线通信系统或协议的示例包括诸如蓝牙RTM.的无线个域网(例如，IEEE 802.15)、诸如IEEE 802.11b或802.11g的局域网、蜂窝网络、或用于数据传输的任何其他系统或协议。可以设想其他无线通信系统和配置。在一些情况下，无线通信可以在控制系统120和系统100的机器(例如，挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107以及本文所述的其他机器)之间或在这些机器之间直接发射和接收。在其他情况下，通信可以被自主路由而不需要远程人员的重新发射。

在示例实施例中，系统100的一个或多个机器(例如，挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107、以及本文所述的其他机器)可以包括经配置用于确定相应的机器的位置、速度、朝向和/或取向的位置传感器130。在这样的实施例中，相应的机器的通信设备126可以经配置产生和/或向例如系统控制器122和/或向系统100的其他相应的机器发射由位置传感器130检测到的指示这样确定的位置、速度、朝向和/或取向、牵引距离和/或覆盖区域的信号。在一些示例中，相应的机器的位置传感器130可以包括和/或包括全球导航卫星系统(GNSS)或全球定位系统(GPS)的部件。可替代地，可以利用通用全站仪(UTS)来定位机器的相应位置。在示例实施例中，本文所述的一个或多个位置传感器130可以包括GPS接收机、发射机、收发机、激光棱镜和/或其他这种设备，并且位置传感器130可以与一个或多个GPS卫星132和/或UTS通信，以连续地、基本上连续地或以各种时间间隔确定位置传感器130所连接到的机器的相应位置。系统100的一个或多个附加机器还可以与一个或多个GPS卫星132和/或UTS通信，并且这样的GPS卫星132和/或UTS还可以经配置确定这样的附加机器的相应位置。在本文所述的任何示例中，由相应位置传感器130确定的机器位置、速度、朝向、取向和/或其他参数可以由系统控制器122和/或系统100的其他部件使用，以协调挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或系统100的其他部件的活动。

GPS卫星132和/或UTS可以用于从挖掘机器102、装载机器104、牵引机器106、压实机器105、分级机器107和/或系统100的其他机器接收机器数据。此外，GPS卫星132和/或UTS可以用于向系统控制器122或系统100内的其他数据处理设备或系统发射机器数据。机器数据可以由耦合到机器102、104、105、106、107的多个传感器134获得；由相应的机器102、104、105、106、107的控制器136处理；并发射到其他计算设备，诸如系统控制器122、电子设备128和/或系统100内的其他数据处理设备。虽然一个传感器134经描绘与机器102、104、105、106、107中的每一个相关联，但是每个机器可以包括用于检测与机器102、104、105、106、107相关联的多个不同环境参数的多个传感器134。传感器134可以检测任何环境参数，诸如光、运动、温度、磁场、电场、重力、速度、任何方向上的加速度、湿度、湿气、振动、压力和声音、以及其他环境参数。因此，传感器134可以包括加速计、温度计、近距离传感器、电场近距离传感器、磁力计、气压计、地震计、压力传感器和声学传感器、以及其他类型的传感器。可以收集与传感器类型相关联的对应的数据。因此，经由传感器获得的数据可以被发射到相应的机器102、104、105、106、107的控制器136，用于进一步发射和/或处理。

机器数据可以是机器远程信息处理数据，其包括例如机器的位置；定义机器使用的方式、位置、持续时间和功能的使用数据；机器的规格；机器的健康状况；从传感器134获得的数据；以及其他远程信息处理数据。如本文所使用的，远程信息处理是指通过诸如包括网络124的有线或无线通信网络的电转换装置对定义距离上的量的值的数据的完整测量、发射和接收。在一个示例中，远程信息处理数据可以包括与关于机器102、104、105、106、107的任务完成水平和工地计划的进度相关联的数据，并且可以呈现为有时被称为关键进度指示符(KPI)的进度指示符。工地计划可以包括实施工地计划的工地的边界。此外，工地计划可以包括至少一个任务，该任务包括定义工地计划的任务参数。任务参数可以包括给机器102、104、105、106、107的关于要采取什么动作来完成任务的指令，例如要执行任务的工作区域；机器要针对材料118采取的多个交互动作，诸如要牵引的负载的数量、要进行的通行的数量、以及其他机器专用任务参数。任务参数还可以包括完成任务的时间和/或日期，或者可以执行与任务相关联的动作的预定时间。工地计划还可以包括定义机器102、104、105、106、107的尺寸和能力的至少一个机器参数。例如，机器参数可以包括机器102、104、105、106、107的作业工具140或其他材料移动机具的尺寸；机器的手动、自主和远程控制能力的指示以及这些能力是否可以用于机器；机器102、104、105、106、107消耗的燃料类型；机器102、104、105、106、107的物理尺寸；以及可以用于确定工地计划的哪些任务将分配给哪些机器102、104、105、106、107以及将何种类型的操作模式分配给机器102、104、105、106、107的其他机器参数。

再次参照进度指示符(PI)，PI可以是用于评估项目完成的水平或百分比的任何类型的测量，该项目诸如由组成工地计划的机器102、104、105、106、107执行的任务以及作为整体的工地计划。在一个示例中，远程信息处理数据还可以包括从传感器134获得的数据。在该示例中，远程信息处理数据可以包括与工地112内或沿着工地112的工作表面110的障碍的检测相关的数据。在一个示例中，可以从传感器134获得与障碍的检测相关的数据，传感器134诸如是成像设备、光检测和测距(LIDAR)设备、雷达设备和声纳设备以及用于检测空间中的对象的其他传感器和技术。相应的机器102、104、105、106、107的控制器136可以与传感器134一起使用，以执行障碍检测软件，从而标识和/或分类包括在从传感器134获得的图像数据上的对象。此外，远程信息处理数据可以包括与工地计划相关的数据。在该示例中，远程信息处理数据可以包括从例如控制系统120的系统控制器122、电子设备128和/或系统100内的其他数据处理设备发送的数据。此外，在一个示例中，远程信息处理数据还可以包括机器102、104、105、106、107中的每一个的唯一标识符，诸如牌照、车辆标识号(VIN)、以及与相应的机器102、104、105、106、107的控制器136和/或通信设备126相关联的媒体访问控制(MAC)地址、以及其他类型的唯一标识符。在一个示例中，唯一标识符可以被分配给机器102、104、105、106、107，并被存储在存储器中，诸如与相应的机器102、104、105、106、107的系统控制器122和/或控制器136相关联的存储器。

如本文所述，机器102、104、105、106、107可以半自主地或完全自主地操作。如本文和所附权利要求中所使用的，术语“自主”意味着广义地理解为完全自主或基本上自主的任何操作，即，在操作中没有显著的人类介入。自主车辆(例如，机器102、104、105、106、107)通常是无人操作的，即没有人类驾驶员或副驾驶员。然而，自主车辆可以被自主驾驶或以其他方式操作并且具有一个或多个人类乘客。类似地，如本文和所附权利要求中所使用的，术语“半自主”意味着广义地理解为至少部分地自主的并且至少部分地由操作中的人类介入(即，操作中的至少一些人类介入)引起的任何操作。半自主车辆(例如，机器102、104、105、106、107)可以是无人操作的而没有人类驾驶员或副驾驶员，或者可以是有人操作的人类驾驶员或副驾驶员。在一个示例中，半自主车辆可以由工地处的至少一个个体有人操作，诸如在LOS位置或在机器102、104、105、106、107内、或者由在NLOS位置远程操作机器的个体操作。

因此，如本文所述，机器102、104、105、106、107中的每一个可以报告各种类型的生产度量。在一个示例中，系统控制器122、电子设备128、一个或多个通信设备126、和/或系统100的任何其他期望的机器或部件可以连续地或周期性地向机器102、104、105、106、107的相应通信设备126发送请求，请求从传感器134获得的数据和/或与进度指示符相关联的数据被发射到系统100的机器或部件。在另一示例中，传感器134可以感测环境，并且该数据可以经由通信设备126和/或控制器136连续地或周期性地发射到系统控制器122、电子设备128、一个或多个通信设备126、和/或系统100的任何其他期望的机器或部件。在一个示例中，传感器134可以感测环境，并且该数据可以存储在例如与通信设备126、控制器136、系统控制器122、电子设备128和/或系统100的任何其他期望的机器或部件相关联的数据存储设备中。

因此，如上所述，机器102、104、105、106、107中的每一个可以以不同类型的进度指示符(PI)的形式报告生产度量。可以测量由机器102、104、105、106、107递送的卡车负载和/或工地112的最终坡度(例如，经由坡度控制、手动勘测或无人驾驶机飞行)以确定工地计划和整个工地计划内的各个任务的进度，诸如利用多个不同机器102、104、105、106、107的大规模挖掘项目。PI可以用于标识工地计划内的性能不足的机器102、104、105、106、107，以及允许与工地计划相关联的监督员、领班、管理员、乘务人员和其他个人了解工地计划的进度情况以及工地计划还有多少需要完成。PI可以呈现在例如电子设备128的显示设备、与系统控制器122相关联的显示设备和/或与系统100内相关联的另一显示设备上的用户界面上。通过这些生产度量的显示，用户(诸如监督员、管理员、乘务人员或与工地计划相关联的其他个人)可以理解PI所定义的每个单独的生产度量，因为它涉及任务和整个工地计划。由传感器134感测并从机器102、104、105、106、107发射的数据可以由例如系统控制器122使用一个或多个数据映射、查找表、神经网络、算法、机器学习算法和/或其他部件来处理，以将数据作为PI呈现给用户。在一个示例中，各个机器102、104、105、106、107可以独立地执行它们在工地计划内的相应任务。在另一示例中，机器102、104、105、106、107可以一起操作以执行和完成任务和工地计划。在这些示例中，PI可以作为来自各个机器102、104、105、106、107的各个数据集被发送，PI可以被分组在一起作为机器102、104、105、106、107的组，机器102、104、105、106、107从它们相应的传感器收集数据，或者PI(作为从相应的传感器134收集数据)可以基于机器102、104、105、106、107是相似或相同的机器102、104、105、106、107被分组在一起。

继续参照图1，并且如上所述，机器102、104、105、106、107中的每一个和/或系统100的其他机器可以包括如本文所述的控制器136。控制器136可以包括机载和/或由相应的机器102、104、105、106、107承载的本地控制系统的部件。控制器136可以是机器102、104、105、106、107内的任何嵌入式系统，其控制机器102、104、105、106、107中的电气系统或子系统中的至少一个，从而控制机器102、104、105、106、107的至少一个功能。这种控制器136通常可以与控制系统120的系统控制器122相似或相同。例如，每个这样的控制器136可以包括一个或多个处理器、存储器和/或本文关于系统控制器122描述的其他部件。控制器136可以包括ECU，诸如电子控制模块(ECM)、动力系控制模块(PCM)、变速器控制模块(TCM)、制动控制模块(EBCM)、中央控制模块(CCM)、中央定时模块(CTM)、通用电子模块(GEM)、车身控制模块(BCM)、悬架控制模块(SCM)和控制单元、以及其他类型的ECU。ECU可以包括辅助机器102、104、105、106、107的操作的硬件和嵌入式软件。

在一些示例中，控制器136可以位于机器102、104、105、106、107中的相应一个上，并且还可以包括远离机器102、104、105、106、107中的相应一个定位的部件，诸如位于系统100的任何其他机器上或在本文所述的命令中心(未示出)处。因此，在一些示例中，控制器136的功能可以是分布式的，使得在机器102、104、105、106、107中的相应一个上执行某些功能，而远程地执行其他功能。在一些示例中，由相应的机器102、104、105、106、107承载的本地控制系统的控制器136可以单独地或与控制系统120组合地实现相应的机器的自主和/或半自主控制。此外，由相应的机器102、104、105、106、107承载的控制器136可以指示相应的通信设备126和位置传感器130如本文所述并且由例如系统控制器122指示的那样工作。

在一些示例中，系统100的一个或多个机器102、104、105、106、107可以包括耦合到机器的框架的机具或其他作业工具140。例如，在装载机器104的情况下，作业工具可以包括经配置在开放体积或其其他基本开放的空间内承载材料的铲斗。装载机器104可以经配置例如通过将作业工具140降低到装载位置来铲起、提升和/或以其他方式将材料(例如，由挖掘机器102移除的材料)装载到作业工具140中。例如，装载机器104可以包括可移动地连接到装载机器的框架的一个或多个连杆142。作业工具140可以连接到这种连杆142，并且连杆142可以用于将作业工具140(例如，经由一个或多个液压缸、电子马达或连接到其上的其他设备)降低到装载位置，在该装载位置中，作业工具140的前缘144接近、邻近和/或在工作表面110处设置，并且作业工具140的基部基本上平行于工作表面110设置。然后可以控制装载机器104沿工地112的工作表面110的表面前进，使得作业工具140可以冲击设置在工作表面110上的材料、正体积土壤118和/或其他对象，以便将材料至少部分地传输到作业工具140的开放空间中。然后可以控制连杆142以将作业工具140升高、枢转和/或倾斜到工作表面110上方的承载位置。然后可以控制装载机器104横穿工地112，直到装载机器104到达倾卸区域、牵引机器106和/或工地112处的指定用于接收由作业工具140承载的被移除材料的另一位置。然后可以控制连杆142以将作业工具140降低、枢转和/或倾斜到卸载位置，在该卸载位置中，在作业工具140的开放空间内承载的材料可以沉积(例如，由于作用在由作业工具140承载的材料上的重力)在倾卸区域处、在牵引机器106的床内、和/或如另外期望的。类似于装载机器104，挖掘机器102、牵引机器106、压实机器105、分级机器107也可以包括允许机器执行如本文所述的它们相应的操作的作业工具140和/或连杆142。

图2是图1所示的系统100的示意图。系统控制器122可以执行用于创建工地计划202的工地计划创建工具203并向系统100提供输入。因此，系统控制器122结合本文所述的其他数据处理设备可以用于执行本文结合图2描述的过程。

如图2所示，项目管理员201或其他个人可以负责创建和/或批准工地计划202。在一个示例中，在NLOS位置创建工地计划202。工地计划202可以包括工地112的实施工地计划202的边界、定义工地计划202的至少一个任务、以及对至少一个机器102、104、105、106、107的选择以执行该至少一个任务。在一个示例中，组成工地计划202的各个任务可以由本文所述的单独的计算设备来标识或定义。

工地边界可以用于定义机器102、104、105、106、107可以执行任务206的区域。定义工地边界可以辅助机器102、104、105、106、107在它们执行任务时半自主地或完全自主地操作以停留在工地边界内。任务206可以包括由人类操作员和/或机器102、104、105、106、107使用的任何指令，机器102、104、105、106、107半自主地或完全自主地操作以执行由任务206定义的工地计划202的部分。在一个示例中，可以使用地址、GPS坐标、平面图或其他定义边界的方法来定义工地112的边界(例如，周界)。在一个示例中，工地计划202内的每个任务206可以各自由它们相应的边界定义，以限制用来执行任务206的机器102、104、105、106、107保持在所定义的边界内。在该示例中，任务206的边界可以包括工地112的整个边界或工地112的小于工地112的整个的定义部分。在一个示例中，工地112和任务206的边界可以由用户输入这些边界、通过用户利用下拉菜单并从多个工地中进行选择、通过来自映射服务207的输入、自主地给予工地112所定位的财产的标识、或其组合来定义。在一个示例中，边界可以包括工作表面110的周界。在该示例中，边界可以包括指示边界的位置、范围和/或其他配置的GPS坐标或其他位置数据的集合。这种位置数据可以使用勘测数据、无人驾驶机数据和来自驱动边界周界的机器102、104、105、106、107的数据以及定义边界的其他数据源来确定。

可以基于机器102、104、105、106、107在工地计划202内执行任务206的能力来选择机器102、104、105、106、107。例如，在工地112的一部分的挖掘被包括在工地计划202内作为任务206的情况下，可以选择挖掘机器102。类似地，在工地112的工作表面110的一部分的压实被包括在工地计划202内作为任务206的情况下，可以选择压实机器105。在一个示例中，机器102、104、105、106、107可以基于机器102、104、105、106、107在机器102、104、105、106、107的使用时间表内的可用性来手动地或自主地(例如，自动地)选择。此外，在一个示例中，用户可以选择各个机器102、104、105、106、107，并将这种选择作为输入提供给例如计算设备205。

工地计划202可以被发送到监督实体204的计算设备205。监督实体204可以是负责监督工地计划202的执行和完成以及其中包括的任何数量的任务的任何个人。在一个示例中，监督实体204的计算设备205可以位于NLOS位置。监督实体204的计算设备205可以将工地计划202划分为多个单独的任务206。任务206可以包括要由组成整个工地计划202的多个机器102、104、105、106、107执行的任何数量的项目。例如，分级机器107可以与任务206相关联以分级工地112的区域，并且压实机器105可以与任务206相关联以压实工地112的区域。由工地计划创建工具203选择的每个机器102、104、105、106、107可以被包括在工地计划202内作为具有要执行的至少一个任务206，并且该任务可以由监督实体204的计算设备205标识和调度。在一个示例中，当监督实体204的计算设备205创建任务时，执行工地计划的工地112的边界和执行至少一个任务的至少一个机器102、104、105、106、107的选择可以被提供为输入207。在该示例中，工地计划202可以被推送到监督实体204的计算设备205，并且作为监督实体204的计算设备205对任务206的标识和调度的一部分，工地边界和机器102、104、105、106、107的选择可以由例如作为任务206创建的一部分的监督实体204输入。

工地计划202和任务206被发射或推送208到远程操作员212。工地计划202和任务206可以包括在系统控制器122处生成并可以经由网络124发射的数据文件。在一个示例中，工地计划202和任务206的概要可以被呈现给例如监督实体204的计算设备205，以便在被推送208到远程操作员212之前由监督实体204审查。

远程操作员212可以是相对于工地112位于NLOS位置的任何个人。远程操作员212可以远程操作位于工地112处的多个机器102、104、105、106、107，并且可以访问由监督实体204的计算设备205创建的工地计划202和个体任务206。利用该信息，远程操作员212可以使用远程计算设备211来操作机器102、104、105、106、107中的任一个。远程计算设备211可以经由例如网络124、卫星132、中心站108、电子设备128以及与相应的机器102、104、105、106、107的通信设备126和控制器136通信的其他设备通信地耦合到工地112处的机器102、104、105、106、107。在远程计算设备211处由远程操作员212输入的指令可以作为指令发送到相应的机器102、104、105、106、107的通信设备126和控制器136，以使机器102、104、105、106、107基于远程操作员的输入而工作。以此方式，远程操作员212可以使用远程控制操作模式来远程控制机器102、104、105、106、107。

在一个示例中，远程操作员212还可以具有类似于本文结合图1描述的电子设备128的电子设备210。工地计划202和任务206可以被发送到远程操作员212的电子设备210，以向远程操作员通知工地计划202和任务206中包括的信息。具体地，工地计划202可以包括关于哪个机器102、104、105、106、107将执行哪些任务206以及在执行任务206期间使用的机器102、104、105、106、107的操作模式的细节。

操作模式可以包括如在元件218处例示的RC操作模式，其中当远程操作员212向远程计算设备211提供输入时，从远程计算设备211的NLOS位置控制机器102、104、105、106、107。以此方式，远程操作员212可以从NLOS位置操作机器102、104、105、106、107。被发射到远程操作员212的电子设备210和/或远程计算设备211的工地计划202可以包括哪些机器102、104、105、106、107将被远程操作以执行工地计划202内的任务206的标识。远程操作员212可以使用该发射的信息以便在RC操作模式218下远程操作机器102、104、105、106、107。

操作模式还可以包括如在元件217处例示的半自主或完全自主操作模式。被发射到电子设备210；远程计算设备211；监督实体204的计算设备205；机器102、104、105、106、107和/或其他计算设备的工地计划202可以包括哪些机器102、104、105、106、107将被半自主地或完全自主地操作以执行工地计划202内的任务206的标识。在该示例中，远程操作员212、监督实体204或其他个人可以向那些机器102、104、105、106、107发送指令。具体地，该示例中的指令可以经由网络124和耦合到网络124的其他设备被发送到相应的机器102、104、105、106、107的控制器136，以便在由相应的机器102、104、105、106、107的控制器136执行时控制机器102、104、105、106、107中的至少一个功能，以便执行任务。那些机器102、104、105、106、107可以以半自主或完全自主的方式开始操作。在一个示例中，可以从NLOS位置(诸如，电子设备210、远程计算设备211、监督实体204的计算设备205和/或其他计算设备)向半自主或完全自主操作的机器102、104、105、106、107发送指令。

操作模式还可以包括手动操作模式。手动操作模式包括操作机器102、104、105、106、107的人类、位于LOS的操作员214(即，位于工地112处)。在该示例中，位于LOS的操作员214可以从远程操作员212的远程计算设备211、监督实体204的计算设备205或本地计算设备215处的其他计算设备接收指令，该指令包括关于哪些机器102、104、105、106、107将由位于LOS的操作员214手动操作以执行工地计划202内的任务206的标识。在一个示例中，本地计算设备215可以是由位于LOS的操作员214承载或使用的电子设备，使得位于LOS的操作员214可以接收与工地计划202和任务206相关联的指令，并利用一个或多个机器102、104、105、106、107来执行和完成任务206。

利用已经发送到监督实体204的计算设备205、远程操作员212的远程计算设备211、位于LOS的操作员214的本地计算设备215和/或机器102、104、105、106、107的表示工地计划202和任务206的数据，监督实体204和远程操作员212可以监督工地计划202和各个任务206的执行。在一个示例中，远程操作员212可以经由远程计算设备211验证213工地112准备好要执行的工地计划202，以便将任务206推送到工地112。工地112的验证213可以包括远程操作员212的远程计算设备211与位于LOS的操作员214的本地计算设备215之间关于工地112的状态以及工地是否准备好接收工地112处的机器102、104、105、106、107的自主、RC和/或手动模式操作的通信。在一个示例中，如果工地112没有工地112内的障碍或危险，诸如人员或工地乘务员；旁观者；其他机器102、104、105、106、107；以及如果在没有首先清除工地112的情况下执行工地计划202可能处于损害方式的其他个人和对象，则工地112可以准备好执行工地计划202和任务206。使用本地计算设备215的位于LOS的操作员214可以使用远程计算设备211与远程操作员212通信，以指示工地112的状态并确认或验证213工地112是否准备好执行工地计划202。如果位于LOS的操作员214指示工地112没有准备好执行工地计划202，则各方可以等待，直到工地112被适当地准备并准备好，并且从位于LOS的操作员214接收到对其的验证213。

然而，如果位于LOS的操作员214验证213工地112准备好执行工地计划202，则各个机器102、104、105、106、107的任务206可以被推送213到工地112。将任务206推送213到工地112可以包括向一个或多个位于LOS的操作员214发送指令(即，经由网络124在远程计算设备211或本文所述的另一计算设备与本地计算设备215之间传递的电子文件)，以手动操作机器102、104、105、106、107中的至少一个，以便完成任务206。在图2的示例中，要手动操作的机器102、104、105、106、107由它们相应的操作员指定为元件216、219和220(即，手动操作的机器)。到位于LOS的操作员214的指令可以由位于LOS的操作员214经由本地计算设备215接收。在一个示例中，本地计算设备215可以是个人计算设备，诸如平板电脑、移动电话、智能电话或由各个位于LOS的操作员214用来接收这些指令的其他电子设备128。在该示例中，位于LOS的操作员214可以方便地接收定义工地计划202的至少一个任务206的指令，并在工地112处开始机器102、104、105、106、107的手动操作。

此外，将任务206推送213到工地112可以包括向机器102、104、105、106、107中的至少一个发送指令以半自主或完全自主操作来完成任务206。远程操作员212和位于LOS的操作员214对工地112的准备就绪的验证213确保机器102、104、105、106、107的半自主或完全自主操作不会对工地112处的生命或财产造成危害。将指令推送213到机器102、104、105、106、107以便半自主地或完全自主地操作可以由远程操作员212使用远程计算设备211或本文所述的另一计算设备，经由网络124并且更具体地经由系统控制器122、卫星132、中心站108和本文所述的其他通信设备将指令发送到相应的机器102、104、105、106、107的通信设备126和控制器136来实现。指令可以以由相应的机器102、104、105、106、107的通信设备126和控制器136可理解的语言和/或格式提供，以便允许机器102、104、105、106、107以半自主或完全自主方式操作。

此外，将任务206推送213到工地112可以包括由远程操作员212经由机器102、104、105、106、107的RC操作将指令发送到机器102、104、105、106、107中的至少一个。在该示例中，远程操作员212可以接收指令以远程操作机器102、104、105、106、107中的至少一个，以便完成任务206。到远程操作员212的指令可以经由远程计算设备211从例如计算设备205发送到远程操作员212。在一个示例中，远程计算设备211可以是个人计算设备，诸如平板电脑、移动电话、智能电话或远程操作员212用来接收这些指令的其他电子设备128。在该示例中，远程操作员212可以方便地接收定义工地计划202的至少一个任务206的指令，并在工地112处开始机器102、104、105、106、107的远程操作。在一个示例中，当在208处将任务206推送到NLOS，即首先是远程操作员212时，可以将包括要使用远程计算设备211执行的任何任务206的工地计划202的部分发送到远程操作员212。将指令推送213到机器102、104、105、106、107以进行远程操作可以由远程操作员212使用远程计算设备211；向远程计算设备211输入指令；并且实时地经由网络124，并且更具体地经由系统控制器122、卫星132、中心站108和本文所述的其他通信设备将这些指令发送到相应的机器102、104、105、106、107的通信设备126和控制器136来实现。以此方式，远程操作员212可以经由远程计算设备211控制机器102、104、105、106、107的至少一个功能。

远程操作员212可以使用操作模式用户界面(UI)209来指定机器102、104、105、106、107中的哪一个将经由由元件216、219、220指定的手动操作模式、由元件216指定的半自主或完全自主操作模式、或由元件218指定的RC操作模式来操作。如本文所述，作为对系统的一个或多个输入的结果，操作模式UI209可以用于改变机器102、104、105、106、107中的一个或多个的操作模式，诸如，机器感知系统222对障碍的标识。在一个示例中，操作模式UI209可以呈现在远程计算设备211、远程操作员212的电子设备210或其组合上。以此方式，远程操作员212可以改变至少一个机器102、104、105、106、107的操作模式，或者作为可选选择，或者作为接收触发事件通知(诸如障碍的标识)的结果。例如，操作模式UI209可以用于将手动操作的机器的操作模式切换到RC操作或自主操作的机器。在该示例中，可以指示位于LOS的操作员214离开手动操作的机器102、104、105、106、107，并允许机器102、104、105、106、107的RC或自主操作。

类似地，在另一示例中，操作模式UI209可以用于将自主操作的机器的操作模式切换到手动或RC操作的机器。在该示例中，自主操作的机器可能遇到障碍，并且远程操作员212或位于LOS的操作员214可以负责RC任务或手动操作机器102、104、105、106、107，以便在机器102、104、105、106、107的自主操作可能无法绕过或移除障碍的情况下绕过或移除障碍。

此外，在另一示例中，操作模式UI209可以用于将RC操作的机器的操作模式切换到手动或自主操作的机器。在该示例中，远程操作员212可能无法远程操作机器102、104、105、106、107，并且可以将操作模式切换到手动操作或自主操作，以便确保可以完成最初分配给远程操作员212的任务206。

如本文所提及的，每个机器102、104、105、106、107可以包括机器感知系统222。与以上提供的传感器134的描述相关联地，机器感知系统222可以包括多个感知传感器134作为耦合到机器102、104、105、106、107、216、217、218、219、220中的每一个的传感器类型。由机器102、104、105、106、107、216、217、218、219、220中的每一个承载的感知传感器134和/或本地感知系统可以包括光检测和测距(下文中称为“LIDAR”)传感器。这样的LIDAR传感器可以包括由特定机器102、104、105、106、107、216、217、218、219、220承载(例如，安装在其上、连接到其上等)的一个或多个激光器或其他光发射器，以及一个或多个光传感器，该光传感器经配置接收来自这样的光发射器的光已经照射到其上的对象所辐射、反射和/或以其他方式返回的辐射。在示例实施例中，这样的LIDAR传感器可以经配置使得一个或多个激光器或其他光发射器经安装旋转(例如，围绕基本垂直的轴)，从而使光发射器扫过例如360度的运动范围，以捕获通常与障碍、工作表面110和/或工地112相关联的LIDAR传感器数据。例如，本发明的LIDAR传感器可以具有光发射器和光传感器，其中光发射器包括一个或多个激光器，该激光器将高度聚焦的光导向对象或表面，该对象或表面将光反射回光传感器，尽管可以考虑任何其他光发射和检测以确定范围(例如，闪光LIDAR、MEMS LIDAR、固态LIDAR等)。这样的LIDAR传感器的测量可以表示为三维LIDAR传感器数据，其具有与LIDAR传感器捕获的位置或距离相对应的坐标(例如，笛卡尔坐标、极坐标等)。例如，从LIDAR传感器接收的三维LIDAR传感器数据和/或其他传感器信息可以包括三维地图或点云，其可以表示为从光发射器发出并终止于对象(例如，缺陷118)或表面(例如，工作表面110)的多个矢量。在一些示例中，转换操作可以由控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205使用；和/或由系统控制器122使用，以将三维LIDAR传感器数据转换为多通道二维数据。在一些示例中，从感知传感器134接收的LIDAR传感器数据和/或其他传感器信息可以由控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122自主分段，并且该分段的LIDAR传感器数据可以用作例如确定是否存在障碍以及是否应当由远程操作员212经由操作模式UI209调整操作模式的输入。

机器承载的感知传感器134和/或本地感知系统还可以包括一个或多个附加传感器。这样的附加传感器可以包括例如无线电检测和测距(下文中称为“RADAR”)传感器、声音导航和测距(下文中称为“SONAR”)传感器、深度感测相机、地面穿透RADAR传感器、磁场发射机/检测器、和/或设置在车辆上并经配置检测工地112中存在的对象的其他传感器。本文关于感知传感器134和/或本地感知系统描述的每个传感器可以向控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122输出一个或多个相应的信号，并且这样的信号可以包括上述任何传感器信息(例如，图像数据、LIDAR数据、RADAR数据、SONAR数据、GPS数据等)。这样的传感器信息可以由感知传感器134的各种传感器同时捕获，并且在一些情况下，从感知传感器134的相应传感器接收的传感器信息可以包括、标识和/或指示由这样的传感器感测的一个或多个相同对象。在这样的示例中，控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122可以分析从相应传感器中的每一个接收的传感器信息，以标识和/或分类由传感器信息指示的一个或多个对象。

例如，控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122可以将每个传感器模态的输出与存储在其存储器中的特定对象和/或与工地112的特定位置相关联。使用这样的数据关联、对象标识和/或对象表征技术，可以比较本文描述的每个传感器的输出。通过这样的比较，并且至少部分地基于从感知传感器134和/或位置传感器130接收的传感器信息，控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122可以标识位于工地112处的一个或多个对象(例如，沿着工作表面110的障碍)。如上所述，从感知传感器134和位置传感器130两者接收的对应传感器信息可以由控制器136、本地计算设备215、远程操作员212的远程计算设备211、监督实体204的计算设备205和/或由系统控制器122组合和/或一起考虑，以便确定本文所述的障碍的位置、形状、尺寸、体积和/或其他特性。

此外，在一些示例中，并且取决于从与感知传感器134相关联的各种传感器接收的传感器信息的准确度和/或保真度，由控制器136可以使用与第一传感器信息同时获得，但来自感知传感器134的不同传感器或模态的第二传感器信息(例如，图像数据)来验证由控制器136使用第一传感器信息(例如，LIDAR数据)标识的对象(例如，障碍)的存在、位置、取向、身份、长度、宽度、高度、深度和/或其他特性。

在一个示例中，手动、RC和自主操作的机器102、104、105、106、107、216、217、218、219、220(下文中称为102-220)可以各自利用其相应的感知传感器134和机器感知系统222来标识和报告沿着工地112的工作表面110存在障碍。这些障碍可能对工地112处的个人的生命、健康和/或财产造成危险。为此，可以暂停223经由诸如机器217和218的RC或自主操作的机器102-220执行的任何任务20，并且可以避免障碍。可以由机器感知系统222向远程操作员212(例如，经由电子设备210和/或远程计算设备211)和/或监督实体204(例如，经由计算设备205)报告223障碍的存在，以向远程操作员212和/或监督实体204通知障碍和任务206的暂停。报告任务206的暂停和障碍的存在可以通过向电子设备210、远程计算设备211和/或计算设备205发送通知来提供。

响应于从机器感知系统222接收到通知223，远程操作员212可以改变机器102-220的操作模式。例如，对于经由RC或自主操作的至少一个机器102-220，远程操作员212可以经由操作模式UI 209将机器102-220的操作模式改变为手动操作模式。在该示例中，位于LOS的操作员214可以访问机器102-220并操作机器102-220以完成任务206，清除障碍或其组合。在一个示例中，可以使用不使用机器102-220的手工劳动来清除障碍。例如，障碍可以是已经访问工地112的旁观者。在该示例中，位于LOS的操作员214可以请求旁观者离开工地。在另一示例中，障碍可以是诸如沟渠的工作表面缺陷，其可能使得机器102-220无法在工地112内的该位置处来回横穿或以其他方式执行任务。在该示例中，位于LOS的操作员214可以访问机器102-220中的任一个，该机器可以用于平滑或用材料118填充沟渠，并手动操作机器102-220以校正工作表面缺陷。

在一个示例中，操作模式可以改变任意次数，包括在障碍被清除之前和之后。在该示例中，远程操作员212可以接收关于障碍的存在、由机器102-220正在执行的任务206的暂停以及障碍的清除的通知。清除障碍的通知可以包括类似于本文结合框213描述的过程，其中工地112被验证213为准备好执行工地计划202。在该示例中，位于LOS的操作员214可以向远程操作员212确认障碍已被清除，并且工地112处的操作可以恢复，包括执行在框223处暂停的任务206。

系统100还可以报告在执行工地计划202和工地计划202中所包括的各个任务206时所实现的进度。在框220，当机器102-220执行其相应任务206时，相应的机器102-220的控制器136可以收集多个PI。PI可以包括机器102-220的多个度量，诸如机器102-220的线性进度、机器102-220在工地112的工作表面110上的通过次数、移动的材料118的质量或体积、移动的材料118的负载、距目标工作表面110高度的距离、工作表面110的坡度、机器102-220的操作小时数、以及完成任务206和/或工地计划202的估计时间、以及指示相对于任务206的进度百分比的其他PI。在一个示例中，由于在工地112内执行任务的不同机器102-220的功能和目的，不同机器的PI可以不同。在一个示例中，系统100可以利用地图或三维(3D)集成作为标识多个PI的手段。在该示例中，UI可以基于从位置传感器130获得的数据来跟踪机器102-220的位置。机器102-220的位置的跟踪可以提供可转化成可测量PI的3D地形进度信息。

PI可以使用网络124、中心站108、卫星132或其组合被报告给电子设备210、远程计算设备211和/或计算设备205。在一个示例中，PI可以作为本文所述的远程信息处理数据发射。从机器102-220发射的数据可以由例如电子设备210、远程计算设备211和/或计算设备205使用一个或多个数据映射、查找表、神经网络、算法、机器学习算法和/或其他部件来处理，以获得指示单个任务206和工地计划202作为整体的完成水平或百分比的数据集。除了在框221处报告的PI之外，可以报告表示位置、朝向、速度和操作模式的数据以及与机器102-220的操作或功能相关联的其他数据。

此外，在一个示例中，还可以将机器120-220中的一个或多个对任务206的完成作为远程信息处理数据报告给电子设备210、远程计算设备211和/或计算设备205。在由位于LOS的操作员214使用手动模式操作机器120-220的示例中，位于LOS的操作员214可以将指示由位于LOS的操作员214操作机器102-220完成任务206的数据输入到例如本地计算设备215中。在由远程操作员212远程操作(即，RC操作模式)机器102-220的示例中，远程操作员212可以将指示远程操作员212对机器102-220进行RC操作完成任务206的数据输入到例如电子设备210和/或远程计算设备211中。在机器102-220正在自主操作(即，自主操作模式)的示例中，机器102-220可以以与使用网络124将PI报告给电子设备210、远程计算设备211和/或计算设备205相同的方式来报告任务206的完成。

在又一示例中，可以向电子设备210、远程计算设备211和/或计算设备205报告机器120-220中的至少一个的状态，以供监督实体204和远程操作员212审查。机器120-220的状态可以包括例如机器120-220是否以任何方式不起作用、机器120-220中剩余的燃料量、机器120-220的轮胎内的空气压力、以及机器120-220如何起作用的其他方面。这可以允许监督实体204和远程操作员212移除和/或替换工地112内的机器120-200以进行维护并提高工地计划202内的效率。

向电子设备210、远程计算设备211和/或计算设备205报告工地计划202内的PI和完成的任务206允许这些设备的用户快速确定工地计划202的进度。在一个示例中，表示PI和完成的任务206的数据可以在电子设备210、远程计算设备211和/或计算设备205的显示设备上以UI呈现，该UI以用户可理解的格式呈现PI和完成的任务206的表示。一旦监督实体204和远程操作员212能够访问PI和完成的任务206的指示，则监督实体204和远程操作员212可以对工地计划202、任务206、机器102-220的操作模式以及在工地112处执行的工作的其他参数进行改变，以便以更高效和/或更安全的方式执行工地计划202。

图3是描绘与图1和图2所示的系统相关联的示例方法300的流程图。方法300可以包括利用诸如电子设备210和/或远程计算设备211的控制器或处理器的控制器接收302要由工地112处的至少一个机器120-220从监督实体204的计算设备205执行的工地计划202。控制器可以位于相对于工地112的NLOS位置。工地计划202可以包括实施工地计划202的工地的边界、定义工地计划202的至少一个任务206、以及执行任务206的至少一个机器102-220的选择。

电子设备210和/或远程计算设备211的控制器还可以从位于工地112处的诸如位于LOS的操作员214的本地计算设备215之类的设备接收304验证信号。验证213可以基于工地准备的至少一个参数指示工地112准备好实施工地计划202。如本文所述，如果当工地112清除障碍或危险时，诸如人员或工地乘务员；旁观者；其他机器102、104、105、106、107；以及如果在没有首先清除工地112的情况下执行工地计划202可能处于损害方式的其他个人和对象，则工地112可以准备好工作。

方法300还可以包括利用电子设备210的控制器和/或远程计算设备211并且至少部分地基于工地计划202来选择306机器120-220的第一操作模式以执行任务。如本文所述，包括手动操作模式220、RC操作模式217和自主操作模式216的操作模式可以基于机器120-220的特性和/或能力、机器120-220的可用性和远程操作员212的存在以及其他参数来选择。在一个示例中，远程操作员212可以选择机器120-220的操作模式。在另一示例中，机器120-220的操作模式可以由工地计划创建工具203、计算设备205和/或远程计算设备211自主地选择。

远程计算设备211可以向工地112发射308第一指令以执行工地计划202的任务206。在一个示例中，可以基于选择306的第一操作模式发射第一指令。在该示例中，在第一操作模式是手动操作模式的情况下，可以将指令发射308到位于LOS的操作员214的本地计算设备215。此外，在该示例中，在第一操作模式是自主操作模式的情况下，可以将指令发射308到机器120-220中的至少一个，具体地，机器120-220的通信设备126和控制器136。此外，在该示例中，在第一操作模式是RC操作模式的情况下，可以将指令发射308到远程操作员212的电子设备210和/或远程计算设备211。

图4是描绘与图1和图2所示的系统相关联的示例方法的流程图。方法400可以包括利用诸如电子设备210和/或远程计算设备211的控制器或处理器的控制器接收402要由工地112处的至少一个机器120-220从监督实体204的计算设备205执行的工地计划202。电子设备210和/或远程计算设备211的控制器还可以从位于工地112处的诸如位于LOS的操作员214的本地计算设备215之类的设备接收404验证信号，以指示工地112准备好基于工地准备就绪的至少一个参数来实现工地计划202。

在406，系统控制器122可以至少基于机器120-220的能力来确定自主操作模式、RC操作模式和手动操作模式中的一个的优先级。如本文所述，机器120-220在自主操作模式、RC操作模式和手动操作模式中的至少一个下操作，在自主操作模式中，机器120-220经配置执行至少一个无人操作的功能；在RC操作模式中，机器120-220经配置经由来自远程操作员212的NLOS计算设备211的远程输入来操作；在手动操作模式中，机器120-220经配置经由诸如位于LOS的操作员214的人类的本地输入来操作。操作模式的优先级406可以基于机器120-220的特性和/或能力、机器120-220的可用性和远程操作员212的存在以及其他参数。在一个示例中，远程操作员212可以选择机器120-220的操作模式。在另一示例中，机器120-220的操作模式可以由工地计划创建工具203、计算设备205和/或远程计算设备211自主地选择。

方法400还可以包括利用电子设备210和/或远程计算设备211的控制器并且至少部分地基于工地计划202来选择408机器120-220的第一操作模式以执行任务。还可以将第一指令发射410到工地112，以基于在408选择的第一操作模式执行任务206。

如本文所述，电子设备210、远程计算设备211和/或计算设备205可以使用网络124、中心站108、卫星132或其组合来接收412至少输入PI。PI指示任务完成的百分比和/或整个工地计划202。在一个示例中，PI可以被发射414到NLOS计算设备，用于处理和呈现给诸如监督实体204或远程操作员212的用户。系统控制器122或其他处理设备可以通过循环回到412来继续监视416工地计划202和其中包括的任务206的进度。

在418，系统控制器122可以通过诸如电子设备210和/或远程计算设备211的控制器或处理器的控制器接收已经检测到与机器120-220的操作相关的障碍的指示，并且利用控制器并且至少部分地基于工地计划202来确定420机器120-220的第二操作模式以完成任务206。以此方式，任务406可以以安全和有效的方式完成。

在422，系统控制器122可以向工地112处的机器120-220发射第二指令，以使用第二操作模式执行任务206。在执行第二指令时，机器120-220的控制器136使机器120-220执行由第二指令定义的任务。例如，远程操作员212可以使用操作模式UI 209选择可以用于消除如本文所述的障碍的第二操作模式。在424，系统控制器122和/或远程计算设备211可以接收障碍已被消除的指示。结合图2的213描述的相同过程可以用于验证工地112已准备好要执行的工地计划202。系统控制器122或其他处理设备可以通过循环回到框416来继续监视426在工地112内可能存在的其他障碍。

工业实用性

本发明描述了用于控制在工地112处使用的系统100的各种机器、传感器和/或其他部件的系统和方法。这样的系统和方法可以用于在工地执行期间更有效地协调机器102-220，并确保可以执行包括手动操作、RC操作和自主操作的机器102-220的不同操作模式的安全环境，而不会对个人的生命和健康造成风险或对财产造成损害。

例如，这样的系统和方法可以使得远程操作员212能够分配操作模式、验证工地112准备好在其上执行工作、并且指示机器102-220以有效的方式并且从NLOS位置执行与工地计划相关联的任务。在一些情况下，该系统和方法可以在执行工地计划期间标识工地内的障碍、暂停机器102-220的操作和正被执行的任务、并且向监督实体204和/或远程操作员212发送通知。此外，在一些情况下，PI可以被发射到监督实体204和/或远程操作员212，以便通知监督实体204和/或远程操作员212工地计划内的任务的完成以及机器102-220在完成任务206中的进度。

因此，本发明的系统和方法可以有助于减少在工地112处执行各种任务所需的时间和资源，从而提高系统100的效率。本发明的系统和方法还可以降低财产损害的风险以及可能存在于工地112处的个体的生命和健康的风险。

虽然已经参照上述实施例特定地示出和描述了本发明的各方面，但是本领域技术人员将理解，在不脱离所公开内容的精神和范围的情况下，可以通过对所公开的机器、系统和方法的修改来设想各种附加实施例。这样的实施例应当被理解为落入基于权利要求书及其任何等同物确定的本发明的范围内。

Claims (10)

1.一种方法，包括：

利用控制器(211)从监督实体(204)的计算设备(205)接收(302)要由工地(112)处的至少一个机器(102，104，105，106，107，216，217，218，219，220)执行的工地计划，所述控制器(211)位于相对于所述工地(112)的非视距(NLOS)位置处，所述工地计划包括：

实施所述工地计划的所述工地(112)的边界；

包括定义所述工地计划的任务参数的至少一个任务；

执行所述任务的至少一个机器(102，104，105，106，107，216，217，218，219，220)的选择；以及

至少一个机器参数；

利用所述控制器(211)从位于所述工地(112)处的设备(215)接收(304)验证信号，所述验证指示所述工地(112)已准备好基于工地准备就绪的至少一个参数来实施所述工地计划；

利用所述控制器(211)并且至少部分地基于所述工地计划选择(306)所述机器(102，104，105，106，107，216，217，218，219，220)的第一操作模式以执行所述任务；以及

基于所述第一操作模式向所述机器(102，104，105，106，107，216，217，218，219，220)发射(308)第一指令以执行所述任务。

2.根据权利要求1所述的方法，其中：

所述机器(102，104，105，106，107，216，217，218，219，220)在自主操作模式、远程控制(RC)操作模式和手动操作模式中的至少一个下操作，在所述自主操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置执行至少一个无人操作功能；在所述远程控制(RC)操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置经由来自操作员(212)的NLOS计算设备(211)的远程输入来操作；在所述手动操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置经由人类的本地输入来操作，以及

所述方法还包括至少基于所述机器(102，104，105，106，107，216，217，218，219，220)的能力来确定所述自主操作模式、所述RC操作模式和所述手动操作模式中的一个的优先级(406)。

3.根据权利要求1所述的方法，其中所述监督实体(204)的所述计算设备(205)是关于所述控制器(211)和所述工地(112)的NLOS计算设备。

4.根据权利要求1所述的方法，还包括：

利用所述控制器(211)从所述工地(112)接收(412)至少一个进度指示符(PI)，所述PI指示所述任务完成的百分比；以及

利用所述控制器(211)将所述PI从所述机器(102，104，105，106，107，216，217，218，219，220)发射(414)到所述NLOS计算设备(211)。

5.根据权利要求1所述的方法，还包括：

利用所述控制器(211)接收(418)已经检测到与所述机器(102，104，105，106，107，216，217，218，219，220)的操作相关的障碍的指示；

利用所述控制器(211)并且至少部分地基于所述工地计划确定(420)所述机器(102，104，105，106，107，216，217，218，219，220)的第二操作模式以完成所述任务；

向所述机器(102，104，105，106，107，216，217，218，219，220)发射(422)第二指令以使用所述第二操作模式执行所述任务；

利用所述控制器(211)接收(422)指示从所述第一操作模式改变到所述第二操作模式的通知；

利用所述控制器(211)将与所述机器(102，104，105，106，107，216，217，218，219，220)的所述操作相关的所述障碍的所述指示发射(418)到所述NLOS计算设备(211)；以及

利用所述控制器(211)接收(424)与所述机器(102，104，105，106，107，216，217，218，219，220)的所述操作相关的所述障碍已被消除的指示，

其中，定义所述工地计划、所述第一操作模式和所述第二操作模式的指令经由物联网(IoT)网络(124)发射到所述机器(102，104，105，106，107，216，217，218，219，220)的至少一个电子控制模块(ECM)(136)，以控制与ECM(136)相关联的机器(102，104，105，106，107，216，217，218，219，220)的功能。

6.一种系统(100)，包括：

通信网络(124)，其经配置在非视距(NLOS)控制器(211)、监督实体(204)的NLOS计算设备(205)和验证人员的视距(LOS)计算设备(215)之间发射信号，所述NLOS控制器(211)和所述NLOS计算设备(205)位于相对于工地(112)的NLOS位置，而所述LOS计算设备(215)位于相对于所述工地(112)的LOS位置，其中：

所述NLOS计算设备(205)经配置创建工地计划，所述工地计划包括：

实施所述工地计划的所述工地(112)的边界；

包括定义所述工地计划的任务参数的至少一个任务，其中所述NLOS计算设备(205)经配置将所述工地计划发射到所述NLOS控制器(211)；以及

至少一个机器参数；以及

至少一个机器(102，104，105，106，107，216，217，218，219，220)，其经由所述通信网络(124)通信地耦合到所述NLOS计算设备(205)和所述NLOS控制器(211)，用于实施所述任务，所述机器(102，104，105，106，107，216，217，218，219，220)包括：

至少一个电子控制模块(ECM)(136)，用于控制与所述ECM(136)相关联的所述机器(102，104，105，106，107，216，217，218，219，220)的功能；以及

通信设备(126)，由所述机器(102，104，105，106，107，216，217，218，219，220)承载、与所述NLOS控制器(211)通信，并连接到所述通信网络(124)，所述通信设备(126)经配置从所述NLOS控制器(211)接收定义所述机器(102，104，105，106，107，216，217，218，219，220)要实施的所述任务的第一指令。

7.根据权利要求6所述的系统(100)，其中：

所述机器(102，104，105，106，107，216，217，218，219，220)还包括传感器(130)，其由所述机器(102，104，105，106，107，216，217，218，219，220)承载并经配置在操作期间检测障碍，

由所述机器(102，104，105，106，107，216，217，218，219，220)承载的所述通信设备(126)经配置向所述NLOS计算设备(205)和所述NLOS控制器(211)发射关于所述障碍的数据，关于所述障碍的数据包括所述任务已经暂停的指示、由所述传感器(130)收集的数据和来自所述工地(112)的进度指示符(PI)中的至少一个，所述PI指示所述任务完成的百分比。

8.根据权利要求7所述的系统(100)，其中所述NLOS控制器(211)经配置以向所述机器(102，104，105，106，107，216，217，218，219，220)和所述LOS计算设备(215)发送关于寻址所述障碍的第二指令。

9.根据权利要求6所述的系统(100)，其中由所述机器(102，104，105，106，107，216，217，218，219，220)承载的所述通信设备(126)经配置将关于来自所述工地(112)的至少一个进度指示符(PI)的数据发射到所述NLOS计算设备(205)和所述NLOS控制器(211)中的至少一个，所述PI指示所述任务完成的百分比。

10.根据权利要求6的系统(100)，其中：

所述机器(102，104，105，106，107，216，217，218，219，220)在自主操作模式、远程控制(RC)操作模式和手动操作模式中的至少一个下操作，在所述自主操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置执行至少一个无人操作功能；在所述远程控制(RC)操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置经由来自操作员的NLOS计算设备(205)的远程输入来操作；在所述手动操作模式中，所述机器(102，104，105，106，107，216，217，218，219，220)经配置经由人类的本地输入来操作，以及

所述NLOS控制器(205)经配置至少基于所述机器(102，104，105，106，107，216，217，218，219，220)的能力确定所述自主操作模式、所述RC操作模式和所述手动操作模式中的一个的优先级。

Images