CN114071113A - 用于辅助作业机器的远程操作的系统和方法 - Google Patents

Abstract

一种用于辅助作业机器的远程操作的系统可包括作业机器和布置在作业机器上的远程操作设备。该远程操作设备可以被配置为捕获关于该作业机器的环境的信息并且将该信息传输至远程控制站。该系统还可以包括配置为显示作业机器的环境的图像的远程控制站。该系统还可以包括操作者辅助模块，该操作者辅助模块被配置为用于用特征描绘器来扩充该信息。

Description

用于辅助作业机器的远程操作的系统和方法

技术领域

本申请总体上涉及作业机器，例如用于建筑的重型设备、农具和其他适于执行作业的机器。更具体地，本申请涉及可更加限制操作者意识的遥控作业机器。更具体地，本申请涉及用于扩充视觉传感器系统以辅助操作者控制机器交互的一个或多个视觉辅助装置。

背景技术

作业机器，例如轮式装载机，用于需要操作者控制作业机器和与该机器相关联的一个或多个工具的各种任务。该控制可由物理地在机器上或使用一个或多个远程装置远离机器的操作者执行。这些机器可以是大的，复杂的和强大的，增加了在提供控制时知道机器的周围环境的愿望。在特定情况下，作业机器可用于与土壤、岩石、地面、其它设备、静止物体和其它周围物品相互作用。在这些情况下可以执行作业机器的相对精确的操作，以提供有效的操作和/或避免损坏作业机器或交互设备或周围物品。当视觉或其它感觉受到限制时，例如当远程操作作业机器时，精确操作可能更困难。

U.S.2019/0302794A1描述了一种有针对性的装载辅助系统。U.S.20190101641A1描述了一种用于地下物体的作业工具防撞系统。US20170016211A1描述了一种显示系统和建筑机器。JP2003278159描述了一种远程操作的建筑方法和系统。

发明内容

在一个或多个实施例中，一种用于辅助作业机器的远程操作的系统可包括作业机器和布置在作业机器上的远程操作设备。该远程操作设备可以被配置为捕获关于该作业机器的环境的信息并且将该信息传输至远程控制站。该远程控制站可以被配置为显示该作业机器的环境的图像。该系统还可以包括操作者辅助模块，该操作者辅助模块被配置为用于用特征描绘器来扩充该信息。

在一个或多个其他实施例中，一种辅助作业机器的远程操作的方法可包括接收图像和与作业机器的环境有关的数据，以及识别图像中的特征。该方法还可以包括用描绘该特征的特征描绘器来扩充该图像。

在一个或多个其它实施例中，一种操作作业机器的方法可包括从远程控制站操作作业机器并依靠视觉显示器来理解作业机器与周围环境之间的关系。该方法还可以包括至少部分地基于视觉显示器操纵远程控制站处的控制。该方法还可以包括依靠显示器上的特征描绘器来控制设备。

附图说明

图1A是根据一个或多个实施例的由操作者使用现场远程控制操作的作业机器的透视图。

图1B是根据一个或多个实施例的图1A的现场远程控制的俯视图。

图2是根据一个或多个实施例的由位于远程地点的操作者经由广域网操作的作业机器的示意图。

图3是根据一个或多个实施例的接近卡车导轨的轮式装载机的铲斗的远程操作者图像。

图4是根据一个或多个实施例的定位在卡车导轨上方的轮式装载机的铲斗的远程操作者图像。

图5是根据一个或多个实施例的通过卡车导轨并在卡车底板上方的轮式装载机的铲斗的远程操作者图像。

图6是根据一个或多个实施例的接近污垢堆的趾部的轮式装载机的铲斗的远程操作者图像。

图7是根据一个或多个实施例的接近污垢堆的趾部的轮式装载机的铲斗的远程操作者图像。

图8是根据一个或多个实施例的与污垢堆接合的轮式装载机的铲斗的远程操作者图像。

图9是根据一个或多个实施例的保持在地面上方的轮式装载机的铲斗的远程操作者图像。

图10是根据一个或多个实施例的接近卡车导轨并且具有描绘卡车导轨的特征描绘器的轮式装载机的铲斗的远程操作者图像。

图11是根据一个或多个实施例的接近污垢堆并且具有描绘污垢堆的趾部的特征描绘器的轮式装载机的铲斗的远程操作者图像。

图12是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其保持在地面上方并且具有描绘轮式装载机下方的地面的表面的特征描绘器。

图13是根据一个或多个实施例的接近卡车导轨并具有智能特征描绘器的轮式装载机的铲斗的远程操作者图像，该智能特征描绘器描绘卡车导轨并提供接近卡车导轨的指示。

图14是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其定位在卡车导轨上并且具有智能特征描绘器，该智能特征描绘器描绘卡车导轨并且提供接近卡车导轨的指示。

图15是根据一个或多个实施例的轮式装载机的铲斗经过卡车导轨并经过卡车底板上方的远程操作者图像，并且具有描绘卡车导轨并提供接近卡车导轨的指示的智能特征描绘器。

图16是根据一个或多个实施例的接近污垢堆的趾部并且具有描绘趾部并且提供接近趾部的指示的智能特征描绘器的轮式装载机的铲斗的远程操作者图像。

图17是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其靠近污垢堆的趾部并且具有描绘趾部并且提供接近趾部的指示的智能特征描绘器。

图18是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其与污垢堆接合并且具有描绘污垢堆的趾部并且提供对接近趾部的指示的智能特征描绘器。

图19是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其保持在地面上方并且具有描绘地面的表面并且提供对铲斗在地面上方的高度的指示的智能特征描绘器。

图20是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其保持在地面上方并且具有描绘地面的表面并且提供对铲斗在地面上方的高度的指示的智能特征描绘器。

图21是根据一个或多个实施例的轮式装载机的铲斗的远程操作者图像，其保持在地面上方并且具有描绘地面的表面并且提供对铲斗在地面上方的高度的指示的智能特征描绘器。

图22是操作作业机器的方法的示图。

图23是辅助作业机器的远程操作的方法的示图。

具体实施方式

图1A是根据一个或多个实施例的由操作者使用现场远程控制站102操作的作业机器100的透视图。作业机器100在图1A中表示为轮式装载机，但可以是任何其它作业机器，例如推土机、压实机、搅拌机、铲运机、自动平地机、挖掘机、物料运输机等。图1B是根据一个或多个实施例的图1A的现场远程控制站102的俯视图。如图所示，现场远程控制站102可具有相对较小的显示，该显示描绘了从作业机器100的前方看的视图，该视图为操作者提供了从驾驶室的角度理解机器100的操作的较小能力。相反，操作者可依靠来自操作者在现场位置的直接视觉反馈或其它感官反馈(声音、振动等)。

图2是根据一个或多个实施例的作业机器100的示意图，该作业机器100由操作者使用位于远程地点的远程控制站102经由广域网106操作。在该实施例中，直接视觉反馈和其它感官反馈是不可获得的，并且操作者可以依靠一个或多个相对大的显示器104，该显示器104提供来自现场的视觉和潜在声音反馈并且基于定位在作业机器100上的一个或多个传感器。在该实施例中，用户对机器活动、机器操作和周围环境的了解可仅由显示器提供，该显示器可以是二维显示器104。

这种经验的示例在图3-5中示出。如图所示，图3是接近卡车导轨50的轮式装载机100的铲斗108的远程操作者图像。如图所示，操作者的视野可能在某种程度上受到铲斗108的提升臂、相关联的液压系统以及铲斗108自身的阻碍。此外，考虑到显示器的二维特性，铲斗/臂和卡车之间的距离可能不易感知。这从图3与图4的比较可以更加明显，其是定位在卡车导轨50上的轮式装载机的铲斗108的远程操作者图像。即，在铲斗108接近图3中的导轨50的情况下，铲斗108在图4中的导轨50上方，并且图像非常类似。图5是根据一个或多个实施例的通过卡车导轨50并在卡车底板上方的轮式装载机的铲斗108的远程操作者图像。当与图3和图4相比时，虽然存在差异并且感知没有过度限制，但是本申请的特征可以辅助更快和更确信地感知设备之间的关系。

类似地，设备与地面之间的关系可能难以使用远程图像来感知。例如，图6是根据一个或多个实施例的接近污垢堆54的趾部52的轮式装载机100的铲斗108的远程操作者图像。如图所示，污垢堆54的趾部52(例如，在堆的斜坡遇到相对平坦的地面的地方)可能难以感知。图7是根据一个或多个实施例并且不清楚污垢堆54的趾部52位于何处的靠近污垢堆54的趾部52的轮式装载机100的铲斗108的远程操作者图像，操作者可能难以正确地操作铲斗108。即，例如，操作者可以将铲斗108保持在地面上方，除非/直到铲斗接近进入污垢堆54。因此，操作者可以仅在接合污垢堆54或清洁污垢堆前方的区域时的适当时刻降低铲斗108，操作者可以在接合污垢堆之前降低铲斗。图8是根据一个或多个实施例的与污垢堆54接合的轮式装载机的铲斗108的远程操作者图像。如图所示，并且再次，污垢堆54的趾部52从二维图像可能不是非常明显的，并且操作者可能难以适当地接合污垢堆54。此外，在操作者选择在接合污垢堆之前接合地面的情况下，由铲斗施加到地面的力可有助于确保地面不会被撕裂或过度损坏。作为补充注意，操作者可以接合污垢堆，直到机器放慢或者似乎已经接合了尽可能远的污垢堆。对于在这些情况下的驾驶室内操作者，机器停止或减慢的感觉、液压和/或马达运用的声音、振动和其它感官反馈可允许驾驶室内操作者认识到铲斗充分地接合地面不要太多，或者轮式装载机已经尽可能多地接合污垢堆，并且可以停止向前移动以允许机器提升铲斗并从堆返回以去除污垢负荷。

图9是根据一个或多个实施例的保持在地面56上方的轮式装载机100的铲斗108的远程操作者图像。即，当行进越过地面时，操作者可将铲斗108保持在地面上方以避免刮伤地面56，并且操作者可期望铲斗108相对较低以提供越过铲斗108的顶部的清晰视觉。然而，如图9所示，感知铲斗108高于地面54的高度的能力可能相对难以在二维显示器上感知。

在类似的情况下，操作者通常可将铲斗放置在地面上并使机器反向以“向后拖拉”地面并使地面变平或平滑。类似于接合污垢堆的情况，驾驶室内的操作者可听设备并依靠声音、液压鞭打、马达运用、振动或其它感官反馈来获得铲斗施加到地面上的压力的多少的感觉，使得可发生地面的平滑而不损坏地面，旋转车轮和/或以其它方式使向后拖拉的目的失效。

本申请可以包括特别适于辅助作业机器操作者感知周围的设备和物体以及机器与设备和物体的交互的特征，特别是当远程地操作作业机器时，甚至更特别是当远程地且从不能获得直接视觉或感官反馈的现场外对机器进行操作时。

再次参考图2，远程可操作作业机器100可装备有远程操作设备110，其允许与作业机器之间的通信。例如，离开机器的通信可包括机器操作和诊断信息，例如可另外地或更通常地显示在仪表板或驾驶室显示器上的那些。此外，为了远程操作，离开机器的通信可包括传感数据，包括图像、声音、空间数据、液压力和/或压力数据等。输入通信可包括操作命令，该操作命令可另外地或更通常地来自例如方向控制、油门控制、制动控制和工具控制的驾驶室内控制。远程操作设备可以包括传感器112、远程操作计算系统114和远程操作收发器116。

远程操作收发器116可以被配置用于从远程操作处理器接收信息并将该信息发送到远程控制站。该远程操作收发器还可以被配置为用于接收来自该远程控制站的信息传输并且将该信息提供给该远程操作处理器。如图1所示，远程操作收发器可以包括局域通信系统，例如射频收发器、蓝牙收发器、WiFi或适于在相对短的距离上通信的另一收发器。如图2所示，远程操作收发器可以包括广域网收发器，其可以提供例如通过蜂窝网络连接到广域网的直接通信。可替换地或附加地，远程操作收发器可以被配置为例如与近距离中继器118通信，其中射频、蓝牙、WiFi或其它本地通信系统可以用于与中继器通信，中继器可以例如通过蜂窝网络与广域网来回通信信号。虽然已经描述了无线通信，但是也可以提供中继器与网络之间和/或远程控制站与网络之间的硬连线通信系统。

远程操作计算系统114可被配置为通过处理感官信息和通过处理控制信息来帮助远程操作。在一个或多个实施例中，远程操作计算系统114可以是内置于作业机器设备的计算系统中的模块。在其它实施例中，例如，当作业机器用远程操作设备翻新时，可以提供单独的计算系统。在任一种情况下，远程操作计算系统114可包括用机器可读指令编码的计算机可读存储介质，用于接收和发送机器信息以及用于接收和实现机器控制。该存储介质可以包括短期和/或长期存储器并且可以是易失性和/或非易失性的。非易失性存储元件的示例包含磁性硬盘、光盘、软盘、快闪存储器或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。远程操作计算系统114还可包括处理器，例如适于执行机器可读指令以传输信息并控制机器100的操作的计算机处理器。在一个或多个实施例中，远程操作计算系统可包括机器控制器和/或与机器控制器通信以操作机器100。

本作业机器的传感器112可包括适于向操作者提供感官反馈的一个或多个传感器112。在一个或多个实施例中，传感器112可以包括空间传感器、听觉传感器、触觉传感器、压力传感器、力传感器等。

例如，空间传感器可配置为用于提供作业机器操作的视觉图像，使得使用者可具有对机器操作及其与周围环境和设备的关系的视觉感知。在一个或多个实施例中，空间传感器可包括布置在作业机器上并适于在机器前方或前方附近提供环境的视频图像的一个或多个图像捕获装置，例如相机。例如，图像捕获装置可以是光学图像传感器或包括光学图像传感器的装置。图像传感器可以是数字成像器，或者被配置为将所接收的光转换为电信号的其他模拟或数字装置，并且可以被并入一个或多个图像捕获装置中，例如相机。图像捕获装置可以被配置为为作业机器周围或附近的一个或多个区域提供静止图像、视频馈送等。例如，图像捕获装置可以结合在相机中并且可以是用于捕获视频的图像传感器，包括但不限于半导体电荷耦合装置(CCD)型传感器、互补金属氧化物半导体(CMOS)型传感器、N型金属氧化物半导体(NMOS)型传感器，或其他任何类型的图像传感器或其组合。在一个或多个实施例中，可以提供两个摄像机以允许作业机器的前部区域的立体视觉。可替代地或另外地，空间传感器可以包括雷达系统或激光雷达系统，例如一维激光雷达或三维激光雷达系统(例如，三维扫描仪)。雷达或激光雷达系统可用于识别作业机器周围环境中的设备或其他障碍物，并可单独使用或与图像捕获装置结合使用，以向操作者提供空间信息。其它空间传感器可包括配置为收集关于作业机器周围或附近区域的物理特性的数据的热成像仪、载荷传感器、超声传感器等。

作为另一示例，听觉传感器可以包括麦克风或允许操作者听到机器的其他听觉特征。触觉传感器可以是适于感测机器的振动并传输允许复制或模仿振动或移动的信号的传感器。更进一步，可以提供液压传感器，其他压力传感器或力传感器，其可以感测机器运用和/或机器与其他设备或物体的相互作用的特定方面。例如，液压传感器可存在于铲斗控制臂上，其感测铲斗施加在地面上的下压力的量。还可以提供用于感测其它压力和用于其它目的的其它压力或力传感器。

如上所述，远程操作计算系统114可以接收来自传感器的空间、压力或力信息等，并将该信息经由通信收发器116传输到远程控制站102。远程控制站102可适于接收信息并为操作者显示信息。在一个或多个实施例中，例如，远程控制站102可以适于分析和/或扩充为用户显示的空间数据。具体地，如图10所示，远程控制站102可适于提供特征描绘器以辅助操作者理解作业机器周围的环境的特定特征位于何处。如图10所示，特征描绘器120A可以包括延伸跨过附近的自卸卡车的顶部边缘的扩充线，其中扩充线描绘了卡车的顶部导轨并且辅助操作者理解顶部导轨的位置。如图11所示，特征描绘器120B可以包括沿污垢堆的趾部和另外的基本上平坦的地面之间的接缝延伸的曲线扩充线。在如图12所示的又一示例中，特征描绘器120C可包括地面的阴影或其它指示，以辅助操作者理解铲斗相对于地面的位置。

再次参考图1B和图2，特征描绘可以由操作者辅助模块122提供。如上所述，远程控制站可以适于分析和/或扩充为操作者显示的空间数据，这样，操作者辅助模块可以结合到远程控制站102中。然而，可以理解，操作者辅助模块122可替代地或附加地并入作业机器100的计算机系统中。在任一情况下，操作者辅助模块122可以包括计算装置，该计算装置被配置为用于分析由这些空间传感器生成的空间数据并且扩充所得到的图像以辅助操作者感知。

在一个或多个实施例中，操作者辅助模块122可以分析空间数据以识别周围环境的特定特征。例如，并且如以上关于图10、11和12所指出的，操作者辅助模块122可以被适配成用特征描绘器来识别和描绘卡车的导轨50的位置、污垢堆与地面(例如，污垢堆的趾部52)之间的接缝，和/或地面54的表面。周围环境的其他特征可以用特征描绘器来识别和描绘。

与远程操作设备110一样，在一个或多个实施例中，操作者辅助模块122可以包括非暂时性计算机可读存储介质和处理器。该存储介质可以包括短期和/或长期存储器并且可以是易失性和/或非易失性的。非易失性存储元件的示例包含磁性硬盘、光盘、软盘、快闪存储器或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。该介质可以包括存储在其上的数据和计算机可读指令，这些数据和计算机可读指令允许周围环境的特征的识别。例如，数据可以包括关于卡车导轨的高度范围的信息或关于作业机器可能具有与之交互的能力的设备的其他细节。在一个或多个实施例中，数据可以包括潜在的周围设备的特征的尺寸、形状和取向。介质上的指令可以包括用于基于数据和/或基于图像数据来识别周围设备或环境的特征的指令。即，例如，在卡车导轨的情况下，指令可包括用于分析卡车导轨预期所处的区域(例如，高度)中的对比度的方法。更进一步，所述指令可以包括用于使用多个相机来分析图像数据并且依靠由立体图像数据提供的相对角度来识别特定周围元素的位置的方法。通过依靠图像中的颜色对比度，多组图像数据之间的空间关系和/或卡车导轨的预期高度、尺寸和取向，操作者辅助模块的处理器能够识别图像中的卡车导轨。已经识别了卡车导轨，操作者辅助模块的处理器可以通过用特征描绘器120A描绘卡车导轨来扩充图像。例如，操作者辅助模块可以用亮线覆盖图像，例如如图10所示。

应当理解，尽管以上分析被描述为基于图像数据，但也可使用其它空间数据来辅助。例如，在使用诸如激光雷达、雷达或其他空间传感器的附加传感器的情况下，操作者辅助模块122也可以将该信息合并到分析中。例如，一维激光雷达能够提供距离信息，并且由此能够识别从作业机器100到卡车侧面的距离。这可以允许操作者辅助模块122理解卡车导轨50例如在作业机器100前方多远，并且可以辅助识别顶部导轨50在图像中的位置。在三维扫描可用的情况下，可以生成周围环境的模型，并且可以通过分析模型来识别导轨50。还可将其它技术并入所述系统中以识别周围环境的特征。在一个或多个实施例中，可以将基准信息存储在计算机可读存储介质中和/或可以存储关于读取基准的指令。即，例如，在基准可存在于周围设备上的情况下，存储介质可包括用于处理器分析图像数据并从图像数据中存在的基准生成信息的指令。在一个或多个实施例中，该系统可以简单地在空间上依靠该基准物，例如其中该基准物相对于自卸卡车的顶部导轨的定位是已知的，并且当该基准物被识别时，相对于该基准物的顶部导轨位置和取向是自动已知的。总之，由于基准物中存在的图案，可以更容易地在周围环境中识别基准物。附加地或替代地，基准物和基准物的读取可以类似于QR码更复杂，并且系统可以扫描基准物以获得关于基准物所在的设备的信息。从基准收集的信息可用于辅助识别设备的特征的位置。

虽然已经在识别卡车导轨50的上下文中描述了上述系统，但是周围环境的其他特征也可以被识别。例如，如图11所示，可以识别污垢堆和地面或趾部52之间的接缝。在这种情况下，该存储介质可以包括关于污垢堆的特征的数据，并且具体地，可以包括指示斜率变化的特定范围可以是污垢堆的趾部52的位置的指示的数据。这些计算机可读指令可以包括复查空间数据(例如，基于图像的或以其他方式)并且识别限定了从总体上水平到倾斜的斜率变化的曲线的方法。该识别可以基于颜色对比度的变化、识别斜率变化的空间信息和其他技术。使用这些特征，操作者辅助模块的处理器可以能够识别污垢堆的趾部52。在已经识别出趾部之后，操作者辅助模块122的处理器可以用特征描绘器120B来扩充图像。例如，操作者辅助模块122可以用曲线亮线覆盖图像，例如如图11所示。

可以使用类似的方法来识别地面54的表面。例如，存储介质可包括将地面识别为大致水平和/或大致平行于由地面54支撑的作业机器100的角度的信息。使用图像数据和/或其他空间数据连同存储在介质上的数据，处理器可以识别地面的平面，并且可以通过识别图像中的地面的平面来扩充图像数据。在一个或多个实施例中，扩充图像可以包括特征描绘器120C，诸如在铲斗108下方的平行四边形状轮廓，其识别地面54相对于铲斗108的平面，如图12所示。

在上述条件下，图像数据的扩充可以提供扩充图像，并且操作者辅助模块122可以连续扩充图像数据。图像数据可以在远程控制站102处显示(例如，在一个或多个屏幕上或在远程控制本身上)。利用扩充图像，操作者可以更适当地控制作业机器100。

现在转向图13-15，操作者辅助模块122还可以用一个或多个智能特征描绘器来扩充图像。即，虽然对象描绘可能是有帮助的，但是随着作业机器移动或接合周围对象而改变的对象描绘可能甚至更有帮助。特别地，例如，并且如关于图3-5所提及的，当经由远程控制站102操作时，可能难以感知作业机器与自卸卡车之间的相对距离。在一个或多个实施例中，操作者辅助模块122可以依靠由空间传感器捕获的空间数据来提供如图13-15所示的变化的描绘程度。即，如图13所示，当作业机器100接近自卸卡车时，可以提供相对薄的描绘线形式的智能特征描绘器124A。在作业机器100如图14所示更靠近自卸卡车且铲斗108在自卸卡车的导轨50上方的情况下，可提供更明显(例如，更厚)描绘线形式的智能特征描绘器124B。更进一步，如图15所示，在铲斗通过导轨50并在自卸卡车的底板上方的情况下，可以提供更明显(例如，更厚)的描绘线形式的智能特征描绘器124C。在一个或多个实施例中，智能描绘器可以包括当作业机器远离时可以缓慢闪烁的线，当作业机器靠近时可以更快速闪烁的线，以及当作业机器非常靠近自卸卡车时可以非常快速闪烁的线。在一个或多个实施例中，智能描绘器可以包括颜色，并且当作业机器前进通过图13-15所示的阶段时，颜色可以从绿色变为黄色，变为红色。还可以使用其它颜色配置文件。

操作者辅助模块122可以提供类似的智能特征描绘器，用于在作业机器接近污垢堆时辅助操作者。即，例如，操作者可能更喜欢将作业机器的铲斗保持在地面上方，除非作业机器将要碰到污垢堆。这里，操作者辅助模块122可以依靠空间数据来描绘如以上关于图11所描述的污垢堆的趾部，但是当作业机器接近污垢堆时，可以分别以细线、更显著的线和非常显著的线的形式提供智能描绘器126A、126B和126C。这样，操作者不仅能够感知到趾部在哪里，而且能够感知到作业机器100靠近趾部的程度。与卡车导轨一样，智能描绘器126A、126B、126C可以在作业机器接近时缓慢、快速和非常快速地闪烁，和/或线路可以例如从绿色变为黄色，变为红色。除了特征的位置之外，还可以使用其他视觉效果来反映变化的空间关系。

为了辅助操作者知道铲斗108和地面54之间的关系，操作者辅助模块122可以提供类似的智能特征描绘器。例如，可以提供当铲斗接近地面时改变的智能特征描绘器。例如，当铲斗远离地面时，可以提供类似图12的轮廓形式的智能特征描绘器128A，如图19所示的轮廓为半阴影或填充轮廓形式的智能特征描绘器128B，或者当铲斗与地面接触时，提供完全填充的不透明填充轮廓形式的智能特征描绘器。在一个或多个其它实施例中，智能特征描绘器可包括填充到地面以上的所有高度的轮廓，但其可将颜色从绿色变为黄色，变为红色，和/或轮廓或填充的轮廓可在铲斗接触地面时缓慢、更快速且非常快速地闪烁。在一个或多个实施例中，智能特征描绘器可以是阴影的形式，并且当铲斗高出地面时比铲斗宽得多，当铲斗接近地面时较小，并且当铲斗到达地面时与铲斗的外周界相连。在图20和图21中示出了铲斗相对于地面的其它智能特征描绘器。例如，在图20中，智能特征描绘器130以识别地面平面的地面指示的形式提供，并且延伸线从地面向上延伸以识别地面和铲斗之间的距离。该延伸线可以在该铲斗相对于地面升高或降低时调整长度。地面的智能特征描绘器132也可以采用跑道线的形式，如图21所示。例如，跑道线可以与地面和铲斗的侧面对齐，并且当铲斗高时可以是轻的，当铲斗接近地面时更明显，当铲斗接近地面时更粗。跑道线也可以如上所述闪烁和/或改变颜色。虽然已经分别描述了几种类型的智能描绘器，但是智能描绘技术中的一种或多种可以适当地彼此结合使用。例如，可以一起使用尺寸、闪烁和颜色效果。还可以使用其它组合。

操作者辅助模块122可以基于机器上的压力和/或力传感器提供进一步的信息。例如，虽然相对于地面的位置可能是有帮助的，但是在特定情况下，铲斗施加到地面的力的量也可能是有帮助的。也就是说，如上文关于在接合污垢堆之前平滑地面、接合污垢堆和/或往回拖拉，机器的运用量可有助于了解铲斗接合地面有多困难或机器使用多少工作来接合污垢堆。在铲斗与地面接合的情况下，可以提供基于压力或力传感器的智能描绘器。例如，液压系统中的力或压力的量可以基于液压系统和铲斗的几何形状被转换为地面压力，并且地面可以被着色成变化的颜色以描绘所使用的下压力的量。在一个或多个其他实施例中，铲斗本身可以是彩色的，图像中的液压缸可以是彩色的，或者可以使用图形“下压力”箭头，该箭头在尺寸上随着下压力增加而变化和/或随着下压力达到预定最大值而闪烁。在一个或多个实施例中，土壤类型和/或地面材料可以输入到系统中，并且可以基于被处理或加工的材料来调节下压力范围。

操作者辅助模块122可用于实现各种条件的智能特征描绘器。例如，作业机器处或附近的障碍物或障碍可以用线、阴影或其他覆盖来扩充，并且覆盖可以是活动覆盖，使得遇到障碍的相对风险或某物被使用的程度通过覆盖的粗度、闪烁、颜色变化或其他活动通知呈现给操作者。在任何一个或多个上述实施例中，特征描绘器也可以包括声音通知。

应当理解的是，在远程控制作业机器的情况下，本申请有利地替换当操作者存在于作业机器100中时可能已经存在的以及当远程操作作业机器100时可能不存在的一些感知。在装载自卸卡车的情况下，操作者在接近自卸卡车时四处移动、前倾和/或以其他方式改变他/她的视角的能力可能已经允许现场操作者更适当地接近和装载自卸卡车而不会碰到顶部导轨。操作者还可能具有更容易的时间将载荷均匀地散布在自卸卡车中。通过给定的特征描绘器和/或智能特征描绘器，远程操作者可以具有在不遇到自卸卡车的情况下并且通过在卡车中均匀地散布负载而更适当地执行的能力。

类似地，在从堆铲除污垢的情况下，驾驶室内的操作者能够四处移动、前倾并连续改变他/她的污垢堆的视角以帮助识别趾部。使用本特征描绘器和/或智能描绘器，远程操作者可以更适当地保持铲斗离开地面直到作业机器将要接合堆，其中铲斗可以下降到地面。此外，操作者可以在到达污垢堆之前降低铲斗以使污垢堆前方的区域平滑，并且可以具有正施加多少下压力的指示。一旦堆接合，操作者可以指示接合堆所施加的力或动力的大小，从而为操作者提供更好的能力以知道何时停止接合堆。

更进一步，试图使铲斗刚好在地面上方行进的驾驶室内操作者能够在行进时听和感觉机器以知道铲斗是否接合地面。利用本系统，操作者可以依靠特征描绘器或智能特征描绘器来辅助在机器行进时知道铲斗相对于地面的位置。

更进一步，向后拖拉操作可以包括力指示，其可以允许远程操作者更好地理解和领会由铲斗施加到地面上的力的大小。这可以允许操作者避免在该操作期间损坏地面。

工业实用性

在操作和使用中，用户可以从远程控制位置操作作业机器，例如轮式装载机。用户可执行操作作业机器200的方法，该方法可包括从现场远程控制站操作作业机器，在现场远程控制站处存在一定水平的直接视觉反馈，或者在现场外没有直接视觉反馈。该方法可以包括依靠视觉、听觉或触觉显示器或特征来查看作业机器正在做什么以及作业机器与周围环境之间的关系是什么204。该方法还可以包括至少部分地基于显示器或特征来操纵远程控制站处的控制206。在一个或多个实施例中，该方法还可以包括依靠显示器上的特征描绘器来控制设备208，和/或依靠随着作业机器和特征之间的关系改变而改变的智能特征描绘器210。基于这些控制，远程控制站可以向作业机器传输信号212，并且作业机器上的远程操作设备可以控制作业机器214。这可以包括操作机器的位置控制装置以移动机器，并且这可以包括操作机器的一个或多个工具。例如，在轮式装载机的情况下，其可以包括例如升高、降低和/或倾翻铲斗。

在机器的操作期间，机器上的远程操作设备可以捕获关于机器的周围环境或机器的运用的信息，并且可以将该信息传输到远程控制站以允许操作者控制机器。该系统可以包括作业机器上或远程控制站处的操作者辅助模块，该操作者辅助模块可以扩充由远程操作设备捕获的信息，以帮助操作者更好地理解作业机器的环境。在一个或多个实施例中，辅助作业机器300的远程操作的方法可包括在作业机器处捕获空间、听觉、触觉、压力或力数据302并将该数据传输到远程控制站304。该方法还可包括识别由远程操作设备捕获的图像中的特定特征306，并用特征描绘器扩充空间数据308。在一个或多个实施例中，该特征可以是卡车导轨、污垢堆的趾部、地面的表面、障碍物或作业机器环境的另一特征。在一个或多个实施例中，特征描绘器可以包括线、轮廓、形状、符号或其它类型的描绘器。在一个或多个实施例中，操作者辅助模块可以用智能描绘器扩充特征310。例如，当作业机器和特征之间的关系改变时，描绘器可以改变312。在一个或多个实施例中，当接近特征时，描绘器可以变得更显著314。在一个或多个实施例中，当接近特征时，描绘器可以闪烁316或改变颜色318。在其它实施例中，例如，在铲斗阴影的情况下，描绘器可以改变尺寸320。还可以提供对描绘器的其他改变以提供智能或活动特征描绘器。此外，变化的轮廓可以反映除了接近环境中的特征之外的其他条件变化。即，例如，与周围环境的接合量例如所施加的力或压力的量可以用随着力或压力的增加或减少而改变的智能描绘器来描绘。

辅助作业机器的远程操作的本方法和相关联的操作方法可以在为远程操作者提供比另外可用的更高水平的可感知性方面是有利的。也就是说，特征描绘器和/或智能特征描绘器可以为操作者提供特征与作业机器或作业机器的零件的相对位置或接合量的更好感觉。因此，操作者可以具有更好的能力来适当地控制设备以更有效地和适当地执行机器操作以及避免损坏周围的设备、障碍或其他物品。

上述详细说明是说明性的，而不是限制性的。因此，本发明的范围应当参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。

Claims (15)

1.一种用于辅助作业机器的远程操作的系统，所述系统包括：

作业机器；

远程操作设备，其布置在作业机器上并且被配置为捕获关于作业机器的环境的信息并且将所述信息传输到远程控制站；

远程控制站，其被配置为显示作业机器的环境的图像；以及

操作者辅助模块，其被配置为用于用特征描绘器来扩充所述信息。

2.根据权利要求1所述的系统，其中所述特征描绘器通过用形状或符号覆盖所述特征来描绘所述信息的特征。

3.根据权利要求2所述的系统，其中所述特征描绘器是形状，并且所述形状遵循所述特征的轮廓。

4.根据权利要求2所述的系统，其中所述形状或符号是线。

5.根据权利要求2所述的系统，其中所述特征描绘器是随着所述作业机器和所述特征之间的关系改变而改变的智能特征描绘器。

6.根据权利要求5所述的系统，其中当所述作业机器接近另一个设备时，所述智能特征描绘器将颜色从绿色变为黄色，变为红色。

7.根据权利要求5所述的系统，其中所述智能特征描绘器包括被配置为识别所述作业机器的铲斗下方的地面的平面的形状。

8.根据权利要求7所述的系统，其中所述形状在所述铲斗相对高于所述地面时是大的并且在所述铲斗相对靠近所述地面时是小的。

9.根据权利要求5所述的系统，其中所述远程控制站还被配置为向所述远程操作设备发送控制信号以控制所述作业机器。

10.一种辅助作业机器的远程操作的方法，包括：

接收与作业机器的环境有关的图像和数据；

识别所述图像中的特征；以及

用描绘所述特征的特征描绘器来扩充所述图像。

11.根据权利要求10所述的方法，其中所述特征描绘器是形状或符号。

12.根据权利要求11所述的方法，其中所述形状是线。

13.根据权利要求12所述的方法，其中所述线覆盖所述特征。

14.根据权利要求11所述的方法，其中所述形状配置为识别所述作业机器下方的地面的平面。

15.根据权利要求10所述的方法，其中所述特征描绘器是随着所述特征和所述作业机器之间的关系改变而改变的智能特征描绘器。

Images