CN113874586B - 地面接合工具监控系统 - Google Patents

Abstract

电子控制器单元(126)包括存储器(508)，其包括用于识别地面接合工具(134)的计算机可执行指令(510)；以及处理器(506)，其耦合到存储器(508)并且经配置执行计算机可执行指令(510)，计算机可执行指令(510)在由处理器(506)执行时使得处理器(506)：确定安装在作业工具上的地面接合工具的尺寸(700)；将安装在作业工具上的地面接合工具的确定尺寸与安装在作业工具上的新的地面接合工具的理论尺寸进行比较(702)；以及计算确定尺寸和理论尺寸之间的差值(704)。

Description

地面接合工具监控系统

技术领域

本发明涉及使用作业工具来移动物体或操纵材料的诸如土方、采矿、建筑机器等的机器。更具体地，本发明涉及使用允许这种机器的操作员或控制系统检测地面接合工具是否磨损、损坏或丢失的地面接合工具监控系统的这种机器。

背景技术

机器通常用于土方、建筑、采矿和其它类似工业。这些机器用于各种目的，因此使用许多不同的作业工具。例如，液压采矿铲，诸如具有铲斗朝前的液压采矿铲(有时称为具有前铲的液压采矿铲，缩写为HMS-FS)可以使用具有地面接合工具(GET)的铲斗，用于穿透地面、铲起和保持地面、以及将地面移动到另一位置。在某些情况下，地面接合工具可能会磨损、损坏、或者在重复使用之后可能完全丢失。如果没有检测到，作业工具诸如铲斗的效率可能受到负面影响。

为了缓解这个问题，可以使用诸如摄像机等的传感器，其提供地面接合工具的视图，以警告操作员地面接合工具需要维护或更换。摄像机可以向机器的驾驶室发送照片，操作员可以观看该照片以检测该问题。

然而，通常只提供一个这种摄像机或其它传感器。因此，在某些情况下可能难以监控地面接合工具的条件。特别地，这种系统通常不足以将地面接合工具的磨损检测到期望的精度水平。

例如，McCain等人的美国专利第9,139,977 B2号公开了一种用于确定车辆上的机具的定向的系统。该系统包括安装到车辆的摄像机，以及在摄像机的视野内并且安装到机具的目标对象。目标对象包括能够确定机具相对于摄像机的定向的标记。因此，提供了一种确定机具在车辆上的定向的方法。同样地，提供了一种定向机具的系统。提供了安装机具定向系统的另一种方法。还提供了一种其上存储有计算机可执行指令的计算机可读介质。计算机可执行指令使处理器在执行时执行确定机具定向的方法。

类似地，Kawamoto等人的美国专利申请公开第2017/0094154 A1号公开了一种安装在驾驶室中的多摄像机监控系统，用于确定机器是否需要定位校正。一种图像拾取装置的校正系统，包括至少两个图像拾取装置和处理装置，其通过在至少两个图像拾取装置中将第一图像拾取装置和第二图像拾取装置之间的距离设置为常数来改变定义第二图像拾取装置的姿势的参数，搜索由第一图像拾取装置和第二图像拾取装置获得的一对图像之间的相应部分，并基于搜索结果获得参数。

可以看出，′977专利和′154公开的专利申请没有解决何时维修或更换GET。因此，期望开发一种地面接合工具监控系统，其提供确定GET是否丢失、损坏或磨损的更好的精度和可靠性，使得可以及时地维修或更换GET。

发明内容

根据本发明的实施例，提供了一种用于使用GET监控系统来监控机器的地面接合工具的条件的方法。该方法可以包括：使用从不同角度接收来自地面接合工具的信号的多个传感器来确定安装在作业工具上的地面接合工具的尺寸；将安装在作业工具上的地面接合工具的确定尺寸与地面接合工具的理论上可接受的尺寸进行比较；以及计算确定尺寸和理论尺寸之间的差值。

根据本发明的实施例，提供了一种用于监控安装在作业工具上的地面接合工具的条件的GET监控系统。该系统可以包括多个传感器，其经配置用于从至少两个不同角度对安装在作业工具上的地面接合工具进行测量；以及耦合到所述多个传感器的电子控制器单元，其中电子控制器单元经配置：确定安装在作业工具上的地面接合工具的尺寸；将安装在作业工具上的地面接合工具的确定尺寸与安装在作业工具上的新的地面接合工具的理论尺寸进行比较；以及计算确定尺寸与理论尺寸之间的差值。

根据本发明的实施例，提供了一种机器的电子控制器单元(ECU)。该ECU可以包括存储器，该存储器包括用于识别地面接合工具的计算机可执行指令；以及耦合到存储器并且经配置执行计算机可执行指令的处理器，计算机可执行指令在由处理器执行时使处理器：确定安装在作业工具上的地面接合工具的尺寸；将安装在作业工具上的地面接合工具的确定尺寸与安装在作业工具上的新的地面接合工具的理论尺寸进行比较；以及计算确定尺寸与理论尺寸之间的差值。

附图说明

结合在本说明书中并且构成其一部分的附图示出了本发明的若干实施例，并且与说明书一起用于解释本发明的原理。在附图中：

图1是根据本发明的实施例的使用GET监控系统的机器的透视图，该GET监控系统具有多个传感器(诸如摄像机)以检测GET磨损、损坏和存在。

图2示出了图1的机器的驾驶室的内部，其包括用作图1的GET监控系统的一部分的监控器。

图3是图3的监控器的放大前视图，其中示出了图1的机器的铲斗及其地面接合工具的图像。

图4是由图1的GET监控系统监控的铲斗和八个地面接合工具(例如尖端)以及它们的相关宽度和从铲斗突出的距离的前向透视图。

图5示出了图4的地面接合工具和插在它们之间的护罩的两个最左边的实例，所有这些实例具有由GET监控系统监控的尺寸。

图6基本上与图5相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧。

图7基本上与图6相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧。

图8基本上与图7相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧，因此示出了两个尖端位于铲斗中心线的任一侧。

图9基本上与图8相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧。

图10基本上与图9相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧。

图11基本上与图10相同，除了被监控的铲斗的区域已经被一个尖端移动到图4中的右侧，因此示出了铲斗的两个最右边的尖端。

图12示出了根据本发明的实施例的GET监控系统如何可以将图4的铲斗的齿从铲斗下方瞄准。

图13示出了根据本发明的另一个实施例的GET监控系统可以如何使用GET的动作的动态线以减少无关图像的解释。

图14包含根据本发明的实施例的图1的机器的GET监控系统的示意性框图。

图15是描述根据本发明的实施例的使用GET监控系统的方法的流程图。

图16包含示出如何配置图14的GET监控系统的电子控制器单元的示意性框图。

图17包含描述处理器如何执行可以由图14的GET监控系统使用的一组计算机可执行指令的示意性框图。

图18示出了作业工具诸如铲斗及其相关联的地面接合工具的许多轮廓中的一些轮廓，其可以使用本文公开的工具监控系统和方法的不同实施例来监控。

图19包括诸如铲斗的作业工具的示意性轮廓，该作业工具包括其地面接合工具，示出了操作员或系统可被警告的各种磨损水平。这些不同的磨损水平可以被预编程到本文公开的工具监控系统和方法的不同实施例中。

图20描述了通过触摸屏、鼠标操纵的光标箭头等的操作员输入的使用，以输入诸如铲斗及其各种地面接合工具的作业工具的形状以及操作员或系统可被警告的各种磨损水平。

图21示出了机器学习如何可以与工具监控系统的不同实施例一起使用来确定作业工具的裸露形状，该作业工具诸如是铲斗，附接有新的地面接合工具的铲斗，以及具有被指定用于更换的磨损的地面接合工具的铲斗。

图22包含用于监控地面接合工具的条件的方法的另一实施例的流程图，其中由传感器感测的数据(诸如由摄像机捕获的图像)可以针对质量进行分级。

图23是诸如反铲挖土机等的机器的视图，其包括其它类型的作业工具，包括松土器或松土机等，其中地面接合工具在地面中。

图24示出了图23的机器，除了地面接合工具已经升高，使得地面接合工具不再位于地面中，从而允许更容易地监控地面接合工具的条件。

图25是具有刀片的推土机的视图，其具有使用本文公开的各种系统和方法监控的地面接合工具。

图26示出了诸如反铲挖土机的机器的各种实施例如何可以结合连杆传感器以提供数据用于本文公开的地面接合工具监控系统和方法的各种实施例中使用。

图27公开了传感器、作业工具(诸如铲斗)和控制铲斗移动的连杆与作业工具在水平或水平方向上定位的示例。在这种情况下，诸如摄像机的传感器可以跳过作业工具和地面接合工具的图像，用于分级图像的质量。

图28公开了传感器、作业工具(诸如铲斗)和控制铲斗移动的连杆处于提升移动中的示例。在这种情况下，诸如摄像机的传感器可以跳过作业工具和地面接合工具的图像，用于分级图像的质量。

图29公开了传感器、作业工具(诸如铲斗)和控制铲斗移动的连杆处于升高的倾倒移动中的示例。在这种情况下，诸如摄像机的传感器可以跳过作业工具和地面接合工具的图像，用于分级图像的质量。

图30是描述根据本发明的另一实施例的使用GET监控系统的方法的流程图。

图31包含说明如何配置图14的GET监控系统的电子控制器单元的示意性框图。

图32包含描述处理器如何执行可以由图14的GET监控系统使用的一组计算机可执行指令的示意性框图。

具体实施方式

现在将详细参考本发明的实施例，其示例在附图中示出。只要可能，在所有附图中使用相同的附图标记来表示相同或相似的零件。在一些情况下，附图标记将在本说明书中指示，且附图将示出附图标记后跟字母(例如，100a、100b)或撇号(例如，100′、100″等)。应当了解，在附图标记后立即使用字母或撇号指示这些特征具有类似形状且具有类似功能，如几何形状关于对称平面成镜像时的情况。为了便于在本说明书中解释，字母和撇号通常不包括在本文中，而是可以在附图中示出，以指示在本书面说明书中讨论的具有相似或相同功能或几何形状的特征的重复。

在各种实施例中，可以提供一种用于提供地面接合工具(GET)监控系统的方法、GET监控系统本身、以及经配置实施该方法或与该GET监控系统一起使用的电子控制器单元，并且现在将对其进行描述。

图1示出了根据本发明的实施例的在装置100上使用的GET监控系统200。装置100在示例性作业环境中包括机器102和作业工具104。应当理解，图1所示的作业工具视觉系统200可以包括或与之一起使用的多种机器(例如推土机、反铲挖土机、液压采矿铲、轮式装载机、电动绳铲等)、多个或多种作业工具(例如铲斗、耙子、剪刀、刀片、松土器、压实机、切碎机、轮尖端、履带板尖端、松土机等)以及机器102(即，HMS-FS 102′)和作业工具104(即，铲斗104′)仅作为示例而非限制。此外，作业工具视觉系统200可以包括附加部件，包括但不限于与机器102通信的基站、与机器102通信的卫星系统、与机器102通信的无人机等，以辅助识别和监控地面接合工具134的条件。

机器102可以是可移动的机器或具有可移动零件的固定机器。在这方面，术语″可移动的″可以指的是机器102或其一部分沿着线性笛卡尔轴和/或沿着角坐标、圆柱坐标或螺旋坐标和/或其组合的移动。机器102的这种移动在时间上可以是连续的或离散的。例如，机器102和/或机器102的一部分可以经历线性移动、角移动或两者。这种线性和角移动可以包括加速度、绕轴线的旋转或两者。仅作为示例而非限制，机器102可以是反铲挖土机、挖掘机、摊铺机、推土机、滑动转向装载机(SSL)、多地形装载机(MTL)、小型履带式装载机(CTL)、小型轮式装载机(CWL)、收割机、割草机、钻机、锤头、轮船、小船、机车、汽车、拖拉机、液压采矿铲、电动绳铲或作业工具104可附接到其上的其它机器。

本文使用的术语″地面接合工具″应被广义地解释并且包括尖端、齿、护罩或护罩保护器等。

在图1所示的示例中，机器102是HMS-FS 102′，并且包括机器部件108(例如吊杆108′、杆108″)、传感器110、操作员驾驶室112和包括轨道116的底架114。吊杆108′和杆108″附接到作业工具104并形成接头106，使得作业工具104可以上下移动。如图2最佳示出的，操作员驾驶室112包括输出设备132以及其它部件。在图3中，示出了输出设备132可以采取监控器132′的形式，其向操作员显示一个或多个地面接合工具134。操作员驾驶室112可以具有合适的尺寸以容纳操作人员。可替代地，机器102可以从基站远程控制，在这种情况下，操作员驾驶室112可以更小。还可以提供转向系统124(在图14中示意性地示出)，其可以采取转向盘或操纵杆或其它控制机构的形式，以引导机器102或其零件的移动。此外，操作员驾驶室112可以包括杠杆、旋钮、刻度盘、显示器、光、报警器等，以便于机器102的操作。杠杆、旋钮和刻度盘可以是输入设备的示例，而显示器、光和报警器可以是输出设备的示例，这将在后面讨论。

继续参考图14，机器102包括电子控制器单元126和机器控制系统130。机器102可以包括耦合到机器控制系统130的其它部件，诸如传输系统、发动机、马达、动力系统、液压系统、悬架系统、冷却系统、燃料系统、排气系统、锚固系统、推进系统、包括天线的通信系统、全球定位系统(GPS)等(未示出)。

再参考图1，机器部件108可以是包括液压缸和机械连杆的吊杆108′，并且多个传感器110可以安装在吊杆108′上靠近接头106(或者可以安装在杆108″等上)。机器部件108可以是可延伸的、可扩展的、可收缩的、可旋转的和可径向或轴向平移的，或者可以由机器102移动以移动作业工具104。例如，机器部件108的高度和倾斜度可以是可变的，以便于升高和降低作业工具104。机器部件108可以经配置接收来自机器102的所需动力以使用作业工具104在示例性工地中执行各种操作(例如，挖掘地面)。

在本发明的一个实施例中，多个传感器110可以是多个摄像机110′。仅作为示例而非限制，传感器110可以是单目摄像机、立体摄像机、红外摄像机、高分辨率摄像机、一种或多种类型的摄像机的阵列、光声传感器、雷达、基于激光的成像传感器等，或其组合，其经配置辅助识别和监控地面接合工具134。当使用摄像机时，也可以提供为该摄像机提供照明的光。传感器的其它示例包括诸如2D或3D测量型摄像机的环境光摄像机、具有集成图像处理能力的摄像机、中等分辨率摄像机和标准分辨率摄像机。可以选择传感器，使得可以通过在图像中提供足够的像素以获得足够小的分辨率来执行在具有地面接合脚的大尺寸铲斗的整个范围上的有效监控，以区分作业工具的任何部件或部分或相关GET(几分之一英寸)的尺寸变化的小增量。换言之，与现有系统相比，本文讨论的系统的任何实施例可以具有改进的精度。作业工具104可以通过附接耦合器(未示出)附接到机器102，例如附接到机器部件108的端部部分处的连杆(例如杆108″)。仅作为示例而非限制，作业工具104可以是用于土方的铲斗104′(如图1所示)、用于提升托盘的叉(未示出)、收割机附件、钻头、锤头、压实机头或可附接到机器102的任何其它类型的机具。在这方面，机器102可以经配置不仅可以附接到一种类型的作业工具104，而且可以附接到不同类型的作业工具104，以及可以同时附接到多个作业工具、地面接合工具134、不同类型的地面接合工具134等。

继续参考图1，根据所使用的作业工具104的类型，机器102可以经配置以专用于作业工具104的类型的输出模式操作。机器102的输出模式由适当的电力和机械参数指定，用于当作业工具104附接到机器部件108时作业工具104的操作。例如，铲斗的输出模式在传递到作业工具104的输出功率方面不同于叉的输出模式。如果选择了不正确的输出模式，或者如果当作业工具104附接到机器部件108时手动操作员没有选择输出模式，则机器102可能不能正确地执行或不执行机器102所部署的作业。

此外，根据作业工具104的类型，附接耦合器可以是附接销、闩锁、钩、球/承窝接头或使作业工具104能够耦合到机器102的机器部件108的其它类型的附接部件。在一方面，作业工具104可以是固定的。在另一方面，作业工具104可以朝向机器102移动或可移动。例如，另一机器(未示出)可以用于推动作业工具104以匹配机器102和/或机器部件108的移动。而且，如将在下面进一步详细解释的，使用输入设备136(参见图2)，诸如可以采取按钮、HMI(人机界面)或GUI(图形用户界面)等形式的控制器，可以选择所使用的作业工具的类型，改变GET监控系统200在何处或如何查看，同时监控地面接合工具134的条件。

在如图14所示的本发明的一些实施例中，机器控制系统130可以包括由电子控制器单元126基于从电子控制器单元126到机器控制系统130的输出信号控制的各种液压和电力系统。机器控制系统130可以包括或可以耦合到转向系统124，其经配置引导机器102和/或机器部件108的移动。在另一方面，机器控制系统130或其一部分可以远离机器102定位，例如在与机器102物理分离的基站中。在这种情况下，机器控制系统130可以具有与电子控制器单元126的直接或间接通信链路，以控制机器102安装或移动作业工具104。在其它实施例中可以省略机器控制系统和转向系统之间的各种操作通信。

继续参考图14，现在将讨论用于监控安装在作业工具104上的地面接合工具134的条件的GET监控系统200。系统200可以包括多个传感器110，其经配置从至少两个不同角度202、202′对安装在作业工具104上的地面接合工具134进行测量；以及耦合到多个传感器110的电子控制器单元126。电子控制器单元126可以经配置确定安装在作业工具104上的地面接合工具的尺寸204(也参见图4至图11)，将安装在作业工具上的地面接合工具134的确定尺寸204与安装在作业工具104上的新的地面接合工具134的理论尺寸206进行比较，并且计算确定尺寸204与理论尺寸206之间的差值。

而且，如图14中经由GET监控系统200的示意图所示，电子控制器单元126耦合到传感器110、机器控制系统130、输出设备132、转向系统124和输入设备136以及机器102的其它部件(未示出)。

仍然参考图14，电子控制器单元126可以进一步经配置存储安装在作业工具104上的新的地面接合工具134的数据模板208。此外，电子控制器单元126可以经配置将确定尺寸204和理论尺寸206之间的差值与阈值进行比较。如果差值低于阈值，则电子控制器单元126可以经配置用于产生地面接合工具134需要在某个期望的时间间隔内被维护的警告，如果差值高于阈值，则电子控制器单元126可以经配置用于产生地面接合工具134损坏或丢失，需要立即维护的警告。

多个传感器110可以包括从两个不同有利位置210拍摄安装在作业工具104上的地面接合工具134的图像的至少两个摄像机110′。

回顾图1，系统200可以进一步包括HMS-FS 102′，其包括吊杆和杆接头106，并且多个摄像机110′可以安装在吊杆和杆接头106的顶部上，并且可以经定向从多个角度202、202′对地面接合工具134的相对磨损进行测量，并且向操作员提供关于何时执行维护的反馈。

参考图2、3和14，系统200可以进一步包括与电子控制器单元126通信的输出设备132。电子控制器单元126可以进一步经配置向输出设备132发送信号，该信号显示安装在作业工具104上的地面接合工具134的图像。

电子控制器单元126可以进一步经配置存储用于各种地面接合工具134的数据模板208的数据库212，并且将各种地面接合工具的确定尺寸204与一个或多个数据模板208进行比较。

如图1和14中最佳示出的，多个摄像机110′经放置与多个地面接合工具134相距固定距离214，提供各个地面接合工具134的多个有利位置210，给予电子控制器单元126足够的3D信息以确定各个地面接合工具134之间的相对磨损。

现在参见图1和12，至少两个摄像机110′可以经配置用于观察作业工具104的底部，以及多个地面接合工具134。如图13和14所示，电子控制器单元126可以经配置跟踪地面接合工具134的动作218的动态线以减少无关图像的解释，或解释在白天、夜晚、有雪时、有雨时、有泥时、有冰时、或作业工具104正在移动时是否拍摄图像。

再次参考图14，电子控制器单元126包括例如通过内部总线(未示出)彼此耦合的输入-输出端口504、处理器506和存储器508。电子控制器单元126可以包括本领域普通技术人员已知的附加部件，这些部件未在图14中明确示出。例如，电子控制器单元126可以包括可编程逻辑电路(PLC)、定时器/时钟电路、散热器、视觉指示器(例如，发光二极管)、阻抗匹配电路、内部总线、协处理器或监控器处理器、电池和电源单元、功率控制器芯片、收发器、无线模块、卫星通信处理模块，以及各种集成芯片上的嵌入式系统。在一个实施例中，电子控制器单元126可以与发动机控制器单元(未示出)分离。在可替代实施例中，电子控制器单元126可以与发动机控制器单元集成或可以与发动机控制器单元共享空间和处理资源。

输入-输出端口504可以是单个端口或端口的集合。输入-输出端口504经配置发送和接收来自机器102的其它零件的各种输入和数据，并将这些输入和数据转发到处理器506。在一方面，输入-输出端口504可以是两个分离的端口，一个经配置接收来自机器102的各个零件(例如，传感器110等)的各种输入信号，而另一个经配置输出用于显示(例如，在输出设备132上)或用于机器102的控制(例如，到机器控制系统130)的信号。可替代地，输入和输出的功能可以集成到如图14中的输入-输出端口504所示的单个端口中。

在一方面，处理器506是诸如集成电路(IC)芯片的硬件设备，其经制造以实现本文所讨论的实施例的各种特征和功能。仅作为示例而非限制，可以使用互补金属氧化物半导体(CMOS)制造技术来制造处理器506。在一个实施例中，处理器506可以实现为专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SOC)等。在另一实施例中，处理器506可以包括诸如封装、输入和输出引脚、散热器、信号调节电路、输入设备、输出设备、处理器存储器部件、冷却系统、电力系统等部件，其未在图14中示出。在一个特定实施例中，处理器506经配置通过执行存储器508中的计算机可执行指令510来执行图15所示的方法800的各个部分。在又一实施例中，处理器506可以是例如布置为处理阵列的多个处理器。

存储器508可以被实现为非瞬态计算机可读介质。仅作为示例，存储器508可以是基于半导体的存储器设备，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、动态RAM、可编程ROM、电可擦除可编程ROM(EEPROM)、静态RAM、闪存，其组合或本领域普通技术人员已知的其它类型的存储器设备。在一个实施例中，存储器508经由通信和信号总线直接耦合到处理器506。在一个实施例中，存储器508可以由其上驻留有计算机可执行指令510的非瞬态计算机可读存储介质构成或使用其来实现。计算机可执行指令510在由处理器506执行时使处理器506执行本发明的各方面的特征和功能。这种非瞬态计算机可读存储介质可以包括半导体存储器、光存储器、磁存储器、单或双稳态电路(触发器等)等，或其组合。这种非瞬态计算机可读存储介质不包括瞬态信号。

计算机可执行指令510可以由处理器506使用高级或低级编译器和编程语言(例如，C++)来执行。在一个实施例中，计算机可执行指令510可以由基站远程执行，并且这种执行的结果被提供给用于控制作业工具视觉系统的处理器506。在这方面，应当理解，计算机可执行指令510在存储器508内的具体位置仅作为示例而非限制。

在一些实施例中，存储器508包括或耦合到数据库212。数据库212可以包括多个地面接合工具134的图像。这些图像被保存为数据库212中的图像文件和计算机化模型的库。这种模型或模板图像可以包括可附接到机器102的多个地面接合工具134的三维和二维视图。数据库212中的每个这样的图像或模型还可以包括与地面接合工具和/或作业工具相关联的一个或多个尺寸，包括地面接合工具从作业工具延伸的距离、地面接合工具的宽度、地面接合工具的高度等。

应当理解，由摄像机拍摄的三维和二维视图是在输出设备132上输出的机器102在操作中的两个视觉示例，但是输出设备132可以基于处理器修改的来自传感器110的输入信号(包括输入信号518)，在逐帧的基础上连续地显示由处理器506提供给输出设备132的多个三维场景。在一方面，可以在远程基站(未示出)中的机器102的远程操作员的显示器上提供图像作为其中部署了机器102和作业工具104的作业场景的实时视频。当用于识别和监控地面接合工具134的移动或条件时，机器102的作业环境的这种逐帧表示。在其它应用中，输出设备132可以位于机器102的驾驶室112中，如图1所示，其中操作员可以直接看到地面接合工具的条件。

回顾图14，同时还参见图31，现在将讨论用于监控安装在作业工具104上的地面接合工具134的条件的GET监控系统200′的另一个实施例。系统200′可以包括至少一个传感器216和电子控制器单元126′，传感器216经配置监控作业工具104或地面接合工具134(也参见图26)的位置或定向；电子控制器单元126′耦合到至少一个传感器216。

电子控制器单元126′可以经配置用于获取地面接合工具134的图像(参见图31中的框900)，使用一种算法来评估图像，其将所获取的图像与现有图像的数据库进行比较以确定地面接合工具134的损坏量、磨损量、或缺失(参见图31中的框902)，并且对所获取的图像的质量进行分级以确定所获取的图像的质量是差的还是可接受的，除非确定存在某些条件(参见图31中的框904)。电子控制器单元126′可以进一步经配置通过执行以下各项中的至少一项来调整分级算法：如果所获取的图像的质量被确定为差的，则改进滤波器大小或分辨率、增加图像的视区、减小图像的视区、以及移位图像的视区(参见图31中的框906)。

继续参考图31，电子控制器单元126′可以经配置如果确定所获取的图像是可接受的，则向用户传达所获取的图像的质量是可接受的(参见框908)。这可以通过输出设备131来完成，如本文前面所讨论的。

至少一个传感器216可以经配置用于确定以下变量中的至少一个：铲斗高度、铲斗倾斜角、连杆位置、连杆倾斜角、液压缸延伸部的长度、施加在液压缸上的力、连杆张力、缸控制、驱动力、车轮或履带速度、以及转向位置或控制(参见框910)。

电子控制器单元可以经配置警告用户或系统：由于磨损、由于GET损坏、或由于GET缺失，GET或作业工具准备好维修(参见框912)。

如果通过确定以下各项中的至少一项的位置或定向满足某些条件，则电子控制器单元还可以经配置省略对所获取的图像的质量进行分级：作业工具、GET和控制作业工具或GET的位置的连杆(参见框914)。

GET监控系统200′可以进一步包括耦合到电子控制器单元126′的输入设备136，并且电子控制器单元126′可以经配置允许用户输入作业工具或GET的形状、需要维护的作业工具或GET的磨损水平、调整作业工具的轮廓、地面接合工具的数量、护罩的数量、或护罩的条件(参见框916，也参见图20)。

电子控制器单元可以经配置使用机器学习来确定以下各项中的至少一项：作业工具的裸露形状、具有附接到作业工具的新的地面接合工具的作业工具的形状、需要维护的磨损的作业工具的形状，以及需要维护的磨损的GET的形状(参见图31的框918，也参见图21)。

工业实用性

实际上，根据本文描述、示出或讨论的任何实施例的GET监控系统、电子控制器单元或方法可以在售后市场或OEM环境中出售、购买、制造、再制造、改装、组装或以其它方式获得。类似地，当机器是新的或当机器用这些实施例中的任一个改装时，可以提供使用根据本文所述的任何实施例的这种GET监控系统、电子控制器单元或方法的机器。

回顾图14，同时参考图16，用于监控地面接合工具134的移动或条件的GET监控系统200可以如下提供。系统200可以包括：多个传感器110，其经配置从至少两个不同角度202、202′对安装在作业工具104上的地面接合工具134进行测量；以及电子控制器单元126，其耦合到多个传感器110。

电子控制器单元126可以经配置：

确定安装在作业工具上的地面接合工具的尺寸(参见图16，框600)；

将安装在作业工具上的地面接合工具的确定尺寸与安装在作业工具上的新的地面接合工具的理论尺寸进行比较(框602)；以及

计算确定尺寸和理论尺寸之间的差值(框604)。

在进一步的实施例中，电子控制器单元126可以进一步经配置存储安装在作业工具204上的新的地面接合工具134的数据模板208(框606)。在这种情况下，电子控制器单元126可以进一步经配置存储用于各种地面接合工具134的数据模板的数据库，并且将各种地面接合工具的确定尺寸与一个或多个数据模板进行比较(框608)。

在一些实施例中，电子控制器单元126可以经配置用于将确定尺寸204与理论尺寸206之间的差值与阈值进行比较，如果差值低于阈值，则电子控制器单元126可以经配置产生地面接合工具134需要维修的警告，如果差值高于阈值，则电子控制器单元126可以经配置产生地面接合工具134损坏或丢失的警告，从而需要立即维护(框610)。可以存在低于第一阈值的第二阈值。在这种情况下，如果差值低于第二阈值，则不会产生警告。

在更进一步的实施例中，输出设备132可以与电子控制器单元126通信，并且电子控制器单元126可以进一步经配置向输出设备132发送信号，其显示安装在作业工具204上的地面接合工具134的图像(框612)。

在又进一步的实施例中，电子控制器单元126可以经配置跟踪地面接合工具134的动作218的动态线以减少无关图像的解释，或解释在白天、夜晚、有雪时、有雨时、有泥时、有冰时、或作业工具204正在移动时是否拍摄图像(框614)。

在某些实施例中，如图14和图17所示，机器102的电子控制器单元126可以包括：

存储器508，其包括用于识别地面接合工具134的计算机可执行指令510；以及

处理器506，其耦合到存储器508并且经配置执行计算机可执行指令510，计算机可执行指令510在由处理器506执行时使得处理器506：

确定安装在作业工具上的地面接合工具的尺寸(参见图17，框700)；

将安装在作业工具上的地面接合工具的确定尺寸与安装在作业工具上的新的地面接合工具的理论尺寸进行比较(框702)；以及

计算确定尺寸和理论尺寸之间的差值(框704)。

存储器508可以包括与地面接合工具134的确定尺寸204相匹配的阈值，并且处理器506可以经配置比较阈值与预定尺寸的确定测量值与理论尺寸206之间的计算出的差值之间的差值，并且基于所计算出的差值是小于还是大于阈值来发出警告(框706)。

现在将参见图14和32讨论用于电子控制器单元126′的本发明的又一实施例。电子控制器单元126′可以包括存储器508和处理器506，存储器508包括用于监控地面接合工具134的条件的计算机可执行指令510；处理器506耦合到存储器508并且经配置执行计算机可执行指令510，计算机可执行指令510在由处理器506执行时使得处理器506：

获取地面接合工具的图像(参见图32的框1000)；

使用一种算法来评估图像，其将所获取的图像与现有图像的数据库进行比较以确定地面接合工具的损坏、磨损量或缺失(参见框1002)；以及

对所获取的图像的质量进行分级，以确定所获取的图像的质量是差的还是可接受的，除非确定存在某些条件(参见框1004)。

此外，计算机可执行指令510在由处理器506执行时使得处理器506通过执行以下各项中的至少一项来调整分级算法：当所获取的图像的质量被确定为差的时，改进滤波器大小或分辨率，增大图像的视区，减小图像的视区，以及移位图像的视区(参见框1006)。

在一些实施例中，计算机可执行指令在由过程执行时使得处理器基于地面接合工具的位置或定向来确定满足某些条件(参见框1008)。

现在聚焦于图15，用于监控地面接合工具的条件的方法800可以描述如下。方法800可以包括：

使用从不同角度接收来自地面接合工具的信号的多个传感器来确定安装在作业工具上的地面接合工具的尺寸(步骤802)；

将安装在作业工具上的地面接合工具的确定尺寸与地面接合工具的理论上可接受的尺寸进行比较(步骤804)；以及

计算确定尺寸和理论尺寸之间的差值(步骤806)。

在一些实施例中，通过将地面接合工具的图像与新的地面接合工具的模板图像进行比较来确定理论尺寸(步骤808)。

在其它实施例中，方法800可以进一步包括将确定尺寸和理论尺寸之间的差值与阈值进行比较(步骤810)。

方法800可以进一步包括：如果差值低于阈值，则产生需要维修地面接合工具的警告(步骤812)。

可替代地，方法800可以进一步包括：如果差值高于阈值，则产生需要更换地面接合工具的警告(步骤814)。

方法800可以进一步包括跟踪地面接合工具的动作的动态线以减少无关图像的解释(步骤816)。

方法800进一步包括确定是在白天还是夜晚拍摄图像(步骤818)。

而且，方法800进一步包括确定是否在恶劣天气期间拍摄图像(步骤820)。

在又一实施例中，方法800可以进一步包括确定当地面接合工具被泥、尘土、沙子或冰等覆盖时是否拍摄图像(步骤822)。

可以根据应用选择某些变量以获得GET监控系统的期望结果。例如，可以以毫米为单位测量GET的磨损尺寸，可以选择某些摄像机规格和它们相对于地面接合工具的相对布置，可以选择从摄像机到GET的距离，可以根据应用改变摄像机视场(例如，可以期望宽视场)，可以确定充满GET的视图的屏幕的期望％，可以选择摄像机和监控器分辨率，以及可以修改铲斗覆盖的摄像机区域等。

现在参考图22和30，现在将讨论根据本发明的另一实施例的方法1100。

用于使用GET监控系统来监控附接到机器的作业工具上的地面接合工具的条件的方法1100可以包括：

获取地面接合工具的图像(步骤1102)，

使用一种算法来评估该图像，该算法将所获取的图像与现有图像的数据库进行比较以确定地面接合工具的存在、磨损量或缺失(步骤1104)，以及

对所获取的图像的质量进行分级以确定所获取的图像的质量是差的还是可接受的(步骤1106)。

所获取的图像的质量可以被确定为差的。如果是，则方法1100可以进一步包括通过执行以下各项中的至少一项来调整分级算法：改进滤波器大小或分辨率、增加图像的视区、减小图像的视区、以及移位图像的视区(步骤1108)。

在其它情况下，所获取的图像的质量可以被确定为是可接受的。如果是，则方法1100可以进一步包括向用户或系统传达所获取的图像的质量是可接受的(步骤1110)和/或警告用户或系统由于磨损、由于GET损坏、或GET缺失而使得GET准备好维修(步骤1112)。

在一些情况下，方法1100可以进一步包括在确定是否存在某些条件之后省略对所获取图像的质量进行分级(步骤1114)。

例如，确定是否满足某些条件可以包括使用至少一个传感器来确定作业工具、地面接合工具或控制作业工具或地面接合工具的位置的连杆的位置(步骤1116)。更具体地，在一些情况下，确定作业工具、地面接合工具或连杆的位置可以包括评估以下变量中的至少一个：铲斗高度、铲斗倾斜角、连杆位置、连杆倾斜角、液压缸延伸部的长度、施加在液压缸上的力、连杆张力、缸控制、驱动力、车轮或履带速度、以及转向位置或控制(步骤1118)。

应当理解，前面的描述提供了所公开的组件和技术的示例。然而，可以设想，本发明的其它实现方式可以在细节上不同于前面示例。对本发明或其示例的所有引用旨在引用在该点处讨论的特定示例，并且不旨在暗示对更一般地本发明的范围的任何限制。关于某些特征的区别和贬低的所有语言旨在表示缺乏对这些特征的偏好，但除非另外指明，否则并不完全将其从本发明的范围中排除。

除非本文中另有说明，否则本文中数值范围的叙述仅旨在用作单独提及落在该范围内的每个单独值的速记方法，并且每个单独值并入说明书中，如同其在本文中单独叙述一样。

对于本领域技术人员显而易见的是，在不脱离本发明的范围或精神的情况下，可以对本文所讨论的装置和组装方法的实施例进行各种修改和变化。考虑到本文公开的各种实施方案的说明书和实践，本发明的其它实施例对于本领域技术人员将是显而易见的。例如，一些设备的构造和功能可以与本文描述的不同，并且任何方法的某些步骤可以被省略，以与具体提到的顺序不同的顺序执行，或者在一些情况下同时或以子步骤执行。此外，可以对各种实施例的某些方面或特征作出变化或修改以产生其它实施例，且各种实施例的特征和方面可以添加到其它实施例的其它特征或方面或替代其它实施例的其它特征或方面，以便提供其它实施例。

因此，本发明包括适用法律所允许的所附权利要求中主题的所有修改和等同物。而且，除非本文另有说明或与上下文明显矛盾，否则上述要素在其所有可能变化中的任何组合都被本发明涵盖。

Claims (10)

1.一种用于监控安装在作业工具(104)上的地面接合工具(134)的条件的GET监控系统(200)，所述系统(200)包括：

多个传感器(110)，其经配置从至少两个不同角度(202，202’)对安装在作业工具(104)上的地面接合工具(134)进行测量；以及

电子控制器单元(126)，其耦合到所述多个传感器(110)，其中所述电子控制器单元(126)经配置：

确定安装在作业工具上的地面接合工具的尺寸(600)；

将安装在作业工具上的所述地面接合工具的确定尺寸与安装在所述作业工具上的新的地面接合工具的理论尺寸进行比较(602)；以及

计算所述确定尺寸和所述理论尺寸之间的差值(604)；

并且，所述电子控制器单元(126)还经配置用于跟踪所述地面接合工具的动作的动态线以减少无关图像的解释，或解释在白天、夜晚、有雪时、有雨时、有泥时、有冰时、或所述作业工具正在移动时是否拍摄图像(614)。

2.根据权利要求1所述的GET监控系统(200)，其中所述电子控制器单元(126)进一步经配置存储安装在所述作业工具上的新的地面接合工具的数据模板(606)。

3.根据权利要求1所述的GET监控系统(200)，其中所述电子控制器单元(126)经配置用于将所述确定尺寸与所述理论尺寸之间的所述差值与阈值进行比较，如果所述差值低于所述阈值，则所述电子控制器单元经配置产生所述地面结合工具需要维修的警告，如果所述差值高于所述阈值，则所述电子控制器单元经配置产生所述地面接合工具损坏或丢失、需要立即维护的警告(610)。

4.根据权利要求1所述的GET监控系统(200)，其中所述多个传感器(110)包括从两个不同有利位置(210)拍摄安装在所述作业工具(104)上的所述地面接合工具(134)的图像的至少两个摄像机(110’)，并且进一步包括HMS-FS(102’)，其包括吊杆和杆接头(106)，并且多个摄像机(110’)被安装在所述吊杆和杆接头(106)的顶部上并且被定向成从多个角度(202，202’)对所述地面接合工具(134)的相对磨损进行测量并且向操作员提供关于何时执行维护的反馈。

5.根据权利要求4所述的GET监控系统(200)，进一步包括与所述电子控制器单元(126)通信的输出设备(132)，并且所述电子控制器单元(126)进一步经配置向所述输出设备发送信号，其显示安装在所述作业工具上的所述地面接合工具的图像(612)。

6.根据权利要求3所述的GET监控系统(200)，其中所述电子控制器单元(126)进一步经配置存储用于各种地面接合工具的数据模板的数据库，并且将各种地面接合工具的所述确定尺寸与一个或多个数据模板进行比较。

7.根据权利要求4所述的GET监控系统(200)，进一步包括多个地面接合工具(134)，并且其中所述多个摄像机(110’)经放置与所述多个地面接合工具(134)相距固定距离(214)，提供各个地面接合工具(134)的多个有利位置(210)，给予所述电子控制器单元3D信息以确定所述各个地面接合工具(134)之间的所述相对磨损。

8.根据权利要求4所述的GET监控系统(200)，进一步包括作业工具(104)和从所述作业工具(104)延伸的多个地面接合工具(134)，并且其中至少两个摄像机(110’)经配置用于观察所述作业工具(104)和所述多个地面接合工具(134)的底部。

9.一种机器(100)的电子控制器单元(126)，包括：

存储器(508)，其包括用于识别地面接合工具(134)的计算机可执行指令(510)；以及

处理器(506)，其耦合到所述存储器(508)并且经配置以执行所述计算机可执行指令(510)，所述计算机可执行指令(510)在由所述处理器(506)执行时使得所述处理器(506)：

基于来自多个传感器的输入确定安装在作业工具上的地面接合工具的尺寸(700)，所述多个传感器经配置从至少两个不同角度对安装在作业工具上的地面接合工具进行测量；

将安装在作业工具上的所述地面接合工具的确定尺寸与安装在所述作业工具上的新的地面接合工具的理论尺寸进行比较(702)；以及

计算所述确定尺寸和所述理论尺寸之间的差值(704)；

并且，所述电子控制器单元(126)还经配置用于跟踪所述地面接合工具的动作的动态线以减少无关图像的解释，或解释在白天、夜晚、有雪时、有雨时、有泥时、有冰时、或所述作业工具正在移动时是否拍摄图像(614)。

10.根据权利要求9所述的电子控制器单元(126)，其中所述存储器(508)包括与所述地面接合工具(134)的所述确定尺寸匹配的阈值，并且所述处理器(506)经配置比较所述阈值与预定尺寸的确定测量(204)和所述理论尺寸(206)之间的计算差值之间的所述差值，并且基于所述计算差值是否小于或大于所述阈值发出警告(706)。