CN113891975A - 地面接合工具监测系统 - Google Patents

Abstract

一种用于工作设备的工具的监测系统和方法，该工作设备优选为包括磨损构件(如挖掘机铲斗)的地面接合工具，该系统/方法包括安装在该工作设备上并且指向该工具的一个或多个传感器以及处理器，该处理器被配置成：从所述一个或多个传感器接收与所述工具相关的数据，使用所接收的数据生成所述工具的至少一部分的三维表示，将所生成的三维表示与先前生成的三维表示进行比较，并且使用所生成的三维表示与先前生成的三维表示的比较来识别所述工具的至少一部分(优选地为磨损构件部分)的磨损和丢失中的一者或多者。

Description

地面接合工具监测系统

技术领域

本发明涉及一种磨损构件监测系统和监测磨损构件的方法。具体地，本发明涉及但不限于用于监测一个或多个地面接合工具(例如挖掘机齿、适配器或护罩)的磨损和/或存在(或缺失)的磨损构件监测系统和方法。

背景技术

本文中对背景技术的参考不应被解释为承认这种技术构成公知常识。

许多活动涉及磨损构件，通常是设计为磨损以保护某些物体的牺牲性可更换部件。在采矿业中涉及磨损构件的一个显著领域是挖掘铲斗等具有安装在高磨损区域(例如挖掘边缘)的磨损构件，以便保护铲斗本身。这种磨损构件通常包括挖掘机齿组件和唇部护罩。

安装到挖掘机铲斗等的挖掘边缘的挖掘机齿组件通常包括可更换的挖掘齿、适配器主体和适配器鼻部，其通过焊接等固定到铲斗等的挖掘边缘。可更换的唇部护罩通常位于挖掘机齿组件之间以保护铲斗边缘。该齿通常在其后端具有插口状凹部，以可接纳地定位适配器鼻部的前插口部分，并且通常采用锁定系统来可释放地将齿固定在适配器上。

在使用中，这种磨损构件经受显著的磨损和巨大的力。当各种部件磨损时，锁定系统会松动，从而增加挖掘或整个适配器/齿组合丢失的风险。这需要相当长的停机时间来更换丢失的磨损构件，并且在部件未被回收的情况下，这些会导致损坏和/或在下游操作中的相当长的停机时间，尤其是在未注意到分离的情况下。例如，如果磨损构件与挖掘机铲斗分离，则当磨损构件被例如岩石破碎机不经意地处理时，磨损构件可能损坏矿场上的其它设备。此外，用分离的或严重磨损的磨损构件进行挖掘固有地效率较低。

在试图避免磨损构件意外分离时，在工地上采用预防性维护计划。还提出了用于监测和报告磨损构件的丢失的其它技术。然而，这些技术通常是复杂的并且不适合于在例如矿场上经历的所有条件。

在PCT公开号WO2018/009955A1中描述了一种这样的用于监测磨损构件的磨损和/或丢失的系统，其全部内容通过引用并入本文。虽然是有效的，特别是在受控环境中，但是已经发现，在长期使用期间，当地面接合工具磨损时，地面接合工具丢失检测受损。此外，该系统受到传感器分辨率的严重限制，并且在任何情况下都集中在监测齿上，因此不能有效地监测其它磨损构件，例如护罩。

本发明的目的是提供一种磨损构件监测系统和使用方法，其克服或改善上述的一个或多个缺点或问题，或至少提供一种有用的替代方案。

本发明的其它优选目的可从以下描述中变得显而易见。

发明内容

在一种形式中，尽管不一定是唯一的或最宽泛的形式，本发明在于一种用于工作设备的工具的监测系统，该系统包括：

一个或多个传感器，所述一个或多个传感器安装在所述工作设备上并指向所述工具；以及

处理器，所述处理器被配置成：

从所述一个或多个传感器接收与所述工具相关的数据；

使用所接收的数据生成所述工具的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；

使用所生成的三维表示与先前生成的三维表示的比较来识别所述工具的至少一部分的磨损和丢失中的一者或多者；以及

当识别工具的至少一部分的磨损或丢失时，输出所述磨损或丢失的指示。

优选地，所述工具具有耐磨部件。优选地，磨损构件是可更换的。优选地，所述工具是地面接合工具。

所述一个或多个传感器可以包括能够获得表示地面接合工具的三维表面形状的数据的至少一个传感器。所述一个或多个传感器可以包括渡越时间传感器。所述一个或多个传感器可以包括测距传感器。所述一个或多个传感器可以包括激光测距仪传感器。一个或多个传感器可以包括激光成像、检测和测距(LIDAR)传感器。LIDAR传感器可以是三维LIDAR传感器。一个或多个传感器可以包括多层渡越时间扫描激光测距仪传感器。

所述一个或多个传感器可以包括立体视觉传感器。立体视觉传感器可以输出包括可见光谱和/或红外光谱的各种光谱中的数据。一个或多个传感器可以包括非渡越时间测距系统。非渡越时间测距系统可以包括基于结构化照明的三维测距系统。一个或多个传感器可以包括雷达。所述一个或多个传感器可以包括超声传感器。所述一个或多个传感器可以包括被配置为检测辐射图案的传感器。辐射图案可以由地面接合工具产生和/或修改。所述一个或多个传感器可以包括磁共振成像(MRI)。该一个或多个传感器可以包括声学传感器。一个或多个传感器可以包括二维传感器，由此从二维传感器数据推断三维表示。可以基于照明分析和/或机器学习从二维传感器数据推断三维表示。

所述一个或多个传感器可以包括能够测量和输出表示地面接合工具的至少一部分的三维表面形状的数据的单个传感器。或者，一个或多个传感器可以包括多个传感器。多个传感器可以包括光学成像传感器，例如照相机。所述多个传感器可以包括至少一对二维扫描测距仪，所述二维扫描测距仪被定向为以不同的角度进行测量。二维扫描测距仪可以包括激光测距仪。二维扫描测距仪可以被定向为彼此成以大约90°进行测量。使用从所述一个或多个传感器接收的数据生成所述地面接合工具的至少一部分的三维表示可以包括：所述处理器被配置为组合在一时间段内进行的多个二维扫描以生成所述三维表示。该处理器可以被配置成使用运动估计数据来组合在一时间段内进行的多个二维扫描以生成该三维表示。

处理器可以被配置为将来自具有不同感测模态保真度和/或噪声特性的传感器的数据进行组合以生成三维表示。来自传感器的数据的组合可以包括使用组合算法。例如，激光雷达和雷达数据可以经由诸如卡尔曼过滤器的组合算法来组合。

一个或多个传感器可以安装在工作设备上，使其具有地面接合工具的视线。一个或多个传感器可以位于工具本身上，具有工具的感兴趣部分的视线。当工作设备在使用中时，视线可以是连续的。或者，当使用工作设备时，视线可以是周期性的。一个或多个传感器可以安装在工作设备的可运动构件上。一个或多个传感器可以安装在工作设备的可运动臂上。工作设备可以是挖掘机。一个或多个传感器可以安装在挖掘机的杆上。一个或多个传感器可以安装在挖掘机的悬臂上。一个或多个传感器可以安装在挖掘机的驾驶舱或驾驶室上。一个或多个传感器可以安装在挖掘机的铲斗上。

该处理器可以被配置成用于通过将从该一个或多个传感器接收的数据与运动估计组合来生成该地面接合工具的至少一部分的三维表示。运动估计可以从传感器数据导出。当地面接合工具运动通过传感器的视场时，可以从传感器数据导出运动估计。

处理器还可以被配置为在生成三维表示之前预处理所接收的数据。处理器可以被配置为通过识别预定范围内的数据来预处理所接收的数据。预处理可以包括范围选通。预处理可以包括交错多个传感器扫描。多个传感器扫描的交错可导致更宽的有效视场。

预处理可以包括估计地面接合工具何时充分地位于一个或多个传感器的视场内。估计可以包括识别所述传感器数据是否指示在选定点处所述地面接合工具被识别为存在或不存在。估计可以包括确定预期存在地面接合工具的点与预期不存在地面接合工具的点的比率。估计可以包括将所述比率与预定阈值进行比较。预定阈值可以基于地面接合工具的已知几何形状。或者，估计可以基于状态机。状态机可以包括以下状态中的一者或多者：磨损构件不可见、磨损构件部分可见、磨损构件完全可见、磨损构件部分超出传感器的视场以及磨损构件完全超出传感器的视场。状态检测可以基于识别对应于每个状态的三维点的空间分布的条件的试探法。估计还可以由拒绝机制来补充，该拒绝机制拒绝指示磨损构件可能仍然接合在挖掘面中或被不感兴趣的材料遮蔽的数据。拒绝机制可以检查已知工具尺寸周围的空数据。拒绝机制可以通过检查三维点的主成分分析的结果来检查工具的近似形状(例如平面球形椭圆形)。

处理器可以被配置为通过将在不同时间获取的多组传感器数据组合成单个三维模型来生成三维表示。组合可以包括在从估计地面接合工具充分位于一个或多个传感器的视场内时开始的一时间段内组合传感器数据。组合可以包括传感器数据的体素化。来自涉及单个体素的单独数据集的点可以合并成单个点。可以使用统计模型将来自涉及单个体素的单独数据集的点合并成单个点。来自涉及单个体素的单独数据集的点可以合并成表示中值(median)的单个点。

处理器可以被配置为通过将在不同时间获取的多组传感器数据组合成单个二维模型(例如范围图像)来生成三维表示。组合可以包括在从估计地面接合工具充分位于一个或多个传感器的视场内时开始的一时间段内组合传感器数据。组合可以包括将三维数据投影到平面圆柱形球形或其它连续表面上以形成2D网格表示。可以使用统计模型来合并来自涉及单个像素的单独数据集的点。统计模型可以包括累积平均值和/或卡尔曼过滤器。卡尔曼过滤器可以是单变量的。

处理器可以被配置成通过对准多个三维模型来生成三维表示。对准可以包括在公共参考系中共同定位各种三维模型。对准可以包括使用所选择的模型作为参考，并且将其它三维模型对准到所选择的模型。对准生成的模型可以包括使用迭代最近点(ICP)或正态分布变换(NDT)过程。对准过程可以具有约束，例如期望的度或自由度。对准可以包括确定单应性变换矩阵。单应性变换矩阵可以基于参考模型和中间模型之间的匹配关键点几何特征或轴。用于变换的轴的确定可以基于主成分分析(PCA)。

所述处理器还可以被配置为将所生成的三维表示转换为二维范围数据。二维范围数据可以是图像。通过选择三维表示的平面并指示与具有不同图像特性的平面正交的范围数据，可以将生成的三维表示转换为二维图像。不同的图像特征可以包括不同的颜色或强度。可以使用映射到正交轴的颜色梯度来指示与所选平面正交的范围数据。二维图像可以使用例如开－关或扩张－消弱(dilate－erode)过滤器来过滤。可以组合一时间段内的多个二维图像以减少噪声。

所述处理器还可以被配置为通过比较包括范围数据的二维图像来将所生成的三维表示与先前生成的三维表示进行比较。可以在变化的时基上比较二维图像。可以通过图像相减来比较二维图像。变化的时基可以包括短于第二时基的第一时基。第二时基可以是第一时基的至少两倍长。第二时基可以比第一时基长一个数量级。第一时基可以小于一小时。第二时基可以大于12小时。

该处理器可以进一步被配置成通过分析二维图像的比较来识别该地面接合工具的至少一部分的磨损和丢失中的一者或多者。与第一时基的图像比较中的显著差异可以指示地面接合工具的至少一部分的丢失。与第二时基相比的较小差异可以指示地面接合工具的至少一部分的磨损。

分析可以包括创建差异图像。差异图像可以被划分为分离的区域。这些区域可以对应于地面接合工具的感兴趣区域。感兴趣的区域可以包括地面接合工具的磨损构件的预期位置。磨损构件可包括一个或多个齿、适配器、护罩和衬垫。可以基于地面接合工具的预定几何模型将差异图像划分为单独的区域。可以使用边缘检测分析将差异图像划分为分离的区域。可以利用边缘检测分析来识别基本上垂直的线特征。差异图像可以被划分为分离的垂直区域。

分析可以包括测量每个区域中的差异图像的变化。测量每个区域中的差异图像的变化可以包括量化像素。量化像素可包括计数连续像素。连续像素的数量可以指示该区域中的磨损和/或丢失区域。连续像素可以按行计数。可以将所计数的成行像素的数目与阈值进行比较，以指示是否已经发生磨损和/或丢失。可以预先确定阈值。该阈值可以是自适应的，例如随时间或经由机器学习来比较该值。机器学习可以由操作者反馈来指导。分析可以包括使用卷积过程。卷积处理可以包括使用卷积过滤器。卷积过滤器可以产生变化的位置和幅度，其中差异不是由于丢失，例如仅仅是深度的变化。噪声抑制还可以通过使用从在较早的时基产生并应用于当前图像的图像导出的图像掩模来执行。该掩模将防止分析被认为不相关的图像部分。

处理器可以被配置为向工作设备的操作者输出所识别的磨损或丢失的指示。输出可以包括警报。警报可以包括可听警报、可视警报和触觉警报中的一者或多过。警报可以提供给工作设备的操作者。警报也可以或替代地远程发送。优选地，警报被远程地发送到不在设备上的辅助位置。警报可以包括指示磨损的第一警报和不同于第一警报的、指示丢失的第二警报。磨损或丢失的指示可由工作设备的控制系统利用以适应操作。

该系统还可以包括车辆识别系统。车辆识别系统可以包括一个或多个传感器以建立车辆识别。车辆识别系统可以利用处理器进行车辆识别操作。当识别出地面接合工具的一部分(例如磨损构件)丢失时，车辆识别系统可允许识别相关车辆。车辆识别系统可以帮助确定在工作设备的交付操作期间可能已经交付了分离的磨损构件等的相关车辆。

所述处理器可进一步经配置以在识别所述工具的至少一部分丢失时记录及/或传输全球导航卫星系统(GNSS)坐标。GNSS可以包括GPS。

所述处理器优选地位于所述工作设备上。然而，处理器可以远程定位。处理器可以包括一个或多个网络连接的服务器。工作设备可以包括用于本地处理的处理器，并且还与用于远程处理的一个或多个网络连接的处理器通信。

在另一种形式中，本发明可以在于一种监测工作设备的工具的一个或多个磨损构件的方法，该方法包括：

从安装在所述工作设备上的一个或多个传感器接收与所述工具相关的数据；

使用从该一个或多个传感器接收的数据生成该工具的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；

基于比较步骤的结果识别所述工具的至少一部分的磨损和丢失中的一者或多者；

在识别所述地面接合工具的至少一部分的磨损和丢失中的一者或多者的步骤之后，输出所述工具的至少一部分的磨损或丢失的指示，以识别这种磨损或丢失。

优选地，所述一个或多个磨损构件是可更换的。优选地，该工具是地面接合工具。

从一个或多个传感器接收与地面接合工具相关的数据的步骤可以包括接收与地面接合工具的至少一部分相关的三维数据。接收数据的步骤可以包括从单个传感器接收数据。或者，接收数据的步骤可以包括从多个传感器接收信息。该方法还可以包括将来自多个传感器的数据转换成三维数据的步骤。

生成地面接合工具的至少一部分的三维表示的步骤可以包括将从一个或多个传感器接收的数据与运动估计组合。该方法可以进一步包括从传感器数据、优选地从当地面接合工具运动通过传感器的视场时的数据导出运动估计。

该方法还可以包括在生成三维表示的步骤之前预处理所接收的传感器数据。该方法还可以包括通过识别预定范围内的传感器数据，优选地通过范围选通来预处理所接收的传感器数据的步骤。预处理步骤可以包括交错多个传感器扫描。多个传感器扫描的交错步骤可以提供传感器数据的更宽的有效视场。

该方法还可包括估计地面接合工具何时充分地位于一个或多个传感器的视场内的步骤。估计步骤可包括识别传感器数据是否指示在选定点处地面接合工具被识别为存在或不存在。估计步骤可以包括确定预期存在地面接合工具的点与预期不存在地面接合工具的点的比率。估计步骤可以包括将该比率与预定阈值进行比较。预定阈值可以基于地面接合工具的已知几何形状。

该方法还可以包括将在不同时间获取的多组传感器数据组合成单个三维模型的步骤。组合步骤可以包括在从估计地面接合工具充分位于一个或多个传感器的视场内时开始的一时间段内组合传感器数据。组合步骤可以包括传感器数据的体素化。该方法还可以包括将涉及单个体素的单独的数据集合并为单个点的步骤。可以使用统计模型将来自涉及单个体素的单独数据集的点合并成单个点。来自涉及单个体素的单独数据集的点可以合并成表示中值(median)的单个点。

该方法可以进一步包括对准多个三维模型的步骤。对准的步骤可以包括在公共参考系中共同定位各种三维模型。对准步骤可以包括使用所选择的模型作为参考，并且将其它三维模型对准到所选择的模型。对准生成的模型的步骤可以包括使用迭代最近点(ICP)或正态分布变换(NDT)过程。ICP过程可具有例如对期望的自由度或自由度的约束。对准步骤可以包括确定单应性变换矩阵。单应性变换矩阵可以基于参考模型和中间模型之间的匹配关键点。

该方法还可以包括将所生成的三维表示转换成二维范围数据。转换为二维范围数据的步骤可以包括创建图像。转换步骤可以包括选择三维表示的平面并指示与具有不同图像特征的平面正交的范围数据。不同的图像特征可以包括不同的颜色。可以使用映射到正交轴的颜色梯度来指示与所选平面正交的范围数据。该方法还可以包括过滤二维图像。过滤步骤可以包括应用一个或多个开－关或扩张－消弱过滤器。过滤可以包括通过在一个时间段上组合多个二维图像来降低噪声。

将生成的三维表示与先前生成的三维表示进行比较的步骤可以包括比较包括范围数据的二维图像。比较步骤可以包括在变化的时基上比较二维图像。比较步骤可以包括从另一个图像中减去一个图像。变化的时基可以包括短于第二时基的第一时基。该方法还可以包括分析二维图像的比较的步骤。

该方法还可以包括创建差异图像的步骤。该方法还可以包括将差异图像划分为分离区域的步骤。这些区域可以对应于地面接合工具的感兴趣区域。感兴趣的区域可以包括地面接合工具的磨损构件的预期位置。磨损构件可包括一个或多个齿、适配器、护罩和衬垫。可以基于地面接合工具的预定几何模型将差异图像划分为单独的区域。将差异图像划分为分离区域的步骤可以包括使用边缘检测分析。可以利用边缘检测分析来识别基本上垂直的线特征。差异图像可以被划分为分离的垂直区域。

比较步骤还可以包括测量每个划分区域中的差异图像的变化的步骤。测量每个区域中的差异图像的变化可以包括量化像素的步骤。量化像素的步骤可以包括计数连续像素。连续像素的数量可以指示该区域中的磨损和/或丢失区域。对连续像素计数的步骤可以包括对成行像素计数。可以将所计数的成行像素的数目与阈值进行比较，以指示是否已经发生磨损和/或丢失。可以预先确定阈值。该阈值可以是自适应的，例如随时间或经由机器学习来比较该值。机器学习可以由操作者反馈来指导。

输出磨损或丢失的指示的步骤可以包括向工作设备的操作者输出该指示。输出步骤可以包括发出警报。警报可以包括可听警报、可视警报和触觉警报中的一者或多者。警报可以提供给工作设备的操作者。输出步骤可以包括远程发送丢失和/或磨损的指示和/或警报。警报可以包括指示磨损的第一警报和不同于第一警报的、指示丢失的的第二警报。该方法可以进一步包括使用工作设备的控制系统中的磨损或丢失的指示来适配操作的步骤。

该方法还可包括识别相关车辆的步骤。该方法可以进一步包括当指示丢失事件时识别相关联的车辆。该方法还可包括确定在工作设备的交付操作期间可能已经交付了分离的磨损构件等的相关车辆。

该方法还可包括从安装在工作设备上的一个或多个传感器向服务器发送所接收的与工具相关的数据的步骤。服务器可以执行生成、比较、识别和/或输出步骤。该方法还可包括从服务器接收指示工具的至少一部分的磨损或丢失的数据。

在另一种形式中，提供了一种用于工作设备的工具，优选地地面接合工具的磨损构件监测系统，该系统包括：

一个或多个传感器，所述一个或多个传感器安装在所述工作设备上，使得所述工具位于感测视场中；以及

处理器，该处理器被配置成执行一种监测工作设备的工具的一个或多个磨损构件的方法，如以上所描述的。

在另一种形式中，本发明可以存在于地面工作设备中，例如挖掘机，包括：

地面接合工具；

一个或多个磨损构件，所述一个或多个磨损构件位于所述地面接合工具上；

一个或多个传感器，所述一个或多个传感器指向该地面接合工具的该一个或多个磨损构件；

处理器，所述处理器与该一个或多个传感器通信，该处理器被配置成：

从所述一个或多个传感器接收数据；

使用从所述一个或多个传感器接收的数据生成所述磨损构件的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；

使用所生成的三维表示与先前生成的三维表示的比较来识别所述一个或多个磨损构件的磨损和丢失中的一个或多个；以及

当一个或多个磨损构件的磨损或丢失被识别时，输出该磨损或丢失的指示。

挖掘机可包括各种形式的土方作业和运动设备，包括例如履带式挖掘机、轮式装载机、液压挖掘机、电绳铲、拉铲挖斗、反铲挖土机、地下挖土机、斗轮取料机等。

从下面的详细描述中，本发明的其它特征和优点将变得显而易见。

附图说明

仅作为示例，在下文中将参考附图更全面地描述本发明的优选实施例，其中：

图1示出了用于地面接合工具的磨损构件监测系统；

图2示出了地面接合工具的示例性传感器数据；

图3示出了根据传感器数据生成的地面接合工具的示例性三维表示；

图4示出了地面接合工具的三维表示与先前生成的三维表示的示例比较的视觉表示；

图5示出了图4的地面接合工具的热图像；以及

图6示出了磨损构件监测系统的示例的图示。

具体实施方式

图1示出了用于挖掘机30形式的工作设备的地面接合工具20的工具监测系统10。应当理解，本发明可以应用于其它类型的车辆或工作设备。图示的挖掘机30是履带式挖掘机30。然而，应该理解的是，挖掘机30可以是具有地面接合工具20的其它类型的挖掘机，包括例如轮式装载机、液压挖掘机、挖掘机、拉铲挖斗、反铲挖斗、地下挖斗、斗轮取料机等。尽管所示出的工具是地面接合工具20，但是还应当理解，本发明可以应用于其它类型的工具，特别是那些具有可更换磨损构件的工具，例如施工工具、制造工具、处理工具等。

图1的挖掘机30具有包括悬臂42和杆44的可运动臂40。一个或多个传感器50安装在可运动臂40上，更具体地安装在可运动臂的杆44上，使得地面接合工具20的至少一部分位于其视场52中。根据可运动臂的铰接角度，地面接合工具20可以不总是在传感器50的视场52内，但是优选地，传感器以这样的方式定位和指向地面接合工具20，使得地面接合工具20在通常的工作操作期间，例如在倾倒操作期间运动通过它们的视场52。

传感器50与处理器60通信，处理器60优选地位于挖掘机30上，甚至更优选地位于挖掘机的驾驶室70中。然而，处理器60也可以位于远程，来自传感器50的数据从车辆传送到远程位置。处理器60也可以位于挖掘机30上，处理过的信息(例如发现或警告)被发送到远程位置，用于远程监视和评估。

传感器50优选地构造成收集表示地面接合工具20的当前状态的三维模型的数据，例如点云、概率云、表面模型等。在优选实施例中，传感器50是多层渡越时间扫描激光测距仪传感器(例如SICK LD MRS－8000传感器)。然而，应当理解，可以使用的替代传感器包括但不限于立体视觉系统(在可见光谱或任何其他光谱中，诸如红外热照相机)、基于结构化照明的三维测距系统(不是渡越时间)、雷达、超声传感器以及可以基于被动或间接手段推断结构的那些，诸如检测由地面接合工具20产生或修改的辐射图(例如MRI或被动声学分析)。

在优选形式中，传感器50是单个三维传感器，但是还应当理解，可以采用一个或多个非三维传感器，例如一个或多个二维传感器或具有有限视场的三维传感器，其在短时间间隔内创建完整的三维模型。这样的配置的示例包括但不限于来自基于运动的感测系统的单目结构，包括基于事件相机的解决方案，彼此成角度(优选地大约90°)定向的一对二维扫描激光测距仪，使得一个传感器通过跟踪地面接合工具来获得运动估计，而另一个传感器收集地面接合工具的随时间变化的二维扫描，该二维扫描然后经由运动估计数据被组合成三维模型。

地面接合工具20的整个感兴趣区域可以不由传感器50的单个扫描或帧捕获，但是当地面接合工具20运动通过传感器50的视场52时，传感器数据可以与从传感器数据导出的运动估计组合以生成三维模型。

根据传感器50的位置，距离范围数据的预期变化很可能被认为是可接受的，与能够被安全丢弃的数据相比，数据更接近或更远离传感器50。该数据可以来自灰尘、污垢、挖掘面或不是地面接合工具20的相关部分的其它项目。因此，处理器60可以通过范围选通来预处理所接收的传感器，这可以显着地减少需要全面处理的数据量。

也可以执行其他传感器特定的预处理步骤。例如，对于SICKLDMRS－8000传感器50，可以交错多次扫描以呈现具有较宽垂直视场的数据用于分析。类似地，可以针对该特定传感器进行基于点聚类的噪声抑制。根据所使用的传感器50的类型以及在某些情况下甚至是所使用的品牌，可以使用其它预处理步骤。

如果待由系统10监视的地面接合工具20的相关部分不是连续可见的，那么应确定何时开始和停止从传感器50收集数据以供处理器60分析。相关数据收集的起始点可以被称为“触发”点或事件。可以通过检查传感器数据的每个帧或扫描并确定在预期存在地面接合工具20的位置中的点与预期不存在地面接合工具20的位置中的点的比率来识别触发点。该比率可以与预定阈值进行比较，优选地基于地面接合工具20或状态机的已知几何形状。

例如，在正在考虑铲的铲斗的应用中，从铲斗的一侧到另一侧穿过地面接合工具20的测量可用于非常简单地将传感器数据分成期望大量数据的区域(例如，存在齿形式的磨损构件的区域)和期望较少数据的区域(例如，存在护罩形式的磨损构件的区域)。这些点的比率可以通过相对简单的除法运算来确定，或者通过更复杂的例程来确定，例如经由代数乘积的模糊逻辑“与”逻辑运算。然后可以将该值与阈值进行比较，其中，将齿的数量与护罩的数量和一个帧(frame)中的传感器的预期视场进行比较，在该帧中，地面接合工具20是可见的，以获得用于比较的比率。

另一方面，状态机可以包括以下状态：磨损构件不可见、磨损构件部分可见、构件完全可见、磨损构件部分超出传感器的视场和/或磨损构件完全超出传感器的视场。状态检测可以基于识别对应于每个状态的三维点的空间分布的条件的试探法。该估计还可以通过拒绝机制来补充，该拒绝机制拒绝指示磨损构件可能仍然被阻塞的数据，例如通过被接合在挖掘面中或被识别为不感兴趣的材料遮蔽。该拒绝机制可以检查已知工具尺寸周围的空数据。拒绝机制还可以通过检查三维点的主成分分析的结果来检查工具的近似形状(例如，平面、球形、椭圆形)。

图2示出了一旦到达触发点的来自铲(未示出)的地面接合工具20部分的单个扫描激光测距仪扫描帧的示例传感器50数据100。数据100包括形式为齿110和护罩120的可清楚识别的磨损构件。尽管从图2中不容易看出，但是每个点包含相对于传感器50的距离信息，使得存在足够的数据来生成地面接合工具20的三维表示。

为了提高可靠性，在确定触发点之前存储传感器数据的缓冲(优选地为圆形)，并且可以对缓冲中的扫描执行随后的分析，除非由于缺乏完整性而丢弃特定扫描(例如，数据点不足、不能跟踪用于三维模型创建的关键特征等)。

虽然不是必需的，多组传感器50数据优选地在相对短的时间间隔内组合以产生地面接合工具20的更有效的三维表示。对于大多数传感器50的位置、感测模态以及该技术的应用，可以预期的是，地面接合工具20不可能始终可见，并且来自传感器的数据将由于例如信号噪声、临时堵塞(例如，正在挖掘的灰尘或材料)以及当前天气状况(例如，雾或雨)而受到质量变化的影响。因此，希望在预定时间间隔内组合来自传感器50的多组数据，以产生比由单组数据提供的更好的地面接合工具20的表示。在优选实施方式中，使用单个倾卸运动上的传感器数据。这由缓冲的大小和触发事件以及将运动跟踪“锁定”保持在地面接合工具20上的运动跟踪处理能力来确定。如果在预定周期内没有接收到新数据，则可以触发处理事件。

为了将多组传感器数据组合到单个模型中，可以使用适合三维体素化表示的感测模态。在具有扫描激光测距仪的优选形式中，可以使用基于球形帧的体素化，其编码射线跟踪的类似描述。来自不同扫描的落入相同体素的多个点经由一些适当的统计模型(诸如，例如中值)被合并成单个点。模型的分辨率可以根据磨损测量或丢失输出的期望保真度和使用中的传感器50的能力来确定。或者，可将数据直接组合为二维网格表示，其中来自多次扫描的数据具有类似的统计合并。可以采用统计模型，例如累积平均值。这些值也可以通过其它统计模型来改进，例如应用单变量卡尔曼过滤器。

图3示出了地面接合工具20的示例性三维表示200，其通过在球形坐标体素化中组合在单个倾卸运动上测量的多组三维传感器数据而创建。图示200包括形式为齿210和护罩220的可清楚识别的磨损构件。一旦生成了这样的三维表示200，就可以将其与先前生成的三维表示进行比较。当前的三维表示200也优选地被存储，使得它可以在将来的这种比较中被用作先前生成的三维表示。

随着时间的推移，在操作期间收集地面接合工具20的多个三维表示。根据传感器50的安装布置，这些可以通过传感器50和地面接合工具20的相对布置而收集在公共帧中。否则，它们可能在不同的空间参考帧中，或者不容易协同定位用于比较。在这种情况下，所收集的地面接合工具20模型的三维表示200优选地被变换为共同位于单个参考帧中，以确保处理器60能够执行准确的比较。

可以使用各种方法来将多个三维表示200对准以共同定位在公共帧中。优选的方法是使用参考三维表示200并将所有其它三维表示200与该参考对准。该参考三维表示可以简单地是在调试期间或之后生成的第一表示或在该过程的任何阶段生成的任何其他表示，只要其以一致的方式使用。

优选使用迭代最近点(ICP)过程来执行对准。ICP过程优选地具有关于预期自由度的约束。例如，液压正铲铲斗只能在两个维度上平移并相对于安装在杆44上的传感器50绕单个轴线旋转。合适的对准算法的另一示例是基于二维图像空间中的参考表示和中间表示之间的匹配关键点来计算单应性变换矩阵，补充有用于范围对准或围绕无约束轴旋转的适当颜色归一化步骤。

合适的对准算法的另一个例子是正态分布变换过程(NDT)。合适的对准算法的另一个例子是在两个阶段中执行对准，首先通过应用粗略对准机制，例如通过用预定坐标系对准点云的主轴来定义的旋转，其中主轴通过主成分分析(PCA)连同基于质心、边界、统计或其它几何特征的平移来确定，其次通过随后应用精细对准机制，例如应用ICP或NDT过程。

一旦对准(如果需要)，处理器60将最近生成的三维表示与至少一个先前生成的三维表示进行比较。该比较主要用于检测地面接合工具20在预定时间段内的变化。三维地面接合工具20的表示200在相对较短的内(例如在倾卸运动之间)的较大变化指示地面接合工具20丢失或断裂事件。在较长的时间段内的较小变化表示对地面接合工具20的磨损。

在优选形式中，使用图像处理技术将三维表示200转换为二维范围图像，例如在三维模型上叠加笛卡尔帧，并将来自模型的范围测量投影到一对笛卡尔轴上，并根据第三正交轴通过范围值对每个像素着色。例如开－关或扩张－消弱，进一步的过滤操作可以被应用于图像以填充由于阻塞造成的孔或通过其它方式通常改善图像质量。还可以使用在适当的时间段上组合图像以进一步减少瞬态噪声影响，例如在几分钟的窗口上的图像的运动平均，或者去除仅在少量图像中观察到的像素。

然后，处理器60在变化的时基上比较图像。例如，通过执行图像减法操作，图像之间的差异被突出显示。可以执行这些比较以检测在适合于感兴趣的项目的时间段上的磨损和丢失事件。例如，通过将当前图像与最近的前一图像进行比较，地面接合工具20的状态的较大变化被突出显示，并且指示地面接合工具20丢失或破损事件。通过将在中等运动平均窗口上创建的图像(例如，一些倾卸事件)与在前一天或甚至更早获取的类似图像进行比较，地面接合工具20的磨损在差异图像的深度(颜色)方面以及作为差异图像中的地面接合工具20特征的边界的变化方面都应该是明显的。

图4示出了地面接合工具的三维表示与先前生成的二维图像格式的三维表示的示例比较300的视觉表示。表示差异图像300包括形式为齿310和护罩320的可清楚识别的磨损构件。在该示例中，所比较的表示之间的时间段相对较长，示出了以围绕磨损构件的周边的相对较小的暗区330的形式的磨损和以齿310之一的相对较大的暗块340的形式的齿尖丢失。深度磨损也可见。图5示出了图4的地面接合工具20的热照相图像，其示出了在差异图像300中突出显示的齿尖丢失340。

在比较之后，处理器60被配置为识别地面接合工具20的磨损和/或丢失。可以选择用于这种识别的过程以适合被监测的地面接合工具20和所需的确定类型。在优选的形式中，其中所述确定是识别所述地面接合工具20的至少一部分的磨损和/或丢失，如图所示，可以将具有适当缩放和加权的核的图像卷积处理应用于所述差异图像。或者，可以将像素行计数算法应用于差异图像。

使用具有从边界到中心线性增加的权重的方形内核来执行卷积过滤器到差异图像的应用。内核尺寸被选择为与当经由差异图像的缩放和分辨率转换为像素时可合理预期丢失的对象的尺寸大致相同，或稍大。对卷积运算结果的大小的检查用于识别丢失或磨损的大小并定位磨损或丢失的区域。将该幅度与预定阈值或自适应阈值进行比较。示例性预定阈值可以基于大丢失事件的事件中最大可能结果的分数。这可以用手调节以改变检测的灵敏度。示例性的自适应阈值可以基于比较随时间变化的值并寻找指示统计离群值的值的变化，或者基于机器学习方法，由此通过关于检测精度的操作者反馈来确定阈值。

用于比较的图像优选地基于地面接合工具20的预定几何模型而被分成与齿和护罩的预期位置相对应的垂直区域，所述预定几何模型通常由其几何知识来确定。这种分割优选地以自动方式执行，例如通过使用边缘检测算法和检查基本垂直的线特征。

对于每个垂直区域，从最靠近齿尖的图像的边缘开始，并且朝着齿的基部逐行地迭代，优选地对差异图像中的像素值的每个连续行进行计数，所述像素值的每个连续行指示与较早的模型相比在较新的模型中不存在。将每个像素的缺失行的数目与已知阈值(例如预定阈值或自适应阈值)进行比较。

示例性预定阈值可以基于当安装在挖掘装置上时完全磨损的地面接合工具20元件与没有地面接合工具20元件的挖掘装置或安装硬件之间的长度差，该长度差经由差异图像的缩放和分辨率转换为像素。示例性的自适应阈值可以基于比较随时间变化的值并寻找指示统计离群值的值的变化，或者基于学习方法，由此通过关于检测精度的操作者反馈来确定阈值。

一旦检测到磨损或丢失，处理器60输出磨损或丢失的指示。该输出可以采用多种形式，但是优选地，警报被链接到输出端以提供所识别的磨损或丢失事件的通知。该通知优选地至少提供给工作设备30的操作者。

除了简单地提供磨损或丢失的通知之外，处理器60优选地能够识别并输出任何其它有用的识别特征的指示，例如异常磨损发生的识别(例如，比地面接合工具20的至少一部分的预期磨损快)。这可以通过将在变化的时基上构造的不同图像中的像素或像素组(包括像素的运动和重叠窗口)与指示可接受的磨损率的一些预定基线结果进行比较来执行。可接受的磨损率可以是整个地面接合工具20的磨损率，或者是地面接合工具20的特定部分的磨损率，例如一个或多个特定磨损构件的磨损率。

其它有用的通知可以从与来自其它系统的数据的多变量和空间相关性产生。例如，磨损率可与被挖掘材料的类型、一天中的时间、机器的操作者等中的一者或多者相关。这种通知可用于解释性分析，例如向用于自动检测被挖掘材料的特性变化的系统提供辅助输入。

输出可以包括警报。例如，当检测到地面接合工具20丢失事件时，可以输出警报。可以提供用户界面。警报可以在这样的用户界面上呈现给工作设备30的操作者。输出也可以提供给工作设备的其它系统，包括例如工作设备30的控制系统。如何向操作者提供警报的示例包括但不限于音频警报、视觉警报和触觉反馈警报中的一者或多者。警报优选区分磨损事件和丢失事件。输出还优选地通知操作者地面接合工具20的哪个部分被识别为丢失或磨损。这样的信息优选地也可经由应用编程接口和/或数字输出来获得，以供其它系统(例如控制系统或远程操作)使用。

可以提供车辆识别系统，优选地是基于射频识别(RFID)的系统或全球定位系统(GPS)或车队管理系统(FMS)，其可以使用多种方法的混合，例如基于卡车的FMS。利用这种车辆识别系统，可以识别相关车辆，例如从工作设备20接收材料的运输车辆。当地面接合工具20丢失事件发生时，车辆识别系统可用于识别最可能包含地面接合工具20的丢失部分的车辆。

处理器60还可以被配置为提供历史跟踪。这种历史跟踪可以允许操作者观察来自传感器50自身的差异图像信息、三维模型、数据或图像(如果适用，取决于感测模态)和/或来自相邻传感器(例如热摄像机)的图像，以帮助操作者识别地面接合工具20的当前状态和/或历史状态变化。这种历史跟踪可用于检查丢失事件，由此手动历史检查可用于补充系统检测中的任何延迟。例如，较低的误报警率可以通过增加平均窗口和比较周期来实现，代价是在实际发生的和由系统识别的地面接合工具20丢失事件之间可能有较大的延迟。

处理器还可以被配置为发送数据。数据优选地被发送到远程位置。这样的数据可以包括地面接合工具20的三维表示、差异图像信息和警报中的一者或多者。这种数据优选地从工作设备20发送到远程服务器或云环境，用于附加的处理、分析、跟踪和/或报告。远程服务器或云环境可以补充工作设备的本地处理器，或者甚至执行一些处理而不是工作设备上的本地处理器。可以从这样的信息导出的一些度量的例子包括磨损率和地面接合工具20的寿命估计。这样的信息可以补充有来自其他来源的信息，例如特定的挖掘能量和经济约束或变量、地面接合工具部件价格以允许关于地面接合工具20换出周期的建议或作为对其他系统(例如自动地面接合工具20订购系统)的输入的捆绑。该处理器可以被配置成从该工作设备的操作者接收指示已经发生磨损或丢失事件的输入。在接收到这种输入时，可以进行分析和/或远程发送通知。该通知可用于警告工作设备的维护。这种“按需”方法可以意味着工作设备的工具可以具有更大的维护检查间隔。

除了确定磨损或丢失之外，处理器可以被配置为通过寻找差异图像中的正的而不是负的变化来确定何时替换磨损构件。这样的信息可用于确定磨损构件寿命和/或更换模式。还可以利用差异图像的分析来识别磨损构件的形状。这可用于识别使用中的磨损构件以确定操作者偏好和/或活动。可以进行适合性分析，其中可以确定所识别的磨损构件的磨损和/或丢失特性。在这种适用性分析确定之后，可以提供特定更换磨损构件的建议。

图6示出了具有传感器500、处理器600和输出端700的磨损构件监测系统的示例的图示。所述处理器600被配置成：在步骤610从一个或多个传感器接收与地面接合工具20相关的数据，在步骤620使用所接收的数据生成地面接合工具的至少一部分的三维表示，在步骤640将所生成的三维表示与先前生成的三维表示630进行比较；在步骤650，使用所生成的三维表示与先前生成的三维表示的比较来识别地面接合工具的至少一部分的磨损和丢失中的一者或多者；并且当识别出地面接合工具的至少一部分的磨损或丢失时，在步骤660输出700该磨损或丢失的指示。

有利地，本发明提供一种用于识别地面接合工具20的丢失和磨损的磨损构件的监测系统10和相关方法。这可以提高生产率，因为使用损坏的地面接合工具20(例如具有磨损或分离的磨损构件的那些)进行挖掘，固有效率较低。此外，识别何时地面接合工具20具有丢失事件允许丢失的快速恢复，避免工地上的其它潜在问题，例如对下游设备的损坏。

监测系统10还允许预防性维护方式，使得当地面接合工具20的磨损构件达到预定磨损状态时，它们可被监测和更换，以避免不定期的停机时间。

优选地，地面接合工具20的三维表示可以在一致的参考帧中创建和记录。有利地，该算法可以独立于用于创建表示的感测模态。通过在短时间间隔内组合多个模型，可以降低三维表示中的噪声。通过相对计算适度的减法操作(例如，范围图像减法)在不同时间点收集的两个三维表示可以突出地面接合工具20的状态在收集相应数据组之间的一段时间内的差异。在变化的时间尺度上重复该步骤可用于检测不同的磨损程度并获得对总体变化(例如，丢失事件)的不同程度的响应。

应当理解，该系统和方法可应用于任何地面接合工具20，例如，监测铲斗、反铲、正铲、轮式装载机、斗轮挖掘机和钻机上的磨损构件。

根据实施方式，需要地面接合工具20几何形状的最小(如果有的话)先验知识。输出可以是相对简单的格式(例如，差异的范围图像)，与例如齿长度的相对基本的线性测量相比，该格式可以通过标准图像处理技术来询问以获得地面接合工具20的状态的大量知识。该输出还可以容易地与其它数据源组合，以显着地增加测量的实用性，用于更深入地了解地面接合工具20。该系统和方法是可靠的，具有低的并且通常容易调节的误报警率。输出也可以是容易地适合于操作员警报和场外监测和/或仪表板的格式。

在本说明书中，诸如第一和第二、左和右、顶和底等形容词可以仅用于将一个元件或动作与另一个元件或动作区分开，而不必要求或暗示任何实际的这种关系或顺序。在上下文允许的情况下，对整数或组件或步骤(等)的引用不应被解释为仅限于该整数，组件或步骤中的一个，而是可以是该整数，组件或步骤等中的一个或多个。

提供本发明的各种实施例的以上描述是为了向相关领域的普通技术人员进行描述。其并不旨在穷举或将本发明限制为单个公开的实施例。如上所述，本发明的许多替换和变化对于上述教导的本领域技术人员来说是显而易见的。因此，虽然已经具体讨论了一些可选实施例，但是本领域普通技术人员将清楚或相对容易地开发出其它实施例。本发明旨在包括这里已经讨论的本发明的所有替换，修改和变化，以及落入上述本发明的精神和范围内的其它实施例。

在本说明书中，术语“包括”、“包含”、“包括有”、“包含有”或类似术语旨在表示非排他性的包含，使得包括一系列元件的方法，系统或装置不仅仅包括这些元件，还可以包括未列出的其它元件。

Claims (72)

1.一种用于工作设备的工具的监测系统，所述系统包括：

一个或多个传感器，所述一个或多个传感器安装在所述工作设备上并指向所述工具；以及

处理器，所述处理器被配置成：

从所述一个或多个传感器接收与所述工具相关的数据；

使用所接收的数据生成所述工具的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；以及

使用所生成的三维表示与先前生成的三维表示的比较来识别所述工具的至少一部分的磨损和丢失中的一者或多者。

2.根据权利要求1所述的监测系统，其中，所述工具是具有可更换磨损构件的地面接合工具。

3.根据权利要求1或2所述的监测系统，其中，所述一个或多个传感器包括能够获得表示所述工具的三维表面形状的数据的至少一个传感器。

4.根据权利要求3所述的监测系统，其中，所述一个或多个传感器包括多层渡越时间扫描激光测距仪传感器。

5.根据权利要求3所述的监测系统，其中，所述一个或多个传感器包括二维传感器，所述二维传感器提供足够的二维数据以推断所述工具的三维表面形状。

6.根据权利要求1至5中任一项所述的监测系统，其中，使用从所述一个或多个传感器接收的数据生成所述工具的至少一部分的三维表示包括：所述处理器被配置为组合在一时间段内进行的多个二维扫描以生成所述三维表示。

7.根据权利要求6所述的监测系统，其中，所述处理器被配置成使用运动估计数据来组合在一时间段内进行的所述多个二维扫描以生成所述三维表示。

8.根据权利要求1至7中任一项所述的监测系统，其中，所述处理器被配置为组合来自具有不同感测模态、保真度和/或噪声特性的传感器的数据，以生成所述三维表示。

9.根据权利要求8所述的监测系统，其中，所述处理器被配置为使用组合算法来组合所述数据。

10.根据权利要求1至9中任一项所述的监测系统，其中，所述传感器中的一个或多个位于所述工作设备上，使其具有所述工具的视线。

11.根据权利要求10所述的监测系统，其中，位于所述工作设备上的所述传感器中的一个或多个安装在所述工作设备的可运动臂上。

12.根据权利要求1至11中任一项所述的监测系统，其中，所述过程被配置为通过将从所述一个或多个传感器接收的数据与运动估计组合来生成所述工具的至少一部分的三维表示。

13.根据权利要求12所述的监测系统，其中，当所述工具运动通过一个或多个所述传感器的视场时，所述运动估计从传感器数据导出。

14.根据权利要求1至13中任一项所述的监测系统，其中，该过程还被配置为在生成三维表示之前预处理所接收的数据。

15.根据权利要求14所述的监测系统，其中，预处理包括距离选通。

16.根据权利要求14或15所述的监测系统，其中，预处理包括交错多个传感器扫描。

17.根据权利要求14至16中任一项所述的监测系统，其中，预处理包括估计所述工具何时在所述一个或多个传感器的视场内。

18.根据权利要求17所述的监测系统，其中，估计包括识别所述传感器数据是否指示在选定点处所述工具或其部分被识别为存在或不存在。

19.根据权利要求17所述的监测系统，其中，估计基于状态机。

20.根据权利要求19所述的监测系统，其中，所述状态机使用试探法来识别对应于所述状态机的每个状态的三维点的空间分布的条件。

21.根据权利要求20所述的监测系统，其中，所述处理器被配置成通过将多个三维模型对准来生成所述三维表示，对准是通过将所述三维模型共同定位在公共参考系中实现的。

22.根据权利要求21所述的监测系统，其中，对准包括使用迭代最近点(ICP)或正态分布变换(NDT)过程。

23.根据权利要求21或22所述的监测系统，其中，对准包括确定单应性变换矩阵。

24.根据权利要求1至23中任一项所述的监测系统，其中，所述处理器还被配置为将所生成的三维表示转换为二维范围数据。

25.根据权利要求24所述的监视系统，其中，所述处理器还被配置为通过比较所述二维范围数据来将所生成的三维表示与先前生成的三维表示进行比较。

26.根据权利要求24或25所述的监测系统，其中，所述处理器进一步被配置为通过分析包括所述二维范围数据的二维图像的比较来识别所述工具的至少一部分的磨损和丢失中的一者或多者。

27.根据权利要求26所述的监测系统，其中，分析包括创建被划分为对应于所述工具的感兴趣区域的分离区域的差异图像。

28.根据权利要求27所述的监视系统，其中，基于所述工具的预定几何模型和/或边缘检测分析，将所述差异图像划分为分离区域。

29.根据权利要求26至28中任一项所述的监测系统，其中，分析包括通过量化像素和/或应用图像卷积处理来测量每个区域中的所述差异图像中的变化。

30.根据权利要求26至29中任一项所述的监测系统，其中，分析包括使用图像掩模的噪声抑制，所述图像掩模防止对被认为是不相关的图像部分进行分析。

31.根据权利要求1至30中任一项所述的监测系统，其中，所述处理器被配置为输出所述工具的所述部分的磨损或丢失的指示。

32.根据权利要求1至31中任一项所述的监测系统，还包括车辆识别系统，所述车辆识别系统包括一个或多个传感器，以在识别所述工具的至少一部分丢失时建立相关车辆的车辆识别。

33.根据权利要求1至32中任一项所述的监测系统，其中，所述处理器还被配置成当识别所述工具的至少一部分丢失时记录和/或发送全球导航卫星系统(GNSS)坐标。

34.一种监测工作设备的工具的一个或多个磨损构件的方法，该方法包括：

从安装在所述工作设备上的一个或多个传感器接收与所述工具相关的数据；

使用从所述一个或多个传感器接收的数据生成所述工具的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；以及

基于比较步骤的结果识别所述工具的至少一部分的磨损和丢失中的一者或多者。

35.根据权利要求34所述的方法，其中，所述工具是包括磨损构件的地面接合工具，并且识别所述工具的至少一部分的磨损和丢失中的一者或多者的步骤包括识别所述工具的至少所述磨损构件的磨损和丢失中的一者或多者。

36.根据权利要求34或35所述的方法，其中，从一个或多个传感器接收与所述工具相关的数据的步骤包括接收与所述工具的至少一部分相关的三维数据。

37.根据权利要求34至36中任一项所述的方法，还包括将来自多个传感器的数据转换成三维数据的步骤。

38.根据权利要求34至37中任一项所述的方法，其中，生成所述工具的至少一部分的三维表示的步骤包括将从所述一个或多个传感器接收的数据与运动估计组合。

39.根据权利要求38所述的方法，还包括当所述工具运动通过所述传感器的视场时，从所述传感器数据导出所述运动估计。

40.根据权利要求34至39中任一项所述的方法，还包括在生成三维表示的步骤之前预处理所接收的传感器数据。

41.根据权利要求40所述的方法，其中，预处理包括识别预定范围内的传感器数据。

42.根据权利要求40或41所述的方法，其中，预处理包括交错多个传感器扫描。

43.根据权利要求34至42中任一项所述的方法，还包括估计所述工具何时充分位于所述一个或多个传感器的视场内的步骤。

44.根据权利要求43所述的方法，其中，估计步骤包括识别所述传感器数据是否指示在选定点处所述工具被识别为存在或不存在。

45.根据权利要求43或44所述的方法，其中，估计步骤包括确定预期存在所述工具的点与预期不存在所述工具的点的比率。

46.根据权利要求43至45中任一项所述的方法，其中，估计步骤包括基于所述工具的已知几何形状将所述比率与预定阈值进行比较。

47.根据权利要求34至46中任一项所述的方法，还包括将在不同时间获取的多组传感器数据组合成单个三维模型的步骤。

48.根据权利要求47所述的方法，其中，组合多组传感器数据的步骤包括在从估计所述工具充分处于所述一个或多个传感器的视场内时开始的一时间段内组合传感器数据。

49.根据权利要求47或48所述的方法，其中，组合步骤包括所述传感器数据的体素化。

50.根据权利要求34至49中任一项所述的方法，还包括对准多个三维模型的步骤。

51.根据权利要求50所述的方法，其中，对准步骤包括使用迭代最近点(ICP)或正态分布变换(NDT)过程。

52.根据权利要求50或51所述的方法，其中，对准步骤包括确定单应性变换矩阵。

53.根据权利要求52所述的方法，其中，所述单应性变换矩阵基于参考模型和中间模型之间的匹配关键点。

54.根据权利要求34至53中任一项所述的方法，还包括将所生成的三维表示转换成二维范围数据。

55.根据权利要求54所述的方法，其中，转换成二维范围数据的步骤包括通过选择所述三维表示的平面并指示与具有不同图像特性的平面正交的范围数据来创建图像。

56.根据权利要求55所述的方法，其中，还包括通过在一时间段内组合多个二维图像来应用开－关、扩张－消弱过滤器和降噪中的一者或多者来过滤所述二维图像。

57.根据权利要求55或56所述的方法，其中，将所生成的三维表示与先前生成的三维表示进行比较的步骤包括比较包括范围数据的二维图像。

58.根据权利要求55至57中任一项所述的方法，其中，比较步骤包括以变化的时基比较所述二维图像。

59.根据权利要求58所述的方法，其中，所述变化的时基包括短于第二时基的第一时基。

60.根据权利要求55至59中任一项所述的方法，还包括以下步骤：创建差异图像，并将所述差异图像划分为与所述工具的感兴趣区域相对应的分离区域。

61.根据权利要求60所述的方法，其中，所述感兴趣区域包括工具的磨损构件的预期位置。

62.根据权利要求61所述的方法，其中，所述工具是地面接合工具，并且磨损构件包括齿、适配器、护罩和衬垫中的一者或多者。

63.根据权利要求60至62中任一项所述的方法，其中，基于所述工具的预定几何模型和/或边缘检测分析，将所述差异图像划分为分离的区域。

64.根据权利要求63所述的方法，其中，比较步骤还包括测量每个划分区域中的差异图像的变化的步骤。

65.根据权利要求64所述的方法，其中，测量每个区域中差异图像的变化包括通过计数连续像素和/或应用图像卷积处理来量化像素的步骤。

66.根据权利要求65所述的方法，其中，对连续像素进行计数的步骤包括对成行像素进行计数，且将所计数的成行像素的数目与阈值进行比较以指示是否已发生磨损和/或丢失。

67.根据权利要求34至66中任一项所述的方法，还包括在识别所述工具的至少一部分的磨损和丢失中的一者或多者的步骤之后输出所述工具的至少一部分的磨损或丢失的指示的步骤，以识别这种磨损或丢失。

68.根据权利要求67所述的方法，其中，输出磨损或丢失的指示的步骤包括向所述工作设备的操作者发出警报和/或发送丢失、磨损的指示、远程警报中的一者或多者。

69.根据权利要求67或68所述的方法，还包括使用所述工作设备的控制系统中的磨损或丢失的指示来调整操作的步骤。

70.根据权利要求34至69中任一项所述的方法，还包括当指示丢失事件时识别相关车辆的步骤。

71.一种用于工作设备的工具的磨损构件监测系统，所述系统包括：

一个或多个传感器，所述一个或多个传感器安装在所述工作设备上，使得所述工具位于感测视场中；以及

处理器，所述处理器被配置为执行根据权利要求34至70中任一项所述的方法。

72.一种地面工作设备，包括：

地面接合工具；

一个或多个磨损构件，所述一个或多个磨损构件位于所述地面接合工具上；

一个或多个传感器，所述一个或多个传感器指向所述地面接合工具的所述一个或多个磨损构件；

处理器，所述处理器与所述一个或多个传感器通信，所述处理器被配置成：

从所述一个或多个传感器接收数据；

使用从所述一个或多个传感器接收的数据生成所述磨损构件的至少一部分的三维表示；

将所生成的三维表示与先前生成的三维表示进行比较；

使用所生成的三维表示与先前生成的三维表示的比较来识别所述一个或多个磨损构件的磨损和丢失中的一者或多者；以及

当识别一个或多个磨损构件的磨损或丢失时，输出磨损或丢失的指示。

Images