CN117813433A - 作业机器地面接合工具磨损和损耗检测系统和方法 - Google Patents

Abstract

一种示例性磨损检测系统(110)从与作业机器(100)相关联的多个传感器(126、128)接收多个图像。该多个传感器中的各个传感器具有与该多个传感器中的其他传感器不同的相应视场(127、129)。该磨损检测系统识别与该至少一个GET相关联的第一感兴趣区域(550)和第二感兴趣区域(550)。该磨损检测系统基于与该GET相关联的几何参数(535)确定该至少一个GET的第一组图像点(920)和第二组图像点(920)。该磨损检测系统基于该GET测量值确定该至少一个GET的磨损等级或损耗。

Description

作业机器地面接合工具磨损和损耗检测系统和方法

技术领域

本发明涉及一种用于检测物体随时间的磨损的系统和方法，更具体地，涉及用于使用成像技术检测一个或多个地面接合工具(GET)随时间的磨损或损耗的系统和方法。

背景技术

机器可以用于在工地执行各种任务。例如，机器可以用于挖掘、移动、成形、轮廓和/或移除工地处存在的材料，诸如砂砾、混凝土、沥青、土壤和/或其他材料。这些机器可以包括用于收集此类材料的铲斗，并且该铲斗可以包括一组GET(诸如齿部)以使材料松散。GET还可以包括在齿部之间附接至铲斗的护罩以保护铲斗的边缘。随着时间的推移，GET磨损并且尺寸减小，降低了它们的有效性，使得铲斗更难以收集工地材料。GET也可以从铲斗上断开。当未检测到GET断裂时，GET可以与工地材料混合并可对下游加工装置诸如破碎机或粉碎机造成损坏。作业机器可以利用磨损检测系统来在下游装置发生损坏之前识别磨损或损坏的GET。

在2020年12月2日公开的WIPO公开号WO2020237324A1(“’324公开”)中描述了一种提供磨损检测系统的尝试。’324公开描述了一种具有安装在作业设备上的一个或多个传感器的系统，其指向GET以监视GET的状态。该系统从一个或多个传感器接收数据，并且生成GET的至少一部分的三维(3D)表示，并且将GET的当前生成的3D表示与GET的先前生成的3D表示进行比较。系统使用比较来确定GET的磨损或损耗。

然而，如’324公开中所述，仅依靠3D表示来检测GET磨损或损耗具有缺点。GET的3D表示可能过于密集，并且处理它们可能消耗相当多的计算资源。在具有许多传感器的环境中，在作业机器的挖掘倾卸周期期间需要GET的多次扫描，或者在GET磨损检测的速度是关键的情况下，由于计算复杂性，处理3D表示是不可行的。结果，在’324公开中描述的系统可能不适用于某些环境。本文描述的系统和方法旨在解决这些问题中的一个或多个。

发明内容

根据第一方面，一种GET磨损检测方法包括从与作业机器相关联的多个传感器接收多个图像，该多个图像包括该作业机器的至少一个地面接合工具(GET)的图像，其中该多个传感器中的各个传感器具有与该多个传感器中的其他传感器不同的相应视场。该方法还包括识别与该至少一个GET相关联并包括在该多个图像的第一图像中的第一感兴趣区域，该第一感兴趣区域包括表征该至少一个GET的第一数据。该方法还包括识别与该至少一个GET相关联并包括在该多个图像的第二图像中的第二感兴趣区域，该第二感兴趣区域包括表征该至少一个GET的第二数据。该方法确定用于该至少一个GET的第一组图像点，该第一组图像点至少部分地基于与该至少一个GET相关联的几何参数以及在该第一数据中检测到的该至少一个GET的第一边缘来确定。该方法还确定用于该至少一个GET的第二组图像点，该第二组图像点至少部分地基于与该至少一个GET相关联的几何参数以及在该第二数据中检测到的该至少一个GET的第二边缘来确定。该方法还包括至少部分地基于该第一组图像点和该第二组图像点来确定该至少一个GET的GET测量值，并且基于该GET测量值来确定该至少一个GET的磨损等级或损耗。

根据另一方面，一种GET磨损检测系统包括与作业机器相关联的一个或多个处理器以及多个传感器。该多个传感器具有不同的视场，该视场用于捕捉该作业机器的至少一个GET的多个图像。该GET磨损检测系统还包括存储可执行指令的非暂时性计算机可读介质，该可执行指令在由该一个或多个处理器执行时使该一个或多个处理器执行包括以下操作的操作：识别与该至少一个GET相关联并被包括在该多个图像的第一图像中的第一感兴趣区域，该第一感兴趣区域包括表征该至少一个GET的第一数据。该操作还包括识别与该至少一个GET相关联并包括在该多个图像的第二图像中的第二感兴趣区域，该第二感兴趣区域包括表征该至少一个GET的第二数据。该操作还包括确定该至少一个GET的第一组图像点，该第一组图像点至少部分地基于与该至少一个GET相关联的几何参数和在该第一数据中检测到的该至少一个GET的第一边缘来确定。该操作还包括确定用于该至少一个GET的第二组图像点，该第二组图像点至少部分地基于与该至少一个GET相关联的几何参数以及在该第二数据中检测到的该至少一个GET的第二边缘来确定。该操作还包括至少部分地基于该第一组图像点和该第二组图像点来确定该至少一个GET的GET测量值，并且基于该GET测量值来确定该至少一个GET的磨损等级或损耗。

根据另一方面，一种作业机器包括：铲斗，该铲斗包括至少一个GET；立体感摄像机，该立体感摄像机包括左图像传感器和右图像传感器；红外传感器；一个或多个处理器；以及非暂时性计算机可读介质，该非暂时性计算机可读介质存储可执行指令，该可执行指令在由该一个或多个处理器执行时使该一个或多个处理器执行操作。该操作包括接收由该左图像传感器捕捉的该至少一个GET的左图像，接收由该右图像传感器捕捉的该至少一个GET的右图像，以及基于该左图像和该右图像生成视差图。该操作还包括基于该视差图识别与该至少一个GET相关联的第一感兴趣区域。该操作还包括从该红外传感器接收红外图像数据，并在该红外图像数据内识别与该至少一个GET相关联的第二感兴趣区域。该操作确定用于该至少一个GET的第一组图像点，该第一组图像点至少部分地基于与该至少一个GET相关联的几何参数以及在该视差图中检测到的该至少一个GET的第一边缘来确定，并且确定用于该至少一个GET的第二组图像点，该第二组图像点至少部分地基于与该至少一个GET相关联的几何参数以及在该第二数据中检测到的该至少一个GET的第二边缘来确定。该操作还至少部分地基于该第一组图像点和该第二组图像点来确定该至少一个GET的GET测量值，并且基于该GET测量值来确定该至少一个GET的磨损等级或损耗。

附图说明

参照附图描述详细说明。在附图中，附图标记的最左边的数字识别该附图标记首次出现的附图。不同附图中相同的附图标记表示相似或相同的项目。

图1是描绘包括用于检测GET中的磨损的示例性系统的示例性机器的示意图的框图。

图2是描绘具有包括用于检测GET中的磨损的示例性系统的示例性机器的示例性环境的示意性侧视图的示图。

图3是描绘具有包括用于检测GET中的磨损的示例性系统的示例性机器的另一个示例性环境的示意性侧视图的示图。

图4是描绘具有包括用于检测GET中的磨损的示例性系统的示例性机器的另一个示例性环境的示意性侧视图的示图。

图5是描绘使用计算机视觉技术的感兴趣区域检测过程的图像数据的示例性流程的图像数据流图。

图6是描绘使用深度学习技术的感兴趣区域检测过程的图像数据的示例性流程的图像数据流图。

图7是描绘使用深度学习技术的感兴趣区域检测过程的图像数据的示例性流程的图像数据流图。

图8是描绘用于使用激光雷达传感器的感兴趣区域检测过程的图像数据和成像数据的示例性流程的图像数据流图。

图9是描绘用于使用图像点的磨损检测过程的图像数据的示例性流程的图像数据流图。

图10是用于检测示例性环境中的磨损的示例性过程。

图11是用于检测示例性环境中的磨损的示例性过程。

图12是用于检测GET中的磨损的示例性系统的示例性用户界面。

具体实施方式

本发明总体上涉及用于使用一个或多个传感器检测诸如工地的环境中的作业机器的组件的磨损的系统和方法。一个或多个传感器可以包括能够捕捉与组件相关联的成像数据的成像传感器(可以是立体感摄像机或“立体摄像机”的一部分)、激光雷达传感器、红外(IR)传感器、声纳传感器、温度传感器或雷达传感器。成像数据可以包括但不限于视频、图像、激光雷达成像数据、IR成像数据、基于声音的成像数据或雷达数据。成像数据由与作业机器相关联的磨损检测计算机系统分析以检测组件的磨损，该磨损检测计算机系统的各方面可以设置在作业机器上、立体摄像机内、作业机器的一个或多个传感器内、或这些外部或作业机器外部。作为一个示例，该组件可以是作业机器的铲斗的一个或多个GET。作业机器的一个或多个传感器可以各自具有不同的视场，并且可以为组件产生稍微不同的成像数据。不同的视场可以减少与不良照明条件、阴影或碎片相关的误差，这些不良照明条件、阴影或碎片可能负面影响组件的成像。磨损检测系统可以从捕捉的成像数据确定图像点(其可以涉及GET上的标记点，诸如组件上的边缘、角或视觉指示器)，并且使用图像点来确定组件的测量值。基于确定的测量值和/或历史或基线测量值，磨损检测系统可以确定组件的磨损等级或损耗。磨损检测系统可以在作业机器的挖掘倾卸周期中的各个时刻从一个或多个传感器接收成像数据，并且可以基于在挖掘倾卸周期中的时刻的布置来确定是生成警报还是捕捉附加成像数据。

图1是描绘包括示例性磨损检测计算机系统110的示例性作业机器100的示意图的框图。虽然图1将作业机器100描绘为液压采矿铲，但在其他示例中，作业机器100可以包括移动、雕刻、挖掘或移除诸如土壤、岩石或矿物的材料的任何机械。如图1所示，作业机器100可以包括附接至臂122的铲斗120。铲斗120可以包括一个或多个地面接合工具(GET)125，诸如齿部，其辅助作业机器100松开材料。虽然在本发明中提供的示例通常将GET 125称为齿部，但是其他类型的GET也被认为在本发明提供的实施例的范围内。例如，GET可以包括唇缘护罩、边缘防护装置、适配器、裂土器保护装置、切割边缘、侧杆保护装置、尖端，或由于与工地材料的摩擦而随时间磨损的与作业机器相关联的任何其他工具。

作业机器100还包括一个或多个具有相应视场的传感器，诸如具有视场127的传感器126和具有视场129的立体摄像机128。视场127和视场129都指向铲斗120和GET 125。如图1所示，视场127和视场129重叠但不同。仅作为一些示例，传感器126可以包括图像传感器、激光雷达传感器、IR传感器、声纳传感器或雷达传感器。

如本发明中所使用的，术语“成像数据”是指由传感器126或立体摄像机128产生并由磨损检测计算机系统110接收的数据，其可以被解释或处理以反映GET 125的尺寸、形状或外观。虽然本发明以单数形式涉及传感器126，但是在一些实施例中，除了立体摄像机128之外，作业机器100通常还包括多于一个的传感器126，每个传感器都具有相应视场127。例如，作业机器100可以包括具有视场129的摄像机128、激光雷达传感器、附加成像传感器和IR传感器，所有这些可产生由根据公开的实施例的磨损检测计算机系统处理的成像数据。

在一些实施例中，传感器126包括自适应扫描激光雷达传感器，即其分辨率和视场可以被命令、控制和配置的激光雷达传感器。例如，传感器126可以包括AEYE 4Sight M^TM。在一些实施例中，视场127以60度乘30度的基线(表示“低”分辨率范围扫描)开始，该基线然后可以被调整0.1度到跨越0.025度的高清晰度感兴趣区域，但是在其他实施例中可以存在其他视场和角分辨率。传感器126可以被配置为以100Hz的频率收集多达1600个点/平方度。传感器126的精度是视场127的角分辨率和传感器126与GET 125之间的距离的函数。作为示例，当GET 125离传感器126大约六米并且视场127被配置为60度乘30度时，每平方度1,600个点的扫描将在大约7.2米乘3.2米的捕捉矩形内生成LiDAR击中。通过重新聚焦视场，激光雷达命中可以在等级和垂直方向上对准2.6毫米。虽然以上描述了一个示例性传感器126，但是在各种实施例中可以使用能够自适应扫描的不同激光雷达传感器。

传感器126还可以包括红外传感器或能够检测GET 125的热成像的传感器。例如，传感器126可以包括具有640×512分辨率、9Hz刷新率和75度视场的长波红外摄像机。红外传感器126可以在低光环境中或在操作期间碎屑可能粘到GET 125的环境中补充摄像机128。传感器126的其他示例可以包括声纳或雷达传感器。

立体摄像机128包括间隔开的左图像传感器和右图像传感器，以捕捉视场129内的对象(诸如铲斗120和GET 125)的立体图像。在一些实施例中，左图像传感器和右图像传感器捕捉单色图像。立体摄像机128还可以包括彩色图像传感器以捕捉视场129内的对象的彩色图像。在一些实施例中，摄像机128输出数字图像，或者作业机器100可以包括设置在摄像机128和磨损检测计算机系统110之间的模数转换器，以在由磨损检测计算机系统110接收模拟图像之前将其转换为数字图像。虽然本发明为了易于讨论而提及具有单个视场129的立体摄像机128，但是本领域技术人员将理解，摄像机128的每个图像传感器(例如，左、右、彩色)具有其自己的相应视场以生成立体图像，根据公开的实施例，可以从该立体图像测量GET 125。

在一些实施例中，作业机器100的一个或多个传感器，诸如传感器126和摄像机128，可以包括镜头清洁装置，以从一个或多个传感器的镜头的表面(或屏幕)去除碎屑、雾或其他障碍物。镜头清洁装置可以包括例如用于喷射压缩空气、清洗溶剂或清洗防冻溶剂的喷嘴。该镜头清洁装置还可以包括移动擦拭器，该移动擦拭器被配置为用于接触和擦拭该镜头的表面以便将碎屑或其他障碍物推离该镜头表面。在一些实施例中，一个或多个传感器的透镜的盖可以包括致动器，该致动器旋转透镜屏幕(用于圆柱形透镜屏幕)或滑动透镜屏幕(用于平透镜屏幕)，使得其接触一个或多个擦拭器以从屏幕去除碎屑。

当作业机器100在工地内操作时，其可以移动臂122以定位铲斗120，从而在工地内移动或挖掘材料，作为挖掘倾卸周期的一部分。当作业机器100通过挖掘倾卸周期定位铲斗120时，铲斗120可以移入和移出视场127和视场129。传感器126和摄像机128可以被定位成使得它们在挖掘倾卸周期期间具有GET 125的无阻碍视图。例如，传感器126和摄像机128可以定位在作业机器100上，使得在挖掘倾卸周期中铲斗120清空材料时铲斗120和GET 125可见。作为另一示例，传感器126和摄像机128可以定位成使得当臂122在挖掘倾卸周期内完全伸展或完全收缩时铲斗120进入其视场。如下面关于图2-4所解释的，传感器126和摄像机128(以及相应视场127和视场129)的位置可以根据作业机器100的类型和与其工地相关的细节而变化。

在一些实施例中，视场127和视场129可以在挖掘倾卸周期中的不同点处捕捉铲斗120和GET 125的图像数据。例如，传感器126可以在挖掘倾卸周期的早期部分(例如，比周期的结束，更接近周期的开始)捕捉GET 125的图像数据，并且摄像机128可以在挖掘倾卸周期的后期部分(例如，比周期的开始更接近周期的结束)捕捉GET 125的图像数据。在一些实施例中，传感器126和/或摄像机128可以调整它们的相应视场127、129，以在挖掘倾卸周期中的不同点处收集GET 125的图像数据。例如，在一些实施例中，传感器126和摄像机128都可以在挖掘倾卸周期的早期部分捕捉GET 125的图像数据，然后调整视场127、129以在挖掘倾卸周期的后期部分捕捉GET 125的图像数据。

根据一些实施例，作业机器100包括操作者控制面板130。操作者控制面板130可以包括显示器133，该显示器为作业机器100的操作者生成输出，使得操作者可接收与磨损检测计算机系统110相关的状态或警报。显示器133可以包括液晶显示器(LCD)、发光二极管显示器(LED)、阴极射线管(CRT)显示器或本领域已知的其他类型的显示器。在一些示例中，显示器133包括诸如扬声器或耳机端口或外围扬声器的音频输出。显示器133还可以包括音频输入装置，诸如麦克风或用于外围麦克风的端口。在一些实施例中，显示器133包括也用作输入装置的触敏显示屏。

显示器133可以显示关于由磨损计算机检测系统110呈现的GET 125的磨损等级或损耗的信息。例如，显示器133可以显示GET 125的计算的测量值。在一些实施例中，计算的测量值可以被颜色编码以反映GET 125的健康状态。例如，如果GET 125被认为具有可接受的磨损等级，则计算出的测量值可以用绿色背景来显示，如果GET 125接近需要更换时，则用黄色背景来显示，或者如果GET 125已经破裂或磨损到需要更换的点，则用红色来显示。显示器133还可以显示铲斗120、GET 125的图像，或由磨损计算机检测系统110呈现的与GET125相关的视场127、129内的感兴趣区域的图像。

在一些实施例中，操作者控制面板130还包括键盘137。键盘137为磨损检测计算机系统110提供输入能力。键盘137包括允许作业机器100的操作者向磨损检测计算机系统110提供输入的多个键。例如，根据本发明的示例，操作者可以按下键盘137的键以选择或输入作业机器100、铲斗120和/或GET 125的类型。键盘137可以是非虚拟的(例如，包含物理上可按压的键)，或者键盘137可以是在显示器133的触敏实施例中示出的虚拟键盘。

如图1所示，磨损检测计算机系统110包括一个或多个处理器140。处理器140可以包括中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、CPU、GPU或FPGA的某一组合或任何其他类型的处理单元中的一个或多个。处理器140可以具有执行算术及逻辑运算的众多算术逻辑单元(ALU)，以及从处理器高速缓冲存储器提取指令及所存储的内容且接着在程序执行期间在必要时通过调用ALU来执行指令的一个或多个控制单元(CU)。处理器140还可以负责执行存储在存储器143中的应用、例程或过程的驱动程序和其他计算机可执行指令，该存储器可以与普通类型的易失性(RAM)和/或非易失性(ROM)存储器相关联。

磨损检测计算机系统110还包括存储器143。存储器143可以包括系统存储器，其可以是易失性的(例如，RAM)、非易失性的(例如，ROM、闪存等)或两者的某种组合。存储器143还可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的诸如易失性和非易失性、可移动和不可移动介质等非暂时性计算机可读介质。系统存储器、可移动存储和不可移动存储都是非暂时性计算机可读介质的示例。非暂时性计算机可读介质的示例包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储装置、或可以用于存储所需信息并可以由磨损检测计算机系统110访问的任何其他非暂时性介质。

存储器143存储用于本文所述的磨损检测计算机系统110的数据，包括计算机可执行指令。例如，存储器143可以存储磨损检测计算机系统110的一个或多个组件，诸如物理参数库145、图像分析器150、磨损分析器153、警报管理器155和GET磨损等级存储器157。存储器143还可存储附加的组件、模块或可以由处理器140执行的其他代码，以实现磨损检测计算机系统110的操作。例如，存储器143可以包括与输入/输出功能、软件驱动器、操作系统或其他组件相关的代码。

根据一些实施例，磨损检测计算机系统110的各方面可以设置在摄像机128内。例如，摄像机128可以包括一个或多个处理器140和/或存储器143。类似地，磨损检测计算机系统110的各方面可以设置在传感器126内。此外，或可替代地，磨损检测计算机系统110的方面可以设置在作业机器100上和传感器126或摄像机128的外部。

物理参数库145包括与作业机器100、铲斗120、GET 125、传感器126和/或摄像机128相关的物理参数集。例如，物理参数库145可以包括与铲斗120的尺寸、铲斗120的形状、GET 125的尺寸、GET 125的形状、以及GET 125和铲斗120之间的空间关系和/或传感器126和摄像机128之间的空间关系相关的测量值数据，仅作为一些示例。物理参数库145还可以包括与处于新的或未磨损状态的GET 125的尺寸和形状相关的参数，以及当它们达到最大磨损时与GET 125的尺寸和形状相关的参数。

在一些实施例中，物理参数库145可以包括与铲斗120或GET 125的标记点相关的几何参数。标记点与铲斗120和GET 125的方面或参考点相关，磨损分析器153可以使用这些方面或参考点来测量GET 125的磨损或损耗。例如，标记点可以包括GET 125的角、GET 125与铲斗120接合的铲斗120的边缘、铲斗120的边缘与GET 125之间的角，或应用于GET 125的物理标记，诸如焊接、油漆、凹槽、反射带或条形码。物理参数库145可以包括具有关于标记点与GET 125或存储铲斗120的相对位置的信息的物理参数集。例如，物理参数集可以包括GET 125的角的角度，GET 125上的物理标记与GET 125的边缘或铲斗120的边缘的相对位置。磨损检测计算机系统110的实施例可以包括超出在此描述的特定示例的物理参数集，并且本领域普通技术人员将理解，可以使用检测铲斗120或GET 125上的标记点的其他方法，并且物理参数库145可以包括可以由磨损分析器153使用以识别由传感器126和/或摄像机128收集的图像数据中的标记点的物理参数集。

物理参数库145还可以包括与铲斗120和GET 125的组合相关的模板或参考图像(例如，铲斗工具模板)。例如，对于作业机器100，存储在物理参数库145中的模板中的一个可以包括具有GET 125的铲斗120的图像，因为铲斗120预期位于视场127和/或视场129内。铲斗工具模板可以表示未磨损的GET 125(例如，未磨损的或预期的边缘)或已经达到最大磨损的GET 125(例如，阈值边缘)。物理参数库145还可以包括与GET 125的磨损相关的其他信息，以辅助磨损分析器153确定GET何时已经磨损到需要更换的点。仅作为一些示例，与GET 125相关的磨损数据可以呈实际测量值的形式(例如，公制或英制尺寸)或呈像素值的形式。

作为另一个示例，物理参数库145可以包括GET 125的基于CAD的模型。基于CAD的模型可以是使用计算机辅助设计程序开发的参考GET 125的模型，诸如或其他公知的CAD程序。磨损检测计算机系统110可以使用基于CAD的模型作为参考点，以将观察到的GET 125尺寸和形状与相同类型的模型、标准或未磨损的GET相比较，以确定GET 125的磨损或损耗。在一些实施例中，基于CAD的模型可以包括GET 125上的点的位置、取向和/或相对定位。

物理参数库145可以包括多个物理参数集，其中每个物理参数集对应于作业机器、铲斗、GET或它们的组合。在操作期间，操作者可以使用操作者控制面板130从物理参数库145中选择与铲斗120和GET 125或作业机器100匹配的物理参数集。例如，如果作业机器100是型号为“6015B”的液压采矿铲，则操作者可以使用操作者控制面板130来输入型号为“6015B”的液压采矿铲，并且磨损检测计算机系统110可以从物理参数库145将对应于型号为6015B的液压采矿铲的物理参数集加载到存储器143中。在一些示例中，在磨损检测计算机系统110的加电或复位操作时，物理参数库145中可用的模板列表可以显示在显示器133上，并且操作者可以根据作业机器100的型号、铲斗120的铲斗类型或GET 125的类型从列表中选择物理参数集中的一个用于操作。

在一些实施例中，操作者可以在作业班次开始时将铲斗120和GET 125定位在摄像机128的视场129内，并且使磨损检测计算机系统110使用操作者控制面板130上的输入来捕捉铲斗120和GET 125的图像。然后，磨损检测计算机系统110可以执行图像匹配过程，以将铲斗120和GET 125与物理参数集匹配，并基于匹配的物理参数集为本文公开的磨损检测和图像处理过程配置自身。在一些实施例中，磨损检测计算机系统110可以使用传感器126和视场127代替摄像机128和视场129用于该配置过程。

图像分析器150可以被配置为分析由传感器126或摄像机128捕捉的成像数据，以识别视场127和视场129内的GET 125，并且基于该成像数据的处理来测量GET 125的磨损。例如，图像分析器150可以以左整流图像(由摄像机128的左图像传感器捕捉)和右整流图像(由摄像机128的右图像传感器捕捉)的形式从摄像机128接收立体图像。图像分析器150可以对左整流图像和右整流图像执行各种计算机视觉技术，以识别或确定对应于GET 125的感兴趣区域。作为另一个示例，图像分析器150可以接收由传感器126捕捉的成像数据，其可以用于识别对应于GET 125的感兴趣区域。在公开的实施例中，图像分析器150从传感器126接收数据以确定GET 125的磨损或损耗，如下面更详细描述的。

在一些实施例中，当检测到GET 125的磨损或损耗时，图像分析器150处理两组成像数据。捕捉第一组成像数据以识别视场127或视场129内的感兴趣区域。感兴趣区域对应于视野127或视野129内的GET 125的相对位置。用于检测感兴趣区域的第一组成像数据是用于定位GET 125的一般感兴趣区域的宽且较低分辨率的成像数据捕捉，并且可以被称为“粗略扫描”。在一些实施例中，可以使用摄像机128来捕捉第一组成像数据，并且图像分析器150使用计算机视觉或机器学习技术来确定感兴趣区域。在其他实施例中，可以使用传感器126以相对较宽的第一较低分辨率(例如，在传感器126的激光雷达实施例中为60度乘30度)捕捉第一组成像数据。在一些实现方式中，图像分析器150从传感器126和摄像机128两者接收第一组成像数据。

当图像分析器150识别对应于GET 125的感兴趣区域时，其然后可以控制传感器126聚焦在感兴趣的特定区域上以执行更高分辨率的扫描，或者在一些实施例中是“精细扫描”。例如，图像分析器150可以与传感器126的应用编程接口(API)通信，以命令它改变视场127，以随着聚焦在所识别的感兴趣区域上而变得更窄。传感器126然后执行GET 125的另一扫描以收集第二组成像数据。由具有较窄视场127的传感器126捕捉的第二组成像数据将具有比由传感器126(当以宽视场设置时)或摄像机128捕捉的第一成像数据更高的分辨率。

在一些实施例中，粗略扫描可以由传感器126或摄像机128执行，并且精细扫描可以由摄像机128或传感器126中的另一者执行。可替代地，传感器126和摄像机128都可以执行粗略扫描和精细扫描。

在一个实施例中，图像分析器150基于从摄像机128接收的左整流图像和右整流图像创建密集立体视差图。图像分析器可以分割密集立体视差图以识别感兴趣区域。此外，图像分析器150还可以基于密集立体视差图创建三维点云，并且可以分割该三维点云以识别感兴趣区域。

除了计算机视觉技术之外，或者作为使用计算机视觉技术的替代，图像分析器150还可以采用深度学习或机器学习技术来识别由摄像机128捕捉的左整流图像和/或右整流图像内的感兴趣区域。例如，图像分析器150可以使用深度学习GET检测算法，该深度学习GET检测算法采用神经网络，该神经网络已经被训练以基于图像语料库来识别感兴趣区域，其中单个GET、GET组，或GET和铲斗的组合已经被标记。图像分析器150还可以使用深度学习GET定位算法，该算法采用已被训练以在图像内定位GET的神经网络。GET定位算法可以使用其中单个GET已被标记的图像语料库来训练。一旦GET定位算法识别出图像内的各个GET，它就输出GET的对应位置。例如，GET定位算法可以输出与GET的位置相关的像素位置或边界框输出。

在一些实施例中，深度学习GET检测算法包括已被训练以基于视差图识别感兴趣区域的神经网络。例如，用于深度学习GET检测算法的训练数据的语料库可以包括左整流图像和右整流图像之间的差异图像，其中单独的GET、GET组，或GET和铲斗的组合已经被标记。

如上所述，一旦图像分析器150识别出包括GET 125的感兴趣区域，它就可以命令和控制传感器126来聚焦视场127，或者命令和控制摄像机128来聚焦感兴趣区域上的视场129。在一些实施例中，图像分析器150使用传感器126和摄像机128之间的空间关系数据来命令传感器126改变感兴趣区域上的视场127。例如，在激光雷达实施例中，一旦传感器126接收到改变其视场的命令，它就可以改变其MEMS(微机电系统)镜的配置以缩小视场127，从而捕捉与GET 125相关的较高分辨率成像数据。

根据捕捉的较高分辨率成像数据，图像分析器150可创建对应于GET 125的三维点云。三维点云中的每个点对应于由传感器126捕捉的“命中”或检测点，诸如激光雷达命中或红外热成像。在一些实施例中，点之间的实际距离可以小至1毫米。在具有足够高分辨率的实施例中(即，其中点之间的实际距离小于约2.5mm)，图像分析器150将三维点云数据传送到磨损分析器153以用于磨损检测分析。在其他实施例中，图像分析器150可以执行对三维点云数据的额外处理以进一步细化其用于磨损分析。

例如，在一些实施例中，图像分析器150将三维点云转换为密集网格表面。图像分析器150还可以在将GET成像数据传送到磨损分析器153之前将密集网格表面转换为稀疏网格表面。当将由传感器126捕捉的成像数据与基于CAD的GET模型进行比较时，从三维点云到密集网格表面，然后到稀疏网格表面的转换可能是期望的，以减少计算开销。从三维点云到密集网格表面，然后到稀疏网格表面的转换也可以滤除由于过采样而可能存在于成像数据中的噪声。

在一些实施例中，磨损分析器153将从摄像机128接收的较低分辨率的第一接收成像数据与从传感器126接收的较高分辨率的第二接收成像数据融合，以获得观察到的GET125测量值的置信度。在此类实施例中，图像分析器150对由摄像机128捕捉的左图像和右图像执行额外处理。例如，一旦图像分析器150识别出感兴趣区域，它就可以进一步处理它们以创建对应于左整流图像的左边缘数字图像和对应于右整流图像的右边缘数字图像。图像分析器150可以采用基于梯度幅值搜索的边缘检测，但在其他实施例中可采用计算机视觉领域内采用的其他边缘检测技术(例如，基于过零的边缘检测技术)来创建左边缘数字图像和右边缘数字图像。

在一些示例中，图像分析器150可以通过使用捕捉图像内的GET 125的预期位置来细化GET 125的边缘估计和/或识别个体GET 125。例如，图像分析器150可以基于存储在物理参数库145中的与使用中的铲斗120和GET 125的类型相对应的物理参数集来知道GET125相对于铲斗120的预期位置。使用该信息，图像分析器150可以到达所选图像中的预期位置并捕捉靠近齿部的像素区域。然后，像素区域可以用于基于计算机视觉技术进一步识别齿部，计算机视觉技术诸如应用卷积滤波器、分割分析、边缘检测或像素区域内的像素强度/暗度分析。在一些实施例中，图像分析器150可以使用单个齿部模板来应用于像素区域，以使用计算机视觉技术进一步细化齿部的位置。图像分析器150可以使用动态编程技术进一步细化边缘。动态编程技术可以包括基于边缘强度的平滑，边缘是否接近密集立体视差图中的孔或不确定区域，或其他边缘检测优化技术。图像分析器150还可以使用GET定位算法的输出来获得确定GET定位的置信度，并且基于GET定位算法的输出来进一步细化边缘估计。

图像分析器150还可以创建提供给磨损分析器153的稀疏立体视差，磨损分析器153可以与由传感器126捕捉的较高分辨率成像数据一起使用以确定GET 125中的磨损或损耗。在一些实施例中，图像分析器150在左边缘数字图像(与左整流图像相关联)和右边缘数字图像(与右整流图像相关联)之间创建稀疏立体视差，并且该视差由磨损分析器153使用。可替代地，可以从第一感兴趣区域图像(与左整流图像相关联)和第二感兴趣区域图像(与右整流图像相关联)计算稀疏立体视差，并且图像分析器150可以从稀疏立体视差图像检测边缘。

磨损分析器153可以被配置为分析由图像分析器150针对磨损生成的稀疏立体视差。例如，与铲斗120和GET 125相关联的物理参数集可以包括与未磨损的GET 125或已经基于摄像机128的预期图像捕捉而校准的一组未磨损的GET 125相关的预期数据。仅作为一些示例，预期数据可以是像素、实际测量值、GET 125的基于CAD的模型或与未磨损的GET相关的边缘图像的形式。一旦磨损分析器153接收到稀疏立体视差，它就可以将该稀疏立体视差与由传感器126捕捉的较高分辨率成像数据(或，在一些实施例中，基于三维点云确定的密集网格表面或稀疏网格表面)的三维点云融合并相关，以确定与GET 125相关的测量值数据。然后可以将确定的测量值数据与对应于GET 125的未磨损版本的预期数据进行比较，以确定GET 125的磨损等级或损耗。

在一些实施例中，图像分析器150识别从传感器126和/或摄像机128收集的图像数据中的标记点。如上所述，标记点可以指GET 125的角、与GET 125相交的铲斗120的边缘，或者可以指铲斗120或GET 125上的物理或视觉标记。例如，当图像分析器150将GET 125的角识别为标记点时，它可以执行计算机视觉领域中已知的角检测技术，诸如Moravec、Harris&Stephens、Shi-Tomasi、Forstner、multi-scale Harris、Laplacian of Gaussian(高斯调和量算子)、Wang and Brady、SUSAN(最小单值段同化核)、Trajkovic和Hedley和/或Hessian技术，仅作为一些示例。可以使用其他角点检测方法，以及基于由传感器126和/或摄像机128收集的图像数据执行分割、图案匹配或模板匹配分析以识别标记点。

在一些实施例中，除了计算机视觉技术之外或作为计算机视觉技术的替代，图像分析器150可以使用深度学习或机器学习技术来识别感兴趣区域内的标记点。例如，图像分析器150可以部署标记点检测算法，该标记点检测算法已经使用GET 125的标记点(例如，角、边、标记)已经被标记的数据语料库来训练。标记点检测算法可以使用整流单色图像(例如，类似于由摄像机128的左图像和右图像传感器提供的成像数据)、彩色图像(例如，类似于由摄像机128的彩色图像传感器提供的成像数据)、视差图(例如，类似于基于由摄像机128的左图像和右图像传感器提供的成像数据生成的视差)、激光雷达点云成像数据和/或红外成像数据来训练，仅作为一些示例。用于标记点检测算法的训练数据可以变化，并对应于作业机器100的实施例中使用的传感器126和摄像机128的实施例。

图像分析器150还在图像数据源上映射成像数据中的图像点。例如，图像分析器150可以在由传感器126捕捉的成像数据和由128捕捉的成像数据中确定与GET 125的末端有关的图像点。图像分析器150可以这样做以确定成像数据中可能由碎片或不良照明条件引起的误差。例如，图像分析器150可以忽略来自由传感器126捕捉的一组成像数据的像点数据，当与由摄像机128的成像数据捕捉的另一组成像数据的像点数据相比较时，该像点数据看起来是异常值，反之亦然。在一些实施例中，图像分析器150可以将从最近捕捉的成像数据确定的图像点数据与历史图像点数据进行比较，并且忽略与历史图像点数据不一致的图像点数据。

在一些实施例中，与稀疏立体视差相关联的像素计数可以用于测量GET的磨损或损耗。像素计数可以包括面积(例如，GET的总像素)、以像素为单位的GET的高度、以像素为单位的GET的宽度、GET的高度和宽度之和，仅作为一些示例。确定像素计数的方式可以根据GET的形状和样式而变化。例如，对于比宽度长得多的GET，可以使用高度像素计数，而对于比长度宽得多的GET，可以使用宽度像素计数。在不脱离本发明的精神和范围的情况下，可以使用用于确定像素计数的各种方法。

在一些实施例中，磨损分析器153可以计算确定的测量值数据和对应于未磨损GET125的预期数据之间的相似性得分。相似性得分可以反映确定的GET 125的测量值数据与物理参数集的预期数据匹配得有多好的度量。例如，相似性得分可以包括使用联合的交集或Jaccard指数方法来检测相似性。在一些实施例中，可以采用检测相似性的骰子系数或F1得分方法来确定相似性得分。相似性得分还可以包括反映稀疏立体视差的多少像素与预期边缘图像重叠的百分比的值。在一些实施例中，相似性得分可以从0到100进行缩放或归一化。

相似性得分可以提供GET 125磨损的指示。例如，低分(例如，0至20的范围)可以指示GET 125中的一个已经断裂或缺失，指示齿部损耗。高分(例如，范围80-100)可以指示齿部健康良好且不需要更换。在低分和高得分之间的得分可以为齿部提供磨损等级，其中较高的得分表示比较低的得分更长的齿部替换前置时间。

在一些实施例中，磨损分析器153可以随时间收集与GET 125相关的测量值数据，并使用收集的测量值数据来确定GET 125的磨损等级和GET 125的磨损趋势。磨损分析器153可以将收集的测量值数据存储在GET磨损等级存储器157中。例如，作业机器100可以在其工地中作业几天以进行工作。当作业机器100在工作期间移动材料时，摄像机128向磨损检测计算机系统110提供立体图像铲斗120和GET 125，并且图像分析器150为GET 125创建稀疏的立体差异。磨损分析器153可以在工作时间段内的若干时刻映射与GET 125相关联的测量值数据(例如，像素计数、度量测量、英制测量)。当铲斗120和GET 125在工地与材料接合时，预期GET 125将由于磨损而减小尺寸。因此，与GET 125相关联的测量值数据将同样随时间减小，并且随时间的像素计数将反映磨损趋势。磨损分析器153可以使用在特定时间点的磨损趋势来确定GET 125在特定时间点的磨损等级。GET 125的磨损等级可以指示GET125需要更换，或者它可以指示GET 125中的一个或多个的损耗。在一些实施例中，与GET125相关联的测量值数据可以存储在存储器143中并应用于多种工作和多个工地，并且磨损趋势可以适用于GET 125的寿命。在此类实施例中，由磨损分析器153捕捉的与GET 125相关联的像素计数可以在更换铲斗120或GET 125时被重置，并且磨损分析器153可以从零时间点重新开始收集GET 125的像素计数。

由于磨损分析器153基于随时间测量的GET 125的测量值数据确定磨损趋势，所以磨损分析器153还可以形成GET 125何时需要更换的预测。例如，如果磨损分析器153确定与GET 125相关联的测量值数据表明GET 125每10个作业小时损耗1％的寿命(因为测量值数据每10个作业小时减少1％)，并且GET 125已经使用了800个作业小时，则磨损分析器153可以确定GET 125需要在200小时内更换。

在一些实施例中，磨损检测计算机系统110可以包括警报管理器155。警报管理器155可以与磨损分析器153通信，并且可以监视由磨损分析器153确定的磨损趋势和磨损等级。警报管理器155可以基于由磨损分析器153确定的信息向操作者控制面板130提供消息警报。例如，当磨损等级达到磨损阈值时，警报管理器155可以生成显示在操作者控制面板130的显示器133上的警报。阈值可以对应于指示极端GET磨损或在一些情况下指示完全GET损耗的值。警报可以向作业机器100的操作者提供一个或多个GET 125需要更换的指示。磨损阈值可以与实施例不同，并且可以取决于GET 125的类型和GET 125接合的工地处的材料。

警报管理器155还可以提供GET 125在将来的某个点可能需要更换的警报，例如，GET 125可能需要在两周内更换。替换警报可以包括与GET 125的磨损趋势预测相关的信息。例如，替换警报可以包括磨损趋势的量化(例如，GET 125每作业日磨损2％)，齿部已经使用的时间量，或GET 125将基于使用数据达到磨损阈值的预期日期或时间。

在一些实施例中，警报管理器155可以监视由磨损分析器153确定的磨损趋势，并向显示器133提供磨损等级值，以通知作业机器100的操作者当前的磨损等级。例如，如果磨损趋势指示GET 125被磨损60％，则基于该磨损趋势，警报管理器155可以提供GET 125在其需要被更换之前剩余其寿命的40％的指示。显示器133还可以通知操作者齿部已经断裂，指示齿部损耗(例如，当一个或多个GET 125具有小于20％的寿命时)。

在一些实施例中，警报管理器155可以生成使磨损等级呈现在显示器133上的指令，该显示器示出GET 125的磨损等级或测量值。例如，如果磨损分析器153基于处理的成像数据确定GET 125中的一个当前是325mm，则警报管理器155可以生成指令，该指令在由处理器执行时使得显示器133显示该一个GET当前是325mm的度量。

在一些实现方式中，磨损检测计算机系统110可以与远程监视计算机系统160通信。远程监视计算机系统160可以包括远程显示器163、一个或多个远程处理器165和远程存储器170。远程监视计算机系统160可以位于一个或多个作业机器100操作的工地处，并且可以与工地处的磨损检测计算机系统110的相关联的实例通信。远程监视计算机系统160可以被配置为显示多个作业机器100的GET磨损等级，并存储GET磨损信息，以便于监视整个工地的GET健康。例如，远程显示器163可以被配置为显示对应于一个或多个作业机器100的用户界面，以在一个位置显示相应GET 125磨损等级，以便于监视。远程监视计算机系统160可以实现为膝上型计算机、台式计算机系统或移动装置。

远程监视计算机系统160包括一个或多个远程处理器165。远程处理器165可以包括中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、CPU、GPU或FPGA的某一组合或任何其他类型的处理单元中的一个或多个。远程处理器165可以具有执行算术及逻辑运算的众多算术逻辑单元(ALU)，以及从处理器高速缓冲存储器提取指令及所存储的内容且接着在程序执行期间在必要时通过调用ALU来执行指令的一个或多个控制单元(CU)。远程处理器165还可以负责执行存储在远程存储器170中的应用、例程或过程的驱动程序和其他计算机可执行指令，该远程存储器可以与普通类型的易失性(RAM)和/或非易失性(ROM)存储器相关联。

远程监视计算机系统160还包括远程存储器170。远程存储器170可以包括系统存储器，其可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或两者的某种组合。远程存储器170还可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的诸如易失性和非易失性、可移动和不可移动介质等非暂时性计算机可读介质。系统存储器、可移动存储和不可移动存储都是非暂时性计算机可读介质的示例。非暂时性计算机可读介质的示例包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储装置、或者可以用于存储期望的信息并且可以由远程监控计算机系统访问的任何其他非暂时性介质。

远程存储器170存储用于远程监视计算机系统160的数据，包括计算机可执行指令，以命令和控制远程显示器163并实现远程日志管理器175。远程存储器170还可以存储附加的组件、模块或可以由远程处理器165执行的其他代码，以实现远程监视计算机系统160的操作。例如，远程存储器170可以包括与输入/输出功能、软件驱动器、操作系统或其他组件相关的代码。

远程监视计算机系统160包括远程显示器163，该远程显示器为工地的管理者产生与GET健康状态相关的监视输出，并接收与工地处的一个或多个作业机器100的GET磨损等级相关的警告和警报。远程显示器163可以包括液晶显示器(LCD)、发光二极管显示器(LED)、阴极射线管(CRT)显示器或本领域已知的其他类型的显示器。在一些示例中，远程显示器163包括诸如扬声器或耳机端口或外围扬声器的音频输出。远程显示器133还可以包括音频输入装置，诸如麦克风或用于外围麦克风的端口。在一些实施例中，远程显示器133包括也用作输入装置的触敏显示屏。

类似于显示器133(在作业机器100上)，远程监视计算机系统160的远程显示器163可以显示关于GET 125的磨损等级或损耗的信息，该信息已经由工地处的磨损计算机检测系统110呈现。例如，远程显示器163可显示一个或多个作业机器100的GET 125的计算的测量值。在一些实施例中，计算的测量值可以被颜色编码以反映GET 125的健康状态。例如，如果GET 125被认为具有可接受的磨损等级，则计算出的测量值可以用绿色背景来显示，如果GET 125接近需要更换时，则用黄色背景来显示，或者如果GET 125已经破裂或磨损到需要更换的点，则用红色来显示。显示器133还可以显示铲斗120、GET 125的图像，或由工地处的作业机器100的相应磨损计算机检测系统110呈现的与GET 125相关的视场127、129内的感兴趣区域的图像。

磨损检测计算机系统110允许当GET 125需要更换或由于大量磨损而损坏时通知作业机器100的操作者。由磨损检测计算机系统110采用的过程-其在下面更详细地描述-提供小于5mm的尺度的GET磨损的精确和准确的测量值，允许操作者在GET磨损或损耗极端的情况下停止作业机器100的操作。由磨损检测计算机系统110部署的过程和技术可以与各种作业机器一起使用。

例如，图2是描绘轮式装载机作业机器201在其中操作的示例性环境200的示意性侧视图的示图。轮式装载机作业机器201可以包括铲斗220和一个或多个GET 225。如图2所示，传感器226和摄像机228定位成使得在挖掘倾卸周期的倾卸结束期间，GET 225和铲斗220在(传感器226的)视野227和(摄像机228的)视野229内。因此，在此类实施例中，激光雷达传感器226和摄像机228可以被配置为当铲斗220在挖掘倾卸周期的倾卸结束静止时捕捉成像数据。

作为另一示例，图3是描绘液压采矿铲作业机器301在其中操作的示例性环境300的示意性侧视图的示图。液压采矿铲作业机器301可以包括铲斗320和一个或多个GET 325。与用于轮式装载机作业机器201的传感器226和摄像机228的位置相反，传感器326和摄像机328定位成使得在挖掘倾卸周期的挖掘结束期间，GET 325在(传感器326的)视场327和(摄像机328的)视场329内。在此类实施例中，传感器326和摄像机328可被配置为当铲斗320在挖掘倾卸周期的挖掘结束时静止时捕捉成像数据。

在又一示例中，图4是描绘其中电绳铲作业机器401正在操作的示例性环境400的示意性侧视图的示图。电绳铲作业机器401可以包括铲斗420、一个或多个GET 425、传感器426和摄像机428。如图4所示，GET 425可以在挖掘倾卸周期的中点处在(传感器426的)视场427和(摄像机428的)视场429内，但是在当铲斗420相对靠近传感器426和摄像机428时。在此类实施例中，传感器426和摄像机428可以被配置为当铲斗420进入与视场427和视场429相关的位置范围时捕捉成像数据。

应当注意，图2至图4仅仅是特定作业机器和传感器/摄像机位置的示例，但是传感器226、326、426和摄像机228、328、428可以定位成使得它们各自的视场227、327、427、229、329、429在作业机器201、301、401的挖掘倾卸周期中的任何点处捕捉图像数据。此外，所描述的传感器226、326、426和摄像机228、328、428的定位可以在一些实施例中组合。例如，本发明考虑了轮式装载机作业机器201、液压采矿铲作业机器301和电绳铲作业机器401的实施例，该电绳铲作业机器具有传感器和摄像机，该传感器和摄像机的视场指向挖掘倾卸周期的开始、中间和/或结束。

图5描绘了图像数据流图500，其描绘了使用计算机视觉技术的感兴趣区域检测过程的成像数据的示例性流程。图像数据流图500包括在检测由与GET 125相关的摄像机128捕捉的成像数据内的感兴趣区域时由图像分析器150接收、处理和生成的图像。图像数据流图500包括由摄像机128捕捉的左图像510和右图像520。左图像510可以是由摄像机128的左图像传感器捕捉的整流图像。右图像520可以是由摄像机128的右图像传感器捕捉的整流图像。左图像510和右图像520都包括铲斗120和GET 125的图像。

图像分析器150可以处理左图像510和右图像520以创建视差图530。视差图530可以是示出左图像510的每个像素和右图像520的每个像素之间的视差的密集立体视差图。使用从物理参数库145获得并与铲斗120、GET 125和/或作业机器100相关联的视差图530和物理参数集535，图像分析器150可以构建三维点云540。3D点云540示出了三维中左图像510和右图像520之间的差异。然后，图像分析器150可以对三维点云540执行分割分析，以识别左图像510、右图像520或两者内包括GET 125的感兴趣区域550。在一些实施例中，图像分析器150可以使用感兴趣区域550来命令和控制传感器126捕捉GET 125的较高分辨率成像数据。

图6描绘了图像数据流程图600，其描绘了使用深度学习技术的感兴趣区域检测过程的成像数据的示例性流程。类似于上述图像数据流图500，感兴趣区域检测处理的输出将是对应于GET 125的感兴趣区域550，然后图像分析器150将使用该感兴趣区域来进一步分析图像数据。但是与图像数据流图500不同，图像分析器150利用深度学习技术来检测图像数据流图600中的感兴趣区域550。

图像数据流图600包括由摄像机128捕捉的图像610。图像610可以是由摄像机128的左图像传感器或右图像传感器捕捉的整流图像，或者它可以是从传感器126捕捉的图像数据。图像分析器150可以对图像610应用深度学习GET检测算法。深度学习GET检测算法可以采用已经用图像数据的语料库训练的神经网络，其中GET已经被单独识别和标记和/或GET组已经被单独识别和标记。当图像分析器150将深度学习GET检测算法应用于图像610时，其可以识别包含个别GET 125的图像的多个个别GET边界框620。在一些实施例中，图像分析器150还可以识别包含单个GET边界框620的GET组边界框630。一旦图像分析器150识别出GET组边界框630，它就可以提取其中的像素作为感兴趣区域550。注意，虽然图6示出了从图像610检测感兴趣区域550，该图像可以表示来自摄像机128的左图像传感器、摄像机128的右图像传感器、摄像机128的彩色图像传感器的图像数据，或者由传感器126捕捉的图像数据，但是在一些实施例中，图像数据流图600可以应用于特定时刻的这些中的一个以上。例如，图像分析器150可以在来自摄像机128的左图像传感器、摄像机128的右图像传感器、摄像机128的彩色图像传感器和/或由传感器126在特定时间捕捉的图像数据中的多于一个的成像数据中检测感兴趣区域。

图7描绘了图像数据流图700，其描绘了使用深度学习技术的感兴趣区域检测过程的成像数据的示例性流程。类似于上述图像数据流图600，感兴趣区域检测处理的输出将是对应于GET 125的感兴趣区域550，然后图像分析器150将使用该感兴趣区域来进一步分析图像数据。但是与图像数据流图500不同，关于图7描述的深度学习GET检测算法已经使用包括视差图的数据语料库来训练，并且使用从多于一个图像传感器(例如，摄像机128的左图像传感器和右图像传感器)生成的视差图来检测感兴趣区域。

图像数据流图700包括由摄像机128或传感器126捕捉的第一图像710和第二图像720。仅作为一个示例，第一图像710可以是由摄像机128的左图像传感器捕捉的整流图像，并且第二图像720可以是由摄像机128的右图像传感器捕捉的整流图像，但是第一图像710和第二图像720不必从摄像机128接收。作为另一示例，第一图像710或第二图像720中的一者可为从传感器126捕捉的红外图像数据。作为又一示例，第一图像710可以由传感器126捕捉，而第二图像720可以由摄像机128捕捉，反之亦然。第一图像710和第二图像720都包括铲斗120和GET 125的图像。图像分析器150可以处理第一图像710和第二图像720以创建视差图730。视差图730可以是示出第一图像710的每个像素和第二图像720的每个像素之间的视差的密集立体视差图。

图像分析器150可以将深度学习GET检测算法应用于视差图730。深度学习GET检测算法可以采用已经用图像数据的语料库训练过的神经网络，其中在与第一图像710和第二图像720内捕捉的铲斗120和GET 125的类型相对应的视差图中，GET已经被单独地识别和标记和/或GET组已经被单独地识别和标记。当图像分析器150将深度学习GET检测算法应用于视差图730时，其可以识别包含个别GET 125的图像的多个个别GET边界框740。在一些实施例中，图像分析器150还可以识别包含单个GET边界框740的GET组边界框750。一旦图像分析器150识别出GET组边界框750，它就可以提取其中的像素作为感兴趣区域550。

图8描绘图像数据流图800，其描绘用于由传感器126捕捉的成像数据的感兴趣区域检测过程的成像数据的示例性流程。以下对图8的描述使用传感器126的激光雷达实施例作为示例，但也可考虑其他示例。根据图像数据流图800由传感器126捕捉的成像数据基本上对应于图像810中所示的视场。如图所示，视场包括铲斗120和GET 125。

传感器126执行激光雷达数据捕捉，其包括当传感器126检测到对象表面(例如，对应于铲斗120或GET 125的表面)时的多个激光雷达“命中”。可以将激光雷达命中表示为三维点云820，其中三维点云820的每个点对应于激光雷达命中。图像分析器150通过执行分割分析或其他对象识别分析技术，基于三维点云820确定510的感兴趣区域。在一些实施例中，图像分析器150可以使用物理参数集535来识别感兴趣区域550。例如，图像分析器150可以使用铲斗齿部模板，GET 125的基于CAD的模型或图案匹配技术来识别三维点云820内的感兴趣区域550。

图9描绘了图像数据流图900，其描绘了用于使用标记点识别的磨损检测过程的成像数据的示例性流程。如上所述，GET 125的特征可以被认为是标记点，并且磨损检测计算机系统110可以基于图像数据内的标记点或对应于GET 125的图像数据中的感兴趣区域的识别来确定GET 125测量值。标记点可以包括例如GET 125的边、角或特定角度。数据流图900示出了使用一个感兴趣区域(例如，感兴趣区域910)进行标记点识别的数据流，但是在操作中，磨损检测计算机系统110可以根据数据流图900针对每个时刻从传感器126和/或摄像机128接收的多组图像数据来处理成像数据。

一旦图像分析器150识别了感兴趣区域910，它就参考物理参数集535来辅助识别感兴趣区域910内对应于GET 125的标记点920。例如，物理参数集535可以包括当在感兴趣区域910上执行角检测分析时图像分析器可以使用的GET 125的每个角的角度的尺寸或形状。作为另一示例，物理参数集535可以包括与图像分析器150在分割分析中应用于感兴趣区域910的GET 125中的标记点(例如，角、标记、焊接或其他识别符的图像)相匹配的模板。在感兴趣区域910对应于由IR摄像机捕捉的图像数据的实施例中，物理参数集535可以包括与GET 125的预期温度值和使用GET 125的作业环境相关的温度信息。

一旦图像分析器150确定了标记点920，它就可以识别和/或以其他方式确定GET端930。GET端930与GET 125的长度相关，其中一端与GET 125的铲斗侧边缘相关(例如，在GET125与铲斗120相交的地方)，另一端与GET 125的前边缘或接合边缘相关(例如，在GET 125与地面接合的地方)。基于GET端930的确定，磨损分析器153可以确定在感兴趣区域910内的GET 125的GET测量值940。例如，磨损分析器153可以确定特定GET 125的GET端930之间的像素数量，然后将像素计数转换为距离测量值(例如，以公制或英制单位的真实世界距离测量值)。

图10示出了表示用于检测GET 125的磨损的示例性磨损检测过程1000的流程图。在一些实施例中，过程1000可以由图像分析器150和磨损分析器153执行。过程1000通常遵循图5至图9的图像数据流，并且应当与这些图的描述以及以上关于图1描述的图像分析器150和磨损分析器153的描述一致地解释。尽管以下讨论描述了由图像分析器150或磨损分析器153执行的过程1000的各方面，但是磨损检测计算机系统110的其他组件可以执行过程1000的一个或多个框，而不脱离本发明的精神和范围。

过程1000开始于步骤1010，其中图像分析器150从与作业机器100相关联的多个传感器接收成像数据。例如，多个传感器可以包括传感器126和摄像机128的左单色、右单色或彩色图像传感器。在一些实施例中，多个传感器中的每一个具有不同的视场。例如，摄像机128的左单色图像传感器和摄像机128的右单色图像传感器可以具有稍微不同的视场以生成立体成像所需的视差。作为另一示例，传感器126和摄像机128可以在作业机器100上具有不同的取向，以从不同的角度捕捉与GET 125相关的图像数据。图像分析器150在作业机器的挖掘倾卸周期期间从多个传感器中的每一个接收成像数据，并且图像分析器150可以将用于多个传感器的相应成像数据相关以用于分析目的。例如，对于过程1000的一次迭代，图像分析器150可以从多个传感器中的一个接收第一图像数据，并且从多个传感器中的另一个接收第二图像数据，并且将它们一起处理以确定一个挖掘倾卸周期的GET磨损测量值。

在步骤1020，图像分析器150识别在步骤1010从多个传感器接收的图像数据内的相应感兴趣区域。例如，图像分析器150可以使用计算机视觉技术(参见例如图5)来识别从多个传感器中的第一传感器接收的第一图像数据内的第一感兴趣区域和从多个传感器中的第二传感器接收的第二图像数据内的第二感兴趣区域。图像分析器150还可以使用深度学习技术(参见例如图6、图7)来识别从多个传感器中的第一传感器接收的第一图像数据内的第一感兴趣区域和从多个传感器中的第二传感器接收的第二图像数据内的第二感兴趣区域。当多个传感器中的一个是激光雷达传感器时，图像分析器150可以使用点云分析方法来确定图像数据内的感兴趣区域(参见例如，图8)。

在步骤1030，图像分析器150还可以识别感兴趣区域内的一个或多个图像点(参见例如，图9)。在一些示例中，在步骤1030由图像分析器150识别的图像点与GET 125的边缘相关联，如以上参照图1和9所述。在一些实施例中，图像分析器150使用描述GET 125的几何参数来确定图像点。几何参数可以描述GET 125的角(例如，前边缘到侧边缘的相对长度、角角度、角形状)，或者它们可以描述GET 125的其他物理方面，诸如总体尺寸、形状或厚度。

在步骤1040，磨损分析器153基于在步骤1030识别的图像点确定GET测量值。磨损分析器153可以将图像点之间的像素计数与距离测量值(参见例如图9)相关联以确定GET测量值。在一些实施例中，磨损分析器153可以跟踪和记录以像素为单位的GET测量值。基于在步骤1040确定的GET测量值，磨损分析器153在步骤1050确定磨损等级或GET损耗。磨损等级或损耗可以在真实世界测量值(例如，毫米)中以像素或预期尺寸的百分比(例如，基于GET125的基于CAD的模型)来量化。如上所述，磨损分析器153可以使用未磨损状态下的GET 125的基于CAD的模型，并将其与观察到的GET 125测量值进行比较，以确定GET磨损等级或损耗。磨损分析器153还可以使用GET的历史测量值数据来确定随时间的磨损等级或确定磨损等级趋势以预测GET 125何时需要更换。在一些实施例中，磨损分析器153可以被配置为当磨损超过阈值时确定损耗。例如，如果GET的尺寸大于50％减小，或者减小固定的测量值(例如，长度为5cm)，则磨损分析器可以确定GET的损耗。当GET的磨损达到或超过阈值时，磨损分析器153可以生成警报。

在一些实施例中，图像分析器150和磨损分析器153在一个挖掘倾卸周期内执行处理1000若干次。在此类实施例中，磨损分析器153可以将在挖掘倾卸周期中的当前点处确定的GET测量值(步骤1040)与在同一挖掘倾卸周期内较早(或较晚)确定的一个或多个GET测量值，或与历史测量值进行比较，并且确定当前确定的GET测量值是否一致。如果测量值是不一致的-例如，它与同一挖掘倾卸周期内的其他GET测量值相差某个阈值-磨损分析器153可以丢弃当前测量值作为噪声或错误数据。可以基于环境、作业机器或GET的类型来配置阈值。例如，对于挖掘具有长GET的较软材料的作业机器，阈值可被设定为低值(例如，小于10％)，而对于挖掘具有较短GET的硬材料的作业机器，阈值可被设定为较高值(例如，大于20％)。此外，在一些实施例中，图像分析器150和磨损分析器153还可以考虑当它执行过程1000以确定确定的GET测量值是否是噪声时的挖掘倾卸周期内的时间点。

图11示出了表示用于检测GET 125的磨损的示例性磨损检测过程1100的流程图。在一些实施例中，过程1100可以由图像分析器150和磨损分析器153执行。过程1100总体上遵循图5至图9的图像数据流，并且根据这些图的描述，上文相对于图1描述的图像分析器150和磨损分析器153的描述以及磨损检测过程1000来解释。虽然以下讨论描述了由图像分析器150或磨损分析器153执行的过程1100的各方面，但磨损检测计算机系统110的其他组件可以执行过程1100的一个或多个框而不背离本发明的精神和范围。

过程1100可以在作业机器100的一个挖掘倾卸周期内或在作业机器100的多个挖掘倾卸周期内/跨作业机器100的多个挖掘倾卸周期执行。在一些实施例中，图像分析器150和磨损分析器153在单个挖掘倾卸周期内执行处理1100若干次。

在挖掘倾卸周期开始之后(框1105)，在步骤1110，图像分析器150从传感器126或摄像机128接收第一图像数据。在处理图像第一图像数据(仅使用过程1000作为一个非限制性示例)之后，磨损分析器153在框1115处确定GET 125的第一磨损测量值，并由此确定GET125的第一磨损等级。仅作为一些示例，磨损分析器153可以使用以上关于图1，9和10描述的技术来确定第一磨损测量值和第一磨损等级。

在磨损分析器153确定GET 125的第一磨损等级之后，它将确定第一磨损等级是否表示GET更换条件，例如，如果磨损分析器153应该生成警报以通知作业机器100的操作者GET需要更换。在一些实施例中，第一磨损等级是否指示GET更换条件的确定可以包含两个决定。一个决定是磨损等级是否指示需要警报(步骤1127)。如果磨损等级未指示需要警告(步骤1127：否)，过程1100结束且可以在与所公开的实施例一致的同一挖掘倾卸周期内的另一时间重复。(框1195)。然而，如果磨损等级指示需要警报(步骤1127：是)，处理移动到另一判定(步骤1129)-第一图像数据是否在挖掘倾卸周期的后期被捕捉。在一些实施例中，其他决定可以基于挖掘倾卸周期内的“后期点”。如果在后期点之后接收到第一图像数据，则磨损分析器153可以确定它在挖掘倾卸周期中在后期(步骤1129：是)，过程1100将进入步骤1135，磨损分析器153将生成警报。如果在后期点之前接收到第一图像数据，那么磨损分析器153可以确定其不在挖掘倾卸周期的后期(步骤1129：否)，过程1100将进入步骤1140。在一些实施例中，后期点可以由作业机器100的操作者设置，并且后期点可以具有默认设置。示例性的默认设置是在挖掘倾卸周期中的中点或50％点，接近挖掘倾卸周期结束时捕捉的图像数据在周期的后期捕捉，而接近挖掘倾卸周期开始时捕捉的图像数据在挖掘倾卸周期的早期(不是后期)捕捉。

当磨损分析器153确定第一GET磨损等级指示需要警报并且它在挖掘倾卸周期的后期没有接收到第一图像数据时，将收集用于GET 125的第二组图像数据以确认需要警报。在步骤1140，图像分析器150从传感器126或摄像机128接收第二图像数据。在处理第二图像数据(仅使用过程1000作为一个非限制性示例)之后，磨损分析器153在框1145处确定GET125的第二磨损测量值，并由此以与上述如何确定GET 125的第一磨损等级类似的方式确定GET 125的第二磨损等级(步骤1150)。然后，磨损分析器153确定是否已经满足GET更换条件。如果第一磨损等级和第二磨损等级均表明需要警报(步骤1155：是)，然后磨损分析器将在步骤1135生成警报。然而，如果第二磨损等级未指示需要警报(步骤1155：否)，不满足GET更换条件，并且过程1100结束当前的挖掘倾卸周期(框1195)。

在一些实施例中，磨损分析器153可以记录过程1100的每次迭代的第一GET磨损等级或第二GET磨损等级(当计算时)。记录可以包括存储GET磨损测量值，GET磨损等级和/或存储捕捉的图像数据。磨损分析器153可以将该信息本地记录到GET磨损等级存储器157中的磨损检测计算机系统110，或者将其提供给远程监视计算机系统以存储在远程日志管理器175中。

图12示出了可以在显示器133或远程显示器163上呈现的示例性磨损检测用户界面1200。用户界面1200可以包括铲斗120和GET 125的捕捉图像1210。在一些实施例中，捕捉的图像1210可以是铲斗120和GET 125的静止图像或实时视频图像。用户界面1200还可以包括用于GET 125的状态用户界面元素1220，其显示GET 125的当前状态。状态用户界面元素1220可显示例如GET 125的当前测量值(如图12所示)，GET 125的磨损百分比或两者。在一些实施例中，状态用户界面可以包括GET磨损的标记，诸如颜色编码，以向作业机器100的操作者提供信息。例如，当GET 125处于良好显著磨损的情况下处于良好健康状态时，状态用户界面元素1220可以用健康指示符1230来呈现。健康指示符1230可以被颜色编码(例如，绿色)以指示不需要采取行动。作为另一示例，当GET 125被部分地磨损并且接近需要更换时，状态用户界面元素1220可以呈现有部分磨损指示符1240。部分磨损指示器1240可以采用特殊字体进行颜色编码(例如，黄色)，或在用户界面1200中突出显示。作为另一个示例，当GET125被磨损到需要更换的程度或已经损坏时，状态用户接口单元1220可以呈现完整的磨损指示器1250。完整磨损指示器1250可以是颜色编码的(例如，红色)、特殊字体、高亮显示或在用户界面1200中始终闪烁，以警告操作者。

用户界面1200还可以包括GET 125的特写视图1260。例如，特写视图1260可以对应于图像数据内的所识别的感兴趣区域。在一些实施例中，除了完全磨损指示器1250之外，用户界面1200可以包括警告通知1270以警告操作者GET更换条件。部分磨损指示器1240、完全磨损指示器1250和/或警告通知1270也可附带音频提示或警报。

贯穿以上描述，磨损检测计算机系统110的某些组件被描述为执行某些操作。但是，在磨损检测计算机系统110的一些实施例中，除了上述之外，其他组件可以执行这些操作。此外，磨损检测计算机系统110可以包括比以上在示例性实施例中所呈现的组件更多或更少的组件。本领域的技术人员将理解，磨损检测计算机系统110不必限于上面公开的特定实施例。

工业实用性

本发明的系统和方法可与在工地处挖掘、移动、成形、造型和/或移除诸如土壤、岩石、矿物等材料的作业机器的操作相关联地使用。这些作业机器可装备有用于在工地时铲起，挖掘或倾卸材料的铲斗。铲斗可以装备有一个或多个GET以在操作期间辅助材料的松动。作业机器还可以包括具有处理器和存储器的系统，该处理器和存储器被配置为执行根据本文该示例的磨损检测方法。该系统和方法可以检测诸如GET之类的作业机器组件的磨损或损耗，使得此类作业机器的操作者可以在损坏下游处理装置的故障发生之前采取校正动作。

在一些示例中，该系统和方法从作业机器的一个或多个传感器捕捉与GET相关联的成像数据，该成像数据然后被处理以确定GET的磨损或损耗。一个或多个传感器可以包括激光雷达传感器、图像传感器和/或立体感摄像机。

在一些示例中，该系统和方法使用来自多个传感器的图像数据来更准确地确定GET磨损。该系统和方法检测图像数据内的图像点以关联多个图像传感器上的GET测量值。通过使用图像点，可以精确地简化不同类型的传感器上的处理。此外，使用图像点可以通过减少确定测量所需的数据量来降低GET磨损测量值的计算复杂度。本发明中描述的方法提供GET的高精度测量值，同时仍然提供处理效率。

虽然已经参照上述实施例具体示出和描述了本发明的各方面，但是本领域的技术人员将理解，在不脱离公开的精神和范围的情况下，可以通过对公开的装置、系统和方法的修改来设想各种附加实施例。此类实施例应当被理解为落入基于权利要求及其任何等效物确定的本发明的范围内。

Claims (10)

1.一种计算机实现的方法，包括：

从与作业机器(100)相关联的多个传感器(126、128)接收多个图像，所述多个图像包括所述作业机器的至少一个地面接合工具(GET)(125)的图像，其中，所述多个传感器中的各个传感器具有与所述多个传感器中的其他传感器不同的相应视场(127、129)；

识别与所述至少一个GET相关联并且被包括在所述多个图像的第一图像中的第一感兴趣区域(550)，所述第一感兴趣区域包括表征所述至少一个GET的第一数据；

识别与所述至少一个GET相关联并且被包括在所述多个图像的第二图像中的第二感兴趣区域(550)，所述第二感兴趣区域包括表征所述至少一个GET的第二数据；

确定用于所述至少一个GET的第一组图像点(920)，所述第一组图像点至少部分地基于与所述至少一个GET相关联的几何参数(535)以及在所述第一数据中检测到的所述至少一个GET的第一边缘来确定，并且

确定用于所述至少一个GET的第二组图像点(920)，所述第二组图像点至少部分地基于与所述至少一个GET相关联的所述几何参数(535)以及在所述第二数据中检测到的所述至少一个GET的第二边缘来确定，并且

至少部分地基于所述第一组图像点和所述第二组图像点确定所述至少一个GET的GET测量值(940)；以及

基于所述GET测量值确定所述至少一个GET的磨损等级或损耗。

2.根据权利要求1所述的计算机实现的方法，其中，所述多个传感器包括立体感摄像机的左图像传感器和右图像传感器；以及

所述多个图像包括：

由所述左图像传感器捕捉的所述至少一个GET的左图像(510)，以及

由所述右图像传感器捕捉的所述至少一个GET的右图像(520)。

3.根据权利要求2所述的计算机实现的方法，其中，识别所述第一感兴趣区域包括基于所述左图像和所述右图像生成视差图(540)。

4.根据权利要求1所述的计算机实现的方法，其中，识别所述第一感兴趣区域包括对所述第一图像应用深度学习GET检测算法，或者识别所述第二感兴趣区域包括对所述第二图像应用深度学习GET检测算法。

5.根据权利要求1所述的计算机实现的方法，还包括当所述磨损等级或损耗指示GET更换条件时生成警报。

6.一种系统(110)，包括：

与作业机器(100)相关联的多个传感器(127、129)，其中，所述多个传感器中的各个传感器具有与所述多个传感器中的其他传感器不同的相应视场(127、129)，所述相应视场被引导为捕捉所述作业机器的至少一个地面接合工具(GET)(125)的多个图像；

一个或多个处理器(140)；以及

存储可执行指令的非暂时性计算机可读介质(143)，所述可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：

识别与所述至少一个GET相关联并且被包括在所述多个图像的第一图像中的第一感兴趣区域(550)，所述第一感兴趣区域包括表征所述至少一个GET的第一数据；

识别与所述至少一个GET相关联并且被包括在所述多个图像的第二图像中的第二感兴趣区域(550)，所述第二感兴趣区域包括表征所述至少一个GET的第二数据；

确定用于所述至少一个GET的第一组图像点(920)，所述第一组图像点至少部分地基于与所述至少一个GET相关联的几何参数(535)以及在所述第一数据中检测到的所述至少一个GET的第一边缘来确定，并且

确定用于所述至少一个GET的第二组图像点(920)，所述第二组图像点至少部分地基于与所述至少一个GET相关联的所述几何参数以及在所述第二数据中检测到的所述至少一个GET的第二边缘来确定；

至少部分地基于所述第一组图像点和所述第二组图像点确定所述至少一个GET的GET测量值(940)；以及

基于所述GET测量值确定所述至少一个GET的磨损等级或损耗。

7.根据权利要求6所述的系统，其中，所述多个传感器包括立体感摄像机的左图像传感器和右图像传感器；以及

所述多个图像包括：

由所述左图像传感器捕捉的所述至少一个GET的左图像(510)，以及

由所述右图像传感器捕捉的所述至少一个GET的右图像(520)。

8.根据权利要求7所述的系统，其中，识别所述第一感兴趣区域包括基于所述左图像和所述右图像生成密集立体视差图(540)。

9.根据权利要求6所述的系统，其中，识别所述第一感兴趣区域包括对所述第一图像应用深度学习GET检测算法，或者识别所述第二感兴趣区域包括对所述第二图像应用深度学习GET检测算法。

10.根据权利要求6所述的系统，还包括当所述磨损等级或损耗指示GET更换条件时生成警报。