CN116457535A - 使用铲斗-工具模板的磨损和损失检测系统和方法 - Google Patents

Abstract

一种磨损检测系统(110)可以被配置成从与作业机器(100)相关联的相机(128)捕获视频流(530)。视频流包括与作业机器的具有多个齿(125)的铲斗(120)相关联的多个图像。该系统还可以被配置成使用铲斗‑工具模板(510)来分割多个图像并且基于该分割来选择用于磨损检测的图像(540)，该铲斗‑工具模板(510)包括具有多个未磨损的工具的铲斗的模板图像。该系统还被配置成至少部分地基于铲斗‑工具模板中多个未磨损的工具的位置(547)来识别所选图像中的多个齿。该系统还被配置成通过将来自所选图像的多个齿与来自铲斗‑工具模板的多个未磨损的工具进行比较来确定该多个齿的磨损水平。

Description

使用铲斗-工具模板的磨损和损失检测系统和方法

技术领域

本公开涉及一种用于检测物体随时间的磨损的系统和方法，并且更具体地，涉及一种用于使用计算机视觉技术检测地面接合齿(GET)随时间的磨损或损失的系统和方法。

背景技术

机器可以用于在工地执行各种任务。例如，机器可以用于挖掘、移动、成形、勾画轮廓和/或移除工地处存在的材料，诸如砂砾、混凝土、沥青、土壤和/或其他材料。这些机器可以包括用于收集这些材料的铲斗，并且铲斗可以包括一组地面接合工具(GET)，诸如齿，以松开材料。随着时间的推移，GET磨损并且尺寸减小，降低了它们的有效性，使得铲斗更难以收集工地材料。GET还可以从铲斗断裂。当未检测到GET断裂时，GET可以与工地材料混合并且可以对下游处理设备诸如破碎机或粉碎机造成损坏。作业机器可以利用磨损检测系统以在下游设备发生损坏之前识别磨损或断裂的GET。

在2018年2月6日授权的美国专利号9,886,754(“′754专利”)中描述了一种提供用于检测采矿铲中缺齿的系统的尝试。具体地，′754专利描述了用于检测采矿铲中缺齿的方法。′754专利描述了该方法包括从安置在绳索采矿铲上的相机接收一对图像帧，该绳索采矿铲被配置成承载采矿负载。′754专利描述了检测对应于该对图像帧的齿线区域以基于铲模板集生成一对齿线区域。′754专利描述了铲模板集包括元组集，其中每个元组具有多个模板集元素，并且该模板集元素包括对应于沿着其运动范围的位置的铲的参考图像、铲铲斗的位置、齿线区域的位置、铲斗模板图像，以及模板图像中的齿线区域的图像。

′754专利的方法对用于铲斗和齿的图像对和分离的模板集元素的依赖可能是有问题的。计算性地使用在′754专利中描述的图像对和各种模板集元素来识别缺齿可能是昂贵的并且需要大量的计算资源。此外，使用与铲斗图像分离的齿线图像可以导致检测中的错误，因为在一些实现中，齿线图像可以类似于没有齿的铲斗的接装板的轮廓。尽管′754专利描述的方法据说检测了齿的存在，但它没有确定附接到铲斗的齿的磨损量，并且不能预测齿何时需要更换。本文描述的系统和方法可以针对解决这些问题中的一个或多个。

发明内容

根据第一方面，用于检测磨损或损失的方法包括从与作业机器相关联的相机捕获视频流。视频流包括与作业机器的铲斗相关联的多个图像。铲斗包括多个地面接合工具(GET)。该方法还包括使用铲斗-工具模板分割多个图像并且基于该分割选择图像。铲斗-工具模板包括具有多个未磨损的工具的铲斗的模板图像。该方法还包括至少部分地基于铲斗-工具模板中的多个未磨损的工具的位置来识别所选图像中多个GET中的至少一个。该方法还包括确定多个GET中的至少一个的磨损水平或损失。

根据另一方面，磨损检测系统包括相机、处理器和存储可执行指令的非暂时性计算机可读介质。该可执行指令在由处理器执行时使得处理器执行包括从该相机捕获视频流的操作。视频流包括与作业机器的铲斗相关联的多个图像。铲斗包括多个地面接合工具(GET)。该操作还包括使用铲斗-工具模板分割多个图像并且基于该分割选择图像。铲斗-工具模板包括具有多个未磨损的工具的铲斗的模板图像。该操作还包括至少部分地基于铲斗-工具模板中的多个未磨损的工具的位置来识别所选图像中多个GET中的至少一个。该操作还包括确定多个GET中的至少一个的磨损水平或损失。

根据另一方面，磨损检测系统包括相机，该相机被配置成在作业机器的挖掘-倾倒循环的某一时刻，当多个GET在相机的视场内时捕获具有多个地面接合工具(GET)的铲斗的视频流。该系统还包括处理器和存储可执行指令的计算机可读介质，该可执行指令在由处理器执行时使得该处理器执行操作。操作包括从相机接收视频流。视频流包括铲斗的多个图像。该操作还包括使用利用铲斗-工具模板的第一卷积滤波器来分割多个图像，并且基于该分割来选择图像。铲斗-工具模板包括具有多个未磨损的工具的铲斗的模板图像。该操作还包括至少部分地基于铲斗-工具模板中的多个未磨损的工具的位置来识别所选图像中多个GET中的至少一个。该操作还包括通过计算与铲斗-工具模板中的多个未磨损的工具相关联的像素位置和与所选图像中的多个GET相关联的对应像素位置的第一相似性得分，来确定多个GET中的至少一个的磨损水平或损失。

附图说明

参考附图描述具体实施方式。在附图中，附图标记的最左边的数字表示附图标记首次出现的附图。不同附图中相同的附图标记指示类似或相同的项目。

图1是描绘包括用于检测GET中的磨损的示例系统的示例机器的示意图的框图。

图2是描绘具有包括用于检测GET中的磨损的示例系统的示例机器的示例环境的示意性侧视图的图。

图3是描绘具有包括用于检测GET中的磨损的示例系统的示例机器的另一示例环境的示意性侧视图的图。

图4是描绘具有包括用于检测GET中的磨损的示例系统的示例机器的另一示例环境的示意性侧视图的图。

图5是描绘用于图像选择过程的示例数据流的数据流图。

图6是描绘用于GET识别和像素计数过程的示例数据流的数据流图。

图7是示例实施例中GET像素计数到时间实例的示例映射的图。

图8是用于检测示例环境中的磨损的示例过程。

图9是用于在示例环境中执行磨损检测分析的图像选择的示例过程。

具体实施方式

本公开总体上涉及用于使用计算机视觉技术检测在诸如工地的环境中的作业机器的部件的磨损的系统和方法。在一些实例中，与作业机器相关联的相机捕获作业机器的部件的视频。视频由与作业机器相关联的处理器分析以检测该部件的磨损。该部件可以是作业机器的铲斗的一个或多个地面接合工具(GET)。在一些实例中，该系统和方法使用绘示铲斗和GET两者的模板图像从由相机捕获的视频中选择用于处理的图像。

对于选择用于处理的图像，该系统和方法确定GET的像素数量，并且创建GET的像素计数随时间的图或映射。像素计数可以包括面积(例如，GET的总像素)、以像素为单位的GET的高度、以像素为单位的GET的宽度、GET的高度和宽度之和，仅作为一些实例。确定像素计数的方式可以根据GET的形状和样式而变化。例如，对于长度远大于宽度的GET，可以使用高度像素计数，而对于宽度远大于长度的GET，可以使用宽度像素计数。在不脱离本公开的精神和范围的情况下，可以使用用于确定像素计数的各种方法。

在一些实例中，处理器可以基于GET像素计数随时间的变化率来确定GET的磨损-并且预测GET何时需要更换。处理器还可以基于GET像素计数随时间的变化率何时较高来确定GET中的一个是否已经断裂(例如，GET损失)。通过使用GET像素计数随时间的变化率来进行此类确定，该系统和方法可以通过最小化假阳性的影响来减少磨损检测中的错误，并且可以用比诸如机器学习或神经网络的更易出错的技术更少的处理资源来这样做。

图1是描绘包括示例磨损检测计算机系统110的示例作业机器100的示意图的框图。虽然图1将作业机器100描绘为液压采矿铲，但在其他实例中，作业机器100可以包括移动、雕刻、挖掘或移除诸如土壤、岩石或矿物的材料的任何机器。如图1所示，作业机器100可以包括附接到臂122的铲斗120。铲斗120可以包括一个或多个地面接合工具(GET)，诸如齿125，其帮助作业机器100松开材料。虽然在本公开中提供的实例将齿125称为GET，但是其他类型的GET也被认为在由本公开提供的实施例的范围内。例如，GET可以包括唇罩、边缘防护装置、适配器、松土器护具、切削刃、侧杆护具、尖端，或与作业机器相关联的由于与工地材料的摩擦而可能随时间磨损的任何其他工具。

作业机器100还可以包括相机128。相机128可以具有指向铲斗120和齿125的视场129。相机128可以是单目相机或立体相机。

当作业机器100在工地内操作时，其可以移动臂122以定位铲斗120，从而作为挖掘-倾倒循环的一部分在工地内移动或挖掘材料。当作业机器100在挖掘-倾倒循环中定位铲斗120时，铲斗120可以移入和移出相机128的视场129。相机128可以定位成使得其在挖掘-倾倒循环期间具有齿125的无阻碍视图。例如，相机128可以定位在作业机器100上，使得铲斗120和齿125在铲斗120在挖掘-倾倒循环内清空材料时可见。作为另一实例，相机128可以定位成使得当臂122在挖掘-倾倒循环内完全伸展或完全收缩时铲斗120进入其视场。如下面关于图2至图4所解释的，相机128的位置可以根据作业机器100的类型和与其工地相关的细节而变化。

根据一些实施例，作业机器100可以包括操作员控制面板130。操作员控制面板130可以包括显示器133，该显示器133为作业机器100的操作员产生输出，使得操作员可以接收与磨损检测计算机系统110相关的状态或警报。显示器133可以包括液晶显示器(LCD)、发光二极管显示器(LED)、阴极射线管(CRT)显示器或本领域已知的其他类型的显示器。在一些实例中，显示器133可以包括音频输出，诸如扬声器或用于耳机或外围扬声器的端口。显示器133还可以包括音频输入装置，诸如麦克风或用于外围麦克风的端口。在一些实施例中，显示器133可以包括触敏显示屏，其也可以充当输入装置。

在一些实施例中，操作员控制面板130还可以包括键盘137。键盘137可以向磨损检测计算机系统110提供输入能力。键盘137可以包括允许作业机器100的操作员向磨损检测计算机系统110提供输入的多个键。例如，根据本公开的实例，操作员可以按下键盘137的键以选择与作业机器100、铲斗120或齿125相关联的图像模板。键盘127可以是非虚拟的(例如，包含物理上可按压的键)，或者键盘127可以是在显示器133的触敏实施例上示出的虚拟键盘。

如图1所示，磨损检测计算机系统110可以包括处理器140。处理器140可以包括一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、CPU、GPU或FPGA的某种组合或任何其他类型的处理单元。处理器140可以具有执行算术和逻辑运算的众多算术逻辑单元(ALU)，以及从处理器高速缓冲存储器提取指令和所存储的内容并且然后在程序执行期间在必要时通过访问ALU来执行指令的一个或多个控制单元(CU)。处理器140还可以负责执行存储在存储器150中的应用、例程或过程的驱动器和其他计算机可执行指令，存储器150可以与普通类型的易失性(RAM)和/或非易失性(ROM)存储器相关联。

在一些实施例中，磨损检测计算机系统110可以包括存储器150。存储器150可以包括系统存储器，其可以是易失性的(例如RAM)、非易失性的(诸如ROM、闪存等)或两者的某种组合。存储器150还可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术实现的诸如易失性和非易失性、可移动和不可移动介质的非暂时性计算机可读介质。系统存储器、可移动存储和不可移动存储都是非暂时性计算机可读介质的实例。非暂时性计算机可读介质的实例包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储器、盒式磁带、磁带、磁盘存储器或其他磁存储装置，或可以用于存储所需信息并且可以由磨损检测计算机系统110访问的任何其他非暂时性介质。

存储器150可以存储用于如本文所述的磨损检测计算机系统110的数据，包括计算机可执行指令。例如，存储器150可以存储磨损检测计算机系统110的一个或多个部件，诸如模板库160、图像选择器165、图像分析器170、磨损分析器175和警报管理器180。存储器150还可以存储附加部件、模块或可由处理器140执行的其他代码，以启用磨损检测计算机系统110的操作。例如，存储器150可以包括与输入/输出功能、软件驱动器、操作系统或其他部件相关的代码。

模板库160可以包括由图像选择器165使用的一个或多个模板图像，以从由相机128提供给磨损检测计算机系统110的视频馈送中识别和选择图像。例如，模板库160可以包括一个或多个图像模板，其可以用作由图像选择器165执行的分割或卷积滤波算法的一部分，以从视频馈送中找到与一个或多个图像模板基本类似的图像。根据一些实施例，存储在模板库160中的模板包括铲斗及其齿的图像(例如铲斗-工具模板)。例如，对于作业机器100，存储在模板库160中的模板中的一种可以包括具有齿125的铲斗120的图像，因为铲斗120预期定位在相机128的视场内。在一些实例中，一个或多个模板的齿125是未磨损的、新的，或如在它们与工地处的材料接合之前出现的。

模板库160可以包括多个铲斗-工具模板，其中每个铲斗工具模板对应于作业机器、铲斗、齿、GET或这些的组合。在操作期间，操作员可以使用操作员控制面板130从模板库160中选择与齿125或作业机器100中的铲斗120匹配的铲斗-工具模板。例如，如果作业机器100是型号为“6015B”的液压采矿铲，则操作员可以使用操作员控制面板130来输入型号“6015B”，并且磨损检测计算机系统110可以将与来自模板库160的型号为6015B的液压采矿铲相对应的模板加载到存储器150中。在一些实例中，在磨损检测计算机系统110加电或复位操作时，模板库160中可用的模板列表可以示出在显示器133上，并且操作员可以根据作业机器100的型号、铲斗120的铲斗类型或齿125的齿类型从列表中选择模板中的一种用于操作。

根据一些实施例，图像选择器165可以执行一个或多个操作以选择用于进一步磨损检测分析的图像。在一些实施例中，图像选择器165使用铲斗-工具模板和计算机视觉技术来将相机128的视频馈送的视频帧匹配到模板。图像选择器165可以单独地或组合地利用各种计算机视觉技术来将铲斗-工具模板与相机128的视频馈送的视频帧进行匹配。例如，图像选择器可以使用常规的基于模板的计算机视觉方式、使用特征空间的方式、互相关方式、图像分割、边缘检测技术、卷积滤波器或本领域已知的其他技术，用于基于模板、掩模或内核来识别图像内的异议。

在一些实施例中，图像选择器165可以使用其他技术来选择用于进一步磨损检测分析的图像。例如，图像选择器165可以被配置成在作业机器100的挖掘-倾倒循环期间基于铲斗120的位置捕获图像。在此类实例中，当预期铲斗120可以处于固定位置，诸如在挖掘-倾倒循环的开始或结束时，或者当铲斗完全缩回或伸展时，图像选择器165可以选择图像。当铲斗120到达固定位置时，图像选择器可以从相机128的视频馈送捕获图像并且选择它用于将来的磨损检测处理。图像选择器165还可以被配置成当铲斗120和齿125最接近相机128时，或者当相机128具有铲斗120和齿125的清晰或无阻碍视图时，在挖掘-倾倒循环期间的点处选择图像。

图像选择器165还可以使用机器学习或神经网络技术来选择用于进一步磨损检测分析的图像。例如，图像选择器可以包括神经网络，该神经网络已经使用训练图像库进行了训练，该训练图像示出了相对于相机128的视场处于最佳位置的铲斗120和齿125以及相对于相机128的视场处于非最佳位置的铲斗120和齿125。训练图像库还可以包括来自可能触发假阳性的工地的物体的图像，诸如具有缺失的齿125中的一个或多个的铲斗120、具有粘在其上的材料的铲斗120、通常不与作业机器100一起使用的铲斗或齿，仅作为一些实例。一旦训练了神经网络，图像选择器165就可以使用它来处理相机128的视频馈送，并且选择用于进一步磨损检测处理的图像。

根据一些实施例，图像选择器165可以使用以上识别技术的组合来识别用于进一步磨损检测分析的图像。例如，图像选择器165可以使用铲斗120在对应于挖掘-倾倒循环内的视场129的位置范围内的位置作为触发，以开始将铲斗-工具模板应用于由相机128捕获的视频流的图像。在此类实施例中，当铲斗120在位置范围之外时，图像选择器165可以进入“待机”模式，并且当铲斗120进入位置范围时，图像选择器165可以进入“开始处理”模式。作为另一实例，图像选择器165可以使用铲斗120的位置范围，组合训练的神经网络，以选择用于以类似方式进一步处理的图像。

图像分析器170可以被配置成分析由图像选择器165选择的图像，以进一步识别所选图像内的各个齿125。在一些实例中，图像分析器170通过使用所捕获的图像内的齿125的预期位置来选择各个齿125。例如，如果图像选择器165使用铲斗-工具模板，则将基于铲斗-工具模板中的齿和铲斗的相对位置来获知齿125相对于铲斗120的预期位置。使用该信息，图像分析器170可以到达所选图像中的预期位置，并且捕获邻近于齿的像素区域。然后，基于诸如应用卷积滤波器、分割分析、边缘检测或像素区域内的像素强度/暗度分析的计算机视觉技术，像素区域可以用于进一步识别齿。在一些实施例中，图像分析器170可以使用单个齿模板来应用于像素区域，以使用计算机视觉技术来进一步细化齿的位置。

磨损分析器175可以被配置成分析由图像分析器170识别的齿图像或像素区域的磨损。在一些实施例中，图像分析器170基于由图像选择器165使用的相关联的铲斗-工具模板来分析磨损以选择用于处理的图像。例如，相关联的铲斗工具模板可以包括未磨损的工具的图像，该图像可以基于来自铲斗-工具模板的未磨损的齿的尺寸和齿图像的尺寸与由图像分析器170识别的齿图像进行比较。在一些实施例中，可以针对该齿图像和该铲斗-工具模板中的对应的未磨损的齿计算相似性得分。相似性得分可以反映齿图像与铲斗-工具模板中对应的未磨损的齿的匹配程度的度量。例如，相似性得分可以包括使用检测相似性的联合交集或Jaccard指数方法。在一些实施例中，可以采用检测相似性的dice系数或F1得分方法来确定相似性得分。相似性得分还可以包括反映有多少齿图像的像素与它们在铲斗-工具模板中对应的未磨损的齿重叠的百分比的值。在一些实施例中，相似性得分可以从0至100进行缩放或归一化。

相似性得分可以提供齿125的磨损指示。例如，低分(例如，0至20的范围)可以指示齿125中的一个已经断裂或缺失，指示齿损失。高分(例如，范围80至100)可以指示齿健康良好并且不需要更换。在低分和高分之间的得分可以提供齿的磨损水平，其中较高的得分指示比较低的得分更长的齿更换的提前时间。

在一些实施例中，磨损分析器175可以随时间对与齿125的图像相关联的像素进行计数，并且使用该像素计数来确定齿125的磨损水平和齿125的磨损趋势。例如，作业机器100可以在其工地中为工作操作几天。当作业机器100在工作期间移动材料时，相机128向磨损检测计算机系统110提供铲斗120和齿125的视频馈送，并且图像分析器170识别具有齿的像素区域以用于进一步分析。磨损分析器175可以在工作的一段时间内的几个时间实例映射与齿相关联的像素计数。当铲斗120和齿125在工地与材料接合时，预期齿125将由于磨损而尺寸减小。因此，与齿125相关联的像素计数将同样随时间下降，并且随时间的像素计数将反映磨损趋势。可以使用特定时间点处的磨损趋势来确定特定时间点处的齿125的磨损水平。齿125的磨损水平可以指示齿125需要更换，或者它可以指示齿125中的一个或多个的齿损失。在一些实施例中，与齿125相关联的像素计数可以存储在存储器150中并且应用于多个工作和多个工地，并且磨损趋势可以适用于齿125的寿命。在此类实施例中，与由磨损分析器175捕获的齿125相关联的像素计数可以在更换铲斗120或齿125时被重置，并且磨损分析器175可以从零时间点重新开始收集齿125的像素计数。

由于磨损分析器175基于随时间测量的齿125的像素计数来确定磨损趋势，所以磨损分析器175还可以形成齿125何时需要更换的预测。例如，如果磨损分析器175确定与齿125相关联的像素计数示出齿125每10个工时失去1％的寿命(因为像素计数每10个工时减少1％)，并且齿125已经使用了800个工时，则磨损分析器175可以确定齿125需要在200小时内更换。

在一些实施例中，磨损检测计算机系统110可以包括警报管理器180。警报管理器180可以与磨损分析器175通信，并且可以监视由磨损分析器175确定的磨损趋势和磨损水平。警报管理器180可以基于由磨损分析器175确定的信息向操作员控制面板130提供消息警报。例如，当磨损水平达到磨损阈值时，警报管理器180可以生成示出在操作员控制面板130的显示器133上的警报。该阈值可以对应于指示极端齿磨损的值，或者在一些情况下指示完全齿损失的值。警报可以向作业机器100的操作员提供一个或多个齿125需要更换的指示。磨损阈值可以根据实施例而变化，并且可以取决于齿125的类型和与齿125接合的工地处的材料。

警报管理器180还可以提供齿125可能需要在将来的某个点替换的警报，例如，齿125可能需要在两周内更换。更换警报可以包括与齿125的磨损趋势预测相关的信息。例如，更换警报可以包括磨损趋势的量化(例如，齿125每工作日磨损2％)、齿已经使用的时间量，或齿125将基于使用数据达到磨损阈值的预期日期或时间。

在一些实施例中，警报管理器180可以监测由磨损分析器175确定的磨损趋势，并且向显示器133提供磨损水平值，以通知作业机器100的操作员当前的磨损水平。例如，如果磨损趋势指示齿125被磨损60％，则基于磨损趋势，警报管理器180可以提供齿125在其需要被更换之前剩余其寿命的40％的指示。显示器133还可以通知操作员齿已经断裂，指示齿损失(例如，当齿125中的一个或多个具有小于20％的寿命时)。

图2是描绘示例环境200的示意性侧视图的图，其中轮式装载机作业机器201正在操作。轮式装载机作业机器201可以包括铲斗220和一个或多个地面接合齿225。如图2所示，相机228被定位成使得在挖掘-倾倒循环的倾倒端期间，齿225和铲斗220在相机228的视场229内。因此，图像选择器165(图1)在此类实施例中可以被配置成当铲斗220在挖掘-倾倒循环的倾倒端处静止时捕获图像。

图3是描绘示例环境300的示意性侧视图的图，其中液压采矿铲作业机器301正在操作。液压采矿铲作业机器301可以包括铲斗320和一个或多个地面接合齿325。与用于轮式装载机作业机器201的相机228的位置相反，相机328被定位成使得在挖掘-倾倒循环的挖掘端期间，齿325在相机328的视场329内。图像选择器165(图1)在此类实施例中可以被配置成当铲斗320在挖掘-倾倒循环的挖掘端处静止时捕获图像。

图4是描绘示例环境400的示意性侧视图的图，其中电绳铲作业机器401正在操作。电绳铲作业机器401可以包括铲斗420、一个或多个地面接合齿425和相机428。如图4所示，在挖掘-倾倒循环的中点处，齿425可以在相机428的视场429内，但是当时铲斗420相对靠近相机428。在此类实施例中，图像选择器165(图1)可以被配置成当铲斗420进入与相机428的视场429相关的位置范围时捕获图像。

图5描绘了示出用于示例图像选择过程的数据流的图像选择数据流图500。在一些实施例中，模板库160可以向图像选择器165提供铲斗-工具模板510。如上所述，铲斗-工具模板510可以由作业机器100的操作员在操作之前选择。在一些实施例中，铲斗-工具模板510被预装载在磨损检测计算机系统110的软件或固件中。当作业机器100在工地操作时，相机128可以向图像选择器165提供包含多个图像530的视频馈送。图像选择器165可以使用模板510来分析多个图像。例如，图像选择器165可以使用计算机视觉模板匹配技术、卷积滤波器、分割分析、边缘检测或其他计算机视觉技术来将模板510与多个图像530匹配，以识别所选图像540用于进一步磨损检测分析。

如图5所示，模板510包括模板铲斗520和模板齿525的图像。模板铲斗520可以表示铲斗120在与铲斗120如何出现在相机128的视场内相一致的位置和方向上的图像。模板齿525可以表示新的、未磨损的或未使用的齿125的版本。

在一些实施例中，模板510包括提供近似模板齿位置527的信息，图像分析器170可以使用该信息来稍后识别所选图像540内的各个齿125。模板齿位置527可以包括与模板510中组合的铲斗-工具图像的一个位置的像素偏移。例如，偏移可以是铲斗520的最左上角向下和向右的像素数量。在一些实施例中，模板齿位置527可以是模板齿525的绝对像素位置，而不是从铲斗520的一个边缘或角的偏移。图像分析器170可以使用模板齿位置527来近似所选图像540内的对应图像齿位置547。

图6描绘了像素计数数据流图600。像素计数数据流图600表示可以在图像分析器170内发生以确定与齿125相关联的像素计数的示例数据流。虽然示例数据流图600涉及齿125，但是在不同的实施例中设想其他GET。在一些实施例中，图像分析器170对所选图像540执行计算机视觉分割分析，以将所捕获的铲斗-工具图像610与所选图像540的背景分离。一旦铲斗-工具图像610已经从背景中被分割，图像分析器170就可以识别与所捕获的铲斗-工具图像610相关联的多个齿图像620，并且通过扩展，识别所选图像540。图像分析器170可以使用几种技术来识别多个齿图像620。例如，如上所述，图像分析器170可以使用模板齿位置527来确定近似对应的图像齿位置547，并且然后提取可能包含单个齿的图像的预定尺寸的像素区域630。例如，像素区域630可以是50像素高乘30像素宽，并且图像分析器170可以为每个对应的图像齿位置547提取像素区域630。

在一些实施例中，图像分析器170可以采用附加模板匹配、分割、卷积滤波器或其他计算机视觉技术来从所捕获的铲斗-工具图像610分割多个齿图像620。例如，图像分析器170可以采用一个齿的模板来识别多个齿图像620。

根据一些实施例，图像分析器170可以确定与多个齿图像620相关联的像素计数。在一些实施例中，图像分析器170可以从所选图像540中检测与齿相关联的像素635。例如，图像分析器170可以确定像素635包含436个像素。像素635可以提供磨损分析器可以从其确定磨损的作业机器100的齿125中的一个的实际尺寸和维度的视觉表示或抽象化。图像分析器170可以将像素计数传送到磨损分析器175用于进一步分析。

图像分析器170还可以基于表示铲斗-工具模板510中的模板齿525的像素数量来确定与每个齿相关联的像素的预期量(例如，预期数量、预期位置、预期分组等)。例如，图像分析器可以使用计算机视觉技术，诸如例如边缘检测，以基于模板齿525的边缘检测未磨损的齿的预期边缘640。预期边缘640内的像素数量可以表示像素635的预期像素计数。在一些实施例中，磨损分析器175可以使用预期像素计数和像素635的实际数量来确定在特定时间点的齿磨损水平。

在一些实施例中，磨损分析器175可以如上所述计算模板齿525(其表示未磨损的齿)和多个齿图像620之间的相似性得分。可以基于齿125的预期像素计数和实际像素635的数量之间的差来计算相似性得分。在一些实施例中，卷积滤波器可以用于基于模板510与所选图像540或模板510的部分(例如，模板齿525)与所选图像540的对应部分的比较来创建相似性分数。在一个实例中，相似性得分可以被归一化为0至100的标度，其中低于20的值表示低相似性(例如，齿可能缺失或断裂)，高于80的值表示通常未磨损的齿，并且在20和80之间的值表示不同的磨损程度。虽然相似性得分可以在0至100的范围上缩放，但是在所公开的实施例的精神和范围内可以设想其他范围。

图7是示出工具像素计数随时间的映射的示例磨损趋势图700的图，表示为曲线705。根据一些实施例，磨损趋势图700可以由磨损分析器175创建。磨损趋势图700可以包括像素计数轴710和时间轴720。虽然磨损趋势图700示出像素计数轴710作为垂直轴，并且时间轴720作为水平轴，但是在一些实施例中这些轴可以颠倒。像素计数轴710可以按像素数量递增。时间轴720可以按任何一段时间，诸如例如分钟、小时或天，递增。在一些实施例中，磨损分析器175向操作员控制面板提供使显示器133呈现磨损趋势图700的图形表示的代码。

虽然图7中可视地示出了示例磨损趋势图700，但是磨损分析器175不需要创建用于呈现可视图的代码。对于此类实施例，磨损趋势图700中所示的数据可以存储在磨损分析器175用于确定磨损趋势、磨损水平和/或齿125的损失的数据结构或对象中。对于此类实施例，磨损趋势图700是在本公开中为讨论目的而提供的视觉辅助。

如图7的实例所示，磨损趋势图700示出了四种类型的齿的曲线705：齿1 731、齿2732、齿3 737和齿4 734。在磨损趋势图700的呈现的视觉表示中，磨损趋势图700可以包括齿键730，该齿键730识别磨损趋势图700上的曲线和齿1 731、齿2 732、齿3 737和齿4 734之间的相关性。虽然磨损趋势图700示出了与齿相关的数据，但是在一些实施例中它可以示出与其他类型的GET相关的曲线。

根据一些实施例，磨损分析器175可以基于曲线705确定磨损趋势。例如，图7示出了齿4734的曲线705的磨损趋势740。在示例磨损趋势图700中，磨损趋势740是线性的，但在某些应用中，一些齿可以具有非线性磨损趋势。磨损趋势图700还可以包括磨损水平阈值750。当磨损趋势740与磨损水平阈值750相交时，对应于磨损趋势740的齿(例如，齿4734)已经磨损到需要更换的点。在一些实施例中，警报管理器180可以生成视觉或音频警报，通知作业机器100的操作员齿需要更换或已经断裂，指示齿损失。在一些实施例中，磨损趋势740可以用于基于磨损趋势740的外推版本和磨损阈值750之间的交点来检测齿可能需要更换的未来时间点。

图8示出了表示示例图像选择过程800的流程图。在一些实施例中，过程800可以由图像选择器165和图像分析器170执行。虽然以下讨论将过程800描述为由图像选择器165和图像分析器170执行，但是在不脱离本公开的精神和范围的情况下，磨损检测计算机系统的其他部件可以执行过程800的一个或多个框。

过程800开始于框810，其中图像选择器捕获作业机器的铲斗的视频流。视频流可以包括作业机器的铲斗和铲斗的地面接合工具(GET)(例如，齿)的多个图像。在框820，图像选择器165使用铲斗-工具模板从视频流分割多个图像。与上述讨论一致的铲斗-工具模板包括具有未磨损的GET的铲斗的图像。图像选择器可以使用分割分析来执行框820，其中来自视频馈送的多个图像的铲斗和齿的图像从背景中被分割。此外，铲斗-工具模板可以充当应用于多个图像以确定多个图像和铲斗-工具模板之间的相似性的掩模。在一些实施例中，图像选择器确定铲斗-工具模板和多个图像之间的相似性得分。基于相似性，图像选择器165可以在框830处选择用于磨损检测分析的图像。

在框840，图像分析器识别在框830选择的图像中的多个GET。在一些实施例中，图像分析器可以使用铲斗-工具模板内的工具的位置来识别多个GET，如以上关于图5所描述的。一旦识别多个GET，就可以确定工具的磨损水平。可以基于铲斗-工具模板中描绘的未磨损的工具的像素计数和与多个GET相关联的像素计数之间的差来确定磨损水平。作为另一实例，可以通过将铲斗-工具模板内的工具的相似性与多个识别的GET进行比较来执行框850。作为另一实例，可以按照图9所示的磨损检测分析过程900来确定磨损水平。

图9示出了表示示例磨损检测分析过程900的流程图。在一些实施例中，过程900可以由磨损检测计算机系统110的一个或多个部件执行。虽然以下讨论将过程900描述为由磨损检测计算机系统110的某些部件执行，但是在不脱离本公开的精神和范围的情况下，磨损检测计算机系统的不同部件可以执行过程900的一个或多个框。

过程900开始于框910，其中图像选择器接收作业机器的铲斗的视频流。视频流可以包括作业机器的铲斗和铲斗的地面接合工具(GET)的多个图像。在框920，图像选择器从视频流中选择用于进一步磨损检测处理的图像。在一些实例中，图像选择器使用如以上关于图像选择过程800所描述的铲斗-工具模板来执行框920。在一些实施例中，图像选择器165基于作业机器的铲斗在挖掘-倾倒循环中的位置来选择图像。例如，当铲斗处于相机捕获铲斗及其GET的图像的最佳位置时，图像选择器可以捕获视频流的图像。在其他实例中，图像选择器可以使用机器学习技术或神经网络来识别用于磨损检测分析的最佳图像。在框920，可以组合以上技术中的一种或多种来选择图像。

在框930，图像分析器识别所选图像内的GET。图像分析器可以检测与以上关于图6和图8公开的实施例一致的GET。一旦图像分析器识别GET，则在框940，图像分析器确定GET的像素计数。在一些实例中，向磨损分析器提供像素计数。在框950，磨损分析器将GET的像素计数映射到时间实例。时间实例可以是绝对日期-时间值(例如，2020年10月1日16:04:32)，或者它可以是基于作业机器的操作的相对时间(例如，作业机器操作的秒数、分钟数、小时数)。

在框960，磨损分析器基于当前像素-时间映射和先前像素-时间映射来确定GET的磨损水平。磨损分析器175可以通过为像素-时间映射创建最佳拟合线或最佳拟合曲线来确定磨损水平。如果磨损水平高于磨损阈值(框970：是)，处理返回到框920。如果磨损水平低于磨损阈值(框970：否)，警报管理器180可以生成GET中的一个或多个需要更换的警报。在一些实施例中，在生成警报之后，处理返回到框920。

贯穿以上描述，磨损检测计算机系统110的某些部件被描述为执行某些操作。但是，在磨损检测计算机系统110的一些实施例中，除了上述之外，其他部件可以执行这些操作。此外，磨损检测计算机系统110可以包括附加部件或比以上在示例实施例中所呈现的部件更少的部件。本领域的技术人员将理解，磨损检测计算机系统110不必限于以上所公开的特定实施例。

工业实用性

本文所描述的系统和方法可以与在工地处的作业机器的操作相关联地使用，该作业机器的操作是挖掘、移动、成形、勾画轮廓和/或移除诸如土壤、岩石、矿物等材料。这些作业机器可以配备有用于在工地时铲起、挖掘或倾倒材料的铲斗。铲斗可以配备有一系列地面接合工具(GET)以帮助在操作期间松开材料。作业机器还可以包括具有处理器和存储器的系统，该处理器和存储器被配置成执行根据本文所描述的实例的磨损检测方法。该系统和方法可以检测诸如GET的作业机器部件的磨损。在一些实例中，该系统和方法可以从与作业机器相关联的相机捕获作业机器部件的视频以用于磨损检测处理。在一些实例中，该系统和方法使用与视频图像相比较的图像模板来从由相机捕获的视频中选择用于处理的图像。模板可以包括具有与作业机器相关联的未磨损的GET的铲斗的样本图像。与单个未磨损的齿的模板相反，使用铲斗-工具模板可以减少图像选择处理所需的资源。由于铲斗-工具模板大于仅具有一个GET的模板，因此将花费较少的处理循环来将模板与所捕获的图像进行比较。铲斗-工具模板的使用还可以增加图像选择的准确性并且减少假阳性。由于工地处的污垢、碎屑或岩石碎片的团块在尺寸和形状上可以类似于单个齿，因此使用单个齿模板的传统磨损检测系统可以将此类材料误认为用于GET，从而导致处理错误或假阳性。因此，使用铲斗-工具模板可以减少在使用单个齿模板的计算机视觉系统或方法上的处理中的错误。

在一些实例中，该系统和方法通过识别单个GET并且基于铲斗-工具模板将所选图像中的GET的像素计数与GET的预期像素计数进行比较来选择用于磨损检测的图像。在一些实例中，该系统和方法可以基于铲斗-工具模板中的未磨损的GET的位置来识别单个GET--其可以基于铲斗-工具模板中的GET的已知位置来平衡所选图像中的GET相对于铲斗的近似位置，并且可以采用标准计算机视觉技术(例如，卷积滤波器)来识别所选图像内的特定GET。通过将标准计算机视觉技术的焦点缩小到所选图像中GET的近似位置，减少了处理时间。

在一些实例中，该系统和方法通过在一段时间内捕获GET的图像来确定磨损检测。例如，该系统和方法可以在该一段时间内的多个时间实例捕获GET的多个图像。该系统和方法可以使用本文所公开的示例实施例来确定在多个时间实例处的GET的像素计数。像素计数可以被映射到时间实例，并且该系统和方法可以基于像素计数的变化率来确定磨损趋势。该系统和方法可以基于磨损趋势预测GET何时需要更换。通过使用GET随时间的像素计数，该系统和方法可以通过最小化假阳性的影响来减少磨损检测中的错误，因为此类假阳性是磨损趋势的离群值并且表示磨损趋势的统计噪声。此外，所公开的系统和方法比用于确定机器部件磨损的机器学习或神经网络技术需要更少的处理资源。因此，所公开的系统和方法比依赖于机器学习或神经网络技术以使用计算机视觉技术来识别磨损的磨损检测系统更有效，因为它们更准确并且需要更少的处理资源。

虽然已经参考以上实例具体示出和描述了本公开的各方面，但是本领域技术人员将理解，在不脱离所公开内容的精神和范围的情况下，可以通过对所公开的装置、系统和方法的修改来设想各种附加实施例。此类实施例应当被理解为落入基于权利要求书及其任何等价物所确定的本公开的范围内。

Claims (10)

1.一种方法，包括：

从与作业机器(100)相关联的相机(128)捕获视频流(530)，所述视频流包括与所述作业机器的铲斗(120)相关联的多个图像，其中所述铲斗包括多个地面接合工具(GET)(125)；

使用铲斗-工具模板(510)分割所述多个图像，所述铲斗-工具模板包括具有多个未磨损的工具的所述铲斗的模板图像；

基于所述分割选择用于磨损检测分析的图像(540)；

至少部分地基于所述铲斗-工具模板中所述多个未磨损的工具的位置(547)来识别所选图像中所述多个GET中的至少一个；以及

确定所述多个GET中的至少一个的磨损水平或损失。

2.根据权利要求1所述的方法，其中选择所述图像包括计算所述铲斗-工具模板的像素位置与所述多个图像的像素相比的相似性得分。

3.根据权利要求1所述的方法，其中确定所述磨损水平或损失包括计算与所述铲斗-工具模板中的所述多个未磨损的工具相关联的像素位置和与所述所选图像中的所述多个GET相关联的对应像素位置的相似性得分。

4.根据权利要求1所述的方法，还包括至少部分地基于与所述作业机器的所述铲斗相关联的操作员输入来访问所述铲斗-工具模板。

5.根据权利要求1所述的方法，还包括当所述磨损水平或损失指示所述多个GET中的所述至少一个已经断裂时生成警报。

6.一种系统，包括：

相机(128)；

处理器(140)；以及

存储可执行指令的非暂时性计算机可读介质(150)，所述可执行指令在由所述处理器执行时使得所述处理器执行操作，所述操作包括：

从所述相机(128)捕获视频流(530)，所述视频流包括与作业机器的铲斗相关联的多个图像，其中所述铲斗包括多个地面接合工具(GET)(125)；

使用铲斗-工具模板(510)分割所述多个图像，所述铲斗-工具模板包括具有多个未磨损的工具的所述铲斗的模板图像；

基于所述分割选择用于磨损检测分析的图像(540)；

至少部分地基于所述铲斗-工具模板中所述多个未磨损的工具的位置(547)来识别所选图像中所述多个GET中的至少一个；以及

确定所述多个GET中的所述至少一个的磨损水平或损失。

7.根据权利要求1所述的系统，其中选择用于磨损检测分析的图像还包括计算所述铲斗-工具模板的像素位置与所述多个图像的像素相比的相似性得分。

8.根据权利要求1所述的系统，其中确定所述磨损水平包括计算与所述铲斗-工具模板中的所述多个未磨损的工具相关联的像素位置和与所述所选图像中的所述多个GET相关联的对应像素位置的相似性得分。

9.根据权利要求1所述的系统，其中所述操作还包括至少部分地基于与所述作业机器的所述铲斗相关联的操作员输入来访问所述铲斗-工具模板。

10.根据权利要求9所述的系统，其中所述操作还包括当所述磨损水平或损失指示所述多个GET中的所述至少一个已经断裂时生成警报。