CN111435464A - 用于检测和识别机器行为的目标测试和机器学习系统 - Google Patents

用于检测和识别机器行为的目标测试和机器学习系统 Download PDF

Info

Publication number
CN111435464A
CN111435464A CN202010040711.7A CN202010040711A CN111435464A CN 111435464 A CN111435464 A CN 111435464A CN 202010040711 A CN202010040711 A CN 202010040711A CN 111435464 A CN111435464 A CN 111435464A
Authority
CN
China
Prior art keywords
machine
field
field machine
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010040711.7A
Other languages
English (en)
Inventor
米歇尔·G·基恩
罗伯特·A·哈米尔顿
凯斯·N·查斯顿
肖恩·麦瑞特
弗朗索瓦·斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN111435464A publication Critical patent/CN111435464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • G01M99/005Testing of complete machines, e.g. washing-machines or mobile phones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

描述了用于识别机器的行为的系统和方法。一种计算机系统接收表示现场机器的操作的信号,并且应用深度学习算法以识别存储在计算机可读存储器上的信号集合中的模式。所述信号集合包括表示所述现场机器的操作的接收到的信号和其它信号。使用测试机器执行一系列目标测试,同时监测表示所述测试机器的操作的信号。在所述一系列目标测试期间识别产生与由所述深度学习算法识别的所述模式匹配的信号的行为。然后,响应于在表示所述现场机器的操作的所述接收到的信号中检测到所述模式,自动地识别在所述现场机器中出现所述行为。

Description

用于检测和识别机器行为的目标测试和机器学习系统
发明领域
本发明涉及用于检测机器的状况或行为的系统和方法,所述机器例如包括重型机械和工程车辆。
发明内容
在一个实施例中,本发明提供了一种识别机器的行为的方法。一种计算机系统接收表示现场机器的操作的信号,并且应用深度学习算法以识别存储在计算机可读存储器上的信号集合中的模式。所述信号集合包括表示所述现场机器的操作的接收到的信号和其它信号。使用测试机器执行一系列目标测试,同时监测表示所述测试机器的操作的信号。在所述一系列目标测试期间识别产生与由所述深度学习算法识别的所述模式匹配的信号的行为。然后,响应于在表示所述现场机器的操作的所述接收到的信号中检测到所述模式,自动地识别在所述现场机器中出现所述行为。
在另一个实施例中,本发明提供了一种通过从多个现场机器接收多个信号来识别机器的行为的方法。所述多个信号包括每一个现场机器的多个传感器中的每一个的时域输出。将所述多个信号存储到计算机可读存储器,并且将深度学习算法应用到所述信号以识别所述信号中的多个模式。然后,使用测试机器来执行一系列目标测试,同时监测所述测试机器的所述多个传感器中的每一个的时域输出。所述一系列目标测试包括在一组已限定的变化的操作状况下执行一系列操作。在所述一系列目标测试期间,当所述测试机器的所述多个传感器的所述输出与由所述深度学习算法识别的所述多个模式中的第一模式匹配时,识别第一行为。对识别各自与所述多个模式中的不同模式对应的多个行为的数据库进行更新。由所述数据库定义的每个行为包括机器的被识别的操作和所述机器的被识别的操作状况。然后,响应于在来自所述现场机器的多个传感器的所述信号中检测到所述第一模式,自动地识别在所述多个现场机器中的一个中出现所述第一行为。
通过考虑详细描述和附图,本发明的其它方面将变得显而易见。
附图说明
图1是根据一个实施例的与远程服务器通信的本地机器控制器的框图。
图2是用于在来自现场车辆传感器的信号数据中识别模式并且通过目标测试来识别与模式相关联的行为的方法的流程图。
图3是用于通过检测先前由图2的方法识别和定义的信号模式来检测出现行为的方法的流程图。
图4是用于使用无监督机器学习、有监督机器学习和目标测试数据来识别信号数据模式/特征并且将其与机器操作相关联的方法的流程图。
图5是用于使用无监督机器学习、有监督机器学习、目标测试数据和手动定义的分类来识别信号数据模式/特征并且将其与机器操作相关联的方法的流程图。
图6是用于识别信号数据模式/特征并且将其与机器操作相关联以及用于更新补充的目标测试计划的方法的流程图。
具体实施方式
在详细解释本发明的任何实施例之前,应当理解,本发明在其应用方面不限于在以下描述中陈述或在附图中图示的部件的构造和布置的细节。本发明能够具有其它实施例并且能够以各种方式实践或实施。
从几个不同出发点来看,识别机器在工作现场的操作状态和应用可以是有用的。举例来说,获知机器的操作状态可以用来将授权与应用程序相关,以识别客户对改进的机器设计的使用,并且识别可以被用于开发(完全或部分)自动化机器的机器使用中的模式。
用于机器状态识别的一种机制是规定机器状态。可以手动地使这些规定的状态(举例来说,“空转”、“运输”、“切割(in cut)”、“回转到卡车(swing to truck)”、“倾卸”、“回转到沟槽(swing to trench)”等)与表示机器状态(举例来说,操作员回转命令、泵压力、发动机速度、发动机负载等)的传感器读数相关。然后,可以使用一小组物理测试来确定状态机器的相关性或准确性。然而,这是耗时、昂贵的,允许对机器行为的非常狭窄的理解,并且仅实现低水平的相关性。此外,它仅可以被用于确认对机器的现有理解,因为这种方法要求在试图对机器行为进行分类之前了解机器数据中要识别的特征。在一些实施方案中,机器学习的类型——例如,举例来说,“深度学习”——可以与机器远程信息处理结合,以实现对操作状态/应用和对应传感器读数的更广泛理解。
图1图示了与远程的远程信息处理服务器120通信的现场机器100——例如,举例来说,推土机、装载机、履带车或挖掘机——的远程信息处理系统的示例。在图1的示例中,现场机器100配备有包括电子处理器103和非暂时性计算机可读存储器105的本地机器控制器101。存储器105存储由电子处理器103执行的指令,以提供例如本文中所描述的功能性。本地机器控制器101通信地耦合到一个或多个操作员控制件107,并且在一些实施方案中,本地机器控制器向一个或多个机器致动器109提供输出控制信号,以基于(至少部分地)从操作员控制件107接收到的信号而控制机器的操作。本地机器控制器101也通信地耦合到一个或多个机器传感器111、显示器113(例如,用户界面屏幕和/或表示器灯)和发送器和/或接收器115。
在图1的示例中,本地机器控制器101被配置成捕获实时数据并且将其发射到远程的远程信息处理服务器120,所述实时数据包括举例来说对操作员控制件107的输入、来自机器传感器111的传感器输出以及发送到机器致动器109的输出控制信号。该数据从现场机器100的发送器/接收器115发射,并且由远程的远程信息处理服务器120的发送器/接收器121接收。在一些实施方案中,来自现场机器100的数据近乎实时地“实时流式传输”到远程的远程信息处理服务器120,而在其它实施方案中,数据可以周期性地或以更大的编译数据文件来发送。一旦被远程的远程信息处理服务器120接收到,数据就被保留并且存储在模式检测服务器123的数据库中。在图1的示例中,模式检测服务器123包括电子处理器125和非暂时性计算机可读存储器127。
尽管图1仅示出了与远程的远程信息处理服务器120通信的单个现场机器,但是在一些实施方案中,完整的机器机群可以被配置成将实时数据流式传输回到模式检测服务器123的中央数据库。在一些实施方案中,这个数据库被配置成针对曾经制造的特定类型的每一个机器保留机器上的每一个信号的完整历史。它可以表示针对该机器子集的全部机器使用情况。在一些实施方案中,机群使用数据然后被传递到由模式检测服务器123执行的深度学习算法。深度学习算法应用机器学习原理并且梳理机器使用的全部历史以识别信号中的模式。
在一些实施方案中,首先分析数据以识别单个信号的行为中的时域和/或频域模式。然后执行第二分析以识别这些所识别的模式之间的相关性。这提供了对机器如何表现、行为的哪些模式是相关的以及模式可能以何种方式相关的见解。
深度学习算法提供模式列表、模式如何相关以及它们可以如何来识别或定义。然而,它没有提供关于模式意指什么、什么导致它们或它们可以如何与机器操作或机器设计相关的任何见解。而是,使用类似的机器来开发和执行一系列目标测试,同时在目标相关性测试期间记录全套机器信号。然后,处理这些信号,以搜索先前由深度学习算法识别的模式和相关性。通过将目标测试计划和在目标测试期间执行的操作与所得的检测到的模式和相关性进行相互参照,确定深度学习模式的物理意义。以此方式,可以以更复杂、紧急的方式而不是通过规定的方法来理解车辆状态。
一旦通过深度学习算法识别了模式和相关性,并且通过目标测试识别了它们的意义,就可以在现场机器中实时识别并且使用这些模式/相关性以及进而基本行为或系统状态,举例来说,以把机器如何被使用作为目标,以针对当前使用优化机器的性能,以基于使用而生成预测性诊断消息,以训练操作员执行得更好,或使机器部分或全部自动化。
图2图示了由模式检测服务器121执行的用于创建和/或更新模式/行为数据库的方法的示例。首先,模式检测服务器121从现场机器接收一个或多个信号(步骤201)。如上文所讨论的,在一些实施方案中,这些所接收的信号可以与中央数据库中来自其它机器的其它信号组合。然后,模式检测服务器121将深度学习算法应用于所累积/接收的数据,以检测模式和/或模式的相关性(步骤203)。当由深度学习算法识别出模式和/或模式的相关性时(步骤205),将检测到的模式的识别存储到存储器(步骤207)。举例来说,系统可以被配置成存储模式本身的完整副本,或者可以被配置成存储用于在操作期间在现场机器的实时传感器数据中检测/识别模式或模式相关性的一个或多个标准。
在通过深度学习算法识别出模式和/或模式的相关性之后,使用测试机器开发和执行一系列目标测试(步骤209)。测试机器是与现场机器相同类型的机器,目标测试的操作被设计成类似于由现场机器执行的任务,所述任务可能生成检测到的模式或模式相关性。来自测试机器的信号是监测器,因为使用测试机器来执行目标测试(步骤211),并且系统(例如,测试机器的模式检测服务器或本地控制器)检测测试机器的信号何时与先前已经由深度学习算法识别的模式或模式相关性匹配(步骤213)。
响应于在测试机器中检测到与由深度学习算法检测到的模式或模式相关性匹配的模式或模式相关性,获知同时正在执行的目标测试被用来识别对应于特定模式或模式相关性的特定行为、状况或系统状态(由控制器/服务器自动地或手动地)。然后更新模式/行为数据库,以包括由深度学习算法识别的模式/模式相关性和由目标测试识别为与所识别的模式/相关性对应的行为(步骤215)。在从现场机器接收到其它信号时,在通过深度学习算法识别出其它模式/相关性时,以及在通过目标测试识别出其它相关联的行为时,重复这个过程,并且重复地更新模式/行为数据库。然后将更新的模式/行为数据库发送到现场机器,以供在现场机器的操作期间使用(步骤217)。
如上文所讨论的,“目标测试”包括被设计成由测试机器(所述测试机器是与现场机器相同类型的机器)执行的一系列测试,并且包括与将由现场机器执行的任务类似的任务,所述任务可以生成所检测到的模式、模式相关性或所收集的现场数据中的其它特征。可以执行的目标测试的一个特定示例包括挖掘机挖沟,其中,所挖出的土壤沉积在与沟槽平行的弃土堆中。这个测试计划中的一系列特定测试可以包括:举例来说,(a)将大臂朝向地面降低,(b)开始用铲斗挖掘或“切割”,(c)提升土壤;(d)在铲斗中运送土壤时,将大臂转向弃土堆,(e)将土壤释放到弃土堆中,和(f)在铲斗中没有土壤的情况下,将大臂往回转向沟槽。目标测试的其它示例可能包括:挖掘机挖沟,其中所挖掘的土壤沉积在卡车中,其中卡车轮胎与挖掘机履带齐平;或者大规模挖掘,其中挖掘机在升高的工作台上,并且所挖掘的土壤沉积在卡车中,其中卡车车厢(truck bed)与挖掘机履带齐平。“测试计划”可以使用上文所述的这些特定示例中的一个或多个来开发,或者代替或除了上文所讨论的示例之外还包括其它操作或操作环境。还可以为其它现场机器和/或其它特定用途/操作开发测试计划。
而且,如下文进一步详细讨论的,可以开发“测试计划”以包括对应于在目标测试期间由机器执行的特定操作(例如,提升土壤)的一系列“测试标签”。在使用测试机器执行目标测试期间,收集机器数据并且使其与特定的“测试标签”相关联,然后在一些实施方案中将所述“测试标签”用作“有监督机器学习”操作的输入。
图3示出了由现场机器执行以在现场机器的实时操作期间利用模式/行为数据库的方法的示例。在由现场机器接收到更新的模式/行为数据库(步骤301)之后,由用户操作现场机器(步骤303),并且监测由现场机器生成的信号(步骤305)。如上文所讨论的,这些信号要么被实时流式传输到远程的远程信息处理服务器,要么被存储以供稍后发送到模式检测服务器(步骤307)。
当现场机器的本地机器控制器101检测到存储在模式/行为数据库中的模式或模式相关性时(步骤309),它还识别由与所检测到的模式或模式相关性对应的模式/行为数据库定义的行为(步骤311)。在一些实施方案中,本地机器控制器可以被配置成响应于检测到特定行为或状况而执行特定动作。在其它实施方案中,模式/行为数据库可以进一步被配置成定义响应于检测到特定模式或模式的相关性而要由本地机器控制器执行的特定动作。在图3的示例中,本地机器控制器被配置成确定动作或减缓(mitigation)是否由对应于已经在现场机器的信号中识别的模式或模式相关性的数据库来定义(步骤313)。如果模式/行为数据库定义了对应的动作或减缓,则本地机器控制器将响应于检测到特定模式或模式相关性而施加动作或减缓(步骤315)。
在一些实施方案中,系统可以被配置成维持并且向远程服务器报告已经检测到特定行为出现多少次以及每次出现持续了多长时间的记录。在其它实施方案中,维持这种类型的记录可以是由模式/行为数据库为特定行为/信号所定义的动作。可以由模式/行为数据库定义以响应于检测到特定行为/信号而被执行的动作的其它示例可以包括调节机器的操作参数或向操作员输出表示已经检测到特定行为的警报(例如,通过显示器113)。
可以基于一次或多次检测到出现的行为/信号而发起的动作的一个特定示例可以包括具有必要维修的相互参照机器模式。找到一个或多个机群范围内的行为倾向于导致某种类型的维修的相关性,可以被用于预测哪些机器将需要维修,识别滥用行为,使操作员能够接受培训以不执行滥用行为,使工程人员能够重新设计部件,或对在设计期间无法预料的维修执行更准确的根本原因分析。
也可以(举例来说,由制造商或机器经销商)使用这些模式和行为来确定对于特定使用概况来说特定用户/客户何时具有错误的机器尺寸或类型。通过比较不同尺寸的机器上的行为,模式检测服务器可以被配置成识别与一种机器类型/尺寸上的而不是另一种上的损坏相关的模式。这可以表示,如果客户/用户购买更大的机器,他们可以避免损坏他们的机器和需要维修。这也可以被用来识别正使用超大机器的人。对于拥有/操作机器机群的客户来说,这可以就在哪个作业上使用他们的哪个机器而言可以提供有价值的数据,以便优化他们的机群使用。
响应于检测到特定模式或模式相关性的一个或多个出现而可以执行的另一个潜在动作是针对机器的现场使用来验证机器自动化特征和自动机器。如果自动化特征生成与专家操作员相同的使用模式,则可以证实自动化特征正在以相同的质量和效率执行。这可以被用作对已实施的自动化特征的验证,或在自动特征的开发期间用作有监督或强化培训的一部分。在有监督学习中,控制代理使其如何应用机器命令变化,以试图更接近地再现在专家操作员中看到的模式。在强化学习中,创建模式是可以被用作帮助机器学习优化行为的奖励的许多度量中的一个。
上文所呈现的示例仅图示了系统可以如何被配置成使用“目标测试”来识别和分类机器行为的几个示例。其它特定实施方案是可能的。举例来说,在一些实施方案中,利用了包括对所收集的现场数据执行的“无监督学习”(即,识别所收集的数据中的模式和/或特征)和对在目标测试期间收集的机器数据执行的“有监督学习”(即,使分类的模式/特征与机器的特定操作相关)的两阶段“机器学习”方法。图4到图6呈现了包括这种两阶段机器学习方法的一些详细的示例。
在图4的方法中,从机群中的多个不同现场机器收集机器数据(步骤401)。对所收集的机群机器数据执行无监督机器学习(步骤403)以生成UML(“无监督机器学习”)特征分类器(步骤405)。UML特征分类器被配置成接收时序机器数据,并且根据先前从所收集的机群数据识别/确定的一组分类来对所接收到的数据的部分进行分类。然而,在这个阶段,UML特征分类器不能够确定所分类的特征可能表示什么操作(如果有的话)。
还生成目标测试计划(步骤407),并且使用测试机器执行目标测试计划(步骤409)。在目标测试期间从测试机器收集机器数据并且从目标测试输出对应的“测试标签”(步骤411和413)。然后将机器测试数据作为输入提供给UML特征分类器(步骤415),并且基于在无监督机器学习期间识别/检测到的特征对机器测试数据进行分类。然后将测试数据的分类传递到有监督深度学习算法,所述有监督深度学习算法使所述分类与测试标签相关(步骤417)。有监督机器学习确定由UML特征分类器确定的特征的哪些组合是在目标测试期间执行的测试中的每一个测试的特性(步骤419)。在一些实施方案中,对测试数据执行的有监督机器学习导致分类器,所述分类器被配置成实时地从现场机器接收机器数据并且输出由现场机器正在执行的特定操作的表示。
图5图示了利用有监督机器学习和无监督机器学习两者的另一种方法,但是所述方法通过其它手动或预定义分类进一步增强。像图4的示例一样,对机群机器数据(步骤503)执行无监督机器学习(步骤501)以便生成UML特征分类器(步骤505)。生成目标测试计划(步骤507),并且使用测试机器执行目标测试计划(步骤509),以产生一组机器测试数据(步骤511)和测试标签(步骤513)。然而,在图5的示例中,除了UML特征分类器(步骤517)之外,将附加手动(或其它预定分类标准)应用于机器测试数据(步骤515)。然后将手动分类的输出、UML特征分类器的输出和测试标签作为输入提供给有监督机器学习(步骤519),并且有监督机器学习确定由UML特征分类器确定的特征的哪些组合是在目标测试期间执行的测试中的每一个测试的特性(步骤521)。
举例来说,目标测试计划可以包括由按下述顺序发生的操作组成的挖掘机循环:CUT操作、LOADED REPOSITION操作、DUMP操作和UNLOADED REPOSITION操作(以UNLOADEDREPOSITION操作开始)。然后可以将UML特征分类算法应用于测试数据,然后基于手动确定的标准而在这些操作之间转换。举例来说,当在CUT操作期间开始回转命令时,可以通过手动确定的标准来表示从CUT操作到LOADED REPOSITION操作的转换。类似地,当在LOADEDREPOSITION操作期间发起“铲斗倾卸”命令时,可以通过手动确定的标准来表示从LOADEDREPOSITION到DUMP的转换。当在DUMP操作期间发起在与LOADED REPOSITION操作相反的方向上的回转命令时,可以通过手动确定的标准来表示从DUMP到UNLOADED REPOSITION的转换。最后,在UNLOADEDREPOSITION操作期间,当所测量的泵压力(例如,对于挖掘机大臂的一个或多个液压缸)变高(例如,高于阈值)时,可以通过手动确定的标准来表示从UNLOADEDREPOSITION到CUT的转换。
最后,图6图示了一种其中补充/更新目标测试计划并且执行附加测试直到在机群机器数据中所识别的所有特征与在目标测试期间执行的特定操作相关为止的方法。再次,对机群机器数据(步骤603)执行无监督机器学习(步骤601),以便生成UML特征分类器(步骤605)。生成目标测试计划(步骤607),并且使用测试机器执行目标测试计划(步骤609),以产生一组机器测试数据(步骤611)和测试标签(步骤613)。将UML特征分类器应用于在目标测试期间收集的机器测试数据(步骤615),以识别所收集的测试数据中的UML特征分类,并且执行有监督机器学习以使从测试机器数据分类的特征与特定测试标签相关(步骤617)。有监督机器学习确定由UML特征分类器确定的特征的哪些组合是在目标测试期间执行的测试中的每一个测试的特性(步骤619)。
然而,在执行有监督机器学习之后,系统检查由无监督机器学习从机群机器数据识别的一组UML特征(步骤621),并且确定是否所有那些所识别的特征也在测试数据中存在/检测到(步骤623)。如果不是,则测试数据无法涵盖分类,并且附加测试是必要的,以便表示在机群数据中看到的所有行为。因此,识别补充测试并且将其添加到测试计划中(步骤625),并且根据补充测试计划继续目标测试(步骤609),直到已经在至少一个测试中从机群机器数据中识别出所有行为为止。
因此,本发明尤其提供了一种用于使用深度学习来识别机器信号中的模式或模式相关性、用于通过目标测试来归因于与模式相关联的行为以及用于基于所识别的信号模式和所定义的对应行为而操作现场机器的系统和方法。在权利要求中陈述了本发明的各种特征和优点。

Claims (22)

1.一种识别机器的行为的方法,所述方法包括:
由计算机系统接收表示现场机器的操作的信号;
由所述计算机系统应用深度学习算法来识别存储在计算机可读存储器上的信号集合中的模式,所述信号集合包括表示所述机器的操作的接收到的信号;
使用测试机器执行一系列目标测试,同时监测表示所述测试机器的操作的信号;
在所述一系列目标测试期间识别所述测试机器的、产生与由所述深度学习算法识别的所述模式匹配的信号的行为;和
响应于在表示所述现场机器的操作的所述接收到的信号中检测到所述模式,自动地识别所述现场机器的行为出现。
2.根据权利要求1所述的方法,其中,使用所述测试机器执行所述一系列目标测试包括:在一组已限定的变化的操作状况下执行一系列规定的操作。
3.根据权利要求1所述的方法,其中,接收表示所述现场机器的操作的信号包括:接收表示所述现场机器的至少一个传感器的输出的信号。
4.根据权利要求1所述的方法,其中,应用所述深度学习算法来识别存储在所述计算机可读存储器上的所述信号集合中的所述模式包括:识别从由时域模式和频域模式组成的组选择的至少一个模式。
5.根据权利要求1所述的方法,进一步包括:由所述计算机系统从多个现场机器接收多个信号,所述多个信号包括所述多个现场机器中的每一个现场机器的多个传感器中的每一个传感器的时域输出,其中,从所述多个现场机器接收所述多个信号包括接收表示所述现场机器的操作的所述信号。
6.根据权利要求1所述的方法,其中,接收表示所述现场机器的操作的信号包括:接收表示从由操作员回转命令信号、泵压力信号、发动机速度信号和发动机负载信号组成的组中选择的至少一个的信号。
7.根据权利要求1所述的方法,进一步包括:由所述计算机系统更新数据库,该数据库识别多个行为,所述多个行为中的每个与多个模式中的不同模式对应,其中,所述多个行为中的每个行为包括机器的被识别的操作和所述机器的被识别的操作状况。
8.根据权利要求1所述的方法,进一步包括:基于表示所述现场机器的操作的所述接收到的信号,将针对所述现场机器检测到的所述行为的多次出现中的每一次出现的记录存储到所述计算机可读存储器。
9.根据权利要求1所述的方法,进一步包括:响应于在来自所述现场机器的所述接收到的信号中检测到所述模式,将操作调节信号从所述计算机系统发送到所述现场机器,其中,所述现场机器被配置成响应于接收到所述操作调节信号而调节所述现场机器的操作。
10.根据权利要求1所述的方法,其中,所识别的行为包括:操作需要特定维修或维护的现场机器,并且
该方法进一步包括:响应于在表示所述现场机器的操作的所述接收到的信号中检测到所述模式,从所述计算机系统发送识别所述现场机器所需的所述特定维修或维护的信号。
11.根据权利要求1所述的方法,其中,所识别的行为包括:使用所述现场机器来执行对于所述现场机器来说不是最佳适合的任务,并且
该方法进一步包括:响应于在表示所述现场机器的操作的所述接收到的信号中检测到所述模式,从所述计算机系统自动地发送建议终端用户针对特定任务使用不同类型的现场机器的信号。
12.一种识别机器的行为的方法,所述方法包括:
由计算机系统从多个现场机器接收多个信号,所述多个信号包括所述多个现场机器中的每一个现场机器的多个传感器中的每一个传感器的时域输出;
由所述计算机系统将所述多个信号存储到计算机可读存储器;
由所述计算机系统应用深度学习算法,以在存储到所述计算机可读存储器的所述多个信号中识别多个模式;
使用测试机器来执行一系列目标测试,同时监测所述测试机器的多个传感器中的每一个的时域输出,其中,所述一系列目标测试包括在一组已限定的变化的操作状况下执行一系列操作;
在所述一系列目标测试期间,当所述测试机器的所述多个传感器的所述输出与由所述深度学习算法识别的所述多个模式中的第一模式匹配时,识别所述测试机器的第一行为;
由所述计算机系统更新数据库,该数据库识别多个行为,所述多个行为中的每个行为与由所述深度学习算法识别的所述多个模式中的不同模式对应,其中,所述多个行为中的每一个行为包括机器的被识别的操作和所述机器的被识别的操作状况;和
响应于在所述多个信号中的、与所述多个现场机器中的一个现场机器的所述多个传感器的输出对应的接收到的信号中检测到所述第一模式,由所述计算机系统自动地识别所述多个现场机器中的所述一个现场机器中的第一行为的出现。
13.根据权利要求12所述的方法,其中,从所述多个现场机器接收所述多个信号包括:从所述多个现场机器中的第一现场机器的发送器接收周期性输出或连续输出。
14.根据权利要求12所述的方法,其中,从所述多个现场机器接收所述多个信号包括:接收从由操作员回转命令信号、泵压力信号、发动机速度信号和发动机负载信号组成的组中选择的至少一个信号。
15.根据权利要求12所述的方法,其中,应用所述深度学习算法以识别所述多个信号中的所述多个模式包括:识别包括从由时域模式和频域模式组成的组中选择的至少一个的模式。
16.根据权利要求12所述的方法,其中,应用所述深度学习算法以识别所述多个信号中的所述多个模式包括:识别来自现场机器中的所述多个传感器中的两个或更多个传感器的时间对应输出中的模式。
17.根据权利要求12所述的方法,进一步包括:将针对所述多个现场机器中的每个单独现场机器检测到的所述第一行为的多次出现中的每一次出现的记录存储到所述计算机可读存储器。
18.根据权利要求17所述的方法,其中,所述数据库表示所述第一模式对应于正被用于一任务的现场机器,所述现场机器不是最佳适合所述任务的现场机器,并且
该方法进一步包括:基于针对所述第一现场机器检测到所述第一行为的出现次数,自动地输出识别更适合终端用户的不同类型的现场机器的报告。
19.根据权利要求12所述的方法,其中,所述数据库表示所述第一模式对应于正被用于一任务的现场机器,所述现场机器不是最佳适合所述任务的现场机器,并且
该方法进一步包括:从所述计算机系统自动地发送建议终端用户针对所述任务使用不同类型的现场机器的信号。
20.根据权利要求12所述的方法,进一步包括:响应于在来自所述多个现场机器中的第一现场机器的所述接收到的信号中检测到所述第一模式,将操作调节信号从所述计算机系统发送到所述第一现场机器,其中,所述第一现场机器被配置成响应于接收到所述操作调节信号而调节所述第一现场机器的操作。
21.根据权利要求12所述的方法,其中,所述数据库进一步识别对应于所述第一模式的特定维修或维护任务,并且该方法进一步包括:
响应于在来自所述多个现场机器中的第一现场机器的所述接收到的信号中检测到所述第一模式,从所述计算机系统发送表示需要对所述第一现场机器进行所述特定维修或维护的信号。
22.根据权利要求21所述的方法,进一步包括:响应于从所述计算机系统接收到表示需要所述特定维修或维护的所述信号,对所述第一现场机器自动地安排所述特定维修或维护。
CN202010040711.7A 2019-01-14 2020-01-14 用于检测和识别机器行为的目标测试和机器学习系统 Pending CN111435464A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/247,230 US11222202B2 (en) 2019-01-14 2019-01-14 Targeted testing and machine-learning systems for detecting and identifying machine behavior
US16/247,230 2019-01-14

Publications (1)

Publication Number Publication Date
CN111435464A true CN111435464A (zh) 2020-07-21

Family

ID=71131907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010040711.7A Pending CN111435464A (zh) 2019-01-14 2020-01-14 用于检测和识别机器行为的目标测试和机器学习系统

Country Status (3)

Country Link
US (1) US11222202B2 (zh)
CN (1) CN111435464A (zh)
DE (1) DE102020200368A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11697917B2 (en) * 2019-07-26 2023-07-11 Deere & Company Anticipatory modification of machine settings based on predicted operational state transition
KR20220041339A (ko) * 2020-09-25 2022-04-01 젠틀에너지 주식회사 자가 발전식 센서, 이를 포함하는 모니터링 시스템
JP7394973B2 (ja) * 2019-09-27 2023-12-08 ジェントル エネジ コーポレーション 自己発電型センサー、それを含むモニタリングシステム
CN112540904B (zh) * 2020-12-15 2023-06-23 北京百度网讯科技有限公司 机器操作行为识别方法、装置、电子设备以及计算机介质
DE102021101356A1 (de) 2021-01-22 2022-07-28 Amazonen-Werke H. Dreyer SE & Co. KG Verfahren zum Auswerten eines auf einer landwirtschaftlichen Nutzfläche ausgeführten Bearbeitungsvorgangs
US20230033796A1 (en) * 2021-07-29 2023-02-02 Caterpillar Inc. Systems and methods for determining extended warranty pricing based on machine activity

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689394B2 (en) 2003-08-26 2010-03-30 Siemens Industry, Inc. System and method for remotely analyzing machine performance
WO2005024208A1 (ja) 2003-09-02 2005-03-17 Komatsu Ltd. 作業車両用エンジンのパワー出力の制御方法及び制御装置
US7194383B2 (en) 2004-12-06 2007-03-20 Caterpillar Inc Vibration analysis system and method for a machine
US7908928B2 (en) 2006-10-31 2011-03-22 Caterpillar Inc. Monitoring system
US8095280B2 (en) * 2008-06-02 2012-01-10 Caterpillar Inc. Method for adjusting engine speed based on power usage of machine
CN102575973B (zh) 2009-10-19 2015-06-24 日立建机株式会社 工程机械的诊断系统及诊断方法
AU2010344438B2 (en) 2010-01-28 2014-11-06 Hitachi Construction Machinery Co., Ltd. Operation machine monitoring diagnosis device
US8768587B2 (en) 2012-07-25 2014-07-01 Caterpillar Inc. Worksite management system with gear recommendation
US9139981B2 (en) 2014-02-06 2015-09-22 Caterpillar Inc. Rimpull Derate management in a machine with independent powertrains
US9691025B2 (en) * 2014-09-16 2017-06-27 Caterpillar Inc. Machine operation classifier
US9685009B2 (en) 2015-04-01 2017-06-20 Caterpillar Inc. System and method for managing mixed fleet worksites using video and audio analytics
US10030364B2 (en) 2015-10-26 2018-07-24 Caterpillar Inc. Hydraulic system having automatic ride control
CN107338826A (zh) 2016-04-28 2017-11-10 东空销售股份有限公司 附件监视系统
US9982414B2 (en) 2016-05-16 2018-05-29 Caterpillar Inc. Operation identification of a work machine
US10311657B2 (en) 2016-12-16 2019-06-04 Caterpillar Inc. System and method for identifying machine work cycle phases
WO2020004972A1 (en) * 2018-06-27 2020-01-02 Lg Electronics Inc. Automatic control artificial intelligence device and method for updating a control function
US10848090B2 (en) * 2018-06-28 2020-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Control methodology to reduce motor drive loss

Also Published As

Publication number Publication date
DE102020200368A1 (de) 2020-07-16
US20200226350A1 (en) 2020-07-16
US11222202B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
US11222202B2 (en) Targeted testing and machine-learning systems for detecting and identifying machine behavior
AU2009212456B2 (en) Performance management system for multi-machine worksite
US10373406B2 (en) Operation support system and working machine including operation support system
US10410440B2 (en) Distributed system and method for monitoring vehicle operation
US10760995B2 (en) Failure detection device for detecting an issue with a part of a machine
JP5026433B2 (ja) プロセスモデルベースの仮想センサシステムおよび方法
US9129233B2 (en) System and method for training a machine operator
US7743005B2 (en) Diagnosis of abnormal operation modes of a machine utilizing self organizing map
AU2013245998B2 (en) Efficient health management, diagnosis and prognosis of a machine
US7464063B2 (en) Information processor, state judging unit and diagnostic unit, information processing method, state judging method and diagnosing method
US20160098637A1 (en) Automated Data Analytics for Work Machines
EP3825966A1 (en) A system and method for monitoring and predicting breakdowns in vehicles
CN116391187A (zh) 使用机器学习模型的底架磨损预测
US10325037B2 (en) System and method for analyzing operation of component of machine
WO2023040400A1 (zh) 一种挖掘机故障的预测方法、装置、电子设备及存储介质
CN116391117A (zh) 基于机器振动数据的底盘磨损预测
CN116665421A (zh) 机械设备的预警处理方法、装置及计算机可读存储介质
US10288530B2 (en) Method for improving severity estimates
AU2018202052A1 (en) Machine time usage determination system and method
US20200143004A1 (en) Visualization of machine structure damage from machine sensor data using machine learning
US12116757B2 (en) Anomalous operating characteristic detection system, and associated devices and methods
US11680591B2 (en) Determining remaining life of a hose assembly based on sensor data
US10573092B2 (en) Real-time remote visualization of frame damage from field data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination