CN116057593A - 基于声学建模的数字孪生启用设备诊断 - Google Patents
基于声学建模的数字孪生启用设备诊断 Download PDFInfo
- Publication number
- CN116057593A CN116057593A CN202180053413.4A CN202180053413A CN116057593A CN 116057593 A CN116057593 A CN 116057593A CN 202180053413 A CN202180053413 A CN 202180053413A CN 116057593 A CN116057593 A CN 116057593A
- Authority
- CN
- China
- Prior art keywords
- asset
- computer
- real
- time audio
- audio input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000002085 persistent effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- WVMLRRRARMANTD-FHLIZLRMSA-N ram-316 Chemical compound C1=CCC[C@@]2(O)[C@H]3CC4=CC=C(OC)C(O)=C4[C@]21CCN3C WVMLRRRARMANTD-FHLIZLRMSA-N 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M7/00—Vibration-testing of structures; Shock-testing of structures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Debugging And Monitoring (AREA)
Abstract
在基于声学建模的数字孪生启用设备诊断的方法中，从移动设备接收资产的实时音频输入。使用一个或多个声学建模算法来分析实时音频输入以建立与基线的偏差，其中基线与资产的数字孪生相关联。响应于确定与基线的偏差超过预定阈值，迭代地指示用户移动移动设备，直到满足停止标准。
Description
技术领域
本发明一般涉及数据处理领域，更具体地涉及基于声学建模的数字孪生(“twin”)启用设备诊断。
背景技术
数字孪生是跨越其生命周期的物理对象或系统的虚拟表示。它使用实时数据和其它源来启用学习、推理和动态重新校准以改进决策制定。简单地说，这意味着创建高度复杂的虚拟模型，该虚拟模型是物理事物的精确对应物(或成对物)。“事物”可以是汽车，隧道，桥梁或甚至喷气发动机。物理资产上的连接的传感器收集可以映射到虚拟模型上的数据。通过观看数字孪生，用户现在可以看到关于物理事物如何在真实世界中操作的关键信息。
声音识别是基于传统模式识别理论和音频信号分析方法两者的技术。典型的声音识别技术包括初步数据处理、特征提取和分类算法。作为初步数据处理和线性预测编码的结果，创建特征向量。然后声音识别将这些特征向量分类。声学指纹是从音频信号确定性地生成的压缩数字概要，其可用于标识音频样本或快速定位音频数据库中的类似项。
发明内容
本发明的实施例公开了一种用于基于声学建模的数字孪生启用的设备诊断的方法、计算机程序产品和系统。在一个实施例中，从移动设备接收资产的实时音频输入。使用一个或多个声学建模算法来分析实时音频输入以建立与基线的偏差，其中基线与资产的数字孪生相关联。响应于确定与基线的偏差超过预定阈值，迭代地指示用户移动移动设备，直到满足停止标准。
附图说明
图1是示出根据本发明实施例的分布式数据处理环境的功能框图。
图2是描述根据本发明实施例的在图1的分布式数据处理环境内的计算设备上的声学诊断程序的操作步骤的流程图，该声学诊断程序用于基于声学建模的数字孪生启用的设备诊断。
图3描绘了根据本发明实施例的在图1的分布式数据处理环境内执行声学诊断程序的计算设备的组件的框图。
具体实施方式
当今世界比以往连接得更多。物联网(Internet of Things，IoT)传感器的出现和通过数字双胞胎的明确限定的实物资产的数字化允许技术人员操作方式的创新。这些发明可以为与机械一起工作的技术人员提供技术以更好地诊断故障和其它异常状况，从而节省时间和金钱。机器采取的每个单独动作都产生声音。所需要的是机器操作方利用其现有的移动设备和声学分析技术的进步来基于其发出的声音的变化更准确地诊断其设备的方式。本发明将为技术人员装备用于故障排除数字孪生启用设备的最佳可能数据。
数字孪生是过程、产品或服务的虚拟模型。虚拟和物理世界的这种配对允许数据的分析和系统的监控在问题甚至出现之前解决问题、防止停机时间、开发新的机会以及甚至通过使用仿真为将来规划。例如，IoT设备的数字孪生提供了设备在其整个生命周期中如何操作和生存的元素和动态。
数字孪生可以集成人工智能，机器学习和软件分析，以创建当它们的物理对应物改变时更新和改变的活体数字模拟模型。数字孪生连续地从多个源学习和更新自身以表示其接近实时的状态、工作状况或位置。数字孪生还将来自过去机器使用的历史数据集成到其数字模型中。
本发明允许本领域的用户检查具有数字孪生副本的机器的特定组件。本发明记录来自设备或资产的声音、实时分析音频质量、并且将声学签名与资产的数字孪生相比较。如果声音质量不是最佳的，则本发明将确定最佳记录位置，并且将指示用户相应地重新定位记录设备。当获得最佳声音质量时，本发明将基于数字孪生来检测来自资产的声音中的异常，并且将向用户告知机器的可能出现故障的部分。
图1是示出了根据本发明的至少一个实施例的适用于声学诊断程序112的操作的分布式数据处理环境的功能框图，该分布式数据处理环境总体表示为100。这里使用的术语“分布式”描述了包括多个物理上不同的设备的计算机系统，这些设备作为单个计算机系统一起操作。图1仅提供了一种实现的图示，并不暗示关于可以实现不同实施例的环境的任何限制。本领域技术人员可以对所描述的环境进行数个修改而不脱离权利要求所述的本发明的范围。
分布式数据处理环境100包括计算设备110和用户设备130，两者都连接到网络120。网络120可以是例如电信网络，局域网(LAN)，诸如互联网的广域网(WAN)，或这三者的组合，并且可以包括有线，无线或光纤连接。网络120可以包括一个或多个有线和/或无线网络，其能够接收和发送数据、语音和/或视频信号，包括包含语音、数据和视频信息的多媒体信号。通常，网络120可以是将支持计算设备110、用户设备130与分布式数据处理环境100内的其它计算设备(未示出)之间的通信的连接和协议的任何组合。
计算设备110可以是独立计算设备，管理服务器，web服务器，移动计算设备或能够接收、发送和处理数据的任何其它电子设备或计算系统。在实施例中，计算设备110可以是膝上型计算机，平板计算机，上网本计算机，个人计算机(PC)，台式计算机，个人数字助理(PDA)，智能电话或能够经由网络120与分布式数据处理环境100内的其它计算设备(未示出)通信的任何可编程电子设备。在另一实施例中，计算设备110可以表示利用多个计算机作为服务器系统的服务器计算系统，诸如在云计算环境中。在又一实施例中，计算设备110表示利用集群计算机和组件(例如，数据库服务器计算机、应用服务器计算机等)的计算系统，该集群计算机和组件在分布式数据处理环境100内被访问时充当无缝资源的单个池。
在实施例中，计算设备110包括声学诊断程序112。在实施例中，声学诊断程序112是用于基于声学建模的数字孪生启用的设备诊断的较大程序的程序、应用或子程序。在备选实施例中，声学诊断程序112可以位于计算设备110可经由网络120访问的任何其他设备上。
在一个实施例中，计算设备110包括信息存储库114。在一个实施例中，信息存储库114可以由声学诊断程序112管理。在备选实施例中，信息存储库114可以由设备的操作系统单独地或与声学诊断程序112一起管理。信息存储库114是可以存储、收集、比较和/或组合信息的数据存储库。在一些实施例中，信息存储库114位于计算设备110的外部并且通过诸如网络120的通信网络来访问。在一些实施例中，信息存储库114存储在计算设备110上。在一些实施例中，信息存储库114可以驻留在另一计算设备(未示出)上，只要信息存储库114可由计算设备110访问。信息存储库114包括但不限于声学数据、数字孪生数据、系统数据、用户数据和由声学诊断程序112从一个或多个源接收的其它数据、以及由声学诊断程序112创建的数据。
在一个实施例中，信息存储库114还可以包含数字孪生存储库。在一个实施例中，数字孪生存储库可以与信息存储库114分开，只要该数字孪生存储库可由计算设备110访问。
信息存储库114可以使用本领域已知的用于存储信息的任何易失性或非易失性存储介质来实现。例如，信息存储库114可以用磁带库、光盘库、一个或多个独立硬盘驱动器、独立磁盘冗余阵列(RAID)中的多个硬盘驱动器，固态驱动器(SSD)或随机存取存储器(RAM)来实现。类似地，信息存储库114可以用本领域已知的任何合适的存储体系结构来实现，诸如关系数据库、NoSQL数据库、面向对象的数据库或一个或多个表。
用户设备130可以是智能电话，独立计算设备，移动计算设备或包括捕获音频的能力并且能够接收、发送和处理数据的任何其他电子设备或计算系统。在一个实施例中，用户设备130可以是智能电话、膝上型计算机、平板计算机，上网本计算机、个人计算机(PC)、台式计算机、个人数字助理(PDA)或包括捕获音频的能力并且能够经由网络120与分布式数据处理环境100内的其它计算设备(未示出)通信的任何可编程电子设备。
图2是描述根据本发明的至少一个实施例的用于基于声学建模的数字孪生启用设备诊断的声学诊断程序112的操作步骤的工作流程200的流程图。在备选实施例中，工作流200的步骤可以由任何其它程序在与声学诊断程序112一起工作时执行。
在一个实施例中，声学诊断程序112由用户发起以分析资产，例如，以评估机器组件的健康。在一个实施例中，声学诊断程序112使用已知的声学建模算法来确定当前记录偏离从先前记录建立的基线多远。在一个实施例中，声学诊断程序112利用资产的数字孪生(例如，图表，3D模型和较早的声音简档)来确定音频记录中是否存在任何异常。在一个实施例中，声学诊断程序112确定记录音频的设备的位置对于精确的声音检测是否是最佳的。在一个实施例中，如果声学诊断程序112确定记录音频的设备的位置对于精确的声音检测不是最佳的，则声学诊断程序112指示用户在哪里重新定位记录设备以获得最佳的音频记录。在一个实施例中，声学诊断程序112绘制隔离特定异常声音的增强音频记录。在一个实施例中，声学诊断程序112将音频数据存储到数字孪生数据仓库中。在一个实施例中，声学诊断程序112显示分析结果。
应当理解，本发明的实施例至少提供基于声学建模的数字双功能设备诊断。然而，图2仅提供了一个实现的图示，并不暗示关于可以实现不同实施例的环境的任何限制。本领域技术人员可以对所描述的环境进行许多修改而不脱离权利要求所述的本发明的范围。
声学诊断程序112发起音频记录会话(步骤202)。在一个实施例中，声学诊断程序112由用户发起以分析资产，例如，以评估机器组件的健康。在一个实施例中，声学诊断程序112响应于来自用户的请求而发起音频记录会话。在另一实施例中，当用户打开移动设备(例如，图1的用户设备130)上的app时，声学诊断程序112发起音频记录会话。
声学诊断程序112实时分析捕获的音频(步骤204)。在一个实施例中，声学诊断程序112使用已知的声学建模算法来确定当前记录偏离从先前记录建立的基线多远。例如，声学诊断程序112可以使用快速傅立叶变换或离散傅立叶变换将记录转换为包含在整个记录中的一系列频率。在各种实施例中，声学诊断程序112可以使用序列到序列自动编码器模型或卷积长短期存储器自动编码器来确定当前记录偏离基线多远。在一个实施例中，声学诊断程序112从存储在信息存储库114中的资产的声学数据存储库取回从先前记录建立的基线。在一些实施例中，与从先前记录建立的基线的偏差可以与检测先前在较早的音频记录中没有检测到的频率一样简单，例如在另外的低频嗡嗡声中的高音调研磨(grinding)噪声。
声学诊断程序112将捕获的音频与数字孪生相比较(步骤206)。在一个实施例中，声学诊断程序112利用资产的数字孪生(例如，图表，3D模型和较早的声音简档)来确定音频记录中是否存在任何异常。在一个实施例中，声学诊断程序112建立与数字孪生相关联的基线。例如，数字孪生将知道每个内部部分的位置以及该组件的理想操作状态的声学“签名”以及当存在异常时的预定阈值。
声学诊断程序112确定该位置是否是最佳的(判定框208)。在一个实施例中，声学诊断程序112确定记录音频的设备的位置对于精确的声音检测是否是最佳的。在一个实施例中，声学诊断程序112使用预定阈值来确定与在前一步骤中建立的基线的偏差。在一个实施例中，声学诊断程序112确定与基线的偏差是否超过预定阈值，如果是，则声学诊断程序112迭代地将用户指示到最佳位置以获取音频。在一个实施例中，阈值是系统默认的。在另一实施例中，由声学诊断程序112的用户建立阈值。
在一个实施例中，声学诊断程序112利用资产的数字孪生(例如，图表、3D模型和较早的声音轮廓)来基于多个因素来确定记录位置是否是最佳的。在各种实施例中，这些因素包括与通常易于出错的内部部分的所需接近度；机器的尺寸、重量和安全信息；音频记录中的异常位置(例如，异常频率)在左声道上更明显，意味着移动设备麦克风位于可能引起故障的右侧的某处；以及将所接收的音频剪辑与先前记录进行比较以匹配可能有问题的部分。在一个实施例中，如果声学诊断程序112确定记录音频的设备的位置对于精确的声音检测是最佳的(“是”分支，判定框208)，则声学诊断程序112前进到步骤212。
声学诊断程序112将用户指示到最佳位置(步骤210)。在一个实施例中，如果声学诊断程序112确定记录音频的设备的位置对于精确的声音检测不是最佳的(“否”分支，判定框208)，则声学诊断程序112指示用户在哪里重新定位记录设备以获得最佳的音频记录。在一个实施例中，声学诊断程序112通过向用户设备发送移动指令来将用户指示到不完整区域以捕获附加音频记录。例如，声学诊断程序112可以向用户设备的屏幕发送箭头以向用户指示用户应该移动以捕获更多音频记录的方向。在另一实施例中，声学诊断程序112通过向用户发送具有突出显示记录位置的资产的图像来将用户指示到不完整区域以捕获附加音频记录。在又一实施例中，声学诊断程序112使用本领域技术人员已知的任何适当的通知方法将用户引导到该区域以捕获附加的音频记录。
在一个实施例中，声学诊断程序112建立停止标准。在各种实施例中，停止标准可以包括检测反映在资产的数字孪生中找到的先前识别的问题的实时音频输入的特性；确定达到与资产的已知易错位置的所需接近度；或反映在资产的数字孪生中没有找到的新问题的实时音频的特性的检测。当声学诊断程序112确定已经满足停止标准时，则声学诊断程序112通知用户当前位置是用于捕获音频的最佳位置。
声学诊断程序112绘制增强的音频记录(步骤212)。在一个实施例中，声学诊断程序112绘制隔离特定异常声音的增强音频记录。在一个实施例中，声学诊断程序112使用来自多位置音频记录的其它声学数据，以使用现有的声学处理方法来产生增强的音频记录。在一个实施例中，声学诊断程序112组合所采用的不同记录(多位置音频记录)以创建用于存储和评估的最佳记录，例如立体声对单声道。
声学诊断程序112将音频数据保存到数字孪生仓库(步骤214)。在一个实施例中，声学诊断程序112将音频数据存储到信息存储库114中。在一个实施例中，声学诊断程序112将音频数据存储到作为信息存储库114的一部分的数字孪生数据仓库中。在一个实施例中，声学诊断程序112将音频数据馈送到机器学习模型中，该机器学习模型有助于在与被测单元相同的设备上进行进一步诊断会话。
声学诊断程序112显示系统输出(步骤216)。在一个实施例中，声学诊断程序112为用户显示分析结果。在一个实施例中，声学诊断程序112在用户设备(例如，图1的用户设备130)上显示分析结果。在一个实施例中，用户使用该信息来确定资产的故障，或者是否需要进一步的诊断来确认故障。然后，声学诊断程序112结束该循环。
图3是示出根据本发明至少一个实施例的适用于声学诊断程序112的计算设备110的组件的框图。图3示出了计算机300，一个或多个处理器304(包括一个或多个计算机处理器)、通信结构302、包括随机存取存储器(RAM)316和高速缓存318的存储器306、持久存储器308、通信单元312、I/O接口314、显示器322和外部设备320。应当理解，图3仅提供了一个实施例的说明，并不暗示对可以实现不同实施例的环境的任何限制。可以对所描述的环境进行多个修改。
如图所示，计算机300在通信结构302上操作，通信结构302提供计算机处理器304、存储器306、持久存储器308、通信单元312与I/O接口314之间的通信。通信结构302可以用适于在处理器304(例如，微处理器、通信处理器和网络处理器)、存储器306、外部设备320与系统内的任何其它硬件组件之间传递数据或控制信息的体系结构来实现。例如，通信结构302可以用一个或多个总线来实现。
存储器306和持久存储器308是计算机可读存储介质。在所示实施例中，存储器306包括RAM316和高速缓存318。通常，存储器306可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存318是快速存储器，其通过保存来自RAM316的最近访问的数据和接近最近访问的数据来增强处理器304的性能。
用于声学诊断程序112的程序指令可以存储在持久存储器308中，或者更一般地，存储在任何计算机可读存储介质中，用于由一个或多个相应的计算机处理器304经由存储器306的一个或多个存储器来执行。持久存储器308可以是磁硬盘驱动器、固态盘驱动器、半导体存储设备、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或能够存储程序指令或数字信息的任何其它计算机可读存储介质。
持久存储器308所使用的介质也可以是可移动的。例如，可移动硬盘驱动器可用于持久存储器308。其它示例包括光盘和磁盘、拇指驱动器和智能卡、它们被插入到驱动器中以便传送到另一计算机可读存储介质上，该计算机可读存储介质也是持久存储器308的部分。
在这些例子中，通信单元312提供与其它数据处理系统或设备的通信。在这些示例中，通信单元312包括一个或多个网络接口卡。通信单元312可以通过使用物理和无线通信链路中的一个或二者来提供通信。在本发明的一些实施例的上下文中，各种输入数据的源可以在物理上远离计算机300，使得可以接收输入数据，并且经由通信单元312类似地传输输出。
(多个)I/O接口314允许与可连接到计算机300的其它设备输入和输出数据。例如，(多个)I/O接口314可以提供到外部设备320的连接，外部设备320例如是键盘、小键盘、触摸屏、麦克风、数码相机和/或一些其它合适的输入设备。外部设备320还可以包括便携式计算机可读存储介质，例如拇指驱动器，便携式光盘或磁盘，以及存储卡。用于实践本发明的实施例的软件和数据(例如，声学诊断程序112)可以存储在此类便携式计算机可读存储介质上，并且可以经由(多个)I/O接口314加载到持久存储器308上。I/O接口314还连接到显示器322。
显示器322提供向用户显示数据的机制，并且可以是例如计算机监视器。显示器322还可以用作触摸屏，例如平板计算机的显示器。
本文描述的程序是基于它们在本发明的特定实施例中实现的应用来标识的。然而，应当理解，这里使用的任何特定的程序术语仅仅是为了方便，因此本发明不应当限于仅在由这种术语标识和/或暗示的任何特定应用中使用。
本发明可以是系统，方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。
计算机可读存储介质可以是能够保留和存储供指令执行设备使用的指令的任何有形设备。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD－ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码的设备、诸如其上记录有指令的槽中的穿孔卡片或凸起结构，以及前述的任何适当组合。在此使用的计算机可读存储介质不能被解释为瞬时信号本身，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如互联网，局域网，广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆，光传输光纤，无线传输，路由器，防火墙，交换机，网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发该计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集体系架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括诸如Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的常规过程编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者连接到外部计算机(例如，通过使用互联网服务提供方的互联网)。在一些实施例中，包括例如可编程逻辑电路，现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
本文参考根据本发明实施例的方法，装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机，可编程数据处理装置和/或其他设备以特定方式起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。
图中的流程图和框图示出了根据本发明各种实施例的系统，方法和计算机程序产品的可能实现的体系结构，功能和操作。在这方面，流程图或框图中的每个框可以表示模块，段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些备选的实现中，框中指出的功能可以不按照图中指出的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
已经出于说明的目的给出了对本发明的各种实施例的描述，但是这些描述并不旨在是穷尽的或限于所公开的实施例。许多修改和变化对于本领域的普通技术人员是清楚的而不脱离本发明的范围和精神。选择本文中使用的术语以最佳地解释实施例的原理，实际应用或对市场中存在的技术的技术改进，或使所属领域的技术人员能够理解本文中所揭示的实施例。
Claims (20)
1.一种用于设备诊断的计算机实现的方法，所述计算机实实现的方法包括：
由一个或多个计算机处理器从移动设备接收资产的实时音频输入；
由所述一个或多个计算机处理器使用一个或多个声学建模算法来分析所述实时音频输入，以建立与基线的偏差，其中所述基线与所述资产的数字孪生相关联；以及
响应于确定与所述基线的所述偏差超过预定阈值，由所述一个或多个计算机处理器迭代地指示用户移动所述移动设备直到停止标准被满足。
2.根据权利要求1所述的计算机实现的方法，所述停止标准是对所述实时音频输入的、反映在所述资产的所述数字孪生中找到的先前标识的问题的特性的检测。
3.根据权利要求1所述的计算机实现的方法，所述停止标准是达到所述资产的已知易出错位置的所需接近度的确定。
4.根据权利要求1所述的计算机实现的方法，所述停止标准是对所述实时音频的、反映新问题在所述资产的所述数字孪生中未被找到的特性的检测。
5.根据权利要求4所述的计算机实现的方法，其中所述停止标准是对所述实时音频的、反映所述新问题在所述资产的所述数字孪生中未被找到的所述特性的所述检测还包括：
响应于确定所述新问题是所述资产的故障，更新所述数字孪生以包括关于所述新问题的信息。
6.根据权利要求1的计算机实现的方法，还包括：
由一个或多个计算机处理器捕获所述资产的所述实时音频输入；以及
由所述一个或多个计算机处理器利用所述实时音频输入来更新所述资产的机器学习模型，其中所述机器学习模型被用于所述资产的进一步诊断会话。
7.根据权利要求1的计算机实现的方法，还包括：
由一个或多个计算机处理器捕获所述资产的所述实时音频输入；以及
由一个或多个计算机处理器利用所述实时音频输入来更新所述资产的所述数字孪生。
8.一种用于设备诊断的计算机程序产品，所述计算机程序产品包括：
一个或多个计算机可读存储设备，和被存储在所述一个或多个计算机可读存储设备上的程序指令，所存储的所述程序指令包括指令以：
从移动设备接收资产的实时音频输入；
使用一个或多个声学建模算法来分析所述实时音频输入，以建立与基线的偏差，其中所述基线与所述资产的数字孪生相关联；以及
响应于确定与所述基线的所述偏差超过预定阈值，迭代地指示用户移动所述移动设备直到停止标准被满足。
9.根据权利要求8所述的计算机程序产品，所述停止标准是对所述实时音频输入的、反映在所述资产的所述数字孪生中找到的先前标识的问题的特性的检测。
10.根据权利要求8所述的计算机程序产品，所述停止标准是达到所述资产的已知易出错位置的所需接近度的确定。
11.根据权利要求8所述的计算机程序产品，其中所述停止标准是对所述实时音频的、反映新问题在所述资产的所述数字孪生中未被找到的特性的检测。
12.根据权利要求11所述的计算机程序产品，其中所述停止标准是对所述实时音频的、反映所述新问题在所述资产的所述数字孪生中未被找到的所述特性的所述检测，还包括被存储在所述一个或多个计算机可读存储介质上的以下所述程序指令中的一个或多个程序指令以：
响应于确定所述新问题是所述资产的故障，更新所述数字孪生以包括关于所述新问题的信息。
13.根据权利要求8所述的计算机程序产品，还包括被存储在所述一个或多个计算机可读存储介质上的以下所述程序指令中的一个或多个程序指令，以：
捕获所述资产的所述实时音频输入；以及
利用所述实时音频输入来更新所述资产的机器学习模型，其中所述机器学习模型被用于所述资产的进一步诊断会话。
14.根据权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的以下所述程序指令中的一个或多个程序指令，以：
捕获所述资产的实时音频输入；以及
利用所述实时音频输入来更新所述资产的所述数字孪生。
15.一种用于设备诊断的计算机系统，所述计算机系统包括：
一个或多个计算机处理器；
一个或多个计算机可读存储介质；以及
程序指令，被存储在所述一个或多个计算机可读存储介质上用于由所述一个或多个计算机处理器中的至少一个处理器执行，所存储的程序指令包括指令，以：
从移动设备接收资产的实时音频输入；
使用一个或多个声学建模算法来分析所述实时音频输入，以建立与基线的偏差，其中所述基线与所述资产的数字孪生相关联；以及
响应于确定与所述基线的所述偏差超过预定阈值，迭代地指示用户移动所述移动设备直到停止标准被满足。
16.根据权利要求15所述的计算机系统，所述停止标准是对所述实时音频输入的、反映在所述资产的所述数字孪生中找到的先前标识的问题的特性的检测。
17.根据权利要求15所述的计算机系统，所述停止标准是达到所需的对所述资产的已知易出错位置的接近度的确定。
18.根据权利要求15所述的计算机系统，所述停止标准是对所述实时音频的、反映新问题在所述资产的所述数字孪生中未被找到的特性的检测。
19.根据权利要求18所述的计算机系统，所述停止标准是对所述实时音频的、反映新问题在所述资产的所述数字孪生中未被找到的特性的检测，还包括存储在所述一个或多个计算机可读存储介质上的以下所述程序指令中的一个或多个程序指令以：
响应于确定所述新问题是所述资产的故障，更新所述数字孪生以包括关于所述新问题的信息。
20.根据权利要求15所述的计算机系统，还包括存储在所述一个或多个计算机可读存储介质上的以下所述程序指令中的一个或多个程序指令，以：
捕获所述资产的所述实时音频输入；以及
利用所述实时音频输入来更新所述资产的机器学习模型，其中所述机器学习模型被用于所述资产的进一步诊断会话。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/014,277 US11874200B2 (en) | 2020-09-08 | 2020-09-08 | Digital twin enabled equipment diagnostics based on acoustic modeling |
| US17/014,277 | 2020-09-08 | ||
| PCT/CN2021/107385 WO2022052635A1 (en) | 2020-09-08 | 2021-07-20 | Digital twin enabled equipment diagnostics based on acoustic modeling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116057593A true CN116057593A (zh) | 2023-05-02 |
Family
ID=80469642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180053413.4A Pending CN116057593A (zh) | 2020-09-08 | 2021-07-20 | 基于声学建模的数字孪生启用设备诊断 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11874200B2 (zh) |
| JP (1) | JP2023541121A (zh) |
| CN (1) | CN116057593A (zh) |
| DE (1) | DE112021003893T5 (zh) |
| GB (1) | GB2614184A (zh) |
| WO (1) | WO2022052635A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11874200B2 (en) | 2020-09-08 | 2024-01-16 | International Business Machines Corporation | Digital twin enabled equipment diagnostics based on acoustic modeling |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7486196B1 (en) * | 2008-04-14 | 2009-02-03 | International Business Machines Corporation | Using audio to detect changes to the performance of an application |
| US20140072125A1 (en) * | 2012-09-07 | 2014-03-13 | International Business Machines Corporation | Acoustic diagnosis and correction system |
| CN106885627A (zh) * | 2015-12-16 | 2017-06-23 | 富士施乐株式会社 | 诊断装置、诊断系统和诊断方法 |
| CN108447503A (zh) * | 2018-01-23 | 2018-08-24 | 浙江大学山东工业技术研究院 | 基于Hilbert-Huang变换的电机异音检测方法 |
| US20190179564A1 (en) * | 2017-12-08 | 2019-06-13 | Pure Storage, Inc. | Safe destructive actions on drives |
| US20190258747A1 (en) * | 2018-02-22 | 2019-08-22 | General Electric Company | Interactive digital twin |
| US10395670B1 (en) * | 2018-02-23 | 2019-08-27 | Panasonic Intellectual Property Management Co., Ltd. | Diagnosis method, diagnosis device, and computer-readable recording medium which records diagnosis program |
| CN110442936A (zh) * | 2019-07-24 | 2019-11-12 | 中国石油大学(北京) | 基于数字孪生模型的设备故障诊断方法、装置及系统 |
| US20200118053A1 (en) * | 2018-10-15 | 2020-04-16 | General Electric Company | Asset performance manager |
| US20200160227A1 (en) * | 2018-11-15 | 2020-05-21 | General Electric Company | Model update based on change in edge data |
| US20200160207A1 (en) * | 2018-11-15 | 2020-05-21 | General Electric Company | Automated model update based on model deterioration |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5729694A (en) * | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
| US5853005A (en) | 1996-05-02 | 1998-12-29 | The United States Of America As Represented By The Secretary Of The Army | Acoustic monitoring system |
| US8572084B2 (en) * | 2009-07-28 | 2013-10-29 | Fti Consulting, Inc. | System and method for displaying relationships between electronically stored information to provide classification suggestions via nearest neighbor |
| US9964625B2 (en) * | 2011-06-27 | 2018-05-08 | General Electric Company | Electrical substation fault monitoring and diagnostics |
| WO2013108147A1 (en) | 2012-01-17 | 2013-07-25 | Koninklijke Philips N.V. | Audio source position estimation |
| EP2804142B1 (en) * | 2013-05-17 | 2020-01-15 | ABB Schweiz AG | Recording and processing safety relevant observations for facilities |
| US20180158288A1 (en) * | 2014-04-10 | 2018-06-07 | Twin Harbor Labs Llc | Methods and apparatus for notifying a user of the operating condition of a household appliance |
| US10762475B2 (en) | 2015-02-25 | 2020-09-01 | Siemens Schweiz Ag | Digital twins for energy efficient asset maintenance |
| US10416614B2 (en) | 2015-10-15 | 2019-09-17 | Siemens Aktiengesellschaft | Human programming interfaces for machine-human interfaces |
| US20170286572A1 (en) * | 2016-03-31 | 2017-10-05 | General Electric Company | Digital twin of twinned physical system |
| US10139376B2 (en) | 2016-03-31 | 2018-11-27 | General Electric Company | System for sensing and locating delamination |
| US20180039249A1 (en) * | 2016-08-02 | 2018-02-08 | General Electric Company | Automated dynamical control of operations and design of physical systems through time |
| US11609115B2 (en) | 2017-02-15 | 2023-03-21 | Nippon Telegraph And Telephone Corporation | Anomalous sound detection apparatus, degree-of-anomaly calculation apparatus, anomalous sound generation apparatus, anomalous sound detection training apparatus, anomalous signal detection apparatus, anomalous signal detection training apparatus, and methods and programs therefor |
| CN106993249B (zh) * | 2017-04-26 | 2020-04-14 | 深圳创维－Rgb电子有限公司 | 一种声场的音频数据的处理方法及装置 |
| US20220004673A1 (en) * | 2017-07-10 | 2022-01-06 | The Auros Group, Inc. | Building performance assessment system and method |
| US10390131B2 (en) * | 2017-09-29 | 2019-08-20 | Apple Inc. | Recording musical instruments using a microphone array in a device |
| CN108427390B (zh) | 2018-04-16 | 2021-03-30 | 长安大学 | 一种基于数字孪生的车间级智能制造系统及其配置方法 |
| WO2020023998A1 (en) * | 2018-07-29 | 2020-02-06 | Nova Professional Services Pty Ltd | Improvements to operational state determination and modification |
| US11403541B2 (en) * | 2019-02-14 | 2022-08-02 | Rockwell Automation Technologies, Inc. | AI extensions and intelligent model validation for an industrial digital twin |
| CN110196575A (zh) | 2019-03-08 | 2019-09-03 | 上海大学 | 一种基于数字孪生与机器学习技术的智能车间生产加工系统及方法 |
| CN110530973B (zh) | 2019-07-31 | 2020-08-18 | 西安交通大学 | 数字孪生驱动的航空发动机涡轮盘裂纹检测与诊断方法 |
| US11433977B2 (en) * | 2019-11-25 | 2022-09-06 | Akselos S.A. | Methods and systems for component-based reduced order modeling for industrial-scale structural digital twins |
| US11874200B2 (en) | 2020-09-08 | 2024-01-16 | International Business Machines Corporation | Digital twin enabled equipment diagnostics based on acoustic modeling |
-
2020
- 2020-09-08 US US17/014,277 patent/US11874200B2/en active Active
-
2021
- 2021-07-20 GB GB2304599.0A patent/GB2614184A/en active Pending
- 2021-07-20 CN CN202180053413.4A patent/CN116057593A/zh active Pending
- 2021-07-20 WO PCT/CN2021/107385 patent/WO2022052635A1/en active Application Filing
- 2021-07-20 JP JP2023513269A patent/JP2023541121A/ja active Pending
- 2021-07-20 DE DE112021003893.1T patent/DE112021003893T5/de active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7486196B1 (en) * | 2008-04-14 | 2009-02-03 | International Business Machines Corporation | Using audio to detect changes to the performance of an application |
| US20140072125A1 (en) * | 2012-09-07 | 2014-03-13 | International Business Machines Corporation | Acoustic diagnosis and correction system |
| US20140074435A1 (en) * | 2012-09-07 | 2014-03-13 | International Business Machines Corporation | Acoustic diagnosis and correction system |
| CN106885627A (zh) * | 2015-12-16 | 2017-06-23 | 富士施乐株式会社 | 诊断装置、诊断系统和诊断方法 |
| US20190179564A1 (en) * | 2017-12-08 | 2019-06-13 | Pure Storage, Inc. | Safe destructive actions on drives |
| CN108447503A (zh) * | 2018-01-23 | 2018-08-24 | 浙江大学山东工业技术研究院 | 基于Hilbert-Huang变换的电机异音检测方法 |
| US20190258747A1 (en) * | 2018-02-22 | 2019-08-22 | General Electric Company | Interactive digital twin |
| US10395670B1 (en) * | 2018-02-23 | 2019-08-27 | Panasonic Intellectual Property Management Co., Ltd. | Diagnosis method, diagnosis device, and computer-readable recording medium which records diagnosis program |
| US20200118053A1 (en) * | 2018-10-15 | 2020-04-16 | General Electric Company | Asset performance manager |
| CN111125864A (zh) * | 2018-10-15 | 2020-05-08 | 通用电气公司 | 与使用过的可用材料的可用性和使用相关联的资产性能管理器 |
| US20200160227A1 (en) * | 2018-11-15 | 2020-05-21 | General Electric Company | Model update based on change in edge data |
| US20200160207A1 (en) * | 2018-11-15 | 2020-05-21 | General Electric Company | Automated model update based on model deterioration |
| CN110442936A (zh) * | 2019-07-24 | 2019-11-12 | 中国石油大学(北京) | 基于数字孪生模型的设备故障诊断方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220074820A1 (en) | 2022-03-10 |
| GB202304599D0 (en) | 2023-05-10 |
| US11874200B2 (en) | 2024-01-16 |
| JP2023541121A (ja) | 2023-09-28 |
| DE112021003893T5 (de) | 2023-09-21 |
| GB2614184A (en) | 2023-06-28 |
| WO2022052635A1 (en) | 2022-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10387899B2 (en) | Systems and methods for monitoring and analyzing computer and network activity | |
| US10740310B2 (en) | Intelligent preprocessing of multi-dimensional time-series data | |
| US10997222B2 (en) | Conversational agent dialog flow user interface | |
| US10684910B2 (en) | Intelligent responding to error screen associated errors | |
| US10986012B1 (en) | System for generating alerts based on alert condition and optimistic concurrency control procedure | |
| US10430270B2 (en) | System for migrating data using dynamic feedback | |
| US11941012B2 (en) | User action sequence recognition using action models | |
| US20170249067A1 (en) | User interface feature recommendation | |
| KR102359090B1 (ko) | 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템 | |
| WO2023082907A1 (en) | Defect tracking and remediation using client-side screen recording | |
| US9769434B1 (en) | Remote control of a user's wearable computing device in help desk applications | |
| CN116057593A (zh) | 基于声学建模的数字孪生启用设备诊断 | |
| CN113473086B (zh) | 视频播放的方法、装置、电子设备、智慧高速大屏 | |
| US20220125370A1 (en) | Seizure detection using contextual motion | |
| US11645138B2 (en) | Diagnosing and resolving technical issues | |
| CN107113202A (zh) | 监视并报告从源位置到目的地位置的数据上传的传输及完整性 | |
| US11775419B2 (en) | Performing software testing with best possible user experience | |
| US10748554B2 (en) | Audio source identification | |
| US11829338B2 (en) | Unlabeled log anomaly continuous learning | |
| US20180341993A1 (en) | Sensor-based interaction analytics | |
| KR102102887B1 (ko) | 잡음 환경에서 변압기 소리 검출을 위한 방법 | |
| CN113902997A (zh) | 基于视频监控的异常行为报警方法及系统 | |
| KR101986498B1 (ko) | 전자전 장비의 로그파일을 관리하는 로그파일 관리시스템 및 방법 | |
| US20200125995A1 (en) | Machine learning with segment-aligned multisensor trace data | |
| US20230089759A1 (en) | Smart test data workload generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |