DE112021003893T5 - Diagnose von geräten mit hilfe von digitalen zwillingen auf der grundlage akustischer modellierung - Google Patents

Diagnose von geräten mit hilfe von digitalen zwillingen auf der grundlage akustischer modellierung Download PDF

Info

Publication number
DE112021003893T5
DE112021003893T5 DE112021003893.1T DE112021003893T DE112021003893T5 DE 112021003893 T5 DE112021003893 T5 DE 112021003893T5 DE 112021003893 T DE112021003893 T DE 112021003893T DE 112021003893 T5 DE112021003893 T5 DE 112021003893T5
Authority
DE
Germany
Prior art keywords
computer
asset
real
audio input
time audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021003893.1T
Other languages
English (en)
Inventor
John Kaufmann
Borja Canseco
Adriel Ricardo Estrada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112021003893T5 publication Critical patent/DE112021003893T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M7/00Vibration-testing of structures; Shock-testing of structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

In einem Ansatz zur Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung wird eine Echtzeit-Audioeingabe eines Anlageguts von einer mobilen Einheit empfangen. Die Echtzeit-Audioeingabe wird unter Verwendung eines oder mehrerer Algorithmen zur akustischen Modellierung analysiert, um eine Abweichung von einer Grundlinie zu ermitteln, wobei die Grundlinie einem digitalen Zwilling des Anlageguts zugehörig ist. Als Reaktion auf ein Feststellen, dass die Abweichung von der Grundlinie einen vorher festgelegten Schwellenwert überschreitet, wird der Benutzer iterativ angeleitet, die mobile Einheit zu bewegen, bis ein Kriterium zum Anhalten erfüllt ist.

Description

  • HINTERGRUND
  • Die vorliegende Erfindung betrifft im Allgemeinen das Gebiet der Datenverarbeitung und im Besonderen eine Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung.
  • Bei einem digitalen Zwilling handelt es sich um eine virtuelle Darstellung eines physischen Objekts oder Systems über dessen gesamten Lebenszyklus hinweg. Dabei werden Echtzeitdaten und andere Quellen verwendet, um ein Lernen, ein Ziehen von Schlussfolgerungen und ein dynamisches Neukalibrieren für eine bessere Entscheidungsfindung zu ermöglichen. Einfach ausgedrückt, bedeutet dies ein Erstellen eines hochkomplexen virtuellen Modells, welches das genaue Gegenstück (oder einen Zwilling) einer physischen Sache darstellt. Bei der „Sache‟ könnte es sich um ein Auto, einen Tunnel, eine Brücke oder sogar ein Düsentriebwerk handeln. Angeschlossene Sensoren an dem physischen Anlagegut sammeln Daten, die auf das virtuelle Modell abgebildet werden können. Durch Betrachten des digitalen Zwillings kann ein Benutzer nun wichtige Informationen darüber erfahren, wie die physische Sache in der realen Welt funktioniert.
  • Bei der Geräuscherkennung handelt es sich um eine Technologie, die sowohl auf den herkömmlichen Theorien der Mustererkennung als auch auf Verfahren zur Audiosignalanalyse beruht. Zu typischen Geräuscherkennungstechnologien gehören eine vorläufige Datenverarbeitung, Merkmalsextraktion und Klassifizierungsalgorithmen. Merkmalsvektoren werden als Ergebnis einer vorläufigen Datenverarbeitung und einer linearen prädiktiven Codierung erstellt. Die Geräuscherkennung klassifiziert dann diese Merkmalsvektoren. Bei einem akustischen Fingerabdruck handelt es sich um eine komprimierte digitale Zusammenfassung, die deterministisch aus einem Audiosignal generiert wird und zum Erkennen einer Audioabtastung oder zum schnellen Auffinden ähnlicher Elemente in einer Audiodatenbank verwendet werden kann.
  • KU RZDARSTELLU NG
  • Ausführungsformen der vorliegenden Erfindung offenbaren ein Verfahren, ein Computerprogrammprodukt und ein System zur Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung. In einer Ausführungsform wird eine Echtzeit-Audioeingabe eines Anlageguts von einer mobilen Einheit empfangen. Die Echtzeit-Audioeingabe wird unter Verwendung eines oder mehrerer Algorithmen zur akustischen Modellierung analysiert, um eine Abweichung von einer Grundlinie zu ermitteln, wobei die Grundlinie einem digitalen Zwilling des Anlageguts zugehörig ist. Als Reaktion auf ein Feststellen, dass die Abweichung von der Grundlinie einen vorher festgelegten Schwellenwert überschreitet, wird der Benutzer iterativ angeleitet, die mobile Einheit zu bewegen, bis ein Kriterium zum Anhalten erfüllt ist.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
    • 1 ist ein Funktionsblockschaubild, das eine verteilte Datenverarbeitungsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
    • 2 ist ein Ablaufplan, der Arbeitsschritte des Programms zur akustischen Diagnose auf einer Datenverarbeitungseinheit innerhalb der verteilten Datenverarbeitungsumgebung aus 1 für eine Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung gemäß einer Ausführungsform der vorliegenden Erfindung bildlich darstellt.
    • 3 stellt ein Blockschaubild von Komponenten der Datenverarbeitungseinheiten dar, die das Programm zur akustischen Diagnose innerhalb der verteilten Datenverarbeitungsumgebung aus 1 gemäß einer Ausführungsform der vorliegenden Erfindung ausführen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die Welt ist heute stärker vernetzt als je zuvor. Das Aufkommen von Sensoren im Internet der Dinge (loT) und die Digitalisierung von genau definierten physischen Anlagegütern durch digitale Zwillinge ermöglichen Innovationen in der Arbeitsweise von Technikern. Diese Erfindungen können für Techniker, die mit Maschinen arbeiten, eine Technologie zur besseren Diagnose von Fehlfunktionen und anderen anomalen Zuständen ermöglichen und so Zeit und Geld sparen. Jede einzelne Aktion einer Maschine erzeugt Geräusche. Es wird eine Möglichkeit benötigt, mit der Maschinenbediener ihre vorhandenen mobilen Einheiten und die Fortschritte bei akustischen Analysetechniken nutzen können, um eine genauere Diagnose ihrer Geräte auf der Grundlage von Abweichungen bei den von ihnen abgegebenen Geräuschen zu stellen. Mit der vorliegenden Erfindung werden Techniker mit den bestmöglichen Daten für die Fehlersuche bei Geräten mit Hilfe von digitalen Zwillingen ausgestattet.
  • Bei einem digitalen Zwilling handelt es sich um ein virtuelles Modell eines Prozesses, eines Produkts oder einer Dienstleistung. Dieses Koppeln von virtueller und physischer Welt ermöglicht eine Analyse von Daten und ein Überwachen von Systemen, um Probleme zu vermeiden, bevor sie überhaupt auftreten, um Ausfallzeiten zu verhindern, um neue Möglichkeiten zu entwickeln und sogar um unter Verwendung von Simulationen für die Zukunft zu planen. Zum Beispiel stellt ein digitaler Zwilling einer Einheit des loT sowohl die Elemente als auch die Dynamik des Betriebs und des Verhaltens der Einheit während ihres gesamten Lebenszyklus bereit.
  • Digitale Zwillinge können loT, künstliche Intelligenz, maschinelles Lernen und Softwareanalysen integrieren, um lebendige digitale Simulationsmodelle zu erstellen, die sich aktualisieren und verändern, wenn sich ihre physischen Gegenstücke verändern. Ein digitaler Zwilling lernt ständig dazu und aktualisiert sich selbst aus mehreren Quellen, um seinen Status, seinen Arbeitszustand oder seine Position nahezu in Echtzeit darzustellen. Ein digitaler Zwilling integriert auch Verlaufsdaten aus der vergangenen Maschinennutzung und berücksichtigt diese in seinem digitalen Modell.
  • Die vorliegende Erfindung ermöglicht einem Benutzer vor Ort, ein bestimmtes Bauteil einer Maschine mit einem digitalen Zwillingspaar zu prüfen. Bei der vorliegenden Erfindung werden Geräusche von Geräten oder Anlagegütern aufgenommen, die Audioqualität in Echtzeit analysiert und die akustische Signatur mit einem digitalen Zwilling des Anlagegutes verglichen. Wenn die Tonqualität nicht optimal ist, wird im Rahmen der Erfindung eine optimale Position für die Aufnahme ermittelt und der Benutzer angewiesen, die Aufnahmeeinheit entsprechend neu zu positionieren. Wenn die optimale Klangqualität erreicht ist, erkennt die Erfindung auf der Grundlage des digitalen Zwillings Auffälligkeiten im Klang der Anlage und weist den Benutzer auf den Teil der Maschine hin, der wahrscheinlich eine Fehlfunktion aufweist.
  • 1 ist ein Funktionsblockschaubild, das eine verteilte Datenverarbeitungsumgebung, die allgemein mit 100 gekennzeichnet und für den Betrieb des Programms 112 zur akustischen Diagnose geeignet ist, gemäß mindestens einer Ausführungsform der vorliegenden Erfindung veranschaulicht. Der hierin verwendete Begriff „verteilt“ beschreibt ein Computersystem, das mehrere physisch getrennte Einheiten umfasst, die zusammen als ein einzelnes Computersystem arbeiten. 1 stellt lediglich eine Veranschaulichung einer Umsetzung bereit und bringt keinerlei Einschränkungen in Bezug auf die Umgebungen mit sich, in denen verschiedene Ausführungsformen umgesetzt werden können. Ein Fachmann kann viele Abänderungen an der dargestellten Umgebung vornehmen, ohne von dem Umfang der wie in den Ansprüchen angegebenen Erfindung abzuweichen.
  • Die verteilte Datenverarbeitungsumgebung 100 umfasst eine Datenverarbeitungseinheit 110 und eine Benutzereinheit 130, die beide mit einem Netzwerk 120 verbunden sind. Bei dem Netzwerk 120 kann es sich zum Beispiel um ein Telekommunikationsnetzwerk, ein lokales Netzwerk (LAN), ein Weitverkehrsnetz (WAN) wie zum Beispiel das Internet, oder eine Kombination der drei handeln, und es kann drahtgebundene, drahtlose oder faseroptische Verbindungen umfassen. Zu dem Netzwerk 120 können ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke gehören, die in der Lage sind, Daten-, Sprach- und/oder Videosignale zu empfangen und zu übermitteln, darunter Multimedia-Signale, die Sprach-, Daten- und Videoinformationen umfassen. Im Allgemeinen kann es sich bei dem Netzwerk 120 um eine beliebige geeignete Kombination von Verbindungen und Protokollen handeln, die Datenübertragungen zwischen der Datenverarbeitungseinheit 110, der Benutzereinheit 130 und anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der verteilten Datenverarbeitungsumgebung 100 unterstützt.
  • Bei der Datenverarbeitungseinheit 110 kann es sich um eine eigenständige Datenverarbeitungseinheit, einen Verwaltungsserver, einen Web-Server, eine mobile Datenverarbeitungseinheit oder eine beliebige andere elektronische Einheit oder ein Datenverarbeitungssystem handeln, die/das in der Lage ist, Daten zu empfangen, zu senden und zu verarbeiten. In einer Ausführungsform kann es sich bei der Datenverarbeitungseinheit 110 um einen Laptop-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), einen Desktop-Computer, einen elektronischen Assistenten (PDA, personal digital assistant), ein Smartphone oder eine beliebige programmierbare elektronische Einheit handeln, die in der Lage ist, über das Netzwerk 120 mit anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der verteilten Datenverarbeitungsumgebung 100 Daten auszutauschen. In einer anderen Ausführungsform kann die Datenverarbeitungseinheit 110 ein Server-Datenverarbeitungssystem darstellen, das mehrere Computer als Serversystem nutzt, wie zum Beispiel in einer Cloud-Computing-Umgebung. In noch einer anderen Ausführungsform stellt die Datenverarbeitungseinheit 110 ein Datenverarbeitungssystem dar, das in Gruppen zusammengefasste Computer und Komponenten nutzt (z.B. Datenbankserver-Computer, Anwendungsserver-Computer usw.), die als ein einzelner Pool von nahtlosen Ressourcen fungieren, wenn auf sie innerhalb der verteilten Datenverarbeitungsumgebung 100 zugegriffen wird.
  • In einer Ausführungsform umfasst die Datenverarbeitungseinheit 110 das Programm 112 zur akustischen Diagnose. In einer Ausführungsform handelt es sich bei dem Programm 112 zur akustischen Diagnose um ein Programm, eine Anwendung oder ein Unterprogramm eines größeren Programms für eine Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung. In einer alternativen Ausführungsform kann sich das Programm 112 zur akustischen Diagnose auf einer beliebigen anderen Einheit befinden, auf welche die Datenverarbeitungseinheit 110 über das Netzwerk 120 zugreifen kann.
  • In einer Ausführungsform umfasst die Datenverarbeitungseinheit 110 ein Informationsrepository 114. In einer Ausführungsform kann das Informationsrepository 114 von dem Programm 112 zur akustischen Diagnose verwaltet werden. In einer alternativen Ausführungsform kann das Informationsrepository 114 von dem Betriebssystem der Einheit alleine oder gemeinsam mit dem Programm 112 zur akustischen Diagnose verwaltet werden. Das Informationsrepository 114 ist ein Datenrepository, das Informationen speichern, sammeln, vergleichen und/oder kombinieren kann. In einigen Ausführungsformen befindet sich das Informationsrepository 114 außerhalb der Datenverarbeitungseinheit 110, und ein Zugriff darauf erfolgt über ein Datenübertragungsnetzwerk wie zum Beispiel das Netzwerk 120. In einigen Ausführungsformen ist das Informationsrepository 114 auf der Datenverarbeitungseinheit 110 gespeichert. In einigen Ausführungsformen kann sich das Informationsrepository 114 auf einer anderen Datenverarbeitungseinheit (nicht gezeigt) befinden, vorausgesetzt, dass die Datenverarbeitungseinheit 110 auf das Informationsrepository 114 zugreifen kann. Das Informationsrepository 114 umfasst, ist aber nicht beschränkt auf akustische Daten, Daten von digitalen Zwillingen, Systemdaten, Benutzerdaten und andere Daten, die von dem Programm 112 zur akustischen Diagnose aus einer oder mehreren Quellen empfangen werden, sowie Daten, die von dem Programm 112 zur akustischen Diagnose erstellt werden.
  • In einer Ausführungsform kann das Informationsrepository 114 auch ein Repository mit digitalen Zwillingen enthalten. In einer Ausführungsform kann das Repository mit digitalen Zwillingen von dem Informationsrepository 114 getrennt sein, vorausgesetzt, dass die Datenverarbeitungseinheit 110 auf das Repository mit digitalen Zwillingen zugreifen kann.
  • Das Informationsrepository 114 kann unter Verwendung von beliebigen flüchtigen oder nichtflüchtigen Speichermedien zum Speichern von Informationen umgesetzt werden, wie es nach dem Stand der Technik bekannt sind. Zum Beispiel kann das Informationsrepository 114 mit einer Bandbibliothek, einer optischen Bibliothek, einem oder mehreren unabhängigen Festplattenlaufwerken, mehreren Festplattenlaufwerken in einer redundanten Anordnung von unabhängigen Festplatten (RAID), Halbleiter-Speicherplatten (SSD) oder einem Direktzugriffsspeicher (RAM) umgesetzt sein. Gleichermaßen kann das Informationsrepository 114 mit jeder beliebigen geeigneten, nach dem Stand der Technik bekannten Speicherarchitektur umgesetzt sein, wie zum Beispiel einer relationalen Datenbank, einer NoSQL-Datenbank, einer objektorientierten Datenbank oder einer oder mehreren Tabellen.
  • Bei der Benutzereinheit 130 kann es sich um ein Smartphone, eigenständige Datenverarbeitungseinheiten, eine mobile Datenverarbeitungseinheit oder eine beliebige andere elektronische Einheit oder ein Datenverarbeitungssystem handeln, das die Fähigkeit zum Erfassen von Audiodaten umfasst und in der Lage ist, Daten zu empfangen, zu senden und zu verarbeiten. In einer Ausführungsform kann es sich bei der Benutzereinheit 130 um ein Smartphone, einen Laptop-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), einen Desktop-Computer, einen elektronischen Assistenten (PDA) oder eine beliebige programmierbare elektronische Einheit handeln, welche die Fähigkeit umfasst, Audio zu erfassen und die in der Lage ist, über das Netzwerk 120 mit anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der verteilten Datenverarbeitungsumgebung 100 Daten auszutauschen.
  • 2 ist ein Ablaufplan eines Arbeitsablaufs 200, der Arbeitsschritte des Programms 112 zur akustischen Diagnose für eine Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung gemäß mindestens einer Ausführungsform der vorliegenden Erfindung bildlich darstellt. In einer alternativen Ausführungsform können die Schritte des Arbeitsablaufs 200 von einem beliebigen anderen Programm durchgeführt werden, während mit dem Programm 112 zur akustischen Diagnose gearbeitet wird.
  • In einer Ausführungsform wird das Programm 112 zur akustischen Diagnose von einem Benutzer eingeleitet, um ein Anlagegut zu analysieren, zum Beispiel, um den Zustand einer Maschinenkomponente zu beurteilen. In einer Ausführungsform verwendet das Programm 112 zur akustischen Diagnose bekannte akustische Modellierungsalgorithmen, um festzustellen, inwieweit die aktuelle Aufnahme von einer aus früheren Aufnahmen ermittelten Grundlinie abweicht. In einer Ausführungsform nutzt das Programm 112 zur akustischen Diagnose den digitalen Zwilling des Anlageguts (z.B. Schaltpläne, 3D-Modelle und frühere Klangprofile), um festzustellen, ob in den Audioaufnahmen irgendeine Ungewöhnlichkeit vorhanden ist. In einer Ausführungsform bestimmt das Programm 112 zur akustischen Diagnose, ob die Position der Einheit, die das Audiosignal aufnimmt, für eine präzise Geräuscherkennung optimal ist. In einer Ausführungsform leitet das Programm 112 zur akustischen Diagnose, wenn es feststellt, dass die Position der Einheit, die das Audiosignal aufnimmt, für eine präzise Geräuscherkennung nicht optimal ist, den Benutzer dahingehend an, wo er die Aufnahmeeinheit neu positionieren sollte, um eine optimale Audioaufnahme zu erhalten. In einer Ausführungsform stellt das Programm 112 zur akustischen Diagnose eine erweiterte Audioaufnahme dar, welche die spezifischen ungewöhnlichen Geräusche isoliert. In einer Ausführungsform speichert das Programm 112 zur akustischen Diagnose die Audiodaten in dem Datenlager für digitale Zwillinge. In einer Ausführungsform zeigt das Programm 112 zur akustischen Diagnose die Ergebnisse der Analyse an.
  • Man sollte sich darüber im Klaren sein, dass Ausführungsformen der vorliegenden Erfindung mindestens eine Diagnose von Geräten mit Hilfe von digitalen Zwillingen auf der Grundlage akustischer Modellierung bereitstellen. 2 stellt jedoch lediglich eine Veranschaulichung einer Umsetzung bereit und bringt keinerlei Einschränkungen in Bezug auf die Umgebungen mit sich, in denen verschiedene Ausführungsformen umgesetzt werden können. Ein Fachmann kann viele Abänderungen an der dargestellten Umgebung vornehmen, ohne von dem Umfang der wie in den Ansprüchen angegebenen Erfindung abzuweichen.
  • Das Programm 112 zur akustischen Diagnose leitet eine Audioaufnahmesitzung ein (Schritt 202). In einer Ausführungsform wird das Programm 112 zur akustischen Diagnose von einem Benutzer eingeleitet, um ein Anlagegut zu analysieren, zum Beispiel, um den Zustand einer Maschinenkomponente zu beurteilen. In einer Ausführungsform leitet das Programm 112 zur akustischen Diagnose als Reaktion auf eine Anfrage von einem Benutzer eine Audioaufnahmesitzung ein. In einer anderen Ausführungsform leitet das Programm 112 zur akustischen Diagnose eine Audioaufnahmesitzung ein, wenn ein Benutzer eine Anwendung auf einer mobilen Einheit öffnet, z.B. auf der Benutzereinheit 130 aus 1.
  • Das Programm 112 zur akustischen Diagnose analysiert das erfasste Audiosignal in Echtzeit (Schritt 204). In einer Ausführungsform verwendet das Programm 112 zur akustischen Diagnose bekannte akustische Modellierungsalgorithmen, um festzustellen, inwieweit die aktuelle Aufnahme von einer aus früheren Aufnahmen ermittelten Grundlinie abweicht. Zum Beispiel kann das Programm 112 zur akustischen Diagnose die schnelle Fourier-Transformation oder die diskrete Fourier-Transformation verwenden, um die Aufnahme in eine Reihe von Frequenzen umzuwandeln, die in der gesamten Aufnahme enthalten sind. In verschiedenen Ausführungsformen kann das Programm 112 zur akustischen Diagnose Sequenz-zu-Sequenz-Autoencoder-Modelle oder einen Convolutional Long Short-Term Memory-Autoencoder verwenden, um festzustellen, wie weit die aktuelle Aufnahme von der Grundlinie abweicht. In einer Ausführungsform ruft das Programm 112 zur akustischen Diagnose die aus früheren Aufnahmen ermittelte Grundlinie aus einem Repository akustischer Daten für das Anlagegut ab, das in dem Informationsrepository 114 gespeichert ist. In einigen Ausführungsformen kann die Abweichung von der aus früheren Einträgen ermittelten Grundlinie so einfach sein wie ein Erkennen einer Frequenz, die in früheren Audioaufnahmen nicht erkannt wurde, z.B. ein hochfrequentes Schleifgeräusch inmitten eines ansonsten niederfrequenten Brummens.
  • Das Programm 112 zur akustischen Diagnose vergleicht das erfasste Audiosignal mit einem digitalen Zwilling (Schritt 206). In einer Ausführungsform nutzt das Programm 112 zur akustischen Diagnose den digitalen Zwilling des Anlageguts (z.B. Schaltpläne, 3D-Modelle und frühere Klangprofile), um festzustellen, ob in den Audioaufnahmen irgendeine Ungewöhnlichkeit vorhanden ist. In einer Ausführungsform stellt das Programm 112 zur akustischen Diagnose eine dem digitalen Zwilling zugehörige Grundlinie fest. Zum Beispiel würde der digitale Zwilling die Position jedes internen Teils kennen, zusammen mit einer akustischen „Signatur“ des idealen Betriebszustands des Teils und zusammen mit vorher festgelegten Schwellenwerten für das Auftreten einer Auffälligkeit.
  • Das Programm 112 zur akustischen Diagnose ermittelt, ob die Position optimal ist (Entscheidungsblock 208). In einer Ausführungsform bestimmt das Programm 112 zur akustischen Diagnose, ob die Position der Einheit, die das Audiosignal aufnimmt, für eine präzise Geräuscherkennung optimal ist. In einer Ausführungsform verwendet das Programm 112 zur akustischen Diagnose einen vorher festgelegten Schwellenwert, um eine Abweichung von der in dem vorangegangenen Schritt festgelegten Grundlinie zu ermitteln. In einer Ausführungsform bestimmt das Programm 112 zur akustischen Diagnose, ob die Abweichung von der Grundlinie den vorher festgelegten Schwellenwert überschreitet, und wenn dies der Fall ist, leitet das Programm 112 zur akustischen Diagnose den Benutzer iterativ zur optimalen Position zum Erfassen der Audiodaten. In einer Ausführungsform handelt es sich bei dem Schwellenwert um eine Systemvorgabe. In einer anderen Ausführungsform wird der Schwellenwert von dem Benutzer des Programms 112 zur akustischen Diagnose festgelegt.
  • In einer Ausführungsform nutzt das Programm 112 zur akustischen Diagnose den digitalen Zwilling des Anlageguts (z.B. Schaltpläne, 3D-Modelle und frühere Klangprofile), um auf der Grundlage mehrerer Faktoren festzustellen, ob der Ort der Aufnahme optimal ist. In verschiedenen Ausführungsformen umfassen diese Faktoren die erforderliche Nähe zu häufig fehleranfälligen Innenteilen; die Abmessungen, das Gewicht und die Sicherheitsinformationen des Geräts; die Position der Ungewöhnlichkeit in der Audioaufnahme, z.B. ist eine ungewöhnliche Frequenz auf dem linken Kanal offensichtlicher, was bedeutet, dass das Mikrofon der mobilen Einheit irgendwo rechts von der möglichen Ursache der Fehlfunktion positioniert ist; und ein Vergleichen der empfangenen Audioausschnitte mit früheren Aufnahmen, um das Teil zu finden, das wahrscheinlich ein Problem aufweist. In einer Ausführungsform fährt das Programm 112 zur akustischen Diagnose mit Schritt 212 fort, wenn das Programm 112 zur akustischen Diagnose feststellt, dass die Position der Einheit, die das Audiosignal aufnimmt, für eine präzise Geräuscherkennung optimal ist („Ja“-Zweig, Entscheidungsblock 208).
  • Das Programm 112 zur akustischen Diagnose leitet den Benutzer zu einer optimalen Position (Schritt 210). In einer Ausführungsform leitet das Programm 112 zur akustischen Diagnose, wenn das Programm 112 zur akustischen Diagnose feststellt, dass die Position der Einheit, die das Audiosignal aufnimmt, für eine präzise Geräuscherkennung nicht optimal ist („Nein“-Zweig, Entscheidungsblock 208), den Benutzer dahingehend an, wo er die Aufnahmeeinheit neu positionieren sollte, um eine optimale Audioaufnahme zu erhalten. In einer Ausführungsform leitet das Programm 112 zur akustischen Diagnose den Benutzer zu den unvollständigen Gebieten, um zusätzliche Audioaufnahmen zu erfassen, indem es Bewegungsanweisungen an die Benutzereinheit sendet. Zum Beispiel kann das Programm 112 zur akustischen Diagnose einen Pfeil auf den Bildschirm der Benutzereinheit senden, um dem Benutzer die Richtung anzuzeigen, in die er sich bewegen soll, um weitere Audioaufnahmen zu erfassen. In einer anderen Ausführungsform leitet das Programm 112 zur akustischen Diagnose den Benutzer zu den unvollständigen Gebieten, um zusätzliche Audioaufnahmen zu erfassen, indem es dem Benutzer ein Bild des Anlageguts sendet, in dem die Aufnahmeposition hervorgehoben ist. In einer weiteren Ausführungsform leitet das Programm 112 zur akustischen Diagnose den Benutzer zu dem Gebiet, damit er zusätzliche Audioaufnahmen erfassen kann, und zwar unter Verwendung eines beliebigen geeigneten Benachrichtigungsverfahrens, das einem Fachmann bekannt ist.
  • In einer Ausführungsform stellt das Programm 112 zur akustischen Diagnose ein Kriterium zum Anhalten fest. In verschiedenen Ausführungsformen können die Kriterien zum Anhalten die Erkennung einer Eigenschaft der Echtzeit-Audioeingabe umfassen, die ein zuvor erkanntes Problem widerspiegelt, das in dem digitalen Zwilling des Anlagegutes gefunden wurde; die Bestimmung eines Erreichens einer erforderlichen Nähe zu einer bekannten fehleranfälligen Stelle des Anlagegutes; oder die Erkennung einer Eigenschaft des Echtzeit-Audiosignals, die ein neues Problem widerspiegelt, das in dem digitalen Zwilling des Anlagegutes nicht gefunden wurde. Wenn das Programm 112 zur akustischen Diagnose feststellt, dass die Kriterien zum Anhalten erfüllt sind, benachrichtigt das Programm 112 zur akustischen Diagnose den Benutzer, dass die aktuelle Position die optimale Position zum Erfassen des Audiosignals ist.
  • Das Programm 112 zur akustischen Diagnose stellt eine erweiterte Audioaufnahme dar (Schritt 212). In einer Ausführungsform stellt das Programm 112 zur akustischen Diagnose eine erweiterte Audioaufnahme dar, welche die spezifischen ungewöhnlichen Geräusche isoliert. In einer Ausführungsform verwendet das Programm 112 zur akustischen Diagnose andere akustische Daten aus den Audioaufnahmen aus mehreren Positionen, um unter Verwendung von bestehenden akustischen Verarbeitungsverfahren eine erweiterte Audioaufnahme zu erstellen. In einer Ausführungsform kombiniert das Programm 112 zur akustischen Diagnose die verschiedenen aufgenommenen Aufnahmen (Audioaufnahmen aus mehreren Positionen), um die beste Aufnahme für die Speicherung und Auswertung zu erstellen, z.B. Stereo oder Mono.
  • Das Programm 112 zur akustischen Diagnose speichert die Audiodaten in einem Lager für digitale Zwillinge (Schritt 214). In einer Ausführungsform speichert das Programm 112 zur akustischen Diagnose die Audiodaten in dem Informationsrepository 114. In einer Ausführungsform speichert das Programm 112 zur akustischen Diagnose die Audiodaten in dem Datenlager für digitale Zwillinge, das Teil des Informationsrepositorys 114 ist. In einer Ausführungsform speist das Programm 112 zur akustischen Diagnose die Audiodaten in ein Modell des maschinellen Lernens ein, das bei zukünftigen Diagnosesitzungen auf demselben Gerät wie die zu prüfende Einheit hilft.
  • Das Programm 112 zur akustischen Diagnose zeigt die Systemausgabe an (Schritt 216). In einer Ausführungsform zeigt das Programm 112 zur akustischen Diagnose dem Benutzer die Ergebnisse der Analyse an. In einer Ausführungsform zeigt das Programm 112 zur akustischen Diagnose die Ergebnisse der Analyse auf einer Benutzereinheit an, z.B. der Benutzereinheit 130 aus 1. In einer Ausführungsform verwendet der Benutzer diese Informationen, um die Fehlfunktion des Anlageguts zu bestimmen oder um festzustellen, ob weitere Diagnosen erforderlich sind, um die Fehlfunktion zu bestätigen. Das Programm 112 zur akustischen Diagnose endet dann für diesen Zyklus.
  • 3 ist ein Blockschaubild, das Komponenten der Datenverarbeitungseinheit 110 bildlich darstellt, die für das Programm 112 zur akustischen Diagnose gemäß mindestens einer Ausführungsform der Erfindung geeignet sind. 3 zeigt einen Computer 300, einen oder mehrere Prozessoren 304 (darunter ein oder mehrere Computerprozessoren), ein Datenübertragungsnetz 302, einen Hauptspeicher 306 mit einem Direktzugriffsspeicher (RAM) 316 und einem Cache 318, einen dauerhaften Speicher 308, eine Datenübertragungseinheit 312, E/A-Schnittstellen 314, eine Anzeige 322 und externe Einheiten 320. Man sollte sich bewusst sein, dass 3 lediglich eine Veranschaulichung einer Ausführungsform bereitstellt und keinerlei Einschränkungen in Bezug auf die Umgebungen, in denen verschiedene Ausführungsformen umgesetzt werden können, mit sich bringt. Es können viele Abwandlungen an der dargestellten Umgebung vorgenommen werden.
  • Wie dargestellt, arbeitet der Computer 300 über das Datenübertragungsnetz 302, das zwischen dem/den Computerprozessor(en) 304, dem Hauptspeicher 306, dem dauerhaften Speicher 308, der Datenübertragungseinheit 312 und der/den Eingabe/Ausgabe-Schnittstelle(n) 314 eine Datenübertragung bereitstellt. Das Datenübertragungsnetz 302 kann mit einer Architektur umgesetzt werden, die zum Weiterleiten von Daten oder Steuerungsinformationen zwischen den Prozessoren 304 (z.B. Mikroprozessoren, Datenübertragungsprozessoren und Netzwerkprozessoren), dem Hauptspeicher 306, den externen Einheiten 320 und allen anderen Hardwarekomponenten innerhalb eines Systems geeignet ist. Zum Beispiel kann das Datenübertragungsnetz 302 mit einem oder mehreren Bussen umgesetzt werden.
  • Bei dem Hauptspeicher 306 und dem dauerhaften Speicher 308 handelt es sich um durch einen Computer lesbare Speichermedien. In der dargestellten Ausführungsform weist der Hauptspeicher 306 den RAM 316 und den Cache 318 auf. Im Allgemeinen kann der Hauptspeicher 306 jedes beliebige flüchtige oder nichtflüchtige, durch einen Computer lesbare Speichermedium umfassen. Der Cache 318 ist ein schneller Speicher, der die Leistungsfähigkeit des/der Prozessor(en) 304 erhöht, indem er Daten aus dem RAM 316, auf die vor Kurzem zugegriffen wurde, und Daten in der Nähe von Daten, auf die vor Kurzem zugegriffen wurde, bereithält.
  • Programmanweisungen für das Programm 112 zur akustischen Diagnose können in dem dauerhaften Speicher 308 oder allgemeiner ausgedrückt in einem beliebigen durch einen Computer lesbaren Speichermedium zur Ausführung durch einen oder mehrere der jeweiligen Computerprozessoren 304 über einen oder mehrere Speicher des Hauptspeichers 306 gespeichert werden. Bei dem dauerhaften Speicher 308 kann es sich um ein magnetisches Festplattenlaufwerk, einen Halbleiter-Datenträger, eine HalbleiterSpeichereinheit, einen Nur-Lese-Speicher (ROM), einen elektronisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), einen Flash-Speicher oder jedes beliebige andere durch einen Computer lesbare Speichermedium handeln, das in der Lage ist, Programmanweisungen oder digitale Informationen zu speichern.
  • Die von dem dauerhaften Speicher 308 verwendeten Medien können auch auswechselbar sein. Zum Beispiel kann ein Wechselplattenlaufwerk für den dauerhaften Speicher 308 verwendet werden. Zu anderen Beispielen gehören optische und magnetische Platten, Thumb-Drives und Smartcards, die in ein Laufwerk zum Übertragen auf ein anderes durch einen Computer lesbares Speichermedium, das auch ein Teil des dauerhaften Speichers 308 ist, eingeführt werden.
  • Die Datenübertragungseinheit 312 sorgt in diesen Beispielen für die Datenübertragung zu anderen Datenverarbeitungssystemen oder -einheiten. In diesen Beispielen umfasst die Datenübertragungseinheit 312 eine oder mehrere Netzwerkschnittstellenkarten. Die Datenübertragungseinheit 312 kann Datenübertragungen durch die Verwendung von physischen und/oder drahtlosen Datenübertragungsverbindungen bereitstellen. Im Kontext einiger Ausführungsformen der vorliegenden Erfindung kann die Quelle der verschiedenen Eingabedaten physisch von dem Computer 300 entfernt sein, so dass über die Datenübertragungseinheit 312 die Eingabedaten empfangen werden können und die Ausgabe in ähnlicher Weise übermittelt wird.
  • Die E/A-Schnittstelle(n) 314 ermöglicht/ermöglichen die Eingabe und Ausgabe von Daten von/zu anderen Einheiten, die mit dem Computer 300 verbunden sein können. Zum Beispiel können die eine oder die mehreren E/A-Schnittstellen 314 eine Verbindung zu einer oder mehreren externen Einheiten 320 wie zum Beispiel einer Tastatur, einem Ziffernblock, einem Touchscreen, einem Mikrofon, einer Digitalkamera und/oder einer anderen geeigneten Eingabeeinheit bereitstellen. Die eine oder die mehreren externen Einheiten 320 können auch tragbare, durch einen Computer lesbare Speichermedien wie zum Beispiel Thumb-Drives, tragbare optische oder magnetische Platten und Speicherkarten umfassen. Software und Daten, die zum Umsetzen von Ausführungsformen der vorliegenden Erfindung in die Praxis verwendet werden, z.B. das Programm 112 zur akustischen Diagnose, können auf derartigen tragbaren, durch einen Computer lesbaren Speichermedien gespeichert und über die E/A-Schnittstelle(n) 314 auf den dauerhaften Speicher 308 geladen werden. Die eine oder mehreren E/A-Schnittstellen 314 sind auch mit einer Anzeige 322 verbunden.
  • Die Anzeige 322 stellt einen Mechanismus zum Anzeigen von Daten für einen Benutzer bereit, und es kann sich dabei zum Beispiel um einen Computerbildschirm handeln. Die Anzeige 322 kann auch als Touchscreen fungieren, wie zum Beispiel eine Anzeige eines Tablet-Computers.
  • Die hierin beschriebenen Programme werden beruhend auf der Anwendung bestimmt, für die sie in einer spezifischen Ausführungsform der Erfindung umgesetzt werden. Man sollte sich jedoch bewusst sein, dass jede bestimmte Programm-Nomenklatur hierin lediglich der Einfachheit halber verwendet wird, und folglich darf die Erfindung nicht auf die ausschließliche Verwendung in einer beliebigen spezifischen Anwendung, die durch eine derartige Nomenklatur ermittelt und/oder impliziert wird, beschränkt werden.
  • Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann ein durch einen Computer lesbares Speichermedium (oder -medien) mit durch einen Computer lesbaren Programmanweisungen darauf umfassen, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
  • Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine beliebige physische Einheit handeln, die Anweisungen zur Verwendung durch ein System zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine auswechselbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein auswechselbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
  • Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server umfassen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
  • Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem fernen Computer oder vollständig auf dem fernen Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
  • Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaltbilder bzw. Schaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaltbildern bzw. Schaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
  • Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt umfasst, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktion/Schritts umsetzen.
  • Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte umsetzen.
  • Die Ablaufpläne und die Blockschaltbilder bzw. Schaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaltbildern bzw. Schaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der festgelegten logischen Funktion(en) umfassen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist darüber hinaus anzumerken, dass jeder Block der Blockschaltbilder bzw. Schaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaltbildern bzw. Schaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
  • Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung wurden zum Zwecke der Veranschaulichung aufgeführt, sollen jedoch nicht gesamthaft stehen für bzw. begrenzt sein auf die offenbarten Ausführungsformen. Für den Fachmann werden viele Abänderungen und Abwandlungen ersichtlich sein, ohne von dem Umfang und dem Sinngehalt der Erfindung abzuweichen. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsform, die praktische Anwendung oder technische Verbesserung gegenüber auf dem Markt vorgefundenen Technologien bestmöglich zu erläutern oder um es anderen Fachleuten zu ermöglichen, die hierin dargelegten Ausführungsformen zu verstehen.

Claims (20)

  1. Auf einem Computer ausgeführtes Verfahren für eine Diagnose von Geräten, das auf einem Computer ausgeführte Verfahren aufweisend: Empfangen einer Echtzeit-Audioeingabe eines Anlageguts von einer mobilen Einheit durch einen oder mehrere Computerprozessoren; Analysieren der Echtzeit-Audioeingabe unter Verwendung eines oder mehrerer Algorithmen zur akustischen Modellierung durch den einen oder die mehreren Computerprozessoren, um eine Abweichung von einer Grundlinie zu ermitteln, wobei die Grundlinie einem digitalen Zwilling des Anlageguts zugehörig ist; iteratives Anleiten eines Benutzers durch den einen oder die mehreren Computerprozessoren, die mobile Einheit zu bewegen, bis ein Kriterium zum Anhalten erfüllt ist, und zwar als Reaktion auf ein Feststellen, dass die Abweichung von der Grundlinie einen vorher festgelegten Schwellenwert überschreitet.
  2. Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein zuvor erkanntes Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts gefunden wurde.
  3. Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Kriterium zum Anhalten um eine Bestimmung eines Erreichens einer erforderlichen Nähe zu einer bekannten fehleranfälligen Stelle des Anlageguts handelt.
  4. Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein neues Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde.
  5. Auf einem Computer ausgeführtes Verfahren nach Anspruch 4, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung der Eigenschaft der Echtzeit-Audioeingabe handelt, die das neue Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde, darüber hinaus aufweisend: als Reaktion auf das Feststellen, dass es sich bei dem neuen Problem um eine Fehlfunktion des Anlageguts handelt, Aktualisieren des digitalen Zwillings, sodass er Informationen über das neue Problem umfasst.
  6. Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, darüber hinaus aufweisend: Erfassen der Echtzeit-Audioeingabe des Anlageguts durch den einen oder die mehreren Computerprozessoren; und Aktualisieren eines Modells des maschinellen Lernens des Anlageguts mit der Echtzeit-Audioeingabe durch den einen oder die mehreren Computerprozessoren, wobei das Modell des maschinellen Lernens für zukünftige Diagnosesitzungen des Anlageguts verwendet wird.
  7. Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, darüber hinaus aufweisend: Erfassen der Echtzeit-Audioeingabe des Anlageguts durch den einen oder die mehreren Computerprozessoren; und Aktualisieren des digitalen Zwillings des Anlageguts mit der Echtzeit-Audioeingabe durch den einen oder die mehreren Computerprozessoren.
  8. Computerprogrammprodukt für die Diagnose von Geräten, das Computerprogrammprodukt aufweisend: ein oder mehrere durch einen Computer lesbare Speichereinheiten und auf der einen oder den mehreren durch einen Computer lesbaren Speichereinheiten gespeicherte Programmanweisungen, wobei die gespeicherten Programmanweisungen Anweisungen aufweisen zum: Empfangen einer Echtzeit-Audioeingabe eines Anlageguts von einer mobilen Einheit; Analysieren der Echtzeit-Audioeingabe unter Verwendung eines oder mehrerer Algorithmen zur akustischen Modellierung, um eine Abweichung von einer Grundlinie zu ermitteln, wobei die Grundlinie einem digitalen Zwilling des Anlageguts zugehörig ist; und iterativen Anleiten eines Benutzers, die mobile Einheit zu bewegen, bis ein Kriterium zum Anhalten erfüllt ist, und zwar als Reaktion auf ein Feststellen, dass die Abweichung von der Grundlinie einen vorher festgelegten Schwellenwert überschreitet.
  9. Computerprogrammprodukt nach Anspruch 8, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein zuvor erkanntes Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts gefunden wurde.
  10. Computerprogrammprodukt nach Anspruch 8, wobei es sich bei dem Kriterium zum Anhalten um eine Bestimmung eines Erreichens einer erforderlichen Nähe zu einer bekannten fehleranfälligen Stelle des Anlageguts handelt.
  11. Computerprogrammprodukt nach Anspruch 8, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein neues Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde.
  12. Computerprogrammprodukt nach Anspruch 11, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung der Eigenschaft der Echtzeit-Audioeingabe handelt, die das neue Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde, das darüber hinaus eine oder mehrere der folgenden Programmanweisungen aufweist, die auf dem einen oder mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zum: Aktualisieren des digitalen Zwillings, sodass er Informationen über das neue Problem umfasst, und zwar als Reaktion auf das Feststellen, dass es sich bei dem neuen Problem um eine Fehlfunktion des Anlageguts handelt.
  13. Computerprogrammprodukt nach Anspruch 8, darüber hinaus aufweisend eine oder mehrere der folgenden Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zum: Erfassen der Echtzeit-Audioeingabe des Anlageguts; und Aktualisieren eines Modells des maschinellen Lernens des Anlageguts mit der Echtzeit-Audioeingabe, wobei das Modell des maschinellen Lernens für zukünftige Diagnosesitzungen des Anlageguts verwendet wird.
  14. Computerprogrammprodukt nach Anspruch 8, darüber hinaus aufweisend eine oder mehrere der folgenden Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zum: Erfassen der Echtzeit-Audioeingabe des Anlageguts; und Aktualisieren des digitalen Zwillings des Anlageguts mit der Echtzeit-Audioeingabe.
  15. Computersystem für eine Diagnose von Geräten, das Computersystem aufweisend: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; und Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zur Ausführung durch mindestens einen des einen oder der mehreren Computerprozessoren, wobei die gespeicherten Programmanweisungen Anweisungen aufweisen zum: Empfangen einer Echtzeit-Audioeingabe eines Anlageguts von einer mobilen Einheit; Analysieren der Echtzeit-Audioeingabe unter Verwendung eines oder mehrerer Algorithmen zur akustischen Modellierung, um eine Abweichung von einer Grundlinie zu ermitteln, wobei die Grundlinie einem digitalen Zwilling des Anlageguts zugehörig ist; und iterativen Anleiten eines Benutzers, die mobile Einheit zu bewegen, bis ein Kriterium zum Anhalten erfüllt ist, und zwar als Reaktion auf ein Feststellen, dass die Abweichung von der Grundlinie einen vorher festgelegten Schwellenwert überschreitet.
  16. Computersystem nach Anspruch 15, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein zuvor erkanntes Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts gefunden wurde.
  17. Computersystem nach Anspruch 15, wobei es sich bei dem Kriterium zum Anhalten um eine Bestimmung eines Erreichens einer erforderlichen Nähe zu einer bekannten fehleranfälligen Stelle des Anlageguts handelt.
  18. Computersystem nach Anspruch 15, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung einer Eigenschaft der Echtzeit-Audioeingabe handelt, die ein neues Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde.
  19. Computersystem nach Anspruch 18, wobei es sich bei dem Kriterium zum Anhalten um eine Erkennung der Eigenschaft der Echtzeit-Audioeingabe handelt, die das neue Problem widerspiegelt, das in dem digitalen Zwilling des Anlageguts nicht gefunden wurde, das darüber hinaus eine oder mehrere der folgenden Programmanweisungen aufweist, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zum: Aktualisieren des digitalen Zwillings, sodass er Informationen über das neue Problem umfasst, und zwar als Reaktion auf das Feststellen, dass es sich bei dem neuen Problem um eine Fehlfunktion des Anlageguts handelt.
  20. Computersystem nach Anspruch 15, darüber hinaus aufweisend eine oder mehrere der folgenden Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, zum: Erfassen der Echtzeit-Audioeingabe des Anlageguts; und Aktualisieren eines Modells des maschinellen Lernens des Anlageguts mit der Echtzeit-Audioeingabe, wobei das Modell des maschinellen Lernens für zukünftige Diagnosesitzungen des Anlageguts verwendet wird.
DE112021003893.1T 2020-09-08 2021-07-20 Diagnose von geräten mit hilfe von digitalen zwillingen auf der grundlage akustischer modellierung Pending DE112021003893T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/014,277 2020-09-08
US17/014,277 US11874200B2 (en) 2020-09-08 2020-09-08 Digital twin enabled equipment diagnostics based on acoustic modeling
PCT/CN2021/107385 WO2022052635A1 (en) 2020-09-08 2021-07-20 Digital twin enabled equipment diagnostics based on acoustic modeling

Publications (1)

Publication Number Publication Date
DE112021003893T5 true DE112021003893T5 (de) 2023-09-21

Family

ID=80469642

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021003893.1T Pending DE112021003893T5 (de) 2020-09-08 2021-07-20 Diagnose von geräten mit hilfe von digitalen zwillingen auf der grundlage akustischer modellierung

Country Status (6)

Country Link
US (1) US11874200B2 (de)
JP (1) JP2023541121A (de)
CN (1) CN116057593B (de)
DE (1) DE112021003893T5 (de)
GB (1) GB2614184A (de)
WO (1) WO2022052635A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11874200B2 (en) 2020-09-08 2024-01-16 International Business Machines Corporation Digital twin enabled equipment diagnostics based on acoustic modeling

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729694A (en) * 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
US5853005A (en) 1996-05-02 1998-12-29 The United States Of America As Represented By The Secretary Of The Army Acoustic monitoring system
US7486196B1 (en) * 2008-04-14 2009-02-03 International Business Machines Corporation Using audio to detect changes to the performance of an application
US8572084B2 (en) * 2009-07-28 2013-10-29 Fti Consulting, Inc. System and method for displaying relationships between electronically stored information to provide classification suggestions via nearest neighbor
US9964625B2 (en) * 2011-06-27 2018-05-08 General Electric Company Electrical substation fault monitoring and diagnostics
EP2810453B1 (de) 2012-01-17 2018-03-14 Koninklijke Philips N.V. Positionsschätzung von tonquellen
US8964995B2 (en) * 2012-09-07 2015-02-24 International Business Machines Corporation Acoustic diagnosis and correction system
EP2804142B1 (de) * 2013-05-17 2020-01-15 ABB Schweiz AG Aufzeichnung und Verarbeitung sicherheitsrelevanter Beobachtungen für Einrichtungen
US20180158288A1 (en) * 2014-04-10 2018-06-07 Twin Harbor Labs Llc Methods and apparatus for notifying a user of the operating condition of a household appliance
US10762475B2 (en) 2015-02-25 2020-09-01 Siemens Schweiz Ag Digital twins for energy efficient asset maintenance
US10416614B2 (en) 2015-10-15 2019-09-17 Siemens Aktiengesellschaft Human programming interfaces for machine-human interfaces
JP5954606B1 (ja) * 2015-12-16 2016-07-20 富士ゼロックス株式会社 診断装置、診断システム、装置およびプログラム
US20170286572A1 (en) * 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
US10139376B2 (en) 2016-03-31 2018-11-27 General Electric Company System for sensing and locating delamination
US20180039249A1 (en) * 2016-08-02 2018-02-08 General Electric Company Automated dynamical control of operations and design of physical systems through time
EP3584573B1 (de) 2017-02-15 2023-01-04 Nippon Telegraph and Telephone Corporation Trainingsvorrichtung zur erkennung eines anomalen geräusches sowie verfahren und programm dafür
CN106993249B (zh) * 2017-04-26 2020-04-14 深圳创维-Rgb电子有限公司 一种声场的音频数据的处理方法及装置
US20220004673A1 (en) * 2017-07-10 2022-01-06 The Auros Group, Inc. Building performance assessment system and method
US10390131B2 (en) * 2017-09-29 2019-08-20 Apple Inc. Recording musical instruments using a microphone array in a device
US10929053B2 (en) * 2017-12-08 2021-02-23 Pure Storage, Inc. Safe destructive actions on drives
CN108447503B (zh) * 2018-01-23 2021-08-03 浙江大学山东工业技术研究院 基于Hilbert-Huang变换的电机异音检测方法
US20190258747A1 (en) * 2018-02-22 2019-08-22 General Electric Company Interactive digital twin
JP2019144187A (ja) * 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 診断方法、診断装置及び診断プログラム
CN108427390B (zh) 2018-04-16 2021-03-30 长安大学 一种基于数字孪生的车间级智能制造系统及其配置方法
WO2020023998A1 (en) * 2018-07-29 2020-02-06 Nova Professional Services Pty Ltd Improvements to operational state determination and modification
US20200118053A1 (en) * 2018-10-15 2020-04-16 General Electric Company Asset performance manager
US20200160207A1 (en) * 2018-11-15 2020-05-21 General Electric Company Automated model update based on model deterioration
US20200160227A1 (en) * 2018-11-15 2020-05-21 General Electric Company Model update based on change in edge data
US11403541B2 (en) * 2019-02-14 2022-08-02 Rockwell Automation Technologies, Inc. AI extensions and intelligent model validation for an industrial digital twin
CN110196575A (zh) 2019-03-08 2019-09-03 上海大学 一种基于数字孪生与机器学习技术的智能车间生产加工系统及方法
CN110442936B (zh) * 2019-07-24 2021-02-23 中国石油大学(北京) 基于数字孪生模型的设备故障诊断方法、装置及系统
CN110530973B (zh) 2019-07-31 2020-08-18 西安交通大学 数字孪生驱动的航空发动机涡轮盘裂纹检测与诊断方法
US11433977B2 (en) * 2019-11-25 2022-09-06 Akselos S.A. Methods and systems for component-based reduced order modeling for industrial-scale structural digital twins
US11874200B2 (en) 2020-09-08 2024-01-16 International Business Machines Corporation Digital twin enabled equipment diagnostics based on acoustic modeling

Also Published As

Publication number Publication date
JP2023541121A (ja) 2023-09-28
CN116057593A (zh) 2023-05-02
GB2614184A (en) 2023-06-28
CN116057593B (zh) 2024-09-24
GB202304599D0 (en) 2023-05-10
US11874200B2 (en) 2024-01-16
WO2022052635A1 (en) 2022-03-17
US20220074820A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
EP3671632B1 (de) Bildbasierte wartungsvorhersage und detektion von fehlbedienungen
DE112021004261T5 (de) Dualmodale beziehungsnetzwerke zur audiovisuellen ereignislokalisierung
DE112020000279T5 (de) Erlernen eines erkennungsmodells unter verwenden einer verlustfunktion
DE102018128158A1 (de) Vorrichtung zur inspektion des erscheinungsbilds
DE112013006312T5 (de) Verfahren und Systeme zur verbesserten automatisierten visuellen Inspektion eines physischen Guts
DE112021004612T5 (de) Aufzeichnung eines digitalen zwillings für ein mehrdimensionales modell unter verwendung von photogrammetrie
DE102006043172A1 (de) Verfahren zur Auswertung des Verhaltens von Nutzern eines digitalen Bildinformationssysstems
DE202017107393U1 (de) Vorhersagen eines Suchmaschinen-Einordnungssignalwerts
DE102008013051A1 (de) Verfahren und System für einen verbesserten Fehlererkennungs-Arbeitsfluss
EP3767403A1 (de) Machine-learning gestützte form- und oberflächenmessung zur produktionsüberwachung
DE112014002960T5 (de) Ableitung verallgemeinerter Testfälle
DE112020005732T5 (de) Erzeugen von trainingsdaten zur objekterkennung
DE112021003893T5 (de) Diagnose von geräten mit hilfe von digitalen zwillingen auf der grundlage akustischer modellierung
DE102020132600A1 (de) Bildidentifizierung und -abfrage für die bauteilfehleranalyse
DE112021005678T5 (de) Normieren von OCT-Bilddaten
DE102020211214A1 (de) System und Verfahren zum Erkennen von Anomalien in Bildern
DE102023108157A1 (de) Verarbeitung natürlicher eingaben für maschinendiagnostik
DE112019002426T5 (de) Netzwerkleistungsbewertung ohne topologische informationen
DE102019117680A1 (de) Automatisiertes segmentierungsverfahren für die qualitätsprüfung
DE102022201347A1 (de) Verfahren und System zur automatisierten Bestimmung von Untersuchungsergebnissen in einer Bildsequenz
DE102021128522A1 (de) Identifizierung von regeln des netzwerkdatenverkehrs
DE112021003506T5 (de) Hybrides ensemble-modell, das edge- und serverseitige inferenzen nutzt
DE102021125629A1 (de) Interagieren mit einem client-system zum erfassen von client-daten, die zum diagnostizieren eines problems auf dem client-system verwendet werden können
DE112021004347T5 (de) Aktion-objekt-erkennung in überladenen videoszenen unter verwendung von text
DE10303720B4 (de) Testsystem für medizinische Anlagen

Legal Events

Date Code Title Description
R012 Request for examination validly filed