DE112019003185T5 - Automatischer dynamischer diagnoseleitfaden mit erweiterter realität - Google Patents

Automatischer dynamischer diagnoseleitfaden mit erweiterter realität Download PDF

Info

Publication number
DE112019003185T5
DE112019003185T5 DE112019003185.6T DE112019003185T DE112019003185T5 DE 112019003185 T5 DE112019003185 T5 DE 112019003185T5 DE 112019003185 T DE112019003185 T DE 112019003185T DE 112019003185 T5 DE112019003185 T5 DE 112019003185T5
Authority
DE
Germany
Prior art keywords
diagnostic
data
user
machine
directory tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019003185.6T
Other languages
English (en)
Inventor
Leo Keselman
Yi Sun
Sai-Kai Cheng
Jason Tsai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC America Corp
Original Assignee
FANUC America Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201862690045P priority Critical
Priority to US62/690,045 priority
Application filed by FANUC America Corp filed Critical FANUC America Corp
Priority to US16/453,749 priority
Priority to US16/453,749 priority patent/US20190392644A1/en
Priority to PCT/US2019/039340 priority patent/WO2020006142A1/en
Publication of DE112019003185T5 publication Critical patent/DE112019003185T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • G06K9/00671Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera for providing information about objects in the scene to a user, e.g. as in augmented reality applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computer systems using knowledge-based models
    • G06N5/003Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computer systems using knowledge-based models
    • G06N5/02Knowledge representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/005Registering or indicating the condition or the working of machines or other apparatus, other than vehicles during manufacturing process
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/08Registering or indicating the production of the machine either with or without registering working or idle time
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39412Diagnostic of robot, estimation of parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computer systems using knowledge-based models
    • G06N5/04Inference methods or devices
    • G06N5/041Abduction

Abstract

System in erweiterter Realität (AR) zur Diagnose, Fehlerbehebung und Reparatur von Industrierobotern. Das offengelegte Diagnoseleitfadensystem kommuniziert mit einer Steuereinheit eines Industrieroboters und sammelt Daten von der Robotersteuereinheit, die eine ein Problem beim Roboter kennzeichnende Fehlermeldung einschließen. Das System ermittelt dann auf der Basis der gesammelten Daten einen geeigneten Diagnoseentscheidungsverzeichnisbaum und stellt einem Nutzer auf einem ARtauglichen Mobilgerät einen interaktiven Leitfaden zur schrittweisen Fehlerbehebung zur Verfügung, der erweiterte Realität zur bildlichen Darstellung von Aktionen einschließt, die bei Erprobung und Auswechslung von Komponenten vorzunehmen sind. Das System enthält einen Datensammler, einen Verzeichnisbaumgenerator und Leitfadengeneratormodule und erstellt den Entscheidungsverzeichnisbaum und den Diagnoseleitfaden unter Verwendung einer gespeicherten Bibliothek von Diagnoseverzeichnisbäumen, Entscheidungen und Diagnoseschritten zusammen mit den dazugehörigen AR-Daten.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung erhebt Anspruch auf den Vorteil des Prioritätsdatums der am 26. Juni 2018 eingereichten vorläufigen US-Patentanmeldung Serien-Nr. 62/690 045 mit der Bezeichnung „AUTOMATISCHER DYNAMISCHER DIAGNOSELEITFADEN MIT ERWEITERTER REALITÄT“.
  • HINTERGRUND
  • Gebiet
  • Diese Erfindung betrifft das Gebiet der Störungsbehebung und Diagnose von Robotern und spezieller ein System zum schnellen und wirksamen Feststellen eines Problems bei einem Industrieroboter, welches Daten von der Robotersteuereinheit sammelt, einen geeigneten Diagnoseentscheidungsverzeichnisbaum basierend auf den gesammelten Daten ermittelt und dem Nutzer einen interaktiven Leitfaden mit schrittweiser Fehlersuche auf einem Mobilgerät bereitstellt, mit erweiterter Realität zum bildlichen Darstellen von Aktionen, die bei Erprobung und Auswechslung von Komponenten vorzunehmen sind.
  • Erörterung des Standes der Technik
  • Industrieroboter sind sehr komplexe Maschinen, die imstande sind, viele unterschiedliche Funktionen genau und zuverlässig durchzuführen. Wenn jedoch in einem Roboter ein Problem auftritt, kann es schwierig sein, die Ursache zu bestimmen und das Problem zu korrigieren.
  • Gegenwärtig gibt es mehrere Hindernisse in Richtung einer schnellen Alarmierungsdiagnose, die umfassen: Fehlerbehebung ist nicht gut dokumentiert; vorhandene Fehlerbehebungsdokumentation ist unter verschiedenen Handbüchern verbreitet; Handbücher sind durch den Kunden nicht schnell und leicht zugänglich; viele Alarmierungen können zahlreiche Ursachen haben und sie alle durchzuarbeiten, kann Zeit, Aufwand und Kosten vergeuden, ohne die Lösung bereitzustellen; und die Anweisungen zur Fehlerbehebung können aufgrund der Komplexität der Hardware von Steuereinheit und Roboter schwer durchzuführen sein. Darüber hinaus besitzen Kunden typischerweise kein hohes Kompetenzniveau bei einer Fehlerbehebung und Reparatur von Robotern.
  • Andere bestehende Diagnosesysteme erfordern, dass ein Nutzer ein Video beobachtet oder einer Audioaufzeichnung mit Anweisungen zum Feststellen des Problems zuhört. Dies erfordert, dass der Nutzer zuerst auf einen Bildschirm auf einem Rechengerät und anschließend auf das reale System schaut, was zusätzliche Zeit erfordert. Außerdem kann der Nutzer irritiert werden, falls das Video oder Audio nicht das genaue System oder Problem beschreibt, an dem der Nutzer weiter, aber etwas abweichend, arbeitet.
  • Angesichts der oben beschriebenen Umstände ist es wünschenswert, ein interaktives Werkzeug bereitzustellen, um den Nutzer schnell und wirksam durch den Ablauf der Fehlerbehebung zu leiten, damit der Roboter sobald wie möglich zurück in den Betrieb gelangt.
  • ZUSAMMENFASSUNG
  • Der technischen Lehre der vorliegenden Offenlegung entsprechend, wird ein System erweiterter Realität zum Feststellen eines durch einen Alarmcode an einem Roboter angezeigten Problems offengelegt. Das offengelegte System eines Diagnoseleitfadens kommuniziert mit einer Steuereinheit eines Industrieroboters und sammelt Daten von der Robotersteuereinheit. Das System ermittelt anschließend einen Verzeichnisbaum geeigneter Diagnoseentscheidungen basierend auf den gesammelten Daten und stellt einem Nutzer auf einem Mobilgerät einen interaktiven Leitfaden schrittweiser Fehlerbehebung bereit, der erweiterte Realität zur bildlichen Darstellung von Aktionen einschließt, die bei Erprobung und Auswechslung von Komponenten vorzunehmen sind. Das System enthält einen Datensammler, Verzeichnisbaumgenerator und Leitfadengeneratormodule und erstellt den Entscheidungsverzeichnisbaum und den Diagnoseleitfaden unter Verwendung einer gespeicherten Bibliothek von Entscheidungen und Diagnoseschritten zusammen mit den zugeordneten AR-Daten.
  • Zusätzliche Merkmale der gegenwärtig offengelegten Vorrichtungen erschließen sich aus der folgenden Beschreibung und den angefügten Ansprüchen, wenn sie in Verbindung mit den begleitenden Zeichnungen betrachtet werden.
  • Figurenliste
    • 1 ist eine Darstellung eines Systems zur automatischen geführten Diagnose von Roboterfehlermeldungen unter Verwendung erweiterter Realität gemäß einer Ausführungsform der vorliegenden Offenlegung;
    • 2 ist ein Strukturdiagramm, das die Module der automatischen geführten Diagnoseanwendung von 1 gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt;
    • 3 ist ein Blockdiagramm, das den Diagnoseverzeichnisbaum von der Anwendungsstruktur einer automatischen geführten Diagnose von 2 gemäß einer Ausführungsform der vorliegenden Offenlegung veranschaulicht;
    • 4 ist ein Blockdiagramm, das einen Teildiagnoseverzeichnisbaum aus der Anwendungsstruktur von 2 mit einem herkömmlichen Lösungsweg zur Auswechslung eines Durchgangsteils vergleicht;
    • 5 ist eine Darstellung von Entscheidungskomponenten einer Bibliothek aus der Anwendungsstruktur von 2 gemäß einer Ausführungsform der vorliegenden Offenlegung;
    • 6 ist eine Darstellung der Anwendung des Diagnoseleitfadens, die einem Nutzer einen Diagnoseschritt (Aktion) und einen Entscheidungspunkt (Frage) zusammen mit einer unterstützenden Anzeige erweiterter Realität (AR) gemäß einer Ausführungsform der vorliegenden Offenlegung anzeigt; und
    • 7 ist ein Ablaufdiagramm eines Verfahrens zur automatischen geführten Diagnose von Roboterfehlermeldungen unter Verwendung erweiterter Realität, welches das System von 1 gemäß einer Ausführungsform der vorliegenden Offenlegung einsetzt.
  • AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Erörterung der Ausführungsformen der auf ein Verfahren und System zur automatischen Fehlerbehebung und Diagnose von Industrierobotern gerichteten Offenlegung ist lediglich beispielhafter Natur und ist in keiner Weise beabsichtigt, die offengelegten Vorrichtungen und Methoden oder deren Anwendungen oder Einsätze zu beschränken.
  • Wegen der Komplexität und Flexibilität von Robotersystemen kann es offenkundig schwierig sein, Alarmierungen zu verstehen und Fehler zu suchen. Es gibt viele Beispiele einfacher Probleme, die wegen fehlendem Verständnis des Kunden und schlechter Dokumentation lange Zeit brauchen, um in Ordnung gebracht zu werden. Ein System, das eine Gefahrdiagnose effizient und nutzerfreundlich macht, wäre für jeden Roboterkunden, insbesondere mit einem Schwerpunkt auf allgemeine Industrie, wertvoll. Während Roboterkunden in einigen Industrien wie der Automobilindustrie Reserven haben, um Roboterexperten und die Erfahrung vieler Jahre, sich mit Robotern zu beschäftigen, einzusetzen, können Kunden der allgemeinen Industrie diesen Luxus nicht haben und werden wahrscheinlich die Fehlerbehebung von Gefahren als furchterregend finden. Ein interaktives Diagnoseleitfadensystem wäre ein attraktives Merkmal für diese Kunden, die bei Roboteranwendungen gerade starten.
  • Den oben beschriebenen Bedarf anerkennend, wurde ein verbessertes System entwickelt, das eine schnelle und wirksame Fehlerbehebung eines Problems bei einem Industrieroboter zur Verfügung stellt. Das Diagnoseleitfadensystem sammelt Daten von einer Robotersteuereinheit, ermittelt einen geeigneten Diagnoseentscheidungsverzeichnisbaum basierend auf den gesammelten Daten und stellt dem Nutzer auf einem Mobilgerät einen interaktiven Fehlerbehebungsleitfaden mit Einzelschritten bereit, das erweiterte Realität zum bildlichen Darstellen von bei Erprobung und Auswechslung von Komponenten vorzunehmenden Aktionen ei nschließt.
  • Eine mobile Anwendung („App“) ist so ausgeführt, die Kundenschnittstelle für das Diagnoseleitfadensystem zu sein. Durch die mobile App ist der Kunde imstande, eine Steuereinheit auszuwählen, die eine Diagnose benötigt, wobei die Anwendung eine systematische Anleitung dafür liefert, wie die Alarmierung festzustellen ist. Der Leitfaden umfasst eine interaktive Überprüfung in Einzelschritten mit Diagrammen, Bildern und Videos. Außerdem kann ein für erweiterte Realität (AR) befähigtes Gerät relevante Daten zur Deckung bringen und Teile in der Wirklichkeit hervorheben. In Abhängigkeit von den Einsatzmöglichkeiten des Gerätes kann der Nutzer imstande sein, nur den Leitfaden mit Multimediadiagnose (ohne AR) zu erhalten, oder der Nutzer kann imstande sein, ebenso Gebrauch von den AR-Merkmalen zu machen.
  • 1 ist eine Darstellung eines Systems 100 zur automatischen geführten Diagnose von Roboterfehlermeldungen unter Verwendung erweiterter Realität gemäß einer Ausführungsform der vorliegenden Offenlegung. Ein Industrieroboter 110 kommuniziert mit einer Robotersteuereinheit 112, typischerweise über ein Kabel 114, wie es an sich bekannt ist. Der Roboter 110 kann ein beliebiger Typ eines Industrieroboters sein, wie etwa ein Schweißroboter, ein Lackierroboter oder ein Roboter, der konfiguriert und programmiert wird, um eine beliebige andere Aufgabe durchzuführen. Wegen der Komplexität des Roboters 110 und der manchmal extremen Umgebungen, in denen sie arbeiten, treten von Zeit zu Zeit Probleme auf. Durch den Roboter oder die Robotersteuereinheit könnten viele verschiedene Alarmierungstypen und Informationssignale (visuelle, hörbare, Mitteilungen auf Bildschirmanzeige und Kombinationen davon) bereitgestellt werden, um ein Problem anzuzeigen, wobei jedes dieser zu einer Fehlermeldung oder einem Alarmcode oder einer Datenmeldung führt, die das Problem ermittelt und die als die Grundlage des Diagnoseablaufs genutzt wird. Alarmcode oder Fehlermeldung werden durch die Steuereinheit 112 angezeigt und können entweder unmittelbare Aufmerksamkeit oder irgendwann bald eine Beachtung erforderlich machen.
  • Wenn von der Steuereinheit 112 Alarmcode oder Fehlermeldung angezeigt wird, kann ein die Diagnoseleitfaden-App 130 abarbeitendes Mobilgerät 120 genutzt werden, um die Fehlermeldung zu diagnostizieren und zu beheben. An diesem Punkt hat der Roboter 110 den Ablauf seines Bewegungsprogramms unterbrochen, und der Roboter 110 und die Steuereinheit 112 befinden sich in einem Modus, wo Diagnose und Fehlerbehebung durchgeführt werden können. Eine „Momentaufnahme“ von Steuereinheitsdaten wird von der Steuereinheit 112 dem Mobilgerät 120 zur Nutzung durch die App 130 bereitgestellt. Die Daten werden vorzugsweise über eine drahtlose Kommunikationsverbindung zur Verfügung gestellt, die sowohl von der Steuereinheit 112 als auch das Mobilgerät 120 möglich gemacht werden kann, die zum Beispiel mit einem lokalen Netz (LAN) drahtlos kommunizieren. Die Momentaufnahme der Steuereinheit enthält alle auf die Leistung des Roboters 110 bezogenen Daten, die für die Diagnose und Fehlerbehebung relevant sein können. Diese Daten werden das Kennzeichen der Alarmierung oder Fehlermeldung enthalten, das den Problemtyp kennzeichnet, für den der Code gilt (wie etwa das Problem eines Gelenkmotors). Die Momentaufnahmedaten können auch Daten des zeitlichen Verlaufs und Daten maximaler Werte für Parameter wie Gelenkbelastungen und -momente, Motorströme usw. beinhalten.
  • Unter Verwendung der Momentaufnahmedaten der Steuereinheit (falls verfügbar) bereitet die Diagnoseleitfaden-App 130 einen Diagnoseleitfaden mit optionalem Inhalt in erweiterter Realität (AR) zur Verwendung durch einen Nutzer 140 vor. Der Nutzer beantwortet Fragen und führt Diagnoseschritte durch, wobei der Diagnoseleitfaden den Nutzer 140 fortschreitend zur nächsten Frage oder zum nächsten Schritt in einem Diagnoseverzeichnisbaum führt. Der AR-Inhalt (falls verfügbar) wird verwendet, um dem Nutzer 140 deutlich zu zeigen, wie ein spezielles Teil am Roboter 110 zu ermitteln oder eine bestimmte Aktion durchzuführen ist (wie etwa ein Kabel herauszuziehen oder ein Teil zu ersetzen). Das AR-Merkmal erlaubt dem Nutzer 140, die Kamera des Mobilgeräts 120 auf ein Teil des Roboters 110 zu richten, wobei der AR-Inhalt (wie etwa Hervorheben und andere virtuelle Grafik) mit den Kamerabildern der Wirklichkeitsansicht zur Deckung gebracht werden. Schließlich wird eine Aktion vorgenommen, welche die Fehlermeldung überwindet, wobei die Ursache in der App 130 aufgezeichnet wird und der Roboter 110 zurück in den Betrieb gesetzt wird.
  • Die Aktionen des Nutzers im Leitfaden und in von der Steuereinheit 112 heruntergeladenen Informationen können anschließend zu einem Webserver oder anderen Server mit einer Informationsdatenbank (als Cloud 150 angegeben) fließen, so dass die Daten aggregiert und für potenzielle zukünftige Verbesserungen an der Diagnose oder anderen Informationen analysiert werden können. Die Diagnoseleitfaden-App 130 kann sich auch mit den letzten Leitfäden und Informationen aktualisieren, indem Elemente vom Server/der Datenbank in der Cloud 150 heruntergeladen werden. Die Steuereinheit 112 kann außerdem direkt mit dem Server/der Datenbank in der Cloud 150 in Verbindung stehen, indem eine Kommunikationsinfrastruktur genutzt wird, die dem Fachmann deutlich verständlich ist, wie etwa die mit einem LAN verbundene Steuereinheit 112, das wiederum Verbindungsfähigkeit mit dem Internet besitzt.
  • Der Prozess, den ein Nutzer verfolgt, ist im Wesentlichen folgendermaßen: Verwenden der Diagnoseleitfaden-App 130, Ermitteln einer Robotersteuereinheit von einer Liste, woraufhin die Diagnoseleitfaden-App 130 eine Momentaufnahme von Steuereinheitsdaten runterladen wird, Ermitteln, dass ein Alarmierungszustand durch die Steuereinheit wahrgenommen wird (was automatisch basierend auf der Momentaufnahme der Steuereinheit durchgeführt werden kann; und Folgen von Schritten wie sie im Nutzerleitfaden angewiesen sind, einschließlich Beantwortung von Fragen, Durchführung von Diagnosetests und gegebenenfalls Auswechslung von Komponenten.
  • Die Ausgabe der Diagnoseleitfaden-App 130 ist ein Leitfaden, der den Nutzer anweist, welche Schritte zu unternehmen sind und welche Informationen zu beobachten sind, um zur Ursache der Alarmierung zu gelangen. Der Leitfaden kann Diagramme, Fotos oder Videos, wenn zutreffend, aufweisen und wird Fragen von dem Nutzer stellen, um zu entscheiden wie am besten fortzuschreiten ist. Der Leitfaden kann außerdem AR-Daten, die Elemente hervorheben werden, und Informationen in der Wirklichkeit auf einer Live-Übertragung (im Fall eines Tablets oder Telefons) oder als ein Hologramm (im Fall einer AR-Sprechgarnitur) umfassen.
  • 2 ist ein Strukturdiagramm 200, das die Module der Anwendung 130 des Diagnoseleitfadens von 1 gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt. Wie oben erörtert, empfängt die Diagnoseleitfaden-App 130 vorzugsweise eine „Momentaufnahme“ von der Steuereinheit 112. Die Momentaufnahme der Steuereinheit enthält von der Steuereinheit 112 aufgezeichnete Daten, die jüngste Arbeitszustände im Roboter 110 beschreiben. Die Diagnoseleitfaden-App 130 kann ohne die Momentaufnahmedaten der Steuereinheit verwendet werden, wobei in diesem Fall der Nutzer 140 durch eine Angabe beginnt, welche Alarmierung oder Fehlermeldung durch die Steuereinheit 112 angezeigt wurde, und dann dem durch die App 130 dargestellten Diagnoseverzeichnisbaum folgt. Jedoch sind die Momentaufnahmedaten der Steuereinheit hilfreich beim Bereitstellen von Daten über den Roboter 110, was die Fehlerbehebung und Diagnose beschleunigen kann, wobei die Momentaufnahmedaten normalerweise zum Runterladen auf die Diagnoseleitfaden-App 130 auf dem Mobilgerät 120 verfügbar sind.
  • Die Struktur der Diagnoseleitfaden-App 130 erfordert, dass jedes unterstützte Problem durch einen Diagnoseverzeichnisbaum darzustellen ist. Informationen über den zu prüfenden Zustand des aktuellen Systems (aus der Momentaufnahme der Steuereinheit) sowie Reaktionen des Nutzers auf Fragen, bestimmen den Nutzerpfad durch den Verzeichnisbaum zu einer endgültigen Diagnose. Die Struktur enthält Datenbibliotheken getrennt von Softwaremodulen, wobei diese Gestaltung es erlaubt, unterstützte Störzustände in den Datenbibliotheken zu ergänzen oder zu modifizieren, ohne dass Änderungen an Softwaremodulen erforderlich sind. Außerdem erlaubt es die Struktur, dass die Diagnoseleitfaden-App 130 auf vielen verschiedenen Gerätetypen ausführbar ist, indem Anzeigemerkmale von Kommunikation und Leitfaden eingeschlossen werden.
  • Die Bibliothek 210 von Entscheidungen umfasst viele verschiedene Entscheidungspunkte und automatische Entscheidungsfunktionen, die in Diagnoseverzeichnisbäumen verwendet werden können. Die Bibliothek 220 von Diagnoseverzeichnisbäumen enthält einen Diagnoseverzeichnisbaum für jede unterstützte Alarmierung oder Fehlermeldung. Die Bibliothek 230 von Diagnoseschritten umfasst viele verschiedene Diagnoseschritte, die in den Diagnoseverzeichnisbäumen verwendet werden können. Die Bibliothek 240 von AR-Daten enthält Datenfiles erweiterter Realität (AR), die Diagnoseschritten oder Entscheidungspunkten zugeordnet werden können, wenn dem Nutzer die Schritte dargestellt werden. Jedes der Elemente in den Bibliotheken 210-240 ist in einem solchen File (wie XML oder HTML) enthalten und wird nachstehend weiter erörtert.
  • 3 ist ein Blockdiagramm, das einen Diagnoseverzeichnisbaum 300 aus der Bibliothek 220 der Diagnoseverzeichnisbäume der Anwendungsstruktur eines Diagnoseleitfadens gemäß einer Ausführungsform der vorliegenden Offenlegung darstellt. Der Diagnoseverzeichnisbaum 300 ist ein beispielhafter Diagnoseverzeichnisbaum für einen unterstützten Störzustand für die Diagnoseleitfaden-App 130. Jeder Diagnoseverzeichnisbaum ist in einem XML-File der Verzeichnisbaumbibliothek 220 enthalten. Die Diagnoseverzeichnisbäume werden durch fachkundige Servicetechniker des Roboterherstellers erzeugt. Jeder Diagnoseverzeichnisbaum besteht aus Knoten, die jeweils nur einen ursächlichen besitzen. Es gibt vier verschiedene Knotentypen, die jeweils nachstehend erörtert werden.
  • Ein Wurzelknoten 302 bezeichnet den unterstützten Störzustand, der diagnostiziert wird. Der Wurzelknoten 302 ist der Ausgangspunkt für die Diagnose auf der Basis einer speziellen Alarmierung oder Fehlermeldung. Der Diagnoseverzeichnisbaum 300 ist eindeutig für die im Wurzelknoten 302 ermittelte Alarmierung oder Fehlermeldung definiert.
  • Ein Aktionsknoten (oder Diagnoseschritt) 304 ist ein Beispiel eines Schritts in der Diagnose, bei dem ein Nutzer gebeten wird, einen für das Problem relevanten Diagnoseschritt durchzuführen, wie das Herausziehen eines Kabels oder Ersetzen einer Komponente. Die Aktionen können sowohl zugeordnete Leitfadenanweisungen als auch Daten in erweiterter Realität aufweisen. Jeder Aktionsknoten (oder Diagnoseschritt) ist in einem HTML- oder XML-Dokument in der Bibliothek 230 der Diagnoseschritte enthalten, wobei das Dokument Multimedia (Audio und/oder Video) enthalten und auch verlinkte AR-Daten aufweisen kann. Jede Aktion in der Bibliothek der Diagnoseschritte weist eine Beschreibung und ein Pfadkennzeichen auf, welches das Dokument in der Bibliothek 230 der Diagnoseschritte eindeutig ermittelt. Ein Aktionsknoten (wie der Knoten 304) kann zu einem anderen Aktionsknoten (Knoten 306) führen, oder ein Aktionsknoten kann zu einem Entscheidungspunkt führen (wie ein Entscheidungsknoten 308), wobei diese Beziehungen in der Struktur des Entscheidungsverzeichnisbaums 300 definiert sind.
  • Diagnoseschritte sind diskrete Aktionen, die als Teil der Diagnose vorgenommen werden. Jeder Diagnoseschritt ist eine atomistische Einheit, geeignet, um in mehreren verschiedenen Diagnoseverzeichnisbäumen erneut verwendet zu werden (d. h. für unterschiedliche Alarmierungen oder Fehlermeldungen). Die Diagnoseschritte werden als HTML-Dokumente (Webseiten) bekannt gemacht und können Bilder, Animationsbilder (GIFs), Videos und Text einschließen, die deutlich erklären, wie der Schritt durchzuführen ist.
  • Bestimmte Schritte im Diagnoseverzeichnisbaum werden AR-Daten aufweisen, die ihnen zugeordnet sind. Diese AR-Daten werden im Wesentlichen ermitteln, welche Informationen zur Deckung zu bringen sind, welche Wirklichkeitsobjekte (Roboterkomponenten) daran zu verankern sind und welche Formen zu zeichnen sind, um die Aufmerksamkeit des Nutzers auf bestimmte Bereiche am Roboter zu lenken, wo eine Aktion durchgeführt werden muss.
  • Der Entscheidungsknoten 308 ist ein Beispiel eines Punktes in der Diagnose, wo ein Nutzer gebeten wird, eine Frage zu beantworten, oder alternativ dazu das System die Antwort automatisch auf der Basis von Daten aus der Momentaufnahme der Steuereinheit beantwortet. Entscheidungspunkte legen fest, welchem der zwei oder mehreren Pfaden zu folgen ist, und deshalb den Pfad, der in einer speziellen Diagnosesitzung durch den Diagnoseverzeichnisbaum 300 zu nehmen ist. Jeder Entscheidungsknoten ist in einem XML-Dokument der Entscheidungsbibliothek 210 enthalten. Entscheidungsknoten können Antworten Ja/Nein aufweisen oder können mehrfache Wahlantworten besitzen, wobei der ausgegebene Pfad von der Antwort abhängig ist. Im Entscheidungsverzeichnisbaum 300 ist der Entscheidungsknoten 308 mit zwei möglichen Antworten gezeigt (Antwortknoten 310 und Antwortknoten 312). 3 zeigt den Entscheidungsknoten 308 und die Antwortknoten 310 und 312 jeweils als einen Knoten, wobei diese jedoch in einem Ablaufdiagramm typischerweise kombiniert und als eine Entscheidungsraute angezeigt werden würden.
  • Ein Blattknoten stellt den endgültigen festgestellten Grund des Fehlerzustands dar und ist ein Knoten ohne Nachfolger. Im Diagnoseverzeichnisbaum 300 sind die Aktionsknoten 314, 324 und 328 Blattknoten, wobei jeder der Blattknoten über eine unterschiedliche Route oder Pfad durch den Verzeichnisbaum 300 erreicht wird. Speziell führt vom Entscheidungsknoten 308 eine Antwort Ja (2) am Knoten 312 zum Aktionsknoten 314 als dem Blattknoten. Andererseits führt eine Antwort Nein (1) am Knoten 310 zu Aktionsknoten 316 und 318, denen sich der Entscheidungsknoten 320 anschließt, wobei eine Antwort Nein am Knoten 322 zu dem Aktionsblattknoten 324 führt, und eine Antwort Ja am Knoten 326 zu dem Aktionsblattknoten 328 führt.
  • Jede durch die Diagnoseleitfaden-App 130 unterstützte Alarmierung oder Fehlermeldung besitzt einen dem Diagnoseverzeichnisbaum 300 entsprechenden Diagnoseverzeichnisbaum. Ein fachkundiger Techniker oder Vertreter eines Kundensupports erzeugt die Verzeichnisbaumstruktur, indem Entscheidungen genutzt werden, die in der Entscheidungsbibliothek 210 enthalten sind, und Diagnoseschritte (Aktionen), die in der Bibliothek 230 für Diagnoseschritte enthalten sind. Jeder Verzeichnisbaum enthält alle der zum Diagnostizieren der Alarmierung benötigten möglichen Schritte. Beginnend von der Wurzel des Verzeichnisbaums kann das Fortschreiten durch den Verzeichnisbaum zur Erlangung des endgültigen Grundes in Abhängigkeit von Entscheidungspunkten abweichen. Der Verzeichnisbaum wird so viel wie möglich gekürzt, bevor er dem Nutzer in der Diagnoseleitfaden-App 130 präsentiert wird, indem die Momentaufnahmedaten der Steuereinheit genutzt werden.
  • 4 ist ein Blockdiagramm, in dem ein Teildiagnoseverzeichnisbaum aus der Anwendungsstruktur von 2 mit einer herkömmlichen Vorgehensweise der Auswechslung von Durchgangsteilen verglichen wird. Bei 400 ist ein Beispiel eines Teildiagnoseverzeichnisbaums aus der Diagnoseleitfaden-App 130 dargestellt. Unter Verwendung dieser Vorgehensweise bestimmen Antworten auf Entscheidungspunkte 402 und 408 die nachfolgenden Schritte, die einen dazwischen liegenden Aktionsknoten 406 einschließen können und letzten Ende zu einem Blattaktionsknoten 404, 410 oder 412 führen. In der Diagnoseleitfaden-App 130 führt der interaktive Diagnoseverzeichnisbaum den Nutzer durch eine Folge von Überprüfungen und Auswechslungen von Teilen, welche die Ursache schneller ermitteln und korrigieren können, ohne Zeit und Aufwand zum Auswechseln von Komponenten, die nicht der Grund des Problems sind. Diese Vorgehensweise führt dazu, dass die Komponenten nur ausgewechselt werden, wenn diese spezielle Komponente wahrscheinlich die Ursache der Fehlermeldung ist, wie es durch vorhergehende Diagnoseschritte angegeben wird.
  • Bei 420 ist ein Beispiel der herkömmlichen Vorgehensweise der Auswechslung von Durchgangsteilen gezeigt. Bei der herkömmlichen Vorgehensweise werden Komponenten nacheinander an den Kästchen 422, 424 und 426 ausgewechselt, bis das Problem gelöst ist, wobei die Reihenfolge der Auswechslung dem zugrunde gelegt werden kann, was am wahrscheinlichsten das Problem zu lösen oder am leichtesten vorzuführen ist. Die herkömmliche Vorgehensweise, die vor der Verfügbarkeit der Diagnoseleitfaden-App 130 genutzt wurde, führt oft zu einem umständlichen Diagnoseablauf und dazu, dass Roboterkomponenten unnötig ausgewechselt werden.
  • 5 ist eine Darstellung von Entscheidungsbibliothekskomponenten aus der Entscheidungsbibliothek 210 der Anwendungsstruktur von 2 gemäß einer Ausführungsform der vorliegenden Offenlegung. Eine Entscheidungspunkt 510 ist ein Punkt, an dem sich der Entscheidungsverzeichnisbaum basierend auf der Antwort des Nutzers auf eine Frage verzweigt. Der Entscheidungspunkt 510 ist dargestellt, als drei mögliche Antworten zu besitzen, wobei jede Antwort nach unten zu einem anderen Pfad im Entscheidungsverzeichnisbaum führt. Jeder Pfad kann zu einem weiteren Entscheidungspunkt oder zu einer Aktion (Diagnoseschritt) führen. Entscheidungspunkte in der Entscheidungsbibliothek haben gewöhnlich zwei mögliche Antworten (wie ja oder nein), wobei jede zu einem anderen Pfad führt.
  • Eine automatische Entscheidungsfunktion 520 ist eine Funktion, die in einem Entscheidungsverzeichnisbaum eingebettet ist, die automatisch basierend auf Daten von der Momentaufnahme der Steuereinheit evaluiert wird. Die automatische Entscheidungsfunktion 520 wird dem Nutzer nicht dargestellt. Stattdessen evaluiert die Diagnoseleitfaden-App 130 die automatische Entscheidungsfunktion 520 automatisch entweder, bevor dem Nutzer der Entscheidungsverzeichnisbaum dargestellt wird (wobei in diesem Fall der Verzeichnisbaum basierend auf der automatischen Entscheidungsfunktion 520 abgeschnitten wird) oder während der Interaktion des Nutzers mit der App 130 (wobei in diesem Fall dem Nutzer eine nächste Entscheidung oder Aktion dargestellt wird, die auf dem resultierenden Ausgabepfad basiert). Automatische Entscheidungsfunktionen können in Abhängigkeit von den eingegebenen Diagnosedaten zwei oder mehrere mögliche Ausgabepfade aufweisen.
  • 6 ist eine Darstellung der Diagnoseleitfaden-App 130, die dem Nutzer einen Diagnoseschritt (Aktion) und einen Entscheidungspunkt (Frage) zusammen mit einer unterstützenden Anzeige in erweiterter Realität (AR) gemäß einer Ausführungsform der vorliegenden Offenlegung anzeigt. Die Diagnoseleitfaden-App 130 erscheint, wie zuvor erläutert, auf dem Bildschirm des Mobilgerätes 120. Die Diagnoseleitfaden-App 130 ist in der Art und Weise eines geteilten Bildschirms in einen Nutzerdialogabschnitt 610 auf der rechten Seite und eine AR-Anzeige 620 auf der linken Seite unterteilt. Der Nutzer kann auswählen, oder die App 130 kann automatisch festlegen, welcher Teil des Bildschirms für den Nutzerdialogabschnitt 610 und die AR-Anzeige 620 zu verwenden ist. Der Nutzerdialogabschnitt 610 kann zum Beispiel 100% des Anzeigebildschirms einnehmen, wenn keine AR-Daten verfügbar sind, und der Nutzerdialogabschnitt 610 kann auf nur 10% des Anzeigebildschirms gestaucht werden, wenn die AR-Anzeige 620 durch den Nutzer aktiv verwendet wird. Für Situationen, bei denen das Mobilgerät 120 eine AR-Ausrüstung vom Typ einer Sprechgarnitur ist, kann der Nutzerdialogabschnitt 610 zur Betrachtung „im Raum abgestellt“ werden, während die Wirklichkeitselemente und die virtuellen Elemente in der AR-Anzeige 620, die den gesamten Betrachtungsbereich einnimmt, betrachtet werden.
  • Der Nutzerdialogabschnitt 610 enthält eine Kombination von Diagnoseschritten (Aktionen) und einen Entscheidungspunkt (Frage). Gemäß 6 wird bei 612 ein zuvor durchgeführter Diagnoseschritt angezeigt, und bei 614 wird ein Entscheidungspunkt (Frage) angezeigt. Der Nutzerdialogabschnitt 610 umfasst auch ein eingeschlossenes Videofenster 616, in dem ein Video angezeigt wird, welches den aktuellen Schritt bildlich darstellt, den der Nutzer auszuführen angewiesen wird (wie etwa das Entfernen eines Motors). Das Fenster 616 kann Bilder, Darstellungen, Animationsbilder (GIFs), Videos oder andere Medien enthalten. Die in dem Nutzerdialogabschnitt 610 dargestellten Diagnoseschritte (Aktionen) und der Entscheidungspunkt (Frage) sind Teil eines Diagnoseverzeichnisbaums, wie es in 3 dargestellt ist und früher erörtert wurde. Basierend auf der Antwort auf die Frage 614, wird sich der Diagnoseverzeichnisbaum entlang eines Pfades zu dem geeigneten Knoten bewegen, und die mit diesem Knoten verbundene Aktion oder Entscheidung wird im Nutzerdialogabschnitt 610 dargestellt.
  • Außer dem Videofenster 616 ist in der Diagnoseleitfaden-App 130 von 6 eine AR-Anzeige 620 dargestellt. Wie früher erörtert, weisen einige Diagnoseschritte (Aktionen) und Entscheidungspunkte (Fragen) zugeordnete AR-Daten auf. Die AR-Anzeige 620 ist ausgelegt, um eine interaktive Unterstützung der Visualisierung bereitzustellen, die für den Nutzer beim Beenden des Diagnoseschritts hilfreich ist. Die AR-Anzeige 620 enthält eine virtuelle Merkmalsanzeige 622, die ein Pfeil ist, der eine Bewegungsrichtung oder eine Betrachtungsrichtung darstellt, und eine virtuelle Merkmalsanzeige 624, die ein Umriss ist, der einen Ort eines Teils auf dem Roboter anzeigt. Die virtuellen Merkmalsanzeigen 622 und 624 werden mit Bildern 626 der Wirklichkeitsszene (der Roboter und Umgebungen) zur Deckung gebracht, wie sie durch die Kamera des Mobilgerätes 120 zu sehen sind. Die virtuellen Merkmalsanzeigen 622 und 624 werden durch den Prozessor im Mobilgerät 120 berechnet und in der genauen Größe und Ausrichtung basierend auf der Position und Ausrichtung des Mobilgerätes 120 relativ zum Roboter dargestellt. Position und Ausrichtung des Mobilgerätes 120 relativ zum Roboter (oder der Bearbeitungszelle des Roboters) können festgelegt werden, indem Bilder eines visuellen Markers in der Bearbeitungszelle analysiert werden und ständig über Visual-Inertial-Odometry-Techniken (VIO) verfolgt werden, wie es dem Fachmann in AR-Technologie verständlich wäre. Das Mobilgerät 120 kann ein Tablet-Rechengerät, ein Smartphone oder eine AR-Sprechgarnitur/Schutzbrillenvorrichtung sein.
  • Um auf das Strukturdiagramm 200 von 2 zurückzukommen, wurden die Datenbibliotheken 210-240 oben erörtert und ihre Inhalte in 3 bis 5 veranschaulicht. Die Datenbibliotheken 210-240 können eigens zu diesem Zweck aktualisiert werden; das heißt, Elemente in den Datenbibliotheken 210-240 können immer dann ergänzt oder aktualisiert werden, wenn eine neue Version des Elements verfügbar ist. Zum Beispiel kann ein neuer Diagnoseverzeichnisbaum für eine Alarmierung oder Fehlermeldung erzeugt werden, der zuvor nicht unterstützt wurde, oder es können AR-Daten für einen speziellen Diagnoseschritt hinzugefügt werden. Wenn diese neuen AR-Daten auf dem Webserver in der Cloud 150 verfügbar sind, werden sie auf das Mobilgerät 120 heruntergeladen und zur AR-Datenbibliothek 240 in der App 130 hinzugefügt. Ergänzungen und Updates für die Datenbibliotheken 210-240 erfordern keine Software-Upgrades.
  • Die Diagnoseleitfaden-App 130 umfasst außerdem Softwaremodule 250, 260, 270 und 280. Die Softwaremodule 250-280 werden aktualisiert, wenn eine neue Version der Diagnoseleitfaden-App 130 veröffentlicht ist, wobei in diesem Fall die neue Version der App 130 vom Webserver in der Cloud 150 heruntergeladen werden kann. Die Datenbibliotheken 210-240 kommunizieren mit den Softwaremodulen 250-280, wie es in 2 gezeigt ist und nachstehend erörtert wird.
  • Die Diagnoseleitfaden-App 130 umfasst ein Diagnosedaten-Sammlermodul 250, welches als Datendownloadschnittstelle für die Robotersteuereinheit 112 dient. Das Datensammlermodul 250 stellt eine Kommunikation mit der Steuereinheit 112 her und fordert die Momentaufnahmedaten der Steuereinheit an und empfängt sie. Die Momentaufnahmedaten einschließlich der Alarmierung oder Fehlermeldung und aller relevanten Daten werden im Speicher auf dem Mobilgerät 120 gespeichert und sind für die Diagnoseleitfaden-App 130 verfügbar und werden von dieser genutzt, wie es nachstehend erörtert wird.
  • Der Nutzer 140 startet die Diagnose durch Erkennung der Steuereinheit 112, die diagnostiziert werden muss. Wenn eine Verbindung zur gestörten Steuereinheit 112 möglich ist, lädt die App 130 eine Steuereinheitsmomentaufnahme von der Steuereinheit 112 herunter. Die Steuereinheitsmomentaufnahme enthält Daten, die das Diagnostizieren der Alarmierung unterstützen können. Dies könnte umfassen: Alarmierungsverlauf, Hilfsstatus, Systemvariablen, spezielle Trenddaten und mehr. Die Generierung und das Runterladen der Momentaufnahme ist automatisch und für den Nutzer nicht sichtbar.
  • Das Diagnosedaten-Sammlermodul 250 kommuniziert mit der Steuereinheit 112 unter Verwendung einer geeigneten Methode (USB-Laufwerk, fest verdrahtete Direktverbindung, Verbindung zu einem normalen LAN usw.), wobei die bevorzugte Methode eine drahtlose Verbindung ist.
  • Das Diagnosedaten-Sammlermodul 250 fordert Hilfsdiagnose an und sammelt beliebige andere Dateien von der Steuereinheit 112, die bei Alarmierungsdiagnose unterstützen können. Das Diagnosedaten-Sammlermodul 250 analysiert relevante Daten aus der Momentaufnahmedatei (den Momentaufnahmedateien) und stellt alles in eine für die Diagnoseleitfaden-App 130 verfügbare und durch diese genutzte interne Diagnosedatenstruktur.
  • Die Diagnoseleitfaden-App 130 umfasst außerdem ein Verzeichnisbaum-Generatormodul 260. Das Verzeichnisbaum-Generatormodul 260 ruft einen Diagnoseverzeichnisbaum aus der Diagnoseverzeichnisbaumbibliothek 220 für die spezielle Alarmierung oder Fehlermeldung ab, falls sie verfügbar ist. Das Verzeichnisbaum-Generatormodul 260 analysiert die XML-Daten des Diagnoseverzeichnisbaums und erstellt eine interne Verzeichnisbaumstruktur für die spezielle Fehlermeldung. Das Verzeichnisbaum-Generatormodul „beschneidet“ außerdem den Diagnoseverzeichnisbaum basierend auf Diagnosedaten, die von der Steuereinheit im Datensammlermodul 250 erhalten werden. Zum Beispiel können automatische Entscheidungsfunktionen und verwendete Daten von der Momentaufnahme der Steuereinheit aufgerufen werden, um zu entscheiden, wie der Rest des Verzeichnisbaums zu erstellen ist, wobei ein oder mehrere Zweige des Verzeichnisbaums basierend auf der automatischen Entscheidungsfunktion abgeschnitten werden können.
  • Falls die Diagnoseleitfaden-App 130 nicht imstande ist, Diagnosedaten über die Momentaufnahme der Steuereinheit zu erlangen, werden automatisch keine Fragen beantwortet und stattdessen wird jeder Entscheidungspunkt in dem Diagnoseverzeichnisbaum eine potenzielle Frage an den Nutzer 140. In diesem Fall gibt der Nutzer 140 einfach die Kennung der Alarmierung oder Fehlermeldung ein, und die Diagnoseleitfaden-App 130 ruft den geeigneten Diagnoseverzeichnisbaum aus der Diagnoseverzeichnisbaumbibliothek 220 ab.
  • Falls kein Diagnoseverzeichnisbaum für eine spezielle Alarmierung oder Fehlermeldung existiert, sondern statistische Diagnosedaten vorhanden sind (die statistischen Anteile unterschiedlicher Ursachen für die Fehlermeldung angeben), dann wird durch das Verzeichnisbaum-Generatormodul 260 zusätzlich ein Diagnoseverzeichnisbaum als eine Kette von Aktionen in einer Reihenfolge höchster Wahrscheinlichkeit, das Problem zu lösen, angelegt. Falls statistische Diagnosedaten nicht existieren oder mehrdeutig sind, können Aktionen in der Aktionskette geordnet werden auf der Basis der Zeit, den Schritt durchzuführen, wobei Schritte mit der kürzesten Zeit durchzuführen, zuerst geordnet werden. Wenn ein „Verzeichnisbaum“ als eine Aktionskette angelegt ist, dient die Diagnoseleitfaden-App 130 dennoch als nützliches Werkzeug, indem der Nutzer gebeten wird, die Komponenten zu wechseln, die in der Reihenfolge am wahrscheinlichsten sind, bis eine die Alarmierung festlegt. Diese Schritte der Auswechslung von Komponenten können dennoch Unterstützung in erweiterter Realität (AR) selbst beim Fehlen eines Diagnoseverzeichnisbaums bieten.
  • Wenn weder ein Diagnoseverzeichnisbaum noch statistische Diagnosedaten für eine spezielle Alarmierung oder Fehlermeldung vorhanden sind, dann gibt das Verzeichnisbaum-Generatormodul 260 der Diagnoseleitfaden-App 130 eine diesen Status anzeigende Meldung an den Nutzer 140 zurück. In einem solchen Fall kann die Notwendigkeit zur Erzeugung eines Diagnoseverzeichnisbaums für die spezielle Alarmierung oder Fehlermeldung auf dem Webserver in der Cloud 150 aufgezeichnet werden, so dass Servicetechniker beim Roboterhersteller in naher Zukunft einen solchen Diagnoseverzeichnisbaum erzeugen und verteilen können. Außerdem erlaubt die App 130 dem Nutzer 140, falls die Diagnoseleitfaden-App 130 nicht imstande ist, eine Diagnose zur Alarmierung bereitzustellen (kein Diagnoseverzeichnisbaum und keine statistischen Diagnosedaten sind verfügbar), Bilder, Video und Momentaufnahmen der Steuereinheit zur Analyse durch einen erfahrenen Techniker zuzustellen. Der Nutzer 140 drückt einfach einen Knopf innerhalb der App 130, um die Bilder und Daten zusammenzupacken und sie einer E-Mail-Adresse oder einem Webserverplatz zuzustellen, wo ein Kundendienstvertreter die Daten überprüft und dem Nutzer 140 mit Unterstützung antwortet.
  • Die Diagnoseleitfaden-App 130 enthält ferner ein Leitfadengeneratormodul 270. Das Leitfadengeneratormodul 270 nimmt den Entscheidungsverzeichnisbaum auf, der durch das Verzeichnisbaumgeneratormodul 260 generiert ist, ob dieser Verzeichnisbaum aus der Diagnoseverzeichnisbaumbibliothek 220 abgerufen wurde oder der Verzeichnisbaum durch das Verzeichnisbaumgeneratormodul 260 basierend auf den statistischen Diagnosedaten erstellt wurde. Das Leitfadengeneratormodul 270 durchläuft den Diagnoseverzeichnisbaum, lädt die geeigneten Diagnoseschritte (aus der Diagnoseschrittbibliothek 230) und AR-Daten (aus der AR-Datenbibliothek 240), um basierend auf dem Diagnoseverzeichnisbaum einen vollständigen Diagnoseleitfaden zu erzeugen.
  • Die Diagnoseleitfaden-App 130 enthält zusätzlich ein Modul 280 einer Leitfaden-Benutzerschnittstelle-(UI). Das Leitfaden-UI-Modul 280 empfängt den völlig ausgearbeiteten Leitfaden von dem Leitfadengeneratormodul 270 und zeigt den Diagnoseleitfaden dem Nutzer auf dem Mobilgerät 120 an. Das Leitfaden-UI-Modul 280 empfängt außerdem die Antworten des Nutzers auf Fragen und stellt die Antworten dem Leitfadengeneratormodul 270 bereit, so dass der geeignete nachfolgende Knoten durch das Leitfaden-UI-Modul 280 dem Nutzer dargestellt werden kann.
  • Wie es oben erwähnt wird, ist es manchmal notwendig, einen neuen Diagnoseverzeichnisbaum zu erzeugen, der sich mit einer Alarmierung oder Fehlermeldung befasst, die zuvor nicht unterstützt wurde. Um dies vorzunehmen, beginnt der Techniker, indem ein Diagnoseverzeichnisbaum für die spezielle Alarmierung erzeugt wird. Viele Aktionen und Entscheidungspunkte, die im neuen Diagnoseverzeichnisbaum benötigt werden, können in der Entscheidungsbibliothek 210 und der Diagnoseschrittbibliothek 230 bereits vorhanden sein. Für jede neuen Aktionen werden neue HTML-Seiten, und wo es geeignet ist, neue AR-Daten generiert. Für jede neuen Entscheidungspunkte wird eine neue XML benötigt, die die zu fordernde Frage und mögliche Antworten definiert. Wenn eine automatische Entscheidung möglich ist, muss eine neue Funktion geschrieben werden, die definiert, wie die Frage basierend auf Diagnosedaten zu beantworten ist. Falls zusätzliche diagnostische Daten gebraucht werden, werden Softwaremodifizierungen für den Diagnosedatensammler benötigt, um zusätzliche Daten zu analysieren und sie zu der internen Datenstruktur hinzuzufügen.
  • 7 ist ein Ablaufdiagramm eines Verfahrens zur automatischen geführten Diagnose von Fehlermeldungen von Robotern unter Verwendung erweiterter Realität, welches das System von 1 gemäß einer Ausführungsform der vorliegenden Offenlegung verwendet. Beim Kästchen 702 wird eine Steuereinheit eines eine Diagnose benötigenden Roboters ermittelt. Der infrage kommende Roboter wird typischerweise den Betrieb unterbrochen haben, und die Steuereinheit wird einen Alarmzustand oder eine Fehlermeldung anzeigen. Beim Kästchen 704 werden Kommunikationen hergestellt zwischen der ermittelten Steuereinheit und einem Mobilgerät (vorzugsweise AR-tauglich), auf dem die Diagnoseleitfadenanwendung läuft, und es wird eine „Momentaufnahme“ der Steuereinheitsdaten von der Steuereinheit auf das Gerät heruntergeladen, auf dem die Diagnoseleitfaden-App läuft.
  • Beim Kästchen 706 wird ein Diagnoseverzeichnisbaum für die durch die Steuereinheit ermittelte spezielle Fehlermeldung erzeugt. Erzeugen des Diagnoseverzeichnisbaums umfasst Auswählen eines vorhandenen Diagnoseverzeichnisbaums aus einer Diagnoseverzeichnisbaumbibliothek, falls eine existiert, oder Erstellen eines Diagnoseverzeichnisbaums basierend auf statistischen Ursachendaten, falls die Diagnoseverzeichnisbaumbibliothek keinen Diagnoseverzeichnisbaum für die spezielle Fehlermeldung enthält. Das Erzeugen des Diagnoseverzeichnisbaums umfasst auch das Kürzen des Verzeichnisbaums (einige Pfade auswählen und andere eliminieren), basierend auf automatischen Entscheidungsfunktionen in dem Verzeichnisbaum, die unter Verwendung von Daten aus der Momentaufnahme der Steuereinheit evaluiert werden.
  • Beim Kästchen 708 wird der Diagnoseverzeichnisbaum interaktiv durchlaufen, was das Darstellen eines Diagnoseleitfadens mit für den Nutzer durchzuführenden Diagnoseschritten und für den Nutzer zu beantwortenden Fragen einschließt, wobei die Antworten auf die Fragen festlegen, welchem Pfad im Diagnoseverzeichnisbaum zu folgen ist. Der Diagnoseverzeichnisbaum wird beim Kästchen 708 durchlaufen, bis eine Ursache der Fehlermeldung bestimmt ist und durch Performanz der Diagnoseschritte gelöst wird. Das Durchlaufen des Diagnoseverzeichnisbaums umfasst, dem Benutzer Bilder, Beschreibungen und Video bereitzustellen, wobei eine beliebige oder alle dieser Formen von Medien genutzt werden können, um dem Nutzer zu erläutern und zu veranschaulichen, welche Aktion vorgenommen werden muss, wie es anzugehen ist und wo das (die) spezielle(n) Element(e) an dem Roboter oder der Steuereinheit zu finden sind. Eine AR-Anzeige kann auch zusätzlich zu den anderen Medienformen vorgesehen sein, wobei die AR-Anzeige virtuelle Überdeckungen wie etwa Pointer und Textmarker auf Bildern der Wirklichkeitsszene zur Verfügung stellt und die AR-Anzeige dem Nutzer erlaubt, sich um verschiedene Blickpunkte herum zu bewegen, während die virtuellen Überdeckungselemente korrekt dargestellt werden.
  • Es werden etwas unterschiedliche Nutzererfahrungen zur Verfügung gestellt, abhängig davon, ob das Mobilgerät ein Tablet-Rechengerät ist (bei dem ein geteilter Bildschirm für die AR-Anzeige und den Benutzerdialogabschnitt genutzt werden kann) oder eine AR-Sprechgarnitur ist (bei der der gesamte Sichtbereich die AR-Anzeige sein kann, wobei der Nutzerdialogabschnitt „im Raum abgestellt wird“ für den Nutzer zum Betrachten und zum Interagieren damit).
  • Die Diagnoseleitfadenanwendung auf dem Mobilgerät kann mit einem Webserver oder einer Informationsdatenbank „in der Cloud“ kommunizieren, entweder zur Echtzeiterzeugung eines Diagnoseverzeichnisbaums, nachdem die Momentaufnahme der Steuereinheit erfasst ist, oder für periodische Updates an verfügbaren Diagnoseverzeichnisbäumen und Schritten, AR-Daten usw., die in Bibliotheken in der Anwendung gespeichert sind.
  • In der vorangegangenen Erörterung sind durchweg verschiedene Steuereinheiten zur Steuerung von Bewegungen und Aufgaben eines Roboters, zum Abarbeiten der Diagnoseleitfadenanwendung auf dem Mobilgerät usw. beschrieben und einbezogen. Es soll verständlich werden, dass die Softwareanwendungen und Module dieser Steuereinheiten auf einem oder mehreren Rechengeräten mit einem Prozessor und einem Speichermodul einschließlich Algorithmen ausgeführt werden, die in einem nichtflüchtigen Speicher konfiguriert sind. Insbesondere schließt dies Prozessoren in der Robotersteuereinheit 112 und dem Mobilgerät 120 ein, die oben erörtert wurden. Die Kommunikation zwischen den Robotern, ihren Steuereinheiten und dem Mobilgerät kann über ein fest verdrahtetes Netzwerk bestehen oder kann jede geeignete drahtlose Technologie wie etwa ein Mobiltelefon/Datennetz, WiFi, Bluetooth, Breitband-Internet usw. nutzen.
  • Wie es oben kurz dargestellt ist, bieten die offengelegten technischen Ausführungen für einen automatischen Roboterdiagnoseleitfaden mit erweiterter Realität mehrere Vorteile gegenüber früheren technischen Ausführungen. Die Fähigkeit eines Nutzers, Diagnoseschritte leicht und gefühlsmäßig durchzuführen und Fragen zu beantworten, mit eingebetteten Bildern, Beschreibungen, Videos und Ansichten in erweiterter Realität des Roboters und anderen Wirklichkeitselementen, ist früheren iterativen Verfahren zum aufeinander folgenden Auswechseln von Komponenten weit überlegen.
  • Während eine Anzahl beispielhafter Aspekte und Ausführungsformen des Verfahrens und Systems zur automatischen Diagnose von Roboteralarmierungen unter Verwendung erweiterter Realität oben erörtert wurden, wird der Fachmann Modifizierungen, Umsetzungen, Ergänzungen und Unterkombinationen davon erkennen. Es ist deshalb beabsichtigt, dass die folgenden angefügten Ansprüche und die danach eingeführten Ansprüche so ausgelegt werden, alle diese Modifizierungen, Umsetzungen, Ergänzungen und Unterkombinationen als in deren wahrem Geist und Geltungsbereich befindlich einzuschließen.

Claims (24)

  1. System zur Diagnostizierung und Behebung eines Problems mit einer Maschine, wobei das System umfasst: eine Maschinensteuereinheit, die mit einer Maschine in Verbindung steht, wobei die Steuereinheit einen Prozessor und einen Speicher enthält und mit Maschinensteuersoftware zur Steuerung des Betriebs der Maschine und zur Aufzeichnung von Fehlermeldungen für die Maschine ausgestaltet ist; und ein Gerät in erweiterter Realität (AR), wobei das AR-Gerät eine oder mehrere Kameras, Positionsverfolgungssensoren und ein Display besitzt, das AR-Gerät des Weiteren einen Prozessor und Speicher enthält, die gestaltet sind, um eine Softwareanwendung des Diagnoseleitfadens abzuarbeiten; wobei die Softwareanwendung des Diagnoseleitfadens Merkmale bereitstellt, die umfassen: Bereitstellen von Daten von der Maschinensteuereinheit für das AR-Gerät, die ein Problem bei der Maschine anzeigende Daten einschließen; Einrichten und ständiges Verfolgen einer Position und Ausrichtung des AR-Gerätes relativ zum Koordinatenrahmen einer Bearbeitungszelle; Erzeugen eines Diagnoseverzeichnisbaums mit Diagnoseschritten und Entscheidungspunkten, die eine Ursache des Problems diagnostizieren werden; und Bereitstellen eines Diagnoseleitfadens, der den Diagnoseverzeichnisbaum durch Interaktion mit einem Nutzer bei den Diagnoseschritten und den Entscheidungspunkten durchläuft, bis die Ursache des Problems bestimmt und behoben ist.
  2. System nach Anspruch 1, wobei das AR-Gerät eine von einem Nutzer getragene Sprechgarnitur ist.
  3. System nach Anspruch 2, wobei ein Teil des die Bilder, Videos und Beschreibungen einschließenden Diagnoseverzeichnisbaums in einem Nutzerdialogfenster angezeigt wird, welches an einer festgelegten Stelle im Raum zur Betrachtung durch den Nutzer angeordnet ist.
  4. System nach Anspruch 1, wobei das AR-Gerät ein Smartphone oder ein Tablet-Rechengerät ist, das von einem Nutzer gehalten wird, und eine AR-Anzeige und ein Nutzerdialogfenster im Modus eines geteilten Bildschirms dargestellt werden.
  5. System nach Anspruch 1, wobei Einrichten der Position und Ausrichtung des AR-Gerätes relativ zu dem Koordinatenrahmen der Bearbeitungszelle das Analysieren von Bildern eines visuellen Markers mit einer bekannten Gestaltung und an einem bekannten Ort im Koordinatenrahmen der Bearbeitungszelle angeordnet umfasst.
  6. System nach Anspruch 1, wobei Bereitstellen von Daten von der Maschinensteuereinheit das Herstellen von Kommunikationen zwischen dem AR-Gerät und der Steuereinheit und das Runterladen von Daten über die Maschine einschließlich Alarmierungsverlauf, Robotergelenksbelastungen und Momenten, Hilfsmotorstatus, Motorströme und Trenddaten umfasst.
  7. System nach Anspruch 1, wobei Bereitstellen von Daten aus der Maschinensteuereinheit das Generieren und Darstellen eines zweidimensionalen Strichcodes (QR-Code) durch die Maschinensteuereinheit und das Lesen des QR-Codes durch das AR-Gerät umfasst, wobei der QR-Code die Fehlermeldung ermittelt.
  8. System nach Anspruch 1, wobei Erzeugen eines Diagnoseverzeichnisbaums Auswählen eines zuvor für das Problem erzeugten Diagnoseverzeichnisbaums aus einer Diagnoseverzeichnisbaumbibliothek umfasst und, wenn in der Diagnoseverzeichnisbaumbibliothek kein Diagnoseverzeichnisbaum für das Problem vorhanden ist, das Erstellen des Diagnoseverzeichnisbaums als eine Aktionskette, die das Auswechseln von Maschinenkomponenten in Reihenfolge der Wahrscheinlichkeit zum Lösen des Problems einschließt.
  9. System nach Anspruch 1, wobei Erzeugen eines Diagnoseverzeichnisbaums das Kürzen des Verzeichnisbaums umfasst, indem Fragen an einem oder mehreren Entscheidungspunkten unter Verwendung der Daten von der Maschinensteuereinheit automatisch beantwortet werden.
  10. System nach Anspruch 1, wobei der Nutzerleitfaden die Diagnoseschritte mit Bildern, Videos, Beschreibungen und AR-Daten darstellt, die gestaltet sind, um den Nutzer beim Beenden der Diagnoseschritte zu unterstützen, den Nutzer bittet, eine Frage an jedem der Entscheidungspunkte zu beantworten, und einem Zweig des Verzeichnisbaums basierend auf der Antwort folgt.
  11. System nach Anspruch 1, wobei die Positionsverfolgungssensoren einen oder mehrere Kreisel und einen oder mehrere Beschleunigungsmesser einschließen, wobei die Sensoren dem Prozessor im AR-Gerät Signale liefern, die eine ständige Berechnung von Positions- und Ausrichtungsänderungen des AR-Geräts ermöglichen.
  12. System nach Anspruch 11, wobei die AR-Daten virtuelle Merkmale enthalten, die mit Kamerabildern der Maschine zur Überdeckung gebracht werden, wo die virtuellen Merkmale gestaltet sind, um dem Nutzer beim Beenden der Diagnoseschritte visuelle Unterstützung bereitzustellen, und eine Anzeige der virtuellen Merkmale basierend auf den Positions- und Ausrichtungsänderungen des AR-Geräts ständig aktualisiert wird.
  13. System nach Anspruch 1, des Weiteren umfassend einen Webserver einschließlich einer Informationsdatenbank, wobei das AR-Gerät mit dem Webserver kommuniziert und Diagnoseverzeichnisbaumbäume und AR-Daten aus der Informationsdatenbank runterlädt und Ursacheninformationen in die Informationsdatenbank hochlädt.
  14. System nach Anspruch 1, wobei die Maschine ein Industrieroboter ist.
  15. Vorrichtung zur Diagnostizierung und Behebung eines Problems bei einem Industrieroboter, wobei die Vorrichtung ein Gerät in erweiterter Realität (AR) umfasst, das mit einer Robotersteuereinheit in Verbindung steht, wobei das AR-Gerät eine oder mehrere Kameras, Trägheitssensoren und ein Display aufweist, wobei das AR-Gerät des Weiteren einen Prozessor und Speicher einschließt, die gestaltet sind, um auf einer Softwareanwendung des Diagnoseleitfadens abzulaufen, wobei die Softwareanwendung des Diagnoseleitfadens ausgeführt ist, Daten von der Robotersteuereinheit einschließlich der ein Problem bei einem Roboter anzeigenden Daten runterzuladen, einen Diagnoseverzeichnisbaum einschließlich Diagnoseschritten und Entscheidungspunkten zu erzeugen, die eine Ursache des Problems diagnostizieren werden, und einen Diagnoseleitfaden bereitzustellen, der den Diagnoseverzeichnisbaum durchläuft, indem mit einem Nutzer bei den Diagnoseschritten und den Entscheidungspunkten kommuniziert wird, bis die Ursache behoben ist.
  16. Verfahren zur Diagnostizierung und Behebung eines Problems bei einer Maschine, wobei das Verfahren umfasst: Bereitstellen einer Maschine und einer Maschinensteuereinheit, die mit der Maschine in Verbindung steht; Bereitstellen eines Geräts in erweiterter Realität (AR), wobei das AR-Gerät eine oder mehrere Kameras, Positionsverfolgungssensoren und ein Display aufweist, das AR-Gerät des Weiteren einen Prozessor und Speicher umfasst, die gestaltet sind, um eine Softwareanwendung des Diagnoseleitfadens abzuarbeiten; Einrichten und ständiges Verfolgen einer Position und Ausrichtung des AR-Gerätes relativ zum Koordinatenrahmen einer Bearbeitungszelle; Bereitstellen von diagnostischen Maschinendaten aus der Maschinensteuereinheit an das AR-Gerät, einschließlich der ein Problem bei der Maschine erkennenden Daten; Bestimmen eines Diagnoseverzeichnisbaums basierend auf den diagnostischen Daten, wobei der Diagnoseverzeichnisbaum Diagnoseschritte und Entscheidungspunkte enthält, die eine Ursache des Problems diagnostizieren werden; Darstellen eines Diagnoseleitfadens einem Nutzer des AR-Geräts, wobei der Diagnoseleitfaden dem Diagnoseverzeichnisbaum folgt; und Folgen dem Diagnoseleitfaden durch den Nutzer, bis die Ursache des Problems ermittelt und korrigiert ist, was das Durchführen von Aktionen bei Erprobung und Auswechslung von Komponenten in den Diagnoseschritten und das Beantworten von Fragen an den Entscheidungspunkten einschließt.
  17. Verfahren nach Anspruch 16, wobei Darstellen des Diagnoseleitfadens dem Nutzer das Bereitstellen von AR-Daten auf dem AR-Gerät einschließt, die AR-Daten mindestens eine Aktivität der Erprobung oder Auswechslung von Komponenten, die im Diagnoseverzeichnisbaum eingeschlossen ist, bildlich darstellen.
  18. Verfahren nach Anspruch 17, wobei das AR-Gerät eine vom Nutzer getragene Sprechgarnitur ist, in der die AR-Daten mit Echtzeitbildern der Maschine und ihren Umgebungen zur Überdeckung gebracht werden, und wobei ein Teil des die Bilder, Videos und Beschreibungen enthaltenden Diagnoseverzeichnisbaums in einem Nutzerdialogfenster dargestellt wird, welches zur Betrachtung durch den Nutzer an einer festgelegten Stelle im Raum angeordnet ist.
  19. Verfahren nach Anspruch 18, wobei die AR-Daten virtuelle Merkmale einschließen, die mit Echtzeitbildern der Maschine zur Überdeckung gebracht sind, wobei die virtuellen Merkmale gestaltet sind, eine visuelle Unterstützung für den Nutzer beim Beenden der Diagnoseschritte bereitzustellen, und eine Anzeige der virtuellen Merkmale ständig auf der Basis von Positions- und Ausrichtungsänderungen des AR-Gerätes aktualisiert wird.
  20. Verfahren nach Anspruch 16, wobei Festlegen eines Diagnoseverzeichnisbaums das Auswählen eines zuvor für das Problem erzeugten Diagnoseverzeichnisbaums aus einer Diagnoseverzeichnisbaumbibliothek umfasst oder, wenn ein Diagnoseverzeichnisbaum für das Problem in der Diagnoseverzeichnisbaumbibliothek nicht vorhanden ist, das Erstellen des Diagnoseverzeichnisbaums als eine Aktionskette, die das Auswechseln von Maschinenkomponenten in Reihenfolge der Wahrscheinlichkeit, das Problem zu lösen, einschließt.
  21. Verfahren nach Anspruch 16, wobei Festlegen eines Diagnoseverzeichnisbaums das Beschneiden des Verzeichnisbaums umfasst, indem Fragen an einem oder mehreren Entscheidungspunkten unter Verwendung der diagnostischen Daten von der Maschinensteuereinheit automatisch beantwortet werden.
  22. Verfahren nach Anspruch 16, des Weiteren umfassend das Kommunizieren mit einem Webserver einschließlich einer Informationsdatenbank durch das AR-Gerät, das Runterladen von Diagnoseverzeichnisbäumen und AR-Daten aus der Informationsdatenbank und Hochladen von Ursacheninformationen in die Informationsdatenbank umfasst.
  23. Verfahren nach Anspruch 16, wobei die Maschine ein Industrieroboter ist.
  24. Verfahren nach Anspruch 16, wobei die ein Problem bei der Maschine ermittelnden Daten ein Alarmcode oder eine Fehlermeldung sind.
DE112019003185.6T 2018-06-26 2019-06-26 Automatischer dynamischer diagnoseleitfaden mit erweiterter realität Pending DE112019003185T5 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US201862690045P true 2018-06-26 2018-06-26
US62/690,045 2018-06-26
US16/453,749 2019-06-26
US16/453,749 US20190392644A1 (en) 2018-06-26 2019-06-26 Automatic dynamic diagnosis guide with augmented reality
PCT/US2019/039340 WO2020006142A1 (en) 2018-06-26 2019-06-26 Automatic dynamic diagnosis guide with augmented reality

Publications (1)

Publication Number Publication Date
DE112019003185T5 true DE112019003185T5 (de) 2021-04-08

Family

ID=68981074

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019003185.6T Pending DE112019003185T5 (de) 2018-06-26 2019-06-26 Automatischer dynamischer diagnoseleitfaden mit erweiterter realität

Country Status (4)

Country Link
US (1) US20190392644A1 (de)
CN (1) CN112368659A (de)
DE (1) DE112019003185T5 (de)
WO (1) WO2020006142A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062264B2 (en) * 2019-03-08 2021-07-13 Grace Technology, Inc. Work support system, work support server, work situation determination apparatus, device for worker, and work object equipment
KR102252815B1 (ko) * 2020-12-01 2021-05-17 박광수 서보모터와 엔코더의 동기화 방법을 가이드하기 위한 방법 및 이를 구현하는 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150164430A1 (en) * 2013-06-25 2015-06-18 Lark Technologies, Inc. Method for classifying user motion
WO2016182974A1 (en) * 2015-05-08 2016-11-17 Ngoggle Head-mounted display eeg device
WO2017153005A1 (en) * 2016-03-09 2017-09-14 Siemens Aktiengesellschaft Smart embedded control system for a field device of an automation system
CN111329554B (zh) * 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法

Also Published As

Publication number Publication date
WO2020006142A1 (en) 2020-01-02
CN112368659A (zh) 2021-02-12
US20190392644A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
DE112019003185T5 (de) Automatischer dynamischer diagnoseleitfaden mit erweiterter realität
DE102017102651A1 (de) Vorrichtung zum Formulieren von Regeln in einem Prozesssteuerungsnetzwerk
EP1330685B1 (de) Prüfverfahren und prüfvorrichtung zur inbetriebnahme von mittels einer programmlogik gesteuerten systemen
EP1454280B1 (de) System und verfahren zum testen und/oder debuggen von laufzeitsystemen zur lösung von mess-aufgaben
DE60212372T2 (de) System und verfahren zur erstellung von diagnosen vermittels einer tragbaren vorrichtung
DE60219570T2 (de) Simulationsvorrichtung
DE102010036757A1 (de) Grafische Randleiste für ein Prozesssteuerungssystem
DE19639424A1 (de) Entwurfsverfahren für die Anlagentechnik und rechnergestütztes Projektierungssystem zur Verwendung bei diesem Verfahren
WO2000058799A1 (de) System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
DE102005047204A1 (de) Verfahren zur Programmierung eines Industrieroboters
EP0685086B1 (de) Einrichtung zur automatischen erzeugung einer wissensbasis für ein diagnose-expertensystem
DE112007003612T5 (de) Alarmanalysesystem und Verfahren zur Statistiken über Alarme von einem Prozesskontrollsystem
EP3446185B1 (de) Verfahren und vorrichtung zur gestaltung eines produktionsprozesses zum produzieren eines aus mehreren teilprodukten zusammengesetzten produkts
EP1655663A1 (de) Datenflussmodellierung in Engineering-Systemen
EP1137972B1 (de) Automatisierungssystem zur lösung einer prozesstechnischen aufgabenstellung und verfahren hierzu
DE19960048A1 (de) Zeitgesteuerte Startbedingungen für Aktivitäten in Workflow-Management-Systemen
EP2808749B1 (de) Verfahren zum Austausch von Steuerungsinformationen zwischen Bedien- und Beobachtungsgeräten eines industriellen Automatisierungssystems und industrielles Automatisierungssystem
EP0838054B1 (de) Verfahren und steuereinrichtung für eine graphische steuerung von abläufen in einem netzwerkmanagementsystem
DE102017123090A1 (de) Robotersystem und Wartungsverfahren zum Verfolgen von Informationen eines Moduls
EP1217476A2 (de) Vorrichtung und Verfahren zur Inbetriebnahme und Diagnose von Steuerungssystemen
EP1092210B1 (de) Vorrichtung und verfahren zur erstellung eines virtuellen anlagenmodells
DE10146901A1 (de) Verfahren und System zur Bearbeitung von Fehlerhypothesen
WO2011000367A1 (de) Verfahren und vorrichtung zur vereinfachten fehlerverarbeitung an einer werkzeugmaschine
DE112012006909T5 (de) Steuersystem-Verwaltungsvorrichtung
EP1226475B1 (de) Verfahren zum erstellen von leittechnik-programmcode