DE19953739A1 - Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten - Google Patents

Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten

Info

Publication number
DE19953739A1
DE19953739A1 DE19953739A DE19953739A DE19953739A1 DE 19953739 A1 DE19953739 A1 DE 19953739A1 DE 19953739 A DE19953739 A DE 19953739A DE 19953739 A DE19953739 A DE 19953739A DE 19953739 A1 DE19953739 A1 DE 19953739A1
Authority
DE
Germany
Prior art keywords
information
marking
data
user
technological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19953739A
Other languages
English (en)
Other versions
DE19953739C2 (de
Inventor
Wolfgang Friedrich
Wolfgang Wohlgemuth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE19953739A priority Critical patent/DE19953739C2/de
Priority to EP00987105A priority patent/EP1230583B1/de
Priority to DE50005725T priority patent/DE50005725D1/de
Priority to PCT/DE2000/003942 priority patent/WO2001035178A1/de
Priority to JP2001536646A priority patent/JP2003514294A/ja
Publication of DE19953739A1 publication Critical patent/DE19953739A1/de
Application granted granted Critical
Publication of DE19953739C2 publication Critical patent/DE19953739C2/de
Priority to US10/140,949 priority patent/US7103506B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

Die Erfindung betrifft ein System und ein Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten. Für eine optimierte Unterstützung insbesondere bei der Wartung von Automatisierungssystemen wird ein System zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten zur situationsgerechten Unterstützung der Interaktion zwische einem Anwender und einer technischen Vorrichtung, insbesondere für technische und industrielle Anwendungen vorgeschlagen. Das System umfaßt Speichermittel zur Speicherung von Dokumentationsdaten und mit Erfassungsmitteln zur Erfassung von realen Informationen, Zugriffsmittel zum Zugriff auf die Dokumentationsdaten, Auswertemittel zur Auswertung der realen Information und zur Auswahl der gespeicherten Dokumentationsdaten in Abhängigkeit der realen Informationen, mit Mitteln zur virtuellen Markierung einer technologischen Komponente und mit Mitteln zur Darstellung Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologischen Komponente stehen.

Description

Die Erfindung betrifft ein System und ein Verfahren zur ob­ jektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten.
Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, bei Diagnose-/Serviceunterstützungssyste­ men sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anla­ gen zum Einsatz.
Der Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren anzugeben, das in konkreten Arbeitssituationen ei­ nen schnellen und sicheren Zugriff auf relevante Dokumentati­ onsdaten ermöglicht.
Diese Aufgabe wird durch ein sowie durch ein Verfahren mit den in den Ansprüchen 1 bzw. 4 angegebenen Merkmalen ge­ löst.
Bei den Dokumentationsdaten kann es sich beispielsweise um bei der Errichtung einer Anlage oder eines Automatisierungs­ systems erstellte und gesammelte Daten und/oder auch im Be­ trieb einer Anlage oder eines Automatisierungssystems nach vorgebbaren Kriterien gepflegte und jeweils aktualisierte Do­ kumentationsdaten handeln. Diese Dokumentationsdaten können auf Speichermittel gespeichert sein, die sowohl lokal, d. h. am Ort der jeweiligen Anwendung oder auch an jeden beliebig anderen Ort, beispielsweise am Ort der jeweiligen Hersteller­ firmen der einzelnen Anlagenkomponenten, gespeichert werden. Mit Hilfe der Erfassungsmittel werden beispielsweise aus einem Bildinhalt die realen Informationen erfaßt und über die Auswertemittel ausgewertet, so daß eine Zuordnung der realen Objekte zu in den Dokumentationsdaten gespeicherten Objektda­ ten möglich wird. Anhand der realen Informationsdaten, bei­ spielsweise in Form eines detektierten Objekts werden dann insbesondere automatisch die zusätzlichen in dem Dokumenta­ tionsdaten enthaltenen Objektdaten ausgewählt und beispiels­ weise für Servicezwecke vor Ort zur Verfügung gestellt. Hier­ durch wird ein situationsgerechter schneller Zugang zu den jeweils benötigten Daten ermöglicht.
Ein für den Anwender sehr benutzerfreundliche Möglichkeit zur Markierung von Objekten besteht darin, daß die Mittel zur virtuellen Markierung durch Sprachsteuerung und/oder durch di­ gitale Bildverarbeitung angesteuert werden. Der Anwender kann dabei beispielsweise ein bestimmtes Objekt betrachten, wo­ durch auch die Kamera eines AR-Systems (= Augmented-Reality- Systems) das Objekt aufnimmt. Durch digitale Bildauswertung wird das so selektierte Objekt lokalisiert und kann virtuell markiert werden. Zusätzlich oder auch unabhängig von einer Bildauswertung kann das zu selektierende und zu markierende Objekt durch Auswertung von Sprachbefehlen des Anwenders de­ tektiert werden.
Eine "globale" Anwendung des Systems unabhängig vom jeweili­ gen Standort des Anwenders vor Ort kann dadurch erreicht wer­ den, daß das System am Ort des Anwenders ein Augmented- Reality-System aufweist, das über eine Datenverbindung mit einem entfernten Experten und/oder einem entfernten Experten­ system zur Hinübertragung der Markierung und/oder zur Rück­ übertragung von Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologi­ schen Komponente stehen, verbindbar ist. So kann die vor Ort erstellte Markierung des Objekts an einen entfernten Experten übertragen werden, der dann gezielt Zusatzinformationen zu dem jeweils markierten Objekt an den Anwender vor Ort über­ mitteln kann.
Weitere vorteilhafte Ausgestaltungen bestehen darin, daß die Dokumentationsdaten statische und/oder dynamische Informati­ onsdaten sind. Beispiele für derartige statische Informatio­ nen sind technische Daten aus Handbüchern, Explosionszeich­ nungen, Wartungsanweisungen etc.. Beispiele für dynamische Informationen sind Prozeßwerte wie Temperatur, Druck etc.
Ein schneller situationsgerechter Zugang zu den Dokumentati­ onsdaten wird dadurch weiter unterstützt, daß die Erfassungs­ mittel eine Bildaufnahmevorrichtung aufweisen, daß die Aus­ wertemittel zur Auswertung der realen Information in der Wei­ se vorgesehen sind, daß aus der realen Information ein Eisatzkontext, insbesondere ein Objekt der Dokumentationsda­ ten ermittelt wird und daß das System Visualisierungsmittel zur Visualisierung der Dokumentationsdaten aufweist.
Ein schneller situationsgerechter Zugang zu den Dokumentati­ onsdaten wird dadurch weiter unterstützt, daß die Erfassungs­ mittel anwendergesteuert sind und insbesondere als sprachge­ steuerte Erfassungsmittel und/oder durch Steuerdaten gesteu­ erte Erfassungsmittel ausgebildet sind.
Ein für viele Anwendungsfälle optimaler Einsatz von Augmen­ ted-Reality-Techniken auf Basis der statischen und/oder dyna­ mischen Dokumentations- und/oder Prozeßdaten kann in der Wei­ se erfolgen, daß die Erfassungsmittel und/oder die Visuali­ sierungsmittel als Datenbrille ausgebildet sind.
Im folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und er­ läutert.
Es zeigen:
Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels ei­ nes Systems zur Dokumentationsverarbeitung,
Fig. 2 ein Blockschaltbild eines Ausführungsbeispiels ei­ nes Systems zur Dokumentationsverarbeitung,
Fig. 3 ein weiteres Blockschaltbild eines Ausführungsbei­ spiels eines Systems zur Dokumentationsverarbei­ tung,
Fig. 4 ein Anwendungsbeispiel für einen situationsgerech­ ten Zugriff auf Dokumentationsdaten,
Fig. 5 eine erste Situationsdarstellung mit Problemstel­ lung und Arbeitssituation eines Anwendungsbeispiels zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Kompo­ nenten,
Fig. 6 eine zweite Situationsdarstellung des Anwendungs­ beispiels von Fig. 5 mit situationsabhängiger Aug­ mentierung,
Fig. 7 eine dritte Situationsdarstellung des Anwendungs­ beispiels von Fig. 5.
Fig. 8 eine vierte Situationsdarstellung zur objektorien­ tierten Markierung und Zuordnung von Information mittels sprachbasierter Interaktion,
Fig. 9 eine fünfte Situationsdarstellung zur objektorien­ tierten Markierung und Zuordnung von Information,
Fig. 10 eine sechste Situationsdarstellung zur objektorien­ tierten Markierung und Zuordnung von Information,
Fig. 11 eine siebte Situationsdarstellung zur objektorien­ tierten Markierung und Zuordnung von Information und
Fig. 12 eine achte Situationsdarstellung zur objektorien­ tierten Markierung und Zuordnung von Information.
Fig. 1 zeigt eine Prinzipdarstellung eines Systems zur Doku­ mentationsverarbeitung unter Zuhilfenahme von Augmented- Reality-Techniken. Das System besteht aus Auswertemitteln A, an die Erfassungsmittel 2 sowie Visualisierungsmittel B ange­ schlossen sind. Über eine Datenverbindung D sind die Auswer­ temittel A mit Speichermitteln 1 koppelbar. Die Speichermit­ tel 1 enthalten Informationen I1. .In als Dokumentationsdaten. Die Erfassungsmittel 2 dienen der Erfassung realer Informa­ tionen R eines Prozesses 3, beispielsweise eines Automatisie­ rungssystems.
Fig. 1 bildet die Grundstruktur eines Systems zur situati­ onsgerechten Dokumentationsverarbeitung für technische und industrielle Anwendungen. Mit Hilfe der Erfassungsmittel 2, beispielsweise einer Videokamera werden reale Informationen der technischen und industriellen Anwendung 3 erfaßt und mit Hilfe der Auswertemittel A, beispielsweise der digitalen Bildverarbeitungsmitteln analysiert und ausgewertet. Die Aus­ wertung der realen Informationen R mit Hilfe der Auswertemit­ tel A erfolgt beispielsweise dahingehend, einzelne Objekte, d. h. einzelne Komponenten eines Automatisierungssystems oder einer industriellen Anwendung zu detektieren. Diese Detektion kann beispielsweise in Form von an den realen Objekten ange­ brachten Zusatzinformationen, beispielsweise in Form Bare- Code-Aufklebern erfolgen oder durch Vergleich der Bildinfor­ mationen mit in den Auswertemitteln A und/oder den Dokumenta­ tionsdaten 1 gespeicherten Vergleichsdaten. Nach Ermittlung eines gewünschten Objekts, welches mit der realen Information R korrespondiert, werden entweder automatisch und/oder inter­ aktiv vom Anwender gesteuert die Dokumentationsdaten I1. .In einem Anwender mit Hilfe der Visualisierungsmittel B ange­ zeigt. Diese Dokumentationsdaten I1. .In bilden eine Zusatzin­ formation für eine situationsgerechte und zur Unterstützung bei der Reparatur, bei der Wartung, etc.. Abhängig von der realen Information werden jeweils die benötigten Dokumentati­ onsdaten situationsgerecht präsentiert. Die Dokumentationsda­ ten I1. .In können dabei entweder vor Ort, beispielsweise auf einer Datenverarbeitungsvorrichtung oder auch an entfernten Orten gespeichert sein, wobei in diesem Fall ein Zugriff bei­ spielsweise über eine Internet-Anbindung erfolgt.
Fig. 2 zeigt eine Prinzipdarstellung eines Systems zur Doku­ mentationsverarbeitung für eine situationsgerechte Unterstüt­ zung der Interaktion zwischen einem Anwender und Automatisie­ rungseinrichtungen A1. .An. Der Anwender, der in Fig. 2 nicht explizit dargestellt ist, ist mit mobilen Geräten 4, 6 ausge­ stattet. Die mobilen Geräte 4, 6 beinhalten eine Datenbrille 4, an der eine Videokamera 2 sowie ein Mikrofon 11 angeordnet ist. Die Datenbrille ist mit einer Funk-Sende- Empfangsvorrichtung 6 gekoppelt, die über eine Funkschnitt­ stelle 15 mit dem Automatisierungssystem A1. .An kommunizieren kann. Das Automatisierungssystem A1. .An ist über eine Daten­ verbindung 14 mit einem Augmented-Reality-System 10 koppel­ bar, welches im folgenden auch abkürzend als AR-System be­ zeichnet wird. Das AR-System enthält ein Informationsmodul 1b zur Speicherung von Informationsdaten, ein AR-Basismodul 8 sowie ein AR-Anwendungsmodul 9. Das AR-System 10 ist über ei­ ne Datenverbindung 13 mit dem Internet 5 verbindbar, wobei über eine beispielhaft dargestellte Internetverbindung 12 ein Zugriff auf weitere Speicher- und Dokumentationsdaten 1a mög­ lich ist.
Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- Sende-Einrichtung 7 ausgestattet ist, ist in der Lage, sich für Wartungs- und Servicezwecke in der Anlage A1. .An frei zu bewegen. Ist beispielsweise die Wartung oder Reparatur einer bestimmten Teilkomponente der Anlage A1. .An erforderlich, so wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenfalls gesteuert durch Sprachkommandos, die vom Mikrofon 11 erfaßt werden, ein entsprechender Zugang zu den relevanten Dokumen­ tationsdaten 1a, 1b hergestellt. Hierzu wird über die Funkschnittstelle 15 eine Datenverbindung zur Anlage A1. .An oder einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten an das AR-System 10 übermittelt. Im AR-System erfolgt eine situationsgerechte Auswertung der vom Anwender erhaltenen Da­ ten und ein automatischer oder auch ein interaktiv vom Anwen­ der gesteuerter Zugriff auf Inforamtionsdaten 1a, 1b. Die er­ mittelten relevanten Dokumentationsdaten 1a, 1b, werden über die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 übermittelt und insgesamt erfolgt auf Basis der erfaßten Ar­ beitssituation somit eine Analyse, die Grundlage für die Aus­ wahl von Daten aus der vorliegenden statischen Information ist. Hierdurch ergibt sich eine situationsgerechte, objekt­ orientierte bzw. bauteilorientierte Auswahl relevanten Wis­ sens aus den aktuellsten Datenquellen 1a, 1b. Die Anzeige der Information erfolgt mit Hilfe der jeweils verwendeten Visua­ lisierungskomponente, beispielsweise einem Hand. . . . . . -PC oder einer Datenbrille. Von AR-basierten Technologien gespro­ chen wird. Der Anwender vor Ort wird somit lediglich mit der Information versorgt, die er braucht. Diese Information be­ findet sich jeweils auf dem aktuellsten Stand. Der Service­ techniker wird beispielsweise nicht durch ein "100 Seiten- Manual" mit Informationen überfrachtet.
Fig. 3 zeigt ein weiteres Anwendungsbeispiel eines Systems zur Dokumentationsverarbeitung für Service und Wartung. Das System besteht aus einem Augmented-Reality-System 10, welches ein Informationsmodul 1b zur Speicherung von Informationsda­ ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent­ hält. Das AR-System 10 ist über Bindungsleitungen 13, 18 ans Internet 5 ankoppelbar. Von dort besteht über eine beispiel­ hafte Datenverbindung 12 eine Verbindungsmöglichkeit zu einem entfernten PC 16 mit einem entfernten Experten 22. Die Kopp­ lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt über Verbindungen 19, 20, 21. Die Anwenderkommunikation zwi­ schen einem Anwender 7 und dem AR-System erfolgt über Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen­ de-Empfangs-Vorrichtung koppelbar, die eine bidirektionale Datenkommunikation zwischen dem AR-System 10 und dem Anwender 7 über eine Datenbrille 4 entweder direkt über die Schnitt­ stelle 8 oder über ein im Bereich des Anwenders 7 angeordnete Funk-Sende-Empfangseinrichtung 17 über eine Schnittstelle 23 ermöglicht. Die Verbindung 23 kann über eine separate Daten­ verbindung oder über das Stromnetz als "Power-Line"-Modem realisiert werden. Die Datenbrille 4 enthält neben einer im Bereich der Brillengläser angeordneten Anzeigevorrichtung ei­ ne Bilderfassungsvorrichtung 2 in Form einer Kamera sowie ein Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten­ brille 4 im Bereich der Anlagen A1. .An bewegen und Service- oder Wartungsarbeiten durchführen.
Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- Sende-Empfangsvorrichtungen, beispielsweise der Funk-Sende- Empfangsvorrichtung 17, die vom Personal direkt am Körper ge­ tragen wird, ist es möglich vorbeugende Funktionalität zu er­ reichen: Zunächst erfolgt die Erfassung der jeweiligen Ar­ beitssituation, beispielsweise durch die Kamera 2 oder durch Lokalisierung durch das Personal 7. Auf Basis der erfaßten Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten gewarteten Anlage A1. .An. Der grundlegende Vorteil des in Fig. 3 dargestellten Systems besteht darin, daß dieses System das Zusammenwirken der einzelnen Einzelfunktionalitäten an­ wendungsgerecht unterstützt: So wird zunächst eine konkrete Arbeitssituation automatisch erfaßt, diese Arbeitssituation anschließend analysiert, wobei aus der aktuellsten, vorlie­ genden statischen Information in Kombination mit den augen­ blicklich erfaßten dynamischen Daten automatisch die gerade relevanten Aspekte ermittelt werden. Hierdurch werden bei­ spielsweise Montagehinweise mit aktuellen Prozeßdaten korre­ liert. Das Personal 7 erhält hierdurch eine situationsgerech­ te Anzeige der relevanten Informationen beispielsweise durch eine überlagerte Visualisierung der entsprechenden Daten in der Weise, daß im Sichtfeld des Personals die reale Arbeits­ situation um die ermittelten Informationen erweitert wird. Hierdurch wird das Personal 7 in kürzester Zeit handlungsfähig gemacht und damit notwendige Maschinenlaufzeiten gesi­ chert. Unterstützung kann der Wartungstechniker 7 vor Ort auch über den entfernten Experten 22 und das am Ort des ent­ fernten Experten 22 vorliegende Wissen 16 erhalten.
Fig. 4 zeigt ein Anwendungsbeispiel für einen situationsge­ rechten Zugriff auf Dokumentationsdaten. Fig. 4 zeigt einen ersten Bildschirmbereich B1, in dem eine Anlagenkomponente dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An­ wender 7 dargestellt, der beispielsweise eine einzelne Anla­ genkomponente betrachtet. Der Anwender 7 ist mit einer Daten­ brille 4 augerüstet, die eine Kamera 2 als Erfassungsmittel enthält. An der Datenbrille 4 ist darüber hinaus ein Mikrofon 11 sowie ein Lautsprecher 16 angeordnet. Im linken Bild­ schirmbereich B1 ist ein Blick auf Rohrleitungen darge­ stellt, die mit der im Bildfenster B2 dargestellten Daten­ brille betrachtet werden können. Im linken Bildschirmbereich B1 sind zwei Punkte B1, B2 markiert, die jeweils zwei mit Hilfe der Datenbrille 4 betrachtete Bildausschnitte repräsen­ tieren. Nach Betrachtung des ersten Punkts P1, d. h. nach Be­ trachtung der im Bereich des Punktes P1 angeordneten Rohrlei­ tung werden dem Anwender 7 Zusatzinformationen in der Daten­ brille 4 visualisiert. Diese Zusatzinformationen 11 bestehen aus Dokumentationsdaten, die bezüglich des ersten Punktes P1 Arbeitsanweisungen für dieses Rohrstück enthalten und bezüg­ lich des Punktes P2 die in einem zweiten Schritt durchzufüh­ rende Installationsanweisung beinhalten. Die Installationsan­ weisung besteht in diesem Fall darin, daß dem Anwender 7 das Drehmoment und die Drehrichtung der Schraubverbindung des Punktes P2 über die Visualisierung der Zusatzdaten I12 mitge­ teilt werden. Der Anwender 7 erhält somit innerhalb kürzester Zeit eine situationsgerechte Anweisung für das betrachtete Objekt. Bei der Verwendung eines intelligenten Werkzeugs, welches in der Lage ist, das gerade eingesetzte Drehmoment zu erfassen, ist es weiterhin möglich, daß der Anwender basie­ rend auf dem aktuellen Drehmoment auch dazu aufgefordert wird, das Drehmoment entsprechend zu erhöhen oder zu verrin­ gern.
Fig. 5 bis Fig. 12 zeigen jeweils Situationsdarstellungen ei­ nes Anwendungsbeispiels zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten. Dabei sei ein Störfall in einer Anlage oder son­ stigen technischen Einrichtung gegeben (vgl. Fig. 5). Ein DV- technisch vorhandenes Störfallmanagement lokalisiert mögliche Maschinenkomponenten, die das vorliegende Problem eingrenzen (vgl. Fig. 6, 7). Der Werker/Servicemitarbeiter - ausgestat­ tet mit einem mobilen AR-System zur Unterstützung seiner Tä­ tigkeit - äußert eine Vermututng z. B. dadurch, dass er mit dem Finger auf mögliche Problemzonen zeigt und/oder z. B. da­ durch, dass es dies sprachlich unterstützt (". . . diese Bau­ gruppe könnte defekt sein", vgl. Fig. 8)). So hinterlässt beispielsweise der Finger am technologischen Objekt (z. B. der genannten Baugruppe) eine virtuelle Markierung (vgl. Kreis in Fig. 9), die fortan für den remote- Systemspezialisten (ein Experte in einer Servicezentrale) und dem Werker/Service­ mitarbeiter vor Ort sichtbar bleibt. Beispielsweise sieht der Systemspezialist die Situation auf einem Monitor (Fig. 11), der das per Kamera und Datenleitung übertragene Videobild vi­ sualisiert. Der Werker hat seine Visualisierung vor Ort in einem "mobilen Monitor" (beispielsweise Headmounted Display, "Datenbrille" oder Handheld). Der Remote Systemspezialist kommentiert die vom Werker vorgeschlagenen Problemzonen durch Sprache und weitere Information (wie Markierungen, zussätzli­ che Texte oder Diagramme, vgl. Fig. 12): Diese "Augmentie­ rung" erfolgt durch Markieren durch eingeblendete, objektge­ bundene Darstellung (Text, Bild, Mehrebenen Information - "Blick hinter das Objekt"). Die Zusatzinformation/Augmentie­ rung ist sodann insbesondere für den Werker sichtbar mit vi­ suellem Bezug zu dem relevanten technologischen Objekt (vgl. Fig. 12 "Prüfe doch mal dieses Relais").
Wesentlicher Bestandteil der Erfindung ist somit eine objekt­ orientierte virtuelle Markierung und Zuordnung von Infor­ mation an optisch erfasste, reale technologische Komponenten, insbesondere zur Unterstützung für das kooperative Arbeiten von Werkern mit remote verfügbaren Systemspezialisten. Die Erfindung versteht sich insbesondere im speziellen Kontext der Anwendungsfelder "Produktions- und Werkzeugmaschinen" (NC-gesteuerte, automatisierungstechnische Prozesse) sowie "Diagnose-/Serviceunterstützungssysteme für komplexe techni­ sche Komponenten/Geräte/Systeme" (z. B. Fahrzeuge, aber auch industrielle Maschinen und Anlagen).
Insbesondere in den Phasen Produktion, Inbetriebsetzung und Service (Diagnose, Wartung, . . .) genügen herkömmliche Techno­ logien kaum mehr, um die komplexen Vorgänge- und Bearbei­ tungsprozeduren zu unterstützen. Mit Bezug auf kooperative Arbeit fehlen effiziente technische Möglichkeiten zur Bear­ beitung verteilter Problemlösungen, bei denen ein räumlich entfernter Systemspezialist mit dem Mitarbeiter/Werker vor Ort über globale Distanzen hinweg kommuniziert. Dieser Fall ist besonders für überwiegend mittelständische Werkzeugma­ schinenhersteller relevant. Sie sind durch die Globalisierung gezwungen, Produktionsstätten ihrer Kunden weltweit zu er­ richten. Jedoch ist eine Präsenz von Niederlassungen in allen wichtigen Märkten weder aus wirtschaftlichen Gründen reali­ sierbar, noch kann auf das profunde Wissen erfahrener Ser­ vice-Mitarbeiter des Stammhauses bzgl. der zunehmend komple­ xer werdenden Anlagen verzichtet werden.
Die Erfindung betrifft die Möglichkeit, "virtuelle Markierun­ gen" an optisch erfassten, realen technischen Komponenten vorzunehmen. Diese "Markierungen" (= Objektidentifikationen) erfolgen durch, aus Benutzersicht intuitiv einsetzbare Inter­ aktionstechniken wie z. B. Gestik und Sprache.
Bisherige eher händische Lösungsansätze werden dadurch über­ flüssig oder zumindest erheblich erleichtert. Solche bisherigen Lösungsansätze bestanden beispielsweise in einer verbalen Kommunikation zur situativen Beschreibung von Arbeitssitua­ tionen bzw. fernmündliche Hinweise zur Unterstützung bei der Bearbeitung von gegebenen Aufgabenstellungen.
Bei der durch die Fig. 5 bis 12 vorgesehenen Vorgehensweise kommt als Besonderheit eine Mensch-Technik-Interaktion durch Augmented Reality zum Einsatz mit einer sehr einfachen und intuitiven Kommunikation mit dem Computer, beispielsweise er­ gänzt durch multimodale Interaktionstechniken wie Sprachver­ arbeitung oder Gestikerkennung.
Identifikation technologischer Objekte mit Methoden der Bil­ derkennung (durch analytische Bildverarbeitung) in optisch erfassten und dokumentierten realen Arbeitssituationen, wobei die "Markierung", d. h. Identifikation von relevanten techno­ logischen Objekten, beispielsweise durch den Werker (= Anwender) erfolgt mittels mutlimodalen Interaktionsmethoden wie z. B. Gestikerkennung u. U. zusammen mit Spracherkennung. Eine Markierung bleibt dem technologischen Objekt zugeordnet und kann auch analog zur Unterstützung durch "remote" verfüg­ baren Systemspezialisten verwendet werden.
Das wesentliche Neue und Besondere liegt dabei in der Markie­ rung durch den Werker, in der Bindung der Markierung an Ob­ jekt sowie ggf in der Markierung und Augmentierung durch re­ mote Systemspezialisten.
Zusammenfassend betrifft die Erfindung somit System und ein Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten. Für eine optimierte Unterstützung insbesondere bei der Wartung von Automatisierungssystemen wird ein System zur objektorien­ tierten Markierung und Zuordnung von Information zu selek­ tierten technologischen Komponenten zur situationsgerechten Unterstützung der Interaktion zwischen einem Anwender und ei­ ner technischen Vorrichtung, insbesondere für technische und industrielle Anwendungen vorgeschlagen. Das System umfaßt Speichermittel zur Speicherung von Dokumentationsdaten und mit Erfassungsmitteln zur Erfassung von realen Informationen, Zugriffsmittel zum Zugriff auf die Dokumentationsdaten, Aus­ wertemittel zur Auswertung der realen Information und zur Auswahl der gespeicherten Dokumentationsdaten in Abhängigkeit der realen Informationen, mit Mitteln zur virtuellen Markie­ rung einer technologischen Komponente und mit Mitteln zur Darstellung Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologischen Komponente stehen.

Claims (6)

1. System zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten zur situationsgerechten Unterstützung der Interaktion zwischen einem Anwender (7) und einer technischen Vorrichtung (A1. .An), insbesondere für technische und industrielle Anwen­ dungen, mit Speichermitteln (1) zur Speicherung von Dokumen­ tationsdaten (I1. .In) und mit Erfassungsmitteln (2) zur Er­ fassung von realen Informationen (R), mit Zugriffsmitteln (D) zum Zugriff auf die Dokumentationsdaten (I1. .In), mit Auswer­ temitteln (A) zur Auswertung der realen Information (R) und zur Auswahl der gespeicherten Dokumentationsdaten (I1. .In) in Abhängigkeit der realen Informationen (R), mit Mitteln zur virtuellen Markierung einer technologischen Komponente und mit Mitteln zur Darstellung Zusatzinformationen, die im Zu­ sammenhang mit der durch die virtuelle Markierung selektier­ ten technologischen Komponente stehen.
2. System nach Anspruch 1, dadurch gekennzeichnet, daß die Mittel zur virtuelle Markierung durch Sprachsteuerung und/oder durch digitale Bildverarbeitung angesteuert werden.
3. System nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß das System am Ort des Anwenders (7) ein Augmented- Reality-System aufweist, das über eine Datenverbindung mit einem entfernten Experten und/oder einem entfernten Experten­ system zur Hinübertragung der Markierung und/oder zur Rück­ übertragung von Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologi­ schen Komponente stehen, verbindbar ist.
4. Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten zur situationsgerechten Unterstützung der Interaktion zwischen einem Anwender (7) und einer technischen Vorrichtung (A1. .An), insbesondere für technische und industrielle Anwen­ dungen, bei dem Dokumentationsdaten (I1. .In) gespeichert wer­ den und reale Informationen (R) mit Erfassungsmitteln (2) er­ faßt werden, bei dem auf die Dokumentationsdaten (I1. .In) in der Weise zugegriffen wird, daß die realen Information (R) ausgewertet werden und in Abhängigkeit der realen Informatio­ nen (R) die gespeicherten Dokumentationsdaten (I1. .In) ausge­ wählt werden, wobei an einer zu selektierenden technologi­ schen Komponente eine virtuelle Markierung angebracht wird und dem Anwender zu der durch die virtuelle Markierung selek­ tierten technologischen Komponente zugehörige Zusatzinforma­ tionen dargestellt werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die virtuelle Markierung sprachbasiert und/oder durch di­ gitale Bildverarbeitung angebracht wird.
6. Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, daß das vom Ort des Anwenders (7) von einem Augmented- Reality-System über eine Datenverbindung mit einem entfernten Experten und/oder einem entfernten Expertensystem eine Hin­ übertragung der Markierung erfolgt und/oder eine Rückübertra­ gung von Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologischen Komponente stehen.
DE19953739A 1999-11-09 1999-11-09 Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten Expired - Lifetime DE19953739C2 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE19953739A DE19953739C2 (de) 1999-11-09 1999-11-09 Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
EP00987105A EP1230583B1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten
DE50005725T DE50005725D1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten
PCT/DE2000/003942 WO2001035178A1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten
JP2001536646A JP2003514294A (ja) 1999-11-09 2000-11-09 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法
US10/140,949 US7103506B2 (en) 1999-11-09 2002-05-09 System and method for object-oriented marking and associating information with selected technological components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19953739A DE19953739C2 (de) 1999-11-09 1999-11-09 Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten

Publications (2)

Publication Number Publication Date
DE19953739A1 true DE19953739A1 (de) 2001-07-12
DE19953739C2 DE19953739C2 (de) 2001-10-11

Family

ID=7928337

Family Applications (2)

Application Number Title Priority Date Filing Date
DE19953739A Expired - Lifetime DE19953739C2 (de) 1999-11-09 1999-11-09 Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
DE50005725T Expired - Lifetime DE50005725D1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50005725T Expired - Lifetime DE50005725D1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten

Country Status (5)

Country Link
US (1) US7103506B2 (de)
EP (1) EP1230583B1 (de)
JP (1) JP2003514294A (de)
DE (2) DE19953739C2 (de)
WO (1) WO2001035178A1 (de)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10041104C1 (de) * 2000-08-22 2002-03-07 Siemens Ag Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
DE10153511A1 (de) * 2001-10-30 2002-09-19 Siemens Ag Service-System mit Multimedia-Dialog zu einem Experten-Center
DE10116539B4 (de) * 2000-08-22 2004-02-26 Siemens Ag System und ein Verfahren zur automatischen Datenaufbereitung insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE10307981A1 (de) * 2003-02-24 2004-09-02 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
DE10307980A1 (de) * 2003-02-24 2004-09-16 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
DE102004004695A1 (de) * 2004-01-20 2005-08-11 Gesellschaft für Industrieanlagen-Planung mbH & Co KG Verfahren und System zur elektronischen Anlagendokumentation einer technischen Anlage
DE102005005266A1 (de) * 2005-02-04 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum automatisierten Erzeugen und Anzeigen von Arbeitsanweisungen
DE102005014941A1 (de) * 2005-04-01 2006-10-05 Krauss-Maffei Kunststofftechnik Gmbh Verfahren zum Bereitstellen von Dokumentationsinformationen von komplexen Maschinen und Anlagen, insbesondere einer Spritzgussmaschine
US7130726B2 (en) 2003-02-24 2006-10-31 Bayerische Motoren Werke Aktiengesellschaft Method and device for visualizing an automotive repair cycle
DE102010017938A1 (de) * 2010-04-22 2011-10-27 Siemens Aktiengesellschaft System und Verfahren zum Bereitstellen von Sensordaten
DE102013013343A1 (de) * 2013-08-09 2015-02-12 Avelon Cetex AG Verfahren und Vorrichtung zum Betrieb einer Automationsanlage
DE10297609B4 (de) * 2001-12-28 2015-08-27 Abb Ab Verfahren und System zum Senden von lokalisierungs- und identitätsabhängiger Information an mobile Endgeräte
DE102014225937A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren
DE102016003074A1 (de) * 2016-03-12 2017-09-14 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102017107224A1 (de) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Darstellung einer Bauteildokumentation
DE102017130913A1 (de) * 2017-12-21 2019-06-27 Rehau Ag + Co Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
DE102018201711B4 (de) 2018-02-05 2020-07-02 Vypii GmbH Anordnung und Verfahren zum Bereitstellen von Informationen bei einer kopftragbaren erweiterte-Realität-Vorrichtung
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534963A (ja) * 2001-03-30 2004-11-18 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 強化現実のための方法、システム及び装置
EP1298506A1 (de) * 2001-09-27 2003-04-02 Siemens Aktiengesellschaft Dynamischer Zugriff auf Automatisierungsressourcen
DE10202498A1 (de) * 2002-01-23 2003-07-31 Siemens Ag Automatisierungssystem und Verfahren zur Erzeugung einer Dokumentation
DE10203369B4 (de) * 2002-01-29 2004-03-25 Siemens Ag Verfahren und Vorrichtung zum Anfordern von für eine Durchführung von Arbeiten an einer technischen Einrichtung benötigten Daten
WO2003078112A2 (de) * 2002-03-20 2003-09-25 Volkswagen Aktiengesellschaft Automatische prozesskontrolle
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7791593B2 (en) * 2005-03-18 2010-09-07 The Invention Science Fund I, Llc Machine-differentiatable identifiers having a commonly accepted meaning
US7546219B2 (en) * 2005-08-31 2009-06-09 The Boeing Company Automated damage assessment, report, and disposition
US8275399B2 (en) * 2005-09-21 2012-09-25 Buckyball Mobile Inc. Dynamic context-data tag cloud
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
DE102006014571A1 (de) * 2006-03-29 2007-10-04 Di Ke Opto-Electronics Co., Ltd Verwendungsverfahren von Geräten für die Sichtprüfung
US7729786B2 (en) * 2006-09-26 2010-06-01 Rockwell Automation Technologies, Inc. Natively retaining project documentation in a controller
US20080092070A1 (en) * 2006-10-16 2008-04-17 Lake Union Capital Partners, Llc Systems and methods for presentation of operational data
ATE505756T1 (de) * 2006-10-24 2011-04-15 Krones Ag Bedienungshilfe für eine vorrichtung zum behandeln von behältnissen
US8191005B2 (en) 2007-09-27 2012-05-29 Rockwell Automation Technologies, Inc. Dynamically generating visualizations in industrial automation environment as a function of context and state information
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
US7920935B2 (en) * 2008-08-19 2011-04-05 International Business Machines Corporation Activity based real-time production instruction adaptation
AT10520U3 (de) 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
US20100082118A1 (en) * 2008-09-30 2010-04-01 Rockwell Automation Technologies, Inc. User interface display object for logging user-implemented solutions to industrial field problems
US9489217B2 (en) * 2008-12-09 2016-11-08 Oracle America, Inc. Dynamic software documentation
DE102010013420A1 (de) 2010-02-16 2011-08-18 Volkswagen AG, 38440 Projektionsanordnung, insbesondere für ein Kraftfahrzeug oder sonstige technische Einrichtungen
DE102010013885A1 (de) * 2010-03-30 2011-10-06 Khs Gmbh Mobile Wartungseinheit
DE102010022735B4 (de) 2010-06-04 2022-07-07 Volkswagen Ag Verfahren zur Projektion einer Grafik auf eine Projektionsoberfläche, inbesondere auf eine Oberfläche eines Kraftfahrzeuges und Verfahren zur Herstellung eines Kraftfahrzeuges
JP2012168346A (ja) * 2011-02-15 2012-09-06 Casio Comput Co Ltd 閲覧装置
DE102011013760B4 (de) 2011-03-12 2022-09-29 Volkswagen Ag Verfahren, Vorrichtung und Computerprogrammprodukt zur Informationsvermittlung mittels erweiterter Realität im Zusammenhang mit einem Straßenfahrzeug
DE102011007183A1 (de) * 2011-04-12 2012-10-18 Wafios Ag Verfahren und System zur Programmierung der Steuerung einer mehrachsigen Umformmaschine sowie Umformmaschine
US8686871B2 (en) 2011-05-13 2014-04-01 General Electric Company Monitoring system and methods for monitoring machines with same
US20120308969A1 (en) * 2011-06-06 2012-12-06 Paramit Corporation Training ensurance method and system for copmuter directed assembly and manufacturing
DE102011122206A1 (de) * 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
EP2689650B1 (de) * 2012-07-27 2014-09-10 Honda Research Institute Europe GmbH Lernender autonomer Rasenmäher
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
EP3685734B1 (de) * 2014-05-22 2022-03-09 Invuity, Inc. Medizinische vorrichtung mit umhülltem wellenleiter
DE102014213058A1 (de) * 2014-07-04 2016-01-07 Siemens Aktiengesellschaft Verfahren zur Ausgabe von Fahrzeuginformation
US9576329B2 (en) * 2014-07-31 2017-02-21 Ciena Corporation Systems and methods for equipment installation, configuration, maintenance, and personnel training
JP6515473B2 (ja) * 2014-09-18 2019-05-22 凸版印刷株式会社 動作指示システム、動作指示方法、および、動作指示管理サーバ
DE102014226554A1 (de) * 2014-12-19 2016-06-23 Robert Bosch Gmbh Identifikations- und Reparaturunterstützungs-Vorrichtung und -Verfahren
DE102015201290A1 (de) 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
US9646371B2 (en) 2015-03-09 2017-05-09 Dresser, Inc. Utilizing an image of a valve assembly to identify the valve assembly found on a process line
JP6299798B2 (ja) * 2015-03-30 2018-03-28 Ｊｆｅスチール株式会社 安全管理システムおよび安全管理方法
ITUB20154627A1 (it) * 2015-10-13 2017-04-13 Sematic S P A Procedimento per effettuare una manutenzione di un dispositivo elettromeccanico
DE102016220580A1 (de) * 2016-10-20 2018-04-26 Krones Ag Computerterminalvorrichtung und Verfahren zum Erstellen von digitalen Dokumentationsunterlagen für eine Maschine der Lebensmittelindustrie
DE102017207992A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zur Überwachung eines Fertigungsprozesses
WO2018211312A1 (en) * 2017-05-18 2018-11-22 Uab Atomichronica Augmented reality system for providing support to user concerning technical device
US20180357922A1 (en) 2017-06-08 2018-12-13 Honeywell International Inc. Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems
WO2019102245A1 (en) * 2017-11-21 2019-05-31 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
EP3543402A1 (de) 2018-03-19 2019-09-25 Joseph Vögele AG Baumaschine zum erstellen oder bearbeiten einer strasse
EP3547268A1 (de) 2018-03-29 2019-10-02 Sick AG Augmented-reality-vorrichtung
EP3647911A1 (de) * 2018-11-05 2020-05-06 Primetals Technologies Germany GmbH Augmented-reality-unterstützte überwachung eines produkts
EP3660608A1 (de) * 2018-11-30 2020-06-03 Siemens Aktiengesellschaft Verfahren und system zur verwaltung einer anlage in einer technischen installation
US10997231B2 (en) 2019-01-17 2021-05-04 International Business Machines Corporation Image-based ontology refinement using clusters
DE102019112289B3 (de) 2019-05-10 2020-06-18 Controlexpert Gmbh Verfahren zur Schadenserfassung bei einem Kraftfahrzeug
US11209261B2 (en) 2019-08-22 2021-12-28 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
EP3783458B1 (de) * 2019-08-22 2023-04-05 Innovmetric Logiciels Inc. Verfahren und systeme zur erzeugung von rückführbaren messungen
JP7222388B2 (ja) * 2020-12-28 2023-02-15 横河電機株式会社 装置、方法及びプログラム
EP4273644A1 (de) * 2022-05-03 2023-11-08 Basf Se Augmented-reality-basiertes automatisierungssystem mit task-manager

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0699997B1 (de) * 1994-08-29 1998-10-07 Aerospatiale Societe Nationale Industrielle Verfahren zur Fehleridentifizierung in einem komplexen System
DE19829640A1 (de) * 1997-09-02 1999-03-04 Gen Electric System und Verfahren zur Durchführung einer Bild-basierten Diagnose
DE19751273A1 (de) * 1997-11-19 1999-05-27 Siemens Ag Verfahren zum computergestützten Erstellen und Handhaben einer auf Produkt- oder Prozesslebenszyklen bezugnehmenden technischen Datenbank

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324039A (ja) * 1992-05-26 1993-12-07 Fanuc Ltd 数値制御装置
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
US5982362A (en) * 1996-05-30 1999-11-09 Control Technology Corporation Video interface architecture for programmable industrial control systems
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0699997B1 (de) * 1994-08-29 1998-10-07 Aerospatiale Societe Nationale Industrielle Verfahren zur Fehleridentifizierung in einem komplexen System
DE19829640A1 (de) * 1997-09-02 1999-03-04 Gen Electric System und Verfahren zur Durchführung einer Bild-basierten Diagnose
DE19751273A1 (de) * 1997-11-19 1999-05-27 Siemens Ag Verfahren zum computergestützten Erstellen und Handhaben einer auf Produkt- oder Prozesslebenszyklen bezugnehmenden technischen Datenbank

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10116539B4 (de) * 2000-08-22 2004-02-26 Siemens Ag System und ein Verfahren zur automatischen Datenaufbereitung insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE10041104C1 (de) * 2000-08-22 2002-03-07 Siemens Ag Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
DE10153511A1 (de) * 2001-10-30 2002-09-19 Siemens Ag Service-System mit Multimedia-Dialog zu einem Experten-Center
DE10297609B4 (de) * 2001-12-28 2015-08-27 Abb Ab Verfahren und System zum Senden von lokalisierungs- und identitätsabhängiger Information an mobile Endgeräte
DE10307981A1 (de) * 2003-02-24 2004-09-02 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
DE10307980A1 (de) * 2003-02-24 2004-09-16 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
US7130726B2 (en) 2003-02-24 2006-10-31 Bayerische Motoren Werke Aktiengesellschaft Method and device for visualizing an automotive repair cycle
DE102004004695A1 (de) * 2004-01-20 2005-08-11 Gesellschaft für Industrieanlagen-Planung mbH & Co KG Verfahren und System zur elektronischen Anlagendokumentation einer technischen Anlage
DE102005005266A1 (de) * 2005-02-04 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum automatisierten Erzeugen und Anzeigen von Arbeitsanweisungen
US8316297B2 (en) 2005-04-01 2012-11-20 Kraussmaffei Gmbh Method for providing comprehensive documentation information of complex machines and systems, in particular an injection molding machine
DE102005014941A1 (de) * 2005-04-01 2006-10-05 Krauss-Maffei Kunststofftechnik Gmbh Verfahren zum Bereitstellen von Dokumentationsinformationen von komplexen Maschinen und Anlagen, insbesondere einer Spritzgussmaschine
DE102005014941B4 (de) * 2005-04-01 2009-02-26 Kraussmaffei Technologies Gmbh Verfahren zum Bereitstellen von Dokumentationsinformationen von komplexen Maschinen und Anlagen, insbesondere einer Spritzgussmaschine
DE102010017938A1 (de) * 2010-04-22 2011-10-27 Siemens Aktiengesellschaft System und Verfahren zum Bereitstellen von Sensordaten
WO2011131414A3 (de) * 2010-04-22 2012-03-15 Siemens Aktiengesellschaft System und verfahren zum bereitstellen von sensordaten
DE102013013343A1 (de) * 2013-08-09 2015-02-12 Avelon Cetex AG Verfahren und Vorrichtung zum Betrieb einer Automationsanlage
DE102014225937A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren
DE102016003074A1 (de) * 2016-03-12 2017-09-14 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US10497181B1 (en) 2016-03-12 2019-12-03 Audi Ag Method for operating a virtual reality system, and virtual reality system
DE102017107224A1 (de) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Darstellung einer Bauteildokumentation
DE102017130913A1 (de) * 2017-12-21 2019-06-27 Rehau Ag + Co Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
DE102018201711B4 (de) 2018-02-05 2020-07-02 Vypii GmbH Anordnung und Verfahren zum Bereitstellen von Informationen bei einer kopftragbaren erweiterte-Realität-Vorrichtung
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system

Also Published As

Publication number Publication date
DE19953739C2 (de) 2001-10-11
DE50005725D1 (de) 2004-04-22
JP2003514294A (ja) 2003-04-15
US20020191002A1 (en) 2002-12-19
EP1230583B1 (de) 2004-03-17
EP1230583A1 (de) 2002-08-14
WO2001035178A1 (de) 2001-05-17
US7103506B2 (en) 2006-09-05

Similar Documents

Publication Publication Date Title
DE19953739C2 (de) Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
EP1157316B1 (de) System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
EP1163557B1 (de) System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
DE10041104C1 (de) Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
EP1182541A2 (de) System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
EP3392987B1 (de) Verfahren und system zur automatisierten unterstützung eines anschlussvorgangs, insbesondere von in einem schaltschrank oder an einem montagesystem angeordneten komponenten
EP0999433B1 (de) Vorrichtung und Verfahren zum Erfassen von Schwingungssignalen und/oder Körperschallsignalen
DE10116539B4 (de) System und ein Verfahren zur automatischen Datenaufbereitung insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE102019213003A1 (de) Wissensbereitstellungsprogramm, wissensbereitstellungsvorrichtung und betriebsdienstsystem
EP1636960B1 (de) Automatisierungssystem mit vereinfachter diagnose und fehlerbehebung
DE102019213001A1 (de) Wissensproduktionssystem
WO2019175189A1 (de) Elektronisches labor-dosiersystem für flüssigkeiten und verfahren zum betrieb eines elektronischen labor-dosiersystems für flüssigkeiten
DE102017130913A1 (de) Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
EP1311916B1 (de) System und verfahren zur kontextbezogenen protokollierung insbesondere im umfeld produktion, montage, service oder wartung
EP1618726B1 (de) Automatisierungssystem mit automatischer bereitstellung von diagnoseinformationen
DE102021205859A1 (de) Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage
DE10116331A1 (de) System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
EP1668432A1 (de) Vorrichtung und verfahren zur webbasierten prozessvisualisierung eines automatisierungssystems
DE10146718A1 (de) Verfahren zur Planung von Prozessabläufen

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
R071 Expiry of right