DE10041104C1 - Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung - Google Patents

Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung

Info

Publication number
DE10041104C1
DE10041104C1 DE10041104A DE10041104A DE10041104C1 DE 10041104 C1 DE10041104 C1 DE 10041104C1 DE 10041104 A DE10041104 A DE 10041104A DE 10041104 A DE10041104 A DE 10041104A DE 10041104 C1 DE10041104 C1 DE 10041104C1
Authority
DE
Germany
Prior art keywords
information
data processing
processing device
communication
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE10041104A
Other languages
English (en)
Inventor
Wolfgang Friedrich
Mehdi Hamadou
Dirk Jahn
Bruno Kiesel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE10041104A priority Critical patent/DE10041104C1/de
Priority to AT01960169T priority patent/ATE296465T1/de
Priority to PCT/DE2001/003064 priority patent/WO2002017131A2/de
Priority to DE50106331T priority patent/DE50106331D1/de
Priority to EP01960169A priority patent/EP1311990B1/de
Priority to US10/362,624 priority patent/US8612511B2/en
Priority to CNB018145418A priority patent/CN1269061C/zh
Application granted granted Critical
Publication of DE10041104C1 publication Critical patent/DE10041104C1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31162—Wireless lan
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32126—Hyperlink, access to program modules and to hardware modules in www, web server, browser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Communication Control (AREA)

Abstract

Die Erfindung betrifft ein System zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung (1), insbesondere eines Client im Bereich von Augmented-Reality-Techniken bei einem Automatisierungssystem und/oder einer Produktions- und/oder Werkzeugmaschine oder Teilen davon, mit einem auf der mobilen Datenverarbeitungsvorrichtung (1) installierten Browser (2) zur Kommunikation mit einer stationären Datenverarbeitungsvorrichtung (3), wobei die stationäre Datenverarbeitungsvorrichtung (3) folgende Komponenten (4, 5, 6, 7) aufweist: DOLLAR A È einen Server (8) zur Kommunikation mit dem Browser (2) der mobilen Datenverarbeitungsvorrichtung (1), DOLLAR A È einen InfoBroker (5) zur situationsgerechten Bereitstellung von Informationen, wobei der InfoBroker den aktuellen Kontext, insbesondere Ort, Arbeitssituation, verwendete EA-Geräte sowie das Infomodell (4) nutzt, DOLLAR A È ein Infomodell (4) als eine Repräsentation des Informationsraums und zur Sicherstellung einer Navigation innerhalb der Information sowie eines Zugriffs auf die Informationen unabhängig von nachgeschalteten Legacy-Systemen für den InfoBroker (5), DOLLAR A È Legacy-Systeme (7), die Informationen enthalten und speichern.

Description

Die Erfindung betrifft eine Einrichtung und ein Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungs­ vorrichtung, insbesondere eines Client im Bereich von Augmen­ ted-Reality-Techniken bei einem Automatisierungssystem und/oder einer Produktions- und/oder Werkzeugmaschine oder Teilen davon, mit einem auf der mobilen Datenverarbeitungs­ vorrichtung installierten Browser und einer stationären Datenverarbeitungsvorrichtung.
Eine derartige Einrichtung und ein derartiges Verfahren kom­ men beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, bei Diagnose- /Serviceunterstützungssystemen sowie für komplexe Komponen­ ten, Geräte und Systeme, wie beispielsweise Fahrzeuge und in­ dustrielle Maschinen und Anlagen zum Einsatz. Eine besonders vorteilhafte Anwendung besteht im Zusammenhang mit AR (Aug­ mented Reality = erweiterte Realität), einer neuen Form der Mensch-Technik-Interaktion, bei der dem Anwender Informatio­ nen in sein Sichtfeld eingeblendet werden - beispielweise ü­ ber eine Datenbrille. Die Einblendung geschieht jedoch kon­ textabhängig, d. h. passend und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil. So wird das reale Sichtfeld bei­ spielweise eines Monteurs durch eingeblendete Montagehinweise um für ihn wichtige Informationen erweitert. In diesem Falle kann Augmented Reality unter anderem das herkömmliche Monta­ gehandbuch ersetzen.
Aus der DE 199 53 739 A1 ist ein System und Verfahren zur ob­ jektorientierten Markierung und Zuordnung von Informationen zu selektierten technologischen Komponenten für die situati­ onsgerechte Unterstützung der Interaktion zwischen einem Anwender und einer technischen Vorrichtung bekannt. Das System umfasst Speichermittel zur Speicherung von Dokumentationsda­ ten, Erfassungsmittel zur Erfassung von realen Informationen, Zugriffsmittel zum Zugriff auf die Dokumentationsdaten, Aus­ wertemittel zur Auswertung der realen Informationen und zur Auswahl der gespeicherten Dokumentationsdaten in Abhängigkeit der realen Informationen, Mittel zur virtuellen Markierung einer technologischen Komponente und Mittel zur Darstellung von Zusatzinformationen, die im Zusammenhang mit der durch die virtuelle Markierung selektierten technologischen Kompo­ nente stehen.
Die DE 197 16 327 A1 beschreibt eine Vorrichtung zum Anzeigen verschiedener Fertigungsinformationsdarstellungen an einem Arbeitsplatz einer Fertigungsanlage. Die Vorrichtung enthält eine Anzeigevorrichtung, welche mit einer Schnittstelle zur Durchführung eines Datenaustausches mit einer Datenübertra­ gungseinrichtung eines Fertigungs-Leitsystems versehen ist, wobei über die Datenübertragungseinrichtung an die Anzeige­ vorrichtung eine Markierung übermittelt wird, welche die an die nächste Folge von Fertigungsschritten oder die nächste zu fertigende Produktvariante angepasste Fertigungsinformations­ darstellung kennzeichnet.
Aus der GB 2 327 289 A ist eine Vorrichtung zur Arbeitsunter­ stützung bekannt, die einem Fließbandarbeiter mittels eines Displays gleichzeitig Instruktionen zur auszuführenden Arbeit und Informationen über Ergebnisse dieser Arbeit visualisiert. Die Arbeitsergebnisse werden durch Messmittel oder durch Ein­ gabe einer spezifischen Teilenummer durch den Arbeiter er­ fasst, der Arbeitsprozess wird mit Kameras aufgenommen.
Der Erfindung liegt die Aufgabe zugrunde, eine Einrichtung und ein Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenver­ arbeitungsvorrichtung anzugeben, welche ein effektives drahtloses Informationsmanagement vor Ort insbesondere im Zusam­ menhang mit AR-Anwendungen ermöglichen.
Diese Aufgabe wird durch eine Einrichtung sowie durch ein Verfahren mit den in den Ansprüchen 1 bzw. 7 angegebenen Merkmalen gelöst.
Augmented Reality (= "erweiterte Realität") ist eine neue Form der Mensch-Technik-Interaktion, bei der dem Anwender Informa­ tionen in sein Sichtfeld eingeblendet werden - beispielweise über eine Datenbrille. Die Einblendung geschieht jedoch kon­ textabhängig, d. h. passend und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil. So wird das reale Sichtfeld bei­ spielweise eines Monteurs durch eingeblendete Montagehinweise um für ihn wichtige Informationen erweitert. In diesem Falle kann Augmented Reality unter anderem das herkömmliche Monta­ gehandbuch ersetzen. Der hier vorgestellte Lösungsansatz be­ zieht sich auf den Einsatz von Augmented Reality (AR) in der Montage sowie im Bereich Service und Wartung.
Die vorgeschlagene Lösung besteht aus mobilen Systemen, wel­ che mittels drahtloser Übertragungstechniken mit einer IT- Infrastruktur verbunden sind. Die Verbindung zur IT-Infra­ struktur erfolgt mit Hilfe gängiger Kommunikationskomponenten und Webtechniken. Auf dem mobilen System befindet sich ein 'leerer' Internet-Browser. Bei Bedarf werden vom Browser Standard-Plugins (PDF, CAD, . . .) sowie ein spezielles Plugin für Augmented Reality nachgeladen. Der Internet Browser kom­ muniziert mit Web-Servern, denen für die Beschaffung/Be­ reitstellung von Informationen weitere Komponenten nachge­ schaltet sind:
  • - InfoBroker
    Aufgabe des InfoBrokers ist die situationsgerechte Bereit­ stellung von Informationen. Dabei nutzt der InfoBroker den aktuellen Kontext (Ort, Arbeitssituation, verwendete EA- Geräte) sowie das InfoModell. Der InfoBroker unterstützt das freie Navigieren durch den Datenbestand.
  • - InfoModell
    Das InfoModell ist eine Repräsentation des Informations­ raums und ermöglicht dem InfoBroker eine Navigation inner­ halb der Information sowie einen Zugriff auf die Informa­ tionen unabhängig von den nachgeschalteten Legacy- Systemen.
  • - Legacy-Systeme (z. B. PMMS = Plant Maintenance Management System oder PDM = Product Data Management) enthalten und speichern die Informationen
  • - Adaption EA-Geräte
    Die Informationen für Benutzerinteraktionen sind repräsen­ tationsfrei aufgebaut und werden abhängig vom aktuellen Kontext auf das spezifische Hardware-Profil abgebildet. Dies ermöglicht den einfachen Wechsel der Interaktions­ geräte (z. B. Ausgabe über Display oder Sprache). Die Be­ schreibung der repräsentationsfreien Information erfolgt mit Hilfe von XML.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Un­ teransprüchen und werden im Zusammenhang mit den Ausführungs­ beispielen noch näher erläutert.
Im folgenden wird die Erfindung anhand des in der Figur dar­ gestellten Ausführungsbeispiels näher beschrieben und er­ läutert.
Es zeigt:
Fig. 1 ein prinzipielles Blockschaltbild zum Systemaufbau eines Systems zur webbasierten Kommunikation zwi­ schen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrich­ tung.
Fig. 1 zeigt ein prinzipielles Blockschaltbild zum Systemauf­ bau eines Systems zur webbasierten Kommunikation zwischen ei­ ner mobilen Datenverarbeitungsvorrichtung 1 und einer stationären Datenverarbeitungsvorrichtung 3. Die mobile Datenverar­ beitungsvorrichtung 1, im folgenden auch als Client bezeich­ net, enthält einen Internetbrowser 2 zur Kommunikation mit einem Web-Server 8 der stationären Datenverarbeitungsvorrich­ tung 3, die im folgenden auch als Server bezeichnet wird. Die drahtlose Kommunikation zwischen der mobilen Datenverarbei­ tungsvorrichtung 1 und der stationären Datenverarbeitungsvor­ richtung 3 erfolgt über eine drahtlose Kommunikationsnetz­ stelle 14. Der Internet-Browser 2 kann sogenannte Standard- Plugins 10 sowie bei Bedarf auch ein spezielles AR-Plugin 9 für Augmented Reality nachladen. Die mobile Datenverarbei­ tungsvorrichtung 1 ist beispielsweise in Form eines mobilen Gerätes mit einem Display 10 oder in anderen Varianten als Headset mit Datenbrille etc. ausgebildet. Die stationäre Da­ tenverarbeitungsvorrichtung enthält neben dem Web-Server 8 einen InfoBroker 5 ein Infomodell 4, Legacy-Systeme 7 sowie einen Adaptionsteil für Ein/Ausgabegeräte 6. Realisiert ist die stationäre Datenverarbeitungseinrichtung 3 in Form von Rechnersystemen oder Einzelrechnern 11, 12, 13.
Im Umfeld Montage, Service und Wartung werden die durchzufüh­ renden Tätigkeiten immer komplexer und steigern dadurch den Informationsbedarf vor Ort. Der Informationsbedarf in diesem Umfeld wird heute durch ein weites Spektrum von Lösungen be­ friedigt. An einem Ende steht die reine Papierdokumentation, am anderen Ende existieren Lösungen mit einem tragbaren Com­ puter (wearable). Die PC-basierten Lösungen sind jedoch häu­ fig Speziallösungen, die mit der IT-Infrastruktur nicht sau­ ber vernetzt sind und daher Synchronisationsprobleme mit den zentralen Systemen verursachen. Ein weiterer Nachteil heuti­ ger mobiler Lösungen auf PC-Basis liegt in der Übernahme der Bedienparadigmen der PC-Anwendungen, die nicht für einen Handsfree-Einsatz ausgelegt sind. Zusätzlich befinden sich Applikation und Daten auf dem mobilen Gerät und setzen damit leistungsfähige Systeme voraus. Diese Lösungen sind nur für eine kleine Klasse von Anwendungsfällen sinnvoll nutzbar, da sie nicht einfach hantierbar sowie teuer und aufwendig sind.
Der hier vorgestellte Lösungsansatz bezieht sich auf den Ein­ satz von Augmented Reality (AR) in der Montage sowie im Be­ reich Service und Wartung.
Die vorgeschlagene Lösung besteht aus mobilen Systemen, wel­ che mittels drahtloser Übertragungstechniken mit einer IT- Infrastruktur verbunden sind. Die Verbindung zur IT-Infra­ struktur erfolgt mit Hilfe gängiger Kommunikationskomponenten und Webtechniken. Auf dem mobilen System befindet sich ein "leerer" Internet-Browser. Bei Bedarf werden vom Browser Standard-Plugins (PDF, CAD, . . .) sowie ein spezielles Plugin für Augmented Reality nachgeladen.
Der Internet Browser kommuniziert mit Web-Servern, denen für die Beschaffung/Bereitstellung von Informationen weitere Komponenten nachgeschaltet sind:
  • - InfoBroker
    Aufgabe des InfoBrokers ist die situationsgerechte Bereit­ stellung von Informationen. Dabei nutzt der InfoBroker den aktuellen Kontext (Ort, Arbeitssituation, verwendete EA- Geräte) sowie das InfoModell. Der InfoBroker unterstützt das freie Navigieren durch den Datenbestand.
  • - InfoModell
    Das InfoModell ist eine Repräsentation des Informations­ raums und ermöglicht dem InfoBroker eine Navigation inner­ halb der Information sowie einen Zugriff auf die Informa­ tionen unabhängig von den nachgeschalteten Legacy-Syste­ men.
  • - Legacy-Systeme
    Legacy-Systeme (z. B. PMMS, PDM) enthalten und speichern die Informationen.
  • - Adaption EA-Geräte
    Die Informationen für Benutzerinteraktionen sind repräsen­ tationsfrei aufgebaut und werden abhängig vom aktuellen Kontext auf das spezifische Hardware-Profil abgebildet. Dies ermöglicht den einfachen Wechsel der Interaktions­ geräte (z. B. Ausgabe über Display oder Sprache). Die Beschreibung der repräsentationsfreien Information erfolgt mit Hilfe von XML1.
AR-Plugin
Das AR-PlugIn ist zuständig für die Präsentation der augmen­ tierten Information und kommuniziert dabei mit (ebenfalls nachladbaren) Komponenten, die für die Steuerung der Präsen­ tation (z. B. Sprachinteraktion) notwendig sind.
InfoModell
Das InfoModell ist eine Repräsentation des Informationsraums. Das Modell wird durch Zusatzinformationen (Metainformationen) angereichert (z. B. Inhalt, Titel, Stichwörter). Dadurch kön­ nen auch Suchmechanismen in das System integriert werden. Die eigentlichen Dokumente verbleiben in den Legacy-Systemen (z. B. Datenbanken, File-Systeme, PDM2-Systeme, etc.). D. h. es wird keine mehrfache Datenhaltung betrieben.
Mobiles Gerät
Das mobile Endgerät benötigt im Wesentlichen einen Internet Browser. Je nach gewünschter Funktionalität im AR-Bereich können daher Systeme von kleinen Palmsize-PCs bis zu komplet­ ten tragbaren PCs eingesetzt werden. Auch die notwendige pe­ riphere Ausstattung der mobilen Geräte richtet sich nach dem Umfang der Augmentierung. Typische Peripheriegeräte sind:
  • - Headset
    für Interaktion über Sprache
  • - Datenbrille
    für direktes Einblenden der Informationen in das Sichtfeld des Anwenders
  • - Videokamera
    für Tracking, Dokumentation, etc.
  • - Trackingssysteme
    für die Identifikation des Standorts, der Blickrichtung, etc.
Drahtlose Kommunikation
Die Kommunikation zwischen Internet Browser und Web-Server erfolgt drahtlos mit unterschiedlichen, jeweils an den Einsatzbereich angepassten Techniken. Beispiele sind:
  • - Bluetooth für den Nahbereich
  • - Wireless LANs
  • - GSM/GPRS/UMTS für den Fernbereich
Der Umfang der übertragenen Informationen wird vom AR-System an die zur Verfügung stehenden Bandbreite angepasst.
Vorteile der Lösung
Die Kombination von Web-Techniken, Augmented Reality-Funktio­ nen sowie Informationssystemen entsteht ein höherwertiges DV- System mit einer Reihe von Vorteile.
  • - Thin Client - Ansatz
    Sehr gute Skalierbarkeit im Bereich des mobilen Endgeräts, da im Low-End-Bereich im Wesentlichen ein Gerät mit Inter­ net-Browser benötigt wird. D. h. es lassen sich auch nicht PC-basierte Systeme nutzen. (Gewichts-, Hantierungs- und Kostenvorteile).
  • - Einbindung in IT-Landschaft
    Der vorgeschlagene Ansatz eignet sich hervorragend für die Einbindung in bestehende und zukünftige IT-Landschaften (Trend in Richtung Web). Für den Anwender lässt sich somit eine hohe Datendurchgängigkeit ohne aufwändige Synchroni­ sationen erreichen.
  • - Automatische Konfiguration
    Durch die Realisierung der AR-Funktionalität als Plugin, kann die gesamte Anwendungs-Software über gängige Web- Mechanismen automatisch nachgeladen werden.
  • - Mobilität
    Durch die leichten, handlichen Endgeräte sowie die Funkanbindung an die IT-Infrastruktur ergibt sich für den Anwen­ der eine hohe Mobilität.
  • - Handsfree
    Die unterstützte Peripherie (Headset, Datenbrille, etc.) ermöglicht ein Handsfree-Arbeiten in den Bereichen Monta­ ge, Service und Wartung.
  • - Online
    Die mögliche Online-Kopplung zur IT-Infrastruktur des An­ wenders ermöglicht eine direkte Aktualisierung von Daten sowohl auf dem mobilen System als auch in dem dahinterlie­ genden Backend-System.
  • - Nutzung von Standards
    Durch die Nutzung von Web-Standards kann man mehrfach an Weiterentwicklungen in diesem Bereich partizipieren. Dies sind einerseits neue Protokolle/neue Leistungen im Web- Umfeld, andererseits auch die Weiterentwicklungen von mo­ bilen Endgeräten, die einen Web-Zugang ermöglichen.

Claims (12)

1. Einrichtung zur Kommunikation zwischen einer mobilen Da­ tenverarbeitungsvorrichtung (1), insbesondere eines Client im Bereich von Augmented-Reality-Techniken bei einem Automati­ sierungssystem und/oder einer Produktions- und/oder Werkzeug­ maschine oder Teilen davon, mit einem auf der mobilen Daten­ verarbeitungsvorrichtung (1) installierten Browser (2) und einer stationären Datenverarbeitungsvorrichtung (3), wobei die stationäre Datenverarbeitungsvorrichtung (3) folgende Komponenten (4, 5, 6, 7) aufweist:
  • - einen Server (8) zur Kommunikation mit dem Browser (2) der mobilen Datenverarbeitungsvorrichtung (1),
  • - einen InfoBroker (5) zur situationsgerechten Bereitstel­ lung von Informationen, wobei der InfoBroker den aktuellen Kontext, insbesondere Ort, Arbeitssituation, verwendete EA-Geräte sowie ein Infomodell (4) nutzt,
  • - das betreffende Infomodell (4) als eine Repräsentation des Informationsraums und zur Sicherstellung einer Navigation innerhalb der Information sowie eines Zugriffs auf die In­ formationen unabhängig von nachgeschalteten Legacy- Systemen für den InfoBroker (5),
  • - Legacy-Systeme (7), die Informationen enthalten und speichern.
2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die stationäre Datenverarbeitungsvorrichtung (3) weiter folgende Komponente (6) aufweist:
  • - Adaption EA-Geräte, wobei die Informationen für Benutzer­ interaktionen repräsentationsfrei aufgebaut sind und ab­ hängig vom aktuellen Kontext auf das spezifische Hardware- Profil abgebildet werden.
3. Einrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Beschreibung der repräsentationsfreien Information mit Hilfe von XML (Extensible Markup Language) erfolgt.
4. Einrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Client eine Komponente AR-PlugIn (9) aufweist, die zuständig für die Präsentation der augmentierten Information ist und dabei kommuniziert mit (ebenfalls nachladbaren) Kom­ ponenten, die für die Steuerung der Präsentation (z. B. Sprach-Interaktion) notwendig sind.
5. Einrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Infomodell (4) eine Repräsentation des Informations­ raums ist, wobei das Modell durch Zusatzinformationen (Meta­ informationen) angereichert wird.
6. Einrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet,
dass die Kommunikation zwischen dem Browser (2) und dem Ser­ ver (8) drahtlos erfolgt mit unterschiedlichen, jeweils an den Einsatzbereich angepassten Techniken, insbesondere mit
Bluetooth für den Nahbereich
Wireless LANs
GSM/GPRS/UMTS für den Fernbereich,
wobei der Umfang der übertragenen Informationen vom AR-System an die zur Verfügung stehender Bandbreite angepasst wird.
7. Verfahren zur Kommunikation zwischen einer mobilen Daten­ verarbeitungsvorrichtung (1), insbesondere eines Client im Bereich von Augmented-Reality-Techniken bei einem Automati­ sierungssystem und/oder einer Produktions- und/oder Werkzeug­ maschine oder Teilen davon, mit einem auf der mobilen Daten­ verarbeitungsvorrichtung (1) installierten Browser (2) und einer stationären Datenverarbeitungsvorrichtung (3), wobei die stationäre Datenverarbeitungsvorrichtung (3) folgende Komponenten (4, 5, 6, 7) aufweist:
  • - einen Server (8) zur Kommunikation mit dem Browser (2) der mobilen Datenverarbeitungsvorrichtung (1),
  • - einen InfoBroker (5) zur situationsgerechten Bereitstel­ lung von Informationen, wobei der InfoBroker den aktuellen Kontext, insbesondere Ort, Arbeitssituation, verwendete EA-Geräte sowie ein Infomodell (4) nutzt,
  • - das betreffende Infomodell (4) als eine Repräsentation des Informationsraums und zur Sicherstellung einer Navigation innerhalb der Information sowie eines Zugriffs auf die In­ formationen unabhängig von nachgeschalteten Legacy- Systemen für den InfoBroker (5),
  • - Legacy-Systeme (7), die Informationen enthalten und speichern.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die stationäre Datenverarbeitungsvorrichtung (3) weiter folgende Komponente (6) aufweist:
  • - Adaption EA-Geräte, wobei die Informationen für Benutzer­ interaktionen repräsentationsfrei aufgebaut sind und ab­ hängig vom aktuellen Kontext auf das spezifische Hardware- Profil abgebildet werden.
9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die Beschreibung der repräsentationsfreien Information mit Hilfe von XML (Extensible Markup Language) erfolgt.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass der Client eine Komponente AR-PlugIn (9) aufweist, die zuständig für die Präsentation der augmentierten Information ist und dabei kommuniziert mit (ebenfalls nachladbaren) Kom­ ponenten, die für die Steuerung der Präsentation (z. B. Sprach-Interaktion) notwendig sind.
11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass das Infomodell (4) eine Repräsentation des Informations­ raums ist, wobei das Modell durch Zusatzinformationen (Meta­ informationen) angereichert wird.
12. Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet,
dass die Kommunikation zwischen dem Browser (2) und dem Ser­ ver (8) drahtlos erfolgt mit unterschiedlichen, jeweils an den Einsatzbereich angepassten Techniken, insbesondere mit
Bluetooth für den Nahbereich
Wireless LANs
GSM/GPRS/UMTS für den Fernbereich,
wobei der Umfang der übertragenen Informationen vom AR-System an die zur Verfügung stehende Bandbreite angepasst wird.
DE10041104A 2000-08-22 2000-08-22 Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung Expired - Lifetime DE10041104C1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE10041104A DE10041104C1 (de) 2000-08-22 2000-08-22 Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
AT01960169T ATE296465T1 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung
PCT/DE2001/003064 WO2002017131A2 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung
DE50106331T DE50106331D1 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung
EP01960169A EP1311990B1 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung
US10/362,624 US8612511B2 (en) 2000-08-22 2001-08-09 System and method for communication between a mobile data processing device and a stationary data processing device
CNB018145418A CN1269061C (zh) 2000-08-22 2001-08-09 在移动和固定数据处理装置间通信的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10041104A DE10041104C1 (de) 2000-08-22 2000-08-22 Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung

Publications (1)

Publication Number Publication Date
DE10041104C1 true DE10041104C1 (de) 2002-03-07

Family

ID=7653333

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10041104A Expired - Lifetime DE10041104C1 (de) 2000-08-22 2000-08-22 Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
DE50106331T Expired - Lifetime DE50106331D1 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50106331T Expired - Lifetime DE50106331D1 (de) 2000-08-22 2001-08-09 System und verfahren zur kommunikation zwischen einer mobilen datenverarbeitungsvorrichtung und einer stationären datenverarbeitungsvorrichtung

Country Status (6)

Country Link
US (1) US8612511B2 (de)
EP (1) EP1311990B1 (de)
CN (1) CN1269061C (de)
AT (1) ATE296465T1 (de)
DE (2) DE10041104C1 (de)
WO (1) WO2002017131A2 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004030316A1 (de) * 2002-09-19 2004-04-08 Siemens Aktiengesellschaft Verfahren zur ermittlung und zustellung von informationen
US7177708B2 (en) 2002-07-29 2007-02-13 Siemens Aktiengesellschaft Method for the automated control of a technical installation and process control system for carrying out said method
DE102011075372A1 (de) 2011-05-05 2012-11-08 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte Informationsbereitstellung für Kunden in einem Verkaufsraum für Hausgeräte sowie zugehöriges Verfahren und Computerprogrammprodukt
WO2012156245A1 (de) 2011-05-18 2012-11-22 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte informationsbereitstellung zu einem hausgerät sowie zugehöriges verfahren und computerprogrammprodukt
WO2013023951A1 (de) 2011-08-16 2013-02-21 BSH Bosch und Siemens Hausgeräte GmbH System für die bedienung mindestens eines hausgerätes sowie dazu gehöriges endgerät und verfahren zum betreiben des benannten systems
DE102004061842B4 (de) * 2003-12-22 2017-03-02 Metaio Gmbh Tracking-System für mobile Anwendungen

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565275B2 (en) 2012-02-09 2017-02-07 Rockwell Automation Technologies, Inc. Transformation of industrial data into useful cloud information
US7861006B2 (en) * 2004-03-23 2010-12-28 Mcnulty Scott Apparatus, method and system for a tunneling client access point
EP1594058A1 (de) * 2004-05-08 2005-11-09 Siemens Schweiz AG Netzwerk und Verfahren zur Datenübermittlung zwischen Applikationen mit prorietären Schnittstellen
EP2053552A3 (de) * 2005-11-03 2011-02-02 KTFreetel Co., Ltd. Bestehende Kooperationsvorrichtung und Verarbeitungsverfahren
EP1837060A1 (de) * 2006-03-21 2007-09-26 In Fusio (S.A.) Verfahren zum Anzeigen von interaktiven Videosequenzen auf dem Bildschirm eines Apparates
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US7920071B2 (en) * 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
DE102007041768B4 (de) * 2007-09-04 2010-03-04 Deckel Maho Pfronten Gmbh System zur Steuerung des Zugriffs auf eine Werkzeugmaschine
CN101436148B (zh) * 2007-11-14 2011-11-02 华为技术有限公司 集成客户端及进行桌面应用与网络应用交互的方法
AT10520U3 (de) 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
US8258936B2 (en) * 2008-10-17 2012-09-04 Honeywell International Inc. Method and system for acquiring integrated operational and support data for a vehicle
WO2011013910A2 (ko) * 2009-07-30 2011-02-03 에스케이텔레콤 주식회사 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9477936B2 (en) 2012-02-09 2016-10-25 Rockwell Automation Technologies, Inc. Cloud-based operator interface for industrial automation
US8761811B2 (en) 2012-04-27 2014-06-24 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
ITBO20120705A1 (it) * 2012-12-21 2014-06-22 I M A Ind Macchine Automatic He S P A Sistema e metodo di controllo di una macchina automatica
US9786197B2 (en) 2013-05-09 2017-10-10 Rockwell Automation Technologies, Inc. Using cloud-based data to facilitate enhancing performance in connection with an industrial automation system
US9709978B2 (en) 2013-05-09 2017-07-18 Rockwell Automation Technologies, Inc. Using cloud-based data for virtualization of an industrial automation environment with information overlays
US10026049B2 (en) 2013-05-09 2018-07-17 Rockwell Automation Technologies, Inc. Risk assessment for industrial systems using big data
US9703902B2 (en) 2013-05-09 2017-07-11 Rockwell Automation Technologies, Inc. Using cloud-based data for industrial simulation
US9438648B2 (en) 2013-05-09 2016-09-06 Rockwell Automation Technologies, Inc. Industrial data analytics in a cloud platform
US9989958B2 (en) 2013-05-09 2018-06-05 Rockwell Automation Technologies, Inc. Using cloud-based data for virtualization of an industrial automation environment
ITBO20130466A1 (it) * 2013-08-29 2015-03-01 Umpi Elettronica Societa A Respo Nsabilita Lim Metodo di ispezione e/o manutenzione di una parte di un impianto industriale mediante realta' aumentata, e corrispondente sistema per guidare l'ispezione e/o la manutenzione della parte di impianto industriale
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US11042131B2 (en) 2015-03-16 2021-06-22 Rockwell Automation Technologies, Inc. Backup of an industrial automation plant in the cloud
US11243505B2 (en) 2015-03-16 2022-02-08 Rockwell Automation Technologies, Inc. Cloud-based analytics for industrial automation
US11513477B2 (en) 2015-03-16 2022-11-29 Rockwell Automation Technologies, Inc. Cloud-based industrial controller
US10496061B2 (en) 2015-03-16 2019-12-03 Rockwell Automation Technologies, Inc. Modeling of an industrial automation environment in the cloud
EP3260255B1 (de) * 2016-06-24 2019-08-21 Zünd Systemtechnik Ag System zum schneiden von schneidgut
DE102016220580A1 (de) * 2016-10-20 2018-04-26 Krones Ag Computerterminalvorrichtung und Verfahren zum Erstellen von digitalen Dokumentationsunterlagen für eine Maschine der Lebensmittelindustrie
DE102019108049A1 (de) * 2019-03-28 2020-10-01 Pilz Gmbh & Co. Kg Zugriffssteuerungssystem zur Steuerung eines Zugriffs eines Nutzers auf eine oder mehrere Betriebsfunktionen einer technischen Anlage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19716327A1 (de) * 1997-04-18 1998-10-29 Branscheid Industrieelektronik Anzeigevorrichtung
GB2327289A (en) * 1997-07-15 1999-01-20 Honda Motor Co Ltd Job Aiding Apparatus for Assembly Line
DE19953739A1 (de) * 1999-11-09 2001-07-12 Siemens Ag Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US5950201A (en) * 1996-12-06 1999-09-07 International Business Machines Corporation Computerized design automation method using a single logical PFVL paradigm
DE19834456A1 (de) * 1998-07-30 2000-02-03 Siemens Ag Informations-, Bedien- und/oder Beobachtungssystem mit modellbasierter Benutzeroberfläche und Verfahren zum modellbasierten Bedienen und/oder Beobachten
US6549933B1 (en) * 1998-08-04 2003-04-15 International Business Machines Corporation Managing, accessing, and retrieving networked information using physical objects associated with the networked information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19716327A1 (de) * 1997-04-18 1998-10-29 Branscheid Industrieelektronik Anzeigevorrichtung
GB2327289A (en) * 1997-07-15 1999-01-20 Honda Motor Co Ltd Job Aiding Apparatus for Assembly Line
DE19953739A1 (de) * 1999-11-09 2001-07-12 Siemens Ag Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177708B2 (en) 2002-07-29 2007-02-13 Siemens Aktiengesellschaft Method for the automated control of a technical installation and process control system for carrying out said method
WO2004030316A1 (de) * 2002-09-19 2004-04-08 Siemens Aktiengesellschaft Verfahren zur ermittlung und zustellung von informationen
DE102004061842B4 (de) * 2003-12-22 2017-03-02 Metaio Gmbh Tracking-System für mobile Anwendungen
DE102011075372A1 (de) 2011-05-05 2012-11-08 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte Informationsbereitstellung für Kunden in einem Verkaufsraum für Hausgeräte sowie zugehöriges Verfahren und Computerprogrammprodukt
WO2012150244A1 (de) 2011-05-05 2012-11-08 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte informationsbereitstellung für kunden in einem verkaufsraum für hausgeräte sowie zugehöriges verfahren und computerprogrammprodukt
WO2012156245A1 (de) 2011-05-18 2012-11-22 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte informationsbereitstellung zu einem hausgerät sowie zugehöriges verfahren und computerprogrammprodukt
DE102011076074A1 (de) 2011-05-18 2012-11-22 BSH Bosch und Siemens Hausgeräte GmbH System für die erweiterte Informationsbereitstellung zu einem Produkt sowie zugehöriges Verfahren und Computerprogrammprodukt
WO2013023951A1 (de) 2011-08-16 2013-02-21 BSH Bosch und Siemens Hausgeräte GmbH System für die bedienung mindestens eines hausgerätes sowie dazu gehöriges endgerät und verfahren zum betreiben des benannten systems
DE102011081023A1 (de) 2011-08-16 2013-02-21 BSH Bosch und Siemens Hausgeräte GmbH System für die Bedienung mindestens eines Hausgerätes sowie dazu gehöriges Endgerät und Verfahren zum Betreiben des benannten Systems

Also Published As

Publication number Publication date
WO2002017131A2 (de) 2002-02-28
US8612511B2 (en) 2013-12-17
ATE296465T1 (de) 2005-06-15
EP1311990A2 (de) 2003-05-21
WO2002017131A3 (de) 2002-09-19
CN1269061C (zh) 2006-08-09
EP1311990B1 (de) 2005-05-25
US20040105427A1 (en) 2004-06-03
WO2002017131A8 (de) 2002-07-18
DE50106331D1 (de) 2005-06-30
CN1447942A (zh) 2003-10-08

Similar Documents

Publication Publication Date Title
DE10041104C1 (de) Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
DE19953739C2 (de) Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
DE10159610B4 (de) System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
EP1157316B1 (de) System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
DE10066478B3 (de) Tragbarer Computer in einer Prozesssteuerungsumgebung
EP3392987B1 (de) Verfahren und system zur automatisierten unterstützung eines anschlussvorgangs, insbesondere von in einem schaltschrank oder an einem montagesystem angeordneten komponenten
EP1163557A1 (de) System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
DE60313522T2 (de) Internetinspektionssystem in einer drahtlosen Handtafel
DE102014225409A1 (de) Abgesetztes Hilfsgerät zum Generieren spezifisch angepasster und synchronisierter Referenznotizen für ein programmierbares Metrologiesystem
DE102008021410A1 (de) Verfahren und System zur Erzeugung von Filesharing-Website-Dateien
EP2081415A1 (de) Mikrokontroller-gesteuerte Notlichtbeleuchtungsanlage und geeignetes Kommunikationsverfahren hierfür
WO2022184556A1 (de) Vorrichtung und verfahren zum bereitstellen von funktionalitäten
EP1445673A2 (de) Web-basierte Darstellung von Automatisierungsprozessen
EP1344370B1 (de) Kommunikationsanordnung und verfahren für kommunikationssysteme mit interaktiver sprachfunktion
EP3435299A1 (de) Verfahren zur planung und/oder zum betreiben einer technischen anlage
DE10116539B4 (de) System und ein Verfahren zur automatischen Datenaufbereitung insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE60108918T2 (de) Interaktives Verfahren und Vorrichtung für Bildrundfunk einer beweglichen Videokamera
DE10142378A1 (de) Datenverarbeitungsanlage, Ressourcensteuergerät und Verfahren zur Fernverwaltung von Ressourcen
EP1618726B1 (de) Automatisierungssystem mit automatischer bereitstellung von diagnoseinformationen
DE102014224273A1 (de) Management abgesetzter Hilfsgeräte in einer Programmierumgebung für ein programmierbares Metrologiesystem
EP1316865A1 (de) Automatisierungsservicesystem
EP1311916B1 (de) System und verfahren zur kontextbezogenen protokollierung insbesondere im umfeld produktion, montage, service oder wartung
EP1184756B1 (de) System und Verfahren zur Strukturierung eines Informationsraums
DE10116331A1 (de) System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
WO2023198454A1 (de) Computerimplementiertes verfahren zur bereitstellung einer visuellen darstellung von soll- und ist-zuständen von konstruktionselementen bei der bauausführung

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
R071 Expiry of right