DE10116331A1 - System and method for the combined use of different display / device types with system-controlled context-dependent information display - Google Patents

System and method for the combined use of different display / device types with system-controlled context-dependent information display

Info

Publication number
DE10116331A1
DE10116331A1 DE10116331A DE10116331A DE10116331A1 DE 10116331 A1 DE10116331 A1 DE 10116331A1 DE 10116331 A DE10116331 A DE 10116331A DE 10116331 A DE10116331 A DE 10116331A DE 10116331 A1 DE10116331 A1 DE 10116331A1
Authority
DE
Germany
Prior art keywords
user
interaction
information
interaction devices
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10116331A
Other languages
German (de)
Inventor
Dirk Jahn
Wolfgang Wohlgemuth
Bruno Kiesel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE10116331A priority Critical patent/DE10116331A1/en
Priority to EP01120090A priority patent/EP1182541A3/en
Priority to US09/934,702 priority patent/US6738040B2/en
Publication of DE10116331A1 publication Critical patent/DE10116331A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein System und ein Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen (1...10) mit systemgesteuerter kontextabhängiger Informationsdarstellung mit einer mobilen Datenverarbeitungsvorrichtung (12) und mit einer Vielzahl parallel an der mobilen Datenverarbeitungsvorrichtung (12) betriebenen Interaktionsgeräten (1...10) für Anzeige und/oder Eingabe und mit einem übergeordneten System zur Kontrolle der Interaktionsgeräte (1...10) in der Weise, dass in Abhängigkeit der Eingangsparameter mindestens ein jeweils geeignetes Ausgabemedium (1...10) ausgewählt wird.The invention relates to a system and a method for the combined use of different display / device types (1 ... 10) with system-controlled context-dependent information display with a mobile data processing device (12) and with a large number of interaction devices (1) operated in parallel on the mobile data processing device (12) ... 10) for display and / or input and with a higher-level system for checking the interaction devices (1 ... 10) in such a way that at least one suitable output medium (1 ... 10) is selected depending on the input parameters ,

Description

Die Erfindung betrifft ein System und Verfahren zum kombi­ nierten Einsatz verschiedener Display-/Gerätetypen mit sys­ temgesteuerter kontextabhängiger Informationsdarstellung.The invention relates to a system and method for combi use of various display / device types with sys controlled, context-dependent information display.

Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, in der Prozessautomation, bei Diagnose- /Serviceunterstützungssystemen sowie für komplexe Komponen­ ten, Geräte und Systeme, wie beispielsweise Fahrzeuge und in­ dustrielle Maschinen und Anlagen zum Einsatz. Eine besonders vorteilhafte Anwendung besteht im Zusammenhang mit Augmented Reality (AR = "erweiterte Realität"), einer neuen Form der Mensch-Technik-Interaktion, bei der dem Anwender Informatio­ nen in sein Sichtfeld eingeblendet werden - beispielweise über eine Datenbrille. Die Einblendung geschieht jedoch kon­ textabhängig, d. h. passend und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil. So wird das reale Sichtfeld bei­ spielweise eines Monteurs durch eingeblendete Montagehinweise um für ihn wichtige Informationen erweitert. In diesem Falle kann Augmented Reality unter anderem das herkömmliche Monta­ gehandbuch ersetzen. Der hier vorgestellte Lösungsansatz be­ zieht sich auf den Einsatz von Augmented Reality (AR) in der Montage sowie im Bereich Service und Wartung.Such a system and method comes, for example, in Area of automation technology, in production and Machine tools, in process automation, for diagnostic / Service support systems as well as for complex components ten, devices and systems, such as vehicles and in industrial machines and systems for use. A special one advantageous use exists in connection with augmented Reality (AR = "Augmented Reality"), a new form of Human-technology interaction in which the user informatio can be shown in his field of vision - for example via data glasses. However, the overlay occurs con text dependent, d. H. suitable and derived from the considered Object, e.g. B. a component. So the real field of vision becomes for example, a fitter by means of displayed assembly instructions with information important to him. In this case can augmented reality include the conventional Monta replace manual. The solution presented here be draws on the use of augmented reality (AR) in the Assembly as well as in the area of service and maintenance.

Der Erfindung liegt die Aufgabe zugrunde, ein System sowie ein Verfahren anzugeben, das eine situations- und nutzerge­ rechte Informationsbereitstellung ermöglicht.The invention has for its object a system and to specify a method that a situation and user right information provision.

Diese Aufgabe wird gelöst durch ein System zur Strukturie­ rung, Bereitstellung und Ausgabe von Informationen, wobei das System mehrere Interaktionsgeräte zur Ausgabe der Informatio­ nen an einen Anwender und zur Erfassung von Eingaben des An­ wenders und eine am Körper des Anwenders tragbare Rechnerein­ heit mit einem Interaktionskontrollsystem zur Steuerung und Kopplung der Interaktionsgeräte, zur Auswertung eines durch Eingangsparameter bestimmten Kontextes einer spezifischen Ar­ beitssituation des Anwenders, zur Ermittlung der Interakti­ onsgeräte und zur Auswahl der auszugebenden Informationen je­ weils in Abhängigkeit des bestimmten Kontextes enthält.This task is solved by a structure system tion, provision and output of information, whereby the System of several interaction devices for the output of the information  to a user and to record inputs from the user and a computer that can be worn on the user's body unit with an interaction control system for control and Coupling of the interaction devices, to evaluate a through Input parameters of certain context of a specific ar working situation of the user to determine the interaction devices and to select the information to be output because depending on the specific context.

Diese Aufgabe wird gelöst durch ein Verfahren zur Strukturie­ rung, Bereitstellung und Ausgabe von Informationen, bei dem mittels mehrerer Interaktionsgeräte Informationen an einen Anwender ausgegeben und Eingaben des Anwenders erfasst werden und mit einem Interaktionskontrollsystem in einer am Körper des Anwenders tragbaren Rechnereinheit die Interaktionsgeräte gesteuert und gekoppelt werden, ein durch Eingangsparameter bestimmter Kontext einer spezifischen Arbeitssituation des Anwenders ausgewertet wird, die Interaktionsgeräte ermittelt werden und die auszugebenden Informationen jeweils in Abhän­ gigkeit des bestimmten Kontextes ausgewählt werden.This problem is solved by a method for structuring generation, provision and output of information in the information to one by means of several interaction devices User output and user inputs are recorded and with an interaction control system in one on the body the user's portable computing unit the interaction devices be controlled and coupled, one by input parameters certain context of a specific work situation of the The user is evaluated, the interaction devices are determined and the information to be output depends on specific context.

Vorteilhaft wird das System so ausgestaltet, dass das Inter­ aktionskontrollsystem Auswertemittel zur Priorisierung eines oder mehrerer Interaktionsgeräte enthält und dass die Inter­ aktionsgeräte Ausgabemittel zur Ausgabe eines Ergebnisses der Priorisierung an den Anwender enthalten. Der Anwender kann anhand des ausgegebenen Ergebnisses leichter entscheiden, welches Interaktionsmittel er sinnvollerweise verwenden soll­ te. Durch die Vielzahl der verwendeten Interaktionsmittel wird insbesondere ermöglicht, dass die Informationen als sta­ tische und dynamische Informationen ausgebildet sind. Abhän­ gig von der Art der Information wird vom Interaktionskon­ trollsystem das für die Informationswiedergabe am besten ge­ eignete Interaktionsmittel vorgeschlagen bzw. ausgewählt. Vorteilhaft ist das Interaktionskontrollsystem zur Aktivie­ rung und Deaktivierung der Interaktionsgeräte in Abhängigkeit von Eingaben des Anwenders vorgesehen, so dass nur die wirk­ lich gewünschten Interaktionsgerät parallel im Einsatz sind. Im Umfeld der Augmented Reality als Interaktionsgerät beson­ ders geeignet ist ein Head-Mounted Display mit Mitteln zur Erfassung von Eingaben des Anwenders, z. B. ein Mikrofon oder Tasten.The system is advantageously designed such that the inter action control system evaluation means for prioritizing a contains or more interaction devices and that the Inter action devices output means for outputting a result of the Prioritization to the user included. The user can make it easier to decide based on the output, which means of interaction should be used sensibly te. Due to the large number of means of interaction used in particular, it enables the information to be stored as sta table and dynamic information. depen The interaction con control system that is best suited for the reproduction of information suitable means of interaction proposed or selected. The interaction control system for activation is advantageous Interaction devices are deactivated and deactivated depending on the situation  provided by the user's input so that only the effective desired interaction device are used in parallel. Especially in the area of augmented reality as an interaction device A head-mounted display with means for is also suitable Acquisition of inputs by the user, e.g. B. a microphone or Keys.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und er­ läutert.The invention is described below with reference to the figures illustrated embodiments described and he purifies.

Es zeigen:Show it:

Fig. 1 eine Übersicht über die wesentlichen Systemkompo­ nenten einer kooperativen augmentierten Arbeitsum­ gebung, Fig. 1 is an overview of the major components Systemkompo gebung a cooperative augmented Arbeitsum,

Fig. 2 mögliche Typen von Ein-/Ausgabegeräten einer koope­ rativen augmentierten Arbeitsumgebung und Fig. 2 possible types of input / output devices of a cooperative augmented work environment and

Fig. 3 ein Anwendungsbeispiel für den praktischen Einsatz von Augmented Reality. Fig. 3 shows an application example for the practical use of augmented reality.

In der heutigen Informationsgesellschaft ist die Vielfalt von Informationen und Daten, deren geeignete Strukturierung und Bereitstellung mittels DV-technischer, elektronischer Medien, und schließlich deren adäquate Präsentation und Anzeige für den Nutzer eine Problemstellung in vielen Anwendungsberei­ chen. Im Hinblick auf eine situations- und nutzergerechte In­ formationsbereitstellung - eine solche ist für Augmented Rea­ lity-basierte Systeme charakteristisch - ist dabei von Bedeu­ tung, welches Interaktionsgerät 1..10 dem Anwender 11 zur Verfügung steht (für visuelle oder auch akustische Informati­ on). In Fig. 1 und Fig. 2 finden sich verschiedene Arten solcher Interaktionsgeräte 1..10. In today's information society, the variety of information and data, their suitable structuring and provision by means of IT technology, electronic media, and finally their adequate presentation and display is a problem for the user in many application areas. With regard to the provision of information appropriate to the situation and the user - this is characteristic of augmented reality-based systems - it is important which interaction device 1 .. 10 is available to user 11 (for visual or acoustic information) , In Fig. 1 and Fig. 2, various types find such interaction devices 1 .. 10th

Insbesondere in Arbeitssituationen/-umgebungen, wo Informati­ onen 14 unterschiedlichen Umfangs - von einfachen Texten bis hin zu detaillierten Grafiken - eine Rolle spielen, ist dies eine Herausforderung für die Systemgestaltung: Welches Gerät 1..10 wird dem Benutzer 11 bei seiner Aufgabe mitgegeben? Dies trifft beispielsweise für einen Facharbeiter/Service­ fachmann 11 bei seinen Tätigkeiten wie Fehlerdiagnose, Inbe­ triebnahme, Wartung oder Instandsetzung von Maschinen/Anlagen zu: Bei den von ihm benötigten Informationen aus Montagehand­ büchern, Anlagendokumentationen oder auch dynamisch ermittel­ ten Prozesswerten handelt es sich u. a. um Texte, einfache Variablen-/Wertdarstellungen oder auch um Konstruktionszeich­ nungen wie Elektro- oder Mechanik-CAD-Pläne bis hin zu Video­ sequenzen beispielsweise als Instruktionsanleitungen. Prinzi­ piell ergeben sich aus den unterschiedlichen Informationsty­ pen auch unterschiedliche Anforderungskategorien für die Dar­ stellungseigenschaften des verwendeten Interaktionsgerätes 1..10.Especially in work situations / environments, where information of 14 different volumes - from simple texts to detailed graphics - plays a role, this is a challenge for the system design: Which device 1 .. 10 is given to user 11 during his task? This applies, for example, to a specialist worker / service specialist 11 in his activities such as fault diagnosis, commissioning, maintenance or repair of machines / systems: The information he needs from assembly manuals, system documentation or dynamically determined process values includes, among other things Texts, simple variable / value displays or also around construction drawings such as electrical or mechanical CAD plans up to video sequences, for example as instruction manuals. In principle, the different information types also result in different requirement categories for the display properties of the interaction device 1 .. 10 used .

Bisherige Lösungen sehen in der Regel die Verwendung eines Typs von Interaktionsgerät 1..10 vor. Bestenfalls werden un­ terschiedliche, unabhängig operierende Interaktionsgeräte 1..10 verwendet. Der Benutzer 11 sucht sich auf unabhängig funktionierenden Systemen die gerade benötigte Information 14. Eine situationsgerechte, koordinierte Ausgabe auf unter­ schiedlichen, zugleich angeschlossenen Anzeigegeräten 1..10 im Verfügungsbereich des Benutzers 11 wird bislang nicht un­ terstützt.Previous solutions generally provide for the use of one type of interaction device 1 .. 10 . At best, different, independently operating interaction devices 1 .. 10 are used. The user 11 looks for the information 14 just required on independently functioning systems. A situation-related, coordinated output on different, at the same time connected display devices 1 .. 10 in the area of the user 11 is not yet supported un.

Bei der hier vorgeschlagenen Lösung wird dem Benutzer 11 ein mobiler, möglichst am Körper tragbarer Computer 12 zur Verfü­ gung gestellt, der sich dadurch auszeichnet, dass mehrere In­ teraktionsgeräte 1..10 als Anzeige- und/oder Eingabemittel parallel an diesem Computer 12 betrieben werden oder mit die­ sem Computer 12 drahtlos gekoppelt sind. Ein übergeordnetes System (hier genannt: Interaktionskontrollsystem für "Koope­ ratives Augmented Environment") nimmt die Kontrolle über die Interaktionsgeräte 1..10 wahr: Es wertet den durch verschie­ dene Eingangsparameter bestimmten Kontext der spezifischen Arbeitssituation 17 aus (Ort, Zeit, Arbeitsprozess, Anlagen­ zustand - d. h. Prozessdaten -, aktueller Benutzerfokus, etc.) und entscheidet über das für den Benutzer jeweils ge­ eignete Ausgabemedium 1..10: Sprachausgabe, Einfachausgabe auf Head-Mounted Display bzw. Datenbrille, Detailanzeigen z. B. auf einem Handheld-artigen Gerät; Anlagenübersicht und An­ lagensteuerung auf stationärem Monitor. Das Gesamtsystem sieht dabei speziell auch den kombinierten Einsatz verschie­ dener solcher Anzeigegeräte 1..10 vor. Dabei wird der Benut­ zer 11 gegebenenfalls wechselseitig mittels den Anzeige­ möglichkeiten der Geräte 1..10 darüber informiert, wenn auf jeweils einem weiteren Gerät 1..10 signifikante Information zur Einsicht ansteht. Der Vorteil ist die, im Hinblick auf die darzustellende Information 14, benutzergerechte Auswahl der Interaktionsgeräte 1..10 auch im Kontext der gegebenen Arbeitssituation 17. Der Benutzer 11 kann die Menge der ihm zur Verfügung stehenden Geräte 1..10 verändern, d. h. auch einschränken oder erweitern und dieses dem Interaktionskon­ trollsystem bekannt machen. Als Besonderheiten sind die fol­ genden Punkte zu nennen: Es erfolgt eine Auswertung von Kon­ textinformation (Ort, Zeit, Arbeitsprozess, Anlagenzustand - d. h. Prozessdaten -, aktueller Benutzerfokus, etc.) zur si­ tuations- und nutzergerechten Auswahl und Koordination von Interaktionsgeräten 1..10, speziell Anzeigegeräten. Es ist ein mobiler Computer 12 vorgesehen, am Körper getragen, mit der Anschlussmöglichkeit mehrerer verschiedenartiger Displays 1..10 und gegebenenfalls mit drahtloser Anbindung zu weiteren externen, mobilen oder stationären Geräten 1..10, die zur In­ formationspräsentation einbezogen werden.In the solution proposed here, the user 11 is provided with a mobile computer 12 which is as portable as possible on the body and which is characterized in that a plurality of interaction devices 1 ... 10 are operated in parallel on this computer 12 as display and / or input means or are wirelessly coupled to this computer 12 . A higher-level system (called here: interaction control system for "cooperative augmented environment") takes control of the interaction devices 1 .. 10 : it evaluates the context of the specific work situation 17 (location, time, work process, systems, determined by various input parameters) state - ie process data -, current user focus, etc.) and decides on the output medium 1 .. 10 suitable for the user: voice output, single output on head-mounted display or data glasses, detailed displays e.g. B. on a handheld-like device; Plant overview and plant control on a stationary monitor. The overall system specifically provides for the combined use of various such display devices 1 .. 10 . In this case, the user 11 is mutually informed, if necessary, by means of the display options of the devices 1 .. 10 when significant information is available for inspection on a further device 1 .. 10 . The advantage is that, with regard to the information 14 to be displayed, the user-friendly selection of the interaction devices 1 ... 10 also in the context of the given work situation 17 . The user 11 can change the amount of devices 1 ... 10 available to him, ie also restrict or expand it and make this known to the interaction control system. The following points should be mentioned as special features: context information (location, time, work process, system status - ie process data -, current user focus, etc.) is evaluated for the selection and coordination of interaction devices 1. 10 , especially display devices. A mobile computer 12 is provided, worn on the body, with the possibility of connecting several different types of displays 1 ... 10 and optionally with a wireless connection to further external, mobile or stationary devices 1 ... 10 , which are included for information presentation.

Ein mögliches Szenario eines Ausführungsbeispiels sieht fol­ gendermaßen aus:
Der Servicetechniker 11 betritt eine automatisierungstech­ nisch gesteuerte Anlage, in der er Wartungs- oder Reparatur­ arbeiten durchführen soll. Der Servicetechniker 11 ist aus­ gestattet mit einem am Körper tragbaren Computer 12 (Wearable Computer am Gürtel), im Folgenden Service-Computer genannt. An diesem Service-Computer 12 ist ein sogenanntes Head-worn- oder Head-mounted-Display (HMD) angeschlossen, ein Anzeigege­ rät 1, 7 positioniert im Blickfeld des Benutzers 11. Zudem verfügt der Computer 12 über Betriebsmittel zur akustischen Aufnahme (Mikrofon 2) und akustischen Ausgabe (Kopfhörer 3). Als weiteres Anzeigegerät ist an dem Service-Computer ein so­ genanntes Flat-Panel Display 6 angeschlossen, das der Benut­ zer 11 in einer am Gürtel befestigten Tasche während seiner Arbeit bereithält. Über eine drahtlose Netzanbindung erfolgt ein Datenaustausch zwischen dem Service-Computer 12 und wei­ teren zusätzlichen stationären Rechnern. In ersterem Display 1, 7, direkt in seinem Blickfeld, erhält der Benutzer 11 le­ diglich einfache Instruktionen 14 zur Vorgehensweise für sei­ ne aktuelle Arbeitssituation 17. Er wird dabei in seiner Sicht und Aufmerksamkeit für die eigentliche Aufgabe nicht eingeschränkt. Zusätzlich werden ihm automatisch oder auf Ab­ ruf relevante Prozessdaten eingeblendet, die den Zustand der Anlage genauer charakterisieren. Dies geschieht über die drahtlose Netzanbindung des Service-Computers 12. In dem Mo­ ment, wo die Arbeitssituation 17 es erfordert, Detailinforma­ tion z. B. aus der Anlagendokumentation zur Anzeige zu brin­ gen, erhält der Benutzer 11 in seinem Display 1, 7 einen Hin­ weis beispielsweise der Art "Aktualisierte Detailinformation auf Flat-Panel Display". Dieser Hinweis kann gegebenenfalls auch akustisch erfolgen. Der Benutzer 11 quittiert die Kennt­ nisnahme der neuen Information, ansonsten wird er in gegebe­ nem Zeitabstand nochmals erinnert. Ebenso erfolgt ein Hin­ weis, wenn der Benutzer 11 auf relevante Information bei ei­ nem stationären Rechner 4 in seinem Arbeitsumfeld 17 aufmerk­ sam gemacht wird.
A possible scenario of an exemplary embodiment looks as follows:
The service technician 11 enters an automation-technically controlled system in which he should carry out maintenance or repair work. The service technician 11 is permitted with a wearable computer 12 (wearable computer on the belt), hereinafter called a service computer. A so-called head-worn or head-mounted display (HMD) is connected to this service computer 12 , a display unit advises 1 , 7 positioned in the field of vision of the user 11 . In addition, the computer 12 has resources for acoustic recording (microphone 2 ) and acoustic output (headphones 3 ). As a further display device, a so-called flat-panel display 6 is connected to the service computer, which the user 11 keeps ready in a pocket attached to his belt during his work. A data exchange between the service computer 12 and other additional stationary computers takes place via a wireless network connection. In the former display 1 , 7 , directly in his field of vision, the user 11 receives only simple instructions 14 for the procedure for his current work situation 17 . He is not restricted in his view and attention to the actual task. In addition, relevant process data that characterize the state of the system more precisely are displayed automatically or on demand. This is done via the wireless network connection of the service computer 12 . In the moment where the work situation 17 requires detailed information such. B. from the system documentation for display, the user 11 receives in his display 1 , 7 a note, for example of the type "updated detailed information on a flat panel display". This information can also be given acoustically if necessary. The user 11 acknowledges knowledge of the new information, otherwise he will be reminded again at the given time interval. There is also a notice when the user 11 is made aware of relevant information in a stationary computer 4 in his working environment 17 .

Augmented Reality ( = "Erweiterte Realität") ist eine neue Form der Mensch-Technik-Interaktion (siehe Fig. 3), die dem Anwender 11 beispielsweise über eine Datenbrille 7 Informati­ onen 14 in sein Sichtfeld 15 einblendet. Die Datenbrille 7 enthält neben einer im Bereich der Brillengläser angeordneten Anzeigevorrichtung eine Bilderfassungsvorrichtung 13 in Form einer Kamera sowie ein Mikrofon 2. Der Anwender 11 kann sich mit Hilfe der Datenbrille 7 im Bereich der Anlage bewegen und Service- oder Wartungsarbeiten durchführen. Mit der geeigne­ ten Systemunterstützung geschieht die Einblendung der Infor­ mationen 14 kontextabhängig, d. h. passend und abgeleitet vom betrachteten Objekt 16, z. B. einem Bauteil oder einer Ein­ bauumgebung. So wird das reale Sichtfeld 16 beispielsweise eines Monteurs 11 durch eingeblendete Montagehinweise 14 um wichtige Informationen erweitert. Mit den durch die Kamera 13 erfassten Bildinformationen wird der Blickfokus des Anwenders 11 und damit das betrachtete Objekt 16 bestimmt. Im beschrie­ benen Fall ersetzt Augmented Reality einerseits das herkömm­ liche Montagehandbuch und liefert zusätzlich aktuelle pro­ zessrelevante Informationen wie z. B. Druck, Temperatur, Drehzahl. Fig. 3 skizziert die Einblendung von Information 14 (hier: zwei Arbeitsschritte) vor dem Hintergrund der Rea­ lität in der gegebenen Arbeitssituation 17 (hier: Rohrlei­ tungsmontage).Augmented Reality (= "Augmented Reality") is a new form of human-machine interaction (see FIG. 3), which shows the user 11 information 14 in his field of view 15, for example via data glasses 7 . In addition to a display device arranged in the area of the glasses, the data glasses 7 contain an image capture device 13 in the form of a camera and a microphone 2 . The user 11 can move with the help of the data glasses 7 in the area of the system and carry out service or maintenance work. With the appropriate system support, the display of the information 14 is context-dependent, ie appropriate and derived from the object 16 under consideration, e.g. B. a component or a building environment. The real field of view 16 of a mechanic 11, for example, is expanded to include important information by on-screen assembly instructions 14 . The gaze focus of the user 11 and thus the object 16 under consideration are determined with the image information captured by the camera 13 . In the described case, augmented reality replaces the conventional assembly manual on the one hand and also provides current process-relevant information such as B. pressure, temperature, speed. Fig. 3 outlines the insertion of information 14 (here: two work steps) against the background of reality in the given work situation 17 (here: pipeline assembly).

Zusammenfassend betrifft die Erfindung ein System und ein Verfahren zum kombinierten Einsatz verschiedener Display- /Gerätetypen 1..10 mit systemgesteuerter kontextabhängiger Informationsdarstellung mit einer mobilen Datenverarbeitungs­ vorrichtung 12 und mit einer Vielzahl parallel an der mobilen Datenverarbeitungsvorrichtung 12 betriebenen Interaktionsge­ räten 1..10 für Anzeige und/oder Eingabe und mit einem über­ geordneten System zur Kontrolle der Interaktionsgeräte 1..10 in der Weise, dass in Abhängigkeit der Eingangsparameter min­ destens ein jeweils geeignetes Ausgabemedium 1..10 ausgewählt wird.In summary, the invention provides a system and method for combined use concerns various display / device types 1 .. 10 with system-driven context-dependent presentation of information to a mobile data processing device 12 and operated with a plurality of parallel at the mobile data processing device 12 Interaktionsge boards 1 .. 10 for display and / or input and with a higher-level system for monitoring the interaction devices 1 .. 10 in such a way that at least one suitable output medium 1 .. 10 is selected depending on the input parameters.

Claims (10)

1. System zur Strukturierung, Bereitstellung und Ausgabe von Informationen (14), wobei das System mehrere Interaktionsge­ räte (1..10) zur Ausgabe der Informationen (14) an einen An­ wender (11) und zur Erfassung von Eingaben des Anwenders (11) und eine am Körper des Anwenders (11) tragbare Rechnereinheit (12) mit einem Interaktionskontrollsystem zur Steuerung und Kopplung der Interaktionsgeräte (1..10), zur Auswertung eines durch Eingangsparameter bestimmten Kontextes einer spezifi­ schen Arbeitssituation (17) des Anwenders (11), zur Ermitt­ lung der Interaktionsgeräte (1..10) und zur Auswahl der aus­ zugebenden Informationen (14) jeweils in Abhängigkeit des be­ stimmten Kontextes enthält.1. System for structuring, providing and outputting information ( 14 ), the system comprising a plurality of interaction devices ( 1 .. 10 ) for outputting the information ( 14 ) to a user ( 11 ) and for recording inputs from the user ( 11 ) and a computer unit ( 12 ) portable on the body of the user ( 11 ) with an interaction control system for controlling and coupling the interaction devices ( 1 .. 10 ), for evaluating a context of a specific work situation ( 17 ) of the user ( 11 ) determined by input parameters. , to determine the interaction devices ( 1 .. 10 ) and to select the information to be output ( 14 ) depending on the specific context. 2. System nach Anspruch 1, dadurch gekennzeichnet, dass das Interaktionskontrollsystem Auswertemittel zur Prio­ risierung eines oder mehrerer Interaktionsgeräte (1..10) ent­ hält und dass die Interaktionsgeräte (1..10) Ausgabemittel zur Ausgabe eines Ergebnisses der Priorisierung an den Anwen­ der (11) enthalten.2. System according to claim 1, characterized in that the interaction control system contains evaluation means for prioritizing one or more interaction devices ( 1 .. 10 ) and that the interaction devices ( 1 .. 10 ) output means for outputting a result of the prioritization to the user ( 11 ) included. 3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Informationen (14) als statische und dynamische In­ formationen ausgebildet sind.3. System according to claim 1 or 2, characterized in that the information ( 14 ) are designed as static and dynamic information. 4. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Interaktionskontrollsystem zur Aktivierung und Deak­ tivierung der Interaktionsgeräte (1..10) in Abhängigkeit von Eingaben des Anwenders (11) vorgesehen ist.4. System according to any one of the preceding claims, characterized in that the interaction control system for activating and deactivating the interaction devices ( 1 .. 10 ) is provided as a function of inputs from the user ( 11 ). 5. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Interaktionsgerät (7) als Head-Mounted Display mit Mitteln zur Erfassung von Eingaben des Anwenders (11) ausgebildet ist.5. System according to any one of the preceding claims, characterized in that at least one interaction device ( 7 ) is designed as a head-mounted display with means for detecting inputs from the user ( 11 ). 6. Verfahren zur Strukturierung, Bereitstellung und Ausgabe von Informationen (14), bei dem mittels mehrerer Interakti­ onsgeräte (1..10) Informationen (14) an einen Anwender (11) ausgegeben und Eingaben des Anwenders (11) erfasst werden und mit einem Interaktionskontrollsystem in einer am Körper des Anwenders (11) tragbaren Rechnereinheit (12) die Interakti­ onsgeräte gesteuert und gekoppelt werden, ein durch Eingangs­ parameter bestimmter Kontext einer spezifischen Arbeitssitua­ tion (17) des Anwenders (11) ausgewertet wird, die Interakti­ onsgeräte (1..10) ermittelt werden und die auszugebenden In­ formationen (14) jeweils in Abhängigkeit des bestimmten Kon­ textes ausgewählt werden.6. Method for structuring, providing and outputting information ( 14 ), in which information ( 14 ) is output to a user ( 11 ) and inputs of the user ( 11 ) are recorded and with one by means of a plurality of interaction devices ( 1 .. 10 ) Interaction control system in a computer unit ( 12 ) which can be worn on the body of the user ( 11 ), the interaction devices are controlled and coupled, a context determined by input parameters of a specific work situation ( 17 ) of the user ( 11 ) is evaluated, the interaction devices ( 1 . 10 ) are determined and the information to be output ( 14 ) is selected depending on the specific context. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Interaktionskontrollsystem mittels Auswertemitteln eines oder mehrere Interaktionsgeräte (1..10) priorisiert und dass ein Ergebnis der Priorisierung mit Ausgabemitteln der Interaktionsgeräte (1..10) an den Anwender (11) ausgegeben wird.7. The method according to claim 6, characterized in that the interaction control system prioritizes one or more interaction devices ( 1 .. 10 ) by means of evaluation and that a result of the prioritization with output means of the interaction devices ( 1 .. 10 ) is output to the user ( 11 ) , 8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Informationen (14) als statische und dynamische In­ formationen ausgebildet sind.8. The method according to claim 6 or 7, characterized in that the information ( 14 ) are designed as static and dynamic information. 9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das Interaktionskontrollsystem die Interaktionsgeräte (1..10) in Abhängigkeit von Eingaben des Anwenders (11) akti­ viert und deaktiviert. 9. The method according to any one of claims 6 to 8, characterized in that the interaction control system activates and deactivates the interaction devices ( 1 .. 10 ) as a function of inputs from the user ( 11 ). 10. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass mindestens ein Interaktionsgerät (7) als Head-Mounted Display mit Mitteln zur Erfassung von Eingaben des Anwenders (11) ausgebildet ist.10. The method according to any one of claims 6 to 9, characterized in that at least one interaction device ( 7 ) is designed as a head-mounted display with means for detecting inputs from the user ( 11 ).
DE10116331A 2000-08-22 2001-04-02 System and method for the combined use of different display / device types with system-controlled context-dependent information display Withdrawn DE10116331A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE10116331A DE10116331A1 (en) 2000-08-22 2001-04-02 System and method for the combined use of different display / device types with system-controlled context-dependent information display
EP01120090A EP1182541A3 (en) 2000-08-22 2001-08-21 System and method for combined use of different display/apparatus types with system controlled context dependant information representation
US09/934,702 US6738040B2 (en) 2000-08-22 2001-08-22 Different display types in a system-controlled, context-dependent information display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10041103 2000-08-22
DE10116331A DE10116331A1 (en) 2000-08-22 2001-04-02 System and method for the combined use of different display / device types with system-controlled context-dependent information display

Publications (1)

Publication Number Publication Date
DE10116331A1 true DE10116331A1 (en) 2002-03-14

Family

ID=7653332

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10116331A Withdrawn DE10116331A1 (en) 2000-08-22 2001-04-02 System and method for the combined use of different display / device types with system-controlled context-dependent information display

Country Status (1)

Country Link
DE (1) DE10116331A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006014571A1 (en) * 2006-03-29 2007-10-04 Di Ke Opto-Electronics Co., Ltd Auxiliary testing device using method for visually testing e.g. brake system of vehicle, involves attaching auxiliary testing device with sensor head of image recording video recorder for recording images in testing device
DE102006006001B3 (en) * 2006-02-08 2007-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and arrangement for inserting location-related information into a visual representation or view of a scene
DE102017130913A1 (en) * 2017-12-21 2019-06-27 Rehau Ag + Co Method for constructing a pipe system while creating at least one pipe connection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006006001B3 (en) * 2006-02-08 2007-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and arrangement for inserting location-related information into a visual representation or view of a scene
DE102006014571A1 (en) * 2006-03-29 2007-10-04 Di Ke Opto-Electronics Co., Ltd Auxiliary testing device using method for visually testing e.g. brake system of vehicle, involves attaching auxiliary testing device with sensor head of image recording video recorder for recording images in testing device
DE102017130913A1 (en) * 2017-12-21 2019-06-27 Rehau Ag + Co Method for constructing a pipe system while creating at least one pipe connection

Similar Documents

Publication Publication Date Title
EP1182541A2 (en) System and method for combined use of different display/apparatus types with system controlled context dependant information representation
EP1157316B1 (en) System and method for situation-related interaction support with the aid of augmented reality technologies
EP1163557B1 (en) System and method for processing documents with a multi-layer information structure, in particular for technical and industrial applications
EP1230583B1 (en) System and method for object-oriented marking and organising of information about selected technological components
EP1451652B1 (en) System and method for establishing a documentation of working processes for display in an augmented reality system
DE10041104C1 (en) Device and method for communication between a mobile data processing device and a stationary data processing device
DE112005001152T5 (en) Method and system for retrieving and displaying technical data for an industrial facility
DE3930581A1 (en) Work station for process control personnel - has display fields with windows accessed by mouse selection
WO2005045729A1 (en) System and method for carrying out and visually displaying simulations in an augmented reality
EP3392987B1 (en) Method and system for automated support of a connection process, in particular for components in a switch cabinet or on a mounting system
DE102014210205A1 (en) Processing device and information exchange method
DE102004021379B4 (en) Operating and monitoring system for industrial plants and processes
DE102019215739A1 (en) Control device, communication terminal and control system
DE10116331A1 (en) System and method for the combined use of different display / device types with system-controlled context-dependent information display
DE102018206034A1 (en) Worker management system, process plant, process, computer program, machine-readable storage medium and electronic control unit
DE10116539B4 (en) System and a method for automatic data preparation, particularly in the production, assembly, service or maintenance environment
EP1370981A2 (en) System and method for representing information
DE10135837A1 (en) Operating observing system involves detecting voice information in user voice commands, projecting system state images, combining voice information with data determining operating state
Huenerfauth Mobile Technology Applications for Manufacturing, Reduction of Muda (Waste) and the Effect on Manufacturing Economy and Efficiency.
EP0588108A2 (en) Arrangement to operate a computer controlled manufacturing system
WO2024104560A1 (en) Generating holograms for display in an augmented reality environment
EP4287043A1 (en) Generation of holograms for representation in an augmented reality environment
DE102004030533A1 (en) Method and system for context-sensitive provision of product information
WO2005114496A1 (en) Method and device for designing technical devices and systems
Benson et al. Power Plant MOM

Legal Events

Date Code Title Description
ON Later submitted papers
OP8 Request for examination as to paragraph 44 patent law
8130 Withdrawal