DE10116331A1 - System and method for the combined use of different display / device types with system-controlled context-dependent information display - Google Patents
System and method for the combined use of different display / device types with system-controlled context-dependent information displayInfo
- Publication number
- DE10116331A1 DE10116331A1 DE10116331A DE10116331A DE10116331A1 DE 10116331 A1 DE10116331 A1 DE 10116331A1 DE 10116331 A DE10116331 A DE 10116331A DE 10116331 A DE10116331 A DE 10116331A DE 10116331 A1 DE10116331 A1 DE 10116331A1
- Authority
- DE
- Germany
- Prior art keywords
- user
- interaction
- information
- interaction devices
- devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein System und ein Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen (1...10) mit systemgesteuerter kontextabhängiger Informationsdarstellung mit einer mobilen Datenverarbeitungsvorrichtung (12) und mit einer Vielzahl parallel an der mobilen Datenverarbeitungsvorrichtung (12) betriebenen Interaktionsgeräten (1...10) für Anzeige und/oder Eingabe und mit einem übergeordneten System zur Kontrolle der Interaktionsgeräte (1...10) in der Weise, dass in Abhängigkeit der Eingangsparameter mindestens ein jeweils geeignetes Ausgabemedium (1...10) ausgewählt wird.The invention relates to a system and a method for the combined use of different display / device types (1 ... 10) with system-controlled context-dependent information display with a mobile data processing device (12) and with a large number of interaction devices (1) operated in parallel on the mobile data processing device (12) ... 10) for display and / or input and with a higher-level system for checking the interaction devices (1 ... 10) in such a way that at least one suitable output medium (1 ... 10) is selected depending on the input parameters ,
Description
Die Erfindung betrifft ein System und Verfahren zum kombi nierten Einsatz verschiedener Display-/Gerätetypen mit sys temgesteuerter kontextabhängiger Informationsdarstellung.The invention relates to a system and method for combi use of various display / device types with sys controlled, context-dependent information display.
Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, in der Prozessautomation, bei Diagnose- /Serviceunterstützungssystemen sowie für komplexe Komponen ten, Geräte und Systeme, wie beispielsweise Fahrzeuge und in dustrielle Maschinen und Anlagen zum Einsatz. Eine besonders vorteilhafte Anwendung besteht im Zusammenhang mit Augmented Reality (AR = "erweiterte Realität"), einer neuen Form der Mensch-Technik-Interaktion, bei der dem Anwender Informatio nen in sein Sichtfeld eingeblendet werden - beispielweise über eine Datenbrille. Die Einblendung geschieht jedoch kon textabhängig, d. h. passend und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil. So wird das reale Sichtfeld bei spielweise eines Monteurs durch eingeblendete Montagehinweise um für ihn wichtige Informationen erweitert. In diesem Falle kann Augmented Reality unter anderem das herkömmliche Monta gehandbuch ersetzen. Der hier vorgestellte Lösungsansatz be zieht sich auf den Einsatz von Augmented Reality (AR) in der Montage sowie im Bereich Service und Wartung.Such a system and method comes, for example, in Area of automation technology, in production and Machine tools, in process automation, for diagnostic / Service support systems as well as for complex components ten, devices and systems, such as vehicles and in industrial machines and systems for use. A special one advantageous use exists in connection with augmented Reality (AR = "Augmented Reality"), a new form of Human-technology interaction in which the user informatio can be shown in his field of vision - for example via data glasses. However, the overlay occurs con text dependent, d. H. suitable and derived from the considered Object, e.g. B. a component. So the real field of vision becomes for example, a fitter by means of displayed assembly instructions with information important to him. In this case can augmented reality include the conventional Monta replace manual. The solution presented here be draws on the use of augmented reality (AR) in the Assembly as well as in the area of service and maintenance.
Der Erfindung liegt die Aufgabe zugrunde, ein System sowie ein Verfahren anzugeben, das eine situations- und nutzerge rechte Informationsbereitstellung ermöglicht.The invention has for its object a system and to specify a method that a situation and user right information provision.
Diese Aufgabe wird gelöst durch ein System zur Strukturie rung, Bereitstellung und Ausgabe von Informationen, wobei das System mehrere Interaktionsgeräte zur Ausgabe der Informatio nen an einen Anwender und zur Erfassung von Eingaben des An wenders und eine am Körper des Anwenders tragbare Rechnerein heit mit einem Interaktionskontrollsystem zur Steuerung und Kopplung der Interaktionsgeräte, zur Auswertung eines durch Eingangsparameter bestimmten Kontextes einer spezifischen Ar beitssituation des Anwenders, zur Ermittlung der Interakti onsgeräte und zur Auswahl der auszugebenden Informationen je weils in Abhängigkeit des bestimmten Kontextes enthält.This task is solved by a structure system tion, provision and output of information, whereby the System of several interaction devices for the output of the information to a user and to record inputs from the user and a computer that can be worn on the user's body unit with an interaction control system for control and Coupling of the interaction devices, to evaluate a through Input parameters of certain context of a specific ar working situation of the user to determine the interaction devices and to select the information to be output because depending on the specific context.
Diese Aufgabe wird gelöst durch ein Verfahren zur Strukturie rung, Bereitstellung und Ausgabe von Informationen, bei dem mittels mehrerer Interaktionsgeräte Informationen an einen Anwender ausgegeben und Eingaben des Anwenders erfasst werden und mit einem Interaktionskontrollsystem in einer am Körper des Anwenders tragbaren Rechnereinheit die Interaktionsgeräte gesteuert und gekoppelt werden, ein durch Eingangsparameter bestimmter Kontext einer spezifischen Arbeitssituation des Anwenders ausgewertet wird, die Interaktionsgeräte ermittelt werden und die auszugebenden Informationen jeweils in Abhän gigkeit des bestimmten Kontextes ausgewählt werden.This problem is solved by a method for structuring generation, provision and output of information in the information to one by means of several interaction devices User output and user inputs are recorded and with an interaction control system in one on the body the user's portable computing unit the interaction devices be controlled and coupled, one by input parameters certain context of a specific work situation of the The user is evaluated, the interaction devices are determined and the information to be output depends on specific context.
Vorteilhaft wird das System so ausgestaltet, dass das Inter aktionskontrollsystem Auswertemittel zur Priorisierung eines oder mehrerer Interaktionsgeräte enthält und dass die Inter aktionsgeräte Ausgabemittel zur Ausgabe eines Ergebnisses der Priorisierung an den Anwender enthalten. Der Anwender kann anhand des ausgegebenen Ergebnisses leichter entscheiden, welches Interaktionsmittel er sinnvollerweise verwenden soll te. Durch die Vielzahl der verwendeten Interaktionsmittel wird insbesondere ermöglicht, dass die Informationen als sta tische und dynamische Informationen ausgebildet sind. Abhän gig von der Art der Information wird vom Interaktionskon trollsystem das für die Informationswiedergabe am besten ge eignete Interaktionsmittel vorgeschlagen bzw. ausgewählt. Vorteilhaft ist das Interaktionskontrollsystem zur Aktivie rung und Deaktivierung der Interaktionsgeräte in Abhängigkeit von Eingaben des Anwenders vorgesehen, so dass nur die wirk lich gewünschten Interaktionsgerät parallel im Einsatz sind. Im Umfeld der Augmented Reality als Interaktionsgerät beson ders geeignet ist ein Head-Mounted Display mit Mitteln zur Erfassung von Eingaben des Anwenders, z. B. ein Mikrofon oder Tasten.The system is advantageously designed such that the inter action control system evaluation means for prioritizing a contains or more interaction devices and that the Inter action devices output means for outputting a result of the Prioritization to the user included. The user can make it easier to decide based on the output, which means of interaction should be used sensibly te. Due to the large number of means of interaction used in particular, it enables the information to be stored as sta table and dynamic information. depen The interaction con control system that is best suited for the reproduction of information suitable means of interaction proposed or selected. The interaction control system for activation is advantageous Interaction devices are deactivated and deactivated depending on the situation provided by the user's input so that only the effective desired interaction device are used in parallel. Especially in the area of augmented reality as an interaction device A head-mounted display with means for is also suitable Acquisition of inputs by the user, e.g. B. a microphone or Keys.
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und er läutert.The invention is described below with reference to the figures illustrated embodiments described and he purifies.
Es zeigen:Show it:
Fig. 1 eine Übersicht über die wesentlichen Systemkompo nenten einer kooperativen augmentierten Arbeitsum gebung, Fig. 1 is an overview of the major components Systemkompo gebung a cooperative augmented Arbeitsum,
Fig. 2 mögliche Typen von Ein-/Ausgabegeräten einer koope rativen augmentierten Arbeitsumgebung und Fig. 2 possible types of input / output devices of a cooperative augmented work environment and
Fig. 3 ein Anwendungsbeispiel für den praktischen Einsatz von Augmented Reality. Fig. 3 shows an application example for the practical use of augmented reality.
In der heutigen Informationsgesellschaft ist die Vielfalt von Informationen und Daten, deren geeignete Strukturierung und Bereitstellung mittels DV-technischer, elektronischer Medien, und schließlich deren adäquate Präsentation und Anzeige für den Nutzer eine Problemstellung in vielen Anwendungsberei chen. Im Hinblick auf eine situations- und nutzergerechte In formationsbereitstellung - eine solche ist für Augmented Rea lity-basierte Systeme charakteristisch - ist dabei von Bedeu tung, welches Interaktionsgerät 1..10 dem Anwender 11 zur Verfügung steht (für visuelle oder auch akustische Informati on). In Fig. 1 und Fig. 2 finden sich verschiedene Arten solcher Interaktionsgeräte 1..10. In today's information society, the variety of information and data, their suitable structuring and provision by means of IT technology, electronic media, and finally their adequate presentation and display is a problem for the user in many application areas. With regard to the provision of information appropriate to the situation and the user - this is characteristic of augmented reality-based systems - it is important which interaction device 1 .. 10 is available to user 11 (for visual or acoustic information) , In Fig. 1 and Fig. 2, various types find such interaction devices 1 .. 10th
Insbesondere in Arbeitssituationen/-umgebungen, wo Informati onen 14 unterschiedlichen Umfangs - von einfachen Texten bis hin zu detaillierten Grafiken - eine Rolle spielen, ist dies eine Herausforderung für die Systemgestaltung: Welches Gerät 1..10 wird dem Benutzer 11 bei seiner Aufgabe mitgegeben? Dies trifft beispielsweise für einen Facharbeiter/Service fachmann 11 bei seinen Tätigkeiten wie Fehlerdiagnose, Inbe triebnahme, Wartung oder Instandsetzung von Maschinen/Anlagen zu: Bei den von ihm benötigten Informationen aus Montagehand büchern, Anlagendokumentationen oder auch dynamisch ermittel ten Prozesswerten handelt es sich u. a. um Texte, einfache Variablen-/Wertdarstellungen oder auch um Konstruktionszeich nungen wie Elektro- oder Mechanik-CAD-Pläne bis hin zu Video sequenzen beispielsweise als Instruktionsanleitungen. Prinzi piell ergeben sich aus den unterschiedlichen Informationsty pen auch unterschiedliche Anforderungskategorien für die Dar stellungseigenschaften des verwendeten Interaktionsgerätes 1..10.Especially in work situations / environments, where information of 14 different volumes - from simple texts to detailed graphics - plays a role, this is a challenge for the system design: Which device 1 .. 10 is given to user 11 during his task? This applies, for example, to a specialist worker / service specialist 11 in his activities such as fault diagnosis, commissioning, maintenance or repair of machines / systems: The information he needs from assembly manuals, system documentation or dynamically determined process values includes, among other things Texts, simple variable / value displays or also around construction drawings such as electrical or mechanical CAD plans up to video sequences, for example as instruction manuals. In principle, the different information types also result in different requirement categories for the display properties of the interaction device 1 .. 10 used .
Bisherige Lösungen sehen in der Regel die Verwendung eines Typs von Interaktionsgerät 1..10 vor. Bestenfalls werden un terschiedliche, unabhängig operierende Interaktionsgeräte 1..10 verwendet. Der Benutzer 11 sucht sich auf unabhängig funktionierenden Systemen die gerade benötigte Information 14. Eine situationsgerechte, koordinierte Ausgabe auf unter schiedlichen, zugleich angeschlossenen Anzeigegeräten 1..10 im Verfügungsbereich des Benutzers 11 wird bislang nicht un terstützt.Previous solutions generally provide for the use of one type of interaction device 1 .. 10 . At best, different, independently operating interaction devices 1 .. 10 are used. The user 11 looks for the information 14 just required on independently functioning systems. A situation-related, coordinated output on different, at the same time connected display devices 1 .. 10 in the area of the user 11 is not yet supported un.
Bei der hier vorgeschlagenen Lösung wird dem Benutzer 11 ein mobiler, möglichst am Körper tragbarer Computer 12 zur Verfü gung gestellt, der sich dadurch auszeichnet, dass mehrere In teraktionsgeräte 1..10 als Anzeige- und/oder Eingabemittel parallel an diesem Computer 12 betrieben werden oder mit die sem Computer 12 drahtlos gekoppelt sind. Ein übergeordnetes System (hier genannt: Interaktionskontrollsystem für "Koope ratives Augmented Environment") nimmt die Kontrolle über die Interaktionsgeräte 1..10 wahr: Es wertet den durch verschie dene Eingangsparameter bestimmten Kontext der spezifischen Arbeitssituation 17 aus (Ort, Zeit, Arbeitsprozess, Anlagen zustand - d. h. Prozessdaten -, aktueller Benutzerfokus, etc.) und entscheidet über das für den Benutzer jeweils ge eignete Ausgabemedium 1..10: Sprachausgabe, Einfachausgabe auf Head-Mounted Display bzw. Datenbrille, Detailanzeigen z. B. auf einem Handheld-artigen Gerät; Anlagenübersicht und An lagensteuerung auf stationärem Monitor. Das Gesamtsystem sieht dabei speziell auch den kombinierten Einsatz verschie dener solcher Anzeigegeräte 1..10 vor. Dabei wird der Benut zer 11 gegebenenfalls wechselseitig mittels den Anzeige möglichkeiten der Geräte 1..10 darüber informiert, wenn auf jeweils einem weiteren Gerät 1..10 signifikante Information zur Einsicht ansteht. Der Vorteil ist die, im Hinblick auf die darzustellende Information 14, benutzergerechte Auswahl der Interaktionsgeräte 1..10 auch im Kontext der gegebenen Arbeitssituation 17. Der Benutzer 11 kann die Menge der ihm zur Verfügung stehenden Geräte 1..10 verändern, d. h. auch einschränken oder erweitern und dieses dem Interaktionskon trollsystem bekannt machen. Als Besonderheiten sind die fol genden Punkte zu nennen: Es erfolgt eine Auswertung von Kon textinformation (Ort, Zeit, Arbeitsprozess, Anlagenzustand - d. h. Prozessdaten -, aktueller Benutzerfokus, etc.) zur si tuations- und nutzergerechten Auswahl und Koordination von Interaktionsgeräten 1..10, speziell Anzeigegeräten. Es ist ein mobiler Computer 12 vorgesehen, am Körper getragen, mit der Anschlussmöglichkeit mehrerer verschiedenartiger Displays 1..10 und gegebenenfalls mit drahtloser Anbindung zu weiteren externen, mobilen oder stationären Geräten 1..10, die zur In formationspräsentation einbezogen werden.In the solution proposed here, the user 11 is provided with a mobile computer 12 which is as portable as possible on the body and which is characterized in that a plurality of interaction devices 1 ... 10 are operated in parallel on this computer 12 as display and / or input means or are wirelessly coupled to this computer 12 . A higher-level system (called here: interaction control system for "cooperative augmented environment") takes control of the interaction devices 1 .. 10 : it evaluates the context of the specific work situation 17 (location, time, work process, systems, determined by various input parameters) state - ie process data -, current user focus, etc.) and decides on the output medium 1 .. 10 suitable for the user: voice output, single output on head-mounted display or data glasses, detailed displays e.g. B. on a handheld-like device; Plant overview and plant control on a stationary monitor. The overall system specifically provides for the combined use of various such display devices 1 .. 10 . In this case, the user 11 is mutually informed, if necessary, by means of the display options of the devices 1 .. 10 when significant information is available for inspection on a further device 1 .. 10 . The advantage is that, with regard to the information 14 to be displayed, the user-friendly selection of the interaction devices 1 ... 10 also in the context of the given work situation 17 . The user 11 can change the amount of devices 1 ... 10 available to him, ie also restrict or expand it and make this known to the interaction control system. The following points should be mentioned as special features: context information (location, time, work process, system status - ie process data -, current user focus, etc.) is evaluated for the selection and coordination of interaction devices 1. 10 , especially display devices. A mobile computer 12 is provided, worn on the body, with the possibility of connecting several different types of displays 1 ... 10 and optionally with a wireless connection to further external, mobile or stationary devices 1 ... 10 , which are included for information presentation.
Ein mögliches Szenario eines Ausführungsbeispiels sieht fol
gendermaßen aus:
Der Servicetechniker 11 betritt eine automatisierungstech
nisch gesteuerte Anlage, in der er Wartungs- oder Reparatur
arbeiten durchführen soll. Der Servicetechniker 11 ist aus
gestattet mit einem am Körper tragbaren Computer 12 (Wearable
Computer am Gürtel), im Folgenden Service-Computer genannt.
An diesem Service-Computer 12 ist ein sogenanntes Head-worn-
oder Head-mounted-Display (HMD) angeschlossen, ein Anzeigege
rät 1, 7 positioniert im Blickfeld des Benutzers 11. Zudem
verfügt der Computer 12 über Betriebsmittel zur akustischen
Aufnahme (Mikrofon 2) und akustischen Ausgabe (Kopfhörer 3).
Als weiteres Anzeigegerät ist an dem Service-Computer ein so
genanntes Flat-Panel Display 6 angeschlossen, das der Benut
zer 11 in einer am Gürtel befestigten Tasche während seiner
Arbeit bereithält. Über eine drahtlose Netzanbindung erfolgt
ein Datenaustausch zwischen dem Service-Computer 12 und wei
teren zusätzlichen stationären Rechnern. In ersterem Display
1, 7, direkt in seinem Blickfeld, erhält der Benutzer 11 le
diglich einfache Instruktionen 14 zur Vorgehensweise für sei
ne aktuelle Arbeitssituation 17. Er wird dabei in seiner
Sicht und Aufmerksamkeit für die eigentliche Aufgabe nicht
eingeschränkt. Zusätzlich werden ihm automatisch oder auf Ab
ruf relevante Prozessdaten eingeblendet, die den Zustand der
Anlage genauer charakterisieren. Dies geschieht über die
drahtlose Netzanbindung des Service-Computers 12. In dem Mo
ment, wo die Arbeitssituation 17 es erfordert, Detailinforma
tion z. B. aus der Anlagendokumentation zur Anzeige zu brin
gen, erhält der Benutzer 11 in seinem Display 1, 7 einen Hin
weis beispielsweise der Art "Aktualisierte Detailinformation
auf Flat-Panel Display". Dieser Hinweis kann gegebenenfalls
auch akustisch erfolgen. Der Benutzer 11 quittiert die Kennt
nisnahme der neuen Information, ansonsten wird er in gegebe
nem Zeitabstand nochmals erinnert. Ebenso erfolgt ein Hin
weis, wenn der Benutzer 11 auf relevante Information bei ei
nem stationären Rechner 4 in seinem Arbeitsumfeld 17 aufmerk
sam gemacht wird.A possible scenario of an exemplary embodiment looks as follows:
The service technician 11 enters an automation-technically controlled system in which he should carry out maintenance or repair work. The service technician 11 is permitted with a wearable computer 12 (wearable computer on the belt), hereinafter called a service computer. A so-called head-worn or head-mounted display (HMD) is connected to this service computer 12 , a display unit advises 1 , 7 positioned in the field of vision of the user 11 . In addition, the computer 12 has resources for acoustic recording (microphone 2 ) and acoustic output (headphones 3 ). As a further display device, a so-called flat-panel display 6 is connected to the service computer, which the user 11 keeps ready in a pocket attached to his belt during his work. A data exchange between the service computer 12 and other additional stationary computers takes place via a wireless network connection. In the former display 1 , 7 , directly in his field of vision, the user 11 receives only simple instructions 14 for the procedure for his current work situation 17 . He is not restricted in his view and attention to the actual task. In addition, relevant process data that characterize the state of the system more precisely are displayed automatically or on demand. This is done via the wireless network connection of the service computer 12 . In the moment where the work situation 17 requires detailed information such. B. from the system documentation for display, the user 11 receives in his display 1 , 7 a note, for example of the type "updated detailed information on a flat panel display". This information can also be given acoustically if necessary. The user 11 acknowledges knowledge of the new information, otherwise he will be reminded again at the given time interval. There is also a notice when the user 11 is made aware of relevant information in a stationary computer 4 in his working environment 17 .
Augmented Reality ( = "Erweiterte Realität") ist eine neue Form der Mensch-Technik-Interaktion (siehe Fig. 3), die dem Anwender 11 beispielsweise über eine Datenbrille 7 Informati onen 14 in sein Sichtfeld 15 einblendet. Die Datenbrille 7 enthält neben einer im Bereich der Brillengläser angeordneten Anzeigevorrichtung eine Bilderfassungsvorrichtung 13 in Form einer Kamera sowie ein Mikrofon 2. Der Anwender 11 kann sich mit Hilfe der Datenbrille 7 im Bereich der Anlage bewegen und Service- oder Wartungsarbeiten durchführen. Mit der geeigne ten Systemunterstützung geschieht die Einblendung der Infor mationen 14 kontextabhängig, d. h. passend und abgeleitet vom betrachteten Objekt 16, z. B. einem Bauteil oder einer Ein bauumgebung. So wird das reale Sichtfeld 16 beispielsweise eines Monteurs 11 durch eingeblendete Montagehinweise 14 um wichtige Informationen erweitert. Mit den durch die Kamera 13 erfassten Bildinformationen wird der Blickfokus des Anwenders 11 und damit das betrachtete Objekt 16 bestimmt. Im beschrie benen Fall ersetzt Augmented Reality einerseits das herkömm liche Montagehandbuch und liefert zusätzlich aktuelle pro zessrelevante Informationen wie z. B. Druck, Temperatur, Drehzahl. Fig. 3 skizziert die Einblendung von Information 14 (hier: zwei Arbeitsschritte) vor dem Hintergrund der Rea lität in der gegebenen Arbeitssituation 17 (hier: Rohrlei tungsmontage).Augmented Reality (= "Augmented Reality") is a new form of human-machine interaction (see FIG. 3), which shows the user 11 information 14 in his field of view 15, for example via data glasses 7 . In addition to a display device arranged in the area of the glasses, the data glasses 7 contain an image capture device 13 in the form of a camera and a microphone 2 . The user 11 can move with the help of the data glasses 7 in the area of the system and carry out service or maintenance work. With the appropriate system support, the display of the information 14 is context-dependent, ie appropriate and derived from the object 16 under consideration, e.g. B. a component or a building environment. The real field of view 16 of a mechanic 11, for example, is expanded to include important information by on-screen assembly instructions 14 . The gaze focus of the user 11 and thus the object 16 under consideration are determined with the image information captured by the camera 13 . In the described case, augmented reality replaces the conventional assembly manual on the one hand and also provides current process-relevant information such as B. pressure, temperature, speed. Fig. 3 outlines the insertion of information 14 (here: two work steps) against the background of reality in the given work situation 17 (here: pipeline assembly).
Zusammenfassend betrifft die Erfindung ein System und ein Verfahren zum kombinierten Einsatz verschiedener Display- /Gerätetypen 1..10 mit systemgesteuerter kontextabhängiger Informationsdarstellung mit einer mobilen Datenverarbeitungs vorrichtung 12 und mit einer Vielzahl parallel an der mobilen Datenverarbeitungsvorrichtung 12 betriebenen Interaktionsge räten 1..10 für Anzeige und/oder Eingabe und mit einem über geordneten System zur Kontrolle der Interaktionsgeräte 1..10 in der Weise, dass in Abhängigkeit der Eingangsparameter min destens ein jeweils geeignetes Ausgabemedium 1..10 ausgewählt wird.In summary, the invention provides a system and method for combined use concerns various display / device types 1 .. 10 with system-driven context-dependent presentation of information to a mobile data processing device 12 and operated with a plurality of parallel at the mobile data processing device 12 Interaktionsge boards 1 .. 10 for display and / or input and with a higher-level system for monitoring the interaction devices 1 .. 10 in such a way that at least one suitable output medium 1 .. 10 is selected depending on the input parameters.
Claims (10)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10116331A DE10116331A1 (en) | 2000-08-22 | 2001-04-02 | System and method for the combined use of different display / device types with system-controlled context-dependent information display |
EP01120090A EP1182541A3 (en) | 2000-08-22 | 2001-08-21 | System and method for combined use of different display/apparatus types with system controlled context dependant information representation |
US09/934,702 US6738040B2 (en) | 2000-08-22 | 2001-08-22 | Different display types in a system-controlled, context-dependent information display |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10041103 | 2000-08-22 | ||
DE10116331A DE10116331A1 (en) | 2000-08-22 | 2001-04-02 | System and method for the combined use of different display / device types with system-controlled context-dependent information display |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10116331A1 true DE10116331A1 (en) | 2002-03-14 |
Family
ID=7653332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10116331A Withdrawn DE10116331A1 (en) | 2000-08-22 | 2001-04-02 | System and method for the combined use of different display / device types with system-controlled context-dependent information display |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10116331A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006014571A1 (en) * | 2006-03-29 | 2007-10-04 | Di Ke Opto-Electronics Co., Ltd | Auxiliary testing device using method for visually testing e.g. brake system of vehicle, involves attaching auxiliary testing device with sensor head of image recording video recorder for recording images in testing device |
DE102006006001B3 (en) * | 2006-02-08 | 2007-10-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and arrangement for inserting location-related information into a visual representation or view of a scene |
DE102017130913A1 (en) * | 2017-12-21 | 2019-06-27 | Rehau Ag + Co | Method for constructing a pipe system while creating at least one pipe connection |
-
2001
- 2001-04-02 DE DE10116331A patent/DE10116331A1/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006006001B3 (en) * | 2006-02-08 | 2007-10-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and arrangement for inserting location-related information into a visual representation or view of a scene |
DE102006014571A1 (en) * | 2006-03-29 | 2007-10-04 | Di Ke Opto-Electronics Co., Ltd | Auxiliary testing device using method for visually testing e.g. brake system of vehicle, involves attaching auxiliary testing device with sensor head of image recording video recorder for recording images in testing device |
DE102017130913A1 (en) * | 2017-12-21 | 2019-06-27 | Rehau Ag + Co | Method for constructing a pipe system while creating at least one pipe connection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1182541A2 (en) | System and method for combined use of different display/apparatus types with system controlled context dependant information representation | |
EP1157316B1 (en) | System and method for situation-related interaction support with the aid of augmented reality technologies | |
EP1163557B1 (en) | System and method for processing documents with a multi-layer information structure, in particular for technical and industrial applications | |
EP1230583B1 (en) | System and method for object-oriented marking and organising of information about selected technological components | |
EP1451652B1 (en) | System and method for establishing a documentation of working processes for display in an augmented reality system | |
DE10041104C1 (en) | Device and method for communication between a mobile data processing device and a stationary data processing device | |
DE112005001152T5 (en) | Method and system for retrieving and displaying technical data for an industrial facility | |
DE3930581A1 (en) | Work station for process control personnel - has display fields with windows accessed by mouse selection | |
WO2005045729A1 (en) | System and method for carrying out and visually displaying simulations in an augmented reality | |
EP3392987B1 (en) | Method and system for automated support of a connection process, in particular for components in a switch cabinet or on a mounting system | |
DE102014210205A1 (en) | Processing device and information exchange method | |
DE102004021379B4 (en) | Operating and monitoring system for industrial plants and processes | |
DE102019215739A1 (en) | Control device, communication terminal and control system | |
DE10116331A1 (en) | System and method for the combined use of different display / device types with system-controlled context-dependent information display | |
DE102018206034A1 (en) | Worker management system, process plant, process, computer program, machine-readable storage medium and electronic control unit | |
DE10116539B4 (en) | System and a method for automatic data preparation, particularly in the production, assembly, service or maintenance environment | |
EP1370981A2 (en) | System and method for representing information | |
DE10135837A1 (en) | Operating observing system involves detecting voice information in user voice commands, projecting system state images, combining voice information with data determining operating state | |
Huenerfauth | Mobile Technology Applications for Manufacturing, Reduction of Muda (Waste) and the Effect on Manufacturing Economy and Efficiency. | |
EP0588108A2 (en) | Arrangement to operate a computer controlled manufacturing system | |
WO2024104560A1 (en) | Generating holograms for display in an augmented reality environment | |
EP4287043A1 (en) | Generation of holograms for representation in an augmented reality environment | |
DE102004030533A1 (en) | Method and system for context-sensitive provision of product information | |
WO2005114496A1 (en) | Method and device for designing technical devices and systems | |
Benson et al. | Power Plant MOM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ON | Later submitted papers | ||
OP8 | Request for examination as to paragraph 44 patent law | ||
8130 | Withdrawal |