DE10063089C1 - Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems - Google Patents
Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-SystemsInfo
- Publication number
- DE10063089C1 DE10063089C1 DE10063089A DE10063089A DE10063089C1 DE 10063089 C1 DE10063089 C1 DE 10063089C1 DE 10063089 A DE10063089 A DE 10063089A DE 10063089 A DE10063089 A DE 10063089A DE 10063089 C1 DE10063089 C1 DE 10063089C1
- Authority
- DE
- Germany
- Prior art keywords
- user
- information
- commands
- objects
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000001419 dependent effect Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000005562 fading Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35487—Display and voice output incorporated in safety helmet of operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Die Erfindung betrifft ein System und ein Verfahren in einer Augmented-Reality-Umgebung, welches die Informationsdarstellung hinsichtlich der Anwenderfreundlichkeit verbessert. Das System besteht aus einer Anzeigevorrichtung (2) zum Anzeigen von Informationen (3), einer Bilderfassungseinheit (7) zur Erfassung von Objekten (9) in einem Sichtfeld (8) eines Anwenders (1), einer Befehlserfassungseinheit (10) zur Erfassung von Befehlen (4) des Anwenders (1) und einer Steuerungseinheit (11) zum Ansteuern der Anzeigevorrichtung (2), zum Erkennen der von der Bilderfassungseinheit (7) erfassten Objekte (9) und zur Verarbeitung der durch die Befehlserfassungseinheit (10) erfassten Befehle (4) des Anwenders (1), wobei eine durch die Befehle (4) des Anwenders (1) steuerbare Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) vorgesehen ist.
Description
Die Erfindung betrifft ein System und Verfahren zur anwender
gesteuerten Verknüpfung von Informationen innerhalb eines
Augmented-Reality-Systems.
Ein derartiges System und Verfahren kommt beispielsweise im
Bereich der Automatisierungstechnik, bei Produktions- und
Werkzeugmaschinen, bei Diagnose-/Serviceunterstutzungs
systemen sowie für komplexe Komponenten, Gerate und Systeme,
wie beispielsweise Fahrzeuge und industrielle Maschinen und
Anlagen zum Einsatz.
Aus der WO 2000/52541 A1 ist ein System und Verfahren zur
situationsgerechten Unterstützung der Interaktion zwischen
einem Anwender und einer technischen Vorrichtung mit Hilfe
von Augmented-Reality-Technologien bekannt. Eine konkrete
Arbeitssituation wird dabei automatisch erfasst, analysiert
und aus statischen Informationen werden automatisch für die
analysierte Arbeitssituation relevante Informationen
ausgewählt und dargestellt.
Die DE 100 06 125 A1 beschreibt einen tragbaren Computer zur
Verwendung in einer Prozesssteuerungsumgebung, welcher eine
Verarbeitungseinheit, einen Speicher und eine Reihe
Peripheriegeräte wie z. B. eine Anzeigeneinspiegelung bzw.
ein Head-up Display, ein Mikrophon, eine Videokamera und ein
Fern-Kommunikationsgerät, das mit einem Host-Rechner
kommuniziert, umfasst. Der tragbare Computer liefert über die
Anzeigeneinspiegelung Informationen, die mit einem oder
mehreren Geraten innerhalb des Prozesssteuerungssystems in
Zusammenhang stehen.
Der Erfindung liegt die Aufgabe zugrunde, die Informations
darstellung innerhalb eines Augmented-Reality-Systems
hinsichtlich der Anwenderfreundlichkeit zu verbessern.
Diese Aufgabe wird durch ein System sowie ein Verfahren mit
den in den Ansprüchen 1 bzw. 8 angegebenen Merkmalen gelöst.
Das erfindungsgemäße System bzw. Verfahren lässt sich
vorzugsweise in einer Augmented-Reality-Umgebung einsetzen.
Objekte im Sichtfeld des Anwenders werden durch das System
erfasst und erkannt und es wird in Abhängigkeit vom erkannten
Objekt eine bestimmte mit diesem Objekt verknüpfte
Information in eine Anzeigevorrichtung eingeblendet. In
bekannten Systemen dieser Art hat der Anwender keine
Möglichkeit, Inhalt und Darstellungsart dieser angezeigten
Information direkt zu beeinflussen. Gemäß der Erfindung
erhält der Anwender diese Möglichkeit. Er kann durch Befehle
die Verknüpfung zwischen den angezeigten Informationen und
den zeitgleich erfassten Objekten steuern und wird damit vom
passiven Informationsempfänger zum aktiven, in den Prozess
der Informationsbereitstellung eingreifenden Nutzer.
Der Erfindung liegt die Erkenntnis zugrunde, dass bei einem
üblichen Augmented-Reality-System die angezeigte Information
"labil" ist. Wenn die typischerweise am Kopf des Anwenders
befestigte Bilderfassungseinheit wegen einer Kopfbewegung das
Objekt, welchem die Information zugeordnet ist, nicht mehr
erfassen kann, wird diese Information nicht mehr angezeigt.
Der Anwender muss dann durch Ausprobieren verschiedener
Kopfstellungen versuchen, sich die hinterlegte Information
wieder einblenden zu lassen, was zeitraubend und frustrierend
sein kann. Hat die Bilderfassungseinheit das Objekt wieder
erfasst, muss der Anwender versuchen, seinen Kopf bzw. seine
Position so lange ruhig zu halten, bis er die angezeigten
Informationen gelesen hat.
Im Gegensatz zu einem üblichen Augmented-Reality-System, wo
der Anwender zu einem relativ unnatürlichen Verhalten
gezwungen wird, was sowohl ergonomische Grundprinzipien
verletzt als auch eine Ablehnung des gesamten Systems
provozieren kann, ist die Steuereinheit zum durch die Befehle
des Anwenders steuerbaren, reversiblen Auftrennen der
Verknüpfung zwischen den angezeigten Informationen und den
zeitgleich erfassten Objekten, die Anzeigevorrichtung zum
Anzeigen der Information unabhängig von den zeitgleich
erfassten Objekten vorgesehen. Hierdurch wird erreicht, dass
die angezeigten Informationen durch Befehle des Anwenders auf
der Anzeigevorrichtung quasi "eingefroren" werden und solange
kontextunabhängig angezeigt bleiben, bis durch erneute
Befehle des Anwenders die Informationsanzeige wieder
"aufgetaut" wird. Insgesamt ergeben sich aus Sicht des
Anwenders folgende Vorteile: Die virtuelle Information wird
zunächst kontextabhängig, also dem erfassten Objekt
zugeordnet, angezeigt und gibt dem Anwender somit Hinweise,
auf welches reale Objekt sich die Information bezieht. Die
Überlagerung im Sichtfeld des Anwenders ist jedoch labil und
störanfällig, da sie abhängig von der stetigen Verbindung der
Kamera zu dem markierten Objekt ist. Um die überlagerten
Informationen zu stabilisieren, kann der Anwender die
angezeigte Information über einen Befehl "einfrieren" und in
Ruhe die kontextabhängigen Informationen kontextunabhängig
betrachten, ohne Angst haben zu müssen, dass durch eine
unachtsame Bewegung der Kontakt unterbrochen wird. Durch
einen weiteren Befehl hebt der Anwender die Stabilisierung
wieder auf.
Die Befehle des Anwenders, die vom System erfasst werden,
können unterschiedlicher Art sein. Der Anwender kann durch
Drücken einer Taste, durch Gestik, Mimik oder auch nur durch
eine Augenbewegung die Verknüpfung steuern. Besonders
vorteilhaft ist jedoch ein System bei welchem die
Befehlserfassungseinheit zur Erfassung von Sprachbefehlen des
Anwenders vorgesehen ist. Die Sprachinteraktion ist deswegen
vorteilhaft, weil der Anwender über Sprache schneller
reagieren kann. Müsste der Anwender die Funktionalität über
eine Taste auslösen, könnten genau die dafür nötigen
Bewegungen die Verbindung der Bilderfassungseinheit zum
Objekt unterbrechen.
Um eine Kommunikation in beide Richtungen zu erreichen, wird
vorgeschlagen, dass die Steuereinheit zur Erzeugung von
Rückmeldungen an den Anwender vorgesehen ist und
Rückmeldevorrichtungen zur Übertragung der Rückmeldungen an
den Anwender vorgesehen sind. Es ist besonders sinnvoll, die
Rückmeldungen als akustische Rückmeldungen auszuführen.
Eine vorteilhafte Ausgestaltung des System ist dadurch
gekennzeichnet, dass zum Erkennen der erfassten Objekte diese
mit mindestens einem Marker versehen sind, dessen von der
Bilderfassungseinheit erfassbare Struktur von der
Steuerungseinheit erkennbar ist und dass dem erfassten und
erkannten Marker Informationen zugeordnet sind. Auch andere
übliche sogenannte Tracking-Verfahren könnten zum Einsatz
kommen, so könnte die Bilderfassungseinheit die Struktur oder
Teile der Struktur des erfassten Objekts erkennen und für
dieses Objekt hinterlegte virtuelle, kontextabhängige
Informationen könnten angezeigt werden. Die so aufgerufene
Information bezeichnet man auch als getrackte Information.
Damit die angezeigten Informationen vom Anwender leicht dem
erfassten Objekt zugeordnet werden können und um Vorteile der
Augmented-Reality-Technologie nutzen zu können, wird
vorgeschlagen, dass als Anzeigevorrichtung ein Head-Mounted
Display (z. B. eine Datenbrille) benutzt wird und die
Informationen in das Sichtfeld des Anwenders eingeblendet
werden.
Das vorgeschlagene System ist vorteilhaft einsetzbar in einer
Augmented-Reality-Umgebung zur kontextunabhängigen
Darstellung der zuvor kontextabhängig aufgerufenen
Informationen auf der Anzeigevorrichtung, wobei die
kontextunabhängige Darstellung durch die Befehle des
Anwenders gestartet und beendet werden kann.
Im Folgenden wird die Erfindung anhand des in den Figuren
dargestellten Ausführungsbeispiels näher beschrieben und
erläutert.
Es zeigen:
Fig. 1 ein Ausführungsbeispiel eines Systems in einer
Augmented-Reality-Umgebung,
Fig. 2 das Sichtfeld eines Anwenders bei kontextabhängiger
Darstellung der Information,
Fig. 3 das Sichtfeld des Anwenders bei kontextunabhängiger
Darstellung der Information und
Fig. 4 eine schematische Darstellung des interaktiven
Befehlsprozesses.
Fig. 1 zeigt ein Ausführungsbeispiel eines Systems in einer
Augmented-Reality-Umgebung, bei dem ein Anwender 1 ein Head-
Mounted Display 2 trägt und Befehle 4 über ein Headset-
Mikrofon 10 an eine Steuerungseinheit 11 gibt. Am Head-
Mounted Display 2 des Anwenders 1 ist eine Videokamera 7
montiert, die ein Objekt 9, z. B. eine Werkzeugmaschine, mit
einer Teilkomponente 15 im Sichtfeld des Anwenders 1 erfasst.
Die Werkzeugmaschine 9 ist mit einem Marker 6 markiert.
In dem in Fig. 1 gezeigten Szenario soll ein Service
techniker 1 eine defekte Komponente 15 einer Werkzeugmaschine
9 reparieren. Er hat eine Steuerungseinheit 11 in Form eines
mobilen Computers am Körper und trägt ein Head-Mounted
Display 2. Der Servicetechniker 1 blickt auf die Komponente
15, die mit einem Marker 6 gekennzeichnet ist und mit
Augmented-Reality-Information 3 hinterlegt ist. Die Kamera 7
am Head-Mounted Display 2 erfasst den Marker 6 und blendet
die entsprechende virtuelle Information 3 in das Display 2
und damit in das Sichtfeld 8 des Technikers 1 ein. Der
Techniker 1 kann Befehle 4 über ein Headset-Mikrofon 10 an
die Steuerungseinheit 11 geben.
In Fig. 2 ist das Sichtfeld 8 des Technikers 1 bei
kontextabhängiger Darstellung der Information 3 und das
betrachtete Objekt 9 mit einer Komponente 15 dargestellt. Im
gezeigten Fall der kontextabhängigen Darstellung wird die
augmentierte Information 3 im Sichtfeld 8 des Technikers 1 so
dargestellt, z. B. verbunden mit einem farbigen Kreis 14 um
eine Komponente 15 der Werkzeugmaschine 9, dass die
Information 3 für den Techniker 1 eindeutig dieser Komponente
15 zugeordnet werden kann. Die augmentierte Information 3
enthält im Anwendungsbeispiel textuelle Anweisungen, mit
welchem Werkzeug und auf welche Weise diese Komponente 15
demontiert werden kann. Der Techniker 1 sieht die mit dem
Kreis 14 gekennzeichnete Komponente 15 in seinem zentralen
Sichtfeld und registriert die textuellen Anweisungen im
peripheren Sichtfeld. Auch bei Kopfbewegungen des Technikers
1 bleibt die Information 3 im Display 2 mit der Komponente 15
der Werkzeugmaschine 9 verknüpft. Die angezeigte Information
3 ist also frei beweglich auf dem Display 2 und damit im
Sichtfeld 8 des Technikers 1.
Im Gegensatz dazu zeigt die Fig. 3 das Sichtfeld 8 des
Technikers 1 bei kontextunabhängiger Darstellung der
Information 3. Im diesem Fall bleibt die augmentierte
Information 3 fest im Display 2 bzw. im Sichtfeld 8 des
Technikers 1 eingeblendet auch wenn dieser den Kopf bewegt
und die Werkzeugmaschine 9 dadurch nicht mehr in seinem
Sichtfeld 8 liegt.
In Fig. 4 wird der interaktive, in der Steuereinheit 11
implementierte Befehlsprozess 13 am Beispiel der akustischen
Variante schematisch dargestellt. Der Befehlsprozess an sich
wird mit dem Blockschaltbild 13 verdeutlicht, zusätzlich sind
der Techniker 1 mit einem Head-Mounted Display 2 mit Kamera
7, ein Mikrofon 10 und ein Lautsprecher 12 dargestellt. Die
Sprachbefehle des Technikers 1 sind mit dem Bezugszeichen 4,
die akustischen Rückmeldungen der Steuereinheit 11 mit dem
Bezugszeichen 5 gekennzeichnet.
Um die in seinem Sichtfeld 8 dargestellten Textinformationen
3 in Ruhe lesen zu können, auch wenn er seinen Kopf bewegt,
gibt der Techniker 1 einen Sprachbefehl 4 über das Mikrofon
10 an die Steuerungseinheit 11. In dieser läuft daraufhin der
Befehlsprozess 13 ab. Wird der Befehl nicht erkannt, wird
eine diesbezügliche akustische Rückmeldung 5 über einen
Lautsprecher bzw. einen Kopfhörer 12 an den Techniker 1
gegeben. Auch das Erkennen eines Befehls 4 wird akustisch
rückgemeldet. Im Beispiel aktiviert der Techniker 1 über das
Sprachkommando "Freeze" die Auftrennung der Verknüpfung
zwischen der angezeigten Information 3 und dem Objekt 9. Die
Steuerungseinheit 11 veranlasst in diesem Fall, dass die
Information 3 auf dem Display 2 "eingefroren" bzw.
stabilisiert wird. Der Techniker 1 hat nun die Möglichkeit,
seinen Kopf frei zu bewegen, ohne dass die Information 3 aus
seinem Sichtfeld 8 verschwindet. Beispielsweise beginnt er
die Information 3 zu lesen: Zunächst muss er einen bestimmten
Schraubenschlüssel aus seinem Werkzeugkoffer holen. Während
er zum Werkzeugkoffer geht, informiert er sich anhand der
weiterhin angezeigten Information 3 schon über die nächsten
Schritte. Er kennt nun den Ablauf der Demontage und braucht
die augmentierten aber "eingefrorenen" Informationen nicht
mehr. Mit einem weiteren Sprachkommando 4, z. B. "Defreeze",
stößt er den Befehlsprozess 13 wieder an. Mit diesem Befehl 4
wird die Steuerungseinheit 11 veranlasst, das "Einfrieren"
rückgängig zu machen, die Information 3 also wieder
kontextabhängig darzustellen. Sofern das Objekt 9, dem die
Information 3 zugeordnet ist, sich nicht weder im Sichtfeld
8 des Technikers 1 befindet, wird diese Information 3 aus dem
Display 2 gelöscht.
Der Vorteil der Augmented-Reality-Technologie, dass die
virtuelle Information 3 direkt mit dem zu ihr gehörigen
realen Objekt 9 verknüpft ist und deswegen exakt diesem
zugeordnet werden kann, wird somit mit den Vorteilen
kombiniert, die eine kontextunabhängige Informationsanzeige
dem Anwender 1 bietet. Mit Hilfe einer "Freeze"-
Funktionalität kann getrackte, ursprünglich kontextabhängige
augmentierte Information 3 nach Belieben kontextunabhängig
dargestellt werden, so dass diese zuvor "labile" Information
3 stabil wird. Das Aktivieren und Deaktivieren dieser
Funktionalität erfolgt aus Gründen der Reaktionsgeschwindig
keit vorteilhaft über Spracheingabe.
Zusammenfassend betrifft die Erfindung somit ein System und
ein Verfahren in einer Augmented-Reality-Umgebung, welches
die Informationsdarstellung hinsichtlich der Anwender
freundlichkeit verbessert. Das System besteht aus einer
Anzeigevorrichtung 2 zum Anzeigen von Informationen 3, einer
Bilderfassungseinheit 7 zur Erfassung von Objekten 9 in einem
Sichtfeld 8 eines Anwenders 1, einer Befehlserfassungseinheit
10 zur Erfassung von Befehlen 4 des Anwenders 1 und
einer Steuerungseinheit 11 zum Ansteuern der
Anzeigevorrichtung 2, zum Erkennen der von der
Bilderfassungseinheit 7 erfassten Objekte 9 und zur
Verarbeitung der durch die Befehlserfassungseinheit 10
erfassten Befehle 4 des Anwenders 1, wobei eine durch die
Befehle 4 des Anwenders 1 steuerbare Verknüpfung zwischen den
angezeigten Informationen 3 und den zeitgleich erfassten
Objekten 9 vorgesehen ist.
Claims (14)
1. System, bestehend aus
einer Anzeigevorrichtung (2) zum Anzeigen von Informationen (3),
einer Bilderfassungseinheit (7) zur Erfassung von Objekten (9) in einem Sichtfeld (8) eines Anwenders (1),
einer Befehlserfassungseinheit (10) zur Erfassung von Befehlen (4) des Anwenders (1) und
einer Steuerungseinheit (11) zum Ansteuern der Anzeigevorrichtung (2), zum Erkennen der von der Bilderfassungseinheit (7) erfassten Objekte (9) und zur Verarbeitung der durch die Befehlserfassungseinheit (10) erfassten Befehle (4) des Anwenders (1),
wobei eine durch die Befehle (4) des Anwenders (1) steuerbare Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) vorgesehen ist und wobei die Steuereinheit (11) zum durch die Befehle (4) des Anwenders (1) steuerbaren, reversiblen Auftrennen der Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) und die Anzeigevorrichtung (2) zum Anzeigen der Information (3) unabhängig von den zeitgleich erfassten Objekten (9) vorgesehen ist.
einer Anzeigevorrichtung (2) zum Anzeigen von Informationen (3),
einer Bilderfassungseinheit (7) zur Erfassung von Objekten (9) in einem Sichtfeld (8) eines Anwenders (1),
einer Befehlserfassungseinheit (10) zur Erfassung von Befehlen (4) des Anwenders (1) und
einer Steuerungseinheit (11) zum Ansteuern der Anzeigevorrichtung (2), zum Erkennen der von der Bilderfassungseinheit (7) erfassten Objekte (9) und zur Verarbeitung der durch die Befehlserfassungseinheit (10) erfassten Befehle (4) des Anwenders (1),
wobei eine durch die Befehle (4) des Anwenders (1) steuerbare Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) vorgesehen ist und wobei die Steuereinheit (11) zum durch die Befehle (4) des Anwenders (1) steuerbaren, reversiblen Auftrennen der Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) und die Anzeigevorrichtung (2) zum Anzeigen der Information (3) unabhängig von den zeitgleich erfassten Objekten (9) vorgesehen ist.
2. System nach Anspruch 1,
dadurch gekennzeichnet,
dass die Befehlserfassungseinheit (10) zur Erfassung von
Sprachbefehlen (4) des Anwenders (1) vorgesehen ist.
3. System nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass die Steuereinheit (11) zur Erzeugung von Rückmeldungen
(5) an den Anwender (1) vorgesehen ist und
Rückmeldevorrichtungen (12) zur Übertragung der Rückmeldungen
(5) an den Anwender (1) vorgesehen sind.
4. System nach Anspruch 3,
dadurch gekennzeichnet,
dass die Rückmeldungen (5) als akustische Rückmeldungen
ausgeführt sind.
5. System nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass zum Erkennen der erfassten Objekte (9) diese mit
mindestens einem Marker (6) versehen sind, dessen von der
Bilderfassungseinheit (7) erfassbare Struktur von der
Steuerungseinheit (11) erkennbar ist und dass dem erfassten
und erkannten Marker (6) Informationen (3) zugeordnet sind.
6. System nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die Anzeigevorrichtung (2) ein Head-Mounted Display ist
und die Informationen (3) zur Einblendung in das Sichtfeld
(8) des Anwenders (1) vorgesehen sind.
7. System nach einem der vorhergehenden Ansprüche in einer
Augmented-Reality-Umgebung zur kontextunabhängigen
Darstellung der zuvor kontextabhängig aufgerufenen
Informationen (3) auf der Anzeigevorrichtung (2), wobei die
kontextunabhängige Darstellung durch die Befehle (4) des
Anwenders (1) gestartet und beendet werden kann.
8. Verfahren
zum Anzeigen von Informationen (3),
zur Erfassung von Objekten (9) in einem Sichtfeld (8) eines Anwenders (1),
zur Erfassung von Befehlen (4) des Anwenders (1),
zum Erkennen der von einer Bilderfassungseinheit (7) erfassten Objekte (9) und
zur Verarbeitung von den durch eine Befehlserfassungseinheit (10) erfassten Befehlen (4) des Anwenders (1)
wobei eine Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) durch die Befehle (4) des Anwenders (1) gesteuert wird und wobei die Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) durch Befehle (4) des Anwenders (1) reversibel aufgetrennt wird und die angezeigte Information (3) unabhängig von den zeitgleich erfassten Objekten (9) dargestellt wird.
zum Anzeigen von Informationen (3),
zur Erfassung von Objekten (9) in einem Sichtfeld (8) eines Anwenders (1),
zur Erfassung von Befehlen (4) des Anwenders (1),
zum Erkennen der von einer Bilderfassungseinheit (7) erfassten Objekte (9) und
zur Verarbeitung von den durch eine Befehlserfassungseinheit (10) erfassten Befehlen (4) des Anwenders (1)
wobei eine Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) durch die Befehle (4) des Anwenders (1) gesteuert wird und wobei die Verknüpfung zwischen den angezeigten Informationen (3) und den zeitgleich erfassten Objekten (9) durch Befehle (4) des Anwenders (1) reversibel aufgetrennt wird und die angezeigte Information (3) unabhängig von den zeitgleich erfassten Objekten (9) dargestellt wird.
9. Verfahren nach Anspruch 8,
dadurch gekennzeichnet,
dass die Befehle (4) des Anwenders Sprachbefehle sind.
10. Verfahren nach einem der Anspruche 8 oder 9,
dadurch gekennzeichnet,
dass Rückmeldungen (5) an den Anwender (1) durch eine
Steuereinheit (11) erzeugt und mittels einer
Rückmeldevorrichtung (12) übertragen werden.
11. Verfahren nach Anspruch 10,
dadurch gekennzeichnet,
dass die Rückmeldungen (5) als akustische Rückmeldungen
ausgeführt sind.
12. Verfahren nach einem der Anspruche 8 bis 11,
dadurch gekennzeichnet,
dass zum Erkennen der erfassten Objekte (9) diese mit
mindestens einem Marker (6) versehen sind, dessen Struktur
von der Bilderfassungseinheit (7) erfasst und von der
Steuerungseinheit (11) erkannt wird und dass dem erfassten
und erkannten Marker (6) Informationen (3) zugeordnet werden.
13. Verfahren nach einem der Anspruche 8 bis 12,
dadurch gekennzeichnet,
dass die Informationen (3) mittels eines Head-Mounted
Displays (2) in das Sichtfeld (8) des Anwenders (1)
eingeblendet werden.
14. Verfahren nach einem der Ansprüche 8 bis 13 zur
Verwendung in einer Augmented-Reality-Umgebung zur kontextun
abhängigen Darstellung der zuvor kontextabhängig aufgerufenen
Informationen (3) auf der Anzeigevorrichtung (2), wobei die
kontextunabhängige Darstellung durch die Befehle (4) des
Anwenders (1) gestartet und beendet wird.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10063089A DE10063089C1 (de) | 2000-12-18 | 2000-12-18 | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
PCT/DE2001/004543 WO2002050649A2 (de) | 2000-12-18 | 2001-12-04 | Anwendergesteuerte verknüpfung von informationen innerhalb eines augmented-reality-systems |
EP01271571.0A EP1362281B1 (de) | 2000-12-18 | 2001-12-04 | Anwendergesteuerte verknüpfung von informationen innerhalb eines augmented-reality-systems |
US10/463,695 US20040046711A1 (en) | 2000-12-18 | 2003-06-18 | User-controlled linkage of information within an augmented reality system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10063089A DE10063089C1 (de) | 2000-12-18 | 2000-12-18 | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10063089C1 true DE10063089C1 (de) | 2002-07-25 |
Family
ID=7667655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10063089A Expired - Lifetime DE10063089C1 (de) | 2000-12-18 | 2000-12-18 | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
Country Status (4)
Country | Link |
---|---|
US (1) | US20040046711A1 (de) |
EP (1) | EP1362281B1 (de) |
DE (1) | DE10063089C1 (de) |
WO (1) | WO2002050649A2 (de) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008009446A1 (de) * | 2008-02-15 | 2009-08-20 | Volkswagen Ag | Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung |
DE102008012122A1 (de) * | 2008-03-01 | 2009-09-03 | Rittal Gmbh & Co. Kg | Prüfeinrichtung für Schaltschränke oder Racks |
DE102012206712A1 (de) * | 2012-04-24 | 2013-10-24 | Homag Holzbearbeitungssysteme Gmbh | Verfahren zur Bearbeitung von Werkstücken |
DE102012217573A1 (de) | 2012-09-27 | 2014-03-27 | Krones Ag | Bediensystem für eine Maschine |
EP2887122A1 (de) * | 2013-12-20 | 2015-06-24 | Abb Ag | Intelligente Brillenvorrichtung für elektronische oder elektrische Anwendungen |
US20150199106A1 (en) * | 2014-01-14 | 2015-07-16 | Caterpillar Inc. | Augmented Reality Display System |
EP2952989A1 (de) * | 2014-06-03 | 2015-12-09 | Siemens Aktiengesellschaft | Verfahren zur berechnung einer optimierten trajektorie |
DE102014112691A1 (de) * | 2014-09-03 | 2016-03-03 | E. Zoller GmbH & Co. KG Einstell- und Messgeräte | System zur Erfassung und Unterstützung einer Interaktion mit einem Bediener |
DE102015204181A1 (de) | 2015-03-09 | 2016-09-15 | Ebm-Papst Mulfingen Gmbh & Co. Kg | Datenbrille für busfähige Gerätebauteile |
WO2016193305A1 (de) * | 2015-06-03 | 2016-12-08 | Siemens Aktiengesellschaft | Verfahren zur berechnung einer optimierten trajektorie |
DE102017215114A1 (de) * | 2017-08-30 | 2019-02-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators |
DE102017220438A1 (de) * | 2017-11-16 | 2019-05-16 | Vega Grieshaber Kg | Prozessautomatisierungssystem mit einem Wearable Computer |
DE102018109463B3 (de) | 2018-04-19 | 2019-09-19 | Yuanda Robotics Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
WO2020049231A1 (fr) * | 2018-09-06 | 2020-03-12 | Sidel Participations | Procédé d'assistance par ordinateur dans la gestion d'une ligne de production |
DE102020206403A1 (de) | 2020-05-22 | 2021-11-25 | Kuka Deutschland Gmbh | Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters |
DE102019006800B4 (de) | 2018-10-02 | 2022-07-28 | Fanuc Corporation | Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8944070B2 (en) | 1999-04-07 | 2015-02-03 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
US20140012674A1 (en) * | 2000-03-21 | 2014-01-09 | Gregory A. Piccionielli | Heads-up billboard |
EP1709519B1 (de) * | 2003-12-31 | 2014-03-05 | ABB Research Ltd. | Virtuelle steuertafel |
US20060049248A1 (en) | 2004-09-03 | 2006-03-09 | Siemens Aktiengesellschaft | Method and system for uniquely labeling products |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
WO2007066166A1 (en) * | 2005-12-08 | 2007-06-14 | Abb Research Ltd | Method and system for processing and displaying maintenance or control instructions |
US20070205963A1 (en) * | 2006-03-03 | 2007-09-06 | Piccionelli Gregory A | Heads-up billboard |
US9549663B2 (en) | 2006-06-13 | 2017-01-24 | Intuitive Surgical Operations, Inc. | Teleoperated surgical retractor system |
US10008017B2 (en) * | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
US20090192523A1 (en) | 2006-06-29 | 2009-07-30 | Intuitive Surgical, Inc. | Synthetic representation of a surgical instrument |
US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
US8620473B2 (en) | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
WO2009094587A1 (en) * | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye mounted displays |
US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
US8427424B2 (en) | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
US20110181497A1 (en) * | 2010-01-26 | 2011-07-28 | Roni Raviv | Object related augmented reality play system |
US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
US9727128B2 (en) * | 2010-09-02 | 2017-08-08 | Nokia Technologies Oy | Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode |
US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
EP3654146A1 (de) | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | Verankerung von virtuellen bildern auf realweltflächen in systemen der erweiterten realität |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US8990682B1 (en) | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US9547406B1 (en) | 2011-10-31 | 2017-01-17 | Google Inc. | Velocity-based triggering |
CN102773822B (zh) * | 2012-07-24 | 2014-10-08 | 青岛理工大学 | 一种具有智能诱导功能的扳手系统及测量方法和诱导方法 |
CN103595984A (zh) * | 2012-08-13 | 2014-02-19 | 辉达公司 | 3d眼镜、3d显示系统及3d显示方法 |
US8965624B2 (en) | 2012-08-14 | 2015-02-24 | Ebay Inc. | Method and system of vehicle tracking portal |
US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US9993335B2 (en) | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
EP3067769B1 (de) | 2015-03-12 | 2017-10-04 | Schleuniger Holding AG | Kabelbearbeitungsmaschinenüberwachung mit verbessertem genauigkeitsmechanismus zur kabelverarbeitung |
EP3068002B1 (de) | 2015-03-12 | 2019-11-06 | Schleuniger Holding AG | Kabelbearbeitungsmaschine mit verbessertem genauigkeitsmechanismus zur kabelverarbeitung |
JP6766061B2 (ja) | 2015-03-17 | 2020-10-07 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 遠隔操作医療システムにおける器具の画面上での識別をレンダリングするためのシステム及び方法 |
US10610315B2 (en) * | 2015-03-17 | 2020-04-07 | Intuitive Surgical Operations, Inc. | Systems and methods for onscreen identification of instruments in a teleoperational medical system |
US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
IL243422B (en) * | 2015-12-30 | 2018-04-30 | Elbit Systems Ltd | Information management is displayed according to the directions of the user's gaze |
JP2017173530A (ja) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置 |
DE102016207009A1 (de) * | 2016-04-26 | 2017-10-26 | Krones Aktiengesellschaft | Bediensystem für eine Maschine der Lebensmittelindustrie, insbesondere der Getränkemittelindustrie |
WO2018052966A1 (en) * | 2016-09-16 | 2018-03-22 | Zimmer, Inc. | Augmented reality surgical technique guidance |
US10735691B2 (en) | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
US10866631B2 (en) | 2016-11-09 | 2020-12-15 | Rockwell Automation Technologies, Inc. | Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality |
US11132840B2 (en) | 2017-01-16 | 2021-09-28 | Samsung Electronics Co., Ltd | Method and device for obtaining real time status and controlling of transmitting devices |
WO2018169891A1 (en) | 2017-03-13 | 2018-09-20 | Zimmer, Inc. | Augmented reality diagnosis guidance |
US10290152B2 (en) | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
US10777009B2 (en) * | 2018-02-18 | 2020-09-15 | CN2, Inc. | Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent |
US20200184222A1 (en) | 2018-12-10 | 2020-06-11 | Electronic Theatre Controls, Inc. | Augmented reality tools for lighting design |
US11983462B2 (en) | 2021-08-31 | 2024-05-14 | Snap Inc. | Conversation guided augmented reality experience |
EP4339721A1 (de) * | 2022-09-15 | 2024-03-20 | SCM Group S.p.A. | Verfahren zum anzeigen von informationen über eine werkzeugmaschine und zugehörige bearbeitungsanlage |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579026A (en) * | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
US6046712A (en) * | 1996-07-23 | 2000-04-04 | Telxon Corporation | Head mounted communication system for providing interactive visual communications with a remote system |
DE10006126A1 (de) * | 1999-02-12 | 2000-08-17 | Fisher Rosemount Systems Inc | Tragbarer Computer in einer Prozesssteuerungsumgebung |
WO2000052541A1 (de) * | 1999-03-02 | 2000-09-08 | Siemens Aktiengesellschaft | System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4977509A (en) * | 1988-12-09 | 1990-12-11 | Campsport, Inc. | Personal multi-purpose navigational apparatus and method for operation thereof |
DE4110649A1 (de) * | 1991-04-02 | 1992-10-22 | Telefonbau & Normalzeit Gmbh | Fernsehueberwachungsanlage |
US6369952B1 (en) * | 1995-07-14 | 2002-04-09 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
FR2741225A1 (fr) * | 1995-11-13 | 1997-05-16 | Production Multimedia Apm Atel | Console de camera virtuelle |
TW395121B (en) * | 1996-02-26 | 2000-06-21 | Seiko Epson Corp | Personal wearing information display device and the display method using such device |
JP3962115B2 (ja) * | 1996-11-08 | 2007-08-22 | オリンパス株式会社 | 映像観察装置 |
SE9604522L (sv) * | 1996-12-09 | 1997-12-15 | Bjoern Heed | Kikare med möjlighet att tillfälligt frysa bilden |
US6091546A (en) * | 1997-10-30 | 2000-07-18 | The Microoptical Corporation | Eyeglass interface system |
US6097353A (en) * | 1998-01-20 | 2000-08-01 | University Of Washington | Augmented retinal display with view tracking and data positioning |
-
2000
- 2000-12-18 DE DE10063089A patent/DE10063089C1/de not_active Expired - Lifetime
-
2001
- 2001-12-04 WO PCT/DE2001/004543 patent/WO2002050649A2/de active Application Filing
- 2001-12-04 EP EP01271571.0A patent/EP1362281B1/de not_active Expired - Lifetime
-
2003
- 2003-06-18 US US10/463,695 patent/US20040046711A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579026A (en) * | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
US6046712A (en) * | 1996-07-23 | 2000-04-04 | Telxon Corporation | Head mounted communication system for providing interactive visual communications with a remote system |
DE10006126A1 (de) * | 1999-02-12 | 2000-08-17 | Fisher Rosemount Systems Inc | Tragbarer Computer in einer Prozesssteuerungsumgebung |
WO2000052541A1 (de) * | 1999-03-02 | 2000-09-08 | Siemens Aktiengesellschaft | System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008009446A1 (de) * | 2008-02-15 | 2009-08-20 | Volkswagen Ag | Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung |
DE102008012122A1 (de) * | 2008-03-01 | 2009-09-03 | Rittal Gmbh & Co. Kg | Prüfeinrichtung für Schaltschränke oder Racks |
DE102008012122B4 (de) * | 2008-03-01 | 2014-09-11 | Rittal Gmbh & Co. Kg | Prüfeinrichtung für Schaltschränke oder Racks |
DE102012206712A1 (de) * | 2012-04-24 | 2013-10-24 | Homag Holzbearbeitungssysteme Gmbh | Verfahren zur Bearbeitung von Werkstücken |
DE102012217573A1 (de) | 2012-09-27 | 2014-03-27 | Krones Ag | Bediensystem für eine Maschine |
WO2014048765A1 (de) | 2012-09-27 | 2014-04-03 | Krones Ag | Bediensystem für eine maschine |
US9478115B2 (en) | 2012-09-27 | 2016-10-25 | Krones Ag | Operator system for a machine |
EP2887122A1 (de) * | 2013-12-20 | 2015-06-24 | Abb Ag | Intelligente Brillenvorrichtung für elektronische oder elektrische Anwendungen |
US20150199106A1 (en) * | 2014-01-14 | 2015-07-16 | Caterpillar Inc. | Augmented Reality Display System |
EP2952989A1 (de) * | 2014-06-03 | 2015-12-09 | Siemens Aktiengesellschaft | Verfahren zur berechnung einer optimierten trajektorie |
DE102014112691A1 (de) * | 2014-09-03 | 2016-03-03 | E. Zoller GmbH & Co. KG Einstell- und Messgeräte | System zur Erfassung und Unterstützung einer Interaktion mit einem Bediener |
DE102015204181A1 (de) | 2015-03-09 | 2016-09-15 | Ebm-Papst Mulfingen Gmbh & Co. Kg | Datenbrille für busfähige Gerätebauteile |
WO2016193305A1 (de) * | 2015-06-03 | 2016-12-08 | Siemens Aktiengesellschaft | Verfahren zur berechnung einer optimierten trajektorie |
US10551820B2 (en) | 2015-06-03 | 2020-02-04 | Siemens Aktiengesellschaft | Method for calculating an optimized trajectory |
DE102017215114A1 (de) * | 2017-08-30 | 2019-02-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators |
DE102017220438A1 (de) * | 2017-11-16 | 2019-05-16 | Vega Grieshaber Kg | Prozessautomatisierungssystem mit einem Wearable Computer |
DE102017220438B4 (de) | 2017-11-16 | 2024-08-01 | Vega Grieshaber Kg | Prozessautomatisierungssystem mit einem Wearable Computer |
DE102018109463B3 (de) | 2018-04-19 | 2019-09-19 | Yuanda Robotics Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
DE102018109463C5 (de) | 2018-04-19 | 2023-10-05 | Voraus Robotik Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
WO2020049231A1 (fr) * | 2018-09-06 | 2020-03-12 | Sidel Participations | Procédé d'assistance par ordinateur dans la gestion d'une ligne de production |
FR3085766A1 (fr) * | 2018-09-06 | 2020-03-13 | Sidel Participations | Procede d'assistance par ordinateur dans la gestion d'une ligne de production |
DE102019006800B4 (de) | 2018-10-02 | 2022-07-28 | Fanuc Corporation | Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität |
US11724388B2 (en) | 2018-10-02 | 2023-08-15 | Fanuc Corporation | Robot controller and display device using augmented reality and mixed reality |
DE102019009313B4 (de) | 2018-10-02 | 2024-02-15 | Fanuc Corporation | Robotersteuerung, Verfahren und Computerprogramm unter Verwendung von erweiterter Realität und gemischter Realität |
DE102020206403A1 (de) | 2020-05-22 | 2021-11-25 | Kuka Deutschland Gmbh | Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters |
Also Published As
Publication number | Publication date |
---|---|
EP1362281B1 (de) | 2017-03-08 |
WO2002050649A2 (de) | 2002-06-27 |
WO2002050649A3 (de) | 2003-09-18 |
US20040046711A1 (en) | 2004-03-11 |
EP1362281A2 (de) | 2003-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10063089C1 (de) | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems | |
EP1250701B1 (de) | System und verfahren zur blickfokussierten sprachverarbeitung | |
DE112006002954B4 (de) | Virtuelles Schnittstellensystem | |
EP1451652B1 (de) | System und verfahren zur erstellung einer dokumentation von arbeitsvorgängen zur darstellung in einem augmented-reality-system | |
DE202017105262U1 (de) | Erzeugen virtueller Notationsoberflächen mit Gesten in einer erweiterten und/oder virtuellen Realitätsumgebung | |
EP3394708B1 (de) | Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system | |
DE202017105200U1 (de) | Ziehen von virtuellen Elementen einer erweiterten und/oder virtuellen Realitätsumgebung | |
DE202017104928U1 (de) | Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen | |
DE202013012457U1 (de) | Digitale Vorrichtung | |
DE202017105283U1 (de) | Sitzungsende-Erkennung in einer Augmented- und/oder Virtual-Reality-Umgebung | |
EP3443743A1 (de) | Verfahren und vorrichtung zum generieren eines bildsignals und anzeigesystem für ein fahrzeug | |
EP1250702B1 (de) | System und verfahren zur blickfokussierten sprachverarbeitung mit erzeugung eines visuellen feedbacksignals | |
DE102019210383A1 (de) | Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung | |
DE102019218787A1 (de) | Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten | |
DE102005045973A1 (de) | Vorrichtung, System und Verfahren für ein kamerabasiertes Tracking | |
EP1364260B1 (de) | Verknüpfte information über die okulare weiterverfolgung innerhalb eines systems von verstärkter realität | |
DE102004021379B4 (de) | Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren | |
DE112018005641T5 (de) | Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm | |
EP3857339B1 (de) | Datenbrillen mit automatischer ausblendung von angezeigten inhalten für fahrzeuge | |
DE102014018056A1 (de) | Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille | |
EP3543810A1 (de) | System zur virtuellen unterstützung einer bedienperson für holzbearbeitungsmaschinen | |
DE102014206625A1 (de) | Positionierung eines HMD im Fahrzeug | |
EP3568737B1 (de) | Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug | |
WO2023110993A1 (de) | Erstellen einer arbeitsanleitung | |
DE102018201711A1 (de) | Anordnung und verfahren zum bereitstellen von informationen bei einer kopftragbaren erweiterte-realität-vorrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of patent without earlier publication of application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
R071 | Expiry of right |