DE10132243C2 - Kabelloses Interaktionssystem für Anwendungen der virtuellen Realität - Google Patents

Abstract

Die Erfindung betrifft eine handgehaltene, kabellose Eingabevorrichtung zur Erzeugung und Übermittlung von Orts-, Lage- und/oder Bewegungsdaten zur Navigation und Manipulation in Systemen der virtuellen Realität mit mindestens zwei Inertialsensoren zur Erfassung von analogen Werten der Beschleunigung und/oder der Winkelgeschwindigkeit der Eingabevorrichtung mit einer ersten Frequenz, einem integrierten Signalprozessor zum Auswerten der von den Inertialsensoren ausgegebenen analogen Daten und Erzeugung digitaler differentialer Daten bezüglich der Bewegung der Eingabevorrichtung mit einer zweiten Frequenz, die niedriger ist als die erste Frequenz, mit einer Kommunikationsvorrichtung zum kabellosen Senden der digitalen Daten niedriger Frequenz und einer Auslösevorrichtung als Teil der Eingabevorrichtung, die die Inertialsensoren einschaltet, wobei die zweite Frequenz der Bildfrequenz einer Bilddarstellungsvorrichtung entspricht.

Description

Die vorliegende Erfindung bezieht sich auf eine handgehaltene, kabellose Ein­ gabevorrichtung zur Erzeugung und Übermittlung von Orts-, Lage- und/oder Bewegungsdaten zur Navigation und Manipulation in Systemen der virtuellen Realität.

Die zunehmende Verbreitung von immersiven Systemen in industriellen Prozessen hat zur Folge, daß die Aspek­ te der Arbeitsplatzgestaltung und der Mensch- Maschine-Schnittstelle immer wichtiger werden vergli­ chen mit den Anfangsjahren dieser noch jungen Techno­ logie. Die Projektionstechnik der Head Mounted Dis­ plays (BND) wird in letzter Zeit zugunsten von groß­ räumigen Stereoprojektionen aufgegeben. Datenhand­ schuhe, die noch vor einigen Jahren das Bild der vir­ tuellen Realität bestimmten, werden zunehmend durch tastenbasierte Eingabegeräte ersetzt.

Diese Visualisierungseinrichtungen werden verwendet, um computergenerierte Daten naturgetreu zu visuali­ sieren und subjektiv zu überprüfen. Die natürliche Kommunikation und der geringe Aufwand zur Nutzung dieser Technologie unterstützt dabei ihre Akzeptanz und damit auch ihre Effizienz.

Herkömmliche Installationen erschweren jedoch die Verwendung dieser Technologien durch den Einsatz ka­ belgebundener Lagemeß- und Interaktionssysteme. Gera­ de bei der gemeinsamen Nutzung von Systemen der vir­ tuellen Realität wird das Interaktionsgerät und die vermessene Brille häufig weitergegeben. Alle am Pro­ zeß beteiligten Fachpersonen bringen dabei ihr spezi­ fisches Fachwissen in die Beurteilung ein und müssen dazu einen maßstäblichen und perspektivisch korrekten Eindruck von den visualisierten Objekten bekommen. Auch kann in manchen Fällen eine beidhändige Interak­ tion nicht eingesetzt werden, weil die erforderlichen Zuleitungen in kürzester Zeit ein unentwirrbares Ka­ belbündel bilden.

Systeme der virtuellen Realität binden den Benutzer stark in die visuelle Simulation durch das Computer­ system ein. Dieses Eintauchen des Benutzers wird als Immersion bezeichnet. Systeme der virtuellen Realität werden deshalb auch als immersive Systeme bezeichnet.

Die Immersion des Benutzers in computergenerierte Welten setzt spezielle Technologien voraus, die im folgenden kurz skizziert werden. Die Visualisierung muß die Objekte in einem korrekten Stereomodell dar­ stellen. Neben der individuellen Meßgrößen dem Ab­ stand der Augen müssen für die korrekte Stereodar­ stellung, die Bewegungen des Benutzers in die jeweils aktuelle Perspektive umgesetzt werden.

Für die Messung der aktuellen Lage werden verschiede­ ne Meßtechniken wie z. B. Magnetfelder oder Bildbear­ beitung eingesetzt. In manchen Fällen wird auf die Lagemessung verzichtet und eine feste Sichtposition angenommen. Bei dieser Darstellung werden die darge­ stellten Objekte auch nur an diesem festgelegten Punkt in ihren Dimensionen richtig wahrgenommen.

Die erforderliche Grafikleistung des eingesetzten Rechnersystems wird von den darzustellenden Objektda­ ten und den Funktionalitäten des Softwaresystems be­ stimmt. Die Leistung und Güte einer immersiven Umge­ bung hängt damit von einer optimalen Auslegung aller Einzelkomponenten ab.

Eine typische Installation besteht aus:

• - Projektionssystem:
  Auf der Basis unterschiedlicher Techniken wie z. B. Röhren- oder DLP-Projektoren werden die ge­ nierten Bildinformationen auf eine Projektions­ scheibe oder Leinwand projiziert. Es wird zwi­ schen aktivem und passivem Stereo unterschieden. Alternativ zu einem Projektionssystem werden Displaysysteme wie z. B. Datenhelm oder BOOM ein­ gesetzt.
• - Projektionsscheibe oder Leinwand:
  Die eingesetzten Projektionsscheiben oder -lein­ wände sind speziell bearbeitet, um einen guten Kontrast bei einer gleichmäßigen Helligkeitsver­ teilung zu gewährleisten.
• - Grafikrechner:
  Je nach Anwendung werden Grafikworkstations mit mehreren Grafiksubsystemen oder ein Verbund meh­ rerer Rechner eingesetzt, um die Bildinformatio­ nen aus den digitalen Objekten zu generieren.
• - Tracking-System:
  Typische Tracking-Systeme basieren auf der Ver­ messung künstlich generierter magnetischer Fel­ der. Diese Systeme können die Lage eines Sensors in einem räumlich begrenzten Bereich messen.
• - Eingabesysteme:
  Die Steuerung der Simulation erfolgt durch Ein­ gabegeräte, die neben Tastern über einen Lage­ sensor verfügen. Die Auswertung der Sensordaten ermöglicht z. B. das Greifen von visualisierten Objekten.

Die Eingabesysteme für immersive Anwendungen setzen sich aus einem logischen und einem physischen Teil der Benutzungsschnittstelle zusammen. Der logische Teil ist die virtuelle räumliche Benutzungsschnitt­ stelle. Dieser Teil beinhaltet z. B. die Darstellung von Funktionen oder Menüs, die Methode der Selektion von Objekten oder Funktionsmodi und die Art der Navi­ gation. Der physische Teil faßt die gerätetechnische Realisierung zusammen: die Gestaltung der Eingabesy­ steme, die eingesetzte Projektionstechnologie und die Gestaltung des gesamten Arbeitsbereiches.

Bei der Implementierung von immersiven Anwendungen werden beide Aspekte der Benutzungsschnittstelle be­ rücksichtigt und bilden in ihrem Verbund die Mensch- Maschine Schnittstelle des immersiven Systems.

Die handgeführten Eingabegeräte für immersive Systeme werden dabei als Interaktionssysteme bezeichnet. Ne­ ben speziellen Interaktionssystemen für die jeweilige Anwendung werden klassische Eingabegeräte aus dem Be­ reich 3D-CAD eingesetzt. Derartige Geräte sind bei­ spielsweise gestenbasierte Eingabesysteme wie Daten­ handschuhe, tastenbasierte Eingabesysteme mit oder ohne Lagemessung oder spezielle Eingabesysteme wie beispielsweise spezielle Sitzkisten, Cockpits, etc.

Die ersten Eingabesysteme für Anwendungen der virtu­ ellen Realität sind Datenhandschuhe. Die Sensoren sind in einen Handschuh eingearbeitet, oder werden direkt auf die Hand aufgesetzt. Die erforderlichen Kabel werden zusammengeführt und gemeinsam an die Auswerteelektronik geführt. Diese kommuniziert mit dem Hostsystem über eine Standard RS232C Schnittstel­ le.

Die absolute Position und Orientierung der Hand wird über ein Tracking-System (Polhemus oder Ascension) gemessen.

Eine eigene Klasse stellen die Systeme dar, bei denen der Benutzer ein Gerät in der Hand hält, mit dem die immersive Umgebung manipuliert werden kann. Diese Ge­ räte beinhalten einen Sensor für die Position und Orientierung (z. B. Polhemus oder Ascension) und haben mehrere Schalter, Drehregler oder Taster, mit denen der Benutzer Aktionen ausführen kann.

Die US 5,703,623 offenbart eine handgehaltene kabel­ lose Eingabevorrichtung, die mit Hilfe von auf piezo­ elektrischen dünnen Polymerfilmen beruhenden Sensoren ihre translatorische Relativkoordinaten und die mit Hilfe von auf den Hall-Effekt reagierenden Halbleitersensoren ihre absoluten Winkelkoordinaten bestimmt und als Kontrollsignal für einen Cursor oder ein ähn­ liches Bildelement eines elektronischen abbildenden Systems, z. B. eines Computermonitors, nutzt.

Die EP 457 541 A1 hat eine handgehaltene, kabellose, eine Anordnung von Initialsensoren umschließende Ein­ gabevorrichtung zum Inhalt, die ihre eigenen Bewe­ gungskoordinaten erfaßt und als Signal an Computer oder andere zu steuernde elektronische Gerätschaften sendet.

Weiterhin sind tastenbasierte Systeme mit internem Trackingsystem bekannt. So stellt beispielsweise Lo­ giteck mit seinem Trackman ein kabelloses Präsentati­ onssystem vor, bei dem die Bewegungen des Mauszeigers auf einem Bildschirm in der Ebene durch eine Kugel gesteuert wird.

Die DE 198 45 566 A1 beschreibt eine kabellose hand­ gehaltene Eingabevorrichtung, deren räumliche Frei­ heitsgrade mit einem Trackingsystem ermittelt werden und eine Bewegung in virtuellen Welten umgesetzt wird.

Die WO 97/50 029 A1 offenbart ein Trackingsystem, das die Bewegungskoordinaten einer handgehaltenen Einga­ bevorrichtung oder alternativ die eines Head-Mounted Displays erfaßt und über einen Computer als Bewegung eines den Benutzer in einer virtuellen Welt repräsen­ tierten "icons" ermittelt und darstellt.

Nachteilig an den im Stand der Technik verfügbaren Inter­ aktionsgeräten ist, daß diese großteils kabelgebunden sind. Alle Trackingsysteme benötigen weiterhin externe statische Referenzquellen, wie beispielsweise magnetische Spulen oder Kamerasysteme. Die Installation und Ausrich­ tung dieser Referenzquellen muß daher präzise und robust durchgeführt werden.

Aufgrund der eingesetzten Technologie sind viele der In­ teraktionsgeräte zu schwer und bei einer freihändigen Nutzung in einer immersiven Umgebung nicht handgerecht.

Aus all diesen Nachteilen ergibt sich, daß eine mögliche Weitergabe an beteiligte Personen erschwert wird, wobei als wesentlich zerstörender Faktor hierbei das Kabel zur Datenübertragung zu betrachten ist.

Aufgabe der vorliegenden Erfindung ist es daher, eine Eingabevorrichtung zur Verfügung zu stellen, die in der Hand gehalten werden kann und bei deren Weitergabe an weitere Personen keine Probleme auftreten. Weiterhin ist es die Aufgabe der vorliegenden Erfindung, eine Visuali­ sierungseinrichtung mit einer entsprechenden Eingabevor­ richtung zur Verfügung zu stellen.

Diese Aufgabe wird durch die handgehaltene kabellose Ein­ gabevorrichtung nach Anspruch 1 und die Visualisierungs­ einrichtung nach Anspruch 15 gelöst. Vorteilhafte Weiter­ bildungen der erfindungsgemäßen Eingabevorrichtung und der erfindungsgemäßen Visualisierungseinrichtung werden in den jeweiligen abhängigen Ansprüchen gegeben.

Erfindungsgemäß können mit der hier vorgestellten Eingabevorrichtung kabellose Systeme der virtuellen Realität mit einer hohen Komplexität an Interaktions­ möglichkeiten aufgebaut werden. Die erfindungsgemäße Kombination von Inertialsensoren mit einem Software- Konzept für die Übertragung der geschätzten realen Bewegung der Eingabevorrichtung zu einer Bewegung der visualisierten Objekte ermöglicht eine direkte Inter­ aktion mit stereoskopisch visualisierten Objekten oh­ ne Kabel und ohne ein zusätzliches Trackingsystem.

Erfindungsgemäß werden also differenziale Lagedaten für isometrische Interaktionen in VE-Systemen (System der virtuellen Realität) verwendet. Insbesondere ge­ hört hierzu die Hardware des Interaktionsgerätes (der Eingabevorrichtung) und die Auswertemethoden für die Interaktionen und Funktionsselektionen.

Die erfindungsgemäße Eingabevorrichtung hat den Vor­ teil, daß sie kabellos ist. Dies wird möglich, indem die Daten der Inertialsensoren durch einen integrier­ ten Signalprozessor ausgewertet werden. Die Daten­ übertragung lediglich der ausgewerteten Daten erfolgt dann auf einer Funkstrecke. Dadurch ist die Übertra­ gung ohne eine Sichtverbindung über weite Strecken hinweg problemlos möglich. Das System setzt dazu stromsparende Komponenten in Verbindung mit einer La­ deschale für die Akkumulatoren ein.

Weiterhin ist vorteilhaft, daß die Datenerfassung oh­ ne eine externe Referenzquelle erfolgt. Denn die Inertialsensoren messen die äußeren aufgebrachten Kräfte und ermitteln die zurückgelegten Wege bzw. Winkel durch eine einfache oder mehrfache Integration der Meßwerte. Dieses Verfahren setzt daher systembe­ dingt keine externen Referenzen voraus. Es ist pro­ blemlos in bereits bestehende VE-Systeme zu integrieren und benötigt keinen hohen Installations- oder Vermessungsaufwand.

Aufgrund des Einsatzes lediglich leichtgewichtiger und kleiner Bauelemente, wie beispielsweise Inertial­ sensoren, Signalprozessor und Sender, ist eine weit­ gehende Reduzierung des Gewichts bei einer möglichst guten Gestaltung des Eingabegerätes möglich. Dadurch kann das Eingabegerät handgerecht gestaltet werden, gegebenenfalls auch für unterschiedliche Anwendungs­ bereiche in unterschiedlicher Form.

Dadurch, daß das Eingabegerät kein Kabel zur Daten­ übermittlung benötigt und eine günstige Gestaltung möglich ist, kann die Eingabevorrichtung schnell und, unkompliziert zwischen verschiedenen Personen weiter­ gegeben werden.

Erfindungsgemäß werden Inertialsensoren eingesetzt, mit denen eine differenziale Lagemessung durchgeführt wird. Derartige Inertialsensoren, wie Beschleuni­ gungskreisel und Erdmagnetfeldsensoren verbinden die Vorteile einer geringen Größe mit dem Vorteil, daß kein externes Resonanzfeld aufgebaut werden muß. Sie sind robust und funktionieren in jedem Umfeld. Iner­ tialsensoren zwingen jedoch dazu, die Meßwerte ein­ fach bzw. doppelt zu integrieren, um die benötigten Lagewerte für das VE-System zu erhalten. Dies ist je­ doch, wie die Erfinder erkannt haben, kein Nachteil, wenn entweder eine Modellgleichung für das Verhalten des Systems bzw. der Eingabevorrichtung vorliegt oder kurze Meßzeiten ausreichen.

Lediglich zusätzlich kann eine Lagemessung des Kopfes mit einem optischen System durchgeführt werden. In diesem Falle erfolgt also ein hybrider Ansatz für die Lagemessung von Kopf- und Interaktionssystem.

Im folgenden werden Beispiele für erfindungsgemäße Eingabevorrichtungen und Visualisierungeinrichtungen beschrieben. Es zeigen:

Fig. 1 ein kartesisches Koordinatensystem mit Be­ zeichnung der Achsen und Winkel;

Fig. 2 eine Funktionsskizze für ein erfindungsge­ mäßes Visualisierungssystem;

Fig. 3 ein Blockdiagramm einer erfindungsgemäßen Eingabevorrichtung;

Fig. 4 einen Querschnitt durch eine erfindungsge­ mäße Eingabevorrichtung;

Fig. 5 die Anordnung von Inertialsensoren in einer erfindungsgemäßen Eingabevorrichtung;

Fig. 6 eine Übersicht der möglichen Interaktionen mit einer differenzialen Lagemessung;

Fig. 7 die Darstellung eines Kugelmenüs;

Fig. 8 die Darstellung eines ebenen Symbolmenüs;

Fig. 9 die Darstellung eines transparenten Textme­ nüs; und

Fig. 10 den Algorithmus eines diskreten Kalmanfil­ ters.

Fig. 1 zeigt ein kartesisches Koordinatensystem zur Erläuterung der im vorliegenden verwendeten Koordinaten x, y, z sowie der zugehörigen Drehwinkel um die x-, y- oder z-Achse, ϕ, θ, ψ. Weiterhin ist die Rich­ tung der Erdschwerkraft g eingezeichnet.

Fig. 2 zeigt nun eine Visualisierungseinrichtung ei­ nes VR-Systems 1, wie es nach der vorliegenden Erfin­ dung verwendet wird.

Das VR-System 1 weist einen Bildschirm 2 auf, vor dem eine Person steht, um die dortigen über einen Projek­ tor 3 erzeugten Bilder zu betrachten. Die Person hält ein Eingabegerät 4 gemäß der vorliegenden Erfindung in der Hand, um Lage-, Orts- oder Bewegungsdaten zu erzeugen und zu übermitteln. Diese Daten werden als differenziale Lagedaten 4" erzeugt. Die Messung er­ folgt dabei während des Drückens eines Tasters 4', wobei das Eingabegerät 4 noch weitere Taster aufwei­ sen kann. Die differenzialen Lagedaten werden in ei­ nem Signalprozessor erzeugt, der in das Eingabegerät integriert ist. Sie werden anschließend an einen Mi­ kroprozessor übertragen, in dem verschiedene Auswer­ teprozesse 6 zur Erzeugung einer Graphikdarstellung (Objektmanipulation, Navigation 8, Menüstrukturen 7) durchgeführt werden. Das Eingabegerät 4 ist dabei mit dem Mikroprozessor kabellos über eine Radiowellenver­ bindung verbunden. Die differenzialen Lagedaten 4", die in dem Eingabegerät 4 erzeugt werden, entsprechen einer geschätzten realen Bewegung des Eingabegerätes. Der Mikroprozessor berechnet hieraus eine Bewegung der zu visualisierenden Objekte und ermöglicht damit eine direkte Interaktion mit steroskopisch visuali­ sierten Objekten ohne Kabel und ohne zusätzliches Trackingsystem. Damit wird die Komplexität des VR- Systems 1 für eine Reihe von Anwendungen der virtuel­ len Realität reduziert, die Benutzungsschnittstelle zu derartigen VR-Systemen wird einfacher und damit leichter beherrschbar.

Fig. 3 zeigt den grundsätzlichen Aufbau der Elektro­ nik und der Meßsensoren in einer erfindungsgemäßen Eingabevorrichtung 4. Diese Eingabevorrichtung 4 weist bis zu drei Beschleunigungssensoren 11 und bis zu drei Gyroskope 12 auf, um nach Integration der er­ zeugten Meßdaten aus Koordinaten und Winkelkoordina­ ten zu erhalten. Die erzeugten Meßwerte der Beschleu­ nigungssensoren 11 und der Gyroskope 12 werden in ei­ nen Signalprozessor 13 eingegeben, der zuerst eine Analog-Digital-Wandlung der Meßwerte durchführt. An­ schließend werden die Daten integriert und verarbei­ tet. In dem Signalprozessor werden beispielsweise die Daten so integriert, daß lediglich Lage-, Orts- und Bewegungsdaten über ein RF-Modul 17 ausgegeben wer­ den, die die Frequenz einer Bilddarstellung aufwei­ sen, beispielsweise 20 bis 50 Hertz. Dadurch wird die zu übertragende Datenmenge gegenüber dem Stand der Technik sehr stark reduziert. Mit dem digitalen Si­ gnalprozessor 13 ist ein Systemtakt 16 verbunden. Weiterhin sind an dem Signalprozessor 13 Taster, LED's und Piepser 14 oder Sensoren wie beispielsweise Temperatursensoren 15 verbunden. Hier wie bei sämtli­ chen Figuren werden für entsprechende Elemente ent­ sprechende Bezugszeichen verwendet.

Durch die beschriebene Vorgehensweise, nämlich Über­ tragung der bereits aufintegrierten digitalisierten Daten werden Störeinflüsse durch die Signalübertra­ gung reduziert und die zu übertragende Informations­ menge wird an die erforderliche Frame Rate des VR- Systems angepaßt. Als Folge kann für die Funkübertra­ gung 5 eine geringere Übertragungsrate als die Rate der Meßdaten aus den Sensoren 11, 12 eingesetzt wer­ den.

Neben der differenzialen Lagemessung durch die Senso­ ren 11, 12 können die Beschleunigungssensoren 11 auch ohne aufwendige Auswertelogik für die Messung der Orientierung der Eingabevorrichtungen, beispielsweise in Ruhe gegenüber dem Schwerefeld genutzt werden. Die möglichen Interaktionen werden dann auf ruhige Dreh- bzw. Neigebewegungen reduziert. Die so erhaltenen ab­ soluten Daten ermöglichen komplexe Interaktionen und sind durch ihre unmittelbare Überdeckung der realen Lage mit der virtuellen Repräsentation für viele An­ wendungen in VR-Systemen gut geeignet.

Fig. 4 zeigt eine erfindungsgemäße Eingabevorrich­ tung. Diese ist in Form eines handgehaltenen Stabes 4 ausgeführt, wobei dieser hier im Schnitt dargestellt ist. Zu erkennen ist die Lage der drei Gyroskope 12', 12", 12''' sowie der Beschleunigungssensoren 11' und 11". Der Beschleunigungssensor 11" ist dabei für die Beschleunigung in Richtung der X- und Y-Achse zu­ ständig. Weiterhin weist diese Eingabevorrichtung ein Gehäuse 18 auf, das an seiner Stirnfläche unter einem Winkel α zur Längsachse der Vorrichtung 4 abgeschrägt ist. Diese Fläche bildet eine Aktionsfläche 19, auf der beispielsweise Taster zur Interaktion angeordnet werden können. Daneben befinden sich in dem Gehäuse 18 auf dessen Umfangsfläche Taster 14 angeordnet. Diese Taster können zur Interaktion sowie zur Festle­ gung der Meßdauer durch die Beschleunigungssensoren 11', 11" bzw. die Gyroskope 12', 12", 12''' verwen­ det werden.

Fig. 5 zeigt die Anordnung der Beschleunigungssenso­ ren 11', 11" und der Gyroskope 12', 12", 12''' in einer Eingabevorrichtung 4 aus Fig. 4. Mit einer derartigen Eingabevorrichtung können sämtliche Drehwinkel als auch sämtliche translatorischen Bewegungen erfaßt werden.

Fig. 6 gibt eine Übersicht der möglichen Interaktio­ nen mit einer differenzialen Lagemessung wider. Dabei werden die differenzialen Lagedaten für die Selektion in unterschiedliche Eignungsstufen eingeteilt, wobei drei gefüllte Punkte bedeuten "sehr gut" geeignet, zwei gefüllte Punkt "gut" geeignet, ein gefüllter Punkt "bedingt" geeignet und ein ungefüllter Punkt als "ungeeignet" beurteilt wird. Index a bedeutet die Messungen beispielsweise mit Beschleunigungssensoren für die Messung der Neigungswinkel, Index b die Ver­ wendung einer Gyromaus mit einem zweiachsigen Vibra­ tionskreisel, Index c die Verwendung von Beschleuni­ gungssensoren für die Neigung und einen Kreiselsensor und Index d bedeutet, daß die aktuelle Haltung gut abgeschätzt werden kann und dieser Wert in die Lage und Bewegungsberechnung eingehen kann. Im folgenden werden einige Auswertekonzepte für die Interaktion und die Exploration beschrieben.

Verwendung eines zweiachsigen Beschleunigungssensors

Die Neigung der Interaktionsfläche wird hier durch einen zweiachsigen Beschleunigungssensor gemessen. Das System wird langsam und zielgenau gedreht. Die Grundhaltung des Benutzers ist stehend mit leicht an­ gewinkelten Armen vor der Stereoprojektion. Sobald Interaktionen mit der Simulation durchgeführt werden, werden die Arme auf ca. 90° angewinkelt. Die Rotati­ onsbewegungen erfolgen aus der Hand bzw. Ellbogen und Schultergelenk heraus. Die Wertebereiche für die Win­ kel sind damit:

• - ϕ = [30°, -20°] Schwenken des Handgelenkes
• - θ = [130°, -120°] links und rechts drehen der Hand gegenüber dem Rumpf.

Die Orientierung in zwei Freiheitsgraden des Be­ schleunigungssensors bestimmt sich aus den Meßwerten a_x und a_y nach (5.2):

Zusätzlich zu dieser Sensorik verfügt das System über drei Drucktaster. Sobald ein Taster gedrückt ist, wird kontinuierlich die Orientierung des Systems be­ stimmt und zusammen mit der Tasterstellung übertra­ gen.

Die Übertragung finden in ASCII statt. Dadurch können fehlerhafte Datenpakete aufgrund einer verrauschten Funkübertragung einfach identifiziert werden.

Das Datenformat für ein Datenpaket ist:

"Tastenbyte" "Tab" ϕ i|k "Tab" θ i|k Oxa Oxd

Die Winkelwerte sind in Grad, Tastencodes sind dezi­ mal und belegen den Wertebereich 0 bis 7. Binär ist jedem Taster eine Bitposition zugeordnet, die beim Schließen des Tasters auf 1 gesetzt wird und sonst 0 ist. Damit sind die Ereignisse Taster drücken und Ta­ ster loslassen eindeutig identifiziert und können von der VR Software ohne Prelleffekte ausgewertet werden.

Aufbauend auf dem Interaktionskonzept "Szene in der Hand" sind folgende Interaktionen mit einem solchen System möglich:

a) Translation in der x-y Ebene, Translation in der x-z Ebene

Aus der Änderung der Neigungswinkel ϕⁱ und θⁱ wird die neue Position des Objektes in der Ebene linear nach der Beziehung (5.3) bestimmt.

Die konstanten Faktoren K_x, K_y, K_z sind spezifisch für die visualisierten Daten und können nicht generell vorgegeben werden. Die Selektion der Translationsebe­ ne wird über den gewählten Taster festgelegt.

Durch die Translation kann das Objekt absolut oder relativ bewegt werden. Bei einer absoluten Translati­ on kehrt das Objekt immer zum Ursprung zurück, bei einer Relativbewegung bleibt das Objekt dort stehen, wohin es bewegt wurde. Die Neigungsbewegungen summie­ ren sich auf. Die Art der Anwendung entscheidet über das zu realisierende Bewegungsmodell.

Die relative Translation speichert die Werte zum Zeitpunkt t₀ und bildet die Differenzen der aktuellen Meßwerte zu diesem Referenzwert. Damit ist ein "Nach­ fassen" des Objektes möglich und der Bewegungsraum ist nicht mehr durch den Wertebereich der gemessenen Winkel begrenzt. Die Bewegungsgleichungen gelten nach (5.4).

b) Rotation um die Koordinatenachsen

Bei der Rotation werden die gemessenen Winkel in eine Rotation des Objektes nach (5.5) umgesetzt. Das In­ teraktionsgerät legt durch seine gemessene Lage im Raum die Objektorientierung absolut fest. Das hat zur Folge, daß sich das visualisierte Objekt auf Knopf­ druck in die Lage bewegt, in der das Interaktionsge­ rät gehalten wird.

Bei der konzipierten Winkelmessung kann die Rotation um die z-Achse (ψⁱ) nicht gemessen werden. Über einen Taster wird alternativ die Drehung um die y-Achse (θⁱ) auf diese Rotation übertragen.

Analog zur relativen Translation kann die Rotation ebenfalls auf differenzialen Daten (5.6) beruhen

c) Angepaßtes "Zeige und Fliege"-Modell

Das konzipierte Interaktionsmodell ist mit Einschrän­ kungen für ein Navigationsmodell auf der Basis von Zeige und Fliege geeignet. Für dieses Navigations­ prinzip werden die Daten des Kopftracking (x_k y_k z_k ϕ θ ψ) mit einbezogen. Das Bewegungsmodell entspricht in etwa dem Maus-Bewegungsmodell von Performer.

Die Bewegungsrichtung wird von der Kopforientierung vorgegeben. Es werden drei Taster benötigt, um die Softwaremode zu schalten:

• - Modus 1: Vorwärtsflug mit Beschleunigung Solange der Taster gedrückt ist, wird die Ge­ schwindigkeit konstant erhöht.
• - Modus 2: Rückwärtsflug mit Beschleunigung wie bei Modus 1, nur wird die Geschwindigkeit negativ erhöht.
• - Modus 3: Stop Stehenbleiben an der aktuellen Position

Der Neigungswinkel ϕⁱ des Interaktionsgerätes wird für die Änderung des Azimutwinkels verwendet. Dabei werden die absoluten Winkelwerte bezogen auf die Schwerkraft eingesetzt. So hat der Benutzer durch die visuelle Lage des Interaktionsgerätes eine unmittel­ bare optische Kontrolle zu der virtuellen Navigation.

Die aktuelle Lage des Benutzers berechnet sich nach (5.7).

Dabei wird die skalare Geschwindigkeit v_k über die Zeitdauer des gedrückten Tasters bestimmt.

V_k+1 = v_k ± K (5.8)

d) Bedienung von Menüstrukturen

Die Selektion von Funktionen oder Softwaremodi kann mit diesem Interaktionsgerät über einen Taster für die Funktionen und die Sensorik gesteuert werden. Die Konzepte der Menüstrukturen werden im folgenden be­ schrieben.

(i) Kugelmenü

Fig. 7 zeigt ein Kugelmenü, das zur Selektion von Funktionen oder Softwaremodi über einen Taster dienen kann.

Bei einem derartigen Kugelmenü werden die Funktionen durch die Neigung um die x-Achse
ϕ i|k
und die Neigung um die y-Achse
θ i|k
ausgewählt. Die Menükugel ermöglicht die Selektion von 5 verschiedenen Optionen:

• - Klick ohne Neigung (M₀)
• - Klick mit Neigung nach rechts bzw. links (M₁, M₂)
• - Klick mit Neigung nach oben bzw. unten (M₃, M₄)

Bei der Winkelauswertung wird immer nur eine Bewegung berücksichtigt. Das System springt nach einer Verdre­ hung von mindestens ±15° in die nächste Funktions­ stufe.

(ii) Transparentes Text-Menü und Flat Icon Menü

Fig. 8 zeigt ein sogenanntes "Flat Icon Menü" (ebe­ nes Symbol Menü).

Fig. 9 zeigt eine weitere Menüform, nämlich ein so­ genanntes transparentes Textmenü. Die beiden Menüty­ pen unterscheiden sich nur durch die Gestaltung und den Ort der Darstellung voneinander. Beim Flat Icon Menü werden die einzelnen Menüpunkte entlang einer Reihe von Symbolflächen dargestellt, wobei die jewei­ ligen Unterpunkte nach oben und nach unten als Sym­ bolflächen aus der angewählten Symbolfläche heraus­ klappen. Beim transparenten Text-Menü werden die mög­ lichen Modi als Textleiste im oberen Bildrand darge­ stellt. Die Selektion basiert auf den gemessenen Nei­ gungswinkel. Dabei springt die horizontale Funktions­ selektion
θ i|k
nach einer bestimmten Neigungsbewegung immer auf den nächsten Menüpunkt. Eine vertikale Neigung
ϕ i|k
wählt innerhalb des Funktionsblockes die Untermenüs aus.

Der meßbare Winkelbereich von 90° wird auf die Anzahl der horizontalen und vertikalen Funktionen

aufgeteilt. Der angezeigte Modus wechselt, sobald dieser Winkelbereich überschritten wird.

Durch das Freigeben des Menütasters wird die markier­ te Selektion aktiviert.

Verwendung eines zweiachsigen Beschleunigungssensors und eines Kreiselsensors in der Eingabevorrichtung

Zusätzlich zu dem zweiachsigen Beschleunigungssensor aus dem vorigen Beispiel wird in diesem Beispiel ein Kreiselsensor integriert. Mit dem Kreiselsensor wird die Winkelgeschwindigkeit um die lokale z-Achse
ψ i|k
gemessen. Die Winkelgeschwindigkeiten ωz werden über die Zeitdauer des gehaltenen Tasters integriert und ausgegeben.

Da der Anfangswinkel ψ i|k = t0 im Weltkoordinatensystem nicht bekannt ist, muß eine Annahme getroffen werden. In den meisten Anwendungen mit der Powerwall oder CAVE können mit dem Anfangswert 0° gute Ergebnisse erzielt werden. Die Interpretation der Winkeldaten geht davon aus, daß der Benutzer senkrecht zur Pro­ jektionsfläche steht, und das Interaktionsgerät in der Nullage hält. Die Qualität der Integration hängt vom Rauschverhalten und der zu erwartenden Bewegungen ab. Das Konzept geht von langsamen und präzisen Bewe­ gungen aus. Die zu erwartenden Winkelgeschwindigkei­ ten sind daher sehr klein und liegen in der Nähe des Eigenrauschens des Sensors. Damit erhöht sich für diesen Sensor sowohl der hardwaretechnische Aufbau, als auch die Software für die Filteralgorithmen, um aus den Winkelgeschwindigkeiten korrekte Winkel zu erhalten.

Zusätzlich kann ein Magnetfeldsensor integriert wer­ den, der den Anfangswinkel im Bezug zum Erdmagnetfeld mißt und in die Integration einfließen läßt. Für die numerische Integration muß ein Verfahren gewählt wer­ den, das die verfügbare Rechenkapazität des µC in be­ zug auf Genauigkeit und Stromverbrauch optimiert.

a) Navigationskonzept

Das Interaktionskonzept unterscheidet sich mit diesem zusätzlichen Winkel nur geringfügig von dem vorigen Konzept. Im folgenden werden die Bewegungsgleichungen für die Navigation und Interaktion kurz vorgestellt.

Bei dem Interaktionskonzept "Szene in der Hand" wer­ den die Objektdaten aus den Meßwerten des Interakti­ onskonzeptes nach Gleichung (5.11) berechnet.

Die Selektion der Transformationsebene x-y oder x-z bzw. die Unterscheidung zwischen Rotation und Trans­ lation erfolgt durch zwei Taster.

Bei der Navigation nach dem angepaßten "Zeige und Fliege" Modell kann durch den zusätzlichen Meßwert ein verbessertes Navigationsmodell zum Einsatz kom­ men. Hier gibt der Benutzer durch seine Blickdaten zum Zeitpunkt t₀ die Orientierung der Geschwindigkeit
ψ p|0
vor. Die Geschwindigkeit in der x- bzw. y-Achse wird vom jeweiligen Neigungswinkel
ϕ i|k bzw. θ i|k
bestimmt. Die Rotation um die eigene Achse wird eben­ falls vom Interaktionsgerät vorgegeben. Damit be­ stimmt sich die Position des Benutzers nach (5.12).

b) Selektion von Funktionsmodi

Bei der Selektion von Funktionsmodi kann der Anfangs­ winkel
ψ i|0
bei jedem Auslösen des Funktionstasters auf 0° ge­ setzt werden.

Auch bei dieser Eingabevorrichtung können ein Kugel­ menü oder ein transparentes Textmenü zur Selektion von Funktionsmodi und dergleichen eingesetzt werden.

Bei einem Kugelmenü wie oben beschrieben, werden die Funktionen durch die Neigung um die x-Achse
ϕ i|0
und die Verdrehung um die z-Achse
ψ i|0
ausgewählt. Die fünf Selektionsmöglichkeiten sind dann:

• - Klick ohne Rotation (M₀)
• - Klick mit Rotation nach rechts bzw. nach links (M₁, M₂)
• - Klick mit Neigung nach oben bzw. unten (M₃, M₄).

Bei der Winkelauswertung wird immer nur eine Bewegung berücksichtigt. Das System springt nach einer Verdre­ hung von mindestens ±15° in die nächste Funktions­ stufe.

Bei Verwendung eines transparenten Textmenüs kann die horizontale Selektion durch die Rotation um die z- Achse
ψ i|0
durchgeführt werden. Die vertikale Selektion funktio­ niert in derselben Weise wie in Kapitel 5.2.1 be­ schrieben.

Verwendung eines sechsdimensionalen differenzialen Interaktionsgerätes

Das am einfachsten zu benutzende Interaktionsgerät verfügt über ein Meßsystem für alle sechs Freiheitsgrade, wie es beispielsweise in Fig. 3 und 4 darge­ stellt ist. Damit können translatorische und rotato­ rische reale Bewegungen isometrisch in virtuelle Ak­ tionen umgesetzt werden. Ein solches System auf der Basis von Inertialsensoren verfügt über drei Kreisel­ sensoren für die Winkelgeschwindigkeiten in allen Achsen und drei Beschleunigungssensoren.

Die Zeitdauer der Messung ist durch die Auflösung der Beschleunigungssensoren und die zu messenden Bewegun­ gen begrenzt. Beim Einsatz von aktiven Beschleuni­ gungssensoren muß die Erdbeschleunigung aus den Meß­ werten nach Gleichung (5.14) herausgerechnet werden.

Die bei der Rotation auftretende Corioliskraft wird vernachlässigt. Die Anfangsbedingungen für die nume­ rische Integration werden aus den Meßwerten zum Zeit­ punkt t₀ nach (5.15) berechnet.

Die hier beschriebene Integration der Meßwerte ohne die Berücksichtigung eines Systemverhaltens für die Eingabevorrichtung führt in der Praxis zu einem an­ wachsenden Fehler aufgrund des Sensorrauschens. Für die Schätzung der Zustandsgrößen auf der Basis dieser verrauschten Messungen haben sich Filtermethoden nach Kalman bewährt, wie sie im folgenden beschrieben wer­ den.

Verwendung von Kalmanfiltern zur Schätzung der Zu­ standsgrößen

Das Systemverhalten der Eingabevorrichtung wird für die diskreten Meßzeiten im zeitlichen Abstand h durch (5.16) beschrieben:

den gemessenen Beschleunigungsdaten

und der vereinfachten Schreibweise

wird die Modellgleichung durch (5.17) beschrieben.

Die Funktionen

werden als weißes Gauss'sches Rauschen mit folgenden Randbedingungen angenommen:

mit der positiv definierten symmetrischen Matrix Q_k und r_k < 0 für alle k. Es wird weiterhin vorausge­ setzt, daß die Anfangsbedingungen

bekannt sind. Der Algorithmus für den Kalman Filter berechnet sich dann mit der Kovarianzmatrix P_k,k-1 aus den Elementen:

mit den Anfangswerten

Die Kalman Matrix G nach

berechnet sich dann zu:

damit wird die Matrix P_k,k der zweiten Momente der Schätzfehler P_k,k = (I - G_kC_k)P_k,k-1 zu:

Der rekursive Kalman Algorithmus ist damit:

Da die Matrizen P_k,k, P_k,k-1 und G_k nicht von den Meß­ werten abhängen, können sie off-line berechnet wer­ den. Für die aktuelle Schätzung wird dann nur noch die Gleichung (5.20) on-line berechnet.

Eine derartige on-line-Berechnung zur Ermittlung des geschätzten Zustandes ist in Fig. 10 noch einmal dargestellt, wobei die dort verwendeten Bezeichnungen den in den obigen Gleichungen verwendeten Zeichnungen entsprechen.

Zusammenfassend läßt sich feststellen, daß die erfin­ dungsgemäße Visualisierungseinrichtung und die erfin­ dungsgemäße Eingabevorrichtung für alle Navigations­ konzepte eingesetzt werden kann, bei denen die Inter­ aktionen auf Relativbewegungen zurückgeführt werden können. Dieses System ermöglicht isometrische Inter­ aktion in allen Freiheitsgraden. Wie bei allen diffe­ renzialen Interaktionssystemen müssen für die Objekt­ manipulation andere Metaphern, wie z. B. Spracheingabe oder kombiniertes Kopf- und Handtracking eingesetzt werden.

Ergänzend kann je nach eingesetztem Sensorverbund und den damit erreichten Genauigkeiten eine differenziale Objektselektion auf folgende Weise durchgeführt wer­ den. Beim Einleiten einer Interaktion wird eine Re­ präsentation des Interaktionsgerätes an einer ange­ nommenen Position relativ zur Kopfposition eingeblen­ det. Die Koordinaten dieses Objektes orientieren sich an den antropometrischen Daten aus. Der Benutzer be­ wegt diese Repräsentation dann mit einem konstanten Offset zwischen der realen Hand und der visuellen Darstellung. Die Interaktionen müssen dabei zeitlich so kurz sein, daß die Meßwerte der Visualisierung nicht davonlaufen.

Claims (15)

1. Handgehaltene, kabellose Eingabevorrichtung (4) zur Erzeugung und Übermittlung von Orts-, Lage- und/oder Bewegungsdaten zur Navigation und Mani­ pulation in Systemen der virtuellen Realität mit mindestens zwei Inertialsensoren (11, 12) zur Erfassung von analogen Werten der Beschleunigung und/oder der Winkelgeschwindigkeit der Eingabe­ vorrichtung (4) mit einer ersten Frequenz,
einem integrierten Signalprozessor (13) zum Aus­ werten der von den Inertialsensoren (11, 12) ausgegebenen analogen Daten und Erzeugung digi­ taler differentialer Daten bezüglich der Bewe­ gung der Eingabevorrichtung (4) mit einer zwei­ ten Frequenz, sowie
einer Kommunikationsvorrichtung (17) zum kabel­ losen Senden der digitalen Daten,
dadurch gekennzeichnet, daß
eine Auslösevorrichtung (14) Teil der Eingabe­ vorrichtung ist, die die Inertialsensoren (11, 12) einschaltet,
die zweite Frequenz niedriger ist als die erste Frequenz,
und die zweite Frequenz der Bildfrequenz einer Bilddarstellungsvorrichtung entspricht.

2. Eingabevorrichtung (4) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß die Auslö­ sevorrichtung (14) die Inertialsensoren (11, 12) für einen vorbestimmten Zeitraum einschaltet.

3. Eingabevorrichtung (4) nach Anspruch 1, dadurch gekennzeichnet, daß die Auslösevorrichtung (14) die Inertialsensoren (11, 12) im eingeschalteten Zustand hält, solange sie betätigt wird.

4. Eingabevorrichtung (4) nach einem der vorherge­ henden Ansprüche, dadurch gekennzeichnet, daß als Inertialsensoren (11, 12)
ein bis drei Beschleunigungssensoren (11', 11", 11''') zum Erfassen und Ausgeben von Beschleuni­ gungswerten bezüglich einer oder mehrerer Achsen eines kartesischen Koordinatensystems mit einer bestimmten Frequenz und/oder
ein bis drei Winkelgeschwindigkeitssensoren (12 ', 12", 12''') zum Erfassen und Ausgeben von Winkelgeschwindigkeitswerten bezüglich einer oder mehrerer der Achsen des kartesischen Koor­ dinatensystems mit einer weiteren bestimmten Frequenz vorgesehen sind.

5. Eingabevorrichtung (4) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß als Inerti­ alsensor (11, 12) ein Kreiselsensor, ein Erdma­ gnetfeldsensor oder ein Beschleunigungssensor vorgesehen ist.

6. Eingabevorrichtung (4) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß als Inertialsensor (11) ein Beschleunigungssenor verwendet wird und der Signalprozessor (13) aus den gemessenen Werten des Sensors in Ruhe der Eingabevorrichtung (4) die Lage der Eingabevor­ richtung (4) ermittelt.

7. Eingabevorrichtung (4) nach einem der vorherge­ henden Ansprüche, dadurch gekennzeichnet, daß der Signalprozessor (8) die von den Inertialsen­ soren (11, 12) ausgegebenen analogen Daten ein­ fach oder zweifach integriert.

8. Eingabevorrichtung (4) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß die Inte­ gration mit Beginn der Betätigung der Auslöse­ vorrichtung (14) beginnt.

9. Eingabevorrichtung (4) nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeich­ net, daß die Anfangswerte der Winkel und der Ortskoordinaten zu Beginn jeder Betätigung der Auslösevorrichtung (14) zu 0 festgesetzt wird.

10. Eingabevorrichtung (4) nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeich­ net, daß der Signalprozessor (13) die Winkelge­ schwindigkeit integriert und als Winkelwert aus­ gibt.

11. Eingabevorrichtung (4) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß für die Integration der Anfangswert des Winkels zu 0° festgesetzt wird.

12. Eingabevorrichtung (4) nach einem der vorherge­ henden Ansprüche, gekennzeichnet durch einen Ma­ gnetfeldsensor als Inertialsensor (11, 12), der den Anfangswinkel mit Bezug auf das Erdmagnet­ feld bestimmt.

13. Eingabevorrichtung (4) nach einem der vorherge­ henden Ansprüche, dadurch gekennzeichnet, daß die Kommunikationsvorrichtung (17) einen Radio­ wellensender enthält.

14. Eingabevorrichtung (4) nach einem der vorherge­ henden Ansprüche, dadurch gekennzeichnet, daß die Kommunikationsvorrichtung (17) die Daten in ASCII-Format sendet.

15. Visualisierungseinrichtung (1) zur Navigation und Manipulation in Systemen der virtuellen Rea­ lität mit einer Bilddarstellungsvorrichtung (2, 3) zur Visualisierung von Daten und Bildern in Abhängigkeit von vorgegebenen Orts-, Lage- und/oder Bewegungsdaten sowie einer Eingabevor­ richtung (4) zur Erzeugung und Übermittlung der genannten Orts-, Lage- und/oder Bewegungsdaten nach einem der vorhergehenden Ansprüche.