DE10110489A1

DE10110489A1 - Input device for interaction with and navigation in multidimensional virtual world has hand devices that communicate in parallel via radio interface with base unit connected to computer unit

Info

Publication number: DE10110489A1
Application number: DE10110489A
Authority: DE
Inventors: Birte Wasmund; Peter Zimmermann
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2000-03-11
Filing date: 2001-03-05
Publication date: 2001-09-13
Also published as: DE10110485A1; DE10110486A1; DE10110484A1; DE10110487A1

Abstract

The input device has at least two hand-held units enabling navigation in and interaction with the multidimensional virtual world and a computer unit that processes the navigation and interaction entries. The hand devices communicate via a radio interface with a base unit connected to the computer unit and the base unit supports parallel communications with the hand units. Independent claims are also included for the following: the use of an input device for vehicle development.

Description

Die Erfindung betrifft eine Eingabevorrichtung sowie die Verwendung einer Eingabevorrichtung zur Interaktion mit und Navigation in einer mehrdimensionalen virtuellen Welt, mit mindestens zwei die Navigation in und die Interaktion mit der mehrdimensionalen virtuellen ermöglichenden Handgeräten und mit einer die von den Handgeräten aufgenommenen Navigations- und Interaktionseingaben eines Benutzers verarbeitenden Recheneinheit.The invention relates to an input device and the use of a Input device for interaction with and navigation in a multi-dimensional virtual world, with at least two navigating in and interacting with the multi-dimensional virtual enabling handheld devices and with one of those Handheld recorded navigation and interaction inputs of a user processing computing unit.

Für die Interaktion mit und die Navigation in mehrdimensionalen virtuellen Welten (Virtuell Reality) werden heutzutage Eingabevorrichtungen wie z. B. 3D-Mäuse, Flying Joysticks, Tastaturen und Datenhandschuhe genutzt. Diese bekannten Eingabevorrichtungen ermöglichen es einem Benutzer, in mehrdimensionalen virtuellen Welten zu navigieren und zu interagieren. Die Benutzereingaben werden bei den bekannten Eingabevorrichtungen über ein Kabel an eine Recheneinheit übermittelt. In der Recheneinheit werden die Benutzereingaben verarbeitet und die Anzeige der virtuellen Welt wird entsprechend verändert. Wollen mehrere Benutzer in einer Anwendung in der virtuellen Welt navigieren und interagieren, werden zumindest zwei unabhängige Handgeräte benötigt, da die Übergabe eines einzelnen Handgerätes aufgrund der Verkabelung zu umständlich wäre. Dazu ist es erforderlich, daß die Recheneinheit bereits bei der Erstellung der Eingabevorrichtung mit einer entsprechenden Anzahl an Anschlüssen für die benötigten Handgeräte ausgelegt werden. Daraus ergeben sich bereits bei Anschaffung der Recheneinheit enorme Kosten, da die Recheneinheit entsprechend der zukünftig benötigten Anzahl an im wesentlichen parallel nutzbaren Handgeräten ausgelegt werden muß. Auch ist die Navigation mit den bekannten Eingabevorrichtungen stets an ein Kabel gebunden. Dies schränkt den Benutzer in der Bewegungsfreiheit in der virtuellen Welt ein.For interaction with and navigation in multidimensional virtual worlds (Virtual Reality) input devices such as B. 3D mice, flying Joysticks, keyboards and data gloves used. These well-known Input devices allow a user to enter into multi-dimensional virtual To navigate and interact worlds. The user input is in the known input devices via a cable to a computing unit. In the processing unit processes the user input and the display of virtual world is changed accordingly. Want multiple users in one Application to navigate and interact in the virtual world will be at least two independent handheld devices are required because the handover of a single handheld device would be too cumbersome due to the wiring. This requires that the Computing unit already with the creation of the input device appropriate number of connections designed for the required handheld devices become. This results in enormous costs when the computing unit is purchased, since the computing unit essentially corresponds to the number of in the future required handheld devices that can be used in parallel must be designed. The navigation with the known input devices always bound to a cable. This limits the Users in freedom of movement in the virtual world.

Der vorliegenden Erfindung liegt daher das technische Problem zugrunde, eine skalierbare Eingabevorrichtung, welche mehrbenutzerfähig ist, zur Verfügung zu stellen. The present invention is therefore based on the technical problem, a to provide scalable input device that is multi-user capable.

Das technische Problem wird erfindungsgemäß dadurch gelöst, daß die mindestens zwei Handgeräte über eine Funkschnittstelle mit einer mit der Recheneinheit verbundenen Basiseinheit kommunizieren und das die Basiseinheit die Kommunikation mit den mindestens zwei Handgeräten parallel unterstützt. Erfindungsgemäß können mindestens zwei Handgeräte im wesentlichen parallel zur Interaktion mit und Navigation in der virtuellen Welt genutzt werden. Dies wird beispielsweise durch ein schnelle umschalten zwischen den Handgeräten ermöglicht. Die Anzeige der virtuellen Welt wird anhand der von den handgeräten ermittelten Daten für alle Teilnehmer gleich berechnet. Da die mindestens zwei Handgeräte erfindungsgemäß über eine Funkschnittstelle mit einer Basiseinheit kommunizieren, besteht keine Einschränkung in Bezug auf die Bewegungsfreiheit der Handgeräte. So können die Handgeräte beispielsweise in einer vorgegebenen Umgebung mit Hilfe geeigneter Ortungsverfahren geortet werden und es kann ihre Position und Orientierung ermittelt werden, wobei diese Informationen kabellos an die Basiseinheit übermittelt werden. Auch können Interaktionseingaben, wie z. B. die Drehung eines virtuellen Objektes, mit Hilfe eines Interaktionsbedienelements kabellos an die Basiseinheit übermittelt werden. Die durch ein schnelles Umschalten im wesentlichen parallele Dateneingabe ermöglicht zu dem, daß mehrere Benutzer gleichzeitig ein und dieselbe virtuelle Welt erleben, ohne aus der virtuellen Welt herausgerissen zu werden, und in ihr navigieren sowie interagieren können. So kann z. B. mit Hilfe eines ersten Handgerätes ein bestimmter Punkt in der virtuellen Welt angesteuert werden und ein zweiter Benutzer kann dann mit Hilfe eines zweiten Handgerätes das angesteuerte Objekt bewegen. Ein weiterer Vorteil ist darin zu sehen, daß die Anschaffungskosten einer erfindungsgemäßen Eingabevorrichtung weit unterhalb derer bekannte Eingabevorrichtungen liegt, da eine Skalierbarkeit der erfindungsgemäßen Eingabevorrichtung gegeben ist. Zusätzliche Handgeräte können je nach Bedarf auch noch nach dem Anschaffungszeitpunkt der Eingabevorrichtung angeschafft werden und in die bestehende Eingabevorrichtung integriert werden. Um die Handgeräte sicher unterbringen zu können, wird vorgeschlagen, daß die mindestens zwei Handgeräte mechanisch mit der Basiseinheit verbindbar sind. Die Basiseinheit dient demnach sowohl als Kommunikationszentrale als auch als Aufbewahrungsort für die Handgeräte. Die Handgeräte können an der Basiseinheit angebracht werden und sind somit für den Benutzer schnell verfügbar. The technical problem is solved according to the invention in that the at least two Handheld devices via a radio interface with one connected to the computing unit Base unit communicate and that the base unit communicates with the supports at least two handsets in parallel. According to the invention, at least two handsets essentially parallel to interaction with and navigation in the virtual world. This will be switched over, for example, by a quick switch between the handsets. The display of the virtual world is based on the calculated from the handheld data for all participants the same. Since the at least two handsets according to the invention via a radio interface with a Communicate base unit, there is no restriction in terms of Free movement of the handheld devices. For example, the handheld devices can be used in one given surroundings can be located with the help of suitable location methods and it Their position and orientation can be determined using this information wirelessly be transmitted to the base unit. Interaction inputs such as e.g. B. the Rotation of a virtual object, wirelessly using an interaction control element be transmitted to the base unit. The by a quick switch in the essential parallel data entry allows for that multiple users experience the same virtual world at the same time, without leaving the virtual world to be ripped out and navigate and interact in it. So z. B. with the help of a first hand-held device a certain point in the virtual world can be controlled and a second user can then use a second Handheld device to move the controlled object. Another advantage is that that the cost of an input device according to the invention is far below which known input devices lies, since the scalability of the input device according to the invention is given. Additional handsets can be used if necessary, also after the acquisition date of the input device be purchased and integrated into the existing input device. In order to be able to accommodate the handheld devices safely, it is proposed that the at least two handsets can be mechanically connected to the base unit. The The base unit therefore serves both as a communication center and as Storage location for the handheld devices. The handheld devices can be connected to the base unit are attached and are therefore quickly available to the user.

Um einen kabellosen Betrieb zu ermöglichen, wird vorgeschlagen, daß die Handgeräte eine autarke Energieversorgung aufweisen. Weiterhin wird vorgeschlagen, daß die autarke Energieversorgung der Handgeräte aus Akkumulatoren gebildet ist und daß die Basiseinheit die Akkumulatoren über eine Netzversorgung auflädt. Die Akkumulatoren ermöglichen zunächst einen netzunabhängigen Betrieb der Handgeräte. Während die Handgeräte in der Basiseinheit aufbewahrt werden, werden gleichzeitig die Akkumulatoren aufgeladen. Dadurch wird gewährleistet, daß die Handgeräte stets einen optimalen Ladezustand aufweisen.In order to enable wireless operation, it is proposed that the handheld devices have a self-sufficient energy supply. It is also proposed that the self-sufficient energy supply of the handheld devices is formed from accumulators and that the Base unit charges the batteries via a mains supply. The accumulators initially enable the handsets to be operated independently of the mains. While the Handheld devices are kept in the base unit, the same time Batteries charged. This ensures that the handheld devices always have one have optimal charge status.

Die Skalierbarkeit der Eingabevorrichtung wird dadurch erhöht, daß mindestens zwei Basiseinheiten miteinander koppelbar sind. So können zusätzlich zu den an eine Basiseinheit anschließbaren Handgeräten weitere Handgeräte der Eingabevorrichtung zugefügt werden.The scalability of the input device is increased in that at least two Base units can be coupled together. So in addition to the one Base unit connectable handheld devices further handheld devices of the input device be added.

Es wird vorgeschlagen, daß zumindest zwei Basiseinheiten über eine leitungsführende Schiene miteinander verbunden sind. Die leitungsführende Schiene gewährleistet, daß jede Basiseinheit die Handgeräte mit einer Netzspannung versorgen kann.It is proposed that at least two base units have a line Rail are interconnected. The conductor rail ensures that each base unit can supply the handheld devices with a mains voltage.

Besonders kostengünstig läßt sich die erfindungsgemäße Eingabevorrichtung gestalten, wenn nach einer bevorzugten Ausgestaltung der erfindungsgemäßen Eingabevorrichtung nur eine erste Basiseinheit eine Sende- und Empfangseinheit aufweist und die Kommunikation mit den Handgeräten ermöglicht. Die erste Basiseinheit beinhaltet alle Komponenten, die für eine kabellose Kommunikation über eine Funkschnittstelle mit den Handgeräten benötigt werden. Somit müssen weitere Basiseinheiten nicht mit der kompletten Funktechnik ausgestattet sein, wodurch diese preisgünstig herzustellen sind. Auch sind die Basiseinheit so ausgelegt, daß bei der Fertigung Gleichteile eingesetzt werden, was die Produktionskosten senkt. Eine weitere Kostenersparnis entsteht dadurch, daß nur eine erste Basiseinheit eine Steuerungseinheit zur Datenkommunikation zwischen Recheneinheit und Handgeräten aufweist.The input device according to the invention can be designed particularly cost-effectively, if according to a preferred embodiment of the input device according to the invention only a first base unit has a transmitting and receiving unit and the Allows communication with the handheld devices. The first base unit contains all of them Components that enable wireless communication with the Handheld devices are needed. This means that additional base units do not have to be connected to the complete radio technology, which makes them inexpensive to manufacture. The base unit is also designed so that identical parts are used in production become what lowers the production cost. Another cost saving arises in that only a first base unit is a control unit for Has data communication between the computing unit and handheld devices.

Ein weiterer Gegenstand der Erfindung ist die Verwendung einer Eingabevorrichtung nach einem der Ansprüche 1 bis 8 in der Kraftfahrzeugentwicklung. Die Verwendung in der Kraftfahrzeugentwicklung ermöglicht kostengünstige Crash-Simulationen, die Besichtigung von virtuellen Designmodellen und die Darstellung von Fahrzeugprototypen zur Marktforschung. In der Kraftfahrzeugentwicklung können mit Hilfe der erfindungsgemäßen Eingabevorrichtung z. B. ein Designer und ein Konstrukteur gleichzeitig ein Konstruktionsmodell begutachten und mit ihm interagieren. Auch sind Präsentationen von Fahrzeugprototypen in der virtuellen Welt möglich.Another object of the invention is the use of an input device according to one of claims 1 to 8 in motor vehicle development. Use in Motor vehicle development enables cost-effective crash simulations that Inspection of virtual design models and the presentation of vehicle prototypes for market research. In automotive development, with the help of input device according to the invention z. B. a designer and a designer at the same time examine and interact with a construction model. Also are Presentations of vehicle prototypes possible in the virtual world.

Die vorliegende Erfindung wird im folgenden anhand von Ausführungsbeispielen näher erläutert, wobei auf die Zeichnung bezug genommen wird. In der Zeichnung zeigen:The present invention is explained in more detail below on the basis of exemplary embodiments explained, reference being made to the drawing. The drawing shows:

Fig. 1 die Kopplung zwischen Eingabevorrichtung und Anzeigeeinheit einer Mensch-Maschine-Schnittstelle; . Figure 1 shows the coupling between the input device and display unit of a man-machine interface;

Fig. 2 schematische Darstellung eines erfindungsgemäßen Ortungsverfahrens; Fig. 2 is schematic representation of a locating method according to the invention;

Fig. 3 eine Seitenansicht eines erfindungsgemäßen Handgerätes; Fig. 3 is a side view of a hand-held device according to the invention;

Fig. 4-6 Seitenansichten eines erfindungsgemäßen Handgerätes; Fig. 4-6 side views of a handheld device according to the invention;

Fig. 7a-7e Seitenansichten eines erfindungsgemäßen Handgerätes sowie eine damit verbundenen Basisstation; Fig. 7a-7e are side views of a hand-held device according to the invention as well as an associated base station;

Fig. 8 ein modularer Aufbau von erfindungsgemäßen Basisstationen; Fig. 8 is a modular construction of the present invention base stations;

Fig. 9 ein Aufbau eines erfindungsgemäßen Ortungssystems und Fig. 9 shows a structure of a location system according to the invention and

Fig. 10 eine Darstellung eines erfindungsgemäßen Verfahrens zur Markierung von virtuellen Objekten. Fig. 10 is an illustration of an inventive method for marking virtual objects.

Bei der Entwicklung von Kraftfahrzeugen ist es bisher üblich, tatsächliche Modelle von Entwürfen herzustellen und die Entwürfe anhand der realen Modelle zu überprüfen. Jede Änderung eines Entwurfs ist mit einer kostenintensiven Änderung des Modells verbunden.In the development of motor vehicles, it has so far been common to use actual models of To produce designs and to check the designs against the real models. Each Modification of a design involves an expensive modification of the model connected.

Die Entwicklung von Kraftfahrzeugprototypen mit Hilfe von virtuellen Modellen ermöglicht eine einfache Veränderung der Prototypen und damit eine schnelle Entwicklung von neuen Kraftfahrzeugen. Die virtuelle Welt stellt eine neue Generation von Mensch- Maschine-Schnittstelle dar, die das sinnliche Erlebbarmachen von virtuellen Räumen und Gegenständen ermöglicht. Mit Hilfe von geeigneten Eingabevorrichtungen sowie geeigneter Eingabeverfahren ist es möglich, sich scheinbar real in der virtuellen Welt zu bewegen und mit der virtuellen Welt zu interagieren.The development of motor vehicle prototypes with the help of virtual models enables a simple change of the prototypes and thus a quick development of new motor vehicles. The virtual world represents a new generation of human Machine interface that makes the sensual experience of virtual spaces and Objects. With the help of suitable input devices as well suitable input methods it is possible to appear to be real in the virtual world move and interact with the virtual world.

Zwischen Eingabe von Navigationsinformationen und Interaktionsinformationen und der damit verbundenen Ausgabe der Ansicht der virtuellen Welt besteht eine Kopplung, wie sie in Fig. 1 dargestellt ist. Über die Mensch-Maschine-Schnittstelle 100 werden Navigations- und Interaktionsinformationen zwischen einer Eingabevorrichtung 102 und einer Recheneinheit 104 ausgetauscht. Eingaben eines Benutzers führen zu einer Veränderung der virtuellen Welt, welche dem Benutzer über eine visuelle Rückkopplung angezeigt wird. Entsprechend der visuellen Ausgabe 122 der virtuellen Welt wird vom Benutzer eine Eingabe 108 ausgelöst. Die Benutzereingaben 108 werden mit Hilfe von Bedienelementen 106 ausgelöst. Die Bedienelemente 106 ermöglichen sowohl eine Navigation 106a als auch eine Interaktion 106b mit der virtuellen Welt. Entsprechend des Kenntnisstandes eines Benutzers 107a bis 107d stehen verschiedene Navigations- und Interaktionsmöglichkeiten mit Hilfe der Bedienelemente 106 zur Verfügung. In der Kenntnisstufe 107a verfügt der Benutzer über einen begrenzten Satz an Navigationsmöglichkeiten, welcher mit zunehmender Kenntnisstufe 107b bis 107d erweitert wird.There is a coupling, as shown in FIG. 1, between the input of navigation information and interaction information and the associated output of the view of the virtual world. Navigation and interaction information is exchanged between an input device 102 and a computing unit 104 via the human-machine interface 100 . User inputs lead to a change in the virtual world, which is displayed to the user via visual feedback. An input 108 is triggered by the user in accordance with the visual output 122 of the virtual world. User inputs 108 are triggered with the aid of operating elements 106 . The control elements 106 enable both navigation 106 a and interaction 106 b with the virtual world. Depending on the level of knowledge of a user 107 a to 107 d, various navigation and interaction options are available with the aid of the operating elements 106 . In knowledge level 107 a, the user has a limited set of navigation options, which is expanded as knowledge level 107 b to 107 d increases.

Ein Anfänger kann beispielsweise nur in drei translatorischen Bewegungsrichtungen navigieren, wobei die Bewegungsrichtungen voneinander entkoppelt sind, was bedeutet, daß eine Navigation in mehr als eine Bewegungsrichtung gleichzeitig nicht möglich ist. Auch werden die Benutzereingaben zur Navigation in der virtuellen Welt in den Kenntnisstufen 107a und 107b nur weggesteuert in Navigationsinformation umgesetzt. Die weggesteuerte Umsetzung bedeutet, daß die virtuelle Bewegung der realen Bewegung der Eingabevorrichtung 102 proportional ist. Die virtuelle Bewegung erfolgt nur solange, wie die reale Bewegung stattfindet. Die weggesteuerte Navigation ist für den Anfänger leicht zu beherrschen.A beginner can, for example, only navigate in three translatory directions of movement, the directions of movement being decoupled from one another, which means that navigation in more than one direction of movement is not possible at the same time. The user inputs for navigation in the virtual world in the knowledge levels 107 a and 107 b are only converted into navigation information in a path-controlled manner. The path-controlled implementation means that the virtual movement is proportional to the real movement of the input device 102 . The virtual movement takes place only as long as the real movement takes place. The path-controlled navigation is easy to master for the beginner.

In den Anfängerkenntnisstufen 107a, 107b stehen dem Benutzer nur die Bewegungsarten "CAMERA IN HAND" und "OBJECT IN HAND" zur Verfügung. Bei der "OBJECT iN HAND" Bewegungsart kann der Benutzer ein virtuelles Objekt mit Hilfe realer Bewegungen der Eingabevorrichtungen 102 in der virtuellen Welt drehen. Bei der Bewegungsart "CAMERA IN HAND" kann der Benutzer mit Hilfe der Eingabevorrichtung 102 die Ansicht 122 der virtuellen Welt so verändern, als schaue er durch den Sucher einer Kamera, welche durch die Eingabevorrichtung 102 repräsentiert wird. Zwischen den beiden Bewegungsarten kann der Benutzer umschalten, in dem er unterschiedliche Geräteseiten benutzt. In den Expertenkenntnisstufen 107c, 107d stehen dem Benutzer bis zu sechs Bewegungsrichtungen parallel zur Navigation zur Verfügung. Die Anzahl der Navigationsfreiheitsgrade ist entsprechend der Kenntnisstufe 107c, 107d, wie auch in den Kenntnisstufen 107a, 107b, über eine Software, die aus einer Datenbank ladbar ist, zu bestimmen. In den Expertenkenntnisstufen 107c, 107d kann die Bewegung der Eingabevorrichtung 102 geschwindigkeitsgesteuert in eine virtuelle Bewegung umgesetzt werden. Dies ist abhängig von der in der Datenbank gespeicherten Software und kann für jeden Benutzer individuell angepaßt sein. Bei der geschwindigkeitsgesteuerten Navigation wird die Auslenkung eines Referenzkörpers, hier der Eingabevorrichtung 102, in eine Bewegung in der virtuellen Welt mit entweder konstanter oder sich mit der Größe der Auslenkung verändernden Geschwindigkeit umgesetzt.In the beginner's knowledge levels 107 a, 107 b, only the movement types "CAMERA IN HAND" and "OBJECT IN HAND" are available to the user. With the "OBJECT IN HAND" type of movement, the user can rotate a virtual object with the help of real movements of the input devices 102 in the virtual world. With the "CAMERA IN HAND" movement type, the user can use the input device 102 to change the view 122 of the virtual world as if he were looking through the viewfinder of a camera represented by the input device 102 . The user can switch between the two types of movement by using different device pages. In the expert knowledge levels 107 c, 107 d, the user has up to six directions of movement parallel to the navigation. The number of degrees of freedom of navigation is to be determined according to knowledge level 107 c, 107 d, as well as in knowledge levels 107 a, 107 b, using software that can be loaded from a database. In the expert knowledge levels 107 c, 107 d, the movement of the input device 102 can be converted into a virtual movement in a speed-controlled manner. This depends on the software stored in the database and can be customized for each user. In the case of speed-controlled navigation, the deflection of a reference body, here the input device 102 , is converted into a movement in the virtual world with a speed that is either constant or changes with the size of the deflection.

Zur Bewegung in der virtuellen Welt stehen in den Kenntnisstufen 107c, 107d die Bewegungsarten "CAMERA IN HAND" und "OBJECT IN HAND" sowie "FLYING/DRIVING CART" zur Verfügung. Bei der "FLYING CART" Bewegungsart kann der Benutzer sich frei im Raum bewegen. Er kann dadurch gezielt einzelne Punkte in der virtuellen Welt ansteuern, ohne eine Beschränkung der Bewegung auf nur eine Ebene.For movement in the virtual world, the types of movement "CAMERA IN HAND" and "OBJECT IN HAND" as well as "FLYING / DRIVING CART" are available in knowledge levels 107 c, 107 d. With the "FLYING CART" type of movement, the user can move freely in the room. This enables him to target individual points in the virtual world without restricting movement to just one level.

Zur Interaktion stehen dem Benutzer verschiedene Bedienelemente 106b zur Verfügung. Auch bei der Interaktion wird zwischen verschiedenen Kenntnisstufen 107a bis 107d unterschieden. In der Kenntnisstufe 107a kann der Benutzer mit Hilfe eines Bedienelementes die "CAMERA IN HAND" Bewegungsart ein- und ausschalten. Mit einem weiteren Bedienelement ist es möglich, einen virtuellen Zeigerstrahl auszulösen. Weiterhin kann je nach Kenntnisstufe 107a bis 107d des Benutzers mit Hilfe einer Software eine Zoomfunktion aktiviert werden, mit deren Hilfe sich der Benutzer ein bestimmtes virtuelles Objekt in der Ansicht zu sich heranziehen kann.Various control elements 106 b are available to the user for interaction. The interaction also differentiates between different levels of knowledge 107 a to 107 d. At knowledge level 107 a, the user can use a control element to switch the "CAMERA IN HAND" movement type on and off. With another control element it is possible to trigger a virtual pointer beam. Furthermore, depending on the level of knowledge 107 a to 107 d of the user, a zoom function can be activated with the aid of a software, with the aid of which the user can draw a specific virtual object in the view.

Mit wachsendem Kenntnisstufe 107c, 107d des Benutzers können weitere Funktionen freigegeben werden. So können z. B. die Funktionen der virtuellen Menüs, bei welchem auf der Anzeige eine Vielzahl von verfügbaren Interaktionsmöglichkeiten zur Auswahl gestellt werden, oder eine Schnappschußfunktion, bei welcher eine Ansicht der virtuellen Welt eingefroren werden kann, freigeschaltet werden. In den Expertenkenntnisstufen 107c, 107d sind die Interaktionsbedienelemente 106b frei programmierbar. Der Benutzer kann mit Hilfe der Navigationsbedienelemente 106a frei in der virtuellen Welt navigieren und Drehungen von virtuellen Objekten sowie der ganzen virtuellen Szene initiieren. With increasing knowledge level 107 c, 107 d of the user, further functions can be released. So z. B. the functions of the virtual menus, in which a variety of available interaction options are available on the display, or a snapshot function, in which a view of the virtual world can be frozen. In the expert knowledge levels 107 c, 107 d, the interaction control elements 106 b are freely programmable. The user can use the navigation controls 106 a to navigate freely in the virtual world and initiate rotations of virtual objects and the entire virtual scene.

Entsprechend der Interaktionseingaben 106b erhält der Benutzer ein visuelles Echo 126. Dieses visuelle Echo wird über die Mensch-Maschine-Schnittstelle 100 mit Hilfe der Anzeige 122 angezeigt. Entsprechend der Navigationseingaben 106a wird die Ansicht der virtuellen Welt verändert und dem Benutzer mit Hilfe des visuellen Echos 124 vermittelt. Auch dieses wird dem Benutzer mit Hilfe der Anzeige 122 angezeigt.According to the interaction input 106 b, the user obtains a visual echo 126th This visual echo is displayed via the human-machine interface 100 with the aid of the display 122 . According to the navigation inputs 106 a, the view of the virtual world is changed and conveyed to the user with the help of the visual echo 124 . This is also shown to the user with the aid of the display 122 .

Entsprechend der Benutzereingaben 108 wird mit Hilfe einer Recheneinheit 120 das Bild der Anzeigeeinheit 122 berechnet. Weiterhin ist für das dargestellte Bild die Position und Orientierung der Eingabevorrichtung 102, die mit Hilfe einer Positionsermittlungseinrichtung 110 ermittelt wird, ausschlaggebend.According to the user input 108 , the image of the display unit 122 is calculated with the aid of a computing unit 120 . Furthermore, the position and orientation of the input device 102 , which is determined with the aid of a position determining device 110 , is decisive for the image shown.

Die Positionsermittlung der Eingabevorrichtung 200 wird in Fig. 2 dargestellt. Die Eingabevorrichtung 200 verfügt über einen Infrarotsensor 202b, einen akustischen Trackingsensor sowie einen inertialen Trackingsensor (nicht dargestellt). Der inertiale Trackingsensor sendet bei Bedarf ein Funksignal, daß Orientierung und Positionierung sowie eine Gerätekennung enthält, aus. Mit Hilfe des inertialen Trackingsensors wird die Beschleunigung und die Neigung der Eingabevorrichtung 200 erfaßt. Der akustische Trackingsensor dient der Positionsbestimmung des Handgerätes und sendet dazu Ultraschallsignale aus. Die Ortungsvorrichtung 212 sendet über die Luftschnittstelle 204 Infrarotsignale 209a mit Hilfe des Infrarotsensors 208a an die Eingabevorrichtung 200. Bei Empfang eines Infrarotsignals 209a mit Hilfe des Infrarotsensors 202a sendet die Eingabevorrichtung 200 über die Antenne 209b ein Funksignal des inertialen Trackingsensors, sowie ein Ultraschallsignal der akustischen Trackingsensors aus. Die Funksignale und die Ultraschallsignale sind unter anderem mit einer Endgerätekennung versehen, mit deren Hilfe eine genaue Identifizierung der Eingabevorrichtung 200 möglich ist. Über ein Antennensystem 208b, welches in Fig. 9 dargestellt ist, kann die Ortungsvorrichtung 212 die Position der Eingabevorrichtung 200 eindeutig bestimmen.The position determination of the input device 200 is shown in FIG. 2. The input device 200 has an infrared sensor 202 b, an acoustic tracking sensor and an inertial tracking sensor (not shown). If necessary, the inertial tracking sensor sends out a radio signal that contains orientation and positioning as well as a device identifier. The acceleration and the inclination of the input device 200 are detected with the aid of the inertial tracking sensor. The acoustic tracking sensor is used to determine the position of the handheld device and sends out ultrasonic signals. The locating device 212 sends infrared signals 209 a via the air interface 204 with the aid of the infrared sensor 208 a to the input device 200 . When an infrared signal 209 a is received with the aid of the infrared sensor 202 a, the input device 200 transmits a radio signal from the inertial tracking sensor and an ultrasonic signal from the acoustic tracking sensor via the antenna 209 b. The radio signals and the ultrasound signals are provided, among other things, with a terminal identifier, with the aid of which an exact identification of the input device 200 is possible. Via an antenna system 208 b, which is shown in FIG. 9, the locating device 212 can uniquely determine the position of the input device 200 .

Das Funksignal enthält Informationen über Orientierung und Positionierung der Eingabevorrichtung 200 sowie Informationen über Zustände von Interaktionsbedienelementen. Durch den inertialen Trackingsensor, der einen Beschleunigungssensor, einen Kompaß sowie einen Kreisel aufweist, läßt sich die horizontale Orientierung bestimmen. Auch läßt sich die Wegänderung des Handgerätes in den drei Raumachsen ermitteln. Das Funksignal sowie das Ultraschallsignal wird von der Basisstation 210 empfangen und die darin enthaltenen Informationen werden in der Basisstation 210 extrahiert. Die mit Hilfe der Basisstation 210 erfaßten Daten werden an eine zentrale Recheneinheit 216 übermittelt. Außerdem werden die mit Hilfe der Ortungsvorrichtung 212 ermittelten Positionsdaten an die zentrale Recheneinheit 216 übermittelt. Unter Berücksichtigung der ermittelten Daten errechnet die zentrale Recheneinheit 216 in nahezu Echtzeit eine aktuelle Ansicht der virtuellen Welt, die daraufhin auf der Anzeigeeinheit 218 dargestellt wird.The radio signal contains information about the orientation and positioning of the input device 200 and information about the states of interaction control elements. The horizontal orientation can be determined by the inertial tracking sensor, which has an acceleration sensor, a compass and a gyroscope. The change in path of the handheld device can also be determined in the three spatial axes. The radio signal and the ultrasound signal are received by the base station 210 and the information contained therein is extracted in the base station 210 . The data acquired using the base station 210 are transmitted to a central processing unit 216 . In addition, the position data determined with the aid of the locating device 212 are transmitted to the central processing unit 216 . Taking into account the determined data, the central processing unit 216 calculates a current view of the virtual world in almost real time, which is then displayed on the display unit 218 .

In Fig. 3 ist eine Seitenansicht einer Eingabevorrichtung 300 zu erkennen. Die Eingabevorrichtung 300 kann von einem Benutzer mit den Fingern einer Hand 302a bis 302e umfaßt werden. Die in Fig. 3 dargestellte Benutzung der Eingabevorrichtung 300 wird bei der Bewegungsart "CAMERA IN HAND" angewandt. Die Eingabevorrichtung 300 weist eine drehbar gelagerte Kugel 304 mit einer daran angeordneten Optik 304a auf, mit deren Hilfe die Drehung der Kugel 304 ermittelt wird. Weiterhin weist die Eingabevorrichtung 300 einen Bereich 314 auf, in dem ein inertialer Ortungssensor untergebracht ist. Die Bedienelemente 310 und 312 sowie 308 ermöglichen die Interaktion mit der virtuellen Welt. Die jeweiligen Funktionen der Bedienelemente 308 bis 312 sind frei programmierbar und abhängig vom Kenntnisstand der Benutzers. Der Bereich 316 dient der Unterbringung des akustischen Ortungssensors 404, mit dessen Hilfe ein Signalaustausch mit der Ortungsvorrichtung 212 möglich ist. Ein Zoomrad 306, welches als selbstzentrierendes Rad ausgeführt ist, ist ebenfalls in die Eingabevorrichtung 300 integriert. Im Bereich 317 ist die Energieversorgung der kabellosen Eingabevorrichtung 300 untergebracht.A side view of an input device 300 can be seen in FIG. 3. The input device 300 can be grasped by a user with the fingers of a hand 302 a to 302 e. The use of the input device 300 shown in FIG. 3 is used for the "CAMERA IN HAND" movement type. The input device 300 has a rotatably mounted ball 304 with an optics 304 a arranged thereon, with the aid of which the rotation of the ball 304 is determined. Furthermore, the input device 300 has an area 314 in which an inertial location sensor is accommodated. The controls 310 and 312 and 308 enable interaction with the virtual world. The respective functions of the control elements 308 to 312 are freely programmable and depend on the level of knowledge of the user. The area 316 serves to accommodate the acoustic location sensor 404 , with the aid of which a signal exchange with the location device 212 is possible. A zoom wheel 306 , which is designed as a self-centering wheel, is also integrated into the input device 300 . The area 317 houses the energy supply for the wireless input device 300 .

In den Fig. 4 bis 6 sind weitere Seitenansichten der Eingabevorrichtung 300 zu erkennen. Der akustische Ortungssensor 404 weist eine Öffnung auf und ist oberhalb der Sende- und Empfangsvorrichtung 408 angeordnet. Darunter befindet sich ein Fach für die Energieversorgung 410, welche zur Aufnahme von Batterien geeignet ist.In Figs. 4 to 6 further side views of the input device 300 can be seen. The acoustic location sensor 404 has an opening and is arranged above the transmitting and receiving device 408 . Below this is a compartment for the power supply 410 , which is suitable for holding batteries.

Der inertiale Ortungssensor 402 ist vom akustischen Ortungssensor 404 beabstandet, so daß eine Beeinflussung der beiden Sensoren vermieden wird. Zur Analog/Digital Wandlung der Benutzereingaben und Position und der Orientierung dient die Platine 406. Der akustische Ortungssensor 404 weist einen Abstrahlwinkel 602 von 160° auf. Über die Anzeige 502 erhält der Benutzer Informationen über die aktive Bedienseite.The inertial location sensor 402 is spaced from the acoustic location sensor 404 , so that influencing of the two sensors is avoided. The board 406 is used for analog / digital conversion of the user inputs and position and orientation. The acoustic location sensor 404 has a radiation angle 602 of 160 °. The display 502 provides the user with information about the active operating page.

Die in den Fig. 3 bis 6 dargestellte Eingabevorrichtung 300 funktioniert wie folgt:
Die in Fig. 3 dargestellte Haltung der Eingabevorrichtung 300 wird bei der Bewegungsart "CAMERA IN HAND" genutzt. Wird die Eingabevorrichtung 300 um die horizontale Achse um 90° gedreht, befindet sich die drehbar gelagerte Kugel 304 auf der Oberseite. Diese Geräteposition erlaubt dann die Bewegungsart "OBJECT IN HAND". Zwischen den beiden Bewegungsarten wird mit Hilfe des Schalters 502 umgeschaltet. Außerdem gibt der Schalter 502 dem Benutzer eine visuelle Rückkopplung, welche Geräteseite aktiv ist. Bei der Bewegungsart "CAMERA IN HAND" bewegt der Benutzer sich durch den realen Raum und die Ansicht der virtuellen Welt wird entsprechend der Position und Orientierung der Eingabevorrichtung 300 verändert. Die Eingabevorrichtung 300 wird wie eine Kamera genutzt und die Anzeige entspricht einem von einer Kamera in der Position der Eingabevorrichtung 300 aufgenommenen Bild der virtuellen Welt. Mit dem Bedienelement 308 läßt sich ein virtueller Zeigerstrahl aktivieren und das Bedienelement 306 aktiviert eine Zoomfunkion, um die Ansicht der virtuellen Welt zu vergrößern.The input device 300 shown in FIGS . 3 to 6 functions as follows:
The position of the input device 300 shown in FIG. 3 is used in the "CAMERA IN HAND" movement type. If the input device 300 is rotated through 90 ° about the horizontal axis, the rotatably mounted ball 304 is located on the upper side. This device position then allows the movement type "OBJECT IN HAND". Switch 502 is used to switch between the two types of movement. In addition, switch 502 provides the user with visual feedback as to which device side is active. With the "CAMERA IN HAND" movement type, the user moves through the real space and the view of the virtual world is changed in accordance with the position and orientation of the input device 300 . The input device 300 is used like a camera and the display corresponds to an image of the virtual world recorded by a camera in the position of the input device 300 . A virtual pointer beam can be activated with the control element 308 and the control element 306 activates a zoom function in order to enlarge the view of the virtual world.

Bei der Bewegungsart "OBJECT IN HAND" befindet sich die drehbar gelagerte Kugel 304 auf der Oberseite. Der Benutzer kann ein virtuelles Objekt mit Hilfe der Kugel 304 beliebig in der virtuellen Welt drehen. Die Ansicht der virtuellen Welt wird entsprechend verändert. Die Bedienelemente 310 und 312 dienen der Aktivierung von Interaktionsfunktionen, wie z. B. von virtuellen Menüs, die auf der Anzeigeeinheit angezeigt werden oder zum Greifen von virtuellen Objekten. Die Kugel 304 läßt sich mit dem Daumen oder mit den Fingern der zweiten Hand bedienen. Mit der Rollkugel ist eine feinfühlige Bewegung der virtuellen Objekte möglich. In der Bewegungsart "OBJECT IN HAND" ist die Ortung der Eingabevorrichtung 300 deaktiviert. Auch in der Bewegungsart "CAMERA IN HAND" läßt sich die Ortung der Eingabevorrichtung 300 deaktivieren. Dadurch ist es möglich, die Eingabevorrichtung 300 einem weiteren Benutzer zu übergeben, ohne die Ansicht der virtuellen Welt zu verändern. Dabei wird die physikalische Ortung der Eingabevorrichtung 300 nicht ausgesetzt, sondern es werden lediglich die ermittelten Orientierungs- und Positionierungsdaten nicht in eine Veränderung der Ansicht der virtuellen Welt umgesetzt.In the "OBJECT IN HAND" movement type, the rotatably mounted ball 304 is located on the top. The user can rotate a virtual object anywhere in the virtual world using the ball 304 . The view of the virtual world is changed accordingly. The controls 310 and 312 are used to activate interaction functions, such as. B. of virtual menus that are displayed on the display unit or for gripping virtual objects. The ball 304 can be operated with the thumb or with the fingers of the second hand. With the trackball, a sensitive movement of the virtual objects is possible. In the "OBJECT IN HAND" movement type, the location of the input device 300 is deactivated. The locating of the input device 300 can also be deactivated in the "CAMERA IN HAND" movement type. This makes it possible to hand over the input device 300 to another user without changing the view of the virtual world. The physical location of the input device 300 is not suspended, only the determined orientation and positioning data are not converted into a change in the view of the virtual world.

In den Fig. 7a-7e und 8 ist eine Basisstation 700 dargestellt, die eine Eingabevorrichtung 300 aufgenommen hat. Die Basisstation 700 weist eine Netzversorgung 702 auf. Währen die Eingabevorrichtung 300 in der Basisstation 700 gelagert ist, werden die Batterien der Eingabevorrichtung 300 geladen. Das Netzteil 708 wird über die Lüftungsschlitze 706 gekühlt. Auf der Basisstation 700 befinden sich Leuchtdioden 704, die eine Kommunikation mit einer Eingabevorrichtung 300 anzeigen. Zur Kommunikation mit den Eingabevorrichtungen 300 weist die Basisstation 700 einen Sender/Empfänger 710 auf. Die Anzeige 712 zeigt den Ladezustand einer Eingabevorrichtung 300 an. Über die Anzeige 714 wird der Benutzer über den Einschaltzustand der Basisstation 700 informiert. FIGS. 7a-7e and 8 show a base station 700 which has received an input device 300 . The base station 700 has a network supply 702 . While the input device 300 is stored in the base station 700 , the batteries of the input device 300 are charged. The power supply 708 is cooled via the ventilation slots 706 . Light-emitting diodes 704 are located on the base station 700 , which indicate communication with an input device 300 . The base station 700 has a transmitter / receiver 710 for communication with the input devices 300 . The display 712 shows the state of charge of an input device 300 . The display 714 informs the user of the switched-on state of the base station 700 .

In Fig. 8 sind vier Basisstationen 700 über eine Schiene 800 miteinander verbunden. In den vier Basisstationen 700 sind Eingabevorrichtungen 300 untergebracht. Nur eine erste Basisstation 700 weist Vorrichtungen zur bidirektionalen Kommunikation mit den Eingabevorrichtungen 300 auf. Die weiteren Basisstation 700 dienen lediglich als Ladestation für die Eingabevorrichtungen 300. Über die Schiene 800 werden die Basisstation 700 mit Strom versorgt.In FIG. 8, four base stations 700 are connected to each other via a rail 800 is synthesized. Input devices 300 are accommodated in the four base stations 700 . Only a first base station 700 has devices for bidirectional communication with the input devices 300 . The further base station 700 merely serve as a charging station for the input devices 300 . The base station 700 is supplied with power via the rail 800 .

Die in Fig. 9 dargestellte Antennenanordnung dient der Ermittlung der Position einer Eingabevorrichtung 300. Die Basis 900 sendet abwechselnd an alle im Beobachtungsraum befindlichen Eingabevorrichtungen 300 Infrarotsignale 209a. Bei Empfang eines Infrarotsignals 209a wird von der Eingabevorrichtung ein Funksignal und ein Ultraschallsignal generiert und über die Antenne 209b ausgesendet. Anhand der Signallaufzeiten die das Ultraschallsignals zu den voneinander beabstandeten Antennen 902a bis d braucht, ist eine Ermittlung der Position der Eingabevorrichtung 300 innerhalb des Beobachtungsraumes möglich. Auch wird ein Funksignal über die Antenne 209b ausgesendet, das Informationen über die Orientierung und Positionierung, sowie von Zuständen von Interaktionsbedienelementen enthält. Die Positionsangaben werden über das Kabel 904 an eine Recheneinheit übermittelt.The antenna arrangement shown in FIG. 9 serves to determine the position of an input device 300 . The base 900 alternately sends 300 infrared signals 209 a to all input devices located in the observation room. When an infrared signal 209 a is received, a radio signal and an ultrasound signal are generated by the input device and transmitted via the antenna 209 b. The position of the input device 300 within the observation space can be determined on the basis of the signal transit times that the ultrasound signal needs to reach the antennas 902 a to d spaced apart from one another. A radio signal is also transmitted via the antenna 209 b, which contains information about the orientation and positioning, as well as about the states of interaction control elements. The position information is transmitted to a computing unit via cable 904 .

In der Fig. 10 ist schematisch die Funktionsweise eines virtuellen Zeigerstrahls dargestellt. Die Ansicht 1000 einer virtuellen Welt entspricht einer Ansicht eines Benutzers auf die virtuelle Welt. In der virtuellen Welt befinden sich zwei virtuelle Objekte 1002 und 1004. Der Benutzer möchte nun das virtuelle Objekt 1002 markieren. Dafür aktiviert er einen virtuellen Zeigerstrahl 1006 und richtet diesen auf das virtuelle Objekt 1002. Der virtuelle Zeigerstrahl 1006 endet im virtuellen Objekt 1002. Ein zweiter Benutzer, der sich ebenfalls in der gleichen virtuellen Welt befindet, erkennt anhand des virtuellen Zeigerstrahls 1006 das vom ersten Benutzer markierte virtuelle Objekt 1002. In FIG. 10, the operation is shown of a virtual pointer beam schematically. The virtual world view 1000 corresponds to a user's view of the virtual world. There are two virtual objects 1002 and 1004 in the virtual world. The user now wants to mark the virtual object 1002 . To do this, he activates a virtual pointer beam 1006 and directs it onto the virtual object 1002 . The virtual pointer beam 1006 ends in the virtual object 1002 . A second user, who is also in the same virtual world, uses the virtual pointer beam 1006 to recognize the virtual object 1002 marked by the first user.

REFERENCE SIGN LIST

100100

Mensch-Maschine-Schnittstelle
Human-machine interface

102102

Eingabevorrichtung
Input device

104104

Recheneinheit
Arithmetic unit

106106

a Navigationsbedienelemente
a Navigation controls

106106

b Interaktionsbedienelemente
b Interaction controls

107107

a-a-

107107

d Kentnisstufen
d Skill levels

108108

Benutzereingabe
User input

110110

Positionsermittelungseinrichtung
Position determination device

120120

Recheneinheit
Arithmetic unit

122122

visuelle Ausgabe
visual output

124124

, ,

126126

visuelles Echo
visual echo

200200

Eingabevorrichtung
Input device

202202

a Funksensor
a radio sensor

202202

b Infrarotsensor
b Infrared sensor

204204

Luftschnittstelle
Air interface

208208

Infrarotsensor
Infrared sensor

208208

b Antennensystem
b Antenna system

209209

a Infrarotsignal
a infrared signal

209209

b Funksignal
b radio signal

210210

Basisstation
Base station

212212

Ortungsvorrichtung
Locating device

216216

zentrale Recheneinheit
central processing unit

300300

Eingabevorrichtung
Input device

302302

Finger einer Hand
Fingers of a hand

304304

drehbar gelagerte Kugel
rotatably mounted ball

304304

a Optik
a optics

308308

, ,

310310

, ,

312312

Interaktionsbedienelement
Interaction control

314314

Orientierungssensorgehäuse
Orientation sensor housing

316316

Ortungssensorgehäuse
Location sensor housing

317317

Energieversorgungsgehäuse
Power supply housing

402402

inertialer Orientierungssensor
inertial orientation sensor

404404

akustischer Ortungssensor
acoustic location sensor

406406

Platine
circuit board

408408

Sende-/Empfangseinrichtung
Sending / receiving device

410410

Energieversorgung
power supply

502502

Anzeige/Schalter
Display / switch

602602

Abstrahlwinkel
Beam angle

700700

Basisstation
Base station

702702

Netzversorgung
Power supply

704704

Leuchtdioden
LEDs

706706

Lüftungsschlitze
Ventilation slots

708708

Netzteil
power adapter

710710

Sender/Empfänger
Transmitter-receiver

712712

Ladezustandsanzeige
Charge status display

714714

Anzeige Ein/Aus
Display on / off

800800

Schiene
rail

Claims

1. Input device for interacting with and navigating in a multidimensional virtual world, with at least two hand-held devices enabling navigation into and interacting with the multidimensional virtual world and with a computing unit processing the navigation and interaction inputs of a user recorded by the hand-held devices, characterized in that that the at least two handsets communicate via a radio interface with a base unit connected to the computing unit, and that the base unit supports communication with the at least two handsets essentially in parallel.

2. Input device according to claim 1, characterized in that the at least two handheld devices can be connected to the base unit, with over an electrical contact connects the handheld devices to a power supply are.

3. Input device according to one of claims 1 to 2, characterized in that that the handsets have a self-sufficient energy supply, which means a wireless operation is possible.

4. Input device according to claim 3, characterized in that the self-sufficient Power supply for the handheld devices is formed from accumulators, and that the Base unit charges the batteries via a mains supply.

5. Input device according to one of claims 1 to 4, characterized in that at least two base units can be coupled together.

6. Input device according to one of claims 1 to 5, characterized in that at least two base units via a line-guiding rail are interconnected.

7. Input device according to one of claims 1 to 6, characterized in that only a first base unit has a transmitting and receiving unit and enables communication with the handheld devices.

8. Input device according to one of claims 1 to 7, characterized in that that only a first base unit is a control unit for data communication between computing unit and handheld devices.

9. Use of an input device according to one of claims 1 to 8 in the Motor vehicle development.