DE10110484A1

DE10110484A1 - Marking virtual objects in multidimensional virtual world involves triggering virtual pointer beam with hand-held device within predetermined boundaries, detecting object direction/distance

Info

Publication number: DE10110484A1
Application number: DE10110484A
Authority: DE
Inventors: Birte Wasmund; Peter Zimmermann
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2000-03-11
Filing date: 2001-03-05
Publication date: 2001-09-13
Also published as: DE10110489A1; DE10110485A1; DE10110486A1; DE10110487A1

Abstract

The method involves triggering a virtual pointer beam (1006) using a hand-held device located within predetermined boundaries. The pointer beam is directed from the virtual position of the hand-held device onto the object (1002, 1004), whereby the direction and distance between the object and the hand-held device can be detected. Independent claims are also included for the following: an arrangement for marking virtual objects within a multidimensional virtual world and the use of the method and arrangement for motor vehicle development.

Description

Die Erfindung betrifft ein Verfahren zur Markierung von virtuellen Objekten innerhalb einer mehrdimensionalen virtuellen Welt, sowie die Verwendung des Verfahrens in der Kraftfahrzeugentwicklung.The invention relates to a method for marking virtual objects within a multidimensional virtual world, as well as the use of the method in the Motor vehicle development.

Bekannt ist, mehrdimensionale virtuelle Welten auf einer Anzeigeeinheit anzuzeigen. Der Benutzer kann mit Hilfe von Eingabevorrichtungen in der mehrdimensionalen virtuellen Welt navigieren. Entsprechend der Navigationseingaben des Benutzers wird die Anzeige der virtuellen Welt verändert. Auch ist es möglich, daß der Benutzer mit der mehrdimensionalen virtuellen Welt mit Hilfe einer Eingabevorrichtung, z. B. eines Handgerätes, interagiert. Die Interaktion besteht darin, daß der Benutzer mit Hilfe des Handgerätes virtuelle Objekte in der virtuellen Welt bewegen und verändern kann. Befinden sich nun mehrere Benutzer in ein und derselben mehrdimensionalen virtuellen Welt, so besteht häufig der Bedarf, daß ein Benutzer einen zweiten Benutzer auf ein bestimmtes virtuelles Objekts aufmerksam machen möchte. Hierzu bedient er sich heutzutage z. B. eines Laserpointers. Mit Hilfe des Laserpointers zeigt der Benutzer auf die entsprechende Stelle auf einer Anzeigeeinheit. Nun kommt es vor, daß die Benutzer 3D-Brillen nutzen, um den Wirklichkeitseindruck der virtuellen Welt zu erhöhen. In einem solchen Fall erscheinen die virtuellen Objekte jedoch nicht ausschließlich auf der Anzeigeeinheit, sondern der Benutzer hat den Sinneseindruck, daß sich ein virtuelles Objekt im Raum befindet. Wird nun ein bekannter Laserpointer eingesetzt, so kann nicht eindeutig festgelegt werden, welches virtuelle Objekt markiert werden soll. Befinden sich zwei virtuelle Objekte in der virtuellen Welt hintereinander, so zeigt der Laserpointer durch beide Objekte hindurch, und es ist nicht klar, welches der Objekte gemeint ist. Auch kann es vorkommen, daß zwei Benutzer jeweils mit einer für sie bestimmten Anzeigeeinheit ausgestattet sind. In diesem Fall ist die Verwendung eines Laserpointers gänzlich ausgeschlossen. It is known to display multidimensional virtual worlds on a display unit. The User can use input devices in the multi-dimensional virtual Navigate the world. The display is based on the user's navigation input changed in the virtual world. It is also possible that the user with the multidimensional virtual world using an input device, e.g. B. one Handheld device, interacts. The interaction is that the user can use the Handheld device can move and change virtual objects in the virtual world. Now there are several users in the same multidimensional virtual World, there is often a need for one user to have a second user on one want to draw attention to a specific virtual object. For this he uses himself nowadays e.g. B. a laser pointer. The user points with the help of the laser pointer the corresponding position on a display unit. Now it happens that the user Use 3D glasses to increase the impression of reality in the virtual world. In one in such a case, however, the virtual objects do not appear exclusively on the Display unit, but the user has the sensation that there is a virtual Object is in the room. If a known laser pointer is now used, it cannot clearly define which virtual object should be marked. Are located The laser pointer shows two virtual objects in a row in the virtual world through both objects and it is not clear which of the objects is meant. Also It can happen that two users each have one for them Display unit are equipped. In this case the use of a laser pointer completely excluded.

Der Erfindung liegt das technische Problem zugrunde, ein Verfahren zur Markierung von virtuellen Objekten bereitzustellen, bei welchem einzelne virtuelle Objekte eindeutig bestimmt werden können.The invention is based on the technical problem of a method for marking to provide virtual objects in which individual virtual objects are unique can be determined.

Das technische Problem wird erfindungsgemäß dadurch gelöst, daß ein virtueller Zeigerstrahl mit Hilfe eines innerhalb vorgegebener Grenzen georteten Handgerätes ausgelöst wird, daß der Zeigerstrahl von der virtuellen Position des Handgerätes auf das Objekt gerichtet wird, wodurch die Richtung und Entfernung zwischen Objekt und Handgerät erkennbar wird. Mit Hilfe dieses virtuellen Zeigerstrahls ist es nun möglich, eindeutig ein virtuelles Objekt markieren zu können. Der Zeigerstrahl ist in der realen Welt nicht erkennbar, sondern wird lediglich mit Hilfe der Anzeigeeinheit in der virtuellen Welt erkennbar gemacht. Von der virtuellen Position des Handgerätes aus wird der virtuelle Zeigerstrahl ausgelöst. Es ist nun möglich, daß der virtuelle Zeigerstrahl mitten im virtuellen Raum endet. Der Endpunkt ist nicht, wie bei bisherigen Zeigerstrahlern der Fall, durch die Anzeigeeinheit, in den meisten Fällen eine Leinwand, begrenzt. Der Benutzer kann den Endpunkt beliebig im virtuellen Raum bestimmen. Dadurch, daß ein beliebiges virtuelles Objekt eindeutig bestimmbar ist, kann nun ein Benutzer einen zweiten Benutzer auf dieses eindeutig bestimmbare virtuelle Objekt aufmerksam machen. Das Handgerät wird hierzu beispielsweise innerhalb vorgegebener Grenzen durch einen Trackingsensor kabellos geortet. Auch kann die Orientierung des Handgerätes ermittelt werden. Ausgehend von der realen Position und der realen Orientierung des Handgerätes wird mit Hilfe einer Recheneinheit eine virtuelle Position sowie eine virtuelle Blickrichtung errechnet. Anhand dieser errechneten Daten wird auf der Anzeigeeinheit ein Ausschnitt der virtuellen Welt dargestellt. Alle virtuellen Objekte, die sich innerhalb dieses Ausschnittes befinden, können nun mit Hilfe des virtuellen Zeigerstrahls markiert werden.The technical problem is solved according to the invention in that a virtual Pointer beam using a handheld device located within specified limits is triggered that the pointer beam from the virtual position of the handheld device on the Object is directed, thereby reducing the direction and distance between object and Handheld device becomes recognizable. With the help of this virtual pointer beam it is now possible to be able to clearly mark a virtual object. The pointer beam is real World not recognizable, but is only with the help of the display unit in the virtual Made the world recognizable. From the virtual position of the handheld device, the virtual pointer beam triggered. It is now possible that the virtual pointer beam is in the middle ends in virtual space. The end point is not, as with previous pointer lamps Case, limited by the display unit, in most cases a canvas. The User can determine the end point as desired in virtual space. The fact that a any virtual object can be clearly determined, a user can now make the second user aware of this clearly identifiable virtual object. For this purpose, the handheld device is activated by a user, for example, within predetermined limits Tracking sensor located wirelessly. The orientation of the handheld device can also be determined become. Based on the real position and orientation of the The handheld device becomes a virtual position and a virtual one with the help of a computing unit Direction of view calculated. Based on this calculated data, a is displayed on the display unit Section of the virtual world shown. All virtual objects that are within this Section can now be marked using the virtual pointer beam.

Um den virtuellen Zeigerstrahl in der virtuellen Welt lenken zu können, wird vorgeschlagen, daß der virtuelle Zeigerstrahl mit Hilfe eines am Handgerät angeordneten Interaktionsbedienelementes gesteuert wird. Mit Hilfe dieses Interaktionsbedienelementes wird vorzugsweise ein Objektdrehpunkt gesetzt. Der virtuelle Zeigerstrahl wird auf einen Punkt der virtuellen Welt gerichtet, und dieser Punkt kann als Objetktdrehpunkt festgelegt werden. Ein virtuelles Objekt kann danach um diesen Punkt gedreht werden.In order to be able to steer the virtual pointer beam in the virtual world, suggested that the virtual pointer beam be arranged using a handheld device Interaction control is controlled. With the help of this interaction control an object pivot point is preferably set. The virtual pointer beam is on one Point directed to the virtual world, and this point can be set as the object pivot become. A virtual object can then be rotated around this point.

Um ein markiertes virtuelles Objekt genauer betrachten zu können, wird vorgeschlagen, daß das markierte virtuelle Objekt mit Hilfe eines am Handgerät angeordneten Interaktionsbedienelementes an die virtuelle Betrachterposition heranbewegt wird. In order to be able to take a closer look at a marked virtual object, it is proposed that that the marked virtual object is arranged using a handheld device Interaction control element is moved to the virtual observer position.

In bevorzugter Weise wird der virtuelle Zeigerstrahl jeweils in eine virtuelle Blickrichtung der aktuellen Bewegung des Handgerätes in der virtuellen Welt gerichtet. Damit wird dem Benutzer verdeutlicht, in welcher Richtung er sich innerhalb der virtuellen Welt blickt. Dies erleichtert ihm die Navigation.The virtual pointer beam is preferably in each case in a virtual viewing direction the current movement of the handheld device in the virtual world. So that will User shows in which direction he is looking within the virtual world. This makes navigation easier for him.

Ein weiterer Gegenstand der Erfindung ist eine Vorrichtung zur Markierung von virtuellen Objekten in einer virtuellen Umgebung, die sich dadurch auszeichnet, daß ein Handgerät einen virtuellen Zeigerstrahl auslöst, wobei das Handgerät innerhalb vorgegebener Grenzen kabellos ortbar ist und daß der Zeigerstrahl von der virtuellen Position des Handgerätes auf das virtuelle Objekt gerichtet ist, wodurch die Richtung und Entfernung zwischen Objekt und Handgerät erkennbar ist. Dieses kabellos ortbare Handgerät ermöglicht dem Benutzer eine freie Navigation innerhalb der virtuellen Welt. Der Benutzer kann die reale Position des Handgerätes sowie die reale Orientierung des Handgerätes beliebig verändern, wodurch ihm die Navigation und Betrachtung der virtuellen Welt ermöglicht wird. Ist nun ein virtuelles Objekt innerhalb des Betrachtungsbereiches eines Benutzers, so kann er dieses virtuelle Objekt mit Hilfe des vom Handgerät auslösbaren Zeigerstrahls markieren, wodurch die Richtung und die Entfernung zwischen dem Objekt und der virtuellen Position des Handgerätes erkennbar ist.Another object of the invention is a device for marking virtual Objects in a virtual environment, which is characterized by the fact that a handheld device triggers a virtual pointer beam, the hand-held device being within a predetermined range Is wirelessly locatable and that the pointer beam from the virtual position of the Handheld device is aimed at the virtual object, reducing the direction and distance between the object and the handheld device. This wirelessly locatable handheld device enables the user to freely navigate within the virtual world. The user can the real position of the handheld device as well as the real orientation of the handheld device change as desired, thereby giving him navigation and viewing of the virtual world is made possible. Is now a virtual object within the viewing area User, he can use the virtual device to trigger this virtual object Mark the pointer beam, creating the direction and distance between the object and the virtual position of the handheld device is recognizable.

Ein weiterer Gegenstand der Erfindung ist die Verwendung eines Verfahrens und einer Vorrichtung nach einem der Ansprüche 1 bis 6 in der Kraftfahrzeugentwicklung. Die Verwendung des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung in der Kraftfahrzeugentwicklung ermöglicht die Benutzung der virtuellen Welt von mehreren Benutzern, wobei sich beispielsweise ein Konstrukteur mit einem Designer über ein bestimmtes virtuelles Objekt eines in der virtuellen Welt gespeicherten Kraftfahrzeugprototypen unterhalten können und dieses virtuelle Objekt eindeutig identifizieren können. Dies beschleunigt die Kommunikation und erleichtert somit die Entwicklung von Kraftfahrzeugprototypen in der virtuellen Welt.Another object of the invention is the use of a method and Device according to one of claims 1 to 6 in motor vehicle development. The Use of the method according to the invention and of the invention Device in automotive development enables the use of the virtual world by multiple users, for example a designer with a designer about a certain virtual object one stored in the virtual world Motor vehicle prototypes can maintain and this virtual object clearly can identify. This speeds up communication and thus makes it easier Development of automotive prototypes in the virtual world.

Die vorliegende Erfindung wird im folgenden anhand von Ausführungsbeispielen näher erläutert, wobei auf die Zeichnung bezug genommen wird. In der Zeichnung zeigen:The present invention is explained in more detail below on the basis of exemplary embodiments explained, reference being made to the drawing. The drawing shows:

Fig. 1 die Kopplung zwischen Eingabevorrichtung und Anzeigeeinheit einer Mensch- Maschine-Schnittstelle; . Figure 1 shows the coupling between the input device and display unit of a man-machine interface;

Fig. 2 schematische Darstellung eines erfindungsgemäßen Ortungsverfahrens; Fig. 2 is schematic representation of a locating method according to the invention;

Fig. 3 eine Seitenansicht eines erfindungsgemäßen Handgerätes; Fig. 3 is a side view of a hand-held device according to the invention;

Fig. 4-6 Seitenansichten eines erfindungsgemäßen Handgerätes; Fig. 4-6 side views of a handheld device according to the invention;

Fig. 7a-e Seitenansichten eines erfindungsgemäßen Handgerätes sowie eine damit verbundenen Basisstation; Figures 7a-e are side views of a hand-held device according to the invention as well as an associated base station.

Fig. 8 ein modularer Aufbau von erfindungsgemäßen Basisstationen; Fig. 8 is a modular construction of the present invention base stations;

Fig. 9 ein Aufbau eines erfindungsgemäßen Ortungssystems und Fig. 9 shows a structure of a location system according to the invention and

Fig. 10 eine Darstellung eines erfindungsgemäßen Verfahrens zur Markierung von virtuellen Objekten. Fig. 10 is an illustration of an inventive method for marking virtual objects.

Bei der Entwicklung von Kraftfahrzeugen ist es bisher üblich, tatsächliche Modelle von Entwürfen herzustellen und die Entwürfe anhand der realen Modelle zu überprüfen. Jede Änderung eines Entwurfs ist mit einer kostenintensiven Änderung des Modells verbunden.In the development of motor vehicles, it has so far been common to use actual models of To produce designs and to check the designs against the real models. Each Modification of a design involves an expensive modification of the model connected.

Die Entwicklung von Kraftfahrzeugprototypen mit Hilfe von virtuellen Modellen ermöglicht eine einfache Veränderung der Prototypen und damit eine schnelle Entwicklung von neuen Kraftfahrzeugen. Die virtuelle Welt stellt eine neue Generation von Mensch- Maschine-Schnittstelle dar, die das sinnliche Erlebbarmachen von virtuellen Räumen und Gegenständen ermöglicht. Mit Hilfe von geeigneten Eingabevorrichtungen sowie geeigneter Eingabeverfahren ist es möglich, sich scheinbar real in der virtuellen Welt zu bewegen und mit der virtuellen Welt zu interagieren.The development of motor vehicle prototypes with the help of virtual models enables a simple change of the prototypes and thus a quick development of new motor vehicles. The virtual world represents a new generation of human Machine interface that makes the sensual experience of virtual spaces and Objects. With the help of suitable input devices as well suitable input methods it is possible to appear to be real in the virtual world move and interact with the virtual world.

Zwischen Eingabe von Navigationsinformationen und Interaktionsinformationen und der damit verbundenen Ausgabe der Ansicht der virtuellen Welt besteht eine Kopplung, wie sie in Fig. 1 dargestellt ist. Über die Mensch-Maschine-Schnittstelle 100 werden Navigations- und Interaktionsinformationen zwischen einer Eingabevorrichtung 102 und einer Recheneinheit 104 ausgetauscht. Eingaben eines Benutzers führen zu einer Veränderung der virtuellen Welt, welche dem Benutzer über eine visuelle Rückkopplung angezeigt wird. Entsprechend der visuellen Ausgabe 122 der virtuellen Welt wird vom Benutzer eine Eingabe 108 ausgelöst. Die Benutzerangaben 108 werden mit Hilfe von Bedienelementen 106 ausgelöst. Die Bedienelemente 106 ermöglichen sowohl eine Navigation 106a als auch eine Interaktion 106b mit der virtuellen Welt. Entsprechend des Kenntnisstandes eines Benutzers 107a bis 107d stehen verschiedene Navigations- und Interaktionsmöglichkeiten mit Hilfe der Bedienelemente 106 zur Verfügung. In der Kenntnisstufe 107a verfügt der Benutzer über einen begrenzten Satz an Navigationsmöglichkeiten, welcher mit zunehmender Kenntnisstufe 107b bis 107d erweitert wird.There is a coupling, as shown in FIG. 1, between the input of navigation information and interaction information and the associated output of the view of the virtual world. Navigation and interaction information is exchanged between an input device 102 and a computing unit 104 via the human-machine interface 100 . User inputs lead to a change in the virtual world, which is displayed to the user via visual feedback. An input 108 is triggered by the user in accordance with the visual output 122 of the virtual world. The user information 108 is triggered with the aid of operating elements 106 . The control elements 106 enable both navigation 106 a and interaction 106 b with the virtual world. Depending on the level of knowledge of a user 107 a to 107 d, various navigation and interaction options are available with the aid of the operating elements 106 . In knowledge level 107 a, the user has a limited set of navigation options, which is expanded as knowledge level 107 b to 107 d increases.

Ein Anfänger kann beispielsweise nur in drei translatorischen Bewegungsrichtungen navigieren, wobei die Bewegungsrichtungen voneinander entkoppelt sind, was bedeutet, daß eine Navigation in mehr als eine Bewegungsrichtung gleichzeitig nicht möglich ist. Auch werden die Benutzereingaben zur Navigation in der virtuellen Welt in den Kenntnisstufen 107a und 107b nur weggesteuert in Navigationsinformation umgesetzt. Die weggesteuerte Umsetzung bedeutet, daß die virtuelle Bewegung der realen Bewegung der Eingabevorrichtung 102 proportional ist. Die virtuelle Bewegung erfolgt nur solange, wie die reale Bewegung stattfindet. Die weggesteuerte Navigation ist für den Anfänger leicht zu beherrschen.A beginner can, for example, only navigate in three translatory directions of movement, the directions of movement being decoupled from one another, which means that navigation in more than one direction of movement is not possible at the same time. The user inputs for navigation in the virtual world in the knowledge levels 107 a and 107 b are only converted into navigation information in a path-controlled manner. The path-controlled implementation means that the virtual movement is proportional to the real movement of the input device 102 . The virtual movement takes place only as long as the real movement takes place. The path-controlled navigation is easy to master for the beginner.

In den Anfängerkenntnisstufen 107a, 107b stehen dem Benutzer nur die Bewegungsarten "CAMERA IN HAND" und "OBJECT IN HAND" zur Verfügung. Bei der "OBJECT IN HAND" Bewegungsart kann der Benutzer ein virtuelles Objekt mit Hilfe realer Bewegungen der Eingabevorrichtungen 102 in der virtuellen Welt drehen. Bei der Bewegungsart "CAMERA 1 N HAND" kann der Benutzer mit Hilfe der Eingabevorrichtung 102 die Ansicht 122 der virtuellen Welt so verändern, als schaue er durch den Sucher einer Kamera, welche durch die Eingabevorrichtung 102 repräsentiert wird. Zwischen den beiden Bewegungsarten kann der Benutzer umschalten, in dem er unterschiedliche Geräteseiten benutzt. In den Expertenkenntnisstufen 107c, 107d stehen dem Benutzer bis zu sechs Bewegungsrichtungen parallel zur Navigation zur Verfügung. Die Anzahl der Navigationsfreiheitsgrade ist entsprechend der Kenntnisstufe 107c, 107d, wie auch in den Kenntnisstufen 107a, 107b, über eine Software, die aus einer Datenbank ladbar ist, zu bestimmen. In den Expertenkenntnisstufen 107c, 107d kann die Bewegung der Eingabevorrichtung 102 geschwindigkeitsgesteuert in eine virtuelle Bewegung umgesetzt werden. Dies ist abhängig von der in der Datenbank gespeicherten Software und kann für jeden Benutzer individuell angepaßt sein. Bei der geschwindigkeitsgesteuerten Navigation wird die Auslenkung eines Referenzkörpers, hier der Eingabevorrichtung 102, in eine Bewegung in der virtuellen Welt mit entweder konstanter oder sich mit der Größe der Auslenkung verändernden Geschwindigkeit umgesetzt.In the beginner's knowledge levels 107 a, 107 b, only the movement types "CAMERA IN HAND" and "OBJECT IN HAND" are available to the user. With the "OBJECT IN HAND" type of movement, the user can rotate a virtual object with the aid of real movements of the input devices 102 in the virtual world. With the "CAMERA 1 N HAND" movement type, the user can use the input device 102 to change the view 122 of the virtual world as if he were looking through the viewfinder of a camera which is represented by the input device 102 . The user can switch between the two types of movement by using different device pages. In the expert knowledge levels 107 c, 107 d, the user has up to six directions of movement parallel to the navigation. The number of degrees of freedom of navigation is to be determined according to knowledge level 107 c, 107 d, as well as in knowledge levels 107 a, 107 b, using software that can be loaded from a database. In the expert knowledge levels 107 c, 107 d, the movement of the input device 102 can be converted into a virtual movement in a speed-controlled manner. This depends on the software stored in the database and can be customized for each user. In the case of speed-controlled navigation, the deflection of a reference body, here the input device 102 , is converted into a movement in the virtual world with a speed that is either constant or changes with the size of the deflection.

Zur Bewegung in der virtuellen Welt stehen in den Kenntnisstufen 107c, 107d die Bewegungsarten "CAMERA IN HAND" und "OBJECT IN HAND" sowie "FLYING/DRIVING CART" zur Verfügung. Bei der "FLYING CART" Bewegungsart kann der Benutzer sich frei im Raum bewegen. Er kann dadurch gezielt einzelne Punkte in der virtuellen Welt ansteuern, ohne eine Beschränkung der Bewegung auf nur eine Ebene.For movement in the virtual world, the types of movement "CAMERA IN HAND" and "OBJECT IN HAND" as well as "FLYING / DRIVING CART" are available in knowledge levels 107 c, 107 d. With the "FLYING CART" type of movement, the user can move freely in the room. This enables him to target individual points in the virtual world without restricting movement to just one level.

Zur Interaktion stehen dem Benutzer verschiedene Bedienelemente 106b zur Verfügung. Auch bei der Interaktion wird zwischen verschiedenen Kenntnisstufen 107a bis 107d unterschieden. In der Kenntnisstufe 107a kann der Benutzer mit Hilfe eines Bedienelementes die "CAMERA IN HAND" Bewegungsart ein- und ausschalten. Mit einem weiteren Bedienelement ist es möglich, einen virtuellen Zeigerstrahl auszulösen. Weiterhin kann je nach Kenntnisstufe 107a bis 107d des Benutzers mit Hilfe einer Software eine Zoomfunktion aktiviert werden, mit deren Hilfe sich der Benutzer ein bestimmtes virtuelles Objekt in der Ansicht zu sich heranziehen kann.Various control elements 106 b are available to the user for interaction. The interaction also differentiates between different levels of knowledge 107 a to 107 d. At knowledge level 107 a, the user can use a control element to switch the "CAMERA IN HAND" movement type on and off. With another control element it is possible to trigger a virtual pointer beam. Furthermore, depending on the level of knowledge 107 a to 107 d of the user, a zoom function can be activated with the aid of a software, with the aid of which the user can draw a specific virtual object in the view.

Mit wachsendem Kenntnisstufe 107c, 107d des Benutzers können weitere Funktionen freigegeben werden. So können z. B. die Funktionen der virtuellen Menüs, bei welchem auf der Anzeige eine Vielzahl von verfügbaren Interaktionsmöglichkeiten zur Auswahl gestellt werden, oder eine Schnappschußfunktion, bei welcher eine Ansicht der virtuellen Welt eingefroren werden kann, freigeschaltet werden. In den Expertenkenntnisstufen 107c, 107d sind die Interaktionsbedienelemente 106b frei programmierbar. Der Benutzer kann mit Hilfe der Navigationsbedienelemente 106a frei in der virtuellen Welt navigieren und Drehungen von virtuellen Objekten sowie der ganzen virtuellen Szene initiieren. Entsprechend der Interaktionseingaben 106b erhält der Benutzer ein visuelles Echo 126. Dieses visuelle Echo wird über die Mensch-Maschine-Schnittstelle 100 mit Hilfe der Anzeige 122 angezeigt. Entsprechend der Navigationseingaben 106a wird die Ansicht der virtuellen Welt verändert und dem Benutzer mit Hilfe des visuellen Echos 124 vermittelt. Auch dieses wird dem Benutzer mit Hilfe der Anzeige 122 angezeigt. Entsprechend der Benutzereingaben 108 wird mit Hilfe einer Recheneinheit 120 das Bild der Anzeigeeinheit 122 berechnet. Weiterhin ist für das dargestellte Bild die Position und Orientierung der Eingabevorrichtung 102, die mit Hilfe einer Positionsermittlungseinrichtung 110 ermittelt wird, ausschlaggebend. With increasing knowledge level 107 c, 107 d of the user, further functions can be released. So z. B. the functions of the virtual menus, in which a variety of available interaction options are available on the display, or a snapshot function, in which a view of the virtual world can be frozen. In the expert knowledge levels 107 c, 107 d, the interaction control elements 106 b are freely programmable. The user can use the navigation controls 106 a to navigate freely in the virtual world and initiate rotations of virtual objects and the entire virtual scene. According to the interaction input 106 b, the user obtains a visual echo 126th This visual echo is displayed via the human-machine interface 100 with the aid of the display 122 . According to the navigation inputs 106 a, the view of the virtual world is changed and conveyed to the user with the help of the visual echo 124 . This is also shown to the user with the aid of the display 122 . According to the user input 108 , the image of the display unit 122 is calculated with the aid of a computing unit 120 . Furthermore, the position and orientation of the input device 102 , which is determined with the aid of a position determining device 110 , is decisive for the image shown.

Die Positionsermittlung der Eingabevorrichtung 200 wird in Fig. 2 dargestellt. Die Eingabevorrichtung 200 verfügt über einen Infrarotsensor 202b, einen akustischen Trackingsensor sowie einen inertialen Trackingsensor (nicht dargestellt). Der inertiale Trackingsensor sendet bei Bedarf ein Funksignal, daß Orientierung und Positionierung sowie eine Gerätekennung enthält, aus. Mit Hilfe des inertialen Trackingsensors wird die Beschleunigung und die Neigung der Eingabevorrichtung 200 erfaßt. Der akustische Trackingsensor dient der Positionsbestimmung des Handgerätes und sendet dazu Ultraschallsignale aus. Die Ortungsvorrichtung 212 sendet über die Luftschnittstelle 204 Infrarotsignale 209a mit Hilfe des Infrarotsensors 208a an die Eingabevorrichtung 200. Bei Empfang eines Infrarotsignals 209a mit Hilfe des Infrarotsensors 202a sendet die Eingabevorrichtung 200 über die Antenne 209b ein Funksignal des inertialen Trackingsensors, sowie ein Ultraschallsignal der akustischen Trackingsensors aus. Die Funksignale und die Ultraschallsignale sind unter anderem mit einer Endgerätekennung versehen, mit deren Hilfe eine genaue Identifizierung der Eingabevorrichtung 200 möglich ist. Über ein Antennensystem 208b, welches in Fig. 9 dargestellt ist, kann die Ortungsvorrichtung 212 die Position der Eingabevorrichtung 200 eindeutig bestimmen.The position determination of the input device 200 is shown in FIG. 2. The input device 200 has an infrared sensor 202 b, an acoustic tracking sensor and an inertial tracking sensor (not shown). If necessary, the inertial tracking sensor sends out a radio signal that contains orientation and positioning as well as a device identifier. The acceleration and the inclination of the input device 200 are detected with the aid of the inertial tracking sensor. The acoustic tracking sensor is used to determine the position of the handheld device and sends out ultrasonic signals. The locating device 212 sends infrared signals 209 a via the air interface 204 with the aid of the infrared sensor 208 a to the input device 200 . When an infrared signal 209 a is received with the aid of the infrared sensor 202 a, the input device 200 transmits a radio signal from the inertial tracking sensor and an ultrasonic signal from the acoustic tracking sensor via the antenna 209 b. The radio signals and the ultrasound signals are provided, among other things, with a terminal identifier, with the aid of which an exact identification of the input device 200 is possible. Via an antenna system 208 b, which is shown in FIG. 9, the locating device 212 can uniquely determine the position of the input device 200 .

Das Funksignal enthält Informationen über Orientierung und Positionierung der Eingabevorrichtung 200 sowie Informationen über Zustände von Interaktionsbedienelementen. Durch den inertialen Trackingsensor, der einen Beschleunigungssensor, einen Kompaß sowie einen Kreisel aufweist, läßt sich die horizontale Orientierung bestimmen. Auch läßt sich die Wegänderung des Handgerätes in den drei Raumachsen ermitteln. Das Funksignal sowie das Ultraschallsignal wird von der Basisstation 210 empfangen und die darin enthaltenen Informationen werden in der Basisstation 210 extrahiert. Die mit Hilfe der Basisstation 210 erfaßten Daten werden an eine zentrale Recheneinheit 216 übermittelt. Außerdem werden die mit Hilfe der Ortungsvorrichtung 212 ermittelten Positionsdaten an die zentrale Recheneinheit 216 übermittelt. Unter Berücksichtigung der ermittelten Daten errechnet die zentrale Recheneinheit 216 in nahezu Echtzeit eine aktuelle Ansicht der virtuellen Welt, die daraufhin auf der Anzeigeeinheit 218 dargestellt wird.The radio signal contains information about the orientation and positioning of the input device 200 and information about the states of interaction control elements. The horizontal orientation can be determined by the inertial tracking sensor, which has an acceleration sensor, a compass and a gyroscope. The change in path of the handheld device can also be determined in the three spatial axes. The radio signal and the ultrasound signal are received by the base station 210 and the information contained therein is extracted in the base station 210 . The data acquired using the base station 210 are transmitted to a central processing unit 216 . In addition, the position data determined with the aid of the locating device 212 are transmitted to the central processing unit 216 . Taking into account the determined data, the central processing unit 216 calculates a current view of the virtual world in almost real time, which is then displayed on the display unit 218 .

In Fig. 3 ist eine Seitenansicht einer Eingabevorrichtung 300 zu erkennen. Die Eingabevorrichtung 300 kann von einem Benutzer mit den Fingern einer Hand 302a bis 302e umfaßt werden. Die in Fig. 3 dargestellte Benutzung der Eingabevorrichtung 300 wird bei der Bewegungsart "CAMERA IN HAND" angewandt. Die Eingabevorrichtung 300 weist eine drehbar gelagerte Kugel 304 mit einer daran angeordneten Optik 304a auf, mit deren Hilfe die Drehung der Kugel 304 ermittelt wird. Weiterhin weist die Eingabevorrichtung 300 einen Bereich 314 auf, in dem ein inertialer Ortungssensor untergebracht ist. Die Bedienelemente 310 und 312 sowie 308 ermöglichen die Interaktion mit der virtuellen Welt. Die jeweiligen Funktionen der Bedienelemente 308 bis 312 sind frei programmierbar und abhängig vom Kenntnisstand der Benutzers. Der Bereich 316 dient der Unterbringung des akustischen Ortungssensors 404, mit dessen Hilfe ein Signalaustausch mit der Ortungsvorrichtung 212 möglich ist. Ein Zoomrad 306, welches als selbstzentrierendes Rad ausgeführt ist, ist ebenfalls in die Eingabevorrichtung 300 integriert. Im Bereich 317 ist die Energieversorgung der kabellosen Eingabevorrichtung 300 untergebracht.A side view of an input device 300 can be seen in FIG. 3. The input device 300 can be grasped by a user with the fingers of a hand 302 a to 302 e. The use of the input device 300 shown in FIG. 3 is used for the "CAMERA IN HAND" movement type. The input device 300 has a rotatably mounted ball 304 with an optics 304 a arranged thereon, with the aid of which the rotation of the ball 304 is determined. Furthermore, the input device 300 has an area 314 in which an inertial location sensor is accommodated. The controls 310 and 312 and 308 enable interaction with the virtual world. The respective functions of the control elements 308 to 312 are freely programmable and depend on the level of knowledge of the user. The area 316 serves to accommodate the acoustic location sensor 404 , with the aid of which a signal exchange with the location device 212 is possible. A zoom wheel 306 , which is designed as a self-centering wheel, is also integrated into the input device 300 . The area 317 houses the energy supply for the wireless input device 300 .

In den Fig. 4 bis 6 sind weitere Seitenansichten der Eingabevorrichtung 300 zu erkennen. Der akustische Ortungssensor 404 weist eine Öffnung auf und ist oberhalb der Sende- und Empfangsvorrichtung 408 angeordnet. Darunter befindet sich ein Fach für die Energieversorgung 410, welche zur Aufnahme von Batterien geeignet ist.In Figs. 4 to 6 further side views of the input device 300 can be seen. The acoustic location sensor 404 has an opening and is arranged above the transmitting and receiving device 408 . Below this is a compartment for the power supply 410 , which is suitable for holding batteries.

Der inertiale Ortungssensor 402 ist vom akustischen Ortungssensor 404 beabstandet, so daß eine Beeinflussung der beiden Sensoren vermieden wird. Zur Analog/Digital Wandlung der Benutzereingaben und Position und der Orientierung dient die Platine 406. Der akustische Ortungssensor 404 weist einen Abstrahlwinkel 602 von 160° auf. Über die Anzeige 502 erhält der Benutzer Informationen über die aktive Bedienseite.The inertial location sensor 402 is spaced from the acoustic location sensor 404 , so that influencing of the two sensors is avoided. The board 406 is used for analog / digital conversion of the user inputs and position and orientation. The acoustic location sensor 404 has a radiation angle 602 of 160 °. The display 502 provides the user with information about the active operating page.

Die in den Fig. 3 bis 6 dargestellte Eingabevorrichtung 300 funktioniert wie folgt:The input device 300 shown in FIGS . 3 to 6 functions as follows:

Die in Fig. 3 dargestellte Haltung der Eingabevorrichtung 300 wird bei der Bewegungsart "CAMERA IN HAND" genutzt. Wird die Eingabevorrichtung 300 um die horizontale Achse um 90° gedreht, befindet sich die drehbar gelagerte Kugel 304 auf der Oberseite. Diese Geräteposition erlaubt dann die Bewegungsart "OBJECT IN HAND". Zwischen den beiden Bewegungsarten wird mit Hilfe des Schalters 502 umgeschaltet. Außerdem gibt der Schalter 502 dem Benutzer eine visuelle Rückkopplung, welche Geräteseite aktiv ist. Bei der Bewegungsart "CAMERA IN HAND" bewegt der Benutzer sich durch den realen Raum und die Ansicht der virtuellen Welt wird entsprechend der Position und Orientierung der Eingabevorrichtung 300 verändert. Die Eingabevorrichtung 300 wird wie eine Kamera genutzt und die Anzeige entspricht einem von einer Kamera in der Position der Eingabevorrichtung 300 aufgenommenen Bild der virtuellen Welt. Mit dem Bedienelement 308 läßt sich ein virtueller Zeigerstrahl aktivieren und das Bedienelement 306 aktiviert eine Zoomfunkion, um die Ansicht der virtuellen Welt zu vergrößern.The position of the input device 300 shown in FIG. 3 is used in the "CAMERA IN HAND" movement type. If the input device 300 is rotated through 90 ° about the horizontal axis, the rotatably mounted ball 304 is located on the upper side. This device position then allows the movement type "OBJECT IN HAND". Switch 502 is used to switch between the two types of movement. In addition, switch 502 provides the user with visual feedback as to which device side is active. With the "CAMERA IN HAND" movement type, the user moves through the real space and the view of the virtual world is changed in accordance with the position and orientation of the input device 300 . The input device 300 is used like a camera and the display corresponds to an image of the virtual world recorded by a camera in the position of the input device 300 . A virtual pointer beam can be activated with the control element 308 and the control element 306 activates a zoom function in order to enlarge the view of the virtual world.

Bei der Bewegungsart "OBJECT IN HAND" befindet sich die drehbar gelagerte Kugel 304 auf der Oberseite. Der Benutzer kann ein virtuelles Objekt mit Hilfe der Kugel 304 beliebig lin der virtuellen Welt drehen. Die Ansicht der virtuellen Welt wird entsprechend verändert. Die Bedienelemente 310 und 312 dienen der Aktivierung von Interaktionsfunktionen, wie z. B. von virtuellen Menüs, die auf der Anzeigeeinheit angezeigt werden oder zum Greifen von virtuellen Objekten. Die Kugel 304 läßt sich mit dem Daumen oder mit den Fingern der zweiten Hand bedienen. Mit der Rollkugel ist eine feinfühlige Bewegung der virtuellen Objekte möglich. In der Bewegungsart "OBJECT IN HAND" ist die Ortung der Eingabevorrichtung 300 deaktiviert. Auch in der Bewegungsart "CAMERA IN HAND" läßt sich die Ortung der Eingabevorrichtung 300 deaktivieren. Dadurch ist es möglich, die Eingabevorrichtung 300 einem weiteren Benutzer zu übergeben, ohne die Ansicht der virtuellen Welt zu verändern. Dabei wird die physikalische Ortung der Eingabevorrichtung 300 nicht ausgesetzt, sondern es werden lediglich die ermittelten Orientierungs- und Positionierungsdaten nicht in eine Veränderung der Ansicht der virtuellen Welt umgesetzt.In the "OBJECT IN HAND" movement type, the rotatably mounted ball 304 is located on the top. The user can rotate a virtual object anywhere in the virtual world using the ball 304 . The view of the virtual world is changed accordingly. The controls 310 and 312 are used to activate interaction functions, such as. B. of virtual menus that are displayed on the display unit or for gripping virtual objects. The ball 304 can be operated with the thumb or with the fingers of the second hand. With the trackball, a sensitive movement of the virtual objects is possible. In the "OBJECT IN HAND" movement type, the location of the input device 300 is deactivated. The locating of the input device 300 can also be deactivated in the "CAMERA IN HAND" movement type. This makes it possible to hand over the input device 300 to another user without changing the view of the virtual world. The physical location of the input device 300 is not suspended, only the determined orientation and positioning data are not converted into a change in the view of the virtual world.

In den Fig. 7a-e und 8 ist eine Basisstation 700 dargestellt, die eine Eingabevorrichtung 300 aufgenommen hat. Die Basisstation 700 weist eine Netzversorgung 702 auf. Währen die Eingabevorrichtung 300 in der Basisstation 700 gelagert ist, werden die Batterien der Eingabevorrichtung 300 geladen. Das Netzteil 708 wird über die Lüftungsschlitze 706 gekühlt. Auf der Basisstation 700 befinden sich Leuchtdioden 704, die eine Kommunikation mit einer Eingabevorrichtung 300 anzeigen. Zur Kommunikation mit den Eingabevorrichtungen 300 weist die Basisstation 700 einen Sender/Empfänger 710 auf. Die Anzeige 712 zeigt den Ladezustand einer Eingabevorrichtung 300 an. Über die Anzeige 714 wird der Benutzer über den Einschaltzustand der Basisstation 700 informiert. FIGS. 7a-e and 8 show a base station 700 which has received an input device 300 . The base station 700 has a network supply 702 . While the input device 300 is stored in the base station 700 , the batteries of the input device 300 are charged. The power supply 708 is cooled via the ventilation slots 706 . Light-emitting diodes 704 are located on the base station 700 , which indicate communication with an input device 300 . The base station 700 has a transmitter / receiver 710 for communication with the input devices 300 . The display 712 shows the state of charge of an input device 300 . The display 714 informs the user of the switched-on state of the base station 700 .

In Fig. 8 sind vier Basisstationen 700 über eine Schiene 800 miteinander verbunden. In den vier Basisstationen 700 sind Eingabevorrichtungen 300 untergebracht. Nur eine erste Basisstation 700 weist Vorrichtungen zur bidirektionalen Kommunikation mit den Eingabevorrichtungen 300 auf. Die weiteren Basisstation 700 dienen lediglich als Ladestation für die Eingabevorrichtungen 300. Über die Schiene 800 werden die Basisstation 700 mit Strom versorgt. In FIG. 8, four base stations 700 are connected to each other via a rail 800 is synthesized. Input devices 300 are accommodated in the four base stations 700 . Only a first base station 700 has devices for bidirectional communication with the input devices 300 . The further base station 700 merely serve as a charging station for the input devices 300 . The base station 700 is supplied with power via the rail 800 .

Die in Fig. 9 dargestellte Antennenanordnung dient der Ermittlung der Position einer Eingabevorrichtung 300. Die Basis 900 sendet abwechselnd an alle im Beobachtungsraum befindlichen Eingabevorrichtungen 300 Infrarotsignale 209a. Bei Empfang eines Infrarotsignals 209a wird von der Eingabevorrichtung ein Funksignal und ein Ultraschallsignal generiert und über die Antenne 209b ausgesendet. Anhand der Signallaufzeiten die das Ultraschallsignals zu den voneinander beabstandeten Antennen 902a bis d braucht, ist eine Ermittlung der Position der Eingabevorrichtung 300 innerhalb des Beobachtungsraumes möglich. Auch wird ein Funksignal über die Antenne 209b ausgesendet, das Informationen über die Orientierung und Positionierung, sowie von Zuständen von Interaktionsbedienelementen enthält. Die Positionsangaben werden über das Kabel 904 an eine Recheneinheit übermittelt.The antenna arrangement shown in FIG. 9 serves to determine the position of an input device 300 . The base 900 alternately sends 300 infrared signals 209 a to all input devices located in the observation room. When an infrared signal 209 a is received, a radio signal and an ultrasound signal are generated by the input device and transmitted via the antenna 209 b. The position of the input device 300 within the observation space can be determined on the basis of the signal transit times that the ultrasound signal needs to reach the antennas 902 a to d spaced apart from one another. A radio signal is also transmitted via the antenna 209 b, which contains information about the orientation and positioning, as well as about the states of interaction control elements. The position information is transmitted to a computing unit via cable 904 .

In der Fig. 10 ist schematisch die Funktionsweise eines virtuellen Zeigerstrahls dargestellt. Die Ansicht 1000 einer virtuellen Welt entspricht einer Ansicht eines Benutzers auf die virtuelle Welt. In der virtuellen Welt befinden sich zwei virtuelle Objekte 1002 und 1004. Der Benutzer möchte nun das virtuelle Objekt 1002 markieren. Dafür aktiviert er einen virtuellen Zeigerstrahl 1006 und richtet diesen auf das virtuelle Objekt 1002. Der virtuelle Zeigerstrahl 1006 endet im virtuellen Objekt 1002. Ein zweiter Benutzer, der sich ebenfalls in der gleichen virtuellen Welt befindet, erkennt anhand des virtuellen Zeigerstrahls 1006 das vom ersten Benutzer markierte virtuelle Objekt 1002. In FIG. 10, the operation is shown of a virtual pointer beam schematically. The virtual world view 1000 corresponds to a user's view of the virtual world. There are two virtual objects 1002 and 1004 in the virtual world. The user now wants to mark the virtual object 1002 . To do this, he activates a virtual pointer beam 1006 and directs it onto the virtual object 1002 . The virtual pointer beam 1006 ends in the virtual object 1002 . A second user, who is also in the same virtual world, uses the virtual pointer beam 1006 to recognize the virtual object 1002 marked by the first user.

REFERENCE SIGN LIST

100100

Mensch-Maschine-Schnittstelle
Human-machine interface

102102

Eingabevorrichtung
Input device

104104

Recheneinheit
Arithmetic unit

106106

a Navigationsbedienelemente
a Navigation controls

106106

b Interaktionsbedienelemente
b Interaction controls

107107

a-d Kenntnisstufen
ad knowledge levels

108108

Benutzereingabe
User input

110110

Positionsermittelungseinrichtung
Position determination device

120120

Recheneinheit
Arithmetic unit

122122

visuelle Ausgabe
visual output

124124

, ,

126126

visuelles Echo
visual echo

200200

Eingabevorrichtung
Input device

202202

a Funksensor
a radio sensor

202202

b Infrarotsensor
b Infrared sensor

204204

Luftschnittstelle
Air interface

208208

Infrarotsensor
Infrared sensor

208208

b Antennensystem
b Antenna system

209209

a Infrarotsignal
a infrared signal

209209

b Funksignal
b radio signal

210210

Basisstation
Base station

212212

Ortungsvorrichtung
Locating device

216216

zentrale Recheneinheit
central processing unit

300300

Eingabevorrichtung
Input device

302302

Finger einer Hand
Fingers of a hand

304304

drehbar gelagerte Kugel
rotatably mounted ball

304304

a Optik
a optics

308308

, ,

310310

, ,

312312

Interaktionsbedienelement
Interaction control

314314

Orientierungssensorgehäuse
Orientation sensor housing

316316

Ortungssensorgehäuse
Location sensor housing

317317

Energieversorgungsgehäuse
Power supply housing

402402

inertialer Orientierungssensor
inertial orientation sensor

404404

akustischer Ortungssensor
acoustic location sensor

406406

Platine
circuit board

408408

Sende-/Empfangseinrichtung
Sending / receiving device

410410

Energieversorgung
power supply

502502

Anzeige/Schalter
Display / switch

602602

Abstrahlwinkel
Beam angle

700700

Basisstation
Base station

702702

Netzversorgung
Power supply

704704

Leuchtdioden
LEDs

706706

Lüftungsschlitze
Ventilation slots

708708

Netzteil
power adapter

710710

Sender/Empfänger
Transmitter-receiver

712712

Ladezustandsanzeige
Charge status display

714714

Anzeige Ein/Aus
Display on / off

800800

Schiene
rail

Claims

1. A method for marking virtual objects within a multidimensional virtual world, characterized in that a virtual pointer beam is triggered with the aid of a hand-held device located within predetermined limits, that the pointer beam is directed from the virtual position of the hand-held device onto the object, thereby making the direction and the distance between the object and the handheld device can be recognized.

2. The method according to claim 1, characterized in that the virtual Pointer beam arranged with the help of a hand-held device Interaction control is controlled.

3. The method according to any one of claims 1 or 2, characterized in that with With the help of the interaction control element arranged on the handheld device Object pivot point is set.

4. The method according to any one of claims 1 to 3, characterized in that virtual objects with the help of a arranged on the hand-held device Interaction control element is moved to the virtual observer position.

5. The method according to any one of claims 1 to 4, characterized in that the virtual pointer beam each in a virtual viewing direction of the current movement of the handheld device is directed in the virtual world.

6. Device for marking virtual objects in a virtual environment, characterized in that a handheld device triggers a virtual pointer beam, wherein the handheld device can be located wirelessly within predetermined limits, and that the pointer beam from the virtual position of the handheld device to the virtual one Object is directed, making the direction and distance between the object and Handheld device is recognizable.

7. Use of a method and a device according to one of claims 1 to 6 in automotive development.