DE102010016964B4

DE102010016964B4 - Method and device for controlling a computer-generated display of a virtual object

Info

Publication number: DE102010016964B4
Application number: DE201010016964
Authority: DE
Inventors: Manuel Pabst; Dr. Haubner Michael
Original assignee: Krauss Maffei Wegmann GmbH and Co KG
Current assignee: Krauss Maffei Wegmann GmbH and Co KG
Priority date: 2010-05-17
Filing date: 2010-05-17
Publication date: 2014-05-15
Anticipated expiration: 2030-05-18
Also published as: DE102010016964A1

Abstract

Verfahren zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts (12), das in Form von CAD-Daten vorliegt, mittels einer Steuervorrichtung, dadurch gekennzeichnet, dass die Steuervorrichtung ein gegenständliches Modell (3) des virtuellen Objekts (12) umfasst, dessen Bewegungen erfasst und derart verarbeitet werden, dass das virtuelle Objekt (12) den Bewegungen des gegenständlichen Modells (3) folgt, wobei die Bewegungen des gegenständlichen Modells (3) mittels einer Trackingvorrichtung erfasst werden und wobei die Trackingvorrichtung eine Bilderfassungsvorrichtung (9) und mindestens einen am Modell (3) angeordneten optischen Marker (1) mit einem Codemuster (C) umfasst.A method for controlling a computer-generated display of a virtual object (12), which is available in the form of CAD data, by means of a control device, characterized in that the control device comprises a physical model (3) of the virtual object (12), its movements are recorded and processed in such a way that the virtual object (12) follows the movements of the objective model (3), the movements of the objective model (3) being recorded by means of a tracking device, and the tracking device having an image recording device (9) and at least one on the model ( 3) comprises arranged optical marker (1) with a code pattern (C).

Description

Die Erfindung betrifft ein Verfahren zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts, insbesondere eines Fahrzeugs, mittels einer Steuervorrichtung sowie eine Vorrichtung zur Durchführung dieses Steuerverfahrens.The invention relates to a method for controlling a computer-generated display of a virtual object, in particular of a vehicle, by means of a control device and a device for carrying out this control method.

Es ist bekannt, als Steuervorrichtung zur Steuerung der computergenerierten Anzeige eine Mouse, einen Trackball oder einen Joystick einzusetzen. Durch Bewegung dieser Eingabegeräte in eine bestimmte Richtung kann dabei die computergenerierte Anzeige des virtuellen Objekts gesteuert werden. Beispielsweise kann beim Drücken des Joysticks in eine bestimmte Richtung die computergenerierte Anzeige so gesteuert werden, dass das virtuelle Objekt sich in die vorgegebene Richtung bewegt. Ferner ist es möglich, dass durch Drücken des Joysticks in eine bestimmte Richtung bei gleichzeitiger Betätigung einer Taste des Joysticks die computergenerierte Anzeige so gesteuert wird, dass sich das virtuelle Objekt in die vorgegebene Richtung dreht.It is known to use as a control device for controlling the computer-generated display a mouse, a trackball or a joystick. By moving these input devices in a certain direction while the computer-generated display of the virtual object can be controlled. For example, when the joystick is pushed in a certain direction, the computer-generated display can be controlled so that the virtual object moves in the predetermined direction. Further, it is possible that by pressing the joystick in a certain direction while pressing a button of the joystick, the computer-generated display is controlled so that the virtual object rotates in the predetermined direction.

Eine Steuervorrichtung mit einer Mouse als Eingabegerät ist beispielsweise aus der DE 10 2007 053 008 A1 bekannt. Diese Mouse weist einen Zielkörper auf, dessen Bewegungen zur Steuerung einer computergenerierten Anzeige von einer Kamera erfasst werden.A control device with a mouse as an input device is for example from the DE 10 2007 053 008 A1 known. This mouse has a target body whose movements are detected by a camera to control a computer-generated display.

Aus der JP 2009-276 996 A ist eine Steuervorrichtung bekannt, welche als Head-Mounted Display ausgebildet ist. Zur Steuerung der Anzeige eines computergenerierten Objekts in einer Anzeigevorrichtung des Head-Mounted Display werden die Bewegungen des Head-Mounted Display durch mehrere Kameras erfasst.From the JP 2009-276 996 A is a control device is known, which is designed as a head-mounted display. To control the display of a computer-generated object in a display device of the head-mounted display, the movements of the head-mounted display are detected by multiple cameras.

Die vorliegende Erfindung kann beispielsweise zur Präsentation eines virtuellen Objekts auf einer Ausstellung oder Messe eingesetzt werden. Die Präsentation des Objekts kann dabei durch eine computergenerierte Anzeige des virtuellen Objekts erfolgen, die in z. B. Form von CAD-Daten (Computer Aided Design, computerunterstützter Entwurf) vorliegt.For example, the present invention may be used to present a virtual object at an exhibition or fair. The presentation of the object can be done by a computer-generated display of the virtual object in z. B. form of CAD data (Computer Aided Design, computer-aided design) is present.

Die Verwendung eines Joysticks, einer Mouse oder eines Trackballs zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts gestaltet sich besonders für ungeübte Benutzter, insbesondere Besucher eines Messestandes, als sehr schwierig. Die Bewegungen, die mit den genannten Steuervorrichtungen ausgeführt werden, entsprechen nicht zwangsläufig den Bewegungen des virtuellen Objekts in der computergenerierten Anzeige. Dadurch wird die intuitive Steuerung der computergenerierten Anzeige, insbesondere für ungeübte Bediener, erschwert.The use of a joystick, a mouse or a trackball to control a computer-generated display of a virtual object is particularly difficult for inexperienced users, especially visitors to an exhibition stand. The movements performed with said control devices do not necessarily correspond to the movements of the virtual object in the computer-generated display. This complicates the intuitive control of the computer-generated display, especially for inexperienced operators.

Aufgabe der Erfindung ist es, ein Verfahren zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts mittels einer Steuervorrichtung anzugeben, welches eine intuitive Steuerung der Anzeige ermöglicht.The object of the invention is to provide a method for controlling a computer-generated display of a virtual object by means of a control device, which allows intuitive control of the display.

Die Lösung dieser Aufgabe erfolgt erfindungsgemäß mit den Merkmalen aus dem kennzeichnenden Teil des Patentanspruchs 1. Eine erfindungsgemäße Vorrichtung ist Bestandteil des Patentanspruchs 13. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen beschrieben.The solution of this object is achieved according to the invention with the features of the characterizing part of patent claim 1. A device according to the invention is part of claim 13. Advantageous developments of the invention are described in the dependent claims.

Erfindungsgemäß umfasst die Steuervorrichtung ein gegenständliches Modell, insbesondere ein Fahrzeugmodell des virtuellen Objekts, dessen Bewegungen erfasst und derart verarbeitet werden, dass das virtuelle Objekt den Bewegungen des gegenständlichen Modells folgt. Dadurch, dass die Steuervorrichtung ein gegenständliches Modell des angezeigten Objekts umfasst, welches zur Steuerung bewegbar ist, wird eine intuitive Steuerung der computergenerierten Anzeige des virtuellen Objekts ermöglicht. Dabei bewegt sich das virtuelle Objekt in der computergenerierten Anzeige gemäß den Bewegungen des gegenständlichen Objekts. Beispielsweise kann eine Drehung des gegenständlichen Objekts in eine Drehung des virtuellen Objekts umgesetzt werden. Ferner kann die computergenerierte Anzeige des virtuellen Objekts so gesteuert werden, dass eine translatorische Bewegung des gegenständlichen Objekts eine translatorische Bewegung des virtuellen Objekts bewirkt.According to the invention, the control device comprises an objective model, in particular a vehicle model of the virtual object, whose movements are detected and processed in such a way that the virtual object follows the movements of the objective model. By virtue of the fact that the control device comprises an objective model of the displayed object which is movable for the purpose of control, intuitive control of the computer-generated display of the virtual object is made possible. In the process, the virtual object in the computer-generated display moves in accordance with the movements of the object in question. For example, a rotation of the objective object can be converted into a rotation of the virtual object. Furthermore, the computer-generated display of the virtual object can be controlled so that a translatory movement of the object in question causes a translational movement of the virtual object.

In vorteilhafter Weise kann das Verfahren auch derart ausgestaltet sein, dass das das virtuelle Objekt nur den rotatorischen Bewegungen des gegenständlichen Modells, nicht aber den translatorischen Bewegungen folgt. Somit können in einer bevorzugten Ausführung der Steuervorrichtung die translatorischen Bewegungen des gegenständlichen Modells derart ausgeblendet werden, dass in der computergenerierten Anzeige nur Rotationsbewegungen nicht aber translatorische Bewegungen des virtuellen Objekts dargestellt werden. Durch diese Beschränkung auf die Rotation des virtuellen Objekts kann die Steuervorrichtung besonders leicht bedient werden.In an advantageous manner, the method can also be designed such that the virtual object follows only the rotational movements of the objective model, but not the translational movements. Thus, in a preferred embodiment of the control device, the translational movements of the subject model can be hidden such that in the computer-generated display only rotational movements but not translational movements of the virtual object are displayed. By this restriction to the rotation of the virtual object, the control device can be operated particularly easily.

Die Bewegungen des gegenständlichen Modells werden mittels einer Trackingvorrichtung erfasst. Durch die Verwendung einer Trackingvorrichtung können die Bewegungen des gegenständlichen Modells im Raum bestimmt werden. Ferner kann die Trackingvorrichtung die Position und/oder die Orientierung des gegenständlichen Modells im Raum erfassen.The movements of the subject model are detected by means of a tracking device. By using a tracking device, the movements of the objective model in space can be determined. Furthermore, the tracking device can detect the position and / or the orientation of the objective model in space.

Die Trackingvorrichtung umfasst dabei eine Bilderfassungsvorrichtung, insbesondere eine Kamera. Durch Verwendung einer Bilderfassungsvorrichtung kann die Bewegung des gegenständlichen Modells optisch verfolgt werden. Dadurch wird ermöglicht, dass die Bewegung des gegenständlichen Modells ohne eine elektrische oder mechanische Kopplung des gegenständlichen Modells mit der Trackingvorrichtung erfassbar ist. Das Modell kann somit zur Steuerung der computergenerierten Anzeige frei im Sichtbereich der Bilderfassungsvorrichtung bewegt werden. The tracking device comprises an image capture device, in particular a camera. By using an image capture device, the movement of the subject model can be visually tracked. This makes it possible that the movement of the subject model without an electrical or mechanical coupling of the subject model with the tracking device is detected. The model can thus be moved freely in the field of view of the image capture device for controlling the computer-generated display.

Ferner umfasst die Trackingvorrichtung mindestens einen am Modell angeordneten optischen Marker mit einem Codemuster. Der optische Marker kann dazu verwendet werden, das gegenständliche Modell erfassbar zu machen. Durch den Marker und insbesondere das Codemuster kann die Position und/oder die Orientierung des gegenständlichen Modells im Raum erfasst werden, in der DE 10 2009 059 797 A1 werden vorteilhafte Ausgestaltungen von optischen Markern beschrieben, die auch in vorteilhafter Weise bei der vorliegenden Erfindung angewendet werden können, so dass diese Ausführungsformen und Kombinationen hiervon, insbesondere hinsichtlich des Schichtaufbaus, mit den entsprechenden Vorteilen hiermit vollumfänglich einbezogen werden.Furthermore, the tracking device comprises at least one modeled optical marker with a code pattern. The optical marker can be used to make the subject model detectable. By means of the marker and in particular the code pattern, the position and / or the orientation of the objective model can be detected in the space in which DE 10 2009 059 797 A1 Advantageous embodiments of optical markers are described, which can also be applied advantageously in the present invention, so that these embodiments and combinations thereof, in particular with regard to the layer structure, with the corresponding advantages hereby fully incorporated.

Wenn an mindestens drei Seiten des Modells, insbesondere an allen Seiten des Modells, ein optischer Marker angeordnet ist, kann die Sichtbarkeit und Auswertbarkeit für die Bilderfassungsvorrichtung erhöht werden. Durch diese Anordnung kann die Bewegung des gegenständlichen Modells durch die Bilderfassungsvorrichtung erfasst werden, selbst wenn sich ein optischer Marker auf der von der Bilderfassungsvorrichtung abgewandten Seite des Modells befindet. In diesem Fall kann die Bilderfassungsvorrichtung einen oder mehrere andere optische Marker erfassen, die auf einer der Bilderfassungsvorrichtung zugewandten Seite des Modells angeordnet sind. Die Erfassbarkeit kann ferner durch die Verwendung von mehr als einer Bilderfassungsvorrichtung erhöht werden.If an optical marker is arranged on at least three sides of the model, in particular on all sides of the model, the visibility and evaluability for the image capture device can be increased. By this arrangement, the movement of the subject model can be detected by the image capture device, even if there is an optical marker on the side facing away from the image capture device side of the model. In this case, the image capture device may detect one or more other optical markers disposed on a side of the model facing the image capture device. The detectability can be further increased by the use of more than one image capture device.

Falls mehrere Seiten, insbesondere alle nach außen sichtbaren Seiten, des Modells mit optischen Markern versehen sind, kann für jede mögliche Orientierung des Modells im Sichtbereich der Bilderfassungsvorrichtung mindestens ein optischer Marker von der Bilderfassungsvorrichtung erfasst werden. Damit kann das Modell im Sichtbereich der Bilderfassungsvorrichtung lückenlos durch die Trackingvorrichtung verfolgt werden.If several pages, in particular all outwardly visible pages, of the model are provided with optical markers, for each possible orientation of the model in the field of view of the image capture device, at least one optical marker can be detected by the image capture device. Thus, the model can be followed in the field of view of the image capture device gapless by the tracking device.

In einer vorteilhaften Ausgestaltung weist der ein Codemuster aufweisende optische Marker eine Reflexionsschicht auf, über der eine, insbesondere matte, Maskierungsschicht liegt, die Ausnehmungen zur Erzeugung des Codemusters aufweist. Durch den mehrschichtigen Aufbau kann die Erkennbarkeit des Markers erhöht werden, da die einzelnen Schichten aus unterschiedlichen Materialen mit unterschiedlichen Reflexionseigenschaften gebildet werden können. Zugleich kann die Herstellung des Markers in einfacher Weise erfolgen, da die Schichten lediglich übereinander angeordnet werden messen, beispielsweise durch Klebung. Die Maskierungsschicht dient zur Erzeugung des Codemusters und ist mit Ausnehmungen versehen, damit die darunterliegende Reflexionsschicht nach außen sichtbar wird.In an advantageous embodiment, the optical marker having a code pattern has a reflection layer over which a, in particular matt, masking layer is located, which has recesses for generating the code pattern. Due to the multi-layer structure, the recognizability of the marker can be increased since the individual layers can be formed from different materials with different reflection properties. At the same time, the production of the marker can be carried out in a simple manner, since the layers are merely arranged one above the other, for example by gluing. The masking layer serves to generate the code pattern and is provided with recesses, so that the underlying reflection layer is visible to the outside.

Bevorzugt umfasst die Reflexionsschicht eine retroreflektierende Lage und/oder ein Infrarot-Filter (IR-Filter). Eine retroreflektierende Lage reflektiert einfallendes Licht im Wesentlichen in die Richtung, aus der es eingefallen ist. In einer vorteilhaften Ausgestaltung kann eine Lichtquelle derart in räumlicher Nähe der Bilderfassungseinrichtung angeordnet werden, dass das Licht der Lichtquelle von der retroreflektierenden Folie derart reflektiert wird, dass es auf die Bilderfassungseinrichtung fällt. Somit kann ein besonders kontrastreiches Bild des optischen Markers aufgenommen werden.The reflective layer preferably comprises a retroreflective layer and / or an infrared filter (IR filter). A retroreflective sheet reflects incident light substantially in the direction from which it has fallen. In an advantageous embodiment, a light source can be arranged in spatial proximity of the image capture device such that the light from the light source is reflected by the retroreflective sheeting such that it falls on the image capture device. Thus, a particularly high-contrast image of the optical marker can be recorded.

Ferner kann die Reflexionsschicht ein Infrarotfilter umfassen, welches im sichtbaren Bereich im Wesentlichen undurchlässig und im infraroten Bereich durchlässig ist. Vorteilhafterweise kann das Infrarotfilter in Form einer Folie, insbesondere einer glänzenden Folie, ausgestaltet sein.Further, the reflective layer may comprise an infrared filter which is substantially opaque in the visible region and permeable in the infrared region. Advantageously, the infrared filter can be configured in the form of a film, in particular a glossy film.

Bei Verwendung eines Infrarotfilters kann zudem eine Bilderfassungseinrichtung eingesetzt werden, die im infraroten Bereich empfindlich ist, beispielsweise eine Infrarotkamera. Diese Anordnung bietet den Vorteil, dass das Modell und der optische Marker nicht im sichtbaren Bereich, sondern nur im infraroten Bereich ausgeleuchtet werden müssen. Hierdurch kann eine Unabhängigkeit vom Umgebungslicht und von im sichtbaren Bereich strahlenden, ggf. störenden Lichtquellen erreicht werden.When using an infrared filter, an image capture device which is sensitive in the infrared range, for example an infrared camera, can additionally be used. This arrangement has the advantage that the model and the optical marker need not be illuminated in the visible range, but only in the infrared range. As a result, it is possible to achieve independence from the ambient light and from light sources which may emit light in the visible range, possibly interfering with them.

Bevorzugt ist der optische Marker im Wesentlichen einfarbig, insbesondere schwarz oder grau. Dies kann dadurch erreicht werden, dass die Reflexionsschicht, insbesondere der IR-Filter der Reflexionsschicht, sowie die Maskierungsschicht im sichtbaren Bereich die gleiche Farbe aufweisen. Dadurch, dass die beiden Schichten die gleiche Farbe aufweisen, ist das Codemuster vom Auge eines Betrachters im Wesentlichen nicht erkennbar. Somit kann ein störender Eindruck durch das Codemusters vermieden werden.Preferably, the optical marker is substantially monochromatic, in particular black or gray. This can be achieved by virtue of the fact that the reflection layer, in particular the IR filter of the reflection layer, and also the masking layer have the same color in the visible range. Due to the fact that the two layers have the same color, the code pattern of the eye of a viewer is essentially not recognizable. Thus, a disturbing impression by the code pattern can be avoided.

In einer vorteilhaften Ausgestaltung ist das Modell im Wesentlichen einfarbig, insbesondere in der Farbe des Markers. Dadurch, dass Marker sowie Modell im Wesentlichen die gleiche Farbe aufweisen, wird das Erscheinungsbild des Modells kaum beeinträchtigt. Es entsteht keine optische Unruhe durch das Codemuster des Markers. Ferner kann das gegenständliche Modell im Wesentlichen die gleiche Farbgebung wie das in der computergenerierten Anzeige angezeigte virtuelle Objekt haben.In an advantageous embodiment, the model is substantially monochrome, in particular in the color of the marker. By having markers as well Model are substantially the same color, the appearance of the model is hardly affected. There is no visual restlessness due to the code pattern of the marker. Furthermore, the subject model may have substantially the same color as the virtual object displayed in the computer-generated display.

Von Vorteil ist ein Verfahren bei dem mittels der Bilderfassungsvorrichtung und der im Sichtbereich der Bilderfassungsvorrichtung liegenden optischen Markern die Bewegungen des gegenständlichen Modells im Raum erkannt werden. Die Bewegungen des gegenständlichen Modells können anhand der Orientierung einzelner optischer Marker oder ihrer Lage zueinander erkannt werden. Ferner können zur Erkennung der Bewegung des gegenständlichen Modells auch translatorische Bewegungen oder Drehungen der optischen Marker beitragen. Diese Anordnung bringt den Vorteil mit sich, dass zur Berechnung der Bewegungen des Modells lediglich die Bildausschnitte ausgewertet werden müssen, die die optischen Marker erfassen. Eine komplexe Auswertung des gesamten von der Bilderfassungsvorrichtung aufgenommenen Bilds kann vermieden werden.An advantage is a method in which the movements of the objective model are detected in space by means of the image capture device and lying in the field of view of the image capture device optical markers. The movements of the representational model can be identified by the orientation of individual optical markers or their position relative to each other. Furthermore, translational movements or rotations of the optical markers can also contribute to the recognition of the movement of the objective model. This arrangement has the advantage that, to calculate the movements of the model, only the image sections which detect the optical markers have to be evaluated. A complex evaluation of the entire image taken by the image capture device can be avoided.

Des Weiteren kann die mittels der Bilderfassungsvorrichtung erkannte Bewegung des gegenständlichen Modells geglättet werden, insbesondere mit einem Kalman-Filter. Durch das Filtern der erkannten Bewegung des gegenständlichen Modells kann die Darstellung des virtuellen Objekts verbessert werden. Insbesondere kann einer zittrigen Bewegung des virtuellen Objekts entgegengewirkt werden. Infolgedessen kann die Bewegung des virtuellen Objekts weicher erscheinen. Bevorzugt werden hohe Frequenzen gefiltert.Furthermore, the motion detected by the image capture device of the subject model can be smoothed, in particular with a Kalman filter. By filtering the detected motion of the subject model, the representation of the virtual object can be improved. In particular, a shaky movement of the virtual object can be counteracted. As a result, the movement of the virtual object may appear softer. Preferably, high frequencies are filtered.

Weiterhin kann vorgesehen werden, dass ein Computer das virtuelle Objekt gemäß den Bewegungen des gegenständlichen Modells bewegt. Der Computer kann die Bewegungen des gegenständlichen Modells berechnen und daraus die Bewegungen des virtuellen Objekts ableiten.Furthermore, it can be provided that a computer moves the virtual object in accordance with the movements of the objective model. The computer can calculate the movements of the objective model and derive the movements of the virtual object.

Vorteilhafterweise wird das virtuelle Objekt auf einer Anzeigevorrichtung, insbesondere stereoskopisch angezeigt. Diese Anzeigevorrichtung dient zur Darstellung des virtuellen Objekts. Durch eine stereoskopische Anzeige kann die dreidimensionale Wahrnehmung der computergenerierten Anzeige verbessert werden.Advantageously, the virtual object is displayed on a display device, in particular stereoscopically. This display device is used to display the virtual object. Through a stereoscopic display, the three-dimensional perception of the computer-generated display can be improved.

Ferner kann die Anzeigevorrichtung eine Leinwand und/oder einen Projektor, insbesondere einen Rückwandprojektor umfassen. Mit einer Leinwand kann auf einfache Weise eine große Darstellung der computergenerierten Anzeige erreicht werden. Bei einem temporären Aufbau, wie beispielsweise einem Messestand, kann eine Leinwand und/oder ein Projektor den Vorteil bieten, dass die Anzeigevorrichtung leicht zu transportieren ist.Furthermore, the display device may comprise a screen and / or a projector, in particular a rear wall projector. With a screen can be easily achieved a large representation of the computer-generated display. In a temporary structure, such as an exhibition stand, a screen and / or a projector can offer the advantage that the display device is easy to transport.

Bevorzugt ist das Modell derart ausgestaltet, dass es von einer Person getragen und/oder frei gedreht werden kann. Eine Ausgestaltung des Modells, die durch ihr Gewicht und ihre Größe auf die Handhabung durch eine erwachsene Person durchschnittlicher Größe abgestimmt ist, kann eine intuitive Steuerung der computergenerierten Anzeige ermöglichen.Preferably, the model is designed such that it can be worn by a person and / or rotated freely. An embodiment of the model, tuned by its weight and size to be handled by an average-sized adult person, may allow for intuitive control of the computer-generated display.

Eine erfindungsgemäße Vorrichtung zur Durchführung des erfindungsgemäßen Steuerverfahrens weist die Merkmale des Patentanspruchs 13 auf.A device according to the invention for carrying out the control method according to the invention has the features of claim 13.

Im Übrigen können die bei dem bereits beschriebenen Steuerverfahren genannten Weiterbildungen in entsprechender Weise auch bei der erfindungsgemäßen Vorrichtung eingesetzt werden.Incidentally, the developments mentioned in the control method already described can also be used in a corresponding manner in the device according to the invention.

Ein bevorzugtes Ausführungsbeispiel der Erfindung wird anhand der 1 bis 3 beschrieben. Es zeigen;A preferred embodiment of the invention will be described with reference to 1 to three described. Show it;

1 eine Vorrichtung zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts; 1 a device for controlling a computer-generated display of a virtual object;

2 einen optischen Marker; und 2 an optical marker; and

3 den optischen Marker nach 2 in einer Explosionsdarstellung. three after the optical marker 2 in an exploded view.

Die 1 zeigt in vereinfachter Darstellung eine Vorrichtung zur Steuerung einer computergenerierten Anzeige eines virtuellen Objekts 12. Diese Vorrichtung umfasst neben einer Anzeigevorrichtung 8 eine Steuervorrichtung mit einem gegenständlichen Modell 3 aus Holz oder Kunststoff sowie einer Trackingvorrichtung. Die Trackingvorrichtung umfasst eine Bilderfassungsvorrichtung 9 sowie mehrere planare optische Marker 1.The 1 shows a simplified representation of a device for controlling a computer-generated display of a virtual object 12 , This device includes besides a display device 8th a control device with an objective model three made of wood or plastic as well as a tracking device. The tracking device comprises an image capture device 9 as well as several planar optical markers 1 ,

Auf der Anzeigevorrichtung 8 soll ein auf einem Computer 14 hinterlegtes CAD-Modell eines Fahrzeugs als virtuelles Objekt 12 dargestellt werden. Von einer Person 7 soll diese computergenerierte Anzeige gesteuert werden, wobei die Steuerung insbesondere die Bewegung, vorzugsweise die Drehbewegung, des virtuellen Objekts 12 umfassen soll. Die Person 7 kann erfindungsgemäß nunmehr anstelle einer Computermouse ein gegenständliches Fahrzeugmodell 3 als Eingabevorrichtung verwenden.On the display device 8th should one on a computer 14 deposited CAD model of a vehicle as a virtual object 12 being represented. From a person 7 this computer-generated display should be controlled, the control in particular the movement, preferably the rotational movement of the virtual object 12 should include. The person 7 can now according to the invention, instead of a computer mouse an objective vehicle model three as an input device.

Erfindungsgemäß wird die Bewegung des Modells 3 durch die Trackingvorrichtung erfasst und von einem Computer 14 derart verarbeitet, dass das virtuelle Objekt 12 in der computergenerierten Anzeige den Bewegungen des gegenständlichen Objekts 3 folgt. Dadurch wird eine Steuervorrichtung bereitgestellt, die ohne weiteres Vorwissen bedienbar ist. Die Person 7 kann durch Bewegungen des gegenständlichen Modells 3 die computergenerierte Anzeige des virtuellen Objekts 12 intuitiv steuern.According to the invention, the movement of the model three detected by the tracking device and from a computer 14 processed in such a way that the virtual object 12 in the computer-generated Display the movements of the object in question three follows. As a result, a control device is provided which can be operated without further prior knowledge. The person 7 can through movements of the objective model three the computer-generated display of the virtual object 12 intuitively control.

Falls der Bediener 7 beispielsweise das an der Unterseite angeordnete Fahrwerk des virtuellen Objekts 12 betrachten möchte, kann er das Modell 3 entsprechend umdrehen, so dass die Unterseite des Fahrzeugmodells 3 nach oben zeigt.If the operator 7 for example, arranged on the underside landing gear of the virtual object 12 he wants to look at the model three turn around accordingly, leaving the bottom of the vehicle model three pointing upwards.

Das gegenständliche Modell 3 ist derart ausgestaltet, dass es von einer Person 7 durchschnittlicher Größe und Stärke getragen und/oder frei gedreht werden kann. Das Modell 3 sollte somit weniger als 20 kg, vorzugsweise weniger als 5 kg, insbesondere weniger als 1 kg wiegen. Die auf die Anzeigevorrichtung 8 blickende Person 7 kann das gegenständliche Modell 3 im Sichtbereich der Bilderfassungsvorrichtung 9 nach Belieben bewegen.The representational model three is designed in such a way that it is from a person 7 average size and strength can be worn and / or freely rotated. The model three should therefore weigh less than 20 kg, preferably less than 5 kg, in particular less than 1 kg. The on the display device 8th looking person 7 can the objective model three in the field of vision of the image capture device 9 to move at will.

Zur Aufnahme der Bewegung des gegenständlichen Modells 3 ist mindestens eine Bilderfassungsvorrichtung 9, insbesondere eine Kamera vorgesehen. Die Kamera kann als Infrarotkamera ausgeführt sein, die im Wesentlichen im infraroten Bereich des elektromagnetischen Spektrums sensitiv ist. Ferner kann zur Beleuchtung des gegenständlichen Modells 3 eine Infrarotlampe vorgesehen sein, die insbesondere mit der Kamera mechanisch und/oder elektrisch gekoppelt ist.To record the movement of the figurative model three is at least one image capture device 9 , In particular, a camera provided. The camera can be designed as an infrared camera, which is sensitive to substantially in the infrared region of the electromagnetic spectrum. Furthermore, to illuminate the subject model three an infrared lamp may be provided which is in particular mechanically and / or electrically coupled to the camera.

Das gegenständliche Modell 3 umfasst mehrere an verschiedenen Seiten des Modells 3 angeordnete optische Marker 1. Die optischen Marker 1 sind mit einem Codemuster C versehen und durch ihren Aufbau derart angepasst, dass sie von der Bilderfassungsvorrichtung 9 leicht detektiert werden können. Insbesondere können die Codemuster C der optischen Marker 1 voneinander unterscheidbar ausgestaltet sein. Infolge dessen kann einer Seite des Modells 3 ein optischer Marker 1 zugeordnet werden. Dadurch kann die der Bilderfassungsvorrichtung 9 zugewandte Seite des Modells 3 und damit die Orientierung des Modells 3 im Raum zuverlässiger erkannt werden. Die Auswertbarkeit für die Trackingvorrichtung kann somit erhöht werden.The representational model three includes several on different sides of the model three arranged optical markers 1 , The optical markers 1 are provided with a code pattern C and adapted by their construction so that they from the image capture device 9 can be easily detected. In particular, the code patterns C of the optical markers 1 be distinguishable from each other. As a result, one side of the model can three an optical marker 1 be assigned. This allows the image capture device 9 facing side of the model three and thus the orientation of the model three be recognized more reliably in the room. The evaluability for the tracking device can thus be increased.

Die 2 und 3 zeigen einen optischen Marker 1 mit einem geometrischen Codemuster C, der im Wesentlichen flächig ausgestaltet ist und an einer Seite des Modells 3 angeordnet sein kann. In 3 ist eine Explosionsdarstellung des optischen Markers 1 gezeigt. Der optische Marker 1 umfasst eine Trägerschicht 2, die aus einem festen oder flexiblen Material, beispielsweise einem Kunststoff bestehen kann. Auf der Trägerschicht 2 ist eine folienförmige, retroreflektierende Lage 13 angeordnet, die das einfallende Licht im Wesentlichen in die Richtung aus der es eingefallen ist reflektiert. Dadurch erscheint die retroreflektierende Lage 13 unter einer Lichtquelle besonders hell. Oberhalb der retroreflektierenden Lage 13 ist eine Infrarotfilterfolie 4 angeordnet, die aus einem schwarzen, glänzenden Material besteht. Die Infrarotfilterfolie ist im sichtbaren Bereich im Wesentlichen undurchlässig, so dass ein Betrachter keine Reflektion der retroreflektierenden Folie 13 erkennt. Im infraroten Bereich ist die Infrarotfilterfolie 4 jedoch durchlässig, so dass sich für infrarotes Licht eine starke Reflektion der retroreflektierenden Lage 13 ergibt.The 2 and three show an optical marker 1 with a geometric code pattern C, which is designed substantially flat and on one side of the model three can be arranged. In three is an exploded view of the optical marker 1 shown. The optical marker 1 comprises a carrier layer 2 , which may consist of a solid or flexible material, such as a plastic. On the carrier layer 2 is a foil-shaped, retroreflective layer 13 arranged, which reflects the incident light substantially in the direction from which it has fallen. This will cause the retroreflective sheet to appear 13 especially bright under a light source. Above the retroreflective layer 13 is an infrared filter foil 4 arranged, which consists of a black, shiny material. The infrared filter film is substantially impermeable in the visible range, so that a viewer does not reflect the retroreflective sheeting 13 recognizes. In the infrared area is the infrared filter foil 4 However, permeable, so that for infrared light, a strong reflection of the retroreflective layer 13 results.

Oberhalb der Infrarotfilterfolie 4 ist eine Maskierungsschicht 5 angeordnet, die aus einem matten, schwarzen, lichtundurchlässigen Material, beispielsweise Kunststoff oder Pappe, besteht. Die Maskierungsschicht 5 weist Ausnehmungen 11 auf, durch deren Anordnung das Codemuster C des optischen Markers 1 entsteht. Das Codemuster C kann aus der Maskierungsschicht 5 beispielsweise ausgeschnitten oder ausgestanzt sein.Above the infrared filter foil 4 is a masking layer 5 arranged, which consists of a matte, black, opaque material, such as plastic or cardboard. The masking layer 5 has recesses 11 on, by their arrangement, the code pattern C of the optical marker 1 arises. The code pattern C may consist of the masking layer 5 for example, cut or punched out.

An den Stellen der Ausnehmungen 11 ist die Reflexionsschicht 10, bestehend aus Infrarotfilterfolie 4 und retroreflektierender Lage 13 sichtbar. Ebenso verhält es sich im Randbereich 6 des optischen Markers 1. Auch dort ist keine Maskierungsschicht 5 vorhanden, so dass die Reflexionsschicht 10 sichtbar und somit Teil des Codemusters C ist.In the places of the recesses 11 is the reflection layer 10 , consisting of infrared filter foil 4 and retroreflective layer 13 visible, noticeable. The same is true in the border area 6 of the optical marker 1 , Also there is no masking layer 5 present, leaving the reflective layer 10 visible and thus part of the code pattern C is.

Im sichtbaren Bereich weist der optische Marker 1 im Wesentlichen die gleiche Farbe wie das gegenständliche Modell 3 auf. Dadurch, dass sowohl der optische Marker 1 als auch das Modell 3 im Wesentlichen einfarbig ausgestaltet sind, tritt durch das Codemuster C keine störende Wirkung auf.In the visible range, the optical marker points 1 essentially the same color as the subject model three on. Because both the optical marker 1 as well as the model three are designed essentially monochrome, occurs through the code pattern C no disturbing effect.

Die Trackingvorrichtung kann mittels der Bilderfassungsvorrichtung 9 und der optischen Marker 1 die Bewegungen des gegenständlichen Modells 3 im Raum erkennen. Dazu werden die Codemuster C der optischen Marker 1 von der Bilderfassungsvorrichtung 9 erfasst.The tracking device can by means of the image capture device 9 and the optical marker 1 the movements of the figurative model three recognize in the room. For this purpose, the code pattern C of the optical marker 1 from the image capture device 9 detected.

Zum einen ist der Trackingvorrichtung die Lage der optischen Marker 1 auf dem Modell 3 bekannt, zum anderen ist die Position der Bilderfassungsvorrichtung 9 im Raum konstant. In Folge dessen kann die Trackingvorrichtung aus der Orientierung der optischen Marker 1 die Lage des Modells 3 im Raum und somit dessen Bewegungen bestimmen.On the one hand, the tracking device is the location of the optical markers 1 on the model three On the other hand, the position of the image capture device is known 9 constant in the room. As a result, the tracking device may be out of the orientation of the optical markers 1 the location of the model three in space and thus determine its movements.

Ein mit der Bilderfassungsvorrichtung 9 verbundener Computer 14 erzeugt und bewegt das virtuelle Objekt 12 gemäß den Bewegungen des gegenständlichen Modells 3. Insbesondere kann der Computer 14 die Anzeige des virtuellen Objekts 12 derart berechnen, dass die Orientierung des virtuellen Objekts 12 in der Anzeige für den Betrachter 7 mit der Orientierung des gegenständlichen Modells 3 im Wesentlichen übereinstimmt.One with the image capture device 9 connected computer 14 creates and moves the virtual object 12 according to the movements of the figurative model three , In particular, the computer can 14 the display of the virtual object 12 so calculate that the orientation of the virtual object 12 in the ad for the viewer 7 with the orientation of the objective model three essentially coincides.

Ferner wird das virtuelle Objekt 12 mit einer Anzeigevorrichtung 8 insbesondere stereoskopisch angezeigt. Die Anzeigevorrichtung 8 umfasst dabei eine Leinwand (2 m × 3 m) und einen mit dem Computer 14 verbundenen Rückwandprojektor 15. Durch die stereoskopische Anzeige kann ein besserer dreidimensionaler Eindruck erzeugt werden.Further, the virtual object becomes 12 with a display device 8th in particular displayed stereoscopically. The display device 8th includes a screen (2 m × 3 m) and one with the computer 14 connected rear wall projector 15 , The stereoscopic display can produce a better three-dimensional impression.

Die Erfindung kann grundsätzlich für alle Arten von Gegenständen, die angezeigt werden sollen, verwendet werden. Sie eignet sich jedoch besonders für die Anzeige von Fahrzeugen oder Waffen wie Maschinenwaffen oder Panzerwaffen.The invention can basically be used for all kinds of objects to be displayed. However, it is particularly suitable for displaying vehicles or weapons such as machine guns or armored weapons.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: optischer Markeroptical marker
22: Trägerschichtbacking
33: Modellmodel
44: Infrarot-FilterInfrared filter
55: Maskierungsschichtmasking layer
66: Rand des MarkersEdge of the marker
77: Personperson
88th: Anzeigevorrichtungdisplay device
99: BilderfassungsvorrichtungImage capture device
1010: Reflexionsschichtreflective layer
1111: Ausnehmungenrecesses
1212: virtuelles Objektvirtual object
1313: retroreflektierende Lageretroreflective layer
1414: Computercomputer
1515: Projektorprojector
CC: Codemustercode pattern

Claims

Method for controlling a computer-generated display of a virtual object ( 12 ), which is in the form of CAD data, by means of a control device, characterized in that the control device is an objective model ( three ) of the virtual object ( 12 ) whose movements are detected and processed in such a way that the virtual object ( 12 ) the movements of the representational model ( three ), whereby the movements of the representational model ( three ) are detected by means of a tracking device and wherein the tracking device comprises an image capture device ( 9 ) and at least one on the model ( three ) arranged optical markers ( 1 ) comprising a code pattern (C).

Method according to claim 1, characterized in that on at least three sides of the model ( three ), especially on all sides of the model ( three ), an optical marker ( 1 ) is arranged.

Method according to claim 1 or 2, characterized in that the optical marker (C) having a code pattern ( 1 ) a reflection layer ( 10 ), over which a, in particular matt, masking layer ( 5 ) having recesses for generating the code pattern (C).

Method according to Claim 3, characterized in that the reflection layer ( 10 ) a retroreflective layer ( 13 ) and / or an IR filter ( 4 ).

Method according to one of the preceding claims, characterized in that the optical marker ( 1 ) is substantially monochromatic.

Method according to one of the preceding claims, characterized in that the model ( three ) is substantially monochromatic, in particular in the color of the marker ( 1 ).

Method according to one of the preceding claims, characterized in that by means of the image capture device ( 9 ) and in the field of view of the image capture device ( 9 ) optical markers ( 1 ) the movements of the representational model ( three ) are recognized in the room.

Method according to one of the preceding claims, characterized in that the means of the image capture device ( 9 ) recognized movement of the representational model ( three ), in particular with a Kalman filter.

Method according to one of the preceding claims, characterized in that a computer ( 14 ) the virtual object ( 12 ) according to the movements of the figurative model ( three ) emotional.

Method according to one of the preceding claims, characterized in that the virtual object ( 12 ) on a display device ( 8th ), in particular stereoscopically.

Method according to one of the preceding claims, characterized in that the display device ( 8th ) a screen and / or a projector ( 15 ), in particular a rear wall projector.

Method according to one of the preceding claims, characterized in that the representational model ( three ) is designed such that it is provided by a person ( 7 ) and / or can be freely rotated.

Device for carrying out a control method with a display device ( 8th ) for displaying a virtual object ( 12 ), which is in the form of CAD data, the display with a Control device is controllable, characterized in that the control device is a representational model ( three ) of the virtual object ( 12 ) whose movements are detectable and processable such that the virtual object ( 12 ) the movements of the representational model ( three ), whereby the movements of the representational model ( three ) are detected by means of a tracking device and wherein the tracking device comprises an image capture device ( 9 ) and at least one on the model ( three ) arranged with a code pattern (C).