DE102005005242A1

DE102005005242A1 - Camera offset determining method for motor vehicle`s augmented reality system, involves determining offset of camera position and orientation of camera marker in framework from camera table-position and orientation in framework

Info

Publication number: DE102005005242A1
Application number: DE102005005242A
Authority: DE
Inventors: Fabian Doil; Stefan Nölle
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2005-02-01
Filing date: 2005-02-01
Publication date: 2006-08-10

Abstract

The method involves determining camera position and orientation of a camera marker (6) in a framework by a tracking system. An image of a reference marker (7) is recorded by a camera and evaluated by an evaluation unit to determine a camera table-position and orientation in the framework. An offset of the camera position and orientation from the camera table-position and orientation is determined, using an offset determining unit. An independent claim is also included for a device for determining a camera offset, comprising a tracking system.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen eines Kameraoffsets zwischen einem fest mit einem Gehäuse einer Kamera eines Augmented-Reality-Systems verbundenen Kameramarker und einer Kamerabildebene der Kamera.The The invention relates to a method and a device for determining a camera offset between a fixed to a housing Camera of an augmented reality system connected camera markers and a camera plane of the camera.

Beim Entwickeln von Produkten werden heute häufig so genannte Augmented-Reality-Systeme verwendet. Sie bieten die Möglichkeit einem realen Objekt virtuelle Zusatzinformationen zu „augmentieren", d. h. zu überlagern. Beispielhaft ist der Einsatz von Augmented-Reality-Systemen bei der Entwicklung von Kraftfahrzeugen in der Druckschrift DE 202 03 367 U1 beschrieben.When developing products, so-called augmented reality systems are often used today. They offer the possibility of "augmenting", ie superimposing virtual additional information on a real object.Example is the use of augmented reality systems in the development of motor vehicles in the publication DE 202 03 367 U1 described.

Bei einem Augmented-Reality-System, das auf dem so genannten video-seethrough-Verfahren basiert, wird die reale Umgebung mit einer Kamera „live" aufgenommen bzw. abgebildet. Bei der Kamera handelt es sich in der Regel um eine Videokamera, die zur Bilderfassung einen CCD-Chip verwendet. Dem Videobild werden in einem Computersystem erzeugte Objekte überlagert bzw. augmentiert.at an augmented reality system based on the so-called video-seethrough method based, the real environment with a camera "live" recorded or displayed. The camera is usually one Video camera that uses a CCD chip to capture images. the Video image is superimposed on objects created in a computer system or augmented.

Damit die Überlagerung perspektivisch korrekt realisiert werden kann, ist zu jedem Zeitpunkt die genaue Kenntnis der Position und der Orientierung der Kamera relativ zu dem realen Objekt erforderlich.In order to the overlay in perspective can be realized correctly, is at any time the exact knowledge of the position and orientation of the camera relative to the real object required.

Es sind verschiedene Positions- und Orientierungsermittlungssysteme bekannt, die allgemein auch als Trackingsysteme bezeichnet werden. Die Trackingsysteme messen im Rahmen einer gewissen Genauigkeit die Positionen und Orientierungen von Markern oder Sensoren, die an den Objekten angeordnet werden, deren Position und Orientierung benötigt werden.It are different position and orientation systems known, which are also commonly referred to as tracking systems. The tracking systems measure the accuracy within a certain accuracy Positions and orientations of markers or sensors attached to the objects are arranged, their position and orientation needed become.

Heute werden vor allem optische Trackingsysteme eingesetzt, die nach unterschiedlichen Prinzipien arbeiten:
Bei dem so genannten Vision-Based-Tracking-Verfahren wird die von der Kamera aufgenommene Abbildung ausgewertet, auf der die Überlagerung erfolgt. Die Abbildung wird nach Markern abgesucht, die in der Regel als quadratische Marken ausgebildet sind und vorteilhafterweise aus Papier hergestellt sind. Anhand der Größe, der Position, der Orientierung und der Verzerrung der Marker in der Abbildung können die Position und die Orientierung der Bildebene bzw. der Ebene des Bilderfassungssensors der Kamera relativ zu den Markern bestimmt werden.Today, especially optical tracking systems are used that operate on different principles:
In the so-called vision-based tracking method, the image taken by the camera is evaluated on which the superimposition takes place. The image is searched for markers, which are usually designed as a square marks and are advantageously made of paper. Based on the size, position, orientation and distortion of the markers in the image, the position and orientation of the image plane or plane of the camera's image acquisition sensor relative to the markers can be determined.

Ein wesentlicher Vorteil dieses Tracking-Verfahrens ist, dass hierbei direkt die Position und Orientierung der Bildebene der Kamera, die in der Regel die Ebene eines CCD-Chips ist, ermittelt wird. Von dem Augmented-Reality-System wird die Orientierung der Bildebene der Kamera benötigt, um die computergenerierten Objekte für die Überlagerung korrekt zu berechnen. Die vom Trackingsystem ermittelten Positions- und Orientierungsdaten können folglich unmittelbar, ohne eine weitere Bearbeitung zu erfordern, verwendet werden.One The main advantage of this tracking method is that here directly the position and orientation of the image plane of the camera, the usually the level of a CCD chip is determined. From the Augmented Reality system becomes the orientation of the image plane the camera needs, to correctly calculate the computer-generated objects for the overlay. The position and orientation data determined by the tracking system can consequently immediately, without requiring further processing, be used.

Ein Nachteil dieses Tracking-Verfahrens ist jedoch die mangelnde Genauigkeit. Insbesondere die Abstände zwischen der Bildebene der Kamera und den Markern lassen sich nur sehr ungenau bestimmen. Ein weiterer Nachteil dieses Tracking-Verfahrens ist, dass zu jedem Zeitpunkt mindestens ein Marker in der von der Kamera aufgenommenen Abbildung sichtbar sein muss.One Disadvantage of this tracking method, however, is the lack of accuracy. In particular, the distances between the image plane of the camera and the markers can only be very inaccurate determine. Another disadvantage of this tracking method is that at least one marker in the camera shot at any one time Figure must be visible.

Bei einem anderen optischem Tracking-Verfahren, das beispielsweise von einem von der Firma A.R.T. GmbH, Hersching, Deutschland, angebotenen Trackingsystem angewendet wird, sind mehrere Infrarot-Kameras um ein Messvolumen angeordnet, das jeweils von den mehreren Infrarot-Kameras erfasst werden kann. Das Messvolumen ist so gewählt, dass sich in dem Messvolumen sowohl die mit Hilfe der Kamera des Augmented-Reality-Systems abgebildeten realen Objekte als auch diese Kamera selbst befinden.at another optical tracking method, for example, from one from A.R.T. GmbH, Hersching, Germany, offered Tracking system is applied, several infrared cameras are around a measuring volume arranged, each from the multiple infrared cameras can be detected. The measuring volume is chosen so that in the measuring volume both the imaged using the camera of the augmented reality system real objects as well as this camera itself.

Mit Hilfe der Infrarot-Kameras können die Positionen und die Orientierungen von Markern in dem Messvolumen ermittelt werden. Ein Marker umfasst bei diesem System mehrere retroreflektierdende Kugeln, die relativ zu einander starr angeordnet sind. Ein solcher Marker wird auch als Rigid-Body bezeichnet. Die Marker können in einer beliebigen Orientierung an Objekten innerhalb des Messvolumens fest befestigt werden.With Help the infrared cameras can the positions and orientations of markers in the measurement volume be determined. A marker in this system includes multiple retroreflective ones Balls that are rigid relative to each other. Such a Marker is also referred to as Rigid Body. The markers can be in any orientation of objects within the measurement volume firmly attached.

Wird dieses Trackingsystem mit einem Augmented-Reality-System verwendet, so wird auf einem Gehäuse der Kamera ein Marker (Rigid-Body) befestigt, der im Folgenden als Kameramarker bezeichnet wird. Das Trackingsystem ermittelt nun die Position und die Orientierung des Kameramarkers auf dem Kameragehäuse. Ein wesentlicher Vorteil dieses Trackingsystems ist die konstante und hohe Genauigkeit, mit der die Position und Orientierung der Kamera bzw. des Kameramarkers bestimmt wird. Ferner ist es nicht erforderlich, dass in der von der Kamera aufgenommen Abbildung ein Marker bzw. eine Marke sichtbar sind.If this tracking system is used with an augmented reality system, then a marker (rigid body) is attached to a housing of the camera, which is referred to below as a camera marker. The tracking system now determines the position and orientation of the camera marker on the camera housing. A major advantage of this tracking system is the constant and high accuracy with which the position and orientation of the camera or the camera markers is determined. Furthermore, it is not necessary for a marker to be visible in the image captured by the camera.

Nachteilig ist jedoch, dass dieses Tracking-Verfahren nicht die Position und Orientierung der Bildebene der Kamera, sondern die Position und Orientierung des Kameragehäuses oder genauer die Position und die Orientierung des Kameramarkers liefert.adversely However, this tracking method is not the position and Orientation of the image plane of the camera, but the position and Orientation of the camera body or more precisely the position and orientation of the camera markers supplies.

Ein Versatz zwischen der Position und der Orientierung des Kameramarkers und der Position und Orientierung der Bildebene der Kamera wird als Kameraoffset bezeichnet.One Offset between the position and orientation of the camera marker and the position and orientation of the image plane of the camera becomes referred to as camera offset.

Der Kameraoffset ist ohne einen Einblick in das Innere der Kamera nur schwer zu ermitteln. Bisher wird dieser Kameraoffset experimentell bestimmt. Die Bestimmung ist sehr aufwendig und kann nur von Fachkräften durchgeführt werden. Ferner ist der Kameraoffset bei dem bekannten Bestimmungsverfahren nicht genau genug bestimmbar.Of the Camera offset is without a glimpse of the inside of the camera only difficult to determine. So far, this camera offset is experimental certainly. The determination is very complicated and can only be carried out by skilled workers. Furthermore, the camera offset in the known determination method not exactly determinable.

Bei dem bisher angewandten Verfahren zur Bestimmung des Kameraoffsets wird ein Objekt aufgenommen, dem ein dazugehöriges, mittels eines Rechners bestimmtes Model mit Hilfe des Augmented-Reality-Systems überlagert wird. Das Modell ist in der Regel als Gittermodel ausgeführt. Der Kameraoffset wird zunächst geschätzt und dann iterativ verändert, bis eine Übereinstimmung zwischen dem überlagerten Modell und dem realen Objekt in der Abbildung erzielt ist. Anschließend muss dieser Vorgang bei veränderten Kamera-Positionen und Kamera-Orientierungen wiederholt werden, bis sich bei beliebiger Kamera-Position und Kamera-Orientierung eine optimale Überlagerung zwischen dem realen Objekt und dem entsprechenden berechneten Modell ergibt. Dieses Bestimmungsverfahren ist sehr zeitintensiv und beansprucht eine hohe Rechenleistung. Ferner muss für das abgebildete Objekt ein genau bekanntes mathematisches Modell existieren. Abweichungen zwischen dem Modell und dem realen Objekt führen zu einer Ungenauigkeit bei der Bestimmung des Kameraoffsets.at the previously used method for determining the camera offset an object is recorded, the one associated, by means of a computer superimposed certain model using the augmented reality system becomes. The model is usually designed as a grid model. Of the Camera offset is first estimated and then changed iteratively, until a match between the superimposed Model and the real object in the picture is achieved. Then must this process changed Camera positions and camera orientations are repeated until at any camera position and camera orientation one optimal overlay between the real object and the corresponding calculated model results. This determination process is very time consuming and claimed a high computing power. Furthermore, a must for the imaged object well-known mathematical model exist. Deviations between The model and the real object lead to an inaccuracy when determining the camera offset.

Der Erfindung liegt das technische Problem zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur genaueren und einfacheren Bestimmung des Kameraoffsets einer Kamera eines Augmented-Reality-Systems zu schaffen.Of the Invention is based on the technical problem, an improved Method and an improved device for more accurate and easier Determination of the camera offset of a camera of an augmented reality system to accomplish.

Das technische Problem wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 13 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.The technical problem is solved by a procedure with the characteristics of the Patent claim 1 and a device having the features of the claim 13 solved. Advantageous developments of the invention will become apparent from the Dependent claims.

Hierfür wird mittels eines Trackingsystems eine Kamera-Position und eine Kamera-Orientierung des Kameramarkers in einem Bezugssystem ermittelt. Mittels der Kamera wird eine Abbildung von mindestens einem Bezugsmarker aufgenommen. Mittels einer Auswerteeinheit wird die von der Kamera aufgenommene Abbildung ausgewertet, um eine Kamerabildebene-Position und eine Kamerabildebene-Orientierung in dem Bezugssystem zu ermitteln, wobei eine Bezugsmarker-Position und eine Bezugsmarker-Orientierung in dem Bezugssystem berücksichtigt wird. Mittels einer Offsetbestimmungseinheit wird der Kameraoffset bestimmt, indem jeweils der Versatz der Kamera-Position und der Kamera-Orientierung von der Kamerabildebene-Position und der Kamerabildebene-Orientierung ermittelt wird. Der Vorteil der Erfindung liegt darin, dass nur die einmalige Bestimmung der Kamerabildebene-Position und Kamerabildebene-Orientierung mittels der Auswerteeinrichtung erforderlich ist, die eine Auswertung der von der Kamera aufgenommenen Abbildung des Bezugsmarkers durchgeführt. Entscheidend ist, dass zwei verschiedene Tracking-Verfahren genutzt werden. Das eine Tracking-Verfahren bestimmt mittels eines Vision-Based-Tracking-Verfahrens direkt die Position und Orientierung der Kamerabildebene. Das andere Tracking-Verfahren bestimmt die Kamera-Position und Kamera-Orientierung. Indem die Kamerabildebene-Position und Kamerabildeben-Orientierung in demselben Bezugssystem bestimmt werden wie die Kamera-Position und die Kamera-Orientierung, kann der Kameraoffset schnell und einfach bestimmt werden. Die Bestimmung kann automatisiert werden. Es sind keine Fachkenntnisse erforderlich um das Verfahren anzuwenden. Ein Nutzer muss lediglich die Kamera einmalig so ausrichten, dass eine Abbildung des Bezugsmarkers aufgenommen wird. Kann ein Verschwenken der Kamera angesteuert erfolgen, so kann auch dieses automatisiert werden. Die Platzierung des Bezugsmarkers relativ zu der Kamera kann dabei so erfolgen, dass eine möglichst genaue Bestimmung der Kamerabildebene-Position und -Orientierung möglich ist. Die benötigte Rechnerleistung zur Bestimmung des Kameraoffsets ist gegenüber dem bekannten Verfahren deutlich geringer. Ferner kann der Kameraoffset sehr schnell bestimmt werden, so dass das neue Verfahren eine Zeit- und Kostenersparnis bewirkt.For this purpose means a tracking system, a camera position and a camera orientation of the camera markers determined in a reference system. The camera becomes an illustration taken up by at least one reference marker. By means of an evaluation unit the image taken by the camera is evaluated to a Camera-plane position and a camera-plane orientation in the Reference system to determine, with a reference marker position and considered a fiducial orientation in the frame of reference becomes. By means of an offset determination unit, the camera offset determined by each offset the camera position and the Camera orientation of camera position and camera plane orientation is determined. The advantage of the invention is that only the unique determination of camera position and camera plane orientation by means of the evaluation device is required, the one evaluation performed by the camera taken picture of the reference marker. critical is that two different tracking methods are used. The a tracking process determined by means of a vision-based tracking method directly the Position and orientation of the camera plane. The other tracking method determines the camera position and camera orientation. By the Camera level position and camera balance orientation in the same Reference system can be determined as the camera position and camera orientation, can the camera offset can be determined quickly and easily. The determination can be automated. No expertise is required to apply the procedure. A user just needs the camera align once so that an image of the reference marker is included becomes. If the camera can be swiveled, then this too can be automated. The placement of the reference marker relative to the camera can be done so that a possible accurate determination of the camera-plane position and orientation is possible. The needed Computer power for determining the camera offset is compared to known method significantly lower. Furthermore, the camera offset be determined very quickly, so that the new procedure and cost savings effected.

Eine besonders vorteilhafte Ausführungsform der Erfindung sieht vor, dass ein Bezugssystem des Trackingsystems so festgelegt wird, dass es mit dem Bezugssystem übereinstimmt. Bei dieser Ausführungsform stimmen die von dem Trackingsystem bestimmten Positionen und Orientierungen mit denen im Bezugssystem überein. Eine Umrechnung der mittels des Trackingsystems bestimmten Positionen und Orientierungen ist weder bei der Bestimmung des Kameraoffsets noch beim Betrieb des Augmented-Reality-Systems notwendig.A particularly advantageous embodiment The invention provides that a reference system of the tracking system is set to match the reference frame. In this embodiment, vote the positions and orientations determined by the tracking system coincide with those in the reference system. A conversion of the positions determined by the tracking system and orientations is neither in determining the camera offset still necessary in the operation of the augmented reality system.

Ferner ist es günstig, wenn der Bezugsmarker ausgebildet ist, um mittels des Trackingsystems erfassbar zu sein, so dass die Bezugsmarker-Position und die Bezugsmarker-Orientierung des Bezugsmarkers mit Hilfe des Trackingsystems bestimmt werden. Hierbei umfasst der Bezugsmarker nicht nur eine meist quadratisch ausgebildete Marke, die zur Ermittlung der Kamerabildebene-Position und -Orientierung mit Hilfe der Auswerteeinheit verwendet wird, sondern auch Elemente, beispielsweise einen Rigid-Body für ein optisches Trackingsystem, die von dem Trackingsystem erfasst werden. Hierbei wird die Marke mit den Elementen so kombiniert, dass die Marke und die Elemente in dem Bezugsmarker zueinander ausgerichtet sind.Further is it cheap when the fiducial marker is adapted to be detected by the tracking system be detectable, so that the reference marker position and the reference marker orientation of the reference marker can be determined by means of the tracking system. Here, the reference marker not only includes a mostly square Trained mark used to determine the camera position and orientation is used with the aid of the evaluation unit, but also elements, for example a rigid body for an optical tracking system, that are tracked by the tracking system. This is where the brand becomes combined with the elements so that the brand and the elements are aligned in the reference marker to each other.

Eine Bestimmung der Bezugsmarker-Position und der Bezugsmarker-Orientierung kann entfallen, wenn der Bezugsmarker in einem Ursprung des Bezugssystems ausgerichtet mit einer Ursprungs-Orientierung des Bezugssystems angeordnet wird.A Determination of the reference marker position and the reference marker orientation may be omitted if the reference marker in an origin of the reference system aligned with an origin orientation of the frame of reference is arranged.

Als besonders vorteilhaft hat es sich erwiesen, vorzusehen, dass das Bezugssystem des Trackingsystems mit Hilfe des Bezugsmarkers festgelegt wird. In diesem Falle ist sicher gewährleistet, dass es keine Ausrichtungsfehler des Bezugsmarkers im Bezugssystem geben kann. Hierdurch wird die Genauigkeit des Verfahrens gesteigert und Fehleranfälligkeit des Verfahrens gesenkt. Das Verfahren kann in dieser Ausführungsform besonders leicht auch von Nutzern mit keinen oder geringen Vorkenntnissen ausgeführt werden, da der Bezugsmarker lediglich in einem Bereich eines Messvolumen des Trackingsystems angeordnet werden muss, der mit Hilfe der Kamera abgebildet werden kann.When It has proven particularly advantageous to provide that the Reference system of the tracking system using the reference marker set becomes. In this case, it is guaranteed that there is no misalignment of the reference marker in the frame of reference. This will be the Accuracy of the method increased and susceptibility to errors lowered the procedure. The method may be particularly useful in this embodiment easy also by users with no or little previous knowledge accomplished because the reference marker is only in one area of a measurement volume of the tracking system must be arranged using the camera can be displayed.

Bei einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass mit dem Bezugsystem ein Koordinatensystem assoziiert ist, dessen Ursprungs-Basiseinheitsvektoren (x, y, z) die Ursprungs-Orientierung festlegen und dessen Ursprung der Ursprung des Bezugssystems ist, und mit dem Kameramarker ein Kamera-Koordinatensystem, mit der Kamerabildebene ein Kamerabildebene-Koordinatensystem und mit dem Bezugsmarker ein Bezugsmarker-Koordinatensystem assoziiert sind, deren jeweiliger Ursprung mit der entsprechenden Position übereinstimmt und deren jeweilige Basiseinheitsvektoren durch die entsprechende Orientierung festgelegt sind, wobei die entsprechenden Positionen mittels Translationsvektoren im Bezugssystem angegeben sind, die den Ursprung des Bezugssystems in den jeweiligen Ursprung des assoziierten Koordinatensystems überführen, und die Orientierungen mittels dreidimensionaler Drehungen angegeben werden, die die Ursprungs-Basiseinheitsvektoren des Ursprungs-Koordinatensystems in die entsprechenden Basiseinheitsvektoren des mit der jeweiligen Orientierung assoziierten Koordinatensystems überführen. Diese Art und Weise der Angabe der Positionen und Orientierungen hat sich als vorteilhaft erwiesen, da diese Angaben bei der Berechnung des zu überlagernden Objekts direkt weiterverarbeitet werden können. Unter der Angabe seines Vektors wird jede Angabe von Daten angesehen, aus denen sich ohne größeren Aufwand ein Vektor konstruieren lässt. Analoges gilt für die dreidimensionalen Drehungen. Insbesondere können der Vektor und die Drehung durch die Koordinaten des Vektors und drei Winkel oder auch durch die Komponenten einer Matrix angegeben werden, die eine Drehung repräsentiert.at an advantageous embodiment of the invention is provided that with the reference system, a coordinate system is associated, whose Originating base unit vectors (x, y, z) determine the origin orientation and its origin the origin of the frame of reference is, and with the camera marker Camera coordinate system, with the camera plane a camera plane coordinate system and associated with the fiducial marker is a fiducial coordinate system whose respective origin coincides with the corresponding position and their respective base unit vectors by the corresponding one Orientation are defined, with the corresponding positions are given by means of translation vectors in the reference system, the the origin of the frame of reference in the respective origin of the associated To transfer the coordinate system, and given the orientations by means of three-dimensional rotations which are the original base unit vectors of the original coordinate system into the corresponding base unit vectors of the respective one Transfer orientation associated coordinate system. This way of Stating the positions and orientations has been beneficial since this information is used in the calculation of the Object can be further processed directly. Under the indication of his Vector is considered any indication of data that turns out to be without greater effort construct a vector. The same applies to the three-dimensional rotations. In particular, the vector and the rotation through the coordinates of the vector and three angles or even through the components of a matrix are specified, which is a rotation represents.

Als ebenso vorteilhaft hat es sich erwiesen, dass der Kameraoffset als Vektor, der die Verschiebung des Ursprungs des Kamera-Koordinatensystems in den Ursprung des Kamerabildebene-Koordinatensystems angibt, und als Drehmatrix angegeben wird, die die Basiseinheitsvektoren des Kamera-Koordinatensystems in die Basiseinheitsvektoren des Kamerabildebene-Koordinatensystems überführt. In dieser oder einer hieraus ohne Aufwand ableitbaren Form, wird der Kameraoffset beim Betrieb des Augmented-Reality-Systems benötigt.When just as advantageous, it has been proven that the camera offset as Vector representing the displacement of the origin of the camera coordinate system indicating the origin of the camera-plane coordinate system, and is given as a rotation matrix which is the base unit vectors of the Camera coordinate system into the base unit vectors of the camera-coordinate system. In this or a derivable therefrom without effort, the Camera offset required when operating the augmented reality system.

Eine besonders einfache mathematische Verarbeitung ist möglich, wenn die die Positionen angebenden Vektoren und die die zugehörigen Orientierungen angebenden Drehmatrizen jeweils zu einer Transformationsmatrix in homogenen Koordinaten zusammengefasst werden. Bei einer Darstellung in homogenen Koordinaten wird der die Position angebende Vektor, der mit einer Translationstransformation verknüpft ist, mit der Drehmatrix in eine 4x4-Matrix zusammengefasst. Im Folgenden kann die Bestimmung des Kameraoffsets mittels Matrizenrechenverfahren ausgeführt werden, für deren Umsetzung eine Vielzahl von Computerprogrammen und Vorrichtungen bekannt sind.A particularly simple mathematical processing is possible if the vectors indicating the positions and the associated orientations in each case to a transformation matrix in homogeneous coordinates are summarized. In a presentation in homogeneous coordinates becomes the vector indicating the position, which is associated with a translation transformation, with the rotation matrix combined into a 4x4 matrix. The following is the determination the camera offsets are performed by matrix computing, for their Implementation of a variety of computer programs and devices are known.

Folglich sieht eine bevorzugte Weiterbildung vor, dass beim Bestimmen des Versatzes der Kamera-Position und der Kamerabildebene-Position und des Versatzes der Kamera-Orientierung und der Kamerabildebene-Orientierung eine Kameraoffset-Transformation T_Offset bestimmt wird, die die Kamera-Position in die Kamerabildebene-Position und die Kamera-Orientierung in die Kamerabildebene-Orientierung überführt.Consequently, a preferred embodiment provides that when determining the offset of the Kame a camera offset transformation T _{offset is} determined, which converts the camera position in the camera plane position and the camera orientation in the camera plane orientation ,

Für die Bestimmung des Kameraoffsets bei einer bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass eine die Kameraoffset-Transformation repräsentierende Matrix T_Offset aus dem Matrixprodukt einer inversen Kamera-Transformationsmatrix T_Kamera ^–1 und einer Kamerabildebene-Transformationsmatrix T_{Kamerabildebene} ermittelt wird, wobei die Kamera-Transfromationsmatrix T_Kamera die Transformation des Ursprungs-Koordinatensystems des Bezugssystems in das Kamera-Koordinatensystem und die Kamerabildebene-Transfromationsmatrix T_{Kamerabildebene} die Transformation des Ursprungs-Koordinatensystems des Bezugssystems in das Kamerabildebene-Koordinatensystem jeweils in homogenen Koordinaten beschreiben.For the determination of the camera offset in a preferred embodiment of the invention it is provided that a camera offset transformation matrix representing T _offset from the matrix product of an inverse camera transformation matrix T _camera ¹ and a camera image plane transformation matrix T _{camera image plane} is determined, wherein the camera Transfromationsmatrix T _camera the transformation of the origin coordinate system of the reference system in the camera coordinate system and the camera-plane transformation matrix T _{Kamerabildebene describe} the transformation of the original coordinate system of the reference system in the Kamerabildebene coordinate system in each case in homogeneous coordinates.

Bei einer vorteilhaften Weiterbildung der Erfindung umfasst das Trackingsystem Infrarotkameras und der Kameramarker und/oder der Bezugsmarker umfassen mehrere zueinander starr angeordnete retroreflektive Körper, die vorzugsweise kugelförmig ausgebildet sind. Diese Weiterbildung nutzt ein Trackingsystem, das bereits gut erprobt ist und eine sehr genaue und ständige Bestimmung der Position und Orientierung des Bezugsmarkers/Kameramarkers ermöglicht.at An advantageous development of the invention comprises the tracking system Infrared cameras and the camera markers and / or the reference marker include a plurality of rigidly arranged retroreflective body, the preferably spherical are formed. This training uses a tracking system, which is already well tested and a very accurate and constant determination the position and orientation of the reference marker / camera markers allows.

Bei einer besonders bevorzugten Fortbildung der Erfindung wird mittels der Auswerteeinheit die Kamerabildebene-Position und die Kamerabildebene-Orientierung mit Hilfe eines Vision-Based-Tracking-Verfahrens anhand von Eigenschaften, insbesondere einer Größe, einer Position, einer Orientierung und einer Verzerrung, eines Abbilds des Bezugsmarkers in der Abbildung bestimmt.at a particularly preferred embodiment of the invention is by means of the evaluation unit with the camera plane position and the camera plane orientation with Help with a vision-based tracking method based on properties especially one size, one Position, an orientation and a distortion, an image of the reference marker in the figure.

Die Merkmale der Weiterbildungen der erfindungsgemäßen Vorrichtung weisen die gleichen Vorteile wie die entsprechenden Merkmale des erfindungsgemäßen Verfahrens auf.The Features of the developments of the device according to the invention have the same advantages as the corresponding features of the method according to the invention on.

Die Erfindung wird im Folgenden anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:The Invention will be described below with reference to a preferred embodiment explained in more detail with reference to a drawing. Hereby show:

1 eine schematische Ansicht einer Vorrichtung zum Bestimmen eines Kameraoffsets für eine Kamera eines Augmented-Reality-Systems; 1 a schematic view of an apparatus for determining a camera offset for a camera of an augmented reality system;

2 eine schematische Darstellung von Transformationen, die bei der Bestimmung des Kameraoffsets auftreten, wenn der Bezugsmarker im Ursprung und ausgerichtet mit dem Bezugssystem angeordnet ist; und 2 a schematic representation of transformations that occur in the determination of the camera offset when the fiducial is located in the origin and aligned with the reference system; and

3 eine schematische Darstellung von Transformationen, die bei der Bestimmung des Kameraoffsets im allgemeinen Fall auftreten. 3 a schematic representation of transformations that occur in the determination of the camera offset in the general case.

In 1 zeigt eine schematisch Ansicht einer Vorrichtung 1 zum Bestimmen eines Kameraoffsets 2 für eine Kamera 3 eines Augmented-Reality-Systems. Das Augmented-Reality-System umfasst zusätzlich zu der Kamera 3 ein Trackingsystem 4, welches Infrarotkameras 5 umfasst, von denen nur eine exemplarisch dargestellt ist. Die Infrarotkameras 5 erfassen jeweils ein Messvolumen, in dem sich reale Objekte befinden, denen virtuelle Objekte überlagert (augmentiert) werden sollen. Ferner befindet sich die Kamera 3 in dem Messvolumen. Die Infrarot-Kameras 5 sind zusätzlich mit Infrarotstrahlungsquellen versehen, die Infrarotstrahlung in das Messvolumen abstrahlen. Die Infrarotstrahlung wird in der Regel gepulst in Blitzen abgestrahlt. Die Infrarotkameras 5 erfassen Marker, beispielsweise einen Kameramarker 6 und/oder einen Bezugsmarker 7, die sich in dem Messvolumen befinden. Die Marker umfassen einen Verbundkörper 8, der auch als Rigid-Body bezeichnet wird. Der Verbundkörper 8 verbindet mehrere Kugeln 9, die zumindest im infraroten Wellenlängenbereich retroreflektierend sind. Die von den Infrarotkameras 5 erfassten Daten werden an eine Trackingeinheit 10 weitergeleitet, die eine Position und eine Orientierung für einen jeden Marker im Messvolumen ständig ermittelt und zur Verfügung stellt.In 1 shows a schematic view of a device 1 to determine a camera offset 2 for a camera 3 an augmented reality system. The augmented reality system includes in addition to the camera 3 a tracking system 4 , which infrared cameras 5 includes, of which only one is shown as an example. The infrared cameras 5 each record a measurement volume in which there are real objects to which virtual objects are to be superimposed (augmented). Further, the camera is located 3 in the measuring volume. The infrared cameras 5 are additionally provided with infrared radiation sources that radiate infrared radiation into the measuring volume. The infrared radiation is usually emitted pulsed in flashes. The infrared cameras 5 capture markers, such as a camera marker 6 and / or a reference marker 7 located in the measurement volume. The markers comprise a composite body 8th , which is also called Rigid Body. The composite body 8th connects several balls 9 which are retroreflective at least in the infrared wavelength range. The ones from the infrared cameras 5 collected data is sent to a tracking unit 10 which constantly determines and makes available a position and an orientation for each marker in the measuring volume.

In dem Messvolumen ist ein Bezugssystem mittels eines Ursprungs-Koordinatensystems 11 festgelegt. Ursprungs-Basiseinheitsvektoren x, y, z des eines Ursprungs-Koordinatensystems 11 geben eine Ursprungs-Orientierung an. Ein Ursprung 12 des Ursprungs-Koordinatensystems 11 gibt den Ursprung des Bezugssystems an. Ferner ist mit jedem Marker ist ein lokales Koordinatensystem verknüpft. Das lokale Koordinatensystem, das mit dem Bezugsmarker 7 verknüpft ist, wird als Bezugsmarker-Koordinatensystem bezeichnet. Vorteilhafterweise ist der Bezugsmarker 7 in dem Messvolumen so positioniert, dass das mit dem Bezugsmarker 7 verknüpfte Bezugsmarker-Koordinatensystem mit dem Ursprungs-Koordinatensystem 11 des Bezugssystems in dem Messvolumen zusammenfällt. Dieses ist aber nicht notwendigerweise erforderlich. Bei der hier beschrieben Ausführungsform fallen das Bezugsmarker-Koordinatensystem und das Ursprungs-Koordinatensystem 11 zusammen. Ferner wird ein Bezugssystem des Trackingsystems 4 vorteilhafterweise so gewählt, dass es mit dem Bezugssystem übereinstimmt. Dies bedeutet, die Trackingeinheit 10 nutzt Daten, die mittels der Infrarotkameras 5 von dem Bezugsmarker 7 erfasst werden, um einen Ursprung und eine Ursprungs-Orientierung des Bezugssystems des Trackingsystems 4 festzulegen. Fällt das Bezugssystem des Trackingsystems nicht mit dem Bezugssystem im Messvolumen zusammen, so ist ein Versatz zwischen beiden Bezugssystemen zu berücksichtigen.In the measuring volume is a reference system by means of an origin coordinate system 11 established. Source base unit vectors x, y, z of an origin coordinate system 11 indicate an origin orientation. An origin 12 of the origin coordinate system 11 indicates the origin of the frame of reference. Furthermore, each marker is linked to a local coordinate system. The local coordinate system with the reference marker 7 is referred to as a reference marker coordinate system net. Advantageously, the reference marker 7 positioned in the measuring volume with the reference mark 7 linked reference marker coordinate system with the original coordinate system 11 of the reference system coincides in the measurement volume. This is not necessarily required. In the embodiment described herein, the reference marker coordinate system and the origin coordinate system fall 11 together. Furthermore, a reference system of the tracking system 4 advantageously chosen so that it coincides with the reference system. This means the tracking unit 10 Uses data by means of infrared cameras 5 from the reference marker 7 be detected to an origin and an origin orientation of the reference system of the tracking system 4 set. If the reference system of the tracking system does not coincide with the reference system in the measurement volume, an offset between the two reference systems must be taken into account.

Bei der Bestimmung der Position und Orientierung eines der Marker werden die Koeffizienten für eine lineare Transformation des Ursprungs-Koordinatensystems 11 in das jeweils mit dem Marker verknüpfte Koordinatensystem bestimmt. Beispielhaft soll dieses für die Bestimmung der Position und der Orientierung des Kameramarkers 6 beschrieben werden.In determining the position and orientation of one of the markers, the coefficients for a linear transformation of the original coordinate system 11 determined in each case associated with the marker coordinate system. By way of example, this is intended to determine the position and orientation of the camera markers 6 to be discribed.

Für eine Transformation des kartesischen Ursprungs-Koordinatensystems 11 in ein kartesisches Kameramarker-Koordinatensystem 13 stehen sechs Freiheitsgrade zur Verfügung. Drei sind mit einer Translation des Ursprungs 12 des Ursprungs- Koordinatensystems 11 in einen Ursprung 14 des Kameramarker-Koordinatensystems 13 verknüpft, wie sie mittels eines Vektors 15 angedeutet ist. Weitere drei Freiheitsgrade sind mit einer dreidimensionalen Rotation verknüpft, die die Ursprungs-Basiseinheitsvektoren x, y, z des Ursprungs-Koordinatensystems 11 in Kamera-Basiseinheitsvektoren x', y', z' des Kameramarker-Koordinatensystems 13 überführt, wobei die Kamera-Basiseinheitsvektoren die Orientierung der Kamera 3 bzw. des Kameramarkers 6 angeben.For a transformation of the Cartesian origin coordinate system 11 into a Cartesian camera marker coordinate system 13 There are six degrees of freedom available. Three are with a translation of origin 12 the origin coordinate system 11 into an origin 14 the camera marker coordinate system 13 linked as they are by means of a vector 15 is indicated. Another three degrees of freedom are linked to a three-dimensional rotation, which is the original base unit vectors x, y, z of the original coordinate system 11 in camera base unit vectors x ', y', z 'of the camera marker coordinate system 13 wherein the camera base unit vectors determine the orientation of the camera 3 or the camera marker 6 specify.

Die Kamera 3 ist vorteilhafterweise als Video-Kamera mit einem CCD-Chip ausgestaltet, der eine Kamerabildebene 16 aufspannt. Für ein Überlagerungs-Verfahren ist die genaue Kenntnis einer Position und einer Orientierung der Kamerbildebene 16 notwendig. Mit der Kamerabildebene 16 ist ein Kamerabildebene-Koordinatensystem 17 mit Kamerabildebene-Basiseinheitsvektoren x'', y'', z'' verknüpft. Da der CCD-Chip fest in die Kamera 3 eingebaut ist, bleibt der Versatz, der auch als Kameraoffset 2 bezeichnet wird, zwischen dem Kamera-Koordinatensystem 13 und dem Kamerabildebene-Koordinatensystem 17 während des Ausführens des Überlagerungsverfahrens konstant. Er muss also nur zu einem Zeitpunkt bestimmt werden. Der Kameraoffset 2 wird von einer Offsetbestimmungseinheit 18 bestimmt. Hierzu werden die Position und die Orientierung Kameramarkers (symbolisiert durch den Pfeil 15) von der Position und der Orientierung der Kamerabildebene 16, die durch einen weiteren Pfeil 21 symbolisiert sind, „subtrahiert". Dies bedeutet es wird die Transformation bestimmt, die das Kamera-Koordinatensystem 13 in das Kamerabildebene-Koordinatensystem 17 überführt. Hierzu müssen zuvor eine Kamerabildebene-Position und eine Kamerabildebene-Orientierung der Kamerabildebene 16 im Bezugssystem ermittelt werden.The camera 3 is advantageously designed as a video camera with a CCD chip having a Kamerabildebene 16 spans. For an overlay method, the exact knowledge of a position and an orientation of the camera image plane 16 necessary. With the camera level 16 is a camera plane coordinate system 17 associated with camera base base unit vectors x ", y", z ". Because the CCD chip stuck in the camera 3 is installed, the offset remains, which is also known as camera offset 2 between the camera coordinate system 13 and the camera plane coordinate system 17 constant during the execution of the overlay procedure. So it just has to be determined at one time. The camera offset 2 is from an offset determination unit 18 certainly. For this, the position and orientation of the camera marker (symbolized by the arrow 15 ) of the position and the orientation of the camera plane 16 by another arrow 21 are symbolized, "subtracted." This means that the transformation that determines the camera coordinate system is determined 13 into the camera plane coordinate system 17 transferred. For this purpose, a camera plane position and a camera plane plane orientation of the camera plane must beforehand 16 be determined in the reference system.

Die Kamerabildebene-Position und die Kamerabildebene-Orientierung werden der Offsetbestimmungseinheit 18 von einer Auswerteeinheit 19 geliefert. Die Auswerteeinheit 19 wertet eine Abbildung aus, die von der Kamera 3 aufgenommen wurde. Die Kamera 3 ist hierbei so orientiert, dass der Bezugsmarker 7 von der Kamera abgebildet wird. Der Bezugsmarker 7 umfasst eine Marke 20, die quadratisch ausgestaltet ist und in der Regel aus Papier hergestellt ist. Es können jedoch auch andere geometrische Formen verwendet werden. Die Marke 20 kann auch aus einem anderen Material als Papier gefertigt werden. Die Marke 20 ist so angeordnet, dass ein mit der Marke 20 verknüpftes Marken-Koordinatensystem mit dem Bezugsmarker-Koordinatensystem zusammenfällt. Bei der hier beschriebenen Ausführungsform fällt das Marken-Koordinatensystem auch mit dem Ursprungs-Koordinatensystem 11 zusammen. Die Auswerteeinheit 19 bestimmt nun mittels eines Vision-Based-Tracking-Verfahrens anhand einer Größe, einer Verzerrung, einer Orientierung und einer Position eines Abbilds der Marke 20 des Bezugsmarkers 7 innerhalb der Abbildung die Position und die Orientierung der Kamerabildebene 16 in dem Bezugssystem. Das Ergebnis der Auswertung sind Informationen, die die Kamerabildebene-Position und die Kamerabildebene-Orientierung der Kamerabildebene 16 in Koordinaten des Bezugssystems angeben. Bei Ausführungsformen, bei denen der Bezugsmarker 7 nicht ausgerichtet mit der Ursprungs-Orientierung im Ursprung des Bezugssystems angeordnet ist, sind die Position und die Orientierung des Bezugsmarkers 7 in dem Bezugssystem bei der Bestimmung der Kamerabildebene-Position und -Orientierung zu berücksichtigen.The camera plane position and the camera plane orientation become the offset determination unit 18 from an evaluation unit 19 delivered. The evaluation unit 19 Evaluates an image taken by the camera 3 has been recorded. The camera 3 is oriented so that the reference marker 7 is imaged by the camera. The reference marker 7 includes a brand 20 , which is square and is usually made of paper. However, other geometric shapes may be used. The mark 20 can also be made of a different material than paper. The mark 20 is arranged so that one with the mark 20 linked mark coordinate system coincides with the reference marker coordinate system. In the embodiment described herein, the mark coordinate system also coincides with the origin coordinate system 11 together. The evaluation unit 19 now determines by means of a vision-based-tracking method based on a size, a distortion, an orientation and a position of an image of the mark 20 the reference marker 7 inside the picture the position and orientation of the camera plane 16 in the frame of reference. The result of the evaluation is information that shows the camera-plane position and the camera-plane orientation of the camera-plane 16 in coordinates of the frame of reference. In embodiments where the fiducial marker 7 not aligned with the origin orientation at the origin of the frame of reference, are the position and orientation of the fiducial marker 7 in the frame of reference in determining the camera plane position and orientation.

Mathematisch ist die Beschreibung einer Position mittels eines Vektors und der Orientierung mittels einer dreidimensionalen Drehung mit einer Transformation verknüpft, die einen Punkt aus einer Darstellung in einem Bezugssystem bzw. Koordinatensystem in eine Darstellung in einem anderen Bezugssystem bzw. Koordinatensystem überführt. Sei P_U eine Darstellung eines Punkt P in dem Ursprungs-Koordinatensystem 11, so ergibt sich die Darstellung des Punktes P beispielsweise in dem Bezugssystem des Kameramarkers, d. h. im Kameramarker-Koordinatensystem 13, anhand folgender Gleichung: PKamera = R·PU + t, (Gl. 1)wobei t = (t_x, ty, t_z)^T einen Translationsvektor darstellt, der den Ursprung 12 des Ursprungs-Koordinatensystems 11 in den Ursprung 14 des Kamera-Koordinatensystems 13 verschiebt, und R eine Drehmatrix darstellt, die anschließend die Ursprungs-Basiseinheitsvektoren x, y, z des Ursprungs-Koordinatensystems 11 in die Kamera-Basiseinheitsvektoren x', y', z' des Kamera-Koordinatensystems 13 überführt. Die Drehmatrix R lässt sich in ein Produkt aus drei elementaren Drehungen R_i(Winkel) um die Ursprungs-Basiseinheitsvektoren x, y, z zerlegen: R = Rx(α)·Ry(β)·Rz(γ). (Gl. 2) Mathematically, the description of a position by means of a vector and the orientation by means of a three-dimensional rotation is associated with a transformation which transforms a point from a representation in a reference system or a coordinate system into a representation in another reference system ordinance system transferred. Let P _{U be} a representation of a point P in the original coordinate system 11 , the representation of the point P results, for example, in the reference system of the camera marker, ie in the camera marker coordinate system 13 , using the equation: P camera = R · P U + t, (equation 1) where t = ^T (t _x, t y, _z, t) is a translation vector, the origin of the 12 of the origin coordinate system 11 in the origin 14 of the camera coordinate system 13 and R represents a rotation matrix, which then encodes the original base unit vectors x, y, z of the original coordinate system 11 into the camera base unit vectors x ', y', z 'of the camera coordinate system 13 transferred. The rotation matrix R can be decomposed into a product of three elementary rotations R _i (angle) around the original base unit vectors x, y, z: R = R x (Α) · R y (Β) · R z (Γ). (Equation 2)

Um ausgehend von der Darstellung P_Kamera des Punktes P im Kamera-Koordinatensystem 13 zu der Darstellung im Ursprungs-Koordinatensystem 11 zu gelangen, muss die Gl. 1 umgeformt werden, indem zunächst der Vektor t subtrahiert wird und die erhaltene Gleichung von links einer inversen Drehmatrix R^–1 multipliziert wird: R–1·(PKamera – t) = R–1·R·PU = E·PU = PU, (Gl. 3)wobei berücksichtigt ist, dass R^–1·R = E gilt und E eine Einheitsmatrix ist. Da R eine Drehmatrix ist, die orthogonal ist und deren Determinante det(R) = 1 ist, ist die inverse Matrix R^–1 gleich der transponierten Matrix R^T, d. h.: R^–1 = R^T.To start from the representation P _{camera of} the point P in the camera coordinate system 13 to the representation in the origin coordinate system 11 to arrive, the Eq. 1 by first subtracting the vector t and multiplying the obtained equation from the left of an inverse rotation matrix R ^-1 : R -1 · (P camera - t) = R -1 * R * P U = E · P U = P U , (Equation 3) taking into account that R ^-1 · R = E and E is a unit matrix. Since R is a rotation matrix that is orthogonal and whose determinant is det (R) = 1, the inverse matrix R ^{-1 is} equal to the transposed matrix R ^T , ie: R ^-1 = R ^T.

Ein Rechnen mit den Transformationen wird erleichtert, wenn man die Translation, die mit Hilfe des Vektors t beschrieben ist, und die mit Hilfe der Drehmatrix R beschriebene Drehung in einer Transformationsmatrix zusammenfasst. Dieses ist möglich, wenn man zu homogenen Koordinaten übergeht. Hierbei wird der Vektor der den Punkt P = (p_x, p_y, p_z)^T beschreibt zu einem vierdimensionalen Vektor P^homogen = (p_x, p_y, p_z, 1)^T erweitert, dessen vierte Komponente eine 1 ist. Stellt man die Drehmatrix R in folgender Weise dar:

so ergibt sich für eine Kamera-Transformation P_Kamera: PKamera homogen = TKamera·PU homogen, (Gl.5)wobei für die Kamera-Transformation T_Kamera gilt (der Buchstabe T wird sowohl zur Bezeichnung der Transformation als auch der dazugehörigen Matrix verwendet):

Computing with the transformations is facilitated by combining the translation described by the vector t and the rotation described by the rotation matrix R in a transformation matrix. This is possible when going to homogeneous coordinates. Here, the vector of the point P = (p _x, p _y, p _z) ^T describes a four-dimensional vector P ^{homogeneously} = (p _x, p _y, p _z, 1) ^T extends, whose fourth component is a first If the rotation matrix R is represented as follows:

so results for a camera transformation P _camera : P camera homogeneously = T camera · P U homogeneously , (Gl.5) where for the camera transformation T _camera applies (the letter T is used both to designate the transformation and the associated matrix):

Diese homogene Transformationsmatrix ist nicht mehr orthonormal, folglich ist T^T nicht gleich T^–1. Vielmehr gilt:

This homogeneous transformation matrix is no longer orthonormal, so T ^T does not equal T ^-1 . Rather, the following applies:

In 2 ist der Fall beschrieben, in dem der Bezugsmarker 7 in dem Ursprung des Bezugssystems ausgerichtet angeordnet ist, d. h. ausgerichtet mit dem Ursprungs-Koordinatensystem 11. Die Transformation des Ursprungs-Koordinatensystems 11 in das Kamera-Koordinatensystem 13 wird mittels der Kamera-Transformation T_Kamera beschrieben. T_{Kamerabildebene} beschreibt die Kamerabildebene-Transformation des Ursprungs-Koordinatensystems 11 in das mit der Kamerabildebene 16 verknüpfte Kamerabildebene-Koordinatensystem 17. Der Kameraoffset wird in diesem Fall durch die Transformation T_Offset beschreiben, die das Kamera-Koordinatensystem 13 in das Kamerabildebene-Koordinatensystem 17 überführt. Es gilt also: TKamerabildebene = TKamera·TOffset. (Gl. 8) In 2 the case is described in which the reference marker 7 in the origin of the frame of reference aligned, ie aligned with the origin coordinate system 11 , The transformation of the origin coordinate system 11 into the camera coordinate system 13 is described by means of the camera transformation T _camera . T _{camera level} describes the camera level transformation of the origin coordinate system 11 in the with the camera level 16 linked camera plane coordinate system 17 , The camera offset in this case is described by the transformation T _offset , which is the camera coordinate system 13 into the camera plane coordinate system 17 transferred. It therefore applies: T Camera image plane = T camera * T offset , (Equation 8)

Der Kameraoffset ergibt sich folglich, indem man die die mittels des Vision-Based-Tracking-Verfahrens bestimmte Kamerabildebene-Transformation T_{Kamerabildebene} von links mit der inversen Kamera-Transformation T_Kamera ^–1 multipliziert: TKamera –1·TKamerabildebene = TKamera –1·TKamera·TOffset = E·TOffset = TOffset. (Gl. 9) The camera offset is thus obtained by multiplying the camera-level transformation T _camera- stabilizing plane determined from the vision-based-tracking method from the left by the inverse camera transformation T _camera ^-1 : T camera -1 * T Camera image plane = T camera -1 * T camera * T offset = E · T offset = T offset , (Equation 9)

3 beschreibt den allgemeinen Fall, dass der Bezugsmarker 7 nicht im Ursprung 12 des Ursprungs-Koordinatensystems 11 angeordnet ist. In diesem Fall setzt sich die Kamerabildebene-Transformation T_{Kamerabildebene} aus zwei Transformationen zusammen. Einer Bezugsmarker-Transformation T_Bezugsmarker, die das Ursprungs-Koordinatensystem 11 in das mit dem Bezugsmarker 7 verknüpfte Bezugsmarker-Koordinatensystem 22 transformiert, und eine als Auswerte-Transformation T_Auswerte bezeichnete Transformation, die das Bezugsmarker-Koordinatensystem 22 in das Kamerabildebene-Koordinatensystem 17 transformiert und im Zuge der Bestimmung der Kamerabildebene-Transformation T_{Kamerabildebene} von der Auswerteeinheit 19 (vgl. 1) ermittelt wird. In diesem Fall ergibt ist für die Kamerabildebene-Transformation T_{Kamerabildebene}: TKamerabildebene = TBezugsmarker·TAuswerte (Gl. 11) und für den Kameraoffset, der mittels der Kameraoffset-Transformation T_Offset angegeben wird, analog zu Gl. 9: TOffset = TKamera –1·TKamerabildebene = TKamera –1·TBezugsmarker·TAuswerte. (Gl. 12) 3 describes the general case that the reference marker 7 not in origin 12 of the origin coordinate system 11 is arranged. In this case, the camera-level transformation T _{camera-level is} composed of two transformations. A reference marker transformation T _{reference marker} representing the original coordinate system 11 in the one with the reference marker 7 linked reference marker coordinate system 22 and a transformation referred to as the evaluation transformation T _evaluation , which is the reference marker coordinate system 22 into the camera plane coordinate system 17 transformed and in the course of determining the camera-level transformation T _{camera-stabilized plane} of the evaluation unit 19 (see. 1 ) is determined. In this case, for the camera plane transformation T, the _{camera plane is} : T Camera image plane = T reference marker * T evaluation (Equation 11) and for the camera _offset indicated by the camera _offset transformation T _offset , analogous to Eq. 9: T offset = T camera -1 * T Camera image plane = T camera -1 * T reference marker * T evaluation , (Equation 12)

Der Bestimmte Kameraoffset, der eine Transformation des Kamera-Koordinatensystems 13 in das Kamerabildebene-Koordinatensystem 17 angibt, wird verwendet, um die Kamera-Position und Kamera-Orientierung in die Kamerabildebene-Position und Kamerabildebene-Orientierung zu transformieren, die von dem Augmented-Reality-System benötigt werden.The specific camera offset, which is a transformation of the camera coordinate system 13 into the camera plane coordinate system 17 is used to transform the camera position and camera orientation into the camera-plane position and camera-plane orientation required by the augmented-reality system.

Bei einer anderen Ausführungsform kann der Bezugsmarker so ausgebildet sein, dass er nur die Marke für das Vision-Based-Tracking-Verfahren umfasst, nicht jedoch den Verbundkörper (Rigid-Body), der ein erfassen des Bezugsmarkers mittels des Trackingsystems ermöglicht. In diesem Fall muss die Position und Orientierung des Bezugsmarkers relativ zu dem Ursprungs-Koordinatensystem bestimmt werden oder vorbekannt sein und der Auswerteeinheit zur Verfügung gestellt werden bzw. dieser bekannt sein.at another embodiment For example, the fiducial marker may be designed to be just the mark for the Vision-based tracking method, but not the composite body (rigid-body), which enables a detection of the reference marker by means of the tracking system. In this case, the position and orientation of the reference marker must be be determined relative to the original coordinate system or be previously known and the evaluation are made available or this be known.

Die hier beschrieben Ausführungsformen verwenden ein Trackingsystem, das Infrarotkameras zum Erfassen der Marker nutzt. Es können jedoch auch andere Trackingsysteme, beispielsweise magnetische Trackingsysteme, Inertial-Trackingsysteme, Ultraschall-Trackingsysteme usw., verwendet werden, um die Marker zu erfassen, wobei die Ausgestaltung der Marker sich an dem jeweils verwendeten Trackingsystem orientiert.The Embodiments described herein use a tracking system that uses infrared cameras to capture the Uses markers. It can but also other tracking systems, such as magnetic tracking systems, Inertial tracking systems Ultrasound tracking systems, etc., used to mark the markers capture, wherein the design of the markers at the respective used tracking system oriented.

Claims

Method for determining a camera offset ( 2 ) between a fixed to a housing of a camera ( 3 ) of an augmented reality system associated camera markers ( 6 ) and a camera plane ( 16 ) the camera ( 3 ), characterized in that by means of a tracking system, a camera position and a camera orientation of the camera marker ( 6 ) is determined in a frame of reference; by means of the camera ( 3 ) an image of at least one reference marker ( 7 ), by means of an evaluation unit ( 19 ) one of the camera ( 3 ) in order to determine a camera plane position and a camera plane orientation in the reference frame, taking into account a reference marker position and a reference marker orientation in the reference frame, by means of an offset determination unit (FIG. 18 ) the camera offset ( 2 ) is determined by a respective offset of the Camera position and the camera orientation of the camera position and the camera-plane orientation is determined.

Method according to Claim 1, characterized in that a reference system of the tracking system ( 4 ) is set to match the reference system.

Method according to claim 1 or 2, characterized in that the reference marker ( 7 ) is designed in order, by means of the tracking system ( 4 ) so that the reference marker position and the reference marker orientation of the reference marker ( 7 ) with the help of the tracking system ( 4 ).

Method according to one of the preceding claims, characterized in that the reference marker ( 7 ) at the origin of the frame of reference aligned with an origin orientation of the frame of reference.

Method according to one of the preceding claims, characterized in that the reference system of the tracking system ( 4 ) using the reference marker ( 7 ).

Method according to one of the preceding claims, characterized in that with the reference system an origin coordinate system ( 11 ) whose original base unit vectors (x, y, z) determine the origin orientation and whose origin ( 12 ) is the origin of the frame of reference, and with the camera marker ( 6 ) a camera coordinate system ( 13 ), the camera plane ( 16 ) a camera plane coordinate system ( 17 ) and the reference marker ( 7 ) a reference marker coordinate system ( 22 ) whose respective origin coincides with the corresponding position and whose respective base unit vectors are defined by the corresponding orientation, the corresponding positions being determined by means of translation vectors in the original coordinate system ( 11 ) indicating the origin ( 12 ) of the origin coordinate system ( 11 ) and the orientations are indicated by means of three-dimensional rotations representing the original base unit vectors (x, y, z) of the original coordinate system ( 11 ) into the corresponding base unit vectors of the coordinate system associated with the respective orientation.

Method according to one of the preceding claims, characterized in that the camera offset ( 2 ) as vector, which determines the displacement of the origin ( 14 ) of the camera coordinate system ( 13 ) into the origin of the camera plane coordinate system ( 17 ) and indicated as a rotation matrix, which comprises the base unit vectors (x ', y', z ') of the camera coordinate system ( 13 ) into the base unit vectors (x '', y '', z '') of the camera plane coordinate system ( 17 ).

Method according to one of the preceding claims, characterized in that the vectors indicating the positions and the associated ones Orientations indicating rotary matrices each to a transformation matrix be summarized in homogeneous coordinates.

Method according to one of the preceding claims, characterized in that, in determining the offset of the camera position and the camera plane position and the offset of the camera orientation and the camera plane orientation, a camera offset transformation is determined which determines the camera coordinate system ( 13 ) into the camera plane coordinate system ( 17 ).

A method according to claim 9, characterized in that a camera offset transformation matrix representing T _offset from a matrix product of an inverse camera transformation matrix T _camera ¹ and a camera image plane transformation matrix T _{camera image plane} is determined, wherein the camera transformation matrix T _camera a transformation of Origin Coordinate System ( 11 ) into the camera coordinate system ( 13 ) and the camera-level transformation matrix T _camera-level a transformation of the original coordinate system ( 11 ) into the camera plane coordinate system ( 17 ) in each case in homogeneous coordinates.

Method according to one of the preceding claims, characterized in that the tracking system ( 4 ) Infrared cameras ( 5 ) and the camera markers ( 6 ) and / or the reference marker ( 7 ) several to each other by means of a composite body ( 8th ) comprises rigidly arranged retroreflective bodies which are of spherical design.

Method according to one of the preceding claims, characterized in that the evaluation unit ( 19 ) the position and orientation of the reference marker ( 7 ) with the help of a Vision-Based-Tra cking method based on properties, in particular a size, a position, an orientation and a distortion, an image of the reference marker ( 7 ) in the figure.

Contraption ( 1 ) for determining a camera offset ( 2 ) comprising a camera ( 3 ) with a camera plane ( 16 ), the camera ( 3 ) is formed as an image acquisition unit of an augmented reality system, and one fixed to a housing of the camera ( 3 ) associated camera markers ( 6 ), characterized by a tracking system ( 4 ) for determining a camera position and a camera orientation of the camera marker ( 6 ) in a frame of reference; at least one reference marker ( 7 ); an evaluation unit ( 19 ) for evaluating one of the camera ( 3 ) to determine a camera plane position and a camera plane orientation in the frame of reference, the map including at least the reference marker (FIG. 7 ) and the evaluation unit ( 19 ) considers a fiducial position and fiducial orientation in the frame of reference; and an offset determination unit ( 18 ) for determining the camera offset ( 2 ) by determining an offset between the camera position and the camera orientation and the camera plane position and the camera plane orientation.

Apparatus according to claim 13, characterized in that a reference system of the tracking system ( 4 ) is set to match the reference system.

Device according to claim 13 or 14, characterized in that the reference marker ( 7 ) is designed in order, by means of the tracking system ( 4 ), so that the reference marker position and the reference marker orientation are determined by means of the tracking system (FIG. 4 ) and / or the reference system of the tracking system using the reference marker ( 7 ) is determinable.

Device according to one of claims 13 to 15, characterized in that the reference marker ( 7 ) is arranged in an origin of the frame of reference aligned with an origin orientation of the frame of reference.

Device according to one of claims 13 to 16, characterized in that the tracking system ( 4 ) Infrared cameras ( 5 ) and the camera markers ( 6 ) and / or the reference marker ( 7 ) comprise a plurality of rigidly arranged retroreflective body, which are preferably spherical.

Device according to one of claims 13 to 17, characterized in that with the reference system an origin coordinate system ( 11 ) whose original base unit vectors (x, y, z) determine the origin orientation and whose origin ( 12 ) is the origin of the frame of reference, and with the camera marker ( 6 ) a camera coordinate system ( 13 ), the camera plane ( 16 ) a camera plane coordinate system ( 17 ) and the reference marker ( 7 ) a reference marker coordinate system ( 22 ) whose respective origin coincides with the corresponding position and whose respective base unit vectors are defined by the corresponding orientation, wherein the evaluation unit ( 19 ), the tracking system ( 4 ) and the offset determination unit ( 18 ) are designed to indicate the corresponding positions by means of translation vectors in the reference frame which determine the origin ( 12 ) of the origin coordinate system ( 11 ) and to provide the orientations by means of three-dimensional rotations representing the original base unit vectors (x, y, z) of the original coordinate system ( 11 ) into the corresponding base unit vectors of the coordinate system associated with the respective orientation.

Device according to one of claims 13 to 18, characterized in that the offset determination unit ( 18 ) the camera offset ( 2 ) as a vector, which is a displacement of the origin ( 14 ) of the camera coordinate system ( 13 ) into the origin of the camera plane coordinate system ( 17 ) indicating, as a rotation matrix, the base unit vectors (x ', y', z ') of the camera coordinate system ( 13 ) into the base unit vectors (x '', y '', z '') of the camera plane coordinate system ( 17 ).

Device according to one of claims 13 to 19, characterized that the vectors indicating the positions and their associated orientations in each case to a transformation matrix in homogeneous coordinates are summarized.

Device according to one of claims 13 to 20, characterized in that by means of the offset determination unit ( 18 ) in determining the offset of the camera position and the camera plane position on and the offset of the camera orientation and the camera-plane orientation, a camera offset transformation can be determined which determines the camera coordinate system ( 13 ) into the camera plane coordinate system ( 17 ).

Apparatus according to claim 21, characterized in that the offset determination unit ( 18 ) comprises a matrix inverting unit for determining an inverse camera transformation matrix T _camera ^-1 and a matrix calculation unit for forming a matrix product from the inverse camera transformation matrix T _camera ^-1 and a camera plane transformation matrix T _camera stabilization plane which comprises the _camera offset transformation matrix representing the camera offset transformation T _offset , where the camera transformation matrix T _{camera is} a transformation of the original coordinate system ( 11 ) into the camera coordinate system ( 13 ) and the camera-level transformation matrix T _camera-level a transformation of the original coordinate system ( 11 ) into the camera plane coordinate system ( 17 ) in each case in homogeneous coordinates.

Device according to one of claims 13 to 22, characterized in that the tracking system ( 4 ) Infrared cameras ( 5 ) and the camera markers ( 6 ) and / or the reference marker ( 7 ) comprises a plurality of rigidly arranged retroreflective body, which are formed spherical.

Device according to one of claims 13 to 23, characterized in that the evaluation unit ( 19 ) is adapted to the position and the orientation of the reference marker ( 7 ) using a vision-based tracking method based on properties, in particular a size, a position, an orientation and a distortion, an image of the reference marker ( 7 ) in the picture.