DE102012207119A1

DE102012207119A1 - Method for computer-aided determination of position of object e.g. airplane, involves extracting complex solution to determine change of position of object from first pose into second pose based on boundary conditions

Info

Publication number: DE102012207119A1
Application number: DE102012207119A
Authority: DE
Inventors: Tanja Reize; Rupert Müller; Franz Kurz
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2013-06-27

Abstract

The matching image points (P1,P2) in digital images (I1,I2) of object (1) at different poses and corresponding coordinates are determined. The polynomial equations are determined based on transformation equation describing transformation of pixels of image (I1) to pixels of image (I2) by translation, rotation and scaling, using image coordinates. A solution to determine change of position of object from first pose into second pose is extracted from complex solution of polynomial equations based on boundary conditions which are valid for a change of position of object. Independent claims are included for the following: (1) device for computer-aided determination of position of object; and (2) computer program product for computer-aided determination of position of object.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur rechnergestützten Bestimmung der Lage eines Objekts aus digitalen Bildern, welche mit einer am Objekt angeordneten Bilderfassungseinrichtung aufgenommen sind.The invention relates to a method and a device for the computer-aided determination of the position of an object from digital images which are recorded with an image acquisition device arranged on the object.

Die Bestimmung der Pose (d. h. Position und Orientierung) von Objekten ist in einer Vielzahl von technischen Anwendungsgebieten erforderlich. Beispielsweise wird zur präzisen Navigation von Flugobjekten deren Position und Orientierung benötigt. Üblicherweise werden hierzu Inertialmesssysteme eingesetzt.The determination of the pose (i.e., position and orientation) of objects is required in a variety of technical applications. For example, the precise navigation of flying objects their position and orientation is needed. Usually inertial measuring systems are used for this purpose.

Anstatt mit Inertialmesssystemen kann die Pose eines bewegten Objekts auch durch die Analyse von digitalen Bildern ermittelt werden, welche über eine sich mit dem Objekt mitbewegende Bilderfassungseinrichtung aufgenommen werden. Aus dem Stand der Technik sind hierzu verschiedene rechnergestützte Verfahren bekannt, welche jedoch sehr rechenaufwändig sind und meist eine große Anzahl von Bildpunkten benötigen, welche aus mindestens zwei verschiedenen Posen des Objekts aufgenommen wurden. In der Druckschrift [1] ist beispielsweise ein Verfahren zur Bestimmung der relativen Pose einer Kamera beschrieben, bei dem fünf übereinstimmenden Bildpunkten (d. h. Bildpunkten, welche den gleichen aufgenommenen Umgebungspunkt repräsentieren) aus zwei Bildern benötigt werden. Allerdings führt die in der Druckschrift [1] beschriebene Methode bei nur 5 Punkten zu keinen guten Näherungslösungen, so dass eine zusätzliche Anwendung eines statistisches Verfahrens, ein sogenanntes RANSAC, nötig ist.Instead of using inertial measuring systems, the pose of a moving object can also be determined by the analysis of digital images which are recorded via an image acquisition device moving with the object. For this purpose, various computer-aided methods are known from the prior art, which, however, are very computationally intensive and usually require a large number of pixels which have been recorded from at least two different poses of the object. For example, document [1] describes a method for determining the relative pose of a camera in which five matching pixels (i.e., pixels representing the same captured environmental point) from two images are needed. However, the method described in the document [1] does not lead to good approximate solutions with only 5 points, so that an additional application of a statistical method, a so-called RANSAC, is necessary.

Aufgabe der Erfindung ist es, ein Verfahren zur rechnergestützten Bestimmung der Lage eines Objekts aus digitalen Bildern zu schaffen, welches mit geringem Rechenaufwand und hoher Genauigkeit die relative Lage des Objekts abschätzt.The object of the invention is to provide a method for the computer-aided determination of the position of an object from digital images, which estimates the relative position of the object with little computational effort and high accuracy.

Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch 17 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.This object is achieved by the method according to claim 1 and the device according to claim 17. Further developments of the invention are defined in the dependent claims.

Im Rahmen des erfindungsgemäßen Verfahrens wird ein Paar aus einem ersten und einem zweiten Bild verarbeitet, welche zumindest teilweise die gleiche Umgebung enthalten, d. h. mit den Bildern des Paars wurde zumindest teilweise die gleiche Umgebung mit einer am Objekt angeordneten Bilderfassungseinrichtung aufgenommen. Das erste Bild wurde dabei in einer ersten Pose des Objekts und das zweite Bild in einer zweiten Pose des Objekts aufgenommen, die unterschiedlich von der ersten Pose ist. Der Begriff der Bilderfassungseinrichtung ist dabei weit zu verstehen. Eine Bilderfassungseinrichtung kann eine Kameraeinrichtung umfassen, welche die Bilder je nach Ausgestaltung in verschiedenen Wellenlängenbereichen aufnimmt. Insbesondere kann die Bilderfassungseinrichtung Kameras im sichtbaren Wellenlängenbereich und gegebenenfalls auch Kameras im nicht sichtbaren Wellenlängenbereich (z. B. Infrarotkameras) umfassen. Die Bilderfassungseinrichtung kann gegebenenfalls auch eine Bildgebung über Röntgenstrahlung bzw. Magnetresonanz umfassen, wodurch Bilder von inneren Organen des menschlichen oder tierischen Körpers erhalten werden.In the context of the method according to the invention, a pair is processed from a first and a second image which at least partially contain the same environment, ie. H. with the images of the pair, the same environment was at least partially recorded with an image capture device arranged on the object. The first image was taken in a first pose of the object and the second image in a second pose of the object, which is different from the first pose. The term of the image capture device is to be understood far. An image capture device may comprise a camera device, which receives the images in different wavelength ranges depending on the design. In particular, the image capture device may comprise cameras in the visible wavelength range and optionally also cameras in the non-visible wavelength range (eg infrared cameras). Optionally, the image capture device may also comprise X-ray or magnetic resonance imaging, thereby obtaining images of internal organs of the human or animal body.

Im Rahmen des erfindungsgemäßen Verfahrens werden in einem Schritt a) zwei Paare von übereinstimmenden Bildpunkten aus dem ersten und zweiten Bild sowie deren Bildkoordinaten im entsprechenden ersten und zweiten Bild ermittelt. Die übereinstimmenden Bildpunkte sind solche Bildpunkte, welche den gleichen Umgebungspunkt im aufgenommenen Bild repräsentieren. Dabei können an sich bekannte Methoden des Bildvergleichs, wie z. B. die normalisierte Kreuzkorrelation, zur Bestimmung dieser Paare von Bildpunkten verwendet werden. Zur Bestimmung eines Paars von Bildpunkten wird ein Bildpunkt im ersten Bild vorzugsweise zufällig ausgewählt.Within the scope of the method according to the invention, in a step a), two pairs of matching pixels from the first and second image and their image coordinates in the corresponding first and second image are determined. The matching pixels are those pixels that represent the same environment point in the captured image. This can be known methods of image comparison, such. For example, the normalized cross-correlation can be used to determine these pairs of pixels. For determining a pair of pixels, a pixel in the first image is preferably selected at random.

In einem Schritt b) wird basierend auf einer Transformationsgleichung, welche die Transformation von Bildpunkten des ersten Bilds in Bildpunkte des zweiten Bilds über eine Translation, Rotation und Skalierung (d. h. Maßstabsänderung) beschreibt, mittels der Bildkoordinaten der zwei Paare von übereinstimmenden Bildpunkten ein polynomiales Gleichungssystem bestimmt. Vorzugsweise wird die Transformationsgleichung dabei durch die an sich bekannte Helmert-Transformation mit einem Translationsvektor, einer Rotationsmatrix und einem Skalierungsfaktor beschrieben.In a step b), a polynomial equation system is determined based on a transformation equation which describes the transformation of pixels of the first image into pixels of the second image via a translation, rotation and scaling (ie scale change) using the image coordinates of the two pairs of matching pixels , Preferably, the transformation equation is described by the known Helmert transformation with a translation vector, a rotation matrix and a scaling factor.

In einem nächsten Schritt c) werden alle komplexen Lösungen (d. h. Lösungen, die jeweils aus einem Real- und Imaginärteil bestehen) des polynomialen Gleichungssystems mit einem sog. Homotopieverfahren ermittelt. Homotopieverfahren zur Lösung polynomialer Gleichungssysteme sind an sich aus dem Stand der Technik bekannt, werden jedoch erstmalig im Bereich der Bildverarbeitung eingesetzt. Ein Homotopieverfahren ist dadurch charakterisiert, dass zur Lösung des Gleichungssystems das ursprüngliche Gleichungssystem auf ein einfaches Gleichungssystem mit der gleichen topologischen Struktur und bekannter Lösung durch eine Homotopie abgebildet wird, wobei die Komplexität des einfachen Gleichungssystems schrittweise erhöht wird. In einer bevorzugten Ausführungsform der Erfindung wird als Homotopieverfahren das sogenannte PHC-Verfahren (PHC = Polynomial Homotopy Continuation) verwendet, welches in der detaillierten Beschreibung näher erläutert wird. Ferner wird auf die Druckschriften [2] bis [5] verwiesen, welche Homotopieverfahren ausführlich beschreiben.In a next step c), all complex solutions (ie solutions which each consist of a real and an imaginary part) of the polynomial equation system are determined by a so-called homotopy method. Homotopy methods for solving polynomial equation systems are known per se from the prior art, but are used for the first time in the field of image processing. A homotopy method is characterized in that the solution to the equation system, the original system of equations is mapped onto a simple system of equations with the same topological structure and known solution by homotopy, whereby the complexity of the simple system of equations is increased step by step. In a preferred embodiment of the invention, the so-called PHC method (PHC = polynomial homotopy continuation) is used as homotopy method, which is explained in more detail in the detailed description. Further, reference is made to references [2] to [5] which describe homotopy methods in detail.

Aus den über das Homotopieverfahren gefundenen komplexen Lösungen des Gleichungssystems wird in einem Schritt d) diejenige Lösung extrahiert, welche die entsprechende Lageveränderung des Objekts repräsentiert. Dabei werden eine oder mehrere Randbedingungen berücksichtigt, welche für die Lageveränderung des Objekts von der ersten Pose in die zweite Pose gültig sind. Schließlich wird in an sich bekannter Weise über die in Schritt d) extrahierte Lösung die Lageveränderung des Objekts von der ersten Pose in die zweite Pose berechnet.From the complex solutions of the equation system found via the homotopy method, the solution which represents the corresponding change in position of the object is extracted in a step d). In this case, one or more boundary conditions are taken into account, which are valid for the change in position of the object from the first pose to the second pose. Finally, in a manner known per se, the positional change of the object from the first pose to the second pose is calculated via the solution extracted in step d).

Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass lediglich zwei Paare von übereinstimmenden Bildpunkten zur Schätzung der relativen Pose benötigt werden. Darüber hinaus ist das Verfahren im Gegensatz zu herkömmlichen Verfahren mit geringem Rechenaufwand verbunden und liefert eine sehr gute Schätzung der Pose. Ferner wird durch die Verwendung eines Homotopieverfahrens zur Lösung des Gleichungssystems sichergestellt, dass das Verfahren immer konvergiert und somit immer Lösungen findet. Das erfindungsgemäße Verfahren arbeitet somit genauer, zuverlässiger und schneller als herkömmliche Verfahren zur Schätzung einer relativen Pose.The inventive method is characterized in that only two pairs of matching pixels are needed to estimate the relative pose. Moreover, in contrast to conventional methods, the method involves little computation and provides a very good estimate of the pose. Furthermore, the use of a homotopy method to solve the equation system ensures that the method always converges and thus always finds solutions. The method according to the invention thus works more accurately, reliably and faster than conventional methods for estimating a relative pose.

In einer bevorzugten Ausführungsform wird in dem erfindungsgemäßen Verfahren ferner ein Translationsvektor ermittelt, der die Verschiebung des zweiten Bilds relativ zum ersten Bild beschreibt. Dieser Translationsvektor fließt in die Transformationsgleichung ein, so dass bei der Lösung des polynomialen Gleichungssystems nur noch die entsprechenden Parameter der Rotation und der Skalierung ermittelt werden.In a preferred embodiment, a translation vector is further determined in the method according to the invention, which describes the displacement of the second image relative to the first image. This translation vector flows into the transformation equation, so that in solving the polynomial equation system only the corresponding parameters of rotation and scaling are determined.

Die Bestimmung des Translationsvektors erfolgt in einer bevorzugten Variante der Erfindung über die Verschiebung des Mittelpunkts des ersten Bilds im zweiten Bild, d. h. es wird bestimmt, wie sich die Position des im Mittelpunkt des ersten Bilds abgebildeten Umgebungspunkts im zweiten Bild verschoben hat. Hierzu kann ein gängiges Verfahren zum Bildvergleich verwendet werden. In einer bevorzugten Ausführungsform wird eine normalisierte Kreuzkorrelation zur Ermittlung des dem Mittelpunkt des ersten Bilds entsprechenden Bildpunkts im zweiten Bild verwendet.The determination of the translation vector is carried out in a preferred variant of the invention on the displacement of the center of the first image in the second image, d. H. it is determined how the position of the environment point imaged in the center of the first image has shifted in the second image. For this purpose, a common method for image comparison can be used. In a preferred embodiment, a normalized cross-correlation is used to determine the pixel corresponding to the midpoint of the first image in the second image.

In einer weiteren bevorzugten Ausführungsform wird in Schritt b) ein jeweiliges Paar von übereinstimmenden Bildpunkten der zwei Paare derart ermittelt, dass über einen ersten Bildvergleich zwischen erstem und zweitem Bild für einen ersten Bildpunkt (vorzugsweise zufällig ausgewählt) im ersten Bild ein dem ersten Bildpunkt entsprechender zweiter Bildpunkt im zweiten Bild ermittelt wird und anschließend über einen zweiten Bildvergleich zwischen erstem und zweitem Bild für den zweiten Bildpunkt ein dem zweiten Bildpunkt entsprechender dritter Bildpunkt im ersten Bild ermittelt wird, wobei im Falle, dass die Abweichung zwischen den Bildkoordinaten des ersten und dritten Bildpunkts unterhalb einer vorbestimmten Schwelle liegt, der erste und zweite Bildpunkt das jeweilige Paar von übereinstimmenden Bildpunkten darstellt, und ansonsten der erste und zweite Bildvergleich ausgehend von einem neuen ersten Bildpunkt wiederholt wird. Es wird somit ein sog. Back-Matching durchgeführt, bei dem nach der Ermittlung eines zweiten Bildpunkts gemäß einem ersten Bildvergleich überprüft wird, ob dieser Bildpunkt wieder auf den ursprünglichen ersten Bildpunkt rückdetektiert werden kann. Treten dabei zu große Abweichungen auf, wird der Bildvergleich mit einem neuen ersten Bildpunkt wiederholt. Das soeben beschriebene Back-Matching kann ggf. auch für die oben beschriebene Bestimmung des Translationsvektors basierend auf der Verschiebung des Mittelpunkts des ersten Bilds eingesetzt werden. Wird dabei eine zu große Abweichung zwischen den Bildkoordinaten des ursprünglichen und rückdetektierten Mittelpunkts festgestellt, werden die Parameter des ersten Bildvergleichs (z. B. der Korrelationsradius eines NCC-Modells) verändert oder es wird eine andere Methode zur Bestimmung des Translationsvektors eingesetzt.In a further preferred embodiment, a respective pair of matching pixels of the two pairs is determined in step b) in such a way that a second image corresponding to the first pixel in the first image is selected (preferably randomly selected) via a first image comparison between first and second image Pixel is determined in the second image and then a second image comparison between the first and second image for the second pixel a second pixel corresponding third pixel in the first image is determined, wherein in the event that the deviation between the image coordinates of the first and third pixel below is a predetermined threshold, the first and second pixels represent the respective pair of matching pixels, and otherwise the first and second image comparisons are repeated from a new first pixel. It is thus carried out a so-called. Back-matching, in which after determining a second pixel according to a first image comparison is checked whether this pixel can be traced back to the original first pixel. If too large deviations occur, the image comparison is repeated with a new first pixel. If necessary, the back-matching described above can also be used for the above-described determination of the translation vector based on the displacement of the center of the first image. If an excessively large deviation between the image coordinates of the original and back-detected center points is detected, the parameters of the first image comparison (eg the correlation radius of an NCC model) are changed or another method for determining the translation vector is used.

In einer weiteren bevorzugten Ausführungsform werden die Bildkoordinaten von im Verfahren verarbeiteten Bildpunkten jeweils über eine zweidimensionale Position des Bildpunkts im entsprechenden Bild und der Brennweite der Bilderfassungseinrichtung repräsentiert. Demgegenüber umfasst die Lageveränderung des Objekts von der ersten Pose in die zweite Pose eine Orientierung basierend auf Roll-, Nick- und Gier-Winkel.In a further preferred embodiment, the image coordinates of pixels processed in the method are each represented via a two-dimensional position of the pixel in the corresponding image and the focal length of the image capture device. In contrast, the change in position of the object from the first pose to the second pose comprises an orientation based on roll, pitch and yaw angles.

Wie bereits oben erwähnt, wird die Transformationsgleichung vorzugsweise durch die Helmert-Transformation repräsentiert. Zur effizienten Bestimmung des polynomialen Gleichungssystems wird in einer bevorzugten Variante die Approximation verwendet, dass der Skalierungsfaktor in der Helmert-Transformation für alle Bildpunkte im ersten Bild den gleichen Wert aufweist. Diese Näherung ist oftmals in der entsprechenden Anwendung des Verfahrens gerechtfertigt.As already mentioned above, the transformation equation is preferably represented by the Helmert transformation. For the efficient determination of the polynomial equation system is in a preferred variant uses the approximation that the scaling factor in the Helmert transform for all pixels in the first image has the same value. This approximation is often justified in the corresponding application of the method.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die Rotation der Transformationsgleichung und insbesondere die Rotationsmatrix der Helmert-Transformation über vorzugsweise normierte Quaternionen beschrieben, welche jeweils durch einen skalaren Parameter und drei vektorielle Parameter repräsentiert werden. Der skalare Parameter stellt den reellen Skalaranteil des Quaternions dar und die drei vektoriellen Parameter entsprechen den jeweiligen Längen für drei imaginäre Richtungsvektoren des Quaternions. Die komplexen Lösungen des polynomialen Gleichungssystems umfassen einen komplexen Wert sowohl für den skalaren Parameter als auch für die drei vektoriellen Parameter des Quaternions. Nur im Idealfall einer fehlerfreien physikalischen Transformation sind der skalare Parameter und die drei vektoriellen Parameter rein reelle Zahlen. Die Repräsentation einer Rotation über Quaternionen ist an sich aus dem Stand der Technik bekannt und ermöglicht eine einfache und effiziente Anwendung des Homotopieverfahrens zur Lösung des polynomialen Gleichungssystems. Eine jeweilige komplexe Lösung des Gleichungssystems enthält dabei für die Skalierung einen weiteren Parameter, der im Falle der Helmert-Transformation dem oben erwähnten Skalierungsfaktor entspricht. Auch dieser, nur im Idealfall reelle Parameter ist in der jeweiligen Lösung ein komplexer Wert.In a further embodiment of the method according to the invention, the rotation of the transformation equation and in particular the rotation matrix of the Helmert transformation is described by means of preferably normalized quaternions, which are each represented by a scalar parameter and three vector parameters. The scalar parameter represents the real scalar component of the quaternion and the three vector parameters correspond to the respective lengths for three imaginary direction vectors of the quaternion. The complex solutions of the polynomial equation system include a complex value for both the scalar parameter and the quaternion's three vector parameters. Only in the ideal case of an error-free physical transformation, the scalar parameter and the three vectorial parameters are purely real numbers. The representation of a rotation over quaternions is known per se from the prior art and enables a simple and efficient application of the homotopy method for the solution of the polynomial equation system. A respective complex solution of the equation system contains an additional parameter for the scaling, which in the case of the Helmert transformation corresponds to the scaling factor mentioned above. Also this, only in the ideal case real parameters is in the respective solution a complex value.

In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst die Randbedingung bzw. Randbedingungen zur Extraktion der komplexen Lösung des polynomialen Gleichungssystems das Kriterium, dass der Realteil des skalaren Parameters des Quaternions der zu extrahierenden komplexen Lösung einen Wert kleiner oder gleich Eins aufweist. Dies ist eine notwendige Bedingung, damit die entsprechende Lösung eine Rotation darstellen kann. Vorzugsweise liegt dabei der Wert für den Realteil des skalaren Parameters im Bereich von Eins, was gegebenenfalls als weitere Bedingung berücksichtigt werden kann.In a preferred embodiment of the inventive method, the boundary condition or boundary conditions for the extraction of the complex solution of the polynomial equation system comprises the criterion that the real part of the scalar parameter of the quaternion of the complex solution to be extracted has a value less than or equal to one. This is a necessary condition for the solution to be a rotation. Preferably, the value for the real part of the scalar parameter is in the range of one, which can optionally be taken into account as a further condition.

In einer weiteren bevorzugten Ausführungsform umfassen die Randbedingung bzw. Randbedingungen das Kriterium von kleinen Imaginärteilen der zu extrahierenden komplexen Lösung, da die Lösung ansonsten keine physikalische Lösung darstellt, welche eine Lageveränderung beschreibt. Bei der Verwendung von Quaternionen bedeutet dies, dass der skalare Parameter und die drei vektoriellen Parameter sowie der Parameter der Skalierung kleine Imaginärteile aufweisen. Das Kriterium von kleinen Imaginärteilen kann z. B. basierend auf der Summe der Imaginärteile dieser Parameter überprüft werden.In a further preferred embodiment, the boundary condition or boundary conditions comprise the criterion of small imaginary parts of the complex solution to be extracted, since otherwise the solution does not represent a physical solution which describes a position change. When using quaternions, this means that the scalar parameter and the three vectorial parameters as well as the parameters of the scaling have small imaginary parts. The criterion of small imaginary parts can, for. B. be checked based on the sum of the imaginary parts of these parameters.

In einer weiteren Ausführungsform kann als Randbedingung bzw. Randbedingungen das Kriterium eines reellen Parameters der Skalierung (d. h. eines Parameters mit kleinem Imaginärteil) mit einem Wert im Bereich von Eins einfließen. Im Falle der Helmert-Transformation entspricht dies einem reellen Skalierungsfaktor mit einem Wert im Bereich von Eins. Dieses Kriterium ist in verschiedenen Anwendungen, wie z. B. bei einer Lagebestimmung eines Flugzeugs über Luftaufnahmen, näherungsweise gegeben.In a further embodiment, the criterion of a real parameter of the scaling (that is to say of a parameter with a small imaginary part) having a value in the range of one can be included as a boundary condition or boundary conditions. In the case of the Helmert transform, this corresponds to a real scaling factor with a value in the range of one. This criterion is used in various applications, such. B. in a position determination of an aircraft over aerial photographs, given approximately.

Die soeben beschriebenen Kriterien zur Extraktion der komplexen Lösung können auf verschiedene Weise miteinander kombiniert werden. In einer Variante werden zunächst solche Lösungen aus den ermittelten Lösungen verworfen, deren Realteil des Parameters der Skalierung nicht im Bereich von Eins liegt, d. h. die einen Parameter der Skalierung außerhalb eines Intervallbereichs um Eins aufweisen. Aus den verbleibenden Lösungen wird dann diejenige Lösung extrahiert, welche die kleinsten Imaginärteile aufweist. In einer weiteren Ausführungsform werden zunächst alle Lösungen verworfen, deren skalarer Quaternion-Parameter als Realteil einen Wert größer als Eins aufweist bzw. einen Wert, der gemäß einer entsprechenden Schwelle nicht mehr in der Nähe von Eins liegt. Anschließend wird aus den verbleibenden Lösungen diejenige Lösung ausgewählt, welche die kleinsten Imaginärteile aufweist. Gegebenenfalls sind auch andere Kombinationen der obigen Kriterien zur Extraktion der richtigen Lösung möglich.The criteria for extraction of the complex solution just described can be combined in various ways. In a variant, first such solutions are discarded from the determined solutions whose real part of the parameter of the scaling is not in the range of one, ie. H. which have a parameter of scaling outside of an interval range by one. From the remaining solutions, the solution is then extracted which has the smallest imaginary parts. In a further embodiment, first all solutions are rejected whose scalar quaternion parameter has a value greater than one as the real part or a value which, according to a corresponding threshold, is no longer in the vicinity of one. Subsequently, the solution which has the smallest imaginary parts is selected from the remaining solutions. Optionally, other combinations of the above criteria for extraction of the correct solution are possible.

In einer besonders bevorzugten Ausführungsform wird unter Verwendung der in Schritt e) des erfindungsgemäßen Verfahrens ermittelten Lageveränderung des Objekts sowie einer Vielzahl von Paaren von übereinstimmenden Bildpunkten ein dreidimensionales Modell der mit der Bilderfassungseinrichtung aufgenommenen Umgebung erstellt. Dieses Modell kann durch Verschneiden der Projektionsstrahlen der Bildpunkte ermittelt werden, wobei die Lage der Projektionsstrahlen über die Lageveränderung des Objekts bestimmbar ist.In a particularly preferred embodiment, a three-dimensional model of the environment recorded with the image capture device is created using the change in position of the object determined in step e) of the method according to the invention as well as a multiplicity of pairs of matching pixels. This model can be determined by intersecting the projection beams of the pixels, wherein the position of the projection beams can be determined by the change in position of the object.

Das erfindungsgemäße Verfahren kann für verschiedene technische Anwendungen eingesetzt werden. In einer bevorzugten Ausführungsform wird die relative Lage eines Flugobjekts bestimmt, wobei die digitalen Bilder in diesem Fall zeitlich aufeinander folgende Aufnahmen der Erdoberfläche darstellen. Diese Variante ist besonders geeignet zur Kombination mit der oben beschriebenen Ausführungsform der Ermittlung eines dreidimensionalen Umgebungsmodells, denn hierdurch kann ein Topographie-Modell der Erdoberfläche bestimmt werden.The method according to the invention can be used for various technical applications. In a preferred embodiment, the relative position of a flying object is determined, wherein the digital images in this case represent successive shots of the earth's surface. This variant is particularly suitable for combination with the above-described embodiment of determining a three-dimensional environment model, because this can be a topography model of the earth's surface are determined.

Ein anderer Einsatz des erfindungsgemäßen Verfahrens ist die Bestimmung der Lageveränderung eines Roboters, wobei die mit dem Verfahren bestimmte Lage des Roboters zu dessen Steuerung und/oder zur Stabilisierung seiner Lage, verwendet wird.Another use of the method according to the invention is the determination of the positional change of a robot, wherein the position determined by the method of the robot is used for its control and / or for stabilizing its position.

Eine weitere Anwendung des erfindungsgemäßen Verfahrens ist die Bestimmung der Lage einer medizinischen bildgebenden Vorrichtung über Bilder einer entsprechenden Erfassungseinrichtung, mit der Organe des menschlichen oder tierischen Körpers aufgenommen werden. Beispielsweise kann die medizinische bildgebende Vorrichtung ein Computertomograph oder ein Kernspintomograph sein. In Kombination mit der obigen Variante der Erstellung eines dreidimensionalen Modells können dabei dreidimensionale Bilder der erfassten Organe berechnet werden.Another application of the method according to the invention is the determination of the position of a medical imaging device via images of a corresponding detection device, are recorded with the organs of the human or animal body. For example, the medical imaging device may be a computed tomography or magnetic resonance tomograph. In combination with the above variant of creating a three-dimensional model, three-dimensional images of the detected organs can be calculated.

Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Vorrichtung zur rechnergestützten Bestimmung der Lage eines Objekts aus digitalen Bildern, welche mit einer am Objekt angeordneten Bilderfassungseinrichtung aufgenommen sind. Die Bilderfassungseinrichtung kann gegebenenfalls Teil dieser Vorrichtung sein. Die Vorrichtung beinhaltet eine Rechnereinheit zur Verarbeitung eines Paars aus einem ersten und einem zweiten Bild, welche zumindest teilweise die gleiche Umgebung enthalten, wobei das erste Bild in einer ersten Pose des Objekts aufgenommen ist und das zweite Bild in einer zweiten Pose des Objekts aufgenommen ist, die unterschiedlich von der ersten Pose ist. Die Rechnereinheit ist dabei derart ausgestaltet, dass das erfindungsgemäße Verfahren bzw. eine oder mehrere bevorzugte Varianten des erfindungsgemäßen Verfahrens mit dieser Rechnereinheit durchgeführt werden können.In addition to the method described above, the invention further relates to a device for computer-aided determination of the position of an object from digital images, which are recorded with an image acquisition device arranged on the object. The image capture device may optionally be part of this device. The apparatus includes a computer unit for processing a pair of first and second images at least partially containing the same environment, wherein the first image is captured in a first pose of the object and the second image is captured in a second pose of the object, which is different from the first pose. The computer unit is designed such that the inventive method or one or more preferred variants of the method according to the invention can be performed with this computer unit.

Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens bzw. einer oder mehrerer bevorzugter Varianten des erfindungsgemäßen Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird.The invention further relates to a computer program product having a program code stored on a machine-readable carrier for carrying out the method according to the invention or one or more preferred variants of the method according to the invention when the program code is executed on a computer.

Die Erfindung umfasst ferner ein Computerprogramm mit einem Programmcode zur Durchführung des erfindungsgemäßen Verfahrens bzw. einer oder mehrerer bevorzugter Varianten des erfindungsgemäßen Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird.The invention further comprises a computer program with a program code for carrying out the method according to the invention or one or more preferred variants of the method according to the invention when the program code is executed on a computer.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.Embodiments of the invention are described below in detail with reference to the accompanying drawings.

Es zeigen:Show it:

1 eine schematische Darstellung, anhand der das erfindungsgemäße Verfahren für digitale Bilder in der Form von Luftaufnahmen erläutert wird; und 1 a schematic representation, based on the inventive method for digital images is explained in the form of aerial photographs; and

2 Diagramme, welche für reale Luftaufnahmen die mit dem erfindungsgemäßen Verfahren geschätzte Pose mit einer geschätzten Pose basierend auf einem bekannten Verfahren und mit der tatsächlichen Pose vergleichen. 2 Charts comparing for real aerial photographs the pose estimated by the method according to the invention with an estimated pose based on a known method and with the actual pose.

Nachfolgend wird das erfindungsgemäße Verfahren anhand der Bestimmung einer Pose eines Flugobjekts beschrieben, bei dessen Flug mit einer Kameraeinrichtung in kurzen zeitlichen Abständen Luftaufnahmen aufgenommen wurden. Dabei wird mit dem Verfahren der Erfindung die relative Lageveränderung zwischen zwei zeitlich aufeinander folgenden Luftaufnahmen berechnet. Durch wiederholte Ermittlung der Lageveränderung für Paare von aufeinander folgenden Luftaufnahmen kann hierdurch die Bewegung des Flugobjekts ausgehend von einer initialen Pose beschrieben werden.The method according to the invention will be described below on the basis of the determination of a pose of a flying object, during the flight of which aerial photographs were taken with a camera device at short time intervals. In this case, the method of the invention calculates the relative change in position between two temporally successive aerial photographs. By repeatedly determining the change in position for pairs of successive aerial photographs, this can be used to describe the movement of the flying object starting from an initial pose.

Gemäß dem Szenario der 1 überfliegt ein Flugzeug 1 mit einer darin verbauten Kamera 2 ein vorbestimmtes Gebiet auf der Erdoberfläche. Dabei werden über die schematisch angedeutete Kamera Aufnahmen der Erdoberfläche gemacht. In 1 sind zwei aufeinander folgende Positionen des Flugzeugs 1 gezeigt, zu denen jeweilige Bilder durch die Kamera 2 aufgenommen werden. Die jeweiligen aufgenommenen Bilder sind zur Verdeutlichung in einem größeren Maßstab dargestellt und mit I1 für die erste Pose des Flugzeugs und mit I2 für die zweite (spätere) Pose des Flugzeugs dargestellt. Die beiden Bilder I1 und I2 sind dabei mit einem derart kurzen Zeitabstand aufgenommen, dass sie miteinander überlappen. Das heißt, die Bilder zeigen teilweise die gleiche Umgebung auf der Erdoberfläche.According to the scenario of 1 flies over an airplane 1 with a built-in camera 2 a predetermined area on the surface of the earth. Here are taken on the schematically indicated camera images of the earth's surface. In 1 are two consecutive positions of the aircraft 1 shown to each of the images through the camera 2 be recorded. The respective captured images are shown for clarity on a larger scale and shown with I1 for the first pose of the aircraft and I2 for the second (later) pose of the aircraft. The two pictures I1 and I2 are included taken in such a short time interval that they overlap with each other. In other words, the pictures partially show the same environment on the earth's surface.

Gemäß 1 ist in beiden Bildern I1 und I2 die Kirche 3 enthalten. Beispielhaft ist dabei für die Spitze 3a des Kirchturms die entsprechende Position dieser Spitze im Bild I1 mit P1 und im Bild I2 mit P2 angedeutet. Durch die Veränderung der Lage des Flugzeugs liegen diese beiden Positionen an unterschiedlichen (zweidimensionalen) Positionen im jeweiligen Bild. Diese Positionen werden für das jeweilige Bild über die Koordinate x in Längsrichtung und die Koordinate y in Breitenrichtung des Bilds beschrieben. Zur dreidimensionalen Repräsentation der Bildpunkte wird neben der Position in der Bildebene ferner die Brennweite f der Kamera verwendet, da die dargestellten Bildern in der Brennebene der Kamera 2 wiedergegeben werden. Diese Brennweite ist in 1 mit Bezugszeichen f bezeichnet und gibt die Entfernung zwischen Brennpunkt der Kamera und Brennebene wieder.According to 1 is in both pictures I1 and I2 the church 3 contain. Exemplary is for the top 3a of the church tower the corresponding position of this peak in the image I1 with P1 and in the image I2 with P2 indicated. By changing the position of the aircraft, these two positions lie at different (two-dimensional) positions in the respective image. These positions are described for the respective image via the coordinate x in the longitudinal direction and the coordinate y in the width direction of the image. For the three-dimensional representation of the pixels, the focal length f of the camera is also used in addition to the position in the image plane, since the images shown in the focal plane of the camera 2 be reproduced. This focal length is in 1 denoted by reference f and represents the distance between the focal point of the camera and the focal plane again.

Wie nachfolgend erläutert, werden im Rahmen des erfindungsgemäßen Verfahrens zwei unterschiedliche Paare von übereinstimmenden Bildpunkten P1 und P2 zur Bestimmung der Lageveränderung des Flugzeugs benötigt. Zur Beschreibung der Orientierung des Flugzeugs wird der Roll-Winkel ϕ, der Nick-Winkel θ und der Gier-Winkel ψ verwendet. Diese Winkel sind zur Verdeutlichung schematisch für das Flugzeug in der ersten Pose angedeutet, wobei sich der Koordinatenursprung dieser Winkel (abweichend von 1) im Schwerpunkt des Flugzeugs befindet. Der Roll-Winkel ϕ beschreibt dabei die Drehung um die Längsachse des Flugzeugs. Der Nick-Winkel θ repräsentiert die Drehung um die in der horizontalen Ebene des Flugzeugs verlaufende und senkrecht auf die Längsachse stehende Achse. Der Gier-Winkel ψ beschreibt die Drehung um die senkrecht zur Ebene des Flugzeugs verlaufende Achse. Die relative Änderung der Orientierung des Flugzeugs von der ersten in die zweite Pose wird durch entsprechende Drehung über die Roll-, Nick- und Gier-Winkel repräsentiert.As explained below, in the context of the method according to the invention two different pairs of matching pixels P1 and P2 are required for determining the change in position of the aircraft. To describe the orientation of the aircraft, the roll angle φ, the pitch angle θ and the yaw angle ψ is used. For clarity, these angles are indicated schematically for the aircraft in the first pose, the origin of the coordinates of these angles (deviating from 1 ) is located in the center of gravity of the aircraft. The roll angle φ describes the rotation about the longitudinal axis of the aircraft. The pitch angle θ represents the rotation about the axis running in the horizontal plane of the aircraft and perpendicular to the longitudinal axis. The yaw angle ψ describes the rotation about the axis perpendicular to the plane of the aircraft. The relative change in orientation of the aircraft from the first to the second pose is represented by corresponding rotation through the roll, pitch and yaw angles.

Im Folgenden wird für das Szenario der 1 eine Ausführungsform der erfindungsgemäßen Schätzung der relativen Pose des Flugzeugs beschrieben. Die Erfindung ist jedoch nicht auf Luftaufnahmen beschränkt und kann gegebenenfalls auch in beliebigen anderen Gebieten eingesetzt werden, z. B. zur Schätzung der Position eines Roboters, der hierzu Bilder seiner Umgebung mit einer digitalen Kamera aufnimmt.The following is for the scenario of 1 an embodiment of the estimate of the relative pose of the aircraft according to the invention described. However, the invention is not limited to aerial photography and may optionally be used in any other areas, eg. For example, to estimate the position of a robot who takes pictures of his environment with a digital camera.

Mit dem hier beschriebenen Verfahren der Erfindung wird die relative Pose von einem Paar von aufeinander folgenden Luftaufnahmen umfassend ein erstes und ein zweites später aufgenommenes Bild bestimmt. Wenn die im Folgenden beschriebenen Berechnungen abgeschlossen sind, kann schließlich das zweite Bild wieder als erstes Bild eines neuen Paars von Luftaufnahmen fungieren und somit der Verlauf der Veränderung der Pose berechnet werden.With the method of the invention described herein, the relative pose of a pair of consecutive aerial photographs comprising a first and a second later captured image is determined. Finally, when the calculations described below have been completed, the second image can again act as the first image of a new pair of aerial photographs and thus calculate the course of the change in the pose.

In einem ersten Schritt des Verfahrens wird zunächst die Translation der aufeinander folgenden Bilder abgeschätzt. Es wird dabei näherungsweise davon ausgegangen, dass der Schwerpunkt des Flugzeugs und die Position der Kamera übereinstimmen. Ausgehend von dem Mittelpunkt im ersten Bild wird basierend auf einem Bildvergleich in an sich bekannter Weise ein normalisiertes Kreuzkorrelations-Modell (auch als NCC-Modell bezeichnet, NCC = Normalized Cross Correlation) erstellt, um den mit diesem Mittelpunkt korrespondierenden Bildpunkt im zweiten Bild zu ermitteln. Der korrespondierende Bildpunkt entspricht dabei dem gleichen aufgenommenen Umgebungspunkt wie im ersten Bild. Über die Differenz zwischen den Koordinaten des Bildmittelpunkts im ersten Bild und dem korrespondierenden Bildpunkt im zweiten Bild entlang der in 1 angedeuteten x- und y-Achse wird hierdurch die Verschiebung angegeben. Diese wird allgemein für ein erstes Bild n und ein darauf folgendes zweites Bild n + 1 durch den Translationsvektor T → n+1 / n repräsentiert. Die z-Komponente dieses Vektors wird für die nachfolgend beschriebenen Berechnungen nicht benötigt.In a first step of the method, the translation of the successive images is first estimated. It is approximately assumed that the center of gravity of the aircraft and the position of the camera match. Starting from the center point in the first image, a normalized cross-correlation model (also referred to as NCC model, NCC = Normalized Cross Correlation) is created based on an image comparison in a conventional manner to determine the pixel corresponding to this center point in the second image , The corresponding pixel corresponds to the same recorded environmental point as in the first image. About the difference between the coordinates of the image center in the first image and the corresponding image in the second image along the in 1 indicated x- and y-axis is thereby indicated the shift. This becomes general for a first image n and a subsequent second image n + 1 through the translation vector T → n + 1 / n represents. The z component of this vector is not needed for the calculations described below.

In einem nächsten Schritt werden wiederum über ein NCC-Modell zwei Paare von übereinstimmenden Bildpunkten aus dem ersten und zweiten Bild ermittelt. Für die Ermittlung eines jeweiligen Paars wird zunächst zufällig ein erster Bildpunkt mit der entsprechenden x- und y-Koordinate im ersten Bild bestimmt. Die Umgebung, die um diesen Punkt liegt, erzeugt in an sich bekannter Weise ein NCC-Modell, welches auch im zweiten Bild gefunden wird, falls der Korrelations-Koeffizient oberhalb einer bestimmten Schwelle liegt. Die Zentren der Modelle in beiden Bildern werden dann als (vermeintlich) übereinstimmende Bildpunkte behandelt.In a next step, two pairs of matching pixels from the first and second image are again determined via an NCC model. For determining a respective pair, a first pixel with the corresponding x and y coordinates in the first image is first randomly determined. The environment surrounding this point generates, in a manner known per se, an NCC model, which is also found in the second image if the correlation coefficient is above a certain threshold. The centers of the models in both images are then treated as (supposedly) matching pixels.

Der Bildvergleich basierend auf normalisierter Kreuzkorrelation kann unter Umständen zu Fehlern führen, d. h. es wird nicht der richtige zweite Bildpunkt (d. h. der Bildpunkt, der den gleichen Umgebungspunkt repräsentiert) im zweiten Bild gefunden. Um solche Ausreißer zu vermeiden, wird in der hier beschriebenen Ausführungsform ein sog. Back-Matching-Prozess durchgeführt. Dabei wird nach der Bestimmung von zwei vermeintlich übereinstimmenden Bildpunkten für den aufgefundenen zweiten Bildpunkt wiederum ein Bildvergleich basierend auf einem neuen NCC-Modell durchgeführt, dessen Größe sich vom vorherigen NCC-Modell unterscheidet, um hierüber den entsprechenden ersten Bildpunkt im ersten Bild aufzufinden. Sollte die Abweichung zwischen dem neu aufgefundenen ersten Bildpunkt und dem ursprünglichen ersten Bildpunkt geringer als ein vorbestimmter Schwellwert (z. B. weniger als ein Pixel) sein, wird das ursprünglich ermittelte Paar von erstem und zweitem Bildpunkt als endgültig übereinstimmend eingestuft. Ist dies nicht der Fall, wird das obige Verfahren für einen neuen zufällig ausgewählten ersten Bildpunkt wiederholt, d. h. es wird wiederum ein übereinstimmender zweiter Bildpunkt gesucht und dann über den Back-Matching-Prozess überprüft, ob ausgehend vom zweiten Bildpunkt im Wesentlichen der erste Bildpunkt wiedergefunden werden kann. Dieses Verfahren wird solange wiederholt, bis die Abweichung zwischen dem ursprünglichen ersten Bildpunkt und dem über den Back-Matching-Prozess ermittelten ersten Bildpunkt unterhalb des vorbestimmten Schwellwerts liegt.The image comparison based on normalized cross-correlation may under certain circumstances lead to errors, ie the correct second pixel (ie the pixel representing the same environment point) is not found in the second image. In order to avoid such outliers, in the embodiment described here, a so-called back-matching process is performed. In this case, after the determination of two supposedly coincident pixels for the found second pixel again Image comparison performed based on a new NCC model whose size differs from the previous NCC model to find the corresponding first pixel in the first image. Should the deviation between the newly found first pixel and the original first pixel be less than a predetermined threshold (eg, less than one pixel), the originally determined pair of first and second pixels is considered to be definitely coincident. If this is not the case, the above method is repeated for a new randomly selected first pixel, ie again a matching second pixel is searched for and then checked via the back matching process, if starting from the second pixel essentially the first pixel is found again can be. This process is repeated until the deviation between the original first pixel and the first pixel determined via the back-matching process is below the predetermined threshold value.

Die soeben beschriebene Back-Matching-Methode erhöht zwar die Rechenzeit, führt aber zu einer sehr effizienten Detektion und Entfernung von Ausreißern. Als Ergebnis des soeben beschriebenen Verfahrens erhält man schließlich zwei Paare von übereinstimmenden Bildpunkten, welche durch die dreidimensionalen Vektoren q → n / 1, q → n / 2, q → n+1 / 1 und q → n+1 / 2 beschrieben werden. Die unteren Indizes 1 und 2 bezeichnen dabei die entsprechenden Paare der beiden Bildpunkte. Der Index n betrifft das erste Bild und der Index n + 1 das zweite Bild. In diesen Koordinatenvektoren entsprechen die x- und y-Koordinaten den in 1 gezeigten x- und y-Komponenten im jeweiligen Bild. Als z-Komponente wird die ebenfalls in 1 wiedergegebene Brennweite f verwendet.Although the back-matching method just described increases the computation time, it leads to a very efficient detection and removal of outliers. As a result of the method just described, one finally obtains two pairs of coincident pixels, passing through the three-dimensional vectors q → n / 1, q → n / 2, q → n + 1/1 and q → n + 1/2 to be discribed. The lower indices 1 and 2 denote the corresponding pairs of the two pixels. The index n concerns the first image and the index n + 1 the second image. In these coordinate vectors, the x and y coordinates correspond to those in 1 shown x and y components in each picture. As z-component is also in 1 reproduced focal length f used.

Um mit den beiden Paaren von übereinstimmenden Bildpunkten nunmehr die relative Pose des Flugzeugs zu bestimmen, wird auf die an sich bekannte Helmert-Transformation zurückgegriffen, welche die Transformation eines (beliebigen) Bildpunkts q →ⁿ im ersten Bild in einen entsprechenden Bildpunkt q →ⁿ⁺¹ im zweiten Bild durch folgende Gleichung beschreibt: q →ⁿ⁺¹ ≈ S n+1 / n(Δh)·Q → n+1 / n·q →ⁿ + T → n+1 / n (1). In order to determine the relative pose of the aircraft with the two pairs of matching pixels, use is made of the known Helmert transformation, which is the transformation of an (arbitrary) pixel q → ⁿ in the first picture in a corresponding pixel q → ^{n + 1} in the second picture by the following equation: q → ^{n + 1} ≈ S n + 1 / n (Δh) · Q → n + 1 / n · q → ⁿ + T → n + 1 / n (1).

Zur Beschreibung der Translation wird dabei der im Vorangegangenen bestimmte Translationsvektor T → n+1 / n verwendet. Die Rotation wird über die Rotationsmatrix Q n+1 / n repräsentiert, wobei für diese Matrix eine Darstellung in sog. Quaternionen gewählt wurde. Diese Art der Repräsentation der Rotation ist an sich aus dem Stand der Technik bekannt. Dabei enthält die Rotationsmatrix entsprechende Parameter a, b, c und d eines sog. Quaternions. Der Parameter a repräsentiert dabei den Wert für den skalaren Parameter des Quaternions und die Parameter b, c und d sind entsprechende Werte für die drei vektoriellen Parameter, welche Längen von imaginären Vektoren darstellen. In dieser Darstellung lautet die Rotationsmatrix wie folgt:

For the description of the translation is the previously determined translation vector

T → n + 1 / n

used. The rotation is via the rotation matrix

Qn +

1 / n

represents, with a representation in so-called quaternions was selected for this matrix. This type of representation of rotation is known per se from the prior art. The rotation matrix contains corresponding parameters a, b, c and d of a so-called quaternion. The parameter a represents the value for the scalar parameter of the quaternion and the parameters b, c and d are corresponding values for the three vectorial parameters which represent lengths of imaginary vectors. In this illustration, the rotation matrix is as follows:

Wie erwähnt, ist diese Verwendung von Quaternionen dem Fachmann geläufig und wird deshalb nicht weiter im Detail erläutert. In an sich bekannter Weise enthält die obige Helmert-Transformation ferner den Skalierungs- bzw. Maßstabsfaktor s n+1 / n(Δh) . Dabei wird davon ausgegangen, dass der Skalierungsfaktor nur von dem Höhenunterschied Δh zwischen den beiden Positionen abhängt, an denen das erste und zweite Bild aufgenommen wurden. Es handelt sich dabei um eine Approximation, da der Skalierungsfaktor s n+1 / n(Δh) nur für den Bildpunkt gültig ist, der sich an dem (unbekannten) Projektionszentrum befindet. Für Bildpunkte abweichend von dieser Position ist der Skalierungsfaktor jedoch in der Regel leicht unterschiedlich.As mentioned, this use of quaternions is familiar to the person skilled in the art and will therefore not be explained in detail. In a manner known per se, the above Helmert transformation further contains the scaling factor s n + 1 / n (Δh) , It is assumed that the scaling factor depends only on the height difference Δh between the two positions at which the first and second image were taken. This is an approximation because the scaling factor s n + 1 / n (Δh) only valid for the pixel located at the (unknown) projection center. For pixels different from this position, however, the scaling factor is usually slightly different.

Darüber hinaus hängt s n+1 / n(Δh) auch vom Höhenprofil der Erdoberfläche ab, und Regionen mit steilem oder zerklüftetem Gelände können eine Veränderung des Skalierungsfaktors in einem einzelnen Bild bewirken. Demzufolge hängt der Skalierungsfaktor s n+1 / n(Δh) . sowohl von der Höhedifferenz des Flugzeugs zwischen zwei Bildaufnahmen als auch von der Position der jeweiligen Bildpunkte im Bild ab. Beides kann dabei vernachlässigt werden, da davon ausgegangen wird, dass die Navigationswinkel des Flugzeugs klein sind, und die aufgenommene Erdoberfläche flach ist. Beide Annahmen führen dazu, dass die Bildebene nicht zu stark gegenüber der Erdoberfläche geneigt ist und damit der Skalierungsfaktor näherungsweise für jeden Bildpunkt gilt. In der Regel ist diese Annahme für eine Vielzahl von Szenarien gerechtfertigt.In addition, depends s n + 1 / n (Δh) also from the elevation profile of the earth's surface, and regions with steep or rugged terrain can cause a change in the scale factor in a single image. As a result, the scaling factor depends s n + 1 / n (Δh) , both from the height difference of the aircraft between two images as well as from the position of the respective pixels in the image. Both can be neglected, since it is assumed that the navigation angle of the aircraft are small, and the recorded surface of the earth is flat. Both assumptions lead to the fact that the image plane is not inclined too strongly with respect to the earth's surface and thus the scaling factor approximately applies to each pixel. In general, this assumption is justified for a variety of scenarios.

Mit Hilfe der obigen dreidimensionalen Vektoren q → n / 1, q → n / 2, q → n+1 / 1 und q → n+1 / 2 der übereinstimmenden Bildpunkte wird in einem nächsten Schritt mittels der Gleichung (1) ein Gleichungssystem aufgestellt. Da der Translationsvektor T → n+1 / n nur in zwei Dimensionen bestimmbar ist, wird die z-Komponente der Helmert-Transformation weggelassen. Damit wird auch eine Überbestimmung des Gleichungssystems vermieden, was zu folgendem Gleichungssystem H(ν →) führt: (a² + b² – c² – d²)·qx n / 1 + 2·(b·c – a·d)·qy n / 1 + 2·(b·d + a·c)·f + (Tx n+1 / n – qx n+1 / 1)· 1 / s(Δh) = 0 2·(b·c + a·d)·qx n / 1 + (a² – b² + c² – d²)·qy n / 1 + 2·(c·d – a·b)·f + (Ty n+1 / n – qy n+1 / 1)· 1 / s(Δh) = 0 (a² + b² – c² – d²)·qx n / 2 + 2·(b·c – a·d)·qy n / 2 + 2·(b·d + a·c)·f + (Tx n+1 / n – qx n+1 / 2)· 1 / s(Δh) = 0 2·(b·c + a·d)·qx n / 2 + (a² – b² + c² – d²)·qy n / 2 + 2·(c·d – a·b)·f + (Ty n+1 / n – qy n+1 / 2)· 1 / s(Δh) = 0 a² + b² + c² + d² – 1 = 0 (3). With the help of the above three-dimensional vectors q → n / 1, q → n / 2, q → n + 1/1 and q → n + 1/2 of the matching pixels, a system of equations is set up in a next step by means of equation (1). Since the translation vector T → n + 1 / n can only be determined in two dimensions, the z-component of the Helmert transformation is omitted. This also avoids overdetermination of the equation system, resulting in the following equation system H (ν →) leads: (a ² + b ² - c ² - d ² ) · qx n / 1 + 2 · (b · c - a · d) · qy n / 1 + 2 · (b · d + a · c) · f + (Txn + 1 / n-qxn + 1/1) * 1 / s (Δh) = 0 2 * (b * c + a * d) * qxn / 1 + (a ² -b ² + c ² - d ² ) · qy n / 1 + 2 · (c · d - a · b) · f + (Ty n + 1 / n - qy n + 1/1) · 1 / s (Δh) = 0 (a ² + b ² - c ² - d ² ) · qx n / 2 + 2 · (b · c - a · d) · qy n / 2 + 2 · (b · d + a · c) · f + (Tx n + 1 / n-qxn + 1/2) · 1 / s (Δh) = 0 2 · (b · c + a · d) · qxn / 2 + (a ² -b ² + c ² -d ² ) · qy n / 2 + 2 · (c · d-a · b) · f + (Ty n + 1 / n-qy n + 1/2) · 1 / s (Δh) = 0 a ² + b ² + c ² + d ² - 1 = 0 (3).

Dabei bezeichnet ν → – (a, b, c, d, s) den Parametervektor der unbekannten Parameter a, b, c und d des Quaternions sowie des unbekannten Skalierungsfaktors s. In obiger Gleichung bezeichnen dabei qx n / 1 und qy n / 1 die x- und y-Komponente des Vektors q → n / 1 . qx n / 2 und qy n / 2 entsprechen den Komponenten des Vektors q → n / 2 . Analog stellen q x+1 / 1 und qy n+1 / 1 die x- bzw. y-Komponenten des Vektors q → n+1 / 1 dar. Ebenso entsprechen qx n+1 / 2 und qy n+1 / 2 den x- bzw. y-Komponenten des Vektors q → n+1 / 2 . Ferner beschreibt Tx n+1 / n die x-Komponente und Ty n+1 / n die y-Komponente des Translationsvektors T → n+1 / n .In this case, ν → - (a, b, c, d, s) denotes the parameter vector of the unknown parameters a, b, c and d of the quaternion and of the unknown scaling factor s. In the above equation indicate thereby qx n / 1 and qy n / 1 the x and y component of the vector q → n / 1 , qx n / 2 and qy n / 2 correspond to the components of the vector q → n / 2 , Set analog qx + 1/1 and qy n + 1/1 the x and y components of the vector q → n + 1/1 dar. Likewise correspond qxn + 1/2 and qy n + 1/2 the x or y components of the vector q → n + 1/2 , Further describes Txn + 1 / n the x-component and Ty n + 1 / n the y-component of the translation vector T → n + 1 / n ,

In einem nächsten Schritt wird erstmalig im Bereich der Bildverarbeitung ein geschlossenes Lösungsverfahren verwendet, das aus dem Bereich der Wirtschaftswissenschaften bekannt ist und alle komplexen Lösungen bei höher-dimensionalen polynomialen Gleichungssystemen findet. Dieses Lösungsverfahren ist ein sog. Homotopieverfahren, welches auch als PHC-Verfahren (PHC = Polynomial Homotopy Continuation) bezeichnet wird. Mit diesem Verfahren werden alle isolierten, komplexen Lösungsapproximationen eines n-dimensionalen polynomialen Gleichungssystem gefunden. Das Verfahren wird erfindungsgemäß auf das obige Gleichungssystem H(ν →) angewendet. Der Vektor ν → enthält alle unbekannten Variablen als Komponenten. Das Homotopieverfahren erweitert das ursprüngliche polynomiale System H(ν →) um das Gleichungssystem G(ν →, t) mit t ∊ [0, 1]. Im Gegenzug wird G(ν →, t) in das zu lösende Ziel-Gleichungssystem H(ν →) und ein einfaches Gleichungssystem Pⁿ(ν →) mit der gleichen topoplogischen Struktur separiert. Das Gleichungssystem G(ν →, t) lautet wie folgt: G(ν →, t) = γ(1 – t)Pⁿ(ν →) + tH(ν →) = 0 (4). In a next step, a closed solution method is used for the first time in the field of image processing, which is known from the field of economics and finds all complex solutions in higher-dimensional polynomial equation systems. This solution method is a so-called homotopy method, which is also referred to as PHC method (PHC = Polynomial Homotopy Continuation). With this method, all isolated, complex solution approximations of an n-dimensional polynomial equation system are found. The method is applied according to the invention to the above equation system H (ν →). The vector ν → contains all unknown variables as components. The homotopy method extends the original polynomial system H (ν →) by the equation system G (ν →, t) with t ε [0, 1]. In turn, G (ν →, t) is separated into the target equation system H (ν →) to be solved and a simple equation system P ⁿ (ν →) with the same topological structure. The equation system G (ν →, t) is as follows: G (ν →, t) = γ (1 - t) P ⁿ (ν →) + tH (ν →) = 0 (4).

Das Start-Gleichungssystem der Methode Pⁿ(ν →) = 0 (5) weist eine bekannte Anzahl von Lösungen für n = 0 auf. γ ist eine komplexe Zahl, welche die Regularität der Lösungspfade garantiert.The start equation system of the method P ⁿ (ν →) = 0 (5) has a known number of solutions for n = 0. γ is a complex number that guarantees the regularity of the solution paths.

Für t = 0 entspricht das Gleichungssystem G(ν →, t) dem Startsystem Pⁿ(ν →) mit einer bekannten Lösung für ν →. Für t = 1 entspricht das Gleichungssystem G(ν →, t) dem ursprünglichen Gleichungssystem H(ν →). Im Rahmen des Homotopieverfahrens wird die Komplexität des Start-Gleichungssystems Pⁿ(ν →) mit n > 0 expandiert, wobei die Lösung für ν → weiterhin bekannt ist. Die neuen Lösungen führen zu einer neuen Version des Gleichungssystems G(ν →, t), welche das leicht modifizierte komplexe Gleichungssystem Pⁿ(ν →) beinhaltet. Diese Homotopieschritte werden wiederholt, bis ein Minimum für G(ν →, t) = 0 gefunden ist, wobei t = 1 und ν → eine Lösung von Pⁿ(ν →) = 0 darstellt.For t = 0, the equation system G (ν →, t) corresponds to the starting system P ⁿ (ν →) with a known solution for ν →. For t = 1, the equation system G (ν →, t) corresponds to the original equation system H (ν →). In the context of the homotopy method, the complexity of the start equation system P ⁿ (ν →) is expanded with n> 0, the solution for ν → still being known. The new solutions lead to a new version of the equation system G (ν →, t), which contains the slightly modified complex equation system P ⁿ (ν →). These homotopy steps are repeated until a minimum for G (ν →, t) = 0 is found, where t = 1 and ν → is a solution of P ⁿ (ν →) = 0.

Das soeben beschriebene Homotopieverfahren bzw. PHC-Verfahren ist an sich aus dem Stand der Technik bekannt und wird deshalb nicht weiter im Detail beschrieben. Zwecks genauerer Erläuterung zu diesem Verfahren wird auf die Druckschriften [2] bis [4] verwiesen. Zur Lösung des obigen Gleichungssystems H(ν →) kann beispielsweise das Softwarepaket PHCpack (URL: http://www.math.uic.edu/~jan ) eingesetzt werden, mit dem Gleichungssysteme basierend auf dem PHC-Verfahren gelöst werden.The homotopy method or PHC method just described is known per se from the prior art and will therefore not be described in further detail. For a more detailed explanation of this method, reference is made to references [2] to [4]. To solve the above system of equations H (ν →), for example, the software package PHCpack (URL: http://www.math.uic.edu/~jan ) are used to solve the equation systems based on the PHC method.

Für das obige Gleichungssystem H(ν →) ergeben sich insgesamt 16 komplexe Lösungen für die Nullstellen, wobei jede Lösung durch eine komplexe Zahl für die Parameter a, b, c, d und s des Vektors ν → repräsentiert wird. Um nunmehr die richtige Lösung herauszufinden, werden geeignete Randbedingungen berücksichtigt, welche auf verschiedene Weise zur Extraktion der diese Lageveränderung repräsentierenden Lösung eingesetzt werden können.For the above system of equations H (ν →) a total of 16 complex solutions for the zeros result, each solution being represented by a complex number for the parameters a, b, c, d and s of the vector ν → is represented. In order now to find the right solution, suitable boundary conditions are taken into account, which can be used in different ways for the extraction of the solution representing this change in position.

In einer Ausführungsform werden zunächst diejenigen Lösungen aus dem Satz der 16 Lösungen gestrichen, für welche der Realteil des Skalierungsparameters stark von 1 abweicht, denn es kann in der Regel davon ausgegangen werden, dass die Flughöhe von einem Bild zum nächsten nicht sehr stark schwankt und diese Differenz in Flughöhe von einem Bild zum nächsten klein ist gegenüber der gesamten Flughöhe, so dass der Skalierungsparameter einen Wert im Bereich von 1 annehmen sollte. In einer Variante wurden nur solche Lösungen weiter berücksichtigt, deren Realanteil des Skalierungsparameters in dem Intervall zwischen [0,8, 1,2] liegt.In one embodiment, first those solutions are deleted from the set of the 16 solutions for which the real part of the scaling parameter deviates greatly from 1, because it can generally be assumed that the flying height does not fluctuate very much from one image to the next and these Difference in altitude from one image to the next is small compared to the total altitude, so the scaling parameter should take a value in the range of 1. In one variant, only those solutions whose real part of the scaling parameter lies in the interval between [0.8, 1.2] were taken into account further.

Als nächstes Kriterium wurde berücksichtigt, dass die Lösungen mit großen Imaginärteilen der Parameter a, b, c, d und s keine physikalischen Lösungen darstellen. Deshalb wurde aus den verbleibenden Lösungen diejenige ausgewählt, für welche die Summe der Imaginärteile der Parameter a, b, c, d und s am kleinsten ist. In der Regel gibt es Lösungen mit Imaginärteilen in der Größe von 10e^–130 oder weniger. Als weiteres Extraktionskriterium kann ferner der Realteil des skalare Quaternion-Parameters a der Lösung berücksichtigt werden, der für geringe Rotationen im Bereich von 1 liegen sollte und auf jeden Fall immer kleiner als 1 ist.The next criterion considered was that the solutions with large imaginary parts of the parameters a, b, c, d and s are not physical solutions. Therefore, from the remaining solutions, those were selected for which the sum of the imaginary parts of the parameters a, b, c, d and s is the smallest. As a rule, there are solutions with imaginary parts in the size of 10e ^-130 or less. As a further extraction criterion, the real part of the scalar quaternion parameter a of the solution can also be taken into account, which should be in the region of 1 for low rotations and in any case always less than 1.

In einer weiteren Ausführungsform wurden die Kriterien zur Extraktion einer Lösung in anderer Reihenfolge angewandt. Dabei wurde zunächst das Kriterium berücksichtigt, dass der Realteil des skalaren Quaternion-Parameters a der Lösung im Bereich des Werts 1 liegen sollte und dabei kleiner als 1 sein sollte. Beispielsweise wurden nur diese Lösungen weiter berücksichtigt, für welche der Realteil des Parameters a im Intervall zwischen 0,75 und 1 liegt. Anschließend wurde aus den Lösungen diejenige ausgewählt, deren Imaginärteile (d. h. die Summe der Imaginärteile der Parameter a, b, c, d und s) am kleinsten ist. Es hat sich gezeigt, dass diese Lösung in den meisten Fällen die physikalisch richtige Lösung war und zu richtig berechneten Lageveränderungen des Objekts geführt hat. Gegebenenfalls kann dieses Verfahren mit einer Plausibilitätsprüfung kombiniert werden, bei dem die gefundene Lösung dahingehend überprüft wird, ob der Realteil des Skalierungsfaktors einen Wert im Bereich von 1 aufweist. Sollte dies nicht der Fall sein, können die Kriterien dann gegebenenfalls in einer anderen Reihenfolge angewendet werden, um hierdurch eine andere Lösung zu finden.In another embodiment, the criteria for extracting a solution were used in a different order. First, the criterion was considered that the real part of the scalar quaternion parameter a of the solution should be in the range of the value 1 and should be less than 1. For example, only those solutions were further considered, for which the real part of the parameter a lies in the interval between 0.75 and 1. Subsequently, those solutions were selected from the solutions whose imaginary parts (that is, the sum of the imaginary parts of the parameters a, b, c, d and s) are the smallest. It has been found that this solution was in most cases the physically correct solution and has led to correctly calculated positional changes of the object. If appropriate, this method can be combined with a plausibility check in which the solution found is checked as to whether the real part of the scaling factor has a value in the region of 1. If this is not the case, the criteria may then be applied in a different order, if necessary, to find another solution.

Nach dem Auffinden der entsprechenden Lösung werden schließlich in einem letzten Schritt in an sich bekannter Weise die Parameter der Quaternionen in entsprechende Rotationswinkel in der Form der obigen Roll-, Nick- und Gier-Winkel umgerechnet, welche die Veränderung der Orientierung des Flugzeugs zwischen den Aufnahmen des ersten und zweiten Bilds beschreibt.After finding the appropriate solution, the parameters of the quaternions are finally converted in a last step in a conventional manner into corresponding rotation angles in the form of the above roll, pitch and yaw angles, which change the orientation of the aircraft between shots of the first and second picture.

Die im Rahmen des oben beschriebenen Verfahrens ermittelten relativen Posen zwischen aufeinander folgenden Bildern können für verschiedene Zwecke genutzt werden. Insbesondere besteht die Möglichkeit, die geschätzten Posen zur Navigation oder Stabilisierung des Flugzeugs zu verwenden, sofern die Inertialsensorik im Flugzeug ausfällt. In diesem Fall wird das oben beschriebene Verfahren online beim Flug des Flugzeugs implementiert. In einer weiteren Anwendungsmöglichkeit kann aus der relativen Pose zwischen zwei Bildern ein Höhenprofil des überlappenden Bereichs der beiden Bilder ermittelt werden. Hierzu werden mittels der relativen Pose die Projektionsstrahlen von einer Vielzahl von Paaren von übereinstimmenden Bildpunkten miteinander verschnitten, wodurch die Topographie des Geländes und damit ein Höhenmodell desselben bestimmt wird.The relative poses between successive images determined in the method described above can be used for various purposes. In particular, it is possible to use the estimated poses for navigation or stabilization of the aircraft, provided that the inertial sensor system in the aircraft fails. In this case, the method described above is implemented online during the flight of the aircraft. In another possible application, a height profile of the overlapping region of the two images can be determined from the relative pose between two images. For this purpose, the projection beams are intersected by a plurality of pairs of matching pixels by means of the relative pose, whereby the topography of the terrain and thus a height model of the same is determined.

Wie bereits oben erwähnt, ist eine weitere Anwendung des erfindungsgemäßen Verfahrens die Bestimmung der relativen Pose eines Roboters, um basierend hierauf diesen Roboter bei der automatischen Durchführung von Tätigkeiten zu steuern. Ebenso kann das Verfahren dazu genutzt werden, um die relative Pose der Bilderfassungseinrichtung einer bildgebenden medizinischen Vorrichtung (z. B. Computertomograph oder Magnetresonanztomograph) zu bestimmen und hieraus dreidimensionale Bilder der aufgenommenen Organe zu berechnen.As already mentioned above, another application of the method according to the invention is the determination of the relative pose of a robot in order to control this robot in the automatic execution of activities based thereon. Likewise, the method can be used to determine the relative pose of the imaging device of an imaging medical device (eg, computed tomography or magnetic resonance tomography) and to calculate therefrom three-dimensional images of the recorded organs.

Das erfindungsgemäße Verfahren wurde basierend auf Luftaufnahmen über dem Stadtgebiet von München getestet. Dabei wurden die entsprechenden relativen Roll-, Nick- und Gier-Winkel berechnet und mit den tatsächlichen, über ein Inertialmesssystem bestimmten Winkeln verglichen. Ferner wurde das erfindungsgemäße Verfahren mit einer herkömmlichen Fünf-Punkte-RANSAC-Methode verglichen, bei der mindestens 50 mal fünf Paare von übereinstimmenden Bildpunkten zur Ermittlung der relativen Pose benötigt werden. Die Ergebnisse sind in 2 wiedergegeben. Diese Figur zeigt drei Diagramme DI1, DI2 und DI3, welche für die oben genannten Luftaufnahmen von München in der Form von aufeinander folgenden Bildern IN, die entlang der Abszisse aufgetragen sind, die entsprechend ermittelten relativen Posen in der Form von Roll-Winkel ϕ (Diagramm DI1), Nick-Winkel θ (Diagramm DI2) und Gier-Winkel ψ (Diagramm DI3) wiedergeben. Durch Kreuze wird dabei das herkömmliche Fünf-Punkte-RANSAC-Verfahren (als „5-Point” in 2 bezeichnet) repräsentiert, wohingegen Sterne das erfindungsgemäße Verfahren darstellen, welches auf einer PHC-Methode beruht. Entsprechende Kreise zeigen die tatsächlichen relativen Orientierungen, die über einen Inertialsensor IMU (IMU = Inertial Measurement Unit) bestimmt wurden.The inventive method was tested based on aerial photographs over the urban area of Munich. The relative relative roll, pitch and yaw angles were calculated and compared with the actual angles determined by an inertial measurement system. Furthermore, the method according to the invention was compared with a conventional five-point RANSAC method, in which at least 50 times five pairs of matching pixels are needed to determine the relative pose. The results are in 2 played. This figure shows three diagrams DI1, DI2 and DI3, which for the above-mentioned aerial photographs of Munich in the form of successive images IN, which are plotted along the abscissa, the correspondingly determined relative poses in the form of roll angle φ (diagram DI1), pitch angle θ (diagram DI2) and yaw angle ψ (diagram DI3). By crosses thereby the conventional five-point RANSAC procedure (as "5-Point" in 2 whereas stars represent the method of the invention based on a PHC method. Corresponding circles show the actual relative orientations, which were determined by an inertial measurement unit IMU (IMU).

Wie man aus 2 erkennt, stimmen die berechneten Werte des erfindungsgemäßen Verfahrens sehr gut mit den tatsächlichen Winkelwerten der Inertialmessung überein. Das erfindungsgemäße Verfahren übertrifft auch die Ergebnisse gemäß dem herkömmlichen Fünf-Punkte-RANSAC-Verfahren. Dabei weist das erfindungsgemäße Verfahren gegenüber bekannten Verfahren den Vorteil auf, dass es lediglich zwei Paare von übereinstimmenden Bildpunkten zur Ermittlung der relativen Pose benötigt, wohingegen im Stand der Technik eine größere Anzahl von Bildpunkten erforderlich ist. Das Verfahren der Erfindung ist somit im Vergleich zu herkömmlichen Verfahren mit einem geringeren Rechenaufwand verbunden und liefert dabei gleichzeitig sehr gute Ergebnisse.How to get out 2 detects, the calculated values of the method according to the invention match very well with the actual angle values of the inertial measurement. The method according to the invention also exceeds the results according to the conventional five-point RANSAC method. In this case, the method according to the invention has the advantage over known methods that it requires only two pairs of matching pixels for determining the relative pose, whereas in the prior art a larger number of pixels is required. The method of the invention is thus compared to conventional methods associated with less computational effort while delivering very good results.

Literaturverzeichnis:Bibliography:

[1] Nister, D., June 2004. An Efficient Solution to the Five-Point Relative Pose Problem. IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 26, no. 6 ,
[2] Verschelde, J., 1999. Algorithm 795: PHCpack: A general-purpose solver for polynomial systems by homotopy continuation. ACM Trans. Math. Softw. 25 (2), pp. 251-276 ,
[3] Verschelde, J., Yoffe, G., 2010. Polynomial Homotopies on Multicore Workstations, PASCO 2010, Proceedings of the 2010 International Workshop on Parallel Symbolic Computation, Sierre, Switzerland, pp. 131-140, ACM 2010 ,
[4] Zulehner, W., Jan. 1988. A Simple Homotopy Method for Determining All Isolated Solutions to Polynomial Systems. Mathematics of Continuation, Vol. 50, no. 181, pp. 167-177 ,
[5] Sommese, AJ, Verschelde, J., Wampler, CW, 2005. An Introduction to Numerical Algebraic Geometry, Solving Polynomial Equations, pp. 301-337 (2005), Springer Verlag ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

http://www.math.uic.edu/~jan [0052]

Claims

Method for the computer-aided determination of the position of an object ( 1 ) from digital images (I1, I2), which with one at the object ( 1 ) image capture device ( 2 ), wherein a pair of first and second images (I1, I2) are processed which at least partially contain the same environment, the first image (I1) being in a first pose of the object (I1). 1 ) and the second image (I2) in a second pose of the object ( 1 ), which is different from the first pose, in which: a) two pairs of matching pixels (P1, P2) from the first and second images (I1, I2) and their image coordinates in the first and second images (I1, 12 ) be determined; b) based on a transformation equation, which describes the transformation of pixels of the first image (I1) into pixels of the second image (I2) via a translation, rotation and scaling, using the image coordinates of the two pairs of matching pixels (P1, P2) polynomial equation system is determined; c) all complex solutions of the polynomial equation system are determined by a homotopy method; d) based on one or more boundary conditions, which are responsible for a change in position of the object ( 1 ) are valid from the first pose into the second pose, from the complex solutions of the polynomial equation system that solution is extracted which reflects the positional change of the object ( 1 ) from the first pose into the second pose; e) the positional change of the object via the extracted solution ( 1 ) from the first pose to the second pose.

Method according to Claim 1, in which a translation vector is determined which describes the displacement of the second image (I2) relative to the first image (I1), the translation vector being contained in the transformation equation.

Method according to Claim 2, in which the translation vector is determined by shifting the center point of the first image (I1) in the second image (I2), preferably using a normalized cross-correlation for determining the pixel in the second image (I2) which is the center point of the first picture (I1).

Method according to one of the preceding claims, wherein in step b) a respective pair of matching pixels (P1, P2) of the two pairs is determined such that a first image comparison between first and second image (I1, I2) for a first pixel in the first image (I1) a second pixel in the second image (I2) corresponding to the first pixel is determined and then a second image comparison between the first and second image (I1, I2) for the second pixel a third pixel corresponding to the second pixel in the first In the case where the deviation between the image coordinates of the first and third pixels is below a predetermined threshold, the first and second pixels represent the respective pair of matching pixels (P1, P2), and otherwise the first one and second image comparison is repeated from a new first pixel, the first and second Image comparison preferably based on normalized cross-correlation.

Method according to one of the preceding claims, wherein image coordinates of pixels in each case via the two-dimensional position of the pixel in the corresponding image (I1, I2) and the focal length (f) of the image capture device ( 2 ).

Method according to one of the preceding claims, in which the positional change of the object ( 1 ) from the first pose into the second pose comprises orientation based on roll, pitch and yaw angles (φ, θ, ψ).

Method according to one of the preceding claims, in which the transformation equation is described by the Helmert transformation with a translation vector, a rotation matrix and a scaling factor.

The method of claim 7, wherein in the determination of the polynomial equation system, the approximation flows in that the scaling factor for all pixels in the first image (I1) has the same value.

Method according to one of the preceding claims, in which the rotation of the transformation equation and in particular the rotation matrix of the Helmert transformation is described by quaternions, which are each represented by a scalar parameter and three vector parameters, the respective complex solutions being an imaginary and real part for provide the scalar parameter and vectorial parameters as well as a scaling parameter.

The method of claim 9, wherein the constraint or constraints in step d) include the criterion that the real part of the scalar parameter of the quaternion of the solution to be extracted has a value less than or equal to one, and in particular has a value in the range of one.

Method according to one of the preceding claims, in which the boundary condition or boundary conditions in step d) comprise the criterion of small imaginary parts of the complex solution to be extracted.

Method according to one of the preceding claims, in which the boundary condition or boundary conditions in step d) comprise the criterion of a real parameter of the scaling of the complex solution to be extracted having a value in the range of one.

Method according to one of the preceding claims, wherein, using the positional change of the object (e) determined in step e), 1 ) and a plurality of pairs of matching pixels (P1, P2) a three-dimensional model of the with the image capture device ( 2 ) recorded environment is created.

Method according to one of the preceding claims, in which the object ( 1 ) is a flying object and the digital images (I1, I2) represent successive shots of the earth's surface.

Method according to one of the preceding claims, in which the object ( 1 ) is a robot and the position determined by the method is used to control the robot and / or to stabilize its position.

Method according to one of the preceding claims, the object ( 1 ) is a medical imaging device and the digital images (I1, I2) represent successive images of organs of the human or animal body.

Device for the computer-aided determination of the position of an object ( 1 ) from digital images (I1, I2), which with one at the object ( 1 ) image capture device ( 2 ), the apparatus comprising a computer unit for processing a pair of first and second images (I1, I2) which at least partially contain the same environment, the first image (I1) being in a first pose of the object (I1). 1 ) and the second image (I2) in a second pose of the object ( 1 ), which is different from the first pose, wherein the computer unit is designed to carry out a method in which: a) two pairs of matching pixels (P1, P2) from the first and second image (I1, I2) and their Image coordinates in the first and second image (I1, 12) are determined; b) based on a transformation equation which describes the transformation of pixels of the first image (I1) into pixels (P2) of the second image (I2) via translation, rotation and scaling, by means of the image coordinates of the two pairs of matching pixels (P1, P2) a polynomial equation system is determined; c) all complex solutions of the polynomial equation system are determined by a homotopy method; d) based on one or more boundary conditions, which are responsible for a change in position of the object ( 1 ) are valid from the first pose into the second pose, from the complex solutions of the polynomial equation system that solution is extracted which reflects the positional change of the object ( 1 ) from the first pose into the second pose; e) the positional change of the object via the extracted solution ( 1 ) from the first pose to the second pose.

Apparatus according to claim 17, which is designed for carrying out a method according to one of claims 2 to 16.

A computer program product comprising program code stored on a machine-readable medium for carrying out a method according to any one of claims 1 to 16 when the program code is executed on a computer.

A computer program having program code for carrying out a method according to any one of claims 1 to 16, when the program code is executed on a computer.