DE10139846C1

DE10139846C1 - Method for estimating positions and locations uses alignment of image data for a camera of model structures in order to increase long-duration stability and autonomics of aerodynamic vehicles/missiles.

Info

Publication number: DE10139846C1
Application number: DE10139846A
Authority: DE
Inventors: Claus Aufmuth; Henrik Baur
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2001-08-14
Filing date: 2001-08-14
Publication date: 2003-02-06
Anticipated expiration: 2021-08-15

Abstract

Varying parameters for a geometry transformation forms images of model structures and produces an alignment to make the parameters of the geometry transformation available for estimating positions and locations. Optimizing a target function not required to form objects determines the parameters of the geometry transformation. A variational formulation is applied to a distance image built up from original image data in a camera.

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Patentanspruchs 1.The invention relates to a method according to the preamble of patent claim 1.

In vielen Bereichen der Bildverarbeitung ist es gewinnbringend, wenn aus den Bilddaten der Kamera auf deren aktuelle Position und Lage geschlossen werden kann.In many areas of image processing it is profitable if from the image data the camera's current position and location can be inferred.

Aus US 5850469 A ist ein Verfahren zur Inspektion von Maschinen in bezug auf Verschleiß und Defekte bekannt. Dabei wird aus den 3D-Strukturdaten eines Objekts eine Sammlung synthetischer Kamerabilder erzeugt und diese mit den Bilddaten eher Kamera verglichen, welche dieses Objekt betrachtet und deren Position und Lage bestimmt werden soll. Da die Lage und Position der Kamera bei der Inspektion eines Maschine nur in einem ziemlich eingeschränkten Umfang veränderlich ist, ist es im allgemeinen auf einfache Weise möglich bereits im Vorfeld einer exakten Lage und Positionsbestimmung deren Lage zu schätzen und ein möglichst optimales synthetisches Kamerabild für einen Vergleich mit den Kameradaten auszuwählen. Aus diesem Grund liefert dieses Verfahren zuverlässige Ergebnisse, trotz der Tatsache das die Ermittlung der Positions- und Lagedaten auf den Vergleich berechneter Jakobi-Matrizen beruht, was eine gu te Übereinstimmung des synthetischen Bildes mit den Bilddaten der Kamera voraussetzt.From US 5850469 A is a method for the inspection of machines with respect to Known wear and defects. The 3D structure data becomes one Objects creates a collection of synthetic camera images and this with the image data rather compared camera, which looks at this object and its position and location should be determined. Because the location and position of the camera when inspecting a Machine is only changeable to a fairly limited extent, it is im generally possible in a simple manner in advance of an exact location and Position determination to estimate their position and the best possible synthetic Select camera image for comparison with the camera data. For this reason this method delivers reliable results, despite the The fact that the determination of the position and location data on the comparison of calculated Jakobi matrices based on what a gu te match of the synthetic image with the image data of the camera.

Bei der Lageschätzung im Zusammenhang mit autonomen Flugkör pern ist es das Ziel diese anhand der ermittelten Position und Lage so zu steuern, dass sie anhand eines programmierbaren Missionsplanes ihr Ziel erreichen. Derzeit wird eine solche Zielführung mit Hilfe konventioneller Navigationssysteme wie Trägheitsnavigations-Systemen und GPS durchgeführt.When estimating the position in connection with autonomous missiles pern it is the goal based on the determined position and Control location so that it is programmable Mission plan achieve their goal. It is currently one Route guidance using conventional navigation systems such as Inertial navigation systems and GPS performed.

In Bezug auf eine kamerabasierte Lageschätzung zeigen die Schriften GB 2237951 A sowie die Schriften GB 2116 000 A für Fluggeräte Navigationssysteme, welche die Lage auf Grund von auf dem zu überwachenden Boden angebrachten künstlichen Re flexionskörpern schätzen. Desweiteren ist aus der Schrift DE 41 38 270 A1 ein Verfahren zur Navigation eines selbstfahrenden Landfahrzeugs bekannt, bei welchem zur Navigation Marken wäh rend der Fahrt erfasst, digitalisiert und mit abgespeicherten Daten verglichen werden. Auf Grund der Korrelation der Bildda ten mit den bekannten Koordinaten der Marken kann so eine Aus richtung des Fahrzeugs im Raum ermittelt werden.With regard to a camera-based location estimate, the GB 2237951 A as well as GB 2116 000 A for Aircraft navigation systems, which the situation on the basis of artificial Re attached to the floor to be monitored estimate inflection bodies. Furthermore, from DE 41 38 270 A1 a method for navigation of a self-driving Land vehicle known in which brands select for navigation recorded, digitized and saved with the trip Data are compared. Due to the correlation of the image da With the known coordinates of the markers, this can be done direction of the vehicle in the room can be determined.

Es sind auch Schriften bekannt, bei welchen Verfahren be schrieben werden, bei denen die Lageschätzung eines Fahrzeugs ohne Zuhilfenahme künstlicher Reflexionskörper geschätzt wer den kann. Hierbei werden die Bilddaten des Fahrzeuges mit zuvor in einem Speicher abgelegten Koordinaten der Umgebungen korreliert; beispielhaft sei hier die Schrift DE 195 05 487 A1 genannt, bei der charakteristische optische Merkale aus der unmittelbaren Umgebung des Fahrzeugs in einem Speicher abge legt sind und eine Recheneinrichtung anhand vorgegebener Daten über charakteristische optische Merkmalen mit den von dem op tischen Sensor erfassten Daten korreliert, um eine genaue Po sitionsbestimmung vornehmen zu können. Aus der Schrift DE 35 23 303 C2 ist ein System bekannt, welches in einem ersten Schritt Messungen während Aufklärungsflügen ermittelt und die aus diesem Daten gewonnenen Ortskoordinaten in einem Speicher abgelegt Mengen zweitens Schritt kann nun das Fahrzeug in ei ner autonomen Betriebsweise Daten aufnehmen, um so eine Lage schätzung vornehmen zu können.Writings are also known in which method be be written in which the position estimation of a vehicle without the help of artificial reflection bodies that can. The image data of the vehicle are included coordinates of the surroundings previously stored in a memory correlated; the document DE 195 05 487 A1 is exemplary here called, in which characteristic optical features from the abge in the immediate vicinity of the vehicle in a memory are and a computing device based on predetermined data about characteristic optical features with those of the op table sensor correlates data to an accurate Po position determination. From the font DE 35 23 303 C2 a system is known which in a first Measurements determined during reconnaissance flights and the location coordinates obtained from this data in a memory stored quantities second step can now the vehicle in egg an autonomous mode of operation to record data, so such a location to be able to make an estimate.

Aufgabe der Erfindung ist es, ein neues Verfahren nach dem Oberbegriff des Patentanspruchs 1 zu finden, welches insbeson dere bei der Navigation von autonomen Flugkörpern die Lang zeitstabilität der Positions- und Lageschätzung erhöht.The object of the invention is to develop a new method Find the preamble of claim 1, which in particular the long when navigating autonomous missiles Time stability of position and position estimation increased.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The task is accomplished through a process with the characteristics of Claim 1 solved. Advantageous configurations and Further developments of the invention are through the subclaims given.

In besonders vorteilhafter Weise beruht das erfindungsgemäße Verfahren zur Positions- und Lageschätzung durch einen Ab gleich von Bilddaten einer Kamera mit den Modellstrukturen, insbesondere zur Erhöhung der Langzeitstabilität und der Au tonomie von Flugkörpern, auf einen Variationsansatz. Dabei er folgt der Abgleich von Modellstrukturen und Bilddaten mittels einer Variation der Parameter einer Transformation, welche die Modellstrukturen mit den Bilddaten der Kamera aufeinander ab bildet. Hierzu wird in erfinderischer Weise eine objektbil dungsfreie Zielfunktion definiert.The inventive method is based in a particularly advantageous manner Procedure for position and position estimation by an Ab immediately from image data of a camera with the model structures, especially to increase long-term stability and Au tonomy of missiles, on a variation approach. Doing it follows the comparison of model structures and image data using a variation of the parameters of a transformation which the Model structures with the image data of the camera depend on each other forms. For this purpose, an object bil defined objective function.

Der besondere Vorteil der Verwendung einer objektbildungs freien Zielfunktion liegt in der Tatsache begründet, dass eine Objektbildung stets eine Art von Segmentierung voraussetzt, z. B. kanten- oder regionen-basiert. Eine solche Segmentierung ist meist sehr rechenintensiv und fehleranfällig. Scheitert die Objektbildung, so scheiter auch die Lösung des Grundpro blems, nämlich der Selbstlokalisation (Egolokalisation) der Kamera. Darüber hinaus ergibt sich durch die Verwendung einer objektbildungsfreien Zielfunktion der Vorteil, dass kein Kor respondenz- bzw. Zuordnungsproblem für Modell- und Bildobjekte gelöst werden muß, welches einen derart hohen rechnerischen Verarbeitungsaufwand darstellen kann (kombinatorische Explosion), daß eine technische Anwendung oft nicht praktikabel ist.The particular advantage of using object formation free objective function lies in the fact that a Object formation always requires a kind of segmentation, e.g. B. based on edges or regions. Such segmentation is usually very computationally intensive and prone to errors. Fails object formation, so the solution of the basic project fails blems, namely the self-localization (ego-localization) of the Camera. In addition, the use of a Object formation-free objective function the advantage that no cor responder or assignment problem for model and image objects must be solved, which is such a high computational Processing effort can represent (combinatorial explosion) that a technical application is often not practical.

Durch die Optimierung der objektbildungsfreien Zielfunktion wird derjenige Parametersatz der Transformation gefunden, welcher Modellstruktur und Bilddaten optimal aufeinander abbildet. Der Variationsansatz erlaubt es die Bildung diskreter Bildobjekte und damit auch das Zuordnungsproblem gänzlich zu vermeiden, falls es gelingt, eine objektbildungsfreie Zielfunktion zu formulieren. Als problematisch gelten mögliche Nebenoptima. Gerade die zeiteffizienten Optimierungsverfahren, welche aus dem Stand der Technik bekannt sind, können eine optimale Lösung meist nicht garantieren. Es besteht in der Regel keine Möglichkeit zu entscheiden, ob es sich bei einer Lösung um ein lokales oder globales Optimum handelt. Durch den Entwurf einer gutartigen Zielfunktion und die Investition von Modellwissen kann diese Problematik jedoch weitgehend entschärft werden. Optimierungsalgorithmen arbeiten in der Regel iterativ, wodurch sie hinsichtlich Rechenaufwand und -genauigkeit skalierbar werden.By optimizing the object formation-free objective function, one becomes Parameter set of the transformation found what model structure and image data maps optimally to each other. The variation approach allows the formation of discrete ones Avoid picture objects and thus the assignment problem entirely, if it does succeeds in formulating an object-free objective function. Considered problematic possible secondary optima. Especially the time-efficient optimization processes, which are made up of the state of the art are usually not an optimal solution to guarantee. There is usually no way to decide whether it is a solution is a local or global optimum. By designing a Benign objective function and the investment of model knowledge can solve this problem to be largely defused. Optimization algorithms usually work iterative, which makes them scalable in terms of computing effort and accuracy.

Aus dem erfindungsgemäß resultierenden, optimalen Parametersatz kann nun in vorteilhafter Weise direkt mittels des Variationsansatzes auf die Position der Kamera geschlossen werden, oder es kann alternativ auch gewinnbringend analog zu einem kombinatorischen Vergleichsansatz ein Zuordnungsproblem formuliert werden, das jedoch durch die Kenntnis der optimalen Abbildung von Modellstruktur und Kamerabild trivial ist. Die Repräsentation des jeweiligen Ergebnisses ist für diesen Fall bei beiden Ansätzen äquivalent.From the optimal parameter set resulting according to the invention, it can now advantageously directly to the position of the camera by means of the variation approach can be closed, or it can alternatively be profitable analogous to one combinatorial comparison approach can be formulated an assignment problem that however, by knowing the optimal mapping of model structure and camera image is trivial. The representation of the respective result is for both in this case Approaches equivalent.

Im nachfolgenden soll die Erfindung im Detail im Rahmen von Ausführungsbeispielen und mit Hilfe von Figuren beschrieben werden.In the following, the invention will be described in detail within the scope of exemplary embodiments and be described with the help of figures.

Fig. 1 zeigt die Geometrien und die Physik, im wesentlichen die Strahlenoptik, im Zusammenhang mit dem Lochkameramodell. Fig. 1 shows the geometry and physics is essentially the ray optics, related to the pinhole camera model.

Fig. 2 zeigt unterschiedliche zu beachtende Koordinatensysteme Fig. 2 shows different coordinate systems to be observed

Fig. 3 zeigt das Ablaufdiagramm des erfindungsgemäßen Verfahrens (mit optionalen Pfaden) Fig. 3 shows the flowchart of the method according to the invention (with optional paths)

Fig. 4 stellt die Verhältnisse der Integration innerhalb eines Akkumulatorbildes klar Fig. 4 shows the ratios of integration within a clear Akkumulatorbildes

Fig. 5 zeigt einen zweidimensionalen Suchraum und einen Startsimplex für die Optimierung mittels dem Downhill-Simplex-Verfahren. Fig. 5 shows a two-dimensional search space and a starting simplex for the optimization using the Nelder-Mead method.

Parameter space

In vorteilhafter Weise bildet im Rahmen des Variationsansatzes innerhalb erfindungsgemäßen Verfahrens die Definition einer parametrisierbaren Transformation, die Modell und Bild aufeinander abbilden, den ersten Schritt. Es handelt sich hierbei um eine Designentscheidung, die heuristisch oder analytisch getroffen werden kann. Die einer Kamera zugrundeliegenden Geometrie und Physik, im wesentlichen die Strahlenoptik, wird jedoch im allgemeinen so gut verstanden, daß die Entscheidung für eine perspektivische Transformation leicht fällt.Advantageously forms within the scope of the variation approach the inventive method the definition of a parameterizable transformation, the first step is to map the model and image. It is about a design decision that can be made heuristically or analytically. The geometry and physics underlying a camera, essentially the Radiation optics, however, is generally understood so well that the decision for a perspective transformation is easy.

In der Literatur sind verschiedene Kameramodelle bekannt, die im wesentlichen auf einem Lochkameramodell beruhen und sich darin unterscheiden mit welcher Näherung die Eigenschaften realer Optiken erfaßt werden. In besonders vorteilhafter Weise werden Objektive mit langen Brennweiten eingesetzt, die in der Regel idealen Optiken sehr nahekommen. Daher ist das Lochkameramodell, entsprechend Fig. 1 mit seiner reinen perspektivischen Transformation eine adäquate Beschreibung und durch seine Einfachheit und Linearität mit Hilfe linearer Algebra explizit und effizient berechenbar.Various camera models are known in the literature, which are essentially based on a pinhole camera model and differ in the approximation with which the properties of real optics are detected. Lenses with long focal lengths, which generally come very close to ideal optics, are used in a particularly advantageous manner. The perforated camera model, corresponding to FIG. 1 with its pure perspective transformation, is therefore an adequate description and can be calculated explicitly and efficiently with its simplicity and linearity with the aid of linear algebra.

Die perspektivische Transformation, die einen Punkt im Raum auf eine Bildebene projiziert läßt sich in homogenen Koordinaten entsprechend der Gleichung 1 als Produkt schreiben:
The perspective transformation that projects a point in space onto an image plane can be written as a product in homogeneous coordinates according to equation 1:

Dabei erfaßt die linke Matrix die inneren und die rechte die äußeren Kameraparameter. Die rechte Matrix ist eine rigide Transformation, d. h. sie bewirkt eine Translation und Rotation, jedoch keine Skalierung oder Scherung. Dies ist mathematisch äquivalent mit der Eigenschaft, daß die Submatrix R orthonormal ist. Dies ist insofern bemerkenswert, als daß ihre Parameter r₁₁ bis r₃₃ dann keineswegs unabhängig sind, sondern auf genau drei unabhängige Parameter zurückgeführt werden können, welche die Rotation beschreiben. Mit den drei Parametern t₁ bis t₃, welche die Translation beschreiben, enthält die rechte Matrix also genau sechs äußere Kameraparameter für die jeweils drei Positions- und Orientierungsfreiheitsgrade der Kamera im Raum. Da ja gerade die Position und Orientierung des Flugkörpers variabel sind und bestimmt werden sollen, sind die äußeren Kameraparameter für den Variationsansatz relevant.The left matrix captures the inner and the right one the outer camera parameters. The right matrix is a rigid transformation, ie it causes translation and rotation, but no scaling or shear. This is mathematically equivalent to the property that the submatrix R is orthonormal. This is remarkable in that its parameters r ₁₁ to r _{33 are} in no way independent, but can be traced back to exactly three independent parameters which describe the rotation. With the three parameters t ₁ to t ₃ , which describe the translation, the right matrix thus contains exactly six outer camera parameters for the three degrees of position and orientation of the camera in space. Since the position and orientation of the missile are variable and should be determined, the outer camera parameters are relevant for the variation approach.

Die linke Matrix bewirkt die eigentliche perspektivische Projektion in die Bildebene durch den Quotienten w. Sie enthält genau sechs innere Kameraparameter, welche die Rasterung der Bildebene beschreiben. Der Parameter b wird mit Bildweite bezeichnet und hängt mit der Gegenstandsweite g und der Brennweite f wie folgt zusammen:
The left matrix effects the actual perspective projection into the image plane by the quotient w. It contains exactly six internal camera parameters that describe the rasterization of the image plane. The parameter b is called image width and is related to the object width g and the focal length f as follows:

Offenbar sind Bildweite und Brennweite für weit entfernte Gegenstände näherungsweise äquivalent. Die Parameter s_x und s_y beschreiben eine Skalierung und s_xy, eine Scherung in der Bildebene. Die Parameter c_x und c_y beschreiben eine Translation in der Bildebene. Sie bestimmen den Schnittpunkt der optischen Achse mit der Bildebene, den sogenannten Kamerahauptpunkt.Apparently, image distance and focal length are approximately equivalent for distant objects. The parameters s _x and s _y describe scaling and s _xy , shear in the image plane. The parameters c _x and c _y describe a translation in the image plane. You determine the point of intersection of the optical axis with the image plane, the so-called main camera point.

In elektronischen Kameras befindet sich regelmäßig in der Bildebene ein lichtempfindlicher CCD- oder CMOS-Chip mit einem orthogonalen Raster zumeist nahezu quadratischer Pixel. Die Indizierung dieses Rasters orientiert sich an einem seit langem in der Computergrafik und Bildverarbeitung etablierten Koordinatensystem, das wohl durch die zeilenweise Bildübertragung der frühen Fernsehtechnik motiviert ist. Es handelt sich hierbei um ein kartesisches Linkssystem, bei dem sich der Nullpunkt in der linken oberen Bildecke befindet. Jedes Pixel wird durch zwei ganzzahlige positive Indizes adressiert. In diesem Kontext können die inneren Kameraparameter wie folgt erklärt werden:
b: Bildweite, praktisch in der Regel durch Brennweite ersetzbar;
s_x: Kehrwert des horizontalen Pixelabstands (Pixeldichte), positives Vorzeichen;
s_y: Kehrwert des vertikalen Pixelabstands (Pixeldichte), negatives Vorzeichen;
s_xy: Pixelscherung, praktisch in der Regel vernachlässigbar, näherungsweise null;
c_x: Index des Kamerahauptpunktes horizontal, praktisch nahe Bildzentrum;
c_y: Index des Kamerahauptpunktes vertikal, praktisch nahe Bildzentrum.In electronic cameras, there is regularly a light-sensitive CCD or CMOS chip with an orthogonal grid, mostly almost square pixels, in the image plane. The indexing of this grid is based on a coordinate system that has long been established in computer graphics and image processing, which is probably motivated by the line-by-line image transmission of early television technology. It is a Cartesian link system with the zero point in the upper left corner of the picture. Each pixel is addressed by two integer positive indices. In this context, the internal camera parameters can be explained as follows:
b: image width, practically generally replaceable by focal length;
s _x : reciprocal of the horizontal pixel spacing (pixel density), positive sign;
s _y : reciprocal of the vertical pixel spacing (pixel density), negative sign;
s _xy : pixel shear, practically usually negligible, approximately zero;
c _x : index of the main camera point horizontally, practically close to the center of the image;
c _y : Index of the main camera point vertically, practically close to the center of the image.

Bemerkenswert ist, daß im Kontext der konkreten Anwendung alle inneren Kameraparameter konstant sind und nur einmal ermittelt und vorgegeben werden müssen. Die inneren Kameraparameter sind für den Variationsansatz nicht relevant.It is noteworthy that in the context of the concrete application all inner Camera parameters are constant and can only be determined and specified once have to. The internal camera parameters are not relevant for the variation approach.

Der nächste Schritt innerhalb des erfindungsgemäßen Verfahrens ist die Definition geeigneter Koordinatensysteme. Definitionsgemäß werden kartesische Koordinaten eingesetzt, weil sie am gebräuchlichsten und für diese Anwendung auch am kooperativsten sind. Entsprechend der Darstellung in Fig. 2 stehen insgesamt fünf verschiedene Koordinatensysteme zur Diskussion:
Weltkoordinatensystem: dreidimensionales, kartesisches Rechtssystem;
Modellkoordinatensystem: dreidimensionales, kartesisches Rechtssystem; Flugkörper- bzw.
Objektkoordinatensystem: dreidimensionales, kartesisches Rechtssystem;
Kamerakoordinatensystem: dreidimensionales, kartesisches Rechtssystem;
Bildkoordinatensystem: zweidimensionales, kartesisches Linkssystem;The next step within the method according to the invention is the definition of suitable coordinate systems. By definition, Cartesian coordinates are used because they are the most common and most cooperative for this application. According to the representation in Fig. 2, a total of five different coordinate systems are up for discussion:
World coordinate system: three-dimensional, Cartesian legal system;
Model coordinate system: three-dimensional, Cartesian legal system; Missile or
Object coordinate system: three-dimensional, Cartesian legal system;
Camera coordinate system: three-dimensional, Cartesian legal system;
Image coordinate system: two-dimensional, Cartesian link system;

Zwischen dem Weltkoordinatensystem und dem Modellkoordinatensystem besteht ein statischer Zusammenhang. Falls die Modellierung in Weltkoordinaten erfolgt, sind die beiden Systeme identisch. Zwischen den Objektkoordinaten, beziehungsweise den Flugkörperkoordinaten falls das Objekt als Träger der Kamera im Rahmen des erfindungsgemäßen Verfahrens einen Flugkörper darstellt, und den Kamerakoordinaten besteht ebenfalls ein statischer Zusammenhang, weil die Kamera fest am Flugkörper montiert ist. In analoger Weise besteht auch für den Fall eine definierte Zuordnung zwischen den Koordinaten der Kamera und einem Flugkörper bzw. Objekt, in welchem sich die Verhältnisse der Koordinatensysteme zueinander dynamisch verändern. Dies ist beispielsweise die Situation, wenn die zugrundeliegende Kinematik und ihre Parameter, beispielsweise bei der Verwendung eines programmierbaren, steuerbaren Schwenk- Neige-Kopfes, bekannt sind. Es existiert hierbei also eine konstante, rigide Transformation zur Umrechnung von Kamerakoordinaten und Flugkörperkoordinaten und umgekehrt, die von der Montage abhängt und einmal bestimmt werden muß. Das Kernproblem der Bestimmung der Flugkörperposition und -orientierung in Weltkoordinaten läßt sich offenbar umformulieren in ein Problem der Schätzung der Kameraposition und -orientierung in Modellkoordinaten aufgrund der zugehörigen Bildinformation.There is a between the world coordinate system and the model coordinate system static relationship. If the modeling is done in world coordinates, these are both systems identical. Between the object coordinates, or the Missile coordinates if the object as the carrier of the camera within the scope of the the inventive method represents a missile, and the camera coordinates there is also a static connection because the camera is firmly attached to the missile is mounted. In a similar way, there is also a defined assignment for the case between the coordinates of the camera and a missile or object in which the relationships between the coordinate systems change dynamically. This is for example the situation when the underlying kinematics and their parameters, for example when using a programmable, controllable swivel Tilt-head, are known. So there is a constant, rigid Transformation to convert camera coordinates and missile coordinates and vice versa, which depends on the assembly and must be determined once. The Core problem of determining the missile position and orientation in World coordinates can obviously be reformulated into a problem of estimating the Camera position and orientation in model coordinates based on the associated Image information.

Nun kann die zweiteilige perspektivische Transformation, entsprechend Gleichung Gl. 1, sehr anschaulich interpretiert werden. Die Lesart ist von rechts nach links. Der rechte Teil transformiert Punkte von Welt- oder Modellkoordinaten in Kamerakoordinaten und der linke weiter in Bildkoordinaten. Der rechte Teil kann auch als Position und Orientierung der Kamera in Welt- oder Modellkoordinaten betrachtet werden. Gesucht ist also gerade dieser rechte Teil, der von sechs unabhängigen Parametern abhängt. Now the two-part perspective transformation, according to equation Eq. 1, interpreted very clearly. The reading is from right to left. The right one Part transforms points from world or model coordinates to camera coordinates and the left one further in image coordinates. The right part can also be used as a position and Orientation of the camera can be viewed in world or model coordinates. Searched is just this right part, which depends on six independent parameters.

Damit ist ein sechsdimensionaler Parameterraum definiert, in dem genau ein Punkt (6- Tupel) und eine zugehörige perspektivische Transformation existiert, die Modell und Bild optimal aufeinander abbilden. Das Ziel des Variationsansatzes besteht im Auffinden genau dieser Transformation.This defines a six-dimensional parameter space in which exactly one point (6- Tuple) and an associated perspective transformation exists, the model and image map optimally to each other. The goal of the variation approach is to find it exactly this transformation.

Objective function

Um nach dem Variationsansatz eine optimale Lösung zu ermitteln, ist es gewinnbringend den Begriff "optimal" zunächst zu objektiveren. Das heißt, es muß eine Möglichkeit geschaffen werden, eine beliebige Lösung (n-Tupel im Parameterraum) hinsichtlich ihrer Güte zu bewerten, um sie mit anderen Lösungen vergleichen, sie gegebenenfalls zielgerichtet verbessern oder verwerfen zu können. Genau diesem Zweck dient die sogenannte Zielfunktion (Objective Function).In order to determine an optimal solution according to the variation approach, it is profitably the term "optimal" first to be more objective. That means there must be one Possibility to create any solution (n-tuple in the parameter space) to evaluate their goodness in order to compare them with other solutions, they to be able to improve or reject them if necessary. Exactly this The so-called objective function serves this purpose.

Aus mathematischer Sicht handelt es sich hierbei um eine Funktion, die einen vektoriellen Definitionsbereich (Parameterraum) auf einen skalaren Wertebereich (Güte) eindeutig abbildet.From a mathematical point of view, this is a function that one vectorial domain (parameter space) to a scalar range (quality) clearly maps.

Die Zielfunktion ist typischerweise hochgradig anwendungsspezifisch und an das Problem angepaßt. Sie bestimmt maßgeblich die Systemleistung. Die Verfahren hingegen, mit denen eine im Sinne der Zielfunktion optimale Lösung gesucht wird, sind prinzipiell austauschbar und frei wählbar. Bei ihrer Auswahl sind die jeweils gegebenen zum Teil diametralen Rahmenbedingungen beispielsweise hinsichtlich Rechenaufwand, Parallelisierbarkeit, Sicherheit, Konvergenzradius und dergleichen zu berücksichtigen. Für den Entwurf der Zielfunktion besteht in der Regel ein nahezu unbegrenzter Gestaltungsspielraum, der möglichst virtuos genutzt werden sollte. Eine gute Zielfunktion ist im Sinne der Aufgabenstellung signifikant und objektiv, effizient auswertbar, stetig und konvex (d. h. genau ein Optimum) oder, falls das nicht möglich ist, zumindest stetig und weich (d. h. wenige Nebenoptima).The objective function is typically highly application specific and to that Adjusted problem. It largely determines the system performance. The proceedings on the other hand, with which an optimal solution in the sense of the objective function is sought principally interchangeable and freely selectable. When selecting them, they are given partly diametrical framework conditions, for example with regard to computing effort, Parallelizability, security, convergence radius and the like. For the design of the target function there is usually an almost unlimited one Design scope that should be used as virtuously as possible. A good Target function is significant and objective, efficient in the sense of the task evaluable, continuous and convex (i.e. exactly one optimum) or, if that is not possible is, at least steady and soft (i.e. a few secondary optima).

In besonders vorteilhafter Weise läßt sich das erfindungsgemäße Verfahren mittels dreier unterschiedlicher Zielfunktionen ausgestalten, welche von zwei unterschiedlichen Optimierungsverfahren ausgewertet werden. Im nachfolgenden werden diese unterschiedlichen gewinnbringenden Ausgestaltungen der Erfindung im Detail erläutert. Hierbei beruhen alle drei unterschiedlichen Zielfunktionen im wesentlichen auf einer perspektivischen Transformation der Modellobjekte in Abhängigkeit des zu bewertenden Parametersatzes.The method according to the invention can be used in a particularly advantageous manner design three different target functions, which of two different ones Optimization procedures are evaluated. The following are these different profitable embodiments of the invention explained in detail. All three different target functions are essentially based on one Perspective transformation of the model objects depending on the one to be evaluated Parameter set.

Bei den Modellobjekten handelt es sich um ungerichtete Strecken mit zwei Endpunkten, die im folgenden Kanten genannt werden, und die zu Polygonen zusammengesetzt sein und Kurven annähern können. Um eine solche Strecke perspektivisch zu transformieren, reicht es aus, die beiden Endpunkte zu transformieren, denn Geraden sind unter der perspektivischen Transformation invariant. Nachdem die Modellobjekte auf das Bild abgebildet worden sind, brauchen nur noch diejenigen Objekte weiter betrachtet werden, die auch tatsächlich innerhalb des Bildbereiches liegen. Um diese Selektion aus Effizienzgründen noch vor der Transformation vornehmen zu können, wurde das bereits in Fig. 1 beschriebene Lochkameramodell um einen Sichtbarkeitskegel ergänzt, wodurch sich die Relevanz einzelner Modellobjekte aufgrund einfacher geometrischer Berechnungen (Strahlensatz) entscheiden läßt.The model objects are non-directional segments with two end points, which are called edges below, and which can be combined to form polygons and approximate curves. To transform such a route in perspective, it is sufficient to transform the two end points, because straight lines are invariant under the perspective transformation. After the model objects have been mapped to the image, only those objects that actually lie within the image area need to be viewed further. In order to be able to carry out this selection before the transformation for reasons of efficiency, the perforated camera model already described in FIG. 1 was supplemented by a visibility cone, as a result of which the relevance of individual model objects can be decided on the basis of simple geometric calculations (ray set).

Um die Güte einer Abbildung angeben zu können, muß für jedes einzelne Modellobjekt im Bildbereich untersucht werden, wie nahe es an einem korrespondierenden Bildobjekt liegt. Je besser das Mittel der Übereinstimmungen der Einzelobjekte ist, desto besser ist auch die Güte der Abbildung. Durch statistische Untersuchungen höherer Ordnung kann die Signifikanz des Gütemaßes weiter gesteigert werden. Beispielsweise ist eine höhere Güte anzunehmen, wenn alle Modellobjekte nur mäßig mit entsprechenden Bildobjekten korrespondieren, als wenn nur wenige Modellobjekte sehr gut mit entsprechenden Bildobjekten korrespondieren.In order to be able to indicate the quality of an image, each individual model object must be examined in the image area, how close it is to a corresponding image object lies. The better the mean of the matches of the individual objects, the better also the goodness of the illustration. Higher-order statistical studies can the significance of the quality measure can be further increased. For example, a higher one Goodness to assume if all model objects are only moderate with corresponding image objects correspond as if only a few model objects matched very well with corresponding ones Picture objects correspond.

Ein großer Vorteil des Variationsansatzes im Gegensatz zum kombinatorischen Ansatz liegt darin begründet, dass es möglich wird, bei einem geeigneten Entwurf der Zielfunktion auch ohne explizite Extraktion von diskreten Bildobjekten auszukommen. Dies ist insofern besonders vorteilhaft, als daß somit gleich zwei möglicherweise sehr aufwendige und fehlerträchtige Verfahrenschritte vermieden werden können, nämlich zum einen die Objektbildung selbst und zum andern die Lösung des Zuord nungsproblems von Bild- und Modellobjekten. Beispielsweise kann die Übereinstimmung von Modellkanten mit dem Bild einer Kamera auch ohne explizite Kanten in den Bilddaten mit Hilfe einer sogenannten Kantenabstandsfunktion, die an jeder beliebigen Position im Bild ein Maß für den Abstand zu den nächstgelegen Kanten liefert, bewertet werden.A great advantage of the variation approach compared to the combinatorial approach is based on the fact that it will be possible with a suitable design of the Objective function without explicit extraction of discrete image objects. This is particularly advantageous in that two may be very much the same elaborate and error-prone process steps can be avoided, namely on the one hand the object formation itself and on the other hand the solution of the assignment problems of image and model objects. For example, the Agreement of model edges with the image of a camera even without explicit Edges in the image data with the help of a so-called edge distance function, the any position in the image a measure of the distance to the nearest edges delivers, be evaluated.

Eine Kantenabstandsfunktion kann beispielsweise mit Hilfe eines geeigneten Kantenoperators, wie dem Sobeloperator, dem Prewittoperator oder dem Cannyoperator (Canny, J., A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 6, November 1986, p. 679-698), und eines Diffusionsmechanismus, wie der Auflösungspyramide, erreicht werden. Der Kantenoperator ermittelt für jeden Bildpunkt eine kontinuierliche Kantenstärke. Insbesondere wird weder eine harte, mehr oder weniger fehlerbehaftete Entscheidung über das Vorhandensein einer Kante, noch über deren Länge oder deren Endpunkte getroffen. Der Diffusionsmechanismus "ver schmiert" nun die kontinuierliche Kantenstärke über die umliegenden Bildpunkte, so daß anschließend für jeden Bildpunkt ein Maß für den Kantenabstand zur Verfügung steht. Er verleiht der Zielfunktion den gewünschten Grad an Unschärfe entsprechend den gewählten Auflösungsstufen.An edge distance function can, for example, with the help of a suitable one Edge operators, such as the Sobeloperator, the Prewittoperator or the Canny operator (Canny, J., A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 6, November 1986, p. 679-698), and a diffusion mechanism such as the Pyramid of dissolution. The edge operator determines for each pixel a continuous edge thickness. In particular, neither will be a hard, more or less erroneous decision about the presence of an edge, nor about their length or their end points. The diffusion mechanism "ver "now lubricates the continuous edge thickness over the surrounding pixels, so that a measure of the edge distance is then available for each pixel stands. It gives the target function the desired degree of blurring the selected resolution levels.

Von besonderem Interesse sind in diesem Zusammenhang die Hough-Transformationen des Bildes und des Modells. Da der Cannyoperator neben der Kantenstärke auch eine Kantenorientierung liefern kann, erfüllt er die Voraussetzung zu einer besonders effizienten Spielart der Hough-Transformation, bei der pro Bildpunkt lediglich ein Punkt im Houghraum akkumuliert werden muß. Der Houghraum stellt neben dem Bildraum und dem Modellraum einen dritten, sehr kooperativen Raum zur Bewertung einer Abbildung dar. Im Bildbereich kann die Antwort eines Kantenoperators insbesondere bei schwachen oder verrauschten Kanten zum Teil sehr unbefriedigend ausfallen. Dadurch, daß bei der Hough-Transformation alle Beiträge von Bildpunkten entlang einer geraden und eventuell auch unterbrochenen Kante idealerweise auf einen Punkt im Houghraum konzentriert werden, führt sie ein integrierendes Verhalten ein. Auch im Houghraum kann ein Diffusionsmechanismus, wie die Auflösungspyramide, angewendet werden, um solche Konzentrationen (Cluster) zu "verschmieren", und um wiederum zu einer Kantenabstandsfunktion zu gelangen, die der Zielfunktion die gewünschte Weichheit verleiht.The Hough transformations are of particular interest in this context the image and the model. Since the canny operator not only has the edge thickness, but also one Edge orientation, it fulfills the requirement for a special efficient variant of the Hough transformation, in which only one point per pixel must be accumulated in the hump room. The Houghraum stands next to the picture space and the model space a third, very cooperative space for evaluating one Illustration. In the image area, the answer of an edge operator can be particularly in the case of weak or noisy edges are sometimes very unsatisfactory. Thereby, that in the Hough transformation all contributions from pixels along a straight line and possibly also interrupted edge ideally to a point in the houghraum concentrated, it introduces an integrating behavior. Also in the Houghraum a diffusion mechanism, such as the pyramid of dissolution, can be used to to "smear" such concentrations (clusters), and in turn to become one Edge distance function to arrive, the target function the desired softness gives.

Im Bildraum kann die Bewertung einer Modellkante durch hinreichend viele Abtastungen der Kantenabstandsfunktion entlang einer abgebildeten Modellkante gewonnen werden. Da eine Gerade im Bildraum mit genau einem Punkt im Houghraum korrespondiert, reduziert sich dieser Aufwand im Houghraum in vorteilhafter Weise auf eine einzige Abtastung der Kantenabstandsfunktion. Dabei bleiben jedoch die Endpunkte der Modellkanten unberücksichtigt, da unter der Hough-Transformation nur die Steigung und der Abstand zu einem Referenzpunkt erhalten werden.In the image space, the evaluation of a model edge can be carried out using a sufficient number of scans the edge distance function along an imaged model edge. Since a straight line in the image space corresponds to exactly one point in the Houghraum, this effort in the hump room is advantageously reduced to a single one Sampling the edge distance function. However, the endpoints of the Model edges not taken into account, since only the slope is under the Hough transformation and the distance to a reference point can be obtained.

Optimization process

In der Literatur sind eine Vielzahl von Verfahren zur numerischen Bestimmung von Funktionsminima oder -maxima bekannt. Die Funktionen in diesem Kontext sind meist hoch-dimensional, nicht-linear und nicht explizit analytisch bekannt, da ja die Bestimmung von Extremwerten sonst trivial wäre. Die meisten dieser Verfahren arbeiten iterativ, indem sie von einem mehr oder minder guten Startwert ausgehend durch zielgerichtetes Probieren schrittweise gegen eine Lösung konvergieren. In jeder Iteration werden die jeweilige Zielfunktion und je nach Verfahren auch deren partiellen Ableitungen ausgewertet. Verfahren, die partielle Ableitungen benötigen, konvergieren in der Regel schneller, jedoch ist die Berechnung dieser Ableitungen oft mit einem erheblichen Mehraufwand und einer erheblichen Einschränkung des Gestaltungsspielraumes für den Entwurf der Zielfunktion verbunden.A large number of methods for the numerical determination of Functional minima or maxima known. The functions in this context are mostly high-dimensional, non-linear and not explicitly known analytically, because yes Determining extreme values would otherwise be trivial. Most of these procedures work iteratively by starting from a more or less good starting value Targeted testing gradually converges to a solution. In each Iteration becomes the respective objective function and, depending on the method, also its partial one Derivatives evaluated. Methods that require partial derivatives converge in usually faster, but the calculation of these derivatives is often with a considerable additional effort and a considerable limitation of the Design leeway combined for the design of the target function.

In besonders vorteilhafter Weise läßt sich das erfindungsgemäße Verfahren zur Positions- und Lageschätzung durch die Verwendung des Downhill-Simplex-Verfahren (Press, W. H.; Teulosky, S. A.; Vetterling, W. T.; Flannery, B. P., Numerical Recipes in C, Reprinted Second Edition 1994, Press Syndicate of the University of Cambridge) oder des Bipartitionsverfahren im Rahmen der Optimierung bezüglich des Abgleichs zwischen den Bilddaten einer Kamera und Modellstrukturen ausgestalten. Dies vor allem aus dem Grund, dass diese beiden Optimierungsverfahren ohne partielle Ableitungen auskommen.The process according to the invention can be carried out in a particularly advantageous manner for position and position estimation by using the downhill simplex method (Press, W. H .; Teulosky, S. A .; Vetterling, W. T .; Flannery, B.P., Numerical Recipes in C, Reprinted Second Edition 1994, Press Syndicate of the University of Cambridge) or the bipartition procedure as part of the optimization with regard to the comparison between the image data of a Design the camera and model structures. This is mainly because of the fact that this both optimization methods can do without partial derivations.

Bei nichtlinearen Funktionen kann es neben einem globalen Optimum noch weitere lokale Optima geben. Unglücklicherweise kann kein aus dem Stand der Technik bekanntes praktikables Verfahren garantieren, gegen das globale Optimum zu konvergieren. Es besteht vielmehr stets die Gefahr der Konvergenz gegen ein lokales Optimum. Ob es sich bei einer Lösung um ein globales oder ein lokales Optimum handelt, kann in der Regel nicht festgestellt werden. Falls mehrere, teilweise bessere Lösungen existieren und bekannt sind, kann lediglich ausgeschlossen werden, daß es sich bei einer Lösung um ein globales Optimum handelt. Da man praktisch aber nur an globalen Optima interessiert ist, müssen geeignete Maßnahmen ergriffen werden, um diese Problematik zu entschärfen. Bestimmte Optimierungsverfahren sind sehr robust gegenüber lokalen Optima, wie beispielsweise das Simulated Annealing. Diese Robustheit geht jedoch mit einem meist inakzeptablen Rechenaufwand einher. Lokale Optima können auch durch die Wahl des Startwertes vermieden werden. Denn meist sind durch die Investition von anwendungsspezifischem Modellwissen gute Schätzungen für das globale Optimum möglich und damit auch engere Konvergenzradien zugänglich. Der Konvergenzradius kann mit Hilfe weicher Zielfunktionen vergrößert werden. In the case of nonlinear functions, there may be others in addition to a global optimum give local optima. Unfortunately, none of the prior art well-known practicable procedure guarantee against the global optimum converge. Rather, there is always a risk of convergence against a local one Optimum. Whether a solution is a global or a local optimum usually cannot be determined. If there are several, sometimes better ones Solutions exist and are known, it can only be excluded that it a solution is a global optimum. Since one is practically only on appropriate global measures, appropriate measures must be taken to to defuse this problem. Certain optimization methods are very robust compared to local optima, such as simulated annealing. These However, robustness goes hand in hand with a mostly unacceptable computing effort. Local Optima can also be avoided by choosing the starting value. Because mostly are good estimates by investing application-specific model knowledge possible for the global optimum and thus also narrower radii of convergence accessible. The radius of convergence can be increased using soft objective functions.

Das Downhill-Simplex-Verfahren beruht auf einem Simplex, der von einer Menge von Eckpunkten im Parameterraum aufgespannt wird. Ein Simplex ist eine einfache geometrische Struktur mit n + 1 Ecken im n-dimensionalen Raum. Dies ist beispielsweise ein Dreieck in 2D oder ein Tetraeder in 3D. Zunächst wird jeder Eckpunkt des Simplex im Sinne der Zielfunktion bewertet. Anschließend wird iterativ der jeweils schlechteste Eckpunkt durch einen besseren ersetzt. Dafür stehen vier verschiedene Regeln zur Verfügung: Reflektion, Reflektion mit Expansion, Kontraktion und multiple Kontraktion. In Abhängigkeit vom Startsimplex expandiert sich der Simplex, schreitet in Richtung Optimum und kontraktiert sich schließlich. Die Iteration wird nach einer maximalen Anzahl von Schritten abgebrochen oder wenn sich der Simplex an einem Optimum kontraktiert hat. Der Parameterraum wird dabei jeweils an den Eckpunkten des Simplex diskret abgetastet und bewertet.The downhill simplex method is based on a simplex that consists of a lot of Corner points in the parameter space. A simplex is a simple one geometric structure with n + 1 corners in n-dimensional space. For example, this is a triangle in 2D or a tetrahedron in 3D. First, every corner of the simplex evaluated in terms of the objective function. Then the worst is iteratively Corner point replaced by a better one. There are four different rules for this Available: reflection, reflection with expansion, contraction and multiple contraction. Depending on the start sim, the simplex expands and moves in the direction Optimal and finally contracts. The iteration is after a maximum Number of steps canceled or if the simplex is at an optimum has contracted. The parameter space is always at the corner points of the Simplex discretely scanned and evaluated.

Beim Bipartitionsverfahren werden im Gegensatz zum Downhill-Simplex-Verfahren nicht diskrete Punkte im Parameterraum, sondern kontinuierliche Volumina bewertet. Ausgehend von einem hinreichend großen Startvolumen, das die optimale Lösung sicher enthält, wird in jeder Iteration das jeweilige Volumen in jeder Dimension halbiert. So entstehen 2ⁿ Subvolumina, die im Sinne der Zielfunktion bewertet werden. Das jeweils beste Subvolumen wird bis zu einer minimalen Größe weiterverarbeitet, mit dem Ziel die optimale Lösung sukzessive einzugrenzen. Im Interesse der Effizienz kann es vorteilhaft sein, Zugeständnisse an die Objektivität der Zielfunktion zu machen. In diesem Fall ist es möglich die jeweils n besten Subvolumina weiterzuverarbeiten, um etwaige Fehlentscheidung wieder heilen zu können.In contrast to the downhill simplex method, the bipartition method does not evaluate discrete points in the parameter space, but continuous volumes. Starting from a sufficiently large starting volume that certainly contains the optimal solution, the volume in each dimension is halved in each iteration. This creates 2 ⁿ subvolumes, which are evaluated in terms of the objective function. The best sub-volume is processed to a minimum size with the aim of successively narrowing down the optimal solution. In the interest of efficiency, it can be advantageous to make concessions to the objectivity of the target function. In this case, it is possible to process the n best subvolumes in order to be able to heal any wrong decision.

In besonders vorteilhafter Weise eignet sich die Hough-Transformation als sehr effiziente Zielfunktion zur Bewertung solcher Volumina. Eine mit einer bestimmten perspektivischen Transformation in den Bildraum abgebildete Modellkante korrespondiert im Houghraum mit einem Punkt. Ein Volumen im Parameterraum beinhaltet eine Menge von Parametersätzen mit den zugehörigen Transformationen. Unter der Wirkung dieser Menge von Transformationen wird eine Modellkante auf eine Kantenschar im Bildraum, die mit einem zusammenhängenden Gebiet im Houghraum korrespondiert, abgebildet. Dies läßt sich aus einfachen Überlegungen zur Stetigkeit schlußfolgern. Das zusammenhängende Gebiet im Houghraum läßt sich effizient abschätzen, indem man nur die Transformationen, die zu den Ecken des zu bewertenden Volumens gehören, betrachtet. Da sie das zu bewertende Volumen im Parameterraum aufspannen, spannen sie angewandt auf jede Modellkante näherungsweise auch die zusammenhängenden Gebiete im Houghraum auf.In a particularly advantageous manner, the Hough transformation is very suitable efficient target function for evaluating such volumes. One with one certain perspective transformation in the model space depicted in the image space corresponds to a point in the Houghraum. A volume in the parameter space contains a set of parameter sets with the associated transformations. Under the effect of this set of transformations, a model edge is placed on a Sharp edges in the image space, that with a contiguous area in the Houghraum corresponds, depicted. This can be done from simple consistency considerations Conclude. The contiguous area in the Houghraum can be efficiently Estimate only by the transformations that go to the corners of the belong to the evaluating volume. Since they are the volume to be assessed in Spread parameter space, apply it to each model edge approximately also the contiguous areas in the Houghraum.

Vorteilhaft ist eine Approximation dieser Gebiete im Houghraum mit achsenparallelen Rechtecken (bounding box), da man die darin enthaltene Kantenstärke sehr effizient wiederum über die Betrachtung ihrer Ecken berechnen kann. Etwaige durch diese Näherungen verursachte Fehlentscheidungen, können wieder geheilt werden, indem man mehrere Alternativen bei der Optimierung verfolgt. Die Näherungen sind um so gröber, je größer die zu bewertenden Volumina sind. Die Anzahl der Alternativen kann also über die Iteration degressiv eingestellt werden. Der Aufwand pro Iteration sinkt demnach mit der Größe der zu bewertenden Volumina. Dadurch kann überproportionale Effizienzsteigerung erreicht werden, falls sich das Anfangsvolumen aufgrund von anwendungsspezifischem Modellwissen verkleinern läßt.An approximation of these areas in the Houghraum with axially parallel is advantageous Rectangles (bounding box) because the edge strength contained therein is very efficient can in turn calculate by looking at their corners. Any through this Wrong decisions caused by approximations can be cured by one pursues several alternatives in the optimization. The approximations are the same coarser, the larger the volumes to be assessed. The number of alternatives can can be adjusted degressively via the iteration. The effort per iteration is reduced accordingly with the size of the volumes to be assessed. This can cause disproportionate Efficiency increase can be achieved if the initial volume due to can reduce application-specific model knowledge.

System implementation

Fig. 3 zeigt das Ablaufdiagramm des erfindungsgemäßen Verfahrens zur Lage- und Positionsschätzung. In dem Diagramm sind als parallele Pfade, mögliche vorteilhafte Ausgestaltungen des Verfahrens, welche optional beschritten werden können, aufgezeigt. Fig. 3 shows the flowchart of the method for attitude and position estimation. The diagram shows possible advantageous embodiments of the method, which can optionally be followed, as parallel paths.

In gewinnbringender Weise ist das erfinderische Verfahren modular aufgebaut und gliedert sich in die zwei Bereiche
In a profitable way, the inventive method has a modular structure and is divided into two areas

- preprocessing
- and matching procedures,

welche in der Prozesskette aufeinander folgen.which follow each other in the process chain.

Die einzelnen Schritte der Vorverarbeitung gliedern sich dabei in die sequentiell aufeinander folgenden, zum Teil optionalen Module
The individual preprocessing steps are divided into the sequentially consecutive, sometimes optional modules

- edge operator (Sobel or Canny),
- optional transformation (hough, distance),
- optional edge distance function (resolution pyramid and recomposition for Diffusion),
- and optional integration of the accumulator image

Bei der Implementierung der einzelnen Module der Vorverarbeitung ist es vorteilhaft darauf zu achten, dass möglichst hardware-orientierte Verfahren und Strukturen zu verwenden, um eine hardware-technische Realisierung des Verfahrens in integrierter Form als Prozessor-Bauteil zu erleichtern.It is advantageous when implementing the individual preprocessing modules to ensure that the most hardware-oriented processes and structures possible use a hardware-technical implementation of the method in an integrated manner To facilitate shape as a processor component.

filter

Die erfindungsgemäße Aufgabe besteht in einem Abgleich von Bilddaten, insbesondere von darin enthaltenen linienartigen Strukturen, einer Kamera mit Modellstrukturen. Daher steht am Anfang der Vorverarbeitung als erster Schritt ein Kantenfilter. Mit Hilfe eines solchen Kantenfilters wird versucht, die Original-Bilddaten der Kamera so zu verarbeiten, dass nur noch kantenhafte Strukturen übrigbleiben (Kantenbild). In besonders vorteilhafter Weise eignet sich hierzu ein Sobel-Filter. Es ist gleichwohl aber auch denkbar an dessen Stelle ein Canny-Filter zu verwenden.The object according to the invention consists in comparing image data, in particular of line-like structures contained therein, a camera with model structures. Therefore, the first step at the beginning of preprocessing is an edge filter. With help Such an edge filter tries to match the original image data of the camera Process that only edge-like structures remain (edge image). In A Sobel filter is particularly advantageous for this. Nevertheless, it is it is also conceivable to use a Canny filter instead.

Hough transformation

In realen Bilddaten treten häufig Texturen mit zum Teil starken Gradienten in wechselhaften Richtungen auf, die sich schädlich auf die Systemleistung des erfindungsgemäßen Verfahrens auszuwirken drohen. Um dies zu vermeiden kann in einer vorteilhaften Ausgestaltung der Erfindung als optionaler Zwischenschritt eine vereinfachte Hough-Transformation eingeführt werden. Voraussetzung ist hierfür ein vorangestellter Kantenfilter, der neben der Kantenstärke auch eine hinreichend genaue Schätzung für die Kantenrichtung (dx, dy) innerhalb der zweidimensionalen Bilddaten liefert. In vorteilhafter Weise genügt der zuvor erwähnte Canny-Filter diesen Anforderungen.Textures with sometimes strong gradients often occur in real image data changeable directions that are detrimental to system performance threaten to impact the inventive method. To avoid this in one advantageous embodiment of the invention as an optional intermediate step simplified Hough transformation will be introduced. A prerequisite for this is prefixed edge filter, which in addition to the edge thickness also a sufficiently accurate Estimation for the edge direction (dx, dy) within the two-dimensional image data delivers. The aforementioned Canny filter advantageously meets these requirements Conditions.

Bei der vereinfachten Hough-Transformation wird ein Akkumulatorbild erzeugt. Dabei wird gedanklich durch jeden Bildpunkt des Kantenbildes eine Gerade mit der geschätzten Kantenrichtung gelegt. Diese Gerade wird beschreiben durch den Steigungswinkel Phi und den Abstand r von einem Referenzpunkt, beispielsweise dem Mittelpunkt des Kantenbildes. Die Parameter r und Phi ergeben die Position der Geraden durch diesen Bildpunkt im Akkumulatorbild wieder. Der Wert des Akkumulators an der Position (r, Phi) wird gewichtet mit dem Wert der Kantenstärke an diesem Bildpunkt inkrementiert. Dadurch sammeln sich die Intensitäten entlang einer idealen Kante in einem Punkt des Akkumulatorbildes. Da ein Kantenfilter insbesondere bei realem, Datenmaterial im allgemeinen keine idealen, sondern "ausgefranste" Kanten liefert, erhält man für eine Kante im Kantenbild nicht einen Punkt, sondern einen Cluster im Akkumulator. Die erzielbare Genauigkeit wird einerseits von der Güte des Kantenfilters und andererseits von der Dimension des Akkumulatorfeldes bestimmt.With the simplified Hough transformation, an accumulator image is generated. Here mentally a line with the estimated edge direction. This straight line is described by the Pitch angle Phi and the distance r from a reference point, for example the Center of the edge image. The parameters r and Phi give the position of the Straight through this pixel in the accumulator image again. The value of the accumulator at the position (r, Phi) is weighted with the value of the edge thickness at this Incremented pixel. As a result, the intensities collect along an ideal Edge in a point on the accumulator image. Because an edge filter in particular real, data material generally not ideal, but "frayed" edges , you get a cluster for an edge in the edge image, not a point in the accumulator. The achievable accuracy is dependent on the quality of the Edge filter and on the other hand determined by the dimension of the accumulator field.

Bei gerichteten Kanten, wenn also ihre Orientierung definiert ist (z. B. links hell, rechts dunkel), ergibt sich ein Wertebereich von ±r für den Abstand der Kante vom Referenzpunkt, sowie ±180 Grad für den Steigungswinkel. Das erfindungsgemäße Verfahren sollte jedoch in gewinnbringender Weise so ausgelegt werden, dass es in der Lage ist generell mit ungerichteten Kanten umzugehen, so dass die Orientierung der Modellkanten nicht berücksichtigt werden muss. In diesem Fall ist die Adressierung des Akkumulatorfeldes nicht eindeutig, beispielsweise sind die Positionen (r, Phi) und (-r, Phi ±180°) substituierbar. Daher werden sowohl die vom Canny-Filter gelieferten Richtungswerte für beide Orientierungen (dx, dy) und (-dx, -dy) in das Akkumulatorfeld eingetragen. Vermutlich läßt sich die Systemleistung durch die Berücksichtigung der Orientierung der Modellkanten noch steigern, falls diese gegenüber meteorologischen und klimatischen Einflüssen invariant sind. Die Orientierungsinformation ist beispielsweise gerade bei parallelen Doppelkanten (z. B. dunkel, hell, dunkel) signifikant.For directed edges, i.e. if their orientation is defined (e.g. bright left, right dark), there is a value range of ± r for the distance of the edge from Reference point and ± 180 degrees for the pitch angle. The invention However, the process should be designed in a profitable manner so that it is in the Location is generally to deal with non-directional edges, so that the orientation of the Model edges do not have to be taken into account. In this case the addressing of the Accumulator field is not unique, for example the positions (r, Phi) and (-r, Phi ± 180 °) substitutable. Therefore, both those supplied by the Canny filter Direction values for both orientations (dx, dy) and (-dx, -dy) in that Accumulator field entered. The system performance can probably be determined by the Increase consideration of the orientation of the model edges if this are invariant to meteorological and climatic influences. The Orientation information is, for example, especially for parallel double edges (e.g. dark, light, dark) significant.

In der Praxis ist es denkbar das die zur Verfügung stehenden Bilddaten eine Auflösung von 256 × 256 Pixeln haben. Dies entspräche einer Diagonale von rund 362 Pixeln. Dementsprechend wären bei einem Referenzpunkt in der Bildmitte eine Auflösung des Akkumulatorfeldes von 768 = 3.28 für -180° < r < +180° und 512 = 2.2⁸ für -180° < Phi < +180° eine gute Wahl. Dies entspräche einem Quantisierungsfehler von weniger als einem Pixel und weniger als einem Grad.In practice, it is conceivable that the available image data have a resolution of 256 × 256 pixels. This would correspond to a diagonal of around 362 pixels. Accordingly, a resolution of the accumulator field of 768 = 3.28 for -180 ° <r <+ 180 ° and 512 = 2.2 ⁸ for -180 ° <Phi <+ 180 ° would be a good choice for a reference point in the center of the image. This would correspond to a quantization error of less than one pixel and less than one degree.

In besonders vorteilhafter Weise könnte bei ungerichteten Kanten die Hälfte des Akkumulatorfeldes (r < 0 bzw. Phi < 0) eingespart werden, da durch die doppelte Inkrementierung des Akkumulators eine Punktsymmetrie entsteht.In a particularly advantageous manner, half of the Accumulator field (r <0 or Phi <0) can be saved because of the double Incrementing the accumulator creates a point symmetry.

Da am Rand des Akkumulatorfeldes unter Umständen aufwendige und eventuell fehlerträchtige Fallunterscheidungen auftreten, kann in gewinnbringender Weise der Winkelbereich in obigem Bild links und rechts um jeweils 180 Grad periodisch fortgesetzt werden. Dabei muss jedoch eine Verdopplung des Speicheraufwandes in Kauf genommen werden. Der Rechenaufwand für das Kopieren der Daten in diesen zusätzlichen Speicherbereich ist jedoch verschwindend gering gegenüber der für die Fallunterscheidungen notwendigen Rechenleistung.Because at the edge of the accumulator field can be complex and possibly error-prone case distinctions can occur in a profitable manner Angular range in the picture above left and right periodically by 180 degrees to be continued. However, a doubling of the storage effort in Purchase. The computing effort for copying the data into it additional storage area is however negligible compared to that for the Case distinctions necessary computing power.

Distance transformation

Die Distanztransformation beschreibt für jedes Pixel eines Kantenbildes den Abstand zum nächst liegenden Pixel einer Kante. Dabei bietet es sich gewinnbringend an, vor der eigentlichen Distanztransformation das kantengefilterte Bild zu binarisieren, die Binärkanten ggf. auszudünnen, sowie das restliche Rauschen zu unterdrücken.The distance transformation describes the distance for each pixel of an edge image to the nearest pixel of an edge. It offers itself profitably before the actual distance transformation to binarize the edge filtered image If necessary, thin out the binary edges and suppress the remaining noise.

Binarization

Zur Binarisierung eines Grauwertbildes mit Werten z. B. zwischen 0-255 benötigt man zunächst eine geeignete Binarisierungsschwelle innerhalb des Wertebereiches (z. B. 20). Alle Pixel mit einem Wert größer als der Schwellwert werden auf den Maximalwert, alle Pixel mit kleineren Werten auf den Minimalwert gesetzt.To binarize a gray scale image with values e.g. B. between 0-255 is required First a suitable binarization threshold within the range of values (e.g. 20). All pixels with a value greater than the threshold will be at the maximum value, all Pixels with smaller values set to the minimum value.

Thinning edges

Da ein Kantenfilter je nach eingestellten Parametern unter Umständen Kanten liefert, die mehr als ein Pixel breit sind, bietet es sich an die Kantenbilder entsprechen auszudünnen. Dies geschieht im Rahmen des erfindungsgemäßen Verfahrens in vorteilhafter Weise im Anschluß an die Binarisierung. Hierzu eignet sich gewinnbringend ein Algorithmus der auf einem Verfahren nach Haralick und Shapiro (Haralick; Shapiro, Computer and Robot Vision, Vol. 1, Chapter 5) basiert. Durch ein solches Ausdünnen der Kanten erhält man in späteren Stufen des erfindungsgemäßen Verfahrens ein genaueres Distanzbild.Since an edge filter may deliver edges depending on the set parameters, which are more than one pixel wide, it offers itself to correspond to the edge images to thin out. This takes place in the context of the method according to the invention in advantageously following the binarization. This is profitable an algorithm based on a method according to Haralick and Shapiro (Haralick; Shapiro, Computer and Robot Vision, Vol. 1, Chapter 5). Through such thinning the edges are obtained in later stages of the method according to the invention more precise distance image.

Noise reduction

Des weiteren ist es denkbar gewinnbringend einen weiteren optionalen Vorverarbeitungsschritt dahingehend in des erfindungsgemäße Verfahren einzufügen, dass kleine Kantenfragmente unterdrückt werden. Eine solche Unterdrückung kommt einer Rauschunterdrückung gleich. Einstellbare Parameter können hierbei die minimale akzeptable Länge von Kantenfragmenten, sowie die Nachbarschaftsbeziehungen der einzelnen Pixel (z. B.: 4 oder 8 Nachbarpixel) sein.Furthermore, it is conceivably profitable another optional To insert preprocessing step in the inventive method, that small edge fragments are suppressed. Such suppression is coming like a noise reduction. Adjustable parameters can be the minimum acceptable length of edge fragments, as well as the neighborhood relationships of the individual pixels (e.g. 4 or 8 neighboring pixels).

Distance transformation

Die Distanztransformation wird auf einem nach den vorab beschriebenen Schritten vorverarbeiten Binärbild ausgeführt. Dabei werden vorzugsweise alle Pixel des Bildes mit Binärwerten < 0 auf den Wert 0, mit Binärwerten = 0 auf einen maximalen Wert (maxDist) initialisiert. Dieser Maximalwert maxDist gibt an, wie weit die Distanz berechnet werden soll, d. h. Pixel mit einer weiteren Distanz zu einem Kantenpixel werden auf diesen Maximalwert gesetzt.The distance transformation is based on one of the steps described above preprocessing binary image executed. All pixels of the image are preferred with binary values <0 to the value 0, with binary values = 0 to a maximum Initialized value (maxDist). This maximum value maxDist indicates how far the distance should be calculated, d. H. Pixels with a further distance to an edge pixel are set to this maximum value.

Anschließend wird in gewinnbringender Weise das Bild jeweils von links oben nach rechts unten durchlaufen und die Entfernung der jeweiligen Pixel zu einer Kante mittels einer 3 × 3-Distanzmatirx vorwärts bzw. rückwärts propagiert. Die Distanzmatrix D hat dabei folgende Form:
The image is then run through in a profitable manner from top left to bottom right and the distance of the respective pixels to an edge is propagated forwards or backwards using a 3 × 3 distance matrix. The distance matrix D has the following form:

Die Werte der Distanzmatrix D stellen eine recht gute ganzzahlige Näherung der euklidischen Distanz dar, wobei die Einträge gedanklich halbiert werden müssen. Die horizontalen und vertikalen Nachbarn der Matrixmitte (0) haben den Distanzwert 2 (Distanz = 1), die diagonalen Nachbarn haben den Distanzwert 3 (Distanz = 1.5 als Näherung zu √2).The values of the distance matrix D represent a fairly good integer approximation of the Euclidean distance, the entries must be halved mentally. The horizontal and vertical neighbors of the matrix center (0) have the distance value 2 (Distance = 1), the diagonal neighbors have the distance value 3 (distance = 1.5 as Approximation to √2).

Trifft man beim Vorwärtsdurchlauf durch das Bild erstmals auf ein Pixel mit dem Wert 0, so kann man ausgehend von dieser Position anhand der Distanzmatrix die Distanzen der nachfolgenden Pixel (rechts unten) ausgehend von diesem Pixel berechnen. Beim Rückwärtsdurchlauf erfolgt die Distanzpropagation genau umgekehrt, ausgehend von einem Pixel mit Wert 0 nach links oben. Sind hierbei schon Distanzwerte kleiner als der initialisierte Maximalwert eingetragen, so ist das jeweilige Minimum aus bisherigem Wert und neu propagiertem Distanzwert einzutragen. Abschließend ergibt sich ein Distanzbild als Grauwert-Bild, bei dem die Entfernung eines Pixels zum nächsten Kantenpixel einem Helligkeitswert entspricht, wobei die genäherte euklidische Distanz zwischen Pixel und nächstem Kantenpixel der Hälfte des Grauwertes entspricht.If you first encounter a pixel with the value 0 while moving forward through the image, So you can start from this position using the distance matrix calculate the following pixels (bottom right) based on this pixel. At the Backward traversal, the distance propagation is exactly the opposite, starting from a pixel with the value 0 to the top left. Are distance values smaller than that initialized maximum value is entered, the respective minimum is from the previous one Value and newly propagated distance value. In conclusion there is a Distance image as a gray value image, in which the distance of one pixel to the next Edge pixel corresponds to a brightness value, the approximated Euclidean distance between the pixel and the next edge pixel corresponds to half the gray value.

Durch die Distanztransformation entsteht ein diffuses Bild, das ähnliche Eigenschaften mit der in nächsten Abschnitt beschriebene Auflösungspyramide hat.The distance transformation creates a diffuse image that has similar properties with the pyramid of dissolution described in the next section.

Dissolution pyramid

Die Auflösungspyramide ist ein probates Mittel zur Diffusion, um aus dem Kantenbild oder Hough-Bild eine weiche Kantenabstandsfunktion und damit eine gutartige Zielfunktion zu realisieren.The pyramid of dissolution is a tried and tested means of diffusion to get out of the edge image or Hough image a soft edge distance function and thus a benign Realize objective function.

Die Anzahl der Stufen einer Auflösungspyramide hängt in der Regel von ihrer Steigung und von der Größe des zugrundeliegenden Bildes ab. In besonders gewinnbringender Weise wird innerhalb des erfindungsgemäßen Verfahren die Anzahl der Pixel in jeder Stufe halbiert oder geviertelt, bis zu einer Anzahl von typisch 6 Stufen. Die Basis der Auflösungspyramide ist das Kantenbild oder das Hough-Bild selbst. Jede weitere Stufe ergibt sich aus der vorgehenden Stufe durch Tiefpassfilterung und Unterabtastung. Als Tiefpassfilter ist es denkbar aus Effizienzgründen ein 3 × 3 Binomialfilter zu verwenden. Bei dieser Informationsreduktion werden je nach Reduktionsfaktor mehrere Pixel der aktuellen Ebene zu einem Pixel der darüberliegenden Ebene zusammengefaßt. Dadurch wird die Information von einer Ebene zur nächsten um den Faktor 4 ausgedünnt.The number of levels in a pyramid of resolution usually depends on its slope and the size of the underlying image. In a particularly profitable way The number of pixels in each is determined within the method according to the invention Level halved or quartered, up to a number of typically 6 levels. The base of the The pyramid of dissolution is the edge image or the Hough image itself. Each additional level results from the previous stage by low-pass filtering and subsampling. As Low-pass filter, it is conceivable to use a 3 × 3 binomial filter for reasons of efficiency. With this information reduction, depending on the reduction factor, several pixels of the current layer combined into a pixel of the layer above. Thereby the information is thinned out from one level to the next by a factor of 4.

Composition of the pyramid

Eine sehr gutartige Kantenabstandsfunktion erhält man beispielsweise durch gewichtete Addition über alle Pyramidenstufen, wobei die nächste Stufe immer mit dem doppelten Gewicht der Vorgängerstufe gewichtet wird. Die einzelnen Stufen werden durch Interpolation auf das Format des Basisbildes gebracht.A very benign edge distance function can be obtained, for example, by weighted Addition over all pyramid levels, the next level always being double Weight of the previous level is weighted. The individual stages are through Interpolation brought to the format of the basic image.

Integration of the accumulator image

Ausschließlich für die Anwendung des Bipartitionsverfahrens ist der im folgenden beschriebene Vorverarbeitungsschritt nötig, der an Stelle der Pyramidenbildung auf das houghtransformierte Akkumulatorbild angewandt wird. Die einzelnen Verhältnisse einer solchen Integration innerhalb eines Akkumulatorbildes sind in Fig. 4 dargelegt.The preprocessing step described below, which is used instead of the pyramid formation on the high-transformed accumulator image, is required exclusively for the use of the bipartition method. The individual relationships of such an integration within an accumulator image are set out in FIG. 4.

Das Bipartitionsverfahren benötigt zur Berechnung der Zielfunktion im Gegensatz zum Downhill-Simplex-Verfahren auf Hough-Bildern nicht die Bewertung eines einzelnen Punktes des Akkumulatorbildes, sondern eines in Näherung rechteckigen; entsprechend der obigen Diskussion des Optimierungsverfahrens auf Basis des Bipartitionsverfahrens. Zur Vermeidung unzähliger Summationen bei jeder Berechnung der Zielfunktion wird vorzugsweise das Akkumulatorbild vorab integriert, das heißt zuerst zeilenweise und dann spaltenweise aufaddiert. Dadurch enthält ein Punkt P im integrierten Akkumulatorfeld die Bewertung aller Punkte in dem durch die Diagonale zwischen Ursprung (0) und P aufgespannten Rechteck des originalen Akkumulatorbildes (Fig. 4a), b)).In contrast to the downhill simplex method on Hough images, the bipartition method does not require the evaluation of a single point of the accumulator image, but rather an approximate rectangular one to calculate the target function; according to the above discussion of the optimization process based on the bipartition process. In order to avoid countless summations each time the target function is calculated, the accumulator image is preferably integrated in advance, that is to say added first row by row and then column by column. As a result, a point P in the integrated accumulator field contains the evaluation of all points in the rectangle of the original accumulator image spanned by the diagonal between origin (0) and P ( FIG. 4a), b)).

Die Bewertung aller Punkte innerhalb eines beliebigen achsenparallelen Rechtecks (A, B, C, D) erhält man, indem im integrierten Akkumulatorfeld von der Bewertung im Punkt D die Bewertungen für B und C subtrahiert und die Bewertungen für A wieder addiert werden.The evaluation of all points within any axis parallel Rectangle (A, B, C, D) can be obtained by using the in the integrated accumulator field Rating in point D subtracts the ratings for B and C and the ratings for A can be added again.

Matching procedure

Im nachfolgenden werden die vier, im Rahmen des erfindungsgemäßen Verfahrens zur Positions- und Lageschätzung besonders vorteilhaften Algorithmen zum Abgleich von Bilddaten einer Kamera mit Modellstrukturen im Detail diskutiert; dies sind:
The four algorithms for comparing image data of a camera with model structures, which are particularly advantageous in the context of the method according to the invention for position and position estimation, are discussed in detail below; these are:

- the downhill simplex process on the original picture,
- the downhill simplex process on the Hough picture,
- the downhill simplex process on the distance image,
- and the bipartition procedure.

Downhill simplex process on the original image

Das Downhill-Simplex-Verfahren auf dem Originalbild benötigt die in den Unterpunkten Filter, Pyramidenaufbau und Komposition der Pyramide zuvor erläuterten Schritte der Vorverarbeitung, die als Ergebnis ein gewichtetes Summenbild der Auflösungspyramide ergeben. Dieses Summenbild ist die Datenbasis zur Berechnung der jeweiligen Werte der Zielfunktion Z_DS
The downhill simplex process on the original image requires the preprocessing steps previously explained in the sub-items filter, pyramid structure and pyramid composition, which as a result result in a weighted total image of the resolution pyramid. This total picture is the database for calculating the respective values of the target function Z _DS

Die Zielfunktion Z_DS liefert eine summarische Bewertung für die Güte des Abgleichs der n einzelnen Modellkanten im Bild. Die zu bewertenden Positionen der Modellkanten in den Bilddaten erhält man durch Transformation T der Modellkanten über das Kameramodell in Bildkoordinaten. In obiger Formel bezeichnen t₀ und t₁ Endpunkte der jeweiligen Modellkante in Weltkoordinaten, während T(t₀) und T(t₁) den entsprechenden Endpunkten in Bildkoordinaten entsprechen. Zwischen den beiden Endpunkten T(t₀) und T(t₁) ist nun die Kantenabstandsfunktion F zu integrieren, d. h. es werden die Werte der Gradienten des Summenbildes der Auflösungspyramide durch Unterabtastung zwischen den Bildendpunkten der jeweiligen Kante aufaddiert. Die Summe der Integrale über alle n Kanten ergibt dann den Wert der Zielfunktion, die ein Maß für die Güte der Abstimmung des Modells mit den Bilddaten bezüglich der aktuellen Transformation T liefert. Da es sich beim Downhill-Simplex-Verfahren um ein Minimierungsverfahren handelt wird der Wert der Zielfunktion, die stets nicht negative Werte besitzt, mit umgekehrtem Vorzeichen interpretiert. Dadurch wird erreicht, dass eine Kante mit den höchsten Werten der Gradienten den Minimalwert der Zielfunktion bildet.The target function Z _DS provides a summary evaluation for the quality of the comparison of the n individual model edges in the image. The positions of the model edges in the image data to be evaluated are obtained by transforming T the model edges via the camera model into image coordinates. In the above formula, t ₀ and t ₁ denote end points of the respective model edge in world coordinates, while T (t ₀ ) and T (t ₁ ) correspond to the corresponding end points in image coordinates. The edge distance function F is now to be integrated between the two end points T (t ₀ ) and T (t ₁ ), ie the values of the gradients of the sum image of the resolution pyramid are added by undersampling between the image end points of the respective edge. The sum of the integrals over all n edges then gives the value of the target function, which provides a measure of the quality of the coordination of the model with the image data with respect to the current transformation T. Since the downhill simplex method is a minimization method, the value of the objective function, which always has non-negative values, is interpreted with the opposite sign. This ensures that an edge with the highest values of the gradients forms the minimum value of the target function.

Optimization with the downhill simplex process

Das Downhill-Simplex-Verfahren arbeitet bei einer Optimierung von n Parametern mit einem n-dimensionalen Simplex, der aus n + 1 Eckpunkten besteht. In der bildgestützten Navigation sind Optimierungsprobleme mit bis zu 6 Freiheitsgraden (jeweils 3 Rota tions- und Translationsparameter) zu lösen. Daher müssen für eine solche Aufgabe, insbesondere für die Navigation eines autonomen Flugkörpers, bis zu 7 geeignete Eckpunkte für den Startsimplex ermittelt werden.The downhill simplex process helps to optimize n parameters an n-dimensional simplex consisting of n + 1 vertices. In the image-based Navigation are optimization problems with up to 6 degrees of freedom (3 Rota each tion and translation parameters). Therefore, for such a task, in particular for the navigation of an autonomous missile, up to 7 suitable ones Key points for the start implex are determined.

Dazu bietet es sich an für jeden Freiheitsgrad ein hinreichend großes Intervall vorzugeben, in dem die optimale Lösung enthalten ist. Somit entsteht ein 6- dimensionaler Suchraum mit 2⁶ = 64 Eckpunkten. Jeder Punkt dieses Suchraums steht für eine mögliche Transformation T, mittels derer die Modellkanten auf das Bild abgebildet werden. Der Einfachheit halber wählt man für den Startsimplex die 7 im Sinne der Zielfunktion am besten bewerteten Eckpunkte, deren Verbindungsvektoren den Lösungsraum aufspannen. Um zu vermeiden, daß der Simplex den vorgegebenen Lösungsraum verläßt, wird das Ergebnis der Zielfunktion in den Randbereichen mit einem Malus versehen. Damit der Simplex nicht schon beim ersten Spiegelschritt über den Rand des zulässigen Bereiches hinausläuft, empfiehlt es sich, den zur Berechnung des Startsimplex vorgegebenen Lösungsraum um mindestens 50% zu reduzieren.It is advisable to specify a sufficiently large interval for each degree of freedom, in which the optimal solution is included. This creates a 6-dimensional search space with 2 ⁶ = 64 corner points. Each point of this search space stands for a possible transformation T, by means of which the model edges are mapped on the image. For the sake of simplicity, the 7 key points rated best in terms of the objective function, whose connection vectors span the solution space, are chosen for the start implex. In order to avoid that the simplex leaves the given solution space, the result of the objective function is given a penalty in the marginal areas. So that the simplex does not run beyond the edge of the permissible range during the first mirror step, it is recommended to reduce the solution space specified for calculating the start sim by at least 50%.

Die Vorgehensweise ist in Fig. 5 schematisch für 2 Parameter dargestellt. Die resultierenden Eckpunkte des vorgegebenen Lösungsraumes sind P₁, . . ., P₄. Die möglichen Punkte für den Startsimplex sind S₁, . . ., S₄. Die Vektoren durch jeweils 3 dieser Punkte spannen den Lösungsraum auf und sind somit linear unabhängig. Somit bilden 3 Punkte aus S₁, . . ., S₄ einen zulässigen Startsimplex. Die lineare Unabhängigkeit der Vektoren durch n + 1 Eckpunkten eines n-dimensionalen Quaders ist für n = 2 trivial, nicht jedoch für höhere Dimensionen.The procedure is shown schematically in FIG. 5 for two parameters. The resulting key points of the given solution space are P ₁ ,. . ., P ₄ . The possible points for the start sim are S ₁ ,. . ., P. ₄ . The vectors through 3 of these points each span the solution space and are therefore linearly independent. Thus 3 points form S _1,. . ., S ₄ a permissible start sim. The linear independence of the vectors through n + 1 vertices of an n-dimensional cuboid is trivial for n = 2, but not for higher dimensions.

Selbstverständlich kann man jede Kombination von n + 1 Punkten des Lösungsraums als Startsimplex eines n-dimensionalen Optimierungsproblems wählen, deren Vektoren den Lösungsraum aufspannen.Of course you can use any combination of n + 1 points of the solution space as Select the start sim of an n-dimensional optimization problem whose vectors match the Open the solution space.

Die besten Ergebnisse erzielt man, wenn es gelingt, den Startsimplex möglichst gleichseitig zu gestalten. Dies ist bei Verwendung von Parametern unterschiedlicher Größenordnungen (Transformationen in Metern, Rotationen in Bogenmaß) nur durch entsprechende Skalierung möglich. So empfiehlt es sich in vorteilhafter Weise den im Vergleich zu den Translationsparametern kleinen Wertebereich der Rotationsparameter (Längen in Metern versus Winkel in Bogenmaß) durch entsprechende Skalierungsfaktoren einander anzupassen. Selbstverständlich wird dies bei der Interpretation der Ergebnisse wieder kompensiert.The best results can be achieved if the start sim is possible to design equally. This is different when using parameters Orders of magnitude (transformations in meters, rotations in radians) only by appropriate scaling possible. So it is recommended in an advantageous manner Comparison to the translation parameters small range of values of the rotation parameters (Lengths in meters versus angles in radians) by appropriate Adapt scaling factors to each other. Of course, this will be at the Interpretation of the results compensated again.

Ausgehend von dem mittels der Zielfunktion bewerteten Startsimplex versucht das Downhill-Simplex-Verfahren, wie bereits beschrieben, den schlechtesten Punkt des Simplex mittels den Operationen "Reflektion", "Reflektion mit Expansion" und "Kontraktion" durch einen besseren Punkt zu ersetzen. Ist das nicht möglich, führt es eine "multiple Kontraktion" durch, bei welcher der Simplex zum bisher besten Punkt hin kontraktiert wird, also n Eckpunkte durch neue ersetzt werden. Dieser Prozeß wird so lange wiederholt, bis die Bewertung aller Eckpunkte des Simplex und ihre Abweichungen untereinander eine definierbare Schwelle unterschreiten oder eine maxi mal zulässige Anzahl von Iterationen erreicht ist.Based on the start implex evaluated using the target function, this tries Downhill simplex method, as already described, the worst point of the Simplex using the operations "reflection", "reflection with expansion" and Replace "contraction" with a better point. If this is not possible, it leads a "multiple contraction" in which the simplex points to the best point so far is contracted, i.e. n key points are replaced by new ones. This process will be like this long repeated until the evaluation of all key points of the simplex and their Deviations among each other fall below a definable threshold or a maxi times the permissible number of iterations has been reached.

Downhill simplex process in the Hough picture

Das Downhill-Simplex-Verfahren auf dem Hough-Bild benötigt gegenüber den Vorverarbeitungsschritten des Downhill-Simplex-Verfahren auf dem Originalbild unmittelbar nach dem Canny-Filter als Kantenoperator zusätzlich eine Hough- Transformation. Darauf folgt wie beim Verfahren auf dem Originalbild der Pyramidenaufbau und die Komposition der Pyramide.The downhill simplex process in the Hough picture requires compared to the Preprocessing steps of the downhill simplex process on the original image immediately after the Canny filter as an edge operator an additional Hough Transformation. This is followed, as in the process, on the original image Pyramid structure and the composition of the pyramid.

Das am Ende der unterschiedlichen Schritte der Vorverarbeitung erzeugte Summenbild ist die Datenbasis zur Berechnung der jeweiligen Werte der Zielfunktion Z_DS
The sum image generated at the end of the different preprocessing steps is the database for calculating the respective values of the target function Z _DS

Die Berechnung der Zielfunktion ZDS gestaltet sich aufgrund der in der Vorverarbeitung durchgeführten Hough-Transformation gegenüber der Zielfunktion des Downhill- Simplex-Verfahren auf dem Originalbild deutlich einfacher. Die Parameter t0 und t1 bezeichnen die Endpunkte der jeweiligen Modellkante in Weltkoordinaten. Da nun auch die ins Bild projizierten Modellkanten T(t0, t1) in den Houghraum H(T(t0, t1)) transformiert werden und dort mit genau einem Punkt korrespondieren, reduziert sich die Abtastung der Kantenabstandsfunktion entlang einer Kante auf die Abtastung an genau diesem Punkt. Die Optimierung mit dem Downhill-Simplex-Verfahren erfolgt analog zum Originalbild.The calculation of the target function ZDS is based on the preprocessing performed Hough transformation compared to the target function of downhill Simplex process on the original image much easier. The parameters t0 and t1 denote the end points of the respective model edge in world coordinates. There now too the model edges T (t0, t1) projected into the image into the Houghraum H (T (t0, t1)) be transformed and correspond there with exactly one point is reduced the scan of the edge distance function along an edge on the scan exactly this point. The downhill simplex process is used for optimization analogous to the original picture.

Downhill simplex process on the distance image

Das Downhill-Simplex-Verfahren auf dem Distanzbild benötigt die unter den Punkten Filter und Distanztransformation vorab erläuterten Schritte im Rahmen der Vorverarbeitung. Diese Vorverarbeitung liefert als Ergebnis ein grauwertiges Distanzbild. Der Grauwert eines Pixels entspricht dabei dem genäherten doppelten euklidischen Abstand zum nächstgelegenen Pixel einer Bildkante. The downhill simplex procedure on the distance image requires that under the points Filters and distance transformation steps previously explained in the context of Preprocessing. The result of this preprocessing is a gray-scale distance image. The gray value of a pixel corresponds to the approximated double Euclidean Distance to the nearest pixel of an image edge.

Dieses Distanzbild bildet sodann die Datenbasis zur Berechnung der jeweiligen Werte der Zielfunktion Z_DS
This distance image then forms the database for calculating the respective values of the target function Z _DS

Bei der Anwendung des Verfahrens auf das Distanzbild, liefert Zielfunktion Z_DS analog zu der Anwendung des Downhill-Simplex-Verfahren auf dem Originalbild eine summarische Bewertung für Güte des Abgleichs (Matchgüte) der n einzelnen Modellkanten im Bild. Die zu bewertenden Positionen im Bild erhält man durch Transformation T der Modellkanten über das Kameramodell in Bildkoordinaten. In obiger Formel bezeichnen t₀ und t₁ die Endpunkte der jeweiligen Modellkante in Weltkoordinaten, während T(t₀) und T(t₁) den entsprechend Endpunkten in Bildkoordinaten entsprechen. Zwischen den beiden Endpunkten T(t₀) und T(t₁) ist nun die Kantenabstandsfunktion F zu integrieren, d. h. die Werte von F(T(t)) werden durch Unterabtastung zwischen den Bildendpunkten T(t₀) und T(t₁) der jeweiligen Kante aufaddiert. Die Summe der Integrale über alle n Kanten ergibt dann den Wert der Zielfunktion, die ein Maß für die Matchgüte des Modells mit dem Bild bezüglich der aktuellen Transformation T liefert.When applying the method to the distance image, target function Z _DS delivers a summary evaluation for the quality of the matching (match quality) of the n individual model edges in the image, analogous to the application of the downhill simplex method on the original image. The positions in the image to be evaluated are obtained by transforming T the model edges via the camera model in image coordinates. In the above formula, t ₀ and t ₁ denote the end points of the respective model edge in world coordinates, while T (t ₀ ) and T (t ₁ ) correspond to the corresponding end points in image coordinates. The edge distance function F must now be integrated between the two end points T (t ₀ ) and T (t ₁ ), ie the values of F (T (t)) are obtained by undersampling between the image end points T (t ₀ ) and T (t ₁ ) added to the respective edge. The sum of the integrals over all n edges then gives the value of the target function, which provides a measure of the match quality of the model with the image with respect to the current transformation T.

Sei t ein Punkt in Weltkoordinaten, so ist T(t) der entsprechende Punkt in Bildkoordinaten. Sei D(T(t)) der entsprechende Wert von T(t)) im Distanzbild, so gilt:
If t is a point in world coordinates, then T (t) is the corresponding point in image coordinates. If D (T (t)) is the corresponding value of T (t)) in the distance image, the following applies:

F(T(t)) = D(T(t)) - maxDist Gl. 7
F (T (t)) = D (T (t)) - maxDist Eq. 7

wobei maxDist die größtmögliche berechnete Distanz im Distanzbild darstellt, entsprechend der vorangegangenen Diskussion bzgl. der Initialisierung der Distanztransformation.where maxDist represents the largest possible calculated distance in the distance image, according to the previous discussion regarding the initialization of the Distance transformation.

Diese neue Interpretation der Kantenabstandsfunktion ist nötig, damit die Optimierung mit dem Downhill-Simplex-Verfahren auf dem Distanzbild analog zum Verfahren auf dem Originalbild funktioniert.This new interpretation of the edge distance function is necessary for the optimization with the downhill simplex process on the distance image analogous to the process on the Original picture works.

Beim Downhill-Simplex-Verfahren auf dem Originalbild ist die Datenbasis ein über Pyramidenstufen integriertes Gradientenbild, d. h. die beste Bewertung erhält man direkt auf einer Kante. Je weiter man von einer Kante entfernt ist, desto schlechter wird die Bewertung.With the downhill simplex process on the original image, the database is over Pyramid levels integrated gradient image, d. H. you get the best rating directly on one edge. The further you are from an edge, the worse it gets Rating.

Im Distanzbild ist dies genau umgekehrt. Distanzbilder sind vom Prinzip her inverse Pyramidenstufen, so dass man die besten Bewertungen (hellster Grauwert) in möglichst weiter Entfernung von einer Bildkante erhält. Zieht man nun von einem solchen Distanzwert D(T(t)) eines Bildpunktes T(t) maxDist ab, so erhält man für das Minimierungsproblem entweder
This is exactly the opposite in the distance image. In principle, distance images are inverse pyramid levels, so that the best ratings (lightest gray value) are obtained as far away as possible from an image edge. Subtracting from such a distance value D (T (t)) of a pixel T (t) maxDist, one obtains either for the minimization problem

- the value on one edge: minimum value - maxDist
- Far from an edge the value: 0 = maxDist - maxDist

Die Optimierung mit dem Downhill-Simplex-Verfahren erfolgt analog zum Verfahren auf dem Originalbild mittels oben beschriebener Zielfunktion.The downhill simplex process is optimized in the same way as the process the original image using the objective function described above.

Verification of the result

Durch den Einsatz von Distanztransformationen erhält man im Gegensatz zum Downhill- Simplex-Verfahren auf Original- bzw. Hough-Bildern, die Möglichkeit die vom jeweiligen Optimierungsverfahren erreichte optimale Transformation T_opt von Modell- auf Bildkante auf Plausibilität zu prüfen.In contrast to the downhill simplex method on original or Hough images, the use of distance transformations gives the possibility of checking the plausibility of the optimal transformation T _opt from model edge to image edge achieved by the respective optimization method.

Dazu berechnet man für jede transformierte Modellkante die durchschnittliche Abweichung dist zu den entsprechenden Kantenpixeln des Distanzbildes nach folgender Gleichung
For this purpose, the average deviation dist to the corresponding edge pixels of the distance image is calculated for each transformed model edge using the following equation

wobei T_opt(t₁) und T_opt(t₀) die Endpunkte einer Modellkante in Bildkoordinaten, sowie len(a, b) die Länge der Kante mit den Endpunkten a und b bedeuten.where T _opt (t ₁ ) and T _opt (t ₀ ) mean the end points of a model edge in image coordinates, and len (a, b) the length of the edge with the end points a and b.

Weiterhin lassen sich zu jeder Modellkante auf einfache Weise folgende Parameter in Bildkoordinaten bestimmen:
Furthermore, the following parameters can be easily determined in image coordinates for each model edge:

- length
- mean deviation from the distance image
- Maximum deviation from the distance image
- Minimal deviation from the distance image
- Deviation at the edge end points
- Coordinates of the edge end points

Daraus wiederum lassen sich Aussagen über die Lage der Modellkanten und der Güte der Übereinstimmung (Matchgüte) im Bild ableiten. So sind beispielsweise lange Kanten mit geringen Abweichungen ein Indiz für sicher erkannte Kanten, Kanten mit maximaler Abweichung an einem Endpunkt auf falsche Länge bei korrekter Richtung im Bild hinweisen.This in turn can be used to make statements about the position of the model edges and the quality derive the match (match quality) in the image. For example, there are long edges with slight deviations an indication of reliably recognized edges, edges with maximum Deviation at an end point to the wrong length with the correct direction in the image Clues.

Unter Umständen kann es zu schlechten Übereinstimmungen einzelner Modellkanten mit dem Bild bei ansonsten guter Matchgüte der übrigen Kanten kommen. Als Ursache hierfür kommen entweder falsche Ergebnisparameter aus dem Iterationsverfahren oder das Fehlen der Modellkanten in den Bilddaten der Kamera in Betracht. Letzteres kann u. U. an einer ungeschickten Wahl der Binarisierungsschwelle liegen.Under certain circumstances, there may be bad matches between individual model edges come with the picture with otherwise good match quality of the other edges. As the cause either incorrect result parameters from the iteration process or the absence of the model edges in the image data of the camera. The latter can This may be due to an inept choice of the binarization threshold.

Daher ist es möglicherweise hilfreich, in der Vorverarbeitung Distanzbilder mit unterschiedlichen Binarisierungen zu berechnen. Dann wäre das Ergebnis der Iteration auf unterschiedlichen Distanzbildern verifizierbar. Bei der Verarbeitung von Bildfolgen würde sich eine Mehrfachberechnung von Distanzbildern nach wenigen Elementen der Bildfolge aufgrund des gesammelten Vorwissens erübrigen.It may therefore be helpful to use distance images in preprocessing to calculate different binarizations. Then the result of the iteration would be verifiable on different distance images. When processing image sequences would be a multiple calculation of distance images after a few elements of the Eliminate the sequence of images based on your previous knowledge.

Bipartition procedure

Das Bipartitionsverfahren verwendet im Rahmen seiner Vorverarbeitung eine Zusammenschaltung eines Canny-Operators mit der Hough-Transformation und einer Integration des Akkumulator Bildes. Das integrierte Akkumulator Bild ist die Datenbasis zur Berechnung der jeweiligen Werte der Zielfunktion Z_BP, entsprechend:
As part of its preprocessing, the bipartition method uses an interconnection of a Canny operator with the Hough transformation and an integration of the accumulator image. The integrated accumulator image is the database for calculating the respective values of the target function Z _BP , corresponding to:

Die Zielfunktion liefert eine summarische Bewertung für die Matchgüte der n einzelnen Modellkanten im Bild, jedoch nicht wie im Downhill-Simplex-Verfahren bezogen auf eine einzelne Transformation T, sondern für alle möglichen Transformationen innerhalb eines vorgegebenen Lösungsraumes L. Dieser Lösungsraum ist ein n-dimensionaler Quader, der entsteht, indem man sich für alle n Freiheitsgrade ein Intervall vorgibt, in dem die jeweils richtige Lösung enthalten ist.The target function provides a summary evaluation of the match quality of the n individual Model edges in the picture, but not in relation to one as in the downhill simplex process single transformation T, but for all possible transformations within one given solution space L. This solution space is an n-dimensional cuboid, which is created by specifying an interval for all n degrees of freedom in which the correct solution is included.

Wie bei der Diskussion der Optimierungsfunktionen dargelegt, ergibt sich aus der houghtransformierten Menge aller möglichen Transformationen T aus L für eine Modellkante in Weltkoordinaten jeweils ein zusammenhängendes Gebiet G im (integrierten) Akkumulatorbild. Das G umschließende Rechteck R dient als Näherung zur Berechnung von G. Wie im Abschnitt zur Integration des Akkumulatorbild beschrieben, läßt sich für eine Modellkante der jeweilige Wert der Zielfunktion Z_BP für das durch R angenäherte Volumen G sehr einfach aus dem integrierten Akkumulatorbild ermitteln. Die Summation über alle Modellkanten ergibt den Gesamtwert der Zielfunktion Z_BP. As explained in the discussion of the optimization functions, the hough-transformed set of all possible transformations T from L for a model edge in world coordinates results in a coherent area G in the (integrated) accumulator image. The rectangle R surrounding G serves as an approximation for the calculation of G. As described in the section on integrating the accumulator image, the respective value of the target function Z _BP for the volume G approximated by R can be determined very easily from the integrated accumulator image for a model edge. The summation over all model edges gives the total value of the target function Z _BP .

Das Bipartitionsverfahren teilt den n-dimensionalen Lösungsraum ausgehend von einem Startlösungsraum L in jedem Iterationsschritt in 2ⁿ Subvolumina. Das jeweils beste Subvolumen im Sinne der Zielfunktion wird bis zu einer minimalen Größe in Abhängigkeit von der Anzahl vorgegebener Iteration weiterverarbeitet, um die optimale Lösung sukzessive einzugrenzen. In den ersten Iterationen, bzw. bei großen Anfangsvolumina und der aus Effizienzgründen genäherten Zielfunktion kann es zu Fehlbewertungen der Subvolumina kommen. Daher ist es vorteilhaft, mehrere Alternativvolumina bei der Optimierung zu verfolgen, um Fehler bei der Näherung korrigieren zu können. Die Anzahl betrachteter Alternativen kann degressiv mit jedem Iterationsschritt vermindert werden. Der Algorithmus liefert nach Durchführung der voreingestellten k Iterationsschritte ein Lösungsvolumen, das gegenüber dem Startvolumen um den Faktor 2^kn reduziert wurde.The bipartition method divides the n-dimensional solution space from a starting solution space L into 2 ⁿ sub-volumes in each iteration step. The best sub-volume in the sense of the target function is processed to a minimum size depending on the number of specified iteration in order to successively narrow down the optimal solution. In the first iterations, or in the case of large initial volumes and the objective function approximated for reasons of efficiency, incorrect evaluations of the subvolumes can occur. It is therefore advantageous to track several alternative volumes during the optimization in order to be able to correct errors in the approximation. The number of alternatives considered can be reduced degressively with each iteration step. After performing the preset k iteration steps, the algorithm delivers a solution volume that has been reduced by a factor of 2 ^kn compared to the starting volume.

Die Funktionalität des erfindungsgemäßen Verfahrens ist selbstverständlich nicht auf die Verwendung der oben angeführten Filterfunktionen und Optimierungsalgorithmen beschränkt. Die hier aufgezeigten Algorithmen dienen nur einer anschaulichen, vorteilhaften Ausgestaltung des neuartigen Verfahrens zur Lösung von Lokalisationsproblemen (Positions- und Lageschätzung) auf der Basis von geometrischem Matching. Bei der Auswahl alternativer Algorithmen ist nur darauf zu achten, dass im Rahmen ihres Zusammenwirkens deren Funktionalitäten möglichst vorteilhaft aufeinander abgestimmt werden. So können beispielsweise neben dem Sobel-Filter oder Canny-Filter auch andere Filteralgorithmen zur Vorverarbeitung der Bilddaten verwendet werden. Hierbei ist aber insbesondere zu beachten, dass es etwa für das Bipartitionsverfahren notwendig ist, dass gute Schätzungen der Kantenrichtung durch den Filter erfolgen. Dies kann jedoch beispielsweise alternativ zur Verwendung eines Sobel- oder Canny-Filter auch mittels eines Deriche-Filters erreicht werden.The functionality of the method according to the invention is of course not limited to the use of the filter functions and optimization algorithms listed above limited. The algorithms shown here serve only as a clear, advantageous embodiment of the novel method for solving Localization problems (position and position estimation) on the basis of geometric matching. When choosing alternative algorithms, you only have to look at it make sure that their functionalities are as possible as part of their interaction be advantageously coordinated. For example, in addition to the Sobel filter or Canny filter also other filter algorithms for preprocessing the Image data can be used. However, it should be noted in particular that there is approximately For the bipartition method it is necessary that good estimates of the edge direction done through the filter. However, this can alternatively be used, for example a Sobel or Canny filter can also be achieved using a Deriche filter.

Claims

1. Method for estimating the position and position by comparing image data from a camera with model structures, in particular to increase long-term stability and the autonomy of autonomous missiles,
wherein the comparison takes place by means of a variation of the parameters of a geometry transformation (variation approach), which maps the model structures to one another with the image data of the camera
and as a result of the comparison, which is carried out by means of a variation approach, the parameters of the geometry transformation are available for position and position estimation,
characterized by
that the parameters of the geometry transformation are determined by optimizing an object formation-free objective function.

2. The method according to claim 1, characterized in that the process is modular and can be divided into two groups major areas of preprocessing and matching.

3. The method according to claim 2, characterized in that the variation approach is based on a simplex method, which is based on one of the original image data of the Distance image obtained from the camera is applied.

4. The method according to claim 3, characterized in
that the original image data are filtered in a first step as part of the preprocessing using a Sobel filter,
that in a further step a distance image is calculated from the filtered data,
and that this distance image is matched with one or more target functions using the downhill simplex method.

5. The method according to claim 4, characterized in that after the calculation of the Distance image of this binarized and cleaned by removing noise.

6. The method according to any one of claims 4 or 5, characterized in that the Filtering takes place in place of the Sobel filter with a Canny filter.

7. The method according to claim 2, characterized in that the variation approach a simplex method based on the original image data of the camera is applied.

8. The method according to claim 7, characterized in that
that the original image data are filtered in a first step as part of the preprocessing using a Sobel filter,
that in a second step an edge image is calculated from the filtered data,
that in a further step a resolution pyramid is calculated from this edge image and this is transformed into an edge distance image,
and that this edge distance image is matched with one or more target functions by means of the downhill simplex method.

9. The method according to claim 8, characterized in that the dissolution pyramid is calculated from the edge image by means of low pass / undersampling.

10. The method according to any one of claims 8 or 9, characterized in that the Transformation of the resolution pyramid into the edge distance image by a weighted addition takes place.

11. The method according to any one of claims 8 to 10, characterized in that the Filtering takes place in place of the Sobel filter with a Canny filter.

12. The method according to claim 2, characterized in that the variation approach is based on a simplex method, which is based on one of the original image data of the Hough image obtained from the camera is applied.

13. The method according to claim 12, characterized in that
that as part of the preprocessing, the original image data is filtered using a canny filter in a first step,
that in a further step an accumulator image is calculated from the filtered data,
that in a further step, a resolution pyramid is calculated from this accumulator image and this is transformed into an edge distance image,
and that this edge distance image is matched with one or more target functions by means of the downhill simplex method.

14. The method according to claim 13, characterized in that the accumulator image is calculated using the Hough transformation.

15. The method according to any one of claims 13 to 14, characterized in that the Resolution pyramid calculated from the edge image using a low-pass / undersampling becomes.

16. The method according to any one of claims 13 to 15, characterized in that the Transformation of the resolution pyramid into the edge distance image by a weighted addition takes place.

17. The method according to claim 2, characterized in that the variation approach a bipartitioning process based on one of the original image data Hough image obtained from the camera is used.

18. The method according to claim 17, characterized in that
that as part of the preprocessing, the original image data is filtered using a canny filter in a first step,
that in a further step an accumulator image is calculated from the filtered data,
that in a further step an integrated accumulator image is calculated from this accumulator image,
and that this integrated accumulator image is matched with one or more target functions using the bipartition method.

19. Use of the method according to one of claims 1 to 18, for the position and position estimation of land vehicles.