DE102006013598A1

DE102006013598A1 - Image area`s spatial correspondence determining method for three-dimensional reconstruction of scene, involves using parameters of parameterize functions for formation of similarity measurement between image areas of several image sequences

Info

Publication number: DE102006013598A1
Application number: DE102006013598A
Authority: DE
Inventors: Tobias Goevert; Lars Dipl.-Inf. Krüger; Christian Dr.rer.nat. Wöhler
Original assignee: DaimlerChrysler AG
Current assignee: Pilz GmbH and Co KG
Priority date: 2005-09-01
Filing date: 2006-03-22
Publication date: 2007-03-15

Abstract

The method involves determining image regions relevant for correspondence determination in image sequences, where image regions form image areas. Parameterize functions are respectively adjusted to the image areas in a cavity stretched by pixel position, image value and time. Parameters of the parameterize functions are used for formation of a similarity measurement between the image areas of the several image sequences. An independent claim is also included for a device for a three-dimensional scene reconstruction, comprising a camera system and evaluating processor units.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von räumlichen Korrespondenzen zwischen Bildbereichen in mehreren, aus unterschiedlichen Beobachtungsperspektiven aufgenommenen Bildersequenzen einer Szene, vorzugsweise zur dreidimensionalen Rekonstruktion dieser Szene, sowie eine Vorrichtung zur dreidimensionalen Szenenrekonstruktion.The The invention relates to a method for determining spatial Correspondences between image areas in several, from different Observational perspectives recorded image sequences of a scene, preferably for the three-dimensional reconstruction of this scene, and a device for three-dimensional scene reconstruction.

Passive Methoden zur dreidimensionalen Szenenrekonstruktion anhand von Bilddaten beruhen im allgemeinen auf der Bestimmung von räumlichen Korrespondenzen zwischen mehreren aus verschiedenen Richtungen und Entfernungen aufgenommenen Bildern der Szene. Diese Korrespondenzbestimmung entspricht einer Identifikation von Pixelpositionen oder -bereichen in den Bildern mit Punkten bzw. Objekten oder Objektabschnitten in der zu rekonstruierenden Szene. Nach der Bestimmung der Korrespondenzen wird üblicherweise über bekannte Verfahren die dreidimensionale Struktur der Szene in Form einer Punktewolke bestimmt, wobei jeder Punkt bzw. jede Punktansammlung der Punktewolke den zugeordneten, zueinander korrespondierenden Pixelpositionen bzw. -bereichen entspricht.passive Methods for three-dimensional scene reconstruction based on image data are generally based on the determination of spatial correspondences between several recorded from different directions and distances Pictures of the scene. This correspondence provision corresponds to one Identification of pixel positions or areas in the images with points or objects or object sections in the to be reconstructed Scene. After the determination of the correspondences is usually known Process the three-dimensional structure of the scene in the form of a Point cloud determines where each point or point accumulation the point cloud the associated, mutually corresponding Corresponds to pixel positions or areas.

Der Vorgang der Bestimmung dieser räumlichen Korrespondenzen wird in der Literatur zutreffend als Korrespondenz problem bezeichnet und es sind eine Vielzahl von Möglichkeiten zur Lösung dieses Problems vorgeschlagen worden:
Eine übliche Methode zur Bestimmung der räumlichen Korrespondenzen ist die Korrelation der Bildinhalte auf lokaler Ebene, wobei Inhalte räumlicher Fenster unter Anwendung geeigneter Fehlermaße als Ähnlichkeitsmaß, wie z.B. Kreuzkorrelationskoeffizienten, Summe der Differenzquadrate, Summe der absoluten Differenzen, miteinander verglichen werden. Diese Methode ist insbesondere für kalibrierte Stereo-Bildpaare, also Bildpaare, bei denen nur Bildpunkte, die auf gemeinsamen Epipolarlinien liegen, in Korrespondenz stehen können, zeitlich sehr effektiv.The process of determining these spatial correspondences is correctly referred to in the literature as a correspondence problem, and a variety of ways of solving this problem have been proposed:
A common method for determining the spatial correspondences is the correlation of the image contents at the local level, wherein contents of spatial windows are compared using appropriate error measures as similarity measures, such as cross-correlation coefficients, sum of difference squares, sum of absolute differences. This method is particularly effective for calibrated stereo image pairs, ie image pairs in which only pixels lying on common epipolar lines can be in correspondence.

In dem Fachartikel von J. Davis, D. Nehab, R. Ramamoorthi, S. Rusinkiewicz, Spacetime Stereo: A unifying framework for Depth from Triangulation in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 27, No. 2, 2005 wird vorgeschlagen, nicht nur die Inhalte von räumlichen Fenstern zur Korrelationsanalyse zu verwenden, sondern das Korrelationsfenster in die zeitliche Dimension zu erweitern. Als Ähnlichkeitsmaß zur Korrespondenzbildung wird die Summe der quadratischen Differenzen der raum-zeitlichen Korrelationsfenster herangezogen.In the article by J. Davis, D. Nehab, R. Ramamoorthi, S. Rusinkiewicz, Spacetime Stereo: A unifying framework for depth from triangulation in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 27, No. 2, 2005 is proposed not only the contents of spatial Windows to use for correlation analysis but the correlation window to expand into the temporal dimension. As a measure of similarity to correspondence becomes the sum of the quadratic differences of the space-time Correlation window used.

Ein weiterer Ansatz zur Lösung des Korrespondenzproblems wird in dem Fachartikel von C. Wöhler, L. Krüger, A Contour based Stereo Vision Algorithm für Video Surveillance Applications in SPIE Visual Communication and Image Processing, Lugano, 2003 beschrieben. Bei diesem Ansatz werden in einem ersten Schritt relevante Bildregionen in den Bildern ermittelt. Aus den relevanten Bildregionen werden zweidimensionale Objekte in den Bildern abgeleitet und zugehörige Objektkonturlinien erstellt. Die Korrespondenzen werden dann ermittelt, indem die Kontureigenschaften der Objektkonturlinien an den Durchgangspunkten durch die Epipolarlinien verglichen werden.One further approach to the solution of the correspondence problem is described in the article by C. Wöhler, L. Kruger, A Contour-based Stereo Vision Algorithm for Video Surveillance Applications in SPIE Visual Communication and Image Processing, Lugano, 2003 described. In this approach, in a first step, relevant Image regions in the images determined. From the relevant image regions Two-dimensional objects are derived in the images and associated object contour lines created. The correspondences are then determined by the contour properties the object contour lines at the passage points through the epipolar lines be compared.

Das der Erfindung zugrunde liegende Problem ist es, ein Verfahren zu schaffen, welches bei geringem Rechenaufwand eine hohe Zuverlässigkeit bei der Lösung des Korrespondenzproblems erbringt sowie eine entsprechende Vorrichtung zu bilden.The The problem underlying the invention is to provide a method create, which with low computational effort a high reliability at the solution the correspondence problem as well as a corresponding device to build.

Die Lösung des Problems erfolgt mit einem Verfahren gemäß Anspruch 1 sowie einer Vorrichtung gemäß Anspruch 15. Vorteilhafte Ausführungsformen sind durch die Unteransprüche gegeben.The solution the problem is carried out with a method according to claim 1 and a device according to claim 15. Advantageous embodiments are by the subclaims given.

Erfindungsgemäß wird ein Verfahren zur Bestimmung von räumlichen Korrespondenzen zwischen Bildbereichen in mehreren Bildersequenzen einer Szene vorgeschlagen.According to the invention is a Method for determining spatial Correspondences between picture areas in several picture sequences proposed a scene.

Die räumlichen Korrespondenzen sind Zuordnungen von Bildbereichen aus den mehreren Bildersequenzen, wobei ein Bildbereich aus einer ersten Bildersequenz zu einem Bildbereich aus einer zweiten Bildersequenz und gegebenenfalls zu weiteren Bildbereichen aus weiteren Bildersequenzen zugeordnet wird. Der Begriff Bildbereich umfasst dabei ausgedehnte Bereiche in den Bildersequenzen, also eine Vielzahl von Pixeln, und/oder einen einzigen Bildpunkt, also einen einzigen Pixel.The spatial Correspondences are associations of image areas from the several Image sequences, wherein an image area from a first image sequence to an image area from a second image sequence and optionally assigned to further image areas from further image sequences becomes. The term image area encompasses extensive areas in the image sequences, ie a plurality of pixels, and / or a single pixel, so a single pixel.

Zur Umsetzung des Verfahrens werden Bildersequenzen aufgenommen, wobei eine Bildersequenz aus einer Abfolge von Einzelbildern der Szene besteht, die aus einer einzigen Beobachtungsperspektive erfasst sind und vorzugsweise einen äquidistanten zeitlichen Abstand aufweisen. Die Bildersequen zen werden aus unterschiedlichen Beobachtungsperspektiven aufgenommen, vorzugsweise aus verschiedenen Beobachtungsrichtungen und/oder Beobachtungsentfernungen und/oder mit verschiedenen optischen Abbildungseinrichtungen. Vorzugsweise sind die Bilder der mehreren Bildersequenzen jeweils zum gleichen Zeitpunkt aufgenommen.to Implementation of the method are recorded image sequences, wherein an image sequence from a sequence of individual images of the scene consists of a single observation perspective are and preferably an equidistant have time interval. The picture sequences become different Observational perspectives recorded, preferably from different Observation directions and / or observation distances and / or with different optical imaging devices. Preferably the pictures of the several picture sequences are the same Date added.

In den Bildersequenzen werden relevante Bildregionen ermittelt, also Bildregionen, die für eine Korrespondenzbestimmung geeignet sind. Aus diesen Bildregionen werden ein oder mehrere Bildbereich(e) gebildet, wobei der/die Bildbereich(e) identisch zu den Bildregionen und/oder als Teilbereiche der Bildregionen und/oder als mit den Bildregionen überlappende Bereiche ausgebildet sein können.In The image sequences are determined relevant image regions, ie Image Regions for a correspondence determination are suitable. From these picture regions one or more image areas are formed, whereby the image area (s) identical to the image regions and / or as subregions of the image regions and / or as overlapping with the image regions Areas can be formed.

An die Bildbereiche werden in einem durch Pixelposition u, v, Bildwert g und Zeit t aufgespannten Raum jeweils eine parametrierte Funktion h(u, v, t) angepasst, also eine Funktion, die als Variable die Pixelposition u, v und die Zeit t aufweist und die eine beliebige Anzahl von Parametern aufweist. Die Bezeichnungen Raum R(uvgt) und Funktion h(u, v, t) stehen dabei stellvertretend für alle mathematischen Darstellungen, die den gleichen technischen Inhalt widerspiegeln. Insbesondere werden durch diese Bezeichnungen mathematisch äquivalente Darstellungen umfasst. Beispielsweise ist bei der Verarbeitung von Farbbildaufnahmen der Bildwert g anzupassen, sodass der Raum R im Falle eines RGB-Farbmodells als Raum R(uvrgbt) bezeichnet wird.At the image areas are in a by pixel position u, v, image value g and time t spanned space each have a parameterized function h (u, v, t) adapted, so a function that as a variable, the pixel position u, v and the time t and having any number of parameters having. The terms space R (uvgt) and function h (u, v, t) are representative of all mathematical representations that have the same technical Reflect content. In particular, these terms are used mathematically equivalent Representations includes. For example, in the processing of Color photographs to adjust the image value g, so that the space R in Case of an RGB color model is referred to as space R (uvrgbt).

Zur Bildung eines Ähnlichkeitsmaßes zwischen Bildbereichen der mehreren Bildersequenzen werden erfindungsgemäß die Parameter der parametrierten Funktionen verwendet. Als Parameter sind insbesondere die in der gewählten mathematischen Darstellung der Funktion h(u, v, t) verwendeten Funktionsparameter und/oder davon abgeleitete Parameter zu verstehen. Vorzugsweise werden die Parameter eines Bildbereichs in einer ersten Bildersequenz mit den Parametern eines Bildbereichs in einer zweiten Bildersequenz und gegebenenfalls mit Parametern eines Bildbereichs in weiteren Bildersequenzen in Bezug gesetzt, insbesondere miteinander verglichen.to Form a similarity measure between Image areas of the multiple image sequences become the parameters according to the invention used the parameterized functions. As parameters are in particular the in the chosen mathematical representation of the function h (u, v, t) used function parameters and / or to understand derived parameters. Preferably, the Parameters of an image area in a first image sequence with the Parameters of an image area in a second image sequence and optionally with parameters of an image area in further image sequences related, in particular compared with each other.

Die Erfindung geht dabei von der Überlegung aus, dass Ansätze zur Korrespondenzbildung, die auf der Betrachtung der Ähnlichkeit kleiner Bildregionen beruhen, dazu neigen, eine Vielzahl von Fehlkorrespondenzen zu erzeugen, die dann zu 3D-Punkten mit fehlerhafter Raumlage führen. Insbesondere bei bewegten Objekten in einer Szene sind derartige Fehlkorrespondenzen sehr störend, da sie eine nachfolgende Bewegungsanalyse, Objektsegmentierung oder Klassifikation der 3D-Punktewolke stark erschweren oder unmöglich machen. Demgegenüber wird bei dem erfindungsgemäßen Verfahren außer der räumlichen Lage relevanter Bildbereiche auch deren Bewegung über die Zeit zur Korrespondenzbildung herangezogen. Auf diese Weise können nur ähnlich bewegte Teile des Objekts einander als Korrespondenzen zugeordnet werden, so dass die Anzahl der Fehlkorrespondenzen stark reduziert wird.The Invention is based on the consideration from that approaches for correspondence, based on the consideration of similarity are based on small image regions, tend to have a variety of mismatches to generate that then to 3D points lead with incorrect spatial position. Especially with moving objects in a scene are such Mis-correspondence very disturbing, since they have a subsequent motion analysis, object segmentation or Classification of the 3D point cloud severely hamper or impossible do. In contrast, is in the inventive method except the spatial Location of relevant image areas and their movement over the Time used for correspondence. In this way, only similar can move Parts of the object are assigned to each other as correspondences, so that the number of erroneous correspondences is greatly reduced.

Bei einer bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass die relevanten Bildregionen eine zur Korrespondenzbildung ausreichende Variabilität der Bildwerte aufweisen. Die Bildwerte können insbesondere als Pixel-Grauwerte ausgebildet sein. Dies stellt sicher, dass keine Bildregionen mit homogenen Bildwertverteilungen zur Korrespondenzbildung herangezogen werden.at a preferred embodiment of the method is provided that the relevant image regions a sufficient variability of the image values for correspondence formation exhibit. The image values in particular be designed as pixel gray values. This ensures that no Image regions with homogeneous image value distributions for correspondence formation be used.

Vorzugsweise werden die relevanten Bildregionen mittels eines Interest-Operators ermittelt. Hierzu sind aus der digitalen Bildverarbeitung eine Vielzahl von Methoden bekannt, vorzugsweise werden als Interest-Operator Kantenfilter und/oder eine lokale statistische Grauwertanalyse eingesetzt.Preferably become the relevant image regions by means of an interest operator determined. For this purpose, a variety of digital image processing known by methods, preferably as an interest operator Edge filter and / or a local statistical gray scale analysis used.

Bei einer bevorzugten Ausführungsform werden raumzeitliche Merkmale zur Ermittlung der relevanten Bildregionen angewendet. Die Erzeugung von raum-zeitlichen Merkmalen wird beispielsweise in C. Wöhler, J.K. Anlauf. Real-Time Object Recognition on Image Sequences with the Adaptable Time Delay Neural Network Algorithm – Applications for autonomous Vehicles in Image and Vision Computing, Vol. 19, No. 9-10, pp.593-618, 2001 beschrieben. Hier werden raum-zeitliche Merkmale, die optimal zur Klassifikation eines Objekts in Bildersequenzen geeignet sind, durch ein Trainingsverfahren für die Gewichte der raum-zeitlichen rezeptiven Felder eines neuronalen Netzwerkes erzeugt. Raum-zeitliche Merkmale können auch explizit vorgegeben sein. Hierdurch lässt sich beispielsweise erreichen, dass nur in denjenigen Bildbereichen, in denen sich Ecken befinden, die sich von rechts oben nach links unten bewegen, eine Korrespondenzanalyse durchgeführt wird.at a preferred embodiment become spatio-temporal characteristics for the determination of the relevant image regions applied. The generation of spatiotemporal features becomes, for example in C. Wöhler, J.K. Start-up. Real-Time Object Recognition on Image Sequences with the Adaptable Time Delay Neural Network Algorithm - Applications for autonomous Vehicles in Image and Vision Computing, Vol. 9-10, pp.593-618, 2001 described. Here are space-time characteristics that are optimal are suitable for classifying an object in image sequences, through a training procedure for the weights of the spatio-temporal receptive fields of a neural Network generated. Space-time characteristics can also be specified explicitly be. This leaves achieve, for example, that only in those image areas, in which there are corners that are from top right to left move down, a correspondence analysis is performed.

Bei einer bevorzugten Ausführungsform des Verfahrens werden aus den Bildregionen Bildbereiche in Form von Interest-Pixeln extrahiert. Eine derartige Extraktion erfolgt, indem auf die relevanten Bildregionen beispielsweise eine Non-Maximum-Suppression und/oder eine Skelettierungsoperation oder dergleichen angewendet wird.at a preferred embodiment of the method become image areas in the form of image areas extracted from interest pixels. Such an extraction takes place for example, non-maximum suppression on the relevant image regions and / or a skeletonization operation or the like becomes.

Derartige Verfahren ermitteln auf Basis des Gradientenverlaufs eine oder mehrere Kanten bzw. Mittellinien in einer relevanten Bildregion. Die einzelnen Bildpunkte der Kanten bzw. Mittellinien werden als Interest-Pixel verwendet.such Methods determine one or more based on the gradient curve Edges or centerlines in a relevant image region. The single ones Pixels of the edges or center lines are called interest pixels used.

Es liegt eine besonders vorteilhafte Ausführungsform des Verfahrens vor, wenn das Ähnlichkeitsmaß ausschließlich zwischen Bildbereichen der mehreren Bildersequenzen gebildet wird, die derselben Epipolaren zugeordnet sind. Hierbei wird ausgenutzt, dass oftmals Kamerasysteme verwendet werden, deren Bilder im Rahmen der Epipolargeometrie beschreibbar sind. Insbesondere wird dabei das Korrespondenzproblem darauf reduziert, dass nur Bildbereiche ein und derselben Epipolaren zueinander zugeordnet werden müssen. In dem bevorzugten Fall, dass als Bildbereiche Interest-Pixel verwendet werden, werden Ähnlichkeitsmaße nur für Interest-Pixel gebildet, die auf der gleichen Epipolaren liegen.It is a particularly advantageous embodiment of the method, if the similarity measure is exclusively between Image areas of the multiple image sequences is formed, the same Associated with epipolar. This is exploited that often Camera systems are used, their images in the context of epipolar geometry are writable. In particular, this is the correspondence problem reduced to that only image areas of the same epipolar must be assigned to each other. In the preferred case that uses image pixels as interest pixels become similarity measures only for interest pixels formed lying on the same epipolar.

Vorteilhafterweise erfolgt die Anpassung der parametrierten Funktion h(u, v, t) an jeweils ein Interest-Pixel und dessen lokale Umgebung insbesondere im Raum R(uvgt), so dass für jedes Interest-Pixel unter Berücksichtigung von dessen Umgebung eine parametrierte Funktion angepasst wird. Die lokale Umgebung umfasst bevorzugt einen Pixelbereich mit Pixeln, der an das jeweilige Interest-Pixel unmittelbar angrenzt. Dieser Pixelbereich ist vorzugsweise quadratisch ausgebildet, insbesondere mit einer ungeradzahligen Anzahl von Pixeln an der Begrenzungskante. Die lokale Umgebung umfasst alternativ oder ergänzend die zeitliche Umgebung in dem Raum R(uvgt), die sich über eine geeignet gewählte Anzahl von Bildern der Bildersequenz erstreckt. Die Anzahl an Bildern hängt dabei beispielsweise von der Art und der Geschwindigkeit von zu erkennenden Objekten ab.advantageously, the adaptation of the parameterized function h (u, v, t) takes place in each case an interest pixel and its local environment in particular in space R (uvgt), allowing for considering each interest pixel from the environment of which a parameterized function is adapted. The local environment preferably comprises a pixel area with pixels, which immediately adjoins the respective interest pixel. This Pixel area is preferably square, in particular with an odd number of pixels at the boundary edge. The local environment alternatively or additionally includes the temporal environment in the room R (uvgt), which is about a suitably chosen one Number of images of the image sequence extends. The number of pictures depends on it for example, on the type and speed of recognizable Objects off.

Bei einer einfachen Ausführungsform ist die parametrierte Funktion h(u, v, t) als eine Hyperebene in dem Raum R(uvgt) ausgebildet, das heißt als eine (n-1) dimensionale ebene, als Unterraum des Raumes R(uvgt). Diese Ausbildung des Verfahrens erfordert einen geringen Rechenaufwand bei der Anpassung der parametrierten Funktion und minimiert somit den Gesamtrechenaufwand des Verfahrens.at a simple embodiment is the parameterized function h (u, v, t) as a hyperplane in the Space R (uvgt) formed, that is, as a (n-1) dimensional plane, as subspace of the space R (uvgt). This training of the procedure requires a small amount of computation when adjusting the parameterized Function and thus minimizes the overall computational complexity of the process.

Für diese Ausführungsform des Verfahrens wird als Ähnlichkeitsmaß beispielsweise der Winkel zwischen den Normalenvektoren der aus den Bildbereichen ermittelten Hyperebenen verwendet. Dieser Differenzwinkel ist ein Maß für einen ähnlichen Bildwert- bzw. Grauwertverlauf in den Bildbereichen der verschiedenen Bildersequenzen. Alternativ oder ergänzend werden für das Ähnlichkeitsmaß die Differenz der Achsenabschnittsparameter in der Intensitäts (g) – Dimension der Hyperebenen von Bildbereichen aus den mehreren Bildersequenzen herangezogen. Diese Differenz ist ein Maß für den absoluten mittleren Bildwert bzw. Grauwert in dem jeweiligen Bildbereich. Die Parameter der Funktion h können sodann beispielsweise bei der Bestimmung des optischen Flusses herangezogen werden.For this embodiment of the method is used as a measure of similarity, for example the angle between the normal vectors of the image areas determined hyperplanes used. This difference angle is a Measure of a similar Image value or gray value curve in the image areas of the various Image sequences. Alternatively or in addition, the difference for the similarity measure the intercept parameter in the intensity (g) dimension of the hyperplanes used by image areas from the multiple image sequences. This difference is a measure of the absolute average image value or gray value in the respective image area. The parameters of the h function can be then used, for example, in the determination of the optical flow become.

In einer vorteilhaften Weise des Verfahrens ist die parametrierte Funktion h(u, v, t) als eine Funktion höherer Ordnung als eine Hyperebene und/oder als eine beliebige Funktion ausgebildet, wobei die parametrierte Funktion insbesondere eine beliebig geformte Fläche in dem Raum R(uvgt) bildet. Mit einer derart komplexen Funktion wird zwar der Rechenaufwand für die Anpassung erhöht, gleichzeitig wird jedoch die Genauigkeit der Anpassung verbessert, so dass eine zuverlässigere Zuordnung der Bildbereiche erfolgen kann.In an advantageous way of the method is the parameterized function h (u, v, t) as a function of higher Order as a hyperplane and / or as any function formed, wherein the parameterized function in particular a arbitrarily shaped surface in the space R (uvgt) forms. With such a complex function Although the computational effort for the adaptation increases, at the same time, however, the accuracy of the fit is improved, so a more reliable Assignment of the image areas can be done.

Als Ähnlichkeitsmaß wird vorzugsweise das Differenzvolumen zwischen den aus den Bildbereichen ermittelten Flächen und/oder das in einem vorgegebenen Bereich von den Flächen umschlossene Volumen im R(uvgt)-Raum in der lokalen Umgebung des betrachteten Pixels verwendet.As a degree of similarity is preferred the difference volume between the determined from the image areas surfaces and / or enclosed in a predetermined area of the surfaces Volume in the R (uvgt) space in the local environment of the considered Pixels used.

Alternativ kann als Ähnlichkeitsmaß der direkte Vergleich der Parameter der aus den Bildbereichen bestimmten parametrierten Funktionen herangezogen werden. Vorzugsweise wird hierfür der Abstand im Raum der Parameter verwendet. Der Raum der Parameter ist dabei ein n-dimensionaler Raum, wobei n die Anzahl der unabhängigen Parameter der parametrierten Funktion h(u, v, t) angibt. Bevorzugt wird ein euklidischer Parameterraum verwendet.alternative can as a measure of similarity the direct Comparison of the parameters of the parameterized ones determined from the image areas Functions are used. Preferably, this is the distance used in the space of the parameters. The space of the parameters is there an n-dimensional space, where n is the number of independent parameters of the parameterized function h (u, v, t). Preference is given to Euclidean parameter space used.

Zur Minimierung des Rechenaufwands kann vorgesehen sein, dass zur Ermittlung der relevanten Bildregionen Differenzbilder gebildet werden, und zwar zwischen Bildern der Bildersequenzen und von zuvor aufgenommenen Referenzbildern der Szene. Es wird also anstatt des aktuellen Bildes jeweils die absolute Differenz zwischen dem aktuellen Bild und einem Referenzbild der Szene verwendet. Insbesondere wird diese Verfahrensvariante eingesetzt, wenn die Bildersequenzen mit stationären, also über die Zeit unbewegten Kameras aufgenommen werden. Ein mögliches Kriterium für den Interest-Operator ist hierbei ein Anstieg von 0 auf 1 oder ein Abfall von 1 auf 0 in einem mit einem festen Schwellenwert binarisierten Differenzbild. Auf diese Weise lässt sich die Anzahl der Fehlkorrespondenzen stark vermindern. Auch können zur Verringerung des Rechenaufwands Bild- oder Zeitpyramiden eingesetzt werden, wobei anstatt des aktuellen Bildes zunächst ein Bild mit niedriger Auflösung herangezogen wird, um beispielsweise schnelle Bewegungen erfassen zu können.In order to minimize the computational effort, it may be provided that differential images are formed for determining the relevant image regions, namely between images of the image sequences and of previously recorded reference images of the scene. Thus, instead of the current picture, it becomes the absolute difference between the current picture and a reference picture of the scene. In particular, this variant of the method is used when the image sequences are recorded with stationary cameras, that is, stationary over time. A possible criterion for the interest operator is an increase from 0 to 1 or a decrease from 1 to 0 in a difference image binarized with a fixed threshold value. In this way, the number of erroneous correspondences can be greatly reduced. Also, image or time pyramids can be used to reduce the computational effort, wherein instead of the current image, a low-resolution image is first used to capture, for example, fast movements.

Die erfindungsgemäße Vorrichtung nach Anspruch 15 ist zur dreidimensionalen Szenenrekonstruktion geeignet und/oder dazu ausgebildet. Sie umfasst ein Kamerasystem und mindestens eine Auswerteeinheit, die mit dem Kamerasystem verschaltet ist. Erfindungsgemäß ist vorgesehen, dass eine erste Auswerteeinheit programmtechnisch und/oder schaltungstechnisch zur Durchführung des zuvor beschriebenen Verfahrens ausgebildet ist.The inventive device according to claim 15 is suitable for three-dimensional scene reconstruction and / or trained. It includes a camera system and at least an evaluation unit, which is interconnected with the camera system. According to the invention, it is provided that a first evaluation unit programmatically and / or circuitry to carry out of the method described above is formed.

Vorzugsweise ist vorgesehen, dass das Kamerasystem als Stereokamerasystem realisiert ist, welches zwei Kameras umfasst. Insbesondere sind die zwei Kameras mit paralleler Beobachtungsrichtung angeordnet und/oder sind identisch ausgebildet. Diese Ausführungsform erlaubt eine sehr einfache Bestimmung der Epipolarlinie.Preferably it is envisaged that the camera system realized as a stereo camera system is, which includes two cameras. In particular, the two cameras arranged with parallel observation direction and / or are identical educated. This embodiment allows a very simple determination of the epipolar line.

Alternativ ist das Kamerasystem als insbesondere kalibriertes Mehrkamerasystem ausgebildet, weist also zwei oder mehr Kameras auf. Insbesondere haben die Kameras einen überlappenden Beobachtungsbereich. Vorzugsweise ist das Kamerasystem kalibriert, alternativ kann auch eine automatische Kalibrierung vorgesehen sein.alternative is the camera system as a specially calibrated multi-camera system formed, so has two or more cameras. Especially the cameras have an overlapping Observation area. Preferably, the camera system is calibrated Alternatively, an automatic calibration can be provided.

Bei einer Weiterbildung der Vorrichtung ist eine zweite Auswerteeinheit vorgesehen, die für eine dreidimensionale Szenenrekonstruktion eine Korrespondenzbestimmung auf Basis eines anderen Algorithmus durchführt, insbesondere auf Basis einer Korrelationsanalyse. Optional ist für die zweite Auswerteeinheit ein weiteres Kamerasystem vorgesehen. Dieser Ausführungsform liegt die Überlegung zu Grunde, die gleiche Szene mit zwei voneinander unabhängigen Vorrichtungsbaugruppen zu beobachten und zu rekonstruieren, um eine erhöhte Erkennungssicherheit bei sicherheitsrelevanten Applikationen zu gewährleisten.at a development of the device is a second evaluation provided for that a three-dimensional scene reconstruction a correspondence determination based on another algorithm, especially based on a correlation analysis. Optional is for the second evaluation unit another camera system provided. This embodiment lies the consideration the same scene with two independent device assemblies to observe and reconstruct, to increase detection reliability to ensure safety-relevant applications.

Weitere Einzelheiten, Merkmale, Merkmalskombinationen, Vorteile und Wirkungen auf der Basis der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung und aus den Zeichnungen.Further Details, features, feature combinations, benefits and effects on the basis of the invention will become apparent from the following description preferred embodiments the invention and from the drawings.

Dabei zeigen:there demonstrate:

1 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens; 1 a flowchart of an embodiment of the method according to the invention;

2 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung in Blockdarstellung. 2 An embodiment of a device according to the invention in a block diagram.

1 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. In einem Schritt 1 werden von mindestens zwei Kameras Bildersequenzen aufgenommen, wobei die Bildersequenzen aus zeitlich äquidistanten Einzelbildern bestehen. Die Kameras sind zueinander synchronisiert, so dass zu den äquidistanten Zeitpunkten mit jeder Kamera zeitgleich ein Einzelbild aufgenommen wird. Auf diese Weise wird zu jedem zeitlich äquidistanten Zeitpunkt ein b-Tupel von Einzelbildern erzeugt, wobei b die Anzahl der mindestens zwei Kameras bezeichnet. 1 shows a flowchart of an embodiment of the method according to the invention. In one step 1 are recorded by at least two cameras image sequences, the image sequences consist of temporally equidistant frames. The cameras are synchronized with each other, so that at the equidistant times with each camera simultaneously a single image is taken. In this way, a b-tuple of individual images is generated at each temporally equidistant time, where b denotes the number of at least two cameras.

In einem optionalen Schritt 2 werden Differenzbilder erzeugt, indem von den Bildwerten, insbesondere von den Grauwerten, der Einzelbilder der Bildersequenzen jeweils Referenzbilder subtrahiert werden.In an optional step 2 Differential images are generated by subtracting reference images from the image values, in particular from the gray values, of the individual images of the image sequences.

Soweit die mindestens zwei Kameras nicht derart zueinander angeordnet sind, dass die Epipolarbedingung erfüllt ist, werden in einem Schritt 3 die Einzelbilder des b-Tupels zueinander rektifiziert. Dies geschieht in bekannter Weise durch Anwendung von Rotations- und Translationsmatrizen. Nach dem Schritt 3 sind die Einzelbilder des B-Tupels so modifiziert, dass korrespondierende Bildbereiche einer gemeinsamen Epipolarlinie zugeordnet sind. Dieser Schritt 3 kann auch vor dem Schritt 2 oder zu einem späteren Zeitpunkt erfolgen.As far as the at least two cameras are not arranged in such a way that the epipolar condition is fulfilled, are in one step 3 the individual images of the b-tuple rectified to each other. This is done in a known manner by using rotation and translation matrices. After the step 3 the individual images of the B-tuple are modified so that corresponding image areas are assigned to a common epipolar line. This step 3 can also before the step 2 or at a later date.

In einem Schritt 4 werden relevante Bildregionen mittels eines Interest-Operators ermittelt. Hierzu werden die Differenzbilder binarisiert, wobei Pixel von Bildregionen mit Bildwerten unterhalb eines definierten Schwellenwertes den Wert 0 und Bildregionen oberhalb des Schwellenwertes den Wert 1 erhalten. Die Bildregionen mit Pixelwerten 1 werden im weiteren als relevante Bildregionen bezeichnet.In one step 4 relevant image regions are determined by means of an interest operator. For this purpose, the difference images are binarized, whereby pixels of image regions with image values below a defined threshold value 0 and image regions above the threshold value 1. The image regions with pixel values 1 are referred to below as relevant image regions.

In einem Schritt 5 werden auf die relevanten Bildregionen der Differenzbilder (nicht der binarisierten Bilder) Bildbearbeitungsverfahren angewendet, die Pixel mit einer Umgebung mit besonders starken Gradienten extrahieren. Derartige Pixel sind für die Bestimmung von räumlichen Korrespondenzen besonders geeignet. Beispielsweise wird eine Skelettierungsoperation auf die relevanten Bildregionen angewandt, die skelettartige Mittellinien in den relevanten Bildregionen erzeugt. Die extrahierten Pixel, also bei diesem Beispiel die Pixel der Mittellinien, werden im weiteren Interest-Pixel genannt.In one step 5 For example, image processing methods that extract pixels with a particularly high gradient environment are applied to the relevant image regions of the difference images (not the binarized images). Such pixels are particularly suitable for the determination of spatial correspondences. For example, a skeletonization operation is applied to the relevant image regions, creating skeletal centerlines in the relevant image regions. The extracted pixels, in this example the pixels of the center lines, are referred to below as interest pixels.

In einem Schritt 6 werden an jedes einzelne Interest-Pixel und dessen lokale Umgebung vorzugsweise auf Basis des Originalbilds und/oder des Differenzbilds eine parametrierte Funktion h(u, v, t) angepasst. Die Interest-Pixel werden dabei in einem vierdimensionalen Raum R(uvgt) dargestellt, der durch die Pixelposition u, v, den Bild- oder Grauwert g und die Zeit t aufgespannt wird. Die parametrierte Funktion h(u, v, t) ist im einfachsten Fall als Hyperebene ausgebildet. Diese parametrierte Funktion h(u, v, t) wird an ein Interest-Pixel und dessen Umgebung unter Verwendung von Informationen über die Bild- oder Grauwertverteilung und dessen zeitliches Verhalten angepasst. Die lokale Umgebung des Interest-Pixels umfasst die Umgebung bezüglich der Pixelposition u, v und die Umgebung bezüglich der Zeit t.In one step 6 On the basis of the original image and / or the difference image, a parameterized function h (u, v, t) is adapted to each individual interest pixel and its local environment. The interest pixels are represented in a four-dimensional space R (uvgt), which is spanned by the pixel position u, v, the image or gray value g and the time t. The parameterized function h (u, v, t) is formed in the simplest case as a hyperplane. This parameterized function h (u, v, t) is adapted to an interest pixel and its surroundings using information about the image or gray value distribution and its temporal behavior. The local environment of the interest pixel comprises the environment with respect to the pixel position u, v and the environment with respect to the time t.

Die lokale Pixelumgebung und/oder die zeitliche Umgebung der aufgenommenen Einzelbilder wird vorzugsweise Applikationsspezifisch gewählt. Es besteht aber auch die Möglichkeit, die Pixelumgebung und/oder die zeitliche Umgebung Objektspezifisch anhand der Objektgröße zu wählen. Vorzugsweise findet bei unbewegtem Kamerasystem die Extraktion der Interest-Pixel in einem Differenzbild statt, das durch Bildung der Differenz aus dem aktuellen Bild der Szene und einem Referenzbild berechnet wird. Ohne Beschränkung der Allgemeinheit sei angenommen, dass das Kamerasystem aus zwei identischen Kameras mit parallelen optischen Achsen besteht, so dass die Epipolarlinien den Bildzeilen entsprechen.The local pixel environment and / or the temporal environment of the recorded Single images are preferably selected application-specific. It but it is also possible the pixel environment and / or the temporal environment object-specific based on the object size. Preferably finds the extraction of the interest pixels when the camera system is stationary take place in a difference image, by forming the difference the current picture of the scene and a reference picture is calculated. Without limitation of Generality is assumed that the camera system of two identical Cameras with parallel optical axes exist, so the epipolar lines correspond to the picture lines.

In der Praxis finden sich viele Interest-Pixel an Grenzen von Objekten im Bild, die sich im Vergleich zum Referenzbild in die Szene hinein- oder aus ihr herausbewegt haben. Idealerweise kann insbesondere eine solche Objektgrenze durch einen abrupten Sprung der Pixelintensität beschrieben werden. In realen Bildern werden solche Intensitätssprünge allerdings meist nicht beobachtet, da sie durch die Point Spread Function des optischen Systems „aufgeweicht" werden. Aus diesem Grunde ist es vorteilhaft, den Intensitätsverlauf an der Objektgrenze durch eine sigmoide Funktion wie beispielsweise den Tangens Hyperbolicus zu beschreiben. Da allerdings angenommen werden muss, dass der sigmoide Intensitätsverlauf von weiteren Schwankungen der Pixelintensität überlagert ist, wird die Intensitätsverteilung in der raumzeitlichen Umgebung eines Interest-Pixels vorzugsweise als gemischt polynomial-sigmoider Ansatz modelliert: h(u, v, t) = p1(v, t)[tanh[p2(v, t)u + p3(v, t)] + p4(u, v, t). (1) In practice, many interest pixels are found at the boundaries of objects in the image that have moved in or out of the scene in comparison to the reference image. Ideally, in particular such an object boundary can be described by an abrupt jump of the pixel intensity. In real images, however, such intensity jumps are usually not observed, since they are "softened" by the point spread function of the optical system, which is why it is advantageous to describe the intensity curve at the object boundary by a sigmoid function such as hyperbolic tangent. Since, however, it must be assumed that the sigmoid intensity curve is superimposed by further fluctuations in the pixel intensity, the intensity distribution in the spatiotemporal environment of an interest pixel is preferably modeled as a mixed polynomial-sigmoidal approach: h (u, v, t) = p 1 (v, t) [tanh [p 2 (v, t) u + p 3 (v, t)] + p 4 (u, v, t). (1)

Die Terme p₁(v, t), p₂(v, t) und p₃(v, t) beschreiben Polynome in v und t, während p₄(u, v, t) ein Polynom in u, v und t ist. Für einen bestimmten Zeitschritt t modelliert Gl. (1) im Wesentlichen vertikal verlaufende Objektgrenzen, da aufgrund des Aperturproblems die Bestimmung von Disparitäten basierend auf horizontalen Kantenverläufen nicht möglich ist. Das Polynom p₁(v, t) beschreibt die Amplitude und p₂(v, t) die Steilheit der Sigmoidfunktion, die beide von der Bildzeile v abhängen, während p₃(v, t) die zeilenabhängige Position der modellierten Objektgrenze wiedergibt. Der Wert von p₂(v, t) hängt im Wesentlichen davon ab, wie scharf die Kante durch das optische System abgebildet wird, wobei große Werte eine scharfe und kleine Werte eine unscharfe Kante beschreiben. Das Polynom p₄(u, v, t) ist ein räumlich variabler Offset-Term, der lokale Intensitätsschwankungen innerhalb und außerhalb des Objekts modelliert und so beispielsweise unruhigen Hintergrund berücksichtigen kann. Alle beschriebenen Eigenschaften werden im Rahmen des Spacetime-Stereo-Ansatzes als zeitlich veränderlich angesehen, was sich in der direkten Zeitabhängigkeit der Polynome widerspiegelt. Interest-Pixel, für die das Residuum des Fits der Funktion h(u, v, t) an die Pixelintensitäten g(u, v, t) größer als ein vorgegebener Schwellwert ist, werden zurückgewiesen.The terms p ₁ (v, t), p ₂ (v, t) and p ₃ (v, t) describe polynomials in v and t, while p ₄ (u, v, t) is a polynomial in u, v and t is. For a given time step t, Eq. (1) substantially vertically extending object boundaries, since the determination of disparities based on horizontal edge curves is not possible due to the aperture problem. The polynomial p ₁ (v, t) describes the amplitude and p ₂ (v, t) the steepness of the sigmoid function, both of which depend on the image line v, while p ₃ (v, t) represents the line-dependent position of the modeled object boundary. The value of p ₂ (v, t) depends essentially on how sharply the edge is imaged by the optical system, where large values represent sharp and small values a blurred edge. The polynomial p ₄ (u, v, t) is a spatially variable offset term that can model local intensity fluctuations inside and outside the object and thus, for example, take into account turbulent background. All described properties are considered temporally variable in the context of the Spacetime stereo approach, which is reflected in the direct time dependence of the polynomials. Interest pixels for which the residual of the fit of the function h (u, v, t) to the pixel intensities g (u, v, t) is greater than a predetermined threshold are rejected.

In ihrer allgemeinen Form führt Gl. (1) auf eine Bestimmung der Parameter der Funktion h(u, v, t) für jedes Interest-Pixel durch ein nichtlineares Optimierungsverfahren. Solche Optimierungsverfahren benötigen oftmals Vorwissen über die Lösung, es ist nicht garantiert, dass wirklich das globale Optimum gefunden wird, und erfordern im allgemeinen lange Rechenzeiten. Insbesondere das letztgenannte Problem erschwert den Einsatz des auf nichtlinearer Optimierung basierenden Verfahrens in realzeitfähigen Systemen oder macht ihn dort unmöglich.In its general form, Eq. (1) to a determination of the parameters of the function h (u, v, t) for each interest pixel by a nonlinear optimization method. Such optimization methods often require prior knowledge of the solution, there is no guarantee that the global optimum will really be found, and generally require long computation times. In particular, the latter problem complicates or makes use of the nonlinear optimization based method in real-time capable systems impossible there.

Aus diesem Grunde ist es besonders vorteilhaft, wenn zur Bestimmung der Parameter der Funktion h(u, v, t) für jedes Interest-Pixel ein auf physikalisch motivierten vereinfachenden Annahmen beruhender spezieller Rechenweg genutzt wird, der auf eine Bestimmung der Funktionsparameter durch lineare Optimierung führt. Ein solches Optimierungsproblem sei nachfolgend im Detail beschrieben und ist unter Einsatz von aus der Literatur bekannten Verfahren sehr recheneffizient lösbar (beispielsweise mittels: W. H. Press, S. A. Teukolsky, W. T. Vetterling, B. P. Flannery. Numerical Recipes in C. Cambridge University Press, Cambridge, UK, 1992).Out For this reason, it is particularly advantageous when determining the parameter of the function h (u, v, t) for each interest pixel based on physically motivated simplifying assumptions special calculation method is used, which is based on a determination of the functional parameters through linear optimization leads. Such an optimization problem will be described in detail below and is using methods known from the literature very computationally solvable (for example by: W.H. Press, S.A. Teukolsky, W.T. Vetterling, B. P. Flannery. Numerical Recipes at C. Cambridge University Press, Cambridge, UK, 1992).

Dem vorteilhaften Verfahren liegen folgende Annahmen zu Grunde:

1. Der Offset p₄(u, v, t) ist räumlich konstant und entspricht der über die räumlichen Bildkoordinaten u und v gemittelten Pixelintensität Ī_uv(t) der lokalen Umgebung des Interest-Pixels.
2. Die Amplitude p₁(v, t) des Sigmoids ist räumlich konstant und proportional zur Standardabweichung σ_I(t) der Pixelintensitäten in der räumlichen lokalen Umgebung des Interest-Pixels mit p₁(v, t) = kσ_I(t), wobei k einen konstanten, vom Benutzer vorgegebenen Faktor darstellt. Der Wert von k liegt vorzugsweise zwischen 0.8 und 3. Es ist hierbei auch möglich, anstatt räumlicher Mittelwerte und Standardabweichungen raum-zeitliche Mittelwerte und Standardabweichungen zu verwenden.

The advantageous method is based on the following assumptions:

1. The offset p ₄ (u, v, t) is spatially constant and corresponds to the averaged over the spatial image coordinates u and v pixel intensity Ī _uv (t) of the local environment of the interest pixel.
2. The amplitude p ₁ (v, t) of the sigmoid is spatially constant and proportional to the standard deviation σ _I (t) of the pixel intensities in the spatial local environment of the interest pixel with p ₁ (v, t) = kσ _I (t) where k represents a constant factor given by the user. The value of k is preferably between 0.8 and 3. It is also possible to use spatiotemporal averages and standard deviations instead of spatial means and standard deviations.

Unter diesen Annahmen läßt sich Gl. (1) umformen zu

Under these assumptions Eq. (1) transform too

Die linke Seite von Gl. (2) ist ein Polynom in v und t, dessen Parameter sich aus den transformierten Bilddaten Ĩ(u, v, t) durch Lösen eines linearen Gleichungssystems bestimmen lassen, wofür effiziente Lösungsverfahren zur Verfügung stehen.The left side of Eq. (2) is a polynomial in v and t whose parameters from the transformed image data Ĩ (u, v, t) by solving a linear equation system, for which efficient solution methods to disposal stand.

Beispielhaft sei hier das Gaußsche Eliminationsverfahren genannt. Pixel mit |[I(u, v, t) – Ī_uv(t)]/(kσ_I(t))| ≥ Θ mit Θ als vom Benutzer vorzugebendem Systemparameter werden nicht in den Optimierungsvorgang einbezogen, weil für sie ein transformierter Pixelwert Ĩ(u, v, t) durch Inversion der Sigmoidfunktion nicht oder aufgrund der großen Steigung der artanh-Funktion nur sehr ungenau bestimmt werden kann. Der Wert von Θ ist vorzugsweise größer als 0.75 und muss stets kleiner als 1 sein. Die Polynomparameter der linken Seite von Gl. (2) ermöglichen innerhalb des mit dem erfindungsgemäßen Verfahrens grundlegend beschriebenen Ansätzen die Bestimmung von Korrespondenzen zwischen Stereobildpaaren bzw. Paaren von Stereobildsequenzen.By way of example, the Gaussian elimination method may be mentioned here. Pixels with | [I (u, v, t) - Ī _uv (t)] / (kσ _I (t)) | ≥ Θ with Θ as the system parameter to be specified by the user are not included in the optimization process because for them a transformed pixel value Ĩ (u, v, t) can not be determined by inversion of the sigmoid function or due to the large slope of the artanh function only very inaccurate , The value of Θ is preferably greater than 0.75 and must always be less than 1. The polynomial parameters of the left side of Eq. (2) allow the determination of correspondences between stereo image pairs or pairs of stereo image sequences within the approaches fundamentally described by the method according to the invention.

Eine weitere vorteilhafte Ausgestaltung des Verfahrens ergibt sich, wenn weitere vereinfachende Annahmen gemacht werden:

3. Die Steilheit p₂(v, t) des Sigmoids ist konstant mit P₂(v, t) = a.
4. Die Objektgrenze kann durch ein Geradenstück der Steigung b dargestellt werden, das sich mit der konstanten Geschwindigkeit c bewegt; dies entspricht p₃(v, t) = bv + ct + d.

A further advantageous embodiment of the method results if further simplifying assumptions are made:

3. The steepness p ₂ (v, t) of the sigmoid is constant with P ₂ (v, t) = a.
4. The object boundary can be represented by a straight line of the slope b, which moves at the constant speed c; this corresponds to p ₃ (v, t) = bv + ct + d.

Diese Annahmen führen direkt auf einen linearen Ansatz für die vier Modellparameter a, b, c und d: au + bv + ct + d = Ĩ(u, v, t) (3) These assumptions lead directly to a linear approach for the four model parameters a, b, c and d: au + bv + ct + d = Ĩ (u, v, t) (3)

In diesem Modell wird das Bewegungsverhalten der Kante durch den Geschwindigkeitsparameter c beschrieben. Die Modellparameter a, b, c und d ermöglichen im Rahmen des erfindungsgemä ßen Verfahrens die Bestimmung von Korrespondenzen zwischen Stereobildpaaren bzw. Paaren von Stereobildsequenzen.In This model is the movement behavior of the edge by the speed parameter c described. The model parameters a, b, c and d allow in the context of the inventive Shen method Determination of correspondences between stereo image pairs or pairs of stereo image sequences.

Gl. (1) erlaubt eine direkte subpixelgenaue Bestimmung der Kantenposition u_e aus den gefitteten Modellparametern. Dieser Wert ist von großer Bedeutung für die nach der Korrespondenzbestimmung stattfindende Berechnung der Disparität. Es ist hier sinnvoll, den Wert von u_e als den Ort des maximalen Gradienten des Intensitätsprofils in horizontaler Richtung zu definieren, was der Nullstelle der Sigmoidfunktion entspricht. Diese Bedingung führt auf ue(uc, vc, tc) = –p3(vc, tc)/p2(vc, tc), (3)wobei sich u_c, v_c und t_c auf das Zentrum der betrachteten lokalen Umgebung des Interest-Pixels beziehen. Der Wert von v_c bezeichnet darüber hinaus die Epipolarlinie, auf der das betreffende Interest-Pixel liegt.Eq. (1) allows a direct subpixel-accurate determination of the edge position u _e from the fit model parameters. This value is of great importance for the calculation of the disparity taking place after the correspondence determination. It makes sense here to define the value of u _e as the location of the maximum gradient of the intensity profile in the horizontal direction, which corresponds to the zero point of the sigmoid function. This condition occurs u e (u c , v c , t c ) = -P 3 (v c , t c ) / P 2 (v c , t c (3) where u _c , v _c and t _c refer to the center of the considered local environment of the interest pixel. Of the In addition, value of v _c denotes the epipolar line on which the relevant interest pixel lies.

In einem Schritt 7 werden die Parameter der parametrierten Funktion h(u, v, t) von Interest-Pixeln, die verschiedenen Einzelbildern des b-Tupels zugeordnet sind und die auf einer gemeinsamen Epipolarlinie liegen, miteinander verglichen. Der Vergleich erfolgt beispielsweise, indem die kleinste Differenz der Parameter als Ähnlichkeitsmaß verwendet wird.In one step 7 For example, the parameters of the parameterized function h (u, v, t) of interest pixels, which are assigned to different individual images of the b-tuple and lie on a common epipolar line, are compared with one another. The comparison is made, for example, by using the smallest difference of the parameters as a measure of similarity.

In einem Schritt 8 werden die Interest-Pixel der verschiedenen Einzelbildern des b-Tupels mit dem besten Ähnlichkeitsmaß als zueinander korrespondierend bestimmt. Auf Basis dieser korrespondierenden Interest-Pixel erfolgt anschließend in bekannter Weise eine dreidimensionale Rekonstruktion der beobachteten Szene.In one step 8th the interest pixels of the different individual images of the b-tuple with the best similarity measure are determined as corresponding to each other. On the basis of these corresponding interest pixels, a three-dimensional reconstruction of the observed scene then ensues in a known manner.

Bei einer stark vereinfachten Ausführungsform des Verfahrens, welches nicht unter den Anspruchswortlaut des Anspruchs 1 fällt, werden statt Bildersequenzen nur Einzelbilder, insbesondere Paare bzw. Tupel von Einzelbildern, verwendet, bei denen die Bildung von Korrespondenzen durch Vergleich der Parameter von im Raum R(u, v, g) angepassten Funktionen l(u, v). Auch diese vereinfachte Ausführungsform lässt sich mit dem Differenzbild-Ansatz kombinieren. Bei der vorliegenden Erfindung wird dagegen die parametrierte Funktion h(u, v, t) mindestens über den Zeitraum von zwei aufeinanderfolgenden Einzelbildern der Bildersequenzen angepasst.at a greatly simplified embodiment of the method, which is not covered by the claims of the claim 1 falls, instead of picture sequences only single pictures, in particular pairs or tuple of frames, used in which the formation of Correspondences by comparing the parameters of in space R (u, v, g) adapted functions l (u, v). Also this simplified embodiment let yourself combine with the difference image approach. In the present invention on the other hand, the parameterized function h (u, v, t) is at least above the Period of two consecutive frames of the image sequences adjusted.

Die 2 zeigt eine Vorrichtung zur dreidimensionalen Szenenrekonstruktion. Ein Objekt 9 wird mittels eines Kamerasystems optisch erfasst, welches aus unbewegten Kameras 10a, b und optional 10c besteht. Bei dem Objekt 9 kann es sich beispielsweise um eine Fremdperson in einer Bearbeitungszelle handeln, die mit der Vorrichtung zur dreidimensionalen Szenenrekonstruktion als Roboter-Schutzraumüberwachung ausgestattet ist. Die Kameras sind als digitale Kameras, insbesondere als CCD-Kameras ausgebildet, mit denen Bilder in Grauwertformat aufgenommen werden können. Bei anderen Applikationen können auch Farbkameras oder Wärmebildkameras oder W-Kameras eingesetzt werden. Die Kameras 10a, b, c sind zueinander synchronisiert, so dass zeitgleich ein Dreiertupel mit drei Einzelbildern aufgenommen wird.The 2 shows a device for three-dimensional scene reconstruction. An object 9 is optically detected by means of a camera system, which consists of stationary cameras 10a , b and optional 10c consists. At the object 9 it may, for example, be a foreign person in a processing cell that is equipped with the device for three-dimensional scene reconstruction as robotic protection space monitoring. The cameras are designed as digital cameras, in particular as CCD cameras, with which images in gray scale format can be recorded. For other applications, color cameras or thermal imaging cameras or W cameras can also be used. The cameras 10a , b, c are synchronized with each other, so that at the same time a Dreiertupel is recorded with three frames.

Die Kamerasignale werden über ein Kabel 11 an eine erste Auswerteeinheit 12 übergeben. In dieser Auswerteeinheit 12 wird das in Zusammenhang mit der 1 erläuterte Verfahren zur Bestimmung von räumlichen Korrespondenzen durchgeführt. Hierzu ist beispielsweise in einer Recheneinheit ein entsprechendes Programm gespeichert. Die bestimmten Korres pondenzen zwischen den Bildbereichen der Bildersequenzen der Kameras 10a, b, c werden an eine Berechnungseinheit 13 übergeben, die das erfasste Objekt 9 dreidimensional rekonstruiert.The camera signals are transmitted via a cable 11 to a first evaluation unit 12 to hand over. In this evaluation unit 12 will that be in connection with the 1 explained method for the determination of spatial correspondences. For this purpose, for example, a corresponding program is stored in a computing unit. The particular corres pondenzen between the image areas of the image sequences of the cameras 10a , b, c are sent to a calculation unit 13 pass the captured object 9 reconstructed three-dimensionally.

Optional und in 2 gestrichelt angedeutet ist eine zweite Auswerteeinheit 14 vorgesehen, die ebenfalls Korrespondenzen zwischen Bildbereichen der Bildersequenzen bestimmt, jedoch auf Basis eines abweichend ausgebildeten Algorithmus. Die Auswerteeinheit 14 arbeitet beispielsweise mit einer Korrelationsanalyse. Die derart bestimmten Korrespondenzen werden an eine zweite Berechnungseinheit 15 übergeben, die ebenfalls das erfasste Objekt 9 dreidimensional rekonstruiert. Die Ergebnisse der ersten Berechnungseinheit 13 und der zweiten Berechnungseinheit 15 können miteinander verglichen werden, um eine höhere Rekonstruktionsgenauigkeit zu erhalten oder unabhängig voneinander ausgewertet werden, um bei sicherheitsrelevanten Anwendungen eine höhere Sicherheit zu erreichen.Optional and in 2 indicated by dashed lines is a second evaluation 14 provided that also correspondences between image areas of the image sequences determined, but based on a deviant trained algorithm. The evaluation unit 14 For example, it works with a correlation analysis. The correspondences thus determined are sent to a second calculation unit 15 pass, which is also the captured object 9 reconstructed three-dimensionally. The results of the first calculation unit 13 and the second calculation unit 15 can be compared with one another to obtain a higher level of reconstruction accuracy or to be evaluated independently of one another in order to achieve greater safety in safety-relevant applications.

Claims

Method for determining spatial Correspondences between image areas in several, from different Observational perspectives recorded image sequences of a scene, preferably for the three-dimensional reconstruction of this scene, in which in the picture sequences for the correspondence determination relevant image regions are determined from which image areas are formed, being to the image areas in a pixel position u, v, image value g and time t spanned Room R (uvgt) each adapted a parameterized function h (u, v, t) will and where the parameters of the parameterized functions for the formation of a similarity measure between the image areas of the multiple image sequences are used.

The method of claim 1, wherein the relevant image regions a sufficient variability of the image values for correspondence formation, especially the pixel gray values, exhibit.

The method of claim 1 or 2, wherein the relevant Image regions are determined by means of an interest operator, preferably as an edge filter and / or a local statistical Gray value analysis is formed.

Method according to one of the preceding claims, wherein the relevant image regions by evaluation of spatiotemporal Characteristics takes place.

Method according to one of the preceding claims, wherein Image areas are formed in the form of interest pixels, preferably by applying to the relevant image regions a non-maximum suppression and / or a skeletonization operation is applied.

Method according to one of the preceding claims, wherein the similarity measure between Image areas of the multiple image sequences is formed, the same Epipolar are associated, in particular between interest pixels is formed on the same epipolar and / or Epiloarlinie lie.

Method according to claim 5 or 6, wherein the adaptation the parameterized function h (u, v, t) to the interest pixels and their local environment takes place.

The method of claim 7, wherein the local environment is formed as a pixel region, preferably as a square Pixel area formed in particular odd-numbered pixel edge number is, and / or designed as a temporal environment

Method according to one of the preceding claims, wherein the parameterized function as a hyperplane in the space R (uvgt) is trained.

The method of claim 9, wherein for the similarity measure the angle between the normal vectors and / or the difference of the intercept parameters of the hyperplanes determined from the image areas is used.

Method according to one of claims 1 to 8, wherein the parameterized Function h (u, v, t) as a function of higher order than a hyperplane is formed and in particular an arbitrarily shaped surface in the Room R (uvgt) forms.

The method of claim 11, wherein for the similarity measure the difference volume used between the areas determined from the image areas becomes.

Method according to one of the preceding claims, wherein for the similarity measure the direct Comparison of parameters determined from the image areas used is, preferably the distance, in particular the Euclidean Distance, in the space the parameter is used.

Method according to one of the preceding claims, characterized characterized in that the relevant image regions are determined, wherein difference pictures between the pictures of the picture sequences and generated by reference images.

Method according to one of the preceding claims, characterized characterized in that for determining the parameters of the function h (u, v, t) for each pixel of interest is based on a physically motivated simplistic Assumptions based special computing that is based on a Determination of the functional parameters by linear optimization leads.

Device for three-dimensional scene reconstruction with a camera system ( 10a , b, c) and at least one evaluation unit ( 12 . 14 ), characterized in that a first evaluation unit ( 12 ) is formed programmatically and / or circuitry for carrying out the method according to one of claims 1 to 14.

Apparatus according to claim 15, characterized in that the camera system as a stereo camera system ( 10a , b) is formed.

Apparatus according to claim 15, characterized in that the camera system as a calibrated multi-camera system ( 10a , b, c) is formed.

Device according to one of claims 15 to 17, characterized by a second evaluation unit ( 14 ), which is designed in terms of programming technology and / or circuitry for determining correspondences for a three-dimensional scene reconstruction.

Apparatus according to claim 18, characterized in that the second evaluation unit ( 14 ) is assigned a further camera system.

Apparatus according to claim 18 or 19, characterized in that first and second evaluation unit ( 12 . 14 ) are independently operable and / or that the camera system and further camera system are independently operable.