DE102011122458A1

DE102011122458A1 - Method for tracking an object, camera system and motor vehicle located in an environment of a motor vehicle

Info

Publication number: DE102011122458A1
Application number: DE102011122458A
Authority: DE
Inventors: Lowik Chanussot; Amaury Breheret
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2011-12-24
Filing date: 2011-12-24
Publication date: 2013-06-27
Also published as: WO2013092795A1

Abstract

Die Erfindung betrifft ein Verfahren zum Verfolgen eines in einer Umgebung (6) eines Kraftfahrzeugs (1) befindlichen Objektes (5) in einer Sequenz von nacheinander aufgenommenen Bildern (B0, BF) einer Kamera (4) des Kraftfahrzeugs (1), mit den Schritten: a) Identifizieren des Objektes (5) in einem ersten Bild (B0) der Sequenz von Bildern (B0, BF) und Bestimmen einer Vielzahl von charakteristischen Punkten (Pi 0) des Objektes (5) in dem ersten Bild (B0), b) Bestimmen einer Vielzahl von charakteristischen Punkten (Pi F) des Objektes (5) in einem zweiten Bild (BF) der Sequenz von Bildern (B0, BF) und c) Verfolgen des Objektes (5) durch Zuordnen der charakteristischen Punkte (Pi F) des Objektes (5) aus dem zweiten Bild (BF) zu jeweils korrespondierenden charakteristischen Punkten (Pi 0) des Objektes (5) aus dem ersten Bild (B0), gekennzeichnet durch d) Bestimmen eines ersten Wertes eines geometrischen Parameters (α, β) aus zumindest zwei charakteristischen Punkten (Pi F) des Objektes (5) aus dem zweiten Bild (BF), e) Bestimmen eines zweiten Wertes desselben geometrischen Parameters (α, β) aus korrespondierenden Punkten (Pi 0) des Objektes (5) aus dem ersten Bild (B0), und f) Überprüfen der Plausibilität der Zuordnung gemäß Schritt c) anhand eines Vergleiches des ersten Wertes mit dem zweiten Wert des geometrischen Parameters.The invention relates to a method for tracking an object (5) located in an environment (6) of a motor vehicle (1) in a sequence of successively recorded images (B0, BF) of a camera (4) of the motor vehicle (1), with the steps a) identifying the object (5) in a first image (B0) of the sequence of images (B0, BF) and determining a plurality of characteristic points (Pi 0) of the object (5) in the first image (B0), b ) Determining a plurality of characteristic points (Pi F) of the object (5) in a second image (BF) of the sequence of images (B0, BF) and c) tracking the object (5) by assigning the characteristic points (Pi F) of the object (5) from the second image (BF) to respective corresponding characteristic points (Pi 0) of the object (5) from the first image (B0), characterized by d) determining a first value of a geometric parameter (α, β) from at least two characteristic points (Pi F) of the object (5) from the second image (BF), e) determining a second value of the same geometric parameter (α, β) from corresponding points (Pi 0) of the object (5) from the first image (B0), and f) checking the plausibility of the assignment according to step c) based on a comparison of the first value with the second value of the geometric parameter.

Description

Die Erfindung betrifft ein Verfahren zum Verfolgen eines in einer Umgebung eines Kraftfahrzeugs befindlichen Objekts in einer Sequenz von nacheinander aufgenommenen Bildern einer Kamera des Kraftfahrzeugs. In einem ersten Bild der Sequenz von Bildern wird das Objekt identifiziert, und es wird eine Vielzahl von charakteristischen Punkten des Objekts in dem ersten Bild bestimmt. Es wird auch eine Vielzahl von charakteristischen Punkten des Objekts in einem zweiten Bild der Sequenz von Bildern bestimmt, welches zeitlich nach dem ersten Bild aufgenommen wird. Das Objekt wird durch Zuordnen der charakteristischen Punkte des Objekts aus dem zweiten Bild zu jeweils korrespondierenden charakteristischen Punkten des Objekts aus dem ersten Bild verfolgt. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines derartigen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einem solchen Kamerasystem.The invention relates to a method for tracking an object located in an environment of a motor vehicle in a sequence of successively recorded images of a camera of the motor vehicle. In a first image of the sequence of images, the object is identified and a plurality of characteristic points of the object in the first image are determined. Also, a plurality of characteristic points of the object are determined in a second image of the sequence of images taken temporally after the first image. The object is tracked by assigning the characteristic points of the object from the second image to respective corresponding characteristic points of the object from the first image. The invention also relates to a camera system, which is designed to carry out such a method, as well as a motor vehicle with such a camera system.

Das Interesse richtet sich vorliegend also auf die Verfolgung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objekts mittels eines Kamerasystems des Kraftfahrzeugs. Das Objekt wird in der zeitlichen Sequenz von Bildern verfolgt, die mittels einer Kamera des Kamerasystems nacheinander aufgenommen werden. Es ist bereits Stand der Technik, im Rahmen der Verfolgung von Objekten die so genannte Zeit bis zur Kollision (time to collision; nachfolgend als TTC bezeichnet) einerseits sowie die relative Position des Objekts bezüglich des Kraftfahrzeugs andererseits anhand der erfassten Bilder zu ermitteln. Eine besondere Herausforderung besteht darin, die TTC anhand der zeitlichen Sequenz von Bildern besonders präzise zu ermitteln.In the present case, therefore, the interest is directed to the tracking of an object located in the vicinity of a motor vehicle by means of a camera system of the motor vehicle. The object is tracked in the temporal sequence of images, which are recorded successively by means of a camera of the camera system. It is already state of the art to determine the so-called time to collision (hereinafter referred to as TTC) on the one hand as well as the relative position of the object with respect to the motor vehicle on the other hand on the basis of the captured images as part of the tracking of objects. A particular challenge is to determine the TTC particularly precisely based on the temporal sequence of images.

Die Verfolgung des Objekts anhand von charakteristischen Punkten des Objekts in den Bildern ist ebenfalls bereits aus dem Stand der Technik bekannt. Dabei werden die charakteristischen Punkte des Objekts zunächst in einem ersten Bild aufgefunden. Dann werden die charakteristischen Punkte auch in den nachfolgenden Bildern bestimmt und können dann den korrespondierenden Punkten aus dem ersten Bild zugeordnet werden. Diese Zuordnung erfolgt in der Regel anhand eines Verfolgungsalgorithmus, mittels welchem eine Vielzahl von Punktepaaren aus den charakteristischen Punkten des ersten Bildes einerseits und den korrespondierenden Punkten des weiteren Bildes andererseits bereitgestellt werden.The tracking of the object on the basis of characteristic points of the object in the images is also already known from the prior art. The characteristic points of the object are first found in a first image. Then the characteristic points are also determined in the subsequent pictures and can then be assigned to the corresponding points from the first picture. As a rule, this assignment takes place on the basis of a tracking algorithm, by means of which a multiplicity of pairs of points from the characteristic points of the first image on the one hand and the corresponding points of the further image on the other hand are provided.

Ein derartiges Verfahren zum Verfolgen eines Objekts ist beispielsweise aus dem Dokument US 2006 0 276 964 A bekannt. Eine Recheneinrichtung bestimmt eine Vielzahl von charakteristischen Punkten des Objekts in den aufgenommenen Bildern. Die Recheneinrichtung bestimmt dann die Geschwindigkeit sowie die Bewegungsrichtung der charakteristischen Punkte in der Sequenz von Bildern. Dann wird zu jedem charakteristischen Punkt die jeweilige TTC berechnet, also die Zeit bis zur Kollision mit dem jeweiligen charakteristischen Punkt. Die berechneten Zeitwerte werden dann dazu genutzt, die verfolgten charakteristischen Punkte in Gruppen zusammenzufassen. Dabei werden die charakteristischen Punkte mit derselben TTC zu einer gemeinsamen Gruppe zusammengefasst. Somit können Objekte identifiziert werden, wie beispielsweise Bäume oder Wände oder dergleichen.Such a method for tracking an object is for example from the document US 2006 0 276 964 A known. A computing device determines a plurality of characteristic points of the object in the captured images. The computing device then determines the speed as well as the direction of movement of the characteristic points in the sequence of images. Then the respective TTC is calculated for each characteristic point, ie the time until the collision with the respective characteristic point. The calculated time values are then used to group the tracked characteristic points. The characteristic points are combined with the same TTC into a common group. Thus, objects can be identified, such as trees or walls or the like.

Des Weiteren beschreibt die EP 2 068 269 A1 ein Verfahren zum Bestimmen, ob ein Kraftfahrzeug und ein in seiner Umgebung befindliches Objekt sich auf einem Kollisionskurs befinden oder nicht. Zu diesem Zwecke werden die Bewegungen von zumindest zwei Merkmalen des Objekts erfasst und die TTC berechnet.Furthermore, the describes EP 2 068 269 A1 a method for determining whether or not a motor vehicle and an object in its vicinity are on a collision course. For this purpose, the movements of at least two features of the object are detected and the TTC calculated.

Wie bereits ausgeführt, erfolgt die Verfolgung des Objekts in den aufgenommenen Bildern durch Zuordnen der charakteristischen Punkte des ersten Bildes zu korrespondierenden charakteristischen Punkten des zweiten, nachfolgenden Bildes. Hier wird ein Verfolgungsalgorithmus – also ein Zuordnungsalgorithmus – angewendet, wie etwa die Lucas-Kanade-Methode (Pyramidal Lucas Kanade). Es kann vorkommen, dass der Verfolgungsalgorithmus falsche Punktepaare liefert, also dass ein charakteristischer Punkt des zweiten Bildes zu einem falschen Punkt des ersten Bildes zugeordnet wird.As already stated, the tracking of the object in the recorded images is performed by assigning the characteristic points of the first image to corresponding characteristic points of the second, subsequent image. Here, a tracking algorithm - that is, an allocation algorithm - is used, such as the Lucas-Kanade method (Pyramidal Lucas Kanade). It may happen that the tracking algorithm provides false pairs of points, that is, that a characteristic point of the second image is assigned to a wrong point of the first image.

Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung die Präzision der Zuordnung der charakteristischen Punkte des Objekts aus dem zweiten Bild zu den korrespondierenden Punkten des Objekts aus dem ersten Bild im Vergleich zum Stand der Technik verbessert werden kann.It is an object of the invention to provide a solution, as in a method of the type mentioned, the precision of the assignment of the characteristic points of the object from the second image to the corresponding points of the object from the first image can be improved compared to the prior art ,

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem, wie auch durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a camera system, as well as by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Verfolgen eines in einer Umgebung eines Kraftfahrzeugs befindlichen Objekts in einer Sequenz von nacheinander aufgenommenen Bildern. Die Bilder werden mittels einer Kamera des Kraftfahrzeugs erfasst. Bei dem Verfahren werden folgende Schritte durchgeführt:

a) Es wird ein Objekt in einem ersten Bild der Sequenz von Bildern identifiziert, und eine Vielzahl von charakteristischen Punkten des Objekts in dem ersten Bild wird bestimmt.
b) Auch in einem zweiten Bild der Sequenz von Bildern wird eine Vielzahl von charakteristischen Punkten des Objekts aufgefunden.
c) Das Objekt wird durch Zuordnen der charakteristischen Punkte des Objekts aus dem zweiten Bild zu jeweils korrespondierenden charakteristischen Punkten des Objekts aus dem ersten Bild verfolgt.
d) Es wird ein erster Wertes eines geometrischen Parameters aus zumindest zwei charakteristischen Punkten des Objekts aus dem zweiten Bild bestimmt.
e) Es wird auch ein zweiter Wert desselben geometrischen Parameters aus korrespondierenden (zumindest zwei) Punkten des Objekts aus dem ersten Bild bestimmt.
f) Dann wird die Plausibilität der Zuordnung gemäß Schritt c) anhand eines Vergleiches des ersten Wertes mit dem zweiten Wert des geometrischen Parameters überprüft.

A method according to the invention serves to track an object located in an environment of a motor vehicle in a sequence of successively recorded images. The images are captured by means of a camera of the motor vehicle. The procedure is as follows:

a) An object is identified in a first image of the sequence of images, and a plurality of characteristic points of the object in the first image are determined.
b) Also in a second image of the sequence of images, a plurality of characteristic points of the object are found.
c) The object is tracked by assigning the characteristic points of the object from the second image to respectively corresponding characteristic points of the object from the first image.
d) A first value of a geometric parameter is determined from at least two characteristic points of the object from the second image.
e) A second value of the same geometric parameter is also determined from corresponding (at least two) points of the object from the first image.
f) Then the plausibility of the assignment according to step c) is checked on the basis of a comparison of the first value with the second value of the geometric parameter.

Erfindungsgemäß ist somit vorgesehen, dass die Zuordnung der charakteristischen Punkte des Objekts in dem zweiten Bild zu den korrespondierenden charakteristischen Punkten des Objekts in dem ersten Bild auf ihre Plausibilität hin überprüft wird. Dabei wird ein geometrischer Parameter anhand von zumindest zwei charakteristischen Punkten desselben Bildes bestimmt: ein erster Wert dieses Parameters wird aus zumindest zwei charakteristischen Punkten des Objekts im zweiten Bild ermittelt; und ein zweiter Wert desselben Parameters wird aus den korrespondierenden (zugeordneten) Punkten des Objekts im ersten Bild ermittelt. Der erste Wert des Parameters wird dann mit dem zweiten Wert des Parameters verglichen, wobei ein Ergebnis dieses Vergleichs der Plausibilitätsprüfung zugrunde gelegt wird. Somit wird überprüft, ob die charakteristischen Punkte des ersten Bildes zu den Punkten des zweiten Bildes mittels des Verfolgungsalgorithmus präzise zugeordnet worden sind. Ergibt diese Überprüfung, dass ein charakteristischer Punkt des zweiten Bildes zu einem falschen Punkt des ersten Bildes zugeordnet wurde, so kann dieser Punkt verworfen und die weitere Verarbeitung der Bilddaten – etwa die Berechnung der TTC – ohne diesen Punkt vorgenommen werden. Insgesamt wird somit die Präzision der Zuordnung der charakteristischen Punkte und der Verfolgung des Objekts im Vergleich zum Stand der Technik verbessert.According to the invention, it is thus provided that the assignment of the characteristic points of the object in the second image to the corresponding characteristic points of the object in the first image is checked for plausibility. In this case, a geometric parameter is determined on the basis of at least two characteristic points of the same image: a first value of this parameter is determined from at least two characteristic points of the object in the second image; and a second value of the same parameter is determined from the corresponding (assigned) points of the object in the first image. The first value of the parameter is then compared with the second value of the parameter, a result of this comparison being used as the basis for the plausibility check. Thus, it is checked whether the characteristic points of the first image have been precisely assigned to the points of the second image by means of the tracking algorithm. If this check reveals that a characteristic point of the second image has been assigned to a wrong point of the first image, then this point can be discarded and the further processing of the image data - such as the calculation of the TTC - be carried out without this point. Overall, therefore, the precision of the assignment of the characteristic points and the tracking of the object is improved compared to the prior art.

Die Kamera, mittels welcher die zeitliche Sequenz von Bildern erfasst wird, ist bevorzugt ein Bestandteil eines Kamerasystems des Kraftfahrzeugs. Das Kamerasystem ist insbesondere ein Kollisionswarnungssystem, mittels welchem der Fahrer vor einer Kollision mit dem Objekt gewarnt wird. Die Kamera kann beispielsweise in einem vorderen Bereich des Kraftfahrzeugs angeordnet sein, sodass sie den Umgebungsbereich vor dem Kraftfahrzeug erfasst. Ergänzend oder alternativ kann eine Kamera auch im Heckbereich des Kraftfahrzeugs angebracht sein und den Umgebungsbereich hinter dem Kraftfahrzeug erfassen. Die Erfindung ist dabei nicht auf eine bestimmte Anordnung oder Anzahl von Kameras oder aber auf ein bestimmtes Fahrerassistenzsystem beschränkt.The camera, by means of which the temporal sequence of images is detected, is preferably a component of a camera system of the motor vehicle. The camera system is in particular a collision warning system, by means of which the driver is warned of a collision with the object. The camera can be arranged, for example, in a front region of the motor vehicle so that it detects the surrounding area in front of the motor vehicle. Additionally or alternatively, a camera can also be mounted in the rear region of the motor vehicle and detect the surrounding area behind the motor vehicle. The invention is not limited to a specific arrangement or number of cameras or to a specific driver assistance system.

Die Verarbeitung der Daten – also auch die Verfolgung des Objekts in den Bildern – erfolgt insbesondere mittels einer elektronischen Recheneinrichtung des Kamerasystems. Eine solche Recheneinrichtung kann zum Beispiel als ein digitaler Signalprozessor ausgebildet sein.The processing of the data - including the tracking of the object in the images - takes place in particular by means of an electronic computing device of the camera system. Such a computing device can be designed, for example, as a digital signal processor.

Es erweist sich als besonders vorteilhaft, wenn im Rahmen des Vergleichs der beiden Werte des geometrischen Parameters gemäß Schritt f) überprüft wird, ob eine Differenz zwischen dem ersten und dem zweiten Wert des Parameters einen vorgegebenen Grenzwert überschreitet oder nicht. Ergibt diese Überprüfung, dass ein Betrag dieser Differenz zwischen dem ersten und dem zweiten Wert des geometrischen Parameters den vorgegebenen Grenzwert überschreitet, so kann zumindest einer der zumindest zwei, in Schritt d) definierten charakteristischen Punkte beim Verfolgen des Objekts gemäß Schritt c) unberücksichtigt bleiben. Dies bedeutet insbesondere, dass dieser zumindest eine Punkt zur Berechnung der TTC nicht mehr herangezogen wird. Es werden somit auch Folgefehler vermieden, nämlich bei der Zuordnung der charakteristischen Punkte aus weiteren Bildern. Die Genauigkeit der Verfolgung des Objekts in den Bildern ist somit besonders hoch.It proves to be particularly advantageous if it is checked in the context of the comparison of the two values of the geometric parameter according to step f), whether a difference between the first and the second value of the parameter exceeds a predetermined limit value or not. If this check reveals that an amount of this difference between the first and the second value of the geometric parameter exceeds the predetermined limit, then at least one of the at least two characteristic points defined in step d) can be disregarded when tracking the object according to step c). This means in particular that this at least one point is no longer used to calculate the TTC. Consequently, subsequent errors are also avoided, namely when assigning the characteristic points from further images. The accuracy of tracking the object in the images is thus particularly high.

Hinsichtlich des geometrischen Parameters können unterschiedlichste Ausführungsformen vorgesehen sein:
Als geometrischer Parameter kann beispielsweise eine Ausrichtung – also eine Orientierung – einer durch die zumindest zwei Punkte (definiert in Schritt d)) des jeweiligen Bildes verlaufenden Geraden bestimmt werden. Dies bedeutet, dass anhand der zumindest zwei charakteristischen Punkte im zweiten Bild eine Gerade bzw. Linie definiert wird, welche durch die beiden charakteristischen Punkte verläuft. Dann wird die Ausrichtung dieser Geraden bestimmt, also ein Winkel zwischen dieser Geraden und einer Referenzlinie, wie beispielsweise der Horizontalen. Entsprechend wird auch in dem ersten Bild eine Gerade durch die zwei korrespondierenden Punkte definiert, und es wird die Ausrichtung dieser Geraden bestimmt. Die beiden Ausrichtungswerte können dann miteinander verglichen werden, und es kann überprüft werden, ob die Differenz zwischen den Ausrichtungswerten einen Grenzwert überschreitet oder nicht. Diese Ausführungsform macht sich die Tatsache zunutze, dass bei einem starren Objekt – wie etwa einem anderen Fahrzeug – die durch zwei charakteristische Punkte verlaufende Gerade in allen Bildern der Sequenz im Wesentlichen die gleiche Ausrichtung besitzt. Diese Tatsache wird nun genutzt, um die Zuordnung der charakteristischen Punkte auf ihre Plausibilität hin zu überprüfen.With regard to the geometric parameter, a wide variety of embodiments can be provided:
By way of example, an orientation-that is, an orientation-of a straight line passing through the at least two points (defined in step d)) of the respective image can be determined as the geometric parameter. This means that based on the at least two characteristic points in the second image, a straight line is defined which runs through the two characteristic points. Then the alignment becomes determines this line, ie an angle between this line and a reference line, such as the horizontal. Accordingly, in the first image, a straight line is defined by the two corresponding points, and the orientation of this line is determined. The two alignment values can then be compared with each other, and it can be checked whether the difference between the alignment values exceeds a threshold or not. This embodiment takes advantage of the fact that in a rigid object - such as another vehicle - the straight line passing through two characteristic points has substantially the same orientation in all images of the sequence. This fact is now used to check the assignment of the characteristic points for plausibility.

Ergänzend oder alternativ kann als geometrischer Parameter ein Verhältnis eines Abstands zwischen einem ersten Punktepaar des jeweiligen Bildes zu einem Abstand zwischen einem zweiten Punktepaar desselben Bildes bestimmt werden. Bei dieser Ausführungsform werden also mindestens jeweils drei charakteristische Punkte benötigt, nämlich mindestens drei Punkte im zweiten Bild sowie mindestens drei Punkte im ersten Bild. Dann wird ein Verhältnis des Abstands zwischen einem ersten und einem zweiten Punkt des zweiten Bildes zu einem Abstand zwischen dem zweiten Punkt und einem dritten Punkt des zweiten Bildes ermittelt; und dieses Verhältnis wird dann mit einem zweiten Verhältnis verglichen. Das zweite Verhältnis ist ein Verhältnis des Abstands zwischen einem ersten und einem zweiten Punkt des ersten Bildes zu dem Abstand zwischen dem zweiten Punkt und einem dritten Punkt des ersten Bildes. Diese Ausführungsform wiederum beruht auf der Tatsache, dass das Verhältnis der Abstände zwischen unterschiedlichen Punkten desselben Bildes in allen Bildern der Sequenz grundsätzlich konstant bleibt und sich lediglich die Skalierung des Objektes verändert. Eine Abweichung in dem Verhältnis deutet also darauf hin, dass die Zuordnung der Punkte des zweiten Bildes zu den Punkten des ersten Bildes falsch war.Additionally or alternatively, as a geometric parameter, a ratio of a distance between a first pair of points of the respective image to a distance between a second pair of points of the same image can be determined. In this embodiment, at least three characteristic points each are needed, namely at least three points in the second image and at least three points in the first image. Then, a ratio of the distance between a first and a second point of the second image to a distance between the second point and a third point of the second image is determined; and this ratio is then compared to a second ratio. The second ratio is a ratio of the distance between a first and a second point of the first image to the distance between the second point and a third point of the first image. This embodiment in turn is based on the fact that the ratio of the distances between different points of the same image remains basically constant in all images of the sequence and only the scaling of the object changes. A deviation in the ratio thus indicates that the assignment of the points of the second image to the points of the first image was wrong.

Weiterhin ergänzend oder alternativ kann vorgesehen sein, dass als geometrischer Parameter ein Winkel bestimmt wird, welcher durch drei charakteristische Punkte des jeweiligen Bildes definiert wird. Ein erster Winkelwert ist also zwischen drei Punkten des zweiten Bildes definiert, während ein zweiter Winkelwert zwischen drei korrespondierenden Punkten des ersten Bildes definiert ist. Auch diese beiden Winkelwerte sollen gleich sein; dieser Winkel sollte in allen Bildern der Sequenz gleich sein. Diese Tatsache kann dazu genutzt werden, die Plausibilität der Zuordnung der charakteristischen Punkte zu überprüfen und die gegebenenfalls falsch zugewiesenen Punkte zu verwerfen.Additionally or alternatively, it may be provided that an angle is defined as the geometric parameter, which angle is defined by three characteristic points of the respective image. A first angle value is thus defined between three points of the second image, while a second angle value is defined between three corresponding points of the first image. These two angles should also be the same; this angle should be the same in all pictures of the sequence. This fact can be used to check the plausibility of the assignment of the characteristic points and to reject any incorrectly assigned points.

Wie bereits ausgeführt, erfolgt die Zuordnung der charakteristischen Punkte des Objekts aus dem zweiten Bild zu den korrespondierenden Punkten des Objekts aus dem ersten Bild mithilfe eines Verfolgungsalgorithmus. Dieser Verfolgungsalgorithmus, wie er in Schritt c) durchgeführt wird, stellt Punktepaare jeweils aus einem charakteristischen Punkt des Objekts im ersten Bild und dem korrespondierenden Punkt des Objekts im zweiten Bild bereit. In einer Ausführungsform wird zu zumindest einem solchen Punktepaar ein Korrelationswert bestimmt, und dieses zumindest eine Punktepaar wird anhand seines Korrelationswerts auf seine Plausibilität hin überprüft. Es handelt sich dabei um eine zusätzliche Plausibilitätsprüfung zu der in Schritt f) bereits definierten Plausibilitätsprüfung. Der Korrelationswert beschreibt dabei die Ähnlichkeit der beiden charakteristischen Punkte eines Punktepaares und stellt somit ein Maß dafür dar, wie zutreffend die Zuordnung dieser beiden charakteristischen Punkte war. Wird nun festgestellt, dass der Korrelationswert einen vorgegebenen Grenzwert unterschreitet, so kann dieses Punktepaar verworfen werden. Dies bedeutet, dass dieses Punktepaar für die weitere Verfolgung des Objekts nicht mehr verwendet wird. Somit werden ausschließlich plausible Punktepaare verwendet.As already stated, the assignment of the characteristic points of the object from the second image to the corresponding points of the object takes place from the first image by means of a tracking algorithm. This tracking algorithm, as performed in step c), provides pairs of points each from a characteristic point of the object in the first image and the corresponding point of the object in the second image. In one embodiment, a correlation value is determined for at least one such pair of points, and this at least one pair of points is checked for plausibility on the basis of its correlation value. This is an additional plausibility check for the plausibility check already defined in step f). The correlation value describes the similarity of the two characteristic points of a pair of points and thus represents a measure of how correct the assignment of these two characteristic points was. If it is now determined that the correlation value falls below a predetermined limit, then this pair of points can be discarded. This means that this pair of points is no longer used for further tracking of the object. Thus only plausible pairs of points are used.

Beim Identifizieren des Objekts gemäß Schritt a) wird bevorzugt eine Position des Objekts in dem ersten Bild ermittelt. Das Verfolgen des Objekts gemäß Schritt c) umfasst dann, dass eine Position des Objekts in dem zweiten Bild zumindest abhängig von der Position des Objekts in dem ersten Bild sowie anhand der charakteristischen Punkte bestimmt wird. Somit ist die Position des Objekts in jedem Bild bekannt, sodass auch die Information über die aktuelle relative Position des Objekts bezüglich des Kraftfahrzeugs vorliegt.When identifying the object according to step a), a position of the object in the first image is preferably determined. Tracking the object according to step c) then comprises determining a position of the object in the second image at least as a function of the position of the object in the first image and on the basis of the characteristic points. Thus, the position of the object in each image is known, so that the information about the current relative position of the object with respect to the motor vehicle is present.

Beim Detektieren der charakteristischen Punkte im Bild können unterschiedlichste Algorithmen angewendet werden. Beispielsweise können so genannte Harris-Punkte und/oder FAST-Merkmale und/oder SIFT-Merkmale und/oder SURF-Merkmale detektiert werden. Es handelt sich somit bei den charakteristischen Punkten um beliebige Merkmale des Objekts, die mittels einer Bildverarbeitung aufgefunden werden können, so dass die Erfindung nicht auf bestimmte Merkmale des Objektes beschränkt ist.When detecting the characteristic points in the image, a wide variety of algorithms can be used. For example, so-called Harris points and / or FAST features and / or SIFT features and / or SURF features can be detected. Thus, the characteristic points are arbitrary features of the object which can be found by means of image processing, so that the invention is not limited to specific features of the object.

Das Verfolgen des Objekts gemäß Schritt c) kann auch umfassen, dass eine Zeit bis zur Kollision (TTC) anhand der charakteristischen Punkte des zweiten und des ersten Bildes berechnet wird. Die TTC gibt dabei die Zeit an, welche verstreichen müsste, damit es zu einer Kollision zwischen dem Kraftfahrzeug und dem Objekt kommt. Somit wird auch die Gefahr einer Kollision mit dem Objekt quantitativ eingeschätzt, und es können entsprechende Sicherheitsmaßnahmen getroffen werden. Unterschreitet die TTC beispielsweise einen vorgegebenen Schwellwert, so kann ein Warnsignal ausgegeben werden, mit welchem der Fahrer über die mögliche Kollision mit dem Objekt informiert wird. Optional kann auch ein Bremssystem des Kraftfahrzeugs automatisch betätigt werden, sodass das Kraftfahrzeug automatisch abgebremst wird.Tracking the object according to step c) may also include calculating a time to collision (TTC) based on the characteristic points of the second and first images. The TTC gives the time, which would have to elapse, so that it comes to a collision between the motor vehicle and the object. Thus, the risk of collision with the object is estimated quantitatively, and appropriate security measures can be taken. If the TTC falls below a predetermined threshold value, for example, a warning signal can be output with which the driver is informed about the possible collision with the object. Optionally, a brake system of the motor vehicle can also be actuated automatically, so that the motor vehicle is automatically braked.

Die Position des Objekts in dem zweiten Bild und/oder die TTC kann/können in Abhängigkeit von einem Verhältnis eines Abstands zwischen zwei charakteristischen Punkten aus dem zweiten Bild zu einem Abstand zwischen zwei korrespondierenden (zugeordneten) Punkten aus dem ersten Bild bestimmt werden. Das Verhältnis der beiden Abstände liefert nämlich eine Information darüber, wie groß die relative Geschwindigkeit zwischen dem Kraftfahrzeug und dem Objekt ist. Ist der Abstand zwischen dem Kraftfahrzeug und dem Objekt bekannt, so kann auch die verbleibende Zeit bis zur Kollision bestimmt werden. Diese Ausführungsform sorgt also für eine höchst genaue Bestimmung der TTC und/oder der Position des Objekts im zweiten Bild.The position of the object in the second image and / or the TTC may be determined depending on a ratio of a distance between two characteristic points from the second image to a distance between two corresponding (assigned) points from the first image. Namely, the ratio of the two distances provides information about the relative velocity between the motor vehicle and the object. If the distance between the motor vehicle and the object is known, the time remaining until the collision can also be determined. This embodiment thus ensures a highly accurate determination of the TTC and / or the position of the object in the second image.

Ergänzend oder alternativ kann die Position des Objekts im zweiten Bild und/oder die TTC auch in Abhängigkeit von einem Verhältnis einer durch zumindest drei charakteristische Punkte des zweiten Bildes definierten Fläche zu einer Fläche bestimmt werden, die durch drei korrespondierende Punkte des ersten Bildes definiert ist. Auch das Verhältnis der beiden Flächen ergibt eine eindeutige Aussage über die relative Geschwindigkeit zwischen dem Kraftfahrzeug und dem Objekt, wenn zusätzlich der zeitliche Abstand zwischen den Zeitpunkten der Aufnahme der beiden Bilder bekannt ist. Auch diese Ausführungsform ermöglicht somit eine präzise Bestimmung der TTC, wie auch der Position des Objekts im zweiten Bild.Additionally or alternatively, the position of the object in the second image and / or the TTC can also be determined as a function of a ratio of an area defined by at least three characteristic points of the second image to an area defined by three corresponding points of the first image. Also, the ratio of the two surfaces gives a clear statement about the relative speed between the motor vehicle and the object, if in addition the time interval between the times of recording the two images is known. This embodiment also allows a precise determination of the TTC, as well as the position of the object in the second image.

Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.The invention also relates to a camera system for a motor vehicle, wherein the camera system is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem.A motor vehicle according to the invention comprises a camera system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem, wie auch für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera system according to the invention, as well as to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be explained with reference to a preferred embodiment, as well as with reference to the accompanying drawings.

Es zeigen:Show it:

1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung mit einem Objekt, welches mittels eines Kamerasystems des Kraftfahrzeugs verfolgt wird; und 1 a schematic representation of a side view of a motor vehicle according to an embodiment of the invention with an object which is tracked by means of a camera system of the motor vehicle; and

2 bis 4 in schematischer Darstellung jeweils zwei nacheinander aufgenommene Bilder des Kamerasystems, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird. 2 to 4 in a schematic representation in each case two sequentially recorded images of the camera system, wherein a method according to an embodiment of the invention is explained in more detail.

Ein in 1 in schematischer Darstellung gezeigtes Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung ist ein Personenkraftwagen. Das Kraftfahrzeug 1 befindet sich auf einer Straße 2. Es weist ein Kamerasystem 3 auf, welches eine Kamera 4 aufweist, wie auch eine in den Figuren nicht dargestellte Recheneinrichtung. Diese Recheneinrichtung kann zum Beispiel ein digitaler Signalprozessor sein.An in 1 in a schematic illustration shown motor vehicle 1 According to one embodiment of the invention is a passenger car. The car 1 is on a street 2 , It has a camera system 3 on which a camera 4 has, as well as a not shown in the figures computing device. This computing device may be, for example, a digital signal processor.

Das Kamerasystem 3 ist ein Kollisionswarnungssystem und dient zum Warnen des Fahrers vor bevorstehenden Kollisionen zwischen dem Kraftfahrzeug 1 und einem in seiner Umgebung befindlichen Objekt 5. Das Objekt 5 ist im Ausführungsbeispiel ein anderes Kraftfahrzeug, welches sich hinter dem Kraftfahrzeug 1 befindet, und zwar auf derselben Straße 2.The camera system 3 is a collision warning system and is used to warn the driver of impending collisions between the motor vehicle 1 and an object in its environment 5 , The object 5 is in the embodiment another motor vehicle, which is behind the motor vehicle 1 located on the same street 2 ,

Im Ausführungsbeispiel ist die Kamera 4 des Kamerasystems 3 in einem Heckbereich des Kraftfahrzeugs 1 angeordnet. Die Kamera 4 erfasst dabei einen Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf diese spezielle Ausführungsform beschränkt; die Kamera 4 kann auch in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein und beispielsweise den Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen. Insgesamt kann die Kamera 4 also einen beliebigen Umgebungsbereich des Kraftfahrzeugs 1 erfassen. In the embodiment, the camera 4 of the camera system 3 in a rear area of the motor vehicle 1 arranged. The camera 4 captures a surrounding area 6 behind the motor vehicle 1 , However, the invention is not limited to this specific embodiment; the camera 4 can also be in a front area of the motor vehicle 1 be arranged and, for example, the surrounding area in front of the motor vehicle 1 to capture. Overall, the camera can 4 So any surrounding area of the vehicle 1 to capture.

Die Kamera 4 besitzt einen relativ breiten Erfassungswinkel γ, sodass insgesamt ein relativ breiter Umgebungsbereich 6 erfasst werden kann. Der Erfassungswinkel γ kann zum Beispiel in einem Wertebereich von 90° bis 200° liegen.The camera 4 has a relatively wide detection angle γ, so that overall a relatively wide surrounding area 6 can be detected. The detection angle γ may, for example, be in a value range of 90 ° to 200 °.

Das Kamerasystem 3 dient zum Verfolgen des Objekts 5 in den aufgenommenen Bildern der Kamera 4. Die Kamera 4 ist eine Video-Kamera und kann eine zeitliche Sequenz von Bildern aufnehmen. Diese Bilder werden eines nach dem anderen erfasst, sodass insgesamt eine zeitliche Abfolge von Einzelbildern entsteht, die insgesamt ein Video ergeben. Die Recheneinrichtung des Kamerasystems 3 kann diese Bilder einzeln verarbeiten und das Objekt 5 in den aufgenommenen Bildern verfolgen.The camera system 3 used to track the object 5 in the recorded pictures of the camera 4 , The camera 4 is a video camera and can take a temporal sequence of pictures. These images are captured one after the other, resulting in an overall temporal sequence of individual images that together produce a video. The computing device of the camera system 3 can process these images individually and the object 5 in the captured pictures.

Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nachfolgend unter Bezugnahme auf die 2 bis 4 näher erläutert:
In 2 sind zwei Bilder der Kamera 4 schematisch dargestellt, welche zeitlich nacheinander aufgenommen werden. Es kann sich dabei um zwei unmittelbar nacheinander aufgenommene Bilder handeln; alternativ können zwischen den Bildern auch weitere Bilder erfasst werden, die in 2 nicht näher dargestellt sind. In 2 ist ein erstes Bild B0 sowie ein zweites Bild BF dargestellt, welches nach dem ersten Bild B0 aufgenommen wird.A method according to an embodiment of the invention will be described below with reference to FIGS 2 to 4 explained in more detail:
In 2 are two pictures of the camera 4 shown schematically, which are recorded in chronological succession. These can be two images taken one after the other; Alternatively, additional images can be captured between the images 2 are not shown in detail. In 2 a first image B0 and a second image BF is shown, which is taken after the first image B0.

Mittels eines Detektionsalgorithmus wird zunächst in dem ersten Bild B0 das Objekt 5 identifiziert. Diese Detektion erfolgt mithilfe eines beliebigen, bekannten Algorithmus. Mithilfe des Detektionsalgorithmus wird außerdem die Position des Objekts 5 im ersten Bild B0 ermittelt, welche insgesamt durch vier Werte definiert ist: (x₀, y₀ w₀, h₀), wobei x₀, y₀ die Koordinaten eines Referenzpunkts des Objekts 5 im Bild B0 (zum Beispiel die Koordinaten eines linken unteren Randes des Objekts 5 im Bild B0), w₀ die Breite des Objekts 5 im Bild B0 und h₀ die Höhe des Objekts 5 im Bild B0 bezeichnen.By means of a detection algorithm, the object is initially in the first image B0 5 identified. This detection is done using any known algorithm. The detection algorithm also determines the position of the object 5 in the first image B0, which is defined in total by four values: (x ₀ , y ₀ w ₀ , h ₀ ), where x ₀ , y _{0 are} the coordinates of a reference point of the object 5 in picture B0 (for example, the coordinates of a lower left edge of the object 5 in picture B0), w _{0 is} the width of the object 5 in the picture B0 and h _{0 is} the height of the object 5 in picture B0.

Für die weitere Verarbeitung wird angenommen, dass das identifizierte Objekt 5 – also hier das andere Fahrzeug – ein starres Objekt ist, welches keiner flexiblen Deformation unterliegt und lediglich als gesamtes Objekt bewegt werden kann.For further processing, it is assumed that the identified object 5 - So here the other vehicle - is a rigid object, which is not subject to flexible deformation and can only be moved as an entire object.

An dem Abbild des Objekts 5 im ersten Bild B0 werden dann charakteristische Punkte aufgefunden, die nachfolgend allgemein als P_i ⁰ bezeichnet werden. Im Ausführungsbeispiel werden die so genannten Harris-Punkte detektiert. Die Erfindung ist jedoch nicht auf diese spezifischen Punkte beschränkt; es können auch andere charakteristische Merkmale des Abbilds des Objekts 5 detektiert werden. Wie in 2 dargestellt ist, wird an dem Abbild des Objekts 5 im Bild B0 eine Vielzahl von charakteristischen Punkten (mit „+” gekennzeichnet) bestimmt, von denen einer mit P₁ ⁰ bezeichnet ist.At the image of the object 5 in the first image B0 characteristic points are found, which are referred to below as P _i ⁰ . In the exemplary embodiment, the so-called Harris points are detected. However, the invention is not limited to these specific points; There may also be other characteristic features of the image of the object 5 be detected. As in 2 is displayed on the image of the object 5 in picture B0, a plurality of characteristic points (indicated by "+"), one of which is denoted by P ₁ ⁰ , are determined.

Dann wird ein Verfolgungsalgorithmus gestartet, mit welchem das Objekt 5 auch im zweiten Bild BF detektiert wird. Als Verfolgungsalgorithmus kann zum Beispiel die Lucas-Kanade-Methode (Pyramidal Lucas Kanade) angewendet werden. Mittels dieses Verfahrens werden die charakteristischen Punkte in den aufgenommenen Bildern verfolgt, sodass insgesamt auch das Objekt 5 verfolgt werden kann. Der Verfolgungsalgorithmus gibt eine Vielzahl von Punktepaaren (P_i ⁰, P_i ^F) aus, wobei P_i ⁰ die charakteristischen Punkte des Objekts 5 im ersten Bild B0 und P_i ^F die korrespondierenden charakteristischen Punkte im zweiten Bild BF bezeichnen. In 2 ist beispielsweise ein Punktepaar durch (P_i ⁰, P_i ^F) definiert. Der Verfolgungsalgorithmus liefert also eine Vielzahl von Punktepaaren jeweils aus einem charakteristischen Punkt des Objekts 5 im ersten Bild B0 und dem korrespondierenden charakteristischen Punkt des Objekts 5 im zweiten Bild BF. Es erfolgt also eine Zuordnung der charakteristischen Punkte des Objekts im zweiten Bild BF zu den korrespondierenden Punkten des Objekts 5 im ersten Bild B0. Auf diesem Wege wird das Objekt 5 in den aufgenommenen Bildern verfolgt.Then, a tracking algorithm is started with which the object 5 also in the second image BF is detected. As a tracking algorithm, for example, the Lucas-Kanade method (Pyramidal Lucas Kanade) can be used. By means of this method, the characteristic points in the recorded images are tracked, so that in total also the object 5 can be tracked. The tracking algorithm outputs a plurality of pairs of points (P _i ⁰ , P _i ^F ), where P _i ^{0 are} the characteristic points of the object 5 in the first image B0 and P _i ^F denote the corresponding characteristic points in the second image BF. In 2 For example, a pair of points is defined by (P _i ⁰ , P _i ^F ). Thus, the tracking algorithm provides a plurality of pairs of points each from a characteristic point of the object 5 in the first image B0 and the corresponding characteristic point of the object 5 in the second picture BF. Thus, an assignment of the characteristic points of the object in the second image BF to the corresponding points of the object takes place 5 in the first picture B0. In this way the object becomes 5 tracked in the captured images.

Der Verfolgungsalgorithmus gibt außerdem zu jedem Punktepaar (P_i ⁰, P_i ^F) jeweils einen Korrelationswert aus, welcher die Ähnlichkeit der zugeordneten Punkte P_i ⁰ sowie P_i ^F beschreibt. Es kann hier eine erste Prüfung der Zuordnung auf ihre Plausibilität vorgenommen werden. Es kann nämlich überprüft werden, ob die Korrelationswerte einen vorgegebenen Grenzwert unterschreiten. Unterschreitet ein Korrelationswert den Grenzwert, so kann dieses Punktepaar verworfen werden, sodass dieses Punktepaar nicht mehr bei der Verfolgung des Objekts 5 berücksichtigt wird.The tracking algorithm also outputs for each pair of points (P _i ⁰ , P _i ^F ) in each case a correlation value which describes the similarity of the assigned points P _i ⁰ and P _i ^F. Here, a first check of the assignment can be made for plausibility. It can namely be checked whether the correlation values fall below a predetermined limit value. If a correlation value falls below the Limit, so this pair of points can be discarded so that this pair of points is no longer in the pursuit of the object 5 is taken into account.

Sind einerseits die Position des Objekts 5 im ersten Bild B0 und andererseits auch die Punktepaare (P_i ⁰, P_i ^F) bekannt, so erfolgt die Verfolgung des Objekts 5. Diese Verfolgung beinhaltet, dass einerseits die Position und die Größe des Objekts 5 in dem neuen, zweiten Bild BF sowie andererseits auch die TTC bestimmt werden. Nachfolgend wird die Bestimmung der Position des Objekts 5 im zweiten Bild BF sowie die Berechnung der TTC näher erläutert.On the one hand are the position of the object 5 in the first image B0 and on the other hand also the pairs of points (P _i ⁰ , P _i ^F ) known, then the tracking of the object takes place 5 , This tracking involves, on the one hand, the position and size of the object 5 be determined in the new, second image BF and on the other hand, the TTC. The following is the determination of the position of the object 5 in the second image BF and the calculation of the TTC explained in more detail.

Bezugnehmend auf 3 wird zunächst im ersten Bild B0 der jeweilige Abstand d⁰ _i,k zwischen allen möglichen Punktepaaren (P_i ⁰, P_k ⁰) des ersten Bildes B0 ermittelt. In 3 ist beispielhaft der Abstand d⁰ _2,3 zwischen zwei charakteristischen Punkten P₂ ⁰ und P₃ ⁰ des Objekts 5 im ersten Bild B0 dargestellt. Entsprechend wird auch der jeweilige Abstand d^F _i,k zwischen allen möglichen Punktepaaren (P_i ^F, P_k ^F) des zweiten Bildes BF ermittelt.Referring to 3 First, the respective distance d ⁰ _{i, k} between all possible pairs of points (P _i ⁰ , P _k ⁰ ) of the first image B0 is determined in the first image B0. In 3 is exemplified the distance d ⁰ _2.3 between two characteristic points P ₂ ⁰ and P ₃ ^{0 of} the object 5 shown in the first picture B0. Accordingly, the respective distance d ^F _{i, k} between all possible pairs of points (P _i ^F , P _k ^F ) of the second image BF is determined.

Ergänzend oder alternativ zu den Abständen d_i,k ⁰ und d_i,k ^F können auch Flächen a⁰ _i,j,k sowie a^F _i,j,k bestimmt werden, die zwischen jeweils drei oder mehreren charakteristischen Punkten bestimmt werden. In 3 ist im ersten Bild B0 eine Fläche a⁰ _0,1,2 eines zwischen den Punkten P₀ ⁰, P₁ ⁰, P₂ ⁰ definierten Dreiecks dargestellt, während im zweiten Bild BF die korrespondierende Fläche a^F _0,1,2 gezeigt ist.In addition or as an alternative to the distances d _{i, k} ⁰ and d _{i, k} ^F , areas a ⁰ _{i, j, k} and a ^F _{i, j, k} can also be determined, which are determined between in each case three or more characteristic points. In 3 is in the first image an area B0 _0,1,2 a ⁰ a ₀ between the points P ^0, P ₁ ^0, ₂ ⁰ P shown triangle defined as shown in the second image BF the corresponding surface of a ^F _0,1,2 ,

Dann können die Verhältnisse zwischen den Abständen d_i,k ^F im zweiten Bild BF und den korrespondierenden Abständen d_i,k ⁰ im ersten Bild B0 berechnet werden: S_i,k = d_i,k ^F/d_i,k ⁰.Then the ratios between the distances d _{i, k} ^F in the second image BF and the corresponding distances d _{i, k} ⁰ in the first image B ⁰ can be calculated: S _{i, k} = d _{i, k} ^F / d _{i, k} ⁰ .

Ergänzend oder alternativ zu den Verhältnissen der Abstände können auch die Verhältnisse zwischen den Flächen berechnet werden: R_i,k = a_i,k ^F/a_i,k ⁰.In addition or as an alternative to the ratios of the distances, the ratios between the areas can also be calculated: R _{i, k} = a _{i, k} ^F / a _{i, k} ⁰ .

Anhand der Verhältnisse der Abstände S_i,k und/oder anhand der Verhältnisse der Flächen R_i,k können dann die Position des Objekts 5 im zweiten Bild BF sowie die TTC ermittelt werden. Bevor diese Position und die TTC bestimmt werden, wird die Zuordnung der charakteristischen Punkte noch einmal auf die Plausibilität überprüft. Diese Überprüfung wird nachfolgend unter Bezugnahme auf 4 näher erläutert.Based on the ratios of the distances S _{i, k} and / or on the basis of the ratios of the areas R _{i, k} then the position of the object 5 in the second picture BF and the TTC are determined. Before this position and the TTC are determined, the assignment of the characteristic points is again checked for plausibility. This review will be made below with reference to 4 explained in more detail.

Die Plausibilitätsprüfung kann beispielsweise jeweils paarweise vorgenommen werden. Beispielsweise wird zunächst die Zuordnung der folgenden Punktepaare überprüft: (P₁ ⁰, P₁ ^F) und (P₂ ⁰, P₂ ^F). Zwischen den beiden Punkten P₁ ⁰ und P₂ ⁰ kann zunächst eine Gerade 7 definiert werden, und nachfolgend kann eine Ausrichtung dieser Geraden 7 im Bild B0 ermittelt werden. Dazu wird ein Winkel β⁰ ₁₂ zwischen der Geraden 7 und einer Horizontalen 8 berechnet, welcher die Orientierung der Geraden 7 im ersten Bild B0 angibt. Der Winkel β₁₂ ist dabei ein geometrischer Parameter im Sinne der vorliegenden Erfindung.The plausibility check can be carried out in pairs, for example. For example, first the assignment of the following pairs of points is checked: (P ₁ ⁰ , P ₁ ^F ) and (P ₂ ⁰ , P ₂ ^F ). Between the two points P ₁ ⁰ and P ₂ ⁰ can first a straight line 7 can be defined, and subsequently an orientation of this line 7 in picture B0. For this purpose, an angle β ⁰ ₁₂ between the line 7 and a horizontal 8th calculates the orientation of the line 7 in the first picture indicates B0. The angle β ₁₂ is a geometric parameter in the sense of the present invention.

Entsprechend wird dann die Orientierung einer Geraden 7' zwischen den korrespondierenden charakteristischen Punkten P₁ ^F und P₂ ^F des zweiten Bildes BF ermittelt. Auch die Orientierung der Geraden 7' wird durch einen Winkel β^F ₁₂ zwischen der Geraden 7' und der Horizontalen 8 definiert. Sind die beiden Winkel β₁₂ ⁰ und β₁₂ ^F bekannt, so kann überprüft werden, ob die beiden Winkel gleich sind oder nicht. Dabei wird die folgende Differenz berechnet: |β⁰ – β^F| > T Accordingly, then the orientation of a straight line 7 ' between the corresponding characteristic points P ₁ ^F and P ₂ ^{F of} the second image BF. Also the orientation of the line 7 ' is defined by an angle β ^F ₁₂ between the line 7 ' and the horizontal 8th Are defined. If the two angles β ₁₂ ⁰ and β ₁₂ ^{F are} known, then it can be checked whether the two angles are equal or not. The following difference is calculated: | β ⁰ - β ^F | > T

Es wird also überprüft, ob der Betrag der Differenz zwischen den beiden Winkeln β⁰ und β^F einen vorgegebenen Grenzwert T überschreitet. Wird dies bejaht, so bedeutet dies, dass eine Fehlzuordnung zumindest eines der Punktepaare (P₁ ⁰, P₁ ^F) und (P₂ ⁰, P₂ ^F) vorliegt. Diese Punktepaare werden dann verworfen und nicht mehr bei der Verfolgung des Objekts 5 berücksichtigt.It is therefore checked whether the amount of the difference between the two angles β ⁰ and β ^F exceeds a predetermined limit value T. If this is answered in the affirmative, this means that a mismatch is present at least one of the pairs of points (P ^0, ₁ P ₁ ^F) and (P ₂ ^0, P ₂ ^F). These pairs of points are then discarded rather than tracking the object 5 considered.

Eine solche fehlerhafte Zuordnung der Punkte P₁ ⁰ und P₁ ^F ist beispielsweise in 4 dargestellt. Wie aus 4 hervorgeht, ist der Winkel β^F ₁₂ deutlich größer als der Winkel β⁰ ₁₂ des ersten Bildes B0. Dies deshalb, weil der Punkt P₁ ^F des zweiten Bildes BF fälschlicherweise dem Punkt P₁ ⁰ des ersten Bildes B0 zugewiesen wurde. Tatsächlich sollte aber ein anderer Punkt P₄ ^F dem Punkt P₁ ⁰ zugeordnet werden, wie dies in 4 schematisch dargestellt ist.Such an erroneous assignment of the points P ₁ ⁰ and P ₁ ^F is, for example, in 4 shown. How out 4 is apparent, the angle β ^F _{12 is} significantly greater than the angle β ⁰ _{12 of} the first image B0. This is because the point P ₁ ^{F of} the second frame BF has been erroneously assigned to the point P ₁ ^{0 of} the first frame B0. In fact, another point P ₄ ^F should be assigned to the point P ₁ ⁰ , as in 4 is shown schematically.

Als ein geometrischer Parameter zur Überprüfung der Plausibilität der Zuordnung kann auch ein Winkel α_i,j,k verwendet werden, welcher zwischen drei unterschiedlichen Punkten definiert wird. In 4 sind dabei im ersten Bild B0 drei solche Winkel α₂₀₁, α₀₁₂ und α₁₂₀ dargestellt, die zwischen drei Punkten P₀ ⁰, P₁ ⁰ sowie P₂ ⁰ definiert sind. Auch im zweiten Bild BF werden die entsprechenden Winkel α'₀₁₂ zwischen den korrespondierenden Punkten P₀ ^F, P₁ ^F und P2F berechnet. Die Winkel α des zweiten Bildes BF können dann mit den korrespondierenden Winkeln α des ersten Bildes B0 verglichen werden. Auch hier kann für die Differenz zwischen zwei korrespondierenden Winkeln α ein Grenzwert vorgegeben werden. Wird dieser Grenzwert überschritten, so können die in 4 dargestellten charakteristischen Punkte des zweiten Bildes BF verworfen werden.As a geometric parameter for checking the plausibility of the assignment, an angle α _{i, j, k} defined between three different points can also be used. In 4 are in the first image B0 three such angles α ₂₀₁ , α ₀₁₂ and α ₁₂₀ shown, between three points P ₀ ⁰ , P ₁ ⁰ and P ₂ ⁰ are defined. Also in the second image BF, the corresponding angles α ' ₀₁₂ between the corresponding points P ₀ ^F , P ₁ ^F and P2F are calculated. The angles α of the second image BF can then be compared with the corresponding angles α of the first image B0. Again, a limit can be specified for the difference between two corresponding angles α. If this limit is exceeded, the in 4 shown characteristic points of the second image BF are discarded.

Wird also eine fehlerhafte Zuordnung der charakteristischen Punkte festgestellt, so wird das zugeordnete Verhältnis S_i,k bzw. R_i,k verworfen. Der Rest der Verhältnisse S_i,k bzw. R_i,k wird dann zur Berechnung der TTC sowie zur Berechnung der Position des Objekts 5 im zweiten Bild BF verwendet. Zunächst kann aber eine weiteren Prüfung der Werte S_i,k bzw. R_i,k vorgenommen werden, und diejenigen Werte können ausgefiltert werden, die eine zu hohe Standardabweichung aufweisen. Dann wird ein Mittelwert S aus allen Werten S_i,k bzw. ein Mittelwert R aus allen Werten R_i,k berechnet. Folglich kann die Breite w_F sowie die Höhe h_F des Objekts 5 im zweiten Bild BF berechnet werden: w_F = w₀S bzw. w_F = w₀R und h_F = h₀S bzw. h_F = h₀R, Thus, if an erroneous assignment of the characteristic points is detected, the assigned ratio S _{i, k} or R _{i, k is} rejected. The remainder of the ratios S _{i, k} or R _{i, k} is then used to calculate the TTC and to calculate the position of the object 5 used in the second picture BF. First, however, a further check of the values S _{i, k} or R _{i, k can be} made, and those values can be filtered out which have too high a standard deviation. Then, a mean value S is computed from all values S _{i, k} or a mean value R from all values R _{i, k} . Consequently, the width w _F and the height h _{F of} the object 5 calculated in the second image BF: w _F = w ₀ S or w _F = w ₀ R and h _F = h ₀ S or h _F = h ₀ R,

Dann können die Koordinatenwerte x_F und y_F des Objekts 5 im zweiten Bild BF ermittelt werden. Dazu werden zunächst folgende Werte dx_i sowie dy_i berechnet, welche den normierten Abstand eines einzelnen Punktes P_i ^F zu einer oberen linken Ecke des Objekts darstellen:

wobei P_i,x ⁰ die x-Koordinate des Punktes P_i ⁰ und P_i,y ⁰ die y-Koordinate des Punktes P_i ⁰ bezeichnen. Weil angenommen wird, dass das Objekt 5 ein starres Objekt ist, sind die obigen Abstände unabhängig von der Position und der Größe des Objekts 5 im Bild, sodass gilt:

woraus sich die folgende Beziehung ergibt:

x_F ⁱ = P_i ^F – w_F·dx_i.

Then the coordinate values x _F and y _{F of} the object 5 be determined in the second image BF. For this purpose, first the following values dx _i and dy _{i are} calculated, which represent the normalized distance of a single point P _i ^F to an upper left corner of the object:

where P _{i, x} ^{0 is} the x-coordinate of the point P ⁰ and P _i _{i, y} ⁰ denote the y-coordinate of the point P _i ^0th Because it is assumed that the object 5 is a rigid object, the above distances are independent of the position and size of the object 5 in the picture, so that:

what results in the following relationship:

x _F ⁱ = P _i ^F - w _F · dx _i .

Entsprechendes ergibt sich auch für die y-Koordinate des Objekts 5 im zweiten Bild BF, also für y_F ⁱ. Auch aus diesen Werten x_F ⁱ und y_F ⁱ können diejenigen Werte ausgefiltert werden, die eine zu hohe Standardabweichung besitzen. Aus dem Rest der Werte x_F ⁱ und y_F ⁱ werden dann jeweilige Mittelwerte x_F und y_F berechnet. Die Position und die Größe des Objekts 5 im neuen, zweiten Bild BF ist somit definiert durch:

(x_F, y_F, w_F, h_F).The same applies to the y-coordinate of the object 5 in the second image BF, ie for y _F ⁱ . Also from these values x _F ⁱ and y _F ⁱ those values can be filtered out which have too high a standard deviation. From the rest of the values x and y _F ⁱ _F ⁱ are then x _F y and _F calculates respective average values. The position and size of the object 5 in the new, second image BF is thus defined by:

(x _F , y _F , w _F , h _F ).

Oben wurde beschrieben, wie die Koordinatenwerte x_F, y_F aus zwei unterschiedlichen Punkten des Bildes BF berechnet werden können. Die Koordinatenwerte x_F, y_F können auch alternativ aus drei unterschiedlichen Punkten errechnet werden. Aus drei verfolgten Punkten P⁰ ₀, P⁰ ₁, P⁰ ₂ des Bildes B0 sowie aus einem definierten Punkt P⁰ _C des detektierten Objektes – etwa der oberen linken Ecke des Objektes – können drei Koeffizienten a, b, c ermittelt werden. Hierzu kann folgendes Gleichungssystem definiert werden:

It has been described above how the coordinate values x _F , y _F can be calculated from two different points of the image BF. The coordinate values x _F , y _F can also be calculated alternatively from three different points. From three tracked points P ⁰ ₀ , P ⁰ ₁ , P ⁰ _{2 of} the image B0 and from a defined point P ⁰ _{C of} the detected object - such as the upper left corner of the object - three coefficients a, b, c can be determined. For this purpose, the following equation system can be defined:

Man erhält somit drei Gleichungen mit drei unterschiedlichen Unbekannten a, b, c, so dass dieses Gleichungssystem kann ohne viel Aufwand gelöst und die Unbekannten a, b, c kalkuliert werden. In einigen Fällen kann es vorkommen, dass dieses Gleichungssystem nicht gelöst werden kann, nämlich abhängig von den Werten x_i und y_i. In solchen Fällen ist vorgesehen, dass die Dreierkombination der Punkte P⁰ ₀, P⁰ ₁, P⁰ ₂ verworfen und nicht mehr zur Berechnung der TTC und der Position herangezogen wird.Thus one obtains three equations with three different unknowns a, b, c, so that this equation system can be solved without much effort and the unknowns a, b, c are calculated. In some cases, this system of equations can not be solved, depending on the values x _i and y _i . In such cases it is provided that the combination of three points P ⁰ ₀ , P ⁰ ₁ , P ⁰ ₂ discarded and is no longer used to calculate the TTC and the position.

Sind die Koeffizienten a, b, c bekannt, so kann die Position P^F _C im neuen Bild BF ermittelt werden:

If the coefficients a, b, c are known, the position P ^F _C in the new image BF can be determined:

Diese Methode kann dann für alle möglichen Dreierkombinationen der Punkte angewendet werden, und es können unplausible Werte ausgefiltert werden. Dann wird ein Mittelwert der Position P_C aus den verbleibenden Werten berechnet.This method can then be applied to all possible triple combinations of points, and implausible values can be filtered out. Then, an average value of the position P _{C is} calculated from the remaining values.

Nun wird die TTC aus der nachfolgenden Formel berechnet:

dt den zeitlichen Abstand zwischen den Zeitpunkten der Erfassung der beiden Bilder B0 und BF bezeichnet.Now the TTC is calculated from the formula below:

dt denotes the time interval between the times of detection of the two images B0 and BF.

Üblicherweise wird jedoch eine Kamera verwendet, welche etwa 10 bis 30 Einzelbilder pro Sekunde liefert. Dies bedeutet, dass der mittlere zeitliche Abstand zwischen zwei benachbarten Einzelbildern zwischen 100 ms und 33 ms liegt. Auf der einen Seite kann der berechnete Wert der TTC unplausibel sein, wenn die TTC direkt zwischen zwei benachbarten Einzelbildern berechnet wird (bei F = 1). Tatsächlich wäre der zeitliche Abstand t(F)–t(0) zwischen zwei Einzelbildern relative klein (< 100 ms), so dass die Skalierungsänderung S₀₁ und ein kleiner Fehler des Werts S₀₁ und/oder des zeitlichen Abstands t(F)–t(0) zu einem grollen Fehler des berechneten Werts der TTC führen kann.Usually, however, a camera is used which provides about 10 to 30 frames per second. This means that the average time interval between two adjacent frames is between 100 ms and 33 ms. On the one hand, the calculated value of the TTC may be implausible if the TTC is calculated directly between two adjacent frames (at F = 1). In fact, the time interval t (F) -t (0) between two individual images would be relatively small (<100 ms), so that the scaling change S ₀₁ and a small error of the value S ₀₁ and / or the time interval t (F) - t (0) can lead to a large error in the calculated value of the TTC.

Wenn auf der anderen Seite die Skalierungsänderung S zwischen zwei Einzelbildern 0 und beispielsweise F = 5 berechnet wird (um einen größeren zeitlichen Abstand zu erhalten), dann kann ein Problem beim korrekten Verfolgen der charakteristischen Punkte auftreten, insbesondere wenn sich das Objekt schnell in den Bildern bewegt (die Position im Bild 0 wäre tatsächlich anders als im Bild 5, und die Verfolgung kann versagen).On the other hand, if the scaling change S between two frames 0 and, for example, F = 5 is calculated (to obtain a greater time interval), then a problem may occur in correctly tracking the characteristic points, especially if the object is fast in the images moved (the position in picture 0 would actually be different than in the picture 5 and the persecution can fail).

Um dieses Problem umzugehen, wird vorgeschlagen, die Skalierungsänderung S zwischen jedem Paar von benachbarten Bildern (0, 1), (1, 2), ..., (F – 1, F) zu kalkulieren, um sicherzustellen, dass die Position des Objektes zwischen zwei Bildern nicht zu stark verändert wird. Somit gelingt die Verfolgung in jedem Fall. Um also einen präzisen und rauscharmen Wert der TTC zu erhalten, werden die Werte S (bzw. R) über einer Vielzahl von Einzelbildern der Kamera 4 bestimmt. Werden beispielsweise 0, 1, 2 ... F von Einzelbildern der Kamera 4 aufgenommen, so kann zwischen jeweils zwei benachbarten Bildern der jeweilige Wert S (bzw. R) berechnet werden: S_0,1, S_1,2, ..., S_F-1,F. Dann kann die Skalierung des Objekts 5 über alle Einzelbilder 0, 1, 2 ... F berechnet werden: S_0,F = S_0,1 S_1,2 ... S_F-1,F. To overcome this problem, it is proposed to calculate the scaling change S between each pair of adjacent pictures (0, 1), (1, 2), ..., (F - 1, F) to ensure that the position of the Object between two images is not changed too much. Thus, the persecution succeeds in every case. In order to obtain a precise and low-noise value of the TTC, the values S (or R) over a plurality of individual images of the camera 4 certainly. For example, 0, 1, 2 ... F of frames of the camera 4 The respective value S (or R) can be calculated between two neighboring images: S _0,1 , S _1,2 , ..., S _{F-1, F.} Then the scaling of the object 5 be calculated over all frames 0, 1, 2 ... F: S _{0, F} = S _0,1 S _1,2 ... S _{F-1, F.}

Schließlich kann dann die TTC berechnet werden:

Finally, the TTC can be calculated:

Dabei bezeichnen t(F) den Zeitpunkt der Aufnahme des letzten Bildes F und t(0) den Zeitpunkt der Aufnahme des ersten Bildes B0. Dieser Ansatz verhindert auch kleines Rauschen der Werte der Skalierungsänderung S. Beispielsweise kann die Anzahl der verwendeten Einzelbilder gleich F ~ 5 sein, um sicherzustellen dass der zeitliche Abstand t(F)–t(0) groß genug ist (größer als 100 ms). Zum Beispiel kann der zeitliche Abstand t(F)–t(0) in einem Wertebereich von 100 ms bis 500 ms liegen und kann beispielsweise 300 ms betragen. Durch diesen Ansatz wird auch das Rauschen der Daten vermieden. Der endgültige Wert der TTC berechnet aus der oberen letzten Gleichung ist deutlich weniger verrauscht im Vergleich zu anderen Gleichungen.In this case, t (F) designates the time of the recording of the last image F and t (0) the time of the recording of the first image B0. This approach also prevents small noise in the values of scaling change S. For example, the number of frames used may be equal to F ~ 5 to ensure that the time interval t (F) -t (0) is large enough (greater than 100 ms). For example, the time interval t (F) -t (0) may be in a range of 100 ms to 500 ms, and may be, for example, 300 ms. This approach also avoids the noise of the data. The final value of the TTC calculated from the upper last equation is significantly less noisy compared to other equations.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 20060276964 A [0004]
EP 2068269 A1 [0005]

Claims

Method for tracking one in an environment ( 6 ) of a motor vehicle ( 1 ) ( 5 ) in a sequence of sequentially recorded images (B0, BF) of a camera ( 4 ) of the motor vehicle ( 1 ), comprising the steps of: a) identifying the object ( 5 ) in a first image (B0) of the sequence of images (B0, BF) and determining a plurality of characteristic points (P _i ⁰ ) of the object (B0) 5 ) in the first image (B0), b) determining a plurality of characteristic points (P _i ^F ) of the object ( 5 ) in a second image (BF) of the sequence of images (B0, SF) and c) tracking the object ( 5 ) by assigning the characteristic points (P _i ^F ) of the object ( 5 ) from the second image (BF) to respectively corresponding characteristic points (P _i ⁰ ) of the object ( 5 ) from the first image (B0), characterized by d) determining a first value of a geometric parameter (α, β) from at least two characteristic points (P _i ^F ) of the object ( ^B ) 5 ) from the second image (BF), e) determining a second value of the same geometric parameter (α, β) from corresponding points (P _i ⁰ ) of the object ( 5 ) from the first image (B0), and f) checking the plausibility of the assignment according to step c) on the basis of a comparison of the first value with the second value of the geometric parameter.

A method according to claim 1, characterized in that it is checked in the context of the comparison according to step f), whether a difference between the first and the second value of the parameter (α, β) exceeds a predetermined threshold (T), and after detecting the exceeding at least one of the at least two characteristic points (P _i ^F ) according to step d) when tracking the object ( 5 ) in step c) is disregarded.

Method according to claim 1 or 2, characterized in that as geometric parameter (α, β) an orientation (β) of a straight line passing through the at least two points (P _i ⁰ , P _i ^F ) of the respective image (B0, BF) ( 7 . 7 ' ) is determined.

Method according to one of the preceding claims, characterized in that as a geometric parameter (α, β) a ratio of a distance between a first pair of points of the respective image (B0, BF) to a distance between a second pair of points of the same image (B0, BF) determined becomes.

Method according to one of the preceding claims, characterized in that an angle (α) is defined as the geometric parameter (α, β), which angle is defined by three characteristic points (P _i ⁰ , P _i ^F ) of the respective image (B0, BF) becomes.

Method according to one of the preceding claims, characterized in that the assignment according to step c) comprises that pairs of points (P _i ⁰ , P _i ^F ) in each case from a characteristic point (P _i ⁰ ) of the object ( 5 ) in the first image (B0) and the corresponding point (P _i ^F ) of the object ( 5 ) are provided in the second image (BF), wherein a correlation value is determined for at least one pair of points (P _i ⁰ , P _i ^F ) and the at least one pair of points (P _i ⁰ , P _i ^F ) is checked for plausibility on the basis of its correlation value becomes.

A method according to claim 6, characterized in that if the correlation value falls below a predetermined limit, the pair of points (P _i ⁰ , P _i ^F ) is discarded.

Method according to one of the preceding claims, characterized in that when identifying the object ( 5 ) according to step a) a position of the object ( 5 ) is determined in the first image (B0) and the tracking of the object ( 5 ) according to step c) comprises that a position of the object ( 5 ) in the second image (BF) at least depending on the position of the object ( 5 ) in the first image (B0) and on the basis of the characteristic points (P _i ⁰ , P _i ^F ).

Method according to one of the preceding claims, characterized in that the tracking of the object ( 5 ) according to step c), that a time to collision (TTC) is calculated on the basis of the characteristic points.

Method according to claim 8 and / or 9, characterized in that the position of the object ( 5 ) in the second image (BF) and / or the time to collision (TTC) in dependence on a ratio (S) of a Distance (dF) between two characteristic points (P _i ^F ) from the second image (BF) to a distance (d ⁰ ) between two corresponding points (P _i ⁰ ) from the first image (B0) is determined.

Method according to one of claims 8 to 10, characterized in that the position of the object ( 5 ) in the second image (BF) and / or the time to collision (TTC) as a function of a ratio (R) of an area (a ^F ) defined by at least three characteristic points (P _i ^F ) of the second image (BF) to an area (a ⁰ ) defined by the corresponding points (P _i ⁰ ) of the first image (B0).

Camera system ( 3 ) for a motor vehicle ( 1 ), whereby the camera system ( 3 ) is designed to carry out a method according to one of claims 1 to 11.

Motor vehicle ( 1 ) with a camera system ( 3 ) according to claim 12.