DE102014111948A1

DE102014111948A1 - Method for determining characteristic pixels, driver assistance system and motor vehicle

Info

Publication number: DE102014111948A1
Application number: DE102014111948.7A
Authority: DE
Inventors: Ciaran Hughes; Sunil Chandra; Petros Kapsalas; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2014-08-21
Filing date: 2014-08-21
Publication date: 2016-02-25

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen von charakteristischen Bildpunkten in von einem Kamerasystem (3) eines Kraftfahrzeugs (1) aufgenommenen Bildern (8) wobei eine Bildsequenz eines Umgebungsbereichs (7) des Kraftfahrzeugs (1) mittels einer Kamera (4) des Kamerasystems (3) erfasst wird, und eine vorbestimmte Anzahl von Teilbereichen (9) von einem der Bilder (8) der Bildsequenz mittels einer Bildverarbeitungsvorrichtung (5) des Kamerasystems (3) ausgewählt wird, wobei für zumindest einen der Teilbereiche (9) die folgenden Schritte durchgeführt werden: a) Bestimmen von charakteristischen Bildpunkten in einem ersten Bild der Bildsequenz, b) Suchen der charakteristischen Bildpunkte des ersten Bilds in einem zweiten Bild der Bildsequenz abhängig von einem Ähnlichkeitsmaß der korrespondierenden charakteristischen Bildpunkte (S1), c) Auswählen von in dem zweiten Bild gemäß der Suche in Schritt b) aufgefundenen charakteristischen Bildpunkte (S25), d) Hinzufügen der gemäß Schritt c) ausgewählten charakteristischen Bildpunkte aus dem zweiten Bild zu einer Bildpunkt-Sammlung (S4, S27), e) Bestimmen von charakteristischen Bildpunkten in dem zweiten Bild (S5, S29), f) Hinzufügen der gemäß Schritt e) bestimmten charakteristischen Bildpunkte aus dem zweiten Bild zu der Bildpunkt-Sammlung (S6, S37), g) Suchen der in der Bildpunkt-Sammlung gemäß Schritt c) und Schritt f) hinzugefügten charakteristischen Bildpunkte in einem dritten Bild abhängig von dem Ähnlichkeitsmaß.The invention relates to a method for determining characteristic pixels in images (8) recorded by a camera system (3) of a motor vehicle (1), wherein an image sequence of a surrounding area (7) of the motor vehicle (1) is detected by means of a camera (4) of the camera system (3 ), and a predetermined number of partial areas (9) are selected from one of the images (8) of the image sequence by means of an image processing device (5) of the camera system (3), the following steps being performed for at least one of the partial areas (9) a) determining characteristic pixels in a first image of the image sequence, b) searching the characteristic pixels of the first image in a second image of the image sequence depending on a similarity measure of the corresponding characteristic pixels (S1), c) selecting in the second image according to the search in step b) found characteristic pixels (S25), d) adding the gem ß step c) selected characteristic pixels from the second image to a pixel collection (S4, S27), e) determining characteristic pixels in the second image (S5, S29), f) adding the determined according to step e) characteristic pixels g) searching the characteristic pixels added in the pixel collection according to step c) and step f) in a third image depending on the similarity measure.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen von charakteristischen Bildpunkten in von einem Kamerasystem eines Kraftfahrzeugs aufgenommenen Bildern, wobei eine Bildsequenz eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kamerasystems erfasst wird, und eine vorbestimmte Anzahl von Teilbereichen von einem der Bilder der Bildsequenz mittels einer Bildverarbeitungsvorrichtung des Kamerasystems ausgewählt wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem. The invention relates to a method for determining characteristic pixels in images captured by a camera system of a motor vehicle, wherein an image sequence of a surrounding area of the motor vehicle is detected by means of a camera of the camera system, and a predetermined number of partial areas of one of the images of the image sequence by means of an image processing device of the Camera system is selected. The invention also relates to a driver assistance system for a motor vehicle, as well as a motor vehicle with a driver assistance system.

Verfahren zum Bestimmen von charakteristischen Bildpunkten sind bereits aus dem Stand der Technik bekannt. So werden charakteristische Bildpunkte beispielsweise für ein komplettes Bild bestimmt. Das Bestimmen der charakteristischen Bildpunkte erfolgt mit sogenannten Interest Punktoperatoren. Charakteristische Bildpunkte sind möglichst eindeutige Bildpunkte, welche in einem Bild von der gleichen Situation, aber beispielsweise zu einem anderen Zeitpunkt oder von einer anderen Kameraposition aufgenommen sind, und durch eine Suche bzw. einen Vergleich wiedergefunden werden können. So eignen sich die charakteristischen Bildpunkte zur Objekterkennung, zur Odometrie, zur 3D-Rekonstruktion sowie zur Koregistrierung. Methods for determining characteristic pixels are already known from the prior art. For example, characteristic pixels are determined for a complete image. The determination of the characteristic pixels takes place with so-called interest point operators. Characteristic pixels are the most unambiguous pixels that can be found in an image of the same situation, but for example at a different time or from a different camera position, and can be retrieved by a search or a comparison. Thus, the characteristic pixels are suitable for object recognition, odometry, 3D reconstruction and coregistration.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, bei welchem bzw. bei welchen die charakteristischen Bildpunkte besonders gleichmäßig bestimmt werden können. It is an object of the invention to provide a method, a driver assistance system and a motor vehicle, in which or in which the characteristic pixels can be determined particularly uniform.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren zum Bestimmen von charakteristischen Bildpunkten in von einem Kamerasystem eines Kraftfahrzeugs aufgenommenen Bildern, wobei eine Bildsequenz eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kraftfahrzeugs erfasst wird und eine vorbestimmte Anzahl von Teilbereichen von einem der Bilder der Bildsequenz mittels einer Bildverarbeitungsvorrichtung des Kamerasystems ausgewählt wird, werden erfindungsgemäß für zumindest einen der Teilbereiche die folgenden Schritte durchgeführt:

a) Bestimmen von charakteristischen Bildpunkten in einem ersten Bild der Bildsequenz,
b) Suchen der charakteristischen Bildpunkte des ersten Bilds in einem zweiten Bild der Bildsequenz abhängig von einem Ähnlichkeitsmaß der korrespondierenden charakteristischen Bildpunkte,
c) Auswählen von in dem zweiten Bild gemäß der Suche in Schritt b) aufgefundenen charakteristischen Bildpunkte,
d) Hinzufügen der gemäß Schritt c) ausgewählten charakteristischen Bildpunkte aus dem zweiten Bild zu einer Bildpunkt-Sammlung,
e) Bestimmen von charakteristischen Bildpunkten in dem zweiten Bild,
f) Hinzufügen der gemäß Schritt e) bestimmten charakteristischen Bildpunkte aus dem zweiten Bild zu der Bildpunkt-Sammlung,
g) Suchen der in der Bildpunkt-Sammlung gemäß Schritt c) und Schritt f) hinzugefügten charakteristischen Bildpunkte in einem dritten Bild abhängig von dem Ähnlichkeitsmaß.

In a method according to the invention for determining characteristic pixels in images captured by a camera system of a motor vehicle, wherein an image sequence of an environmental region of the motor vehicle is detected by means of a camera of the motor vehicle and a predetermined number of partial regions selected from one of the images of the image sequence by means of an image processing device of the camera system If, according to the invention, the following steps are carried out for at least one of the subregions:

a) determining characteristic pixels in a first image of the image sequence,
b) searching the characteristic pixels of the first image in a second image of the image sequence as a function of a similarity measure of the corresponding characteristic pixels,
c) selecting characteristic pixels found in the second image according to the search in step b),
d) adding the characteristic pixels selected according to step c) from the second image to a pixel collection,
e) determining characteristic pixels in the second image,
f) adding the characteristic pixels from the second image determined according to step e) to the pixel collection,
g) Search the characteristic pixels added in the pixel collection according to step c) and step f) in a third image depending on the similarity measure.

In Schritt e) können als charakteristische Bildpunkte im zweiten Bild neue charakteristische Bildpunkte bestimmt werden, welche andere charakteristische Bildpunkte als die charakteristischen Bildpunkte, wie sie in Schritt b) gesucht werden, sein können. In step e), new characteristic pixels may be determined as characteristic pixels in the second image, which pixels may be different characteristic pixels than the characteristic pixels as they are searched in step b).

Durch das erfindungsgemäße Verfahren wird es möglich, aufgrund der Teilbereiche, die charakteristischen Bildpunkte besonders gleich verteilt in dem Bild zu bestimmen. Weiterhin wird es durch das erfindungsgemäße Verfahren möglich, besonders eindeutige bzw. starke charakteristische Bildpunkte zu bestimmen. Dies wird gewährleistet, da die charakteristischen Bildpunkte zumindest teilweise aus einem der vorherigen Bilder der Bildsequenz genutzt werden. Weiterhin ist es aber auch möglich, dass zusätzlich zu den charakteristischen Bildpunkten aus den vorherigen Bildern auch in jedem Bild der Bildsequenz neue charakteristische Bildpunkte bestimmt werden. Der Vorteil liegt nun darin, dass sowohl die charakteristischen Bildpunkte verwendet werden, welche in einem der vorherigen Bilder detektiert wurden und somit eine gewisse Zuverlässigkeit der charakteristischen Bildpunkte vorausgesetzt werden kann, aber auch in jedem Bild der Bildsequenz neue charakteristische Bildpunkte hinzugefügt werden. Das Hinzufügen der neuen charakteristischen Bildpunkte ist wichtig, weil bei einer fortlaufenden Änderung des Bildinhaltes über die Bildsequenz immer weniger der charakteristischen Bildpunkte aus den vorherigen Bildern zur Verfügung stehen bzw. verfolgt bzw. gesucht werden können. Die charakteristischen Bildpunkte aus dem vorherigen Bild bzw. dem ersten Bild werden in einem darauffolgenden Bild bzw. dem zweiten Bild derart gesucht, dass das Ähnlichkeitsmaß eine Aussage zulässt, ob es sich bei dem charakteristischen Bildpunkt in dem zweiten Bild um den charakteristischen Bildpunkt des ersten Bildes handelt. Das Ähnlichkeitsmaß beschreibt also einen Vergleich der Eigenschaften der charakteristischen Bildpunkte. Zu den Eigenschaften der charakteristischen Bildpunkte können sowohl Eigenschaften der charakteristischen Bildpunkte selbst zählen, als auch Eigenschaften von Bildpunkten aus dem Umgebungsbereich der charakteristischen Bildpunkte. Due to the method according to the invention, it becomes possible, on account of the partial regions, to determine the characteristic pixels particularly evenly distributed in the image. Furthermore, it is possible by the inventive method to determine particularly unique or strong characteristic pixels. This is ensured because the characteristic pixels are at least partially used from one of the previous images of the image sequence. Furthermore, it is also possible that, in addition to the characteristic pixels from the previous images, new characteristic pixels are also determined in each image of the image sequence. The advantage lies in the fact that both the characteristic pixels are used, which were detected in one of the previous images and thus a certain reliability of the characteristic pixels can be assumed, but also new characteristic pixels are added in each image of the image sequence. The addition of the new characteristic pixels is important because with a continuous change of the image content over the image sequence, fewer and fewer of the characteristic pixels from the previous images are available or can be searched. The characteristic pixels from the previous image or the first image are searched in a subsequent image or the second image such that the similarity measure allows a statement as to whether the characteristic pixel in the second image is the characteristic pixel of the first image is. The similarity measure thus describes a comparison of the properties of the characteristic pixels. Properties of the characteristic pixels can be both properties of the characteristic pixels themselves, as well as properties of pixels from the surrounding area of the characteristic pixels.

Insbesondere ist vorgesehen, dass die Schritte b) bis g) für zumindest ein viertes Bild der Bildsequenz wiederholt werden. Vorteilhaft daran ist, dass in den Schritten b) bis g) die Initialisierung von Schritt a) schon erfolgt ist. Somit liegen aus dem ersten Bild schon charakteristische Bildpunkte vor, welche in dem zweiten Bild gesucht werden können. Das erfindungsgemäße Verfahren ist also vorzugsweise dazu ausgelegt, um die charakteristischen Bildpunkte in einer Mehrzahl von Bildern der Bildsequenz zu detektieren bzw. zu bestimmen. In particular, it is provided that the steps b) to g) are repeated for at least a fourth image of the image sequence. The advantage of this is that in steps b) to g) the initialization of step a) has already taken place. Thus, from the first image already characteristic pixels are present, which can be searched in the second image. The method according to the invention is therefore preferably designed to detect or determine the characteristic pixels in a plurality of images of the image sequence.

Weiterhin ist vorgesehen, dass das Ähnlichkeitsmaß als eine Differenz der Intensitäten der korrespondierenden charakteristischen Bildpunkte definiert wird, insbesondere als eine Summe der quadratischen Differenzen der korrespondierenden charakteristischen Bildpunkte, und/oder eine Summe der absoluten Differenzen der korrespondierenden charakteristischen Bildpunkte und/oder eine Mahalanobis-Distanz der korrespondierenden charakteristischen Bildpunkte und/oder eine Bhattacharyya-Distanz der korrespondierenden charakteristischen Bildpunkte. Vorteilhaft daran ist, dass dieses Ähnlichkeitsmaß schnell und einfach zu berechnen ist, wodurch eine hohe Bildwiederholrate der Bilder der Bildsequenz ermöglicht wird. Der Vorteil der quadratischen Differenzen ist, dass eine kleine Differenz weniger stark ins Gewicht für die Bestimmung des Ähnlichkeitsmaßes fällt als eine große Differenz. Es können jedoch auch andere Ähnlichkeitsmaße beziehungsweise Ähnlichkeitsmetriken genutzt werden. It is further provided that the similarity measure is defined as a difference of the intensities of the corresponding characteristic pixels, in particular as a sum of the quadratic differences of the corresponding characteristic pixels, and / or a sum of the absolute differences of the corresponding characteristic pixels and / or a Mahalanobis distance the corresponding characteristic pixels and / or a Bhattacharyya distance of the corresponding characteristic pixels. The advantage of this is that this similarity measure is quick and easy to calculate, which allows a high refresh rate of the images of the image sequence. The advantage of quadratic differences is that a small difference is less significant for determining the similarity measure than a large difference. However, other similarity measures or similarity metrics may be used.

Vorzugsweise wird bei dem Suchen in Schritt b) und Schritt g) ein die Wahrscheinlichkeit eines korrekt gefundenen charakteristischen Bildpunktes beschreibender erster Zuverlässigkeitswert berücksichtigt. Es kann also beispielsweise anhand des Ähnlichkeitsmaßes und/oder an anderen Eigenschaften, beispielsweise die Häufigkeit des Auftretens oder die Entfernung, eine Wahrscheinlichkeit berücksichtigt werden, wie zuverlässig der jeweilige charakteristische Bildpunkt aus dem ersten Bild in dem zweiten Bild gefunden wurde. Der erste Zuverlässigkeitswert kann beispielsweise in einem Wertebereich von 0 bis 1 liegen. Es könnte dann bedeuten, dass je näher der Wert des ersten Zuverlässigkeitswertes an 1 liegt, desto wahrscheinlicher ist die Zuordnung des charakteristischen Punktes aus dem ersten Bild zu dem charakteristischen Punkt in dem zweiten Bild korrekt. Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte abhängig von dem ersten Zuverlässigkeitswert zu der Bildpunkt-Sammlung in Schritt d) hinzugefügt werden. Das bedeutet, die charakteristischen Bildpunkte aus Schritt b) und/oder Schritt g) können abhängig von dem ersten Zuverlässigkeitswert sortiert werden und somit kann eine Reihenfolge für das Hinzufügen zu der Bildpunkt-Sammlung vorgegeben werden. So kann beispielsweise der charakteristische Bildpunkt mit dem höchsten ersten Zuverlässigkeitswert, also mit der höchsten Wahrscheinlichkeit für die Korrektheit der Suche, zuerst hinzugefügt werden. Die Bildpunkt-Sammlung wird also dadurch zuerst mit den zuverlässigsten charakteristischen Bildpunkten erweitert bzw. befüllt. Preferably, the search in step b) and step g) takes into account a first reliability value describing the probability of a correctly found characteristic pixel. Thus, for example, based on the similarity measure and / or on other properties, for example the frequency of occurrence or the distance, a probability can be taken into account of how reliably the respective characteristic pixel from the first image was found in the second image. The first reliability value may, for example, be in a value range from 0 to 1. It could then mean that the closer the value of the first reliability value is to 1, the more likely the assignment of the characteristic point from the first image to the characteristic point in the second image is correct. In particular, it is provided that the characteristic pixels are added to the pixel collection in step d) depending on the first reliability value. That is, the characteristic pixels of step b) and / or step g) may be sorted depending on the first reliability value, and thus an order of addition to the pixel collection may be predetermined. For example, the characteristic pixel with the highest first reliability value, that is, the highest probability for the correctness of the search, can be added first. The pixel collection is thus first expanded or filled with the most reliable characteristic pixels.

In einer weiteren Ausführungsform ist vorgesehen, dass bei dem Bestimmen der charakteristischen Bildpunkte in Schritt e) ein die Eindeutigkeit der charakteristischen Bildpunkte beschreibender zweiter Zuverlässigkeitswert berücksichtigt wird. Der zweite Zuverlässigkeitswert beschreibt also wie eindeutig ein charakteristischer Bildpunkt ist. Das bedeutet wie hoch die Wahrscheinlichkeit ist, dass der charakteristische Bildpunkt anders ist als die weiteren charakteristischen Bildpunkte in dem jeweiligen Bild. So kann der zweite Zuverlässigkeitswert beispielsweise davon abhängen, wie stark der Kontrast des charakteristischen Bildpunktes zu seinem Umfeld ist. In a further embodiment it is provided that, in determining the characteristic pixels in step e), a second reliability value describing the uniqueness of the characteristic pixels is taken into account. The second reliability value thus describes how unique a characteristic pixel is. This means how high the probability is that the characteristic pixel is different than the other characteristic pixels in the respective image. For example, the second reliability value may depend on how strong the contrast of the characteristic pixel is with its surroundings.

Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte von dem zweiten Zuverlässigkeitswert zu der Bildpunkt-Sammlung in Schritt f) hinzugefügt werden. Durch den zweiten Zuverlässigkeitswert können die bestimmten charakteristischen Bildpunkte abhängig von ihrer Eindeutigkeit geordnet bzw. sortiert werden. So können diese beispielsweise in einem Vektor so angeordnet werden, dass der eindeutigste bzw. der herausragendste charakteristische Bildpunkte an erster Stelle des Vektors steht und die weiteren charakteristischen Bildpunkte abhängig von dem zweiten Zuverlässigkeitswert angehängt werden. Der Vorteil ist nun, dass die Bildpunkts-Sammlung zuerst mit den charakteristischen Bildpunkten, welche den höchsten zweiten Zuverlässigkeitswert aufweisen, erweitert werden kann. Weiterhin ist vorzugsweise vorgesehen, dass die charakteristischen Bildpunkte gemäß Schritt c) abhängig von einem vorbestimmten ersten Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, zu der Bildpunkt-Sammlung in Schritt d) hinzugefügt werden. Durch den ersten Grenzwert kann somit vorgegeben werden, wie viele charakteristische Bildpunkte, welche durch die Suche in dem zweiten Bild gefunden wurden, also in dem ersten Bild schon vorhanden waren, maximal zu der Bildpunkt-Sammlung hinzugefügt werden sollen. Vorteilhaft ist also, dass beispielsweise nur die charakteristischen Bildpunkte mit dem höchsten ersten Zuverlässigkeitswert hinzugefügt werden können. Somit kann sichergestellt werden, dass die charakteristischen Bildpunkte in der Bildpunkt-Sammlung besonders zuverlässig sind. In particular, it is provided that the characteristic pixels are added from the second reliability value to the pixel collection in step f). Due to the second reliability value, the specific characteristic pixels can be sorted or sorted depending on their uniqueness. For example, they can be arranged in a vector in such a way that the clearest or the most outstanding characteristic pixels are at the first position of the vector and the further characteristic pixels are appended as a function of the second reliability value. The advantage now is that the pixel collection can be extended first with the characteristic pixels having the highest second reliability value. Furthermore, it is preferably provided that the characteristic pixels according to step c) are added to the pixel collection in step d) depending on a predetermined first limit value which defines the maximum number of characteristic pixels to be added. The first limit value can thus be used to specify the maximum number of characteristic pixels which were found by the search in the second image, that is to say already present in the first image, to be added to the pixel collection. It is therefore advantageous that, for example, only the characteristic pixels with the highest first reliability value can be added. Thus, it can be ensured that the characteristic pixels in the pixel collection are particularly reliable.

In einer weiteren Ausführungsform ist vorgesehen, dass die charakteristischen Bildpunkte gemäß Schritt e) abhängig von einem vorbestimmten zweiten Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, zu der Bildpunkt-Sammlung in Schritt f) hinzugefügt werden. Durch den zweiten Grenzwert kann vorgegeben werden, wie viele der neu bestimmten charakteristischen Bildpunkte in dem zweiten Bild zu der Bildpunktsammlung hinzugefügt werden sollen. Die neu bestimmten charakteristischen Bildpunkte bzw. die bestimmten charakteristischen Bildpunkte in dem zweiten Bild gemäß Schritt e) sind also nicht in dem vorherigen Bild bzw. in dem ersten Bild aufgetreten. Vorteilhaft ist also, dass beispielsweise abhängig von der Änderung des Bildinhaltes der Bilder der Bildsequenz der zweite Grenzwert gesetzt werden kann, um dementsprechend weniger oder mehr neue charakteristische Bildpunkte in die Bildpunkt-Sammlung hinzuzufügen und diese somit für das Suchen gemäß Schritt g) zur Verfügung zu stellen. In a further embodiment it is provided that the characteristic pixels according to step e), depending on a predetermined second limit value which defines the maximum number of characteristic pixels to be added, are added to the pixel collection in step f). The second limit value can be used to specify how many of the newly determined characteristic pixels in the second image are to be added to the pixel collection. The newly determined characteristic pixels or the specific characteristic pixels in the second image according to step e) have thus not occurred in the previous image or in the first image. It is therefore advantageous that, for example, depending on the change in the image content of the images of the image sequence, the second limit value can be set in order to add fewer or more new characteristic pixels to the pixel collection and thus make them available for searching according to step g) put.

In einer weiteren Ausführungsform ist vorgesehen, dass der erste Grenzwert und der zweite Grenzwert abhängig von einer Verhältniszahl, welche ein Verhältnis von dem ersten Grenzwert zu dem zweiten Grenzwert definiert und einem dritten Grenzwert, welcher eine maximal Anzahl von charakteristischen Bildpunkten in der Bildpunkt-Sammlung gemäß Schritt g) definiert bestimmt werden. Durch die Verhältniszahl kann also vorgegeben werden, wie das Verhältnis von vorhandenen charakteristischen Bildpunkten also charakteristischen Bildpunkten aus dem ersten Bild und neuen charakteristischen Bildpunkten also gemäß Schritt e) bestimmten charakteristischen Bildpunkten in dem zweiten Bild in die Bildpunkt-Sammlung eingeht, um die Bildpunkt-Sammlung für Schritt g) bereitzustellen. Weiterhin können anhand des dritten Grenzwerts und der Verhältniszahl, der erste Grenzwert und der zweite Grenzwert bestimmt werden. Es wird also ermöglicht, den ersten Grenzwert und den zweiten Grenzwert über die Verhältniszahl und den dritten Grenzwert zu bestimmen. In a further embodiment, it is provided that the first limit value and the second limit value are dependent on a ratio which defines a ratio of the first limit value to the second limit value and a third limit value which determines a maximum number of characteristic pixels in the pixel collection according to FIG Step g) defined can be determined. By means of the relative number, it is thus possible to specify how the ratio of existing characteristic pixels, that is to say characteristic pixels from the first image and new characteristic pixels, according to step e), of certain characteristic pixels in the second image is included in the pixel collection, by the pixel collection for step g). Furthermore, based on the third threshold and the ratio, the first threshold and the second threshold can be determined. It is thus possible to determine the first limit value and the second limit value via the ratio and the third limit value.

Insbesondere ist vorgesehen, dass bei dem Hinzufügen der charakteristischen Bildpunkte in Schritt d) zu der Bildpunkt-Sammlung ein Abstand, insbesondere eine euklidische Distanz oder eine Manhattandistanz, der charakteristischen Bildpunkte berücksichtigt wird. Es ist also insbesondere vorgesehen, dass bei dem Hinzufügen der charakteristischen Bildpunkte zu der Bildpunkt-Sammlung überprüft wird, welchen Abstand ein charakteristischer Bildpunkt zu den bereits in der Bildpunkt-Sammlung vorhandenen charakteristischen Bildpunkten aufweist. So kann beispielsweise sichergestellt werden, dass die charakteristischen Bildpunkte in der Bildpunkt-Sammlung eine gleichmäßige bzw. homogene Verteilung aufweisen. Es kann also vorgesehen sein, dass ein charakteristischer Bildpunkt, welcher einen zu geringen Abstand zu einem charakteristischen Bildpunkt, welcher sich bereits in der Bildpunkt-Sammlung befindet, aufweist, nicht zu der Bildpunkt-Sammlung hinzugefügt wird. Unter dem Begriff der Manhattandistanz wird auch der Begriff Von-Neumann-Nachbarschaft verstanden. Die Manhattandistanz beschreibt den Abstand zwischen zwei Punkten als die Summe der absoluten Differenzen ihrer Einzelkoordinaten. Die euklidische Distanz ist beispielsweise der Abstand zweier Punkte, die mit einer geraden Verbindungslinie gemessen werden kann. In particular, it is provided that when adding the characteristic pixels in step d) to the pixel collection, a distance, in particular a Euclidean distance or a Manhattan distance, of the characteristic pixels is taken into account. It is therefore provided in particular that when adding the characteristic pixels to the pixel collection it is checked which distance a characteristic pixel has to the characteristic pixels already present in the pixel collection. For example, it can be ensured that the characteristic pixels in the pixel collection have a uniform or homogeneous distribution. It can therefore be provided that a characteristic pixel which has too small a distance to a characteristic pixel which is already in the pixel collection is not added to the pixel collection. The term Manhattan is also the term Von Neumann neighborhood understood. The Manhattan distance describes the distance between two points as the sum of the absolute differences of their individual coordinates. The Euclidean distance is, for example, the distance between two points, which can be measured with a straight connecting line.

Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte in Schritt f) nur hinzugefügt werden, falls jeder der charakteristischen Bildpunkte aus Schritt b) mindestens einen vorbestimmten Abstand zueinander aufweist. Vorteilhafterweise kann dadurch sichergestellt werden, dass eine Verteilung der charakteristischen Bildpunkte in der Bildpunkt-Sammlung bzw. in dem jeweiligen Teilbereich gleichmäßig bzw. homogen vorhanden ist. So kann beispielsweise eine Anhäufung von charakteristischen Bildpunkten an einem Bereich des Bildes verhindert werden. Weiterhin kann dadurch beispielsweise bestimmt werden, dass die charakteristischen Bildpunkte, welche neu bestimmt wurden bzw. in dem zweiten Bild gemäß Schritt f) bestimmt wurden, nur dann zu der Bildpunkt-Sammlung hinzugefügt werden, falls sich innerhalb des vorbestimmten Abstandes kein charakteristischer Bildpunkt aus dem Schritt d) an dieser Stelle bzw. in diesem Bereich der Bildpunkt-Sammlung befindet. Es kann also vorgesehen sein, dass einem charakteristischen Bildpunkt, welcher gemäß Schritt d) zu der Bildpunkt-Sammlung hinzugefügt wurde, mehr Vertrauen geschenkt wird bzw. dieser als zuverlässiger erachtet wird, als ein charakteristischer Bildpunkt, welcher gemäß Schritt f) hinzugefügt werden soll und in Schritt e) bestimmt wurde. In particular, it is provided that the characteristic pixels in step f) are added only if each of the characteristic pixels from step b) has at least one predetermined distance from each other. Advantageously, this can ensure that a distribution of the characteristic pixels in the pixel collection or in the respective subarea is uniform or homogeneous. For example, an accumulation of characteristic pixels on a portion of the image can be prevented. Furthermore, it can thereby be determined, for example, that the characteristic pixels which have been newly determined or have been determined in the second image according to step f) are added to the pixel collection only if there is no characteristic pixel within the predetermined distance Step d) is located at this point or in this area of the pixel collection. It can therefore be provided that more confidence is given to a characteristic pixel which was added to the pixel collection according to step d), or is deemed to be more reliable than a characteristic pixel which is to be added according to step f) and in step e) was determined.

In einer weiteren Ausführungsform können die charakteristischen Bildpunkte gemäß Schritt a) und e) mit einem Eckendetektionsverfahren bestimmt werden. Das Eckendetektionsverfahren bestimmt Ecken in dem Bild, wobei die Ecke ein Schnittpunkt von zwei Kanten in dem Bild sein kann. Eine Kante wiederum weist eine vorbestimmte Intensitätsänderung in dem Bild auf. Vorteilhaft ist also, dass besonders markante charakteristische Bildpunkte bestimmt werden können. In a further embodiment, the characteristic pixels according to step a) and e) can be determined with a corner detection method. The corner detection method determines vertices in the image, where the corner may be an intersection of two edges in the image. An edge, in turn, has a predetermined intensity change in the image. It is therefore advantageous that particularly distinctive characteristic pixels can be determined.

Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst zumindest ein Kamerasystem, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. An inventive driver assistance system for a motor vehicle comprises at least one camera system which is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the Driver assistance system according to the invention and for the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to schematic drawings.

Dabei zeigen: Showing:

1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems mit einem Kamerasystem; 1 in a schematic plan view of an embodiment of a motor vehicle according to the invention with an embodiment of a driver assistance system according to the invention with a camera system;

2 in schematischer Darstellung ein Bild, welches mittels einer Kamera des Kamerasystems erfasst ist; 2 a schematic representation of an image which is detected by means of a camera of the camera system;

3 in schematischer Darstellung das Bild, in welchem eine vorbestimmte Anzahl von Teilbereichen ausgewählt sind; 3 a schematic representation of the image in which a predetermined number of sub-areas are selected;

4 ein Ablaufdiagramm von einem Teil des erfindungsgemäßen Verfahrens; 4 a flow chart of a part of the method according to the invention;

5 ein weiteres Ablaufdiagramm von einem weiteren Teil des erfindungsgemäßen Verfahrens; 5 a further flow diagram of another part of the method according to the invention;

6 ein weiteres Ablaufdiagramm mit einem weiteren Teil des erfindungsgemäßen Verfahrens; und 6 a further flowchart with a further part of the method according to the invention; and

7 ein weiteres Ablaufdiagramm des erfindungsgemäßen Verfahrens. 7 another flow diagram of the method according to the invention.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel ein Kamerasystem 3 mit einer Kamera 4 und einer Bildverarbeitungsvorrichtung 5. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 4 an einem Heck 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 7 des Kraftfahrzeugs 1 erfasst werden kann. In 1 is a schematic plan view of a motor vehicle 1 with a driver assistance system 2 represented according to an embodiment of the invention. The driver assistance system 2 comprises in the embodiment a camera system 3 with a camera 4 and an image processing device 5 , According to the embodiment in 1 is the camera 4 at a stern 6 of the motor vehicle 1 arranged. The arrangement of the camera 4 However, is possible in many ways, but preferably so that a surrounding area 7 of the motor vehicle 1 can be detected.

Die Kamera 4 kann eine CMOS Kamera oder aber eine CCD Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche das Bild 11 – wie in 2 dargestellt – zur Verfügung stellt, in dem charakteristische Punkte bestimmt werden können. Es können auch mehrere solcher Kameras 4 eingesetzt werden. Die Bildverarbeitungsvorrichtung 5 kann mit mehreren Kameras 4 verbunden sein. The camera 4 may be a CMOS camera or a CCD camera or any image capture device that the image 11 - as in 2 represented - in which characteristic points can be determined. There can also be several such cameras 4 be used. The image processing device 5 can with multiple cameras 4 be connected.

Die Kamera 4 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern 8 bereitstellt. Das Bild 8 ist ein Einzelbild (Frame). Die Bildverarbeitungsvorrichtung 5 verarbeitet dann die Bildsequenz der Bilder 8 beispielsweise in Echtzeit. Es können auch mehrere Bildsequenzen von Bildern 8 bereitgestellt werden, welche dann parallel oder sequentiell mit der Bildverarbeitungsvorrichtung 5 prozessiert werden können. The camera 4 is a video camera which continuously takes a picture sequence of pictures 8th provides. The picture 8th is a single frame. The image processing device 5 then process the image sequence of the images 8th for example, in real time. It can also take several picture sequences of pictures 8th be provided, which then parallel or sequentially with the image processing device 5 can be processed.

Das in 2 dargestellte Bild 8 ist mit der Kamera 4 aufgenommen. Von dem Bild 8 werden mittels der Bildverarbeitungsvorrichtung 5 eine vorbestimmte Anzahl von Teilbereichen 9 ausgewählt. Die Teilbereiche 9 können beispielsweise mittels eines Gitters 10 ausgewählt werden. This in 2 illustrated picture 8th is with the camera 4 added. From the picture 8th be by means of the image processing device 5 a predetermined number of subregions 9 selected. The subareas 9 For example, by means of a grid 10 to be selected.

Das Bild 8 gemäß 2 ist mittels eines Fischaugenobjektivs der Kamera 4 aufgenommen und deckt einen dementsprechenden horizontalen Erfassungsbereich der Kamera 4 ab. Der Erfassungsbereich kann beispielsweise 180° in horizontaler Richtung und mehr betragen. Grundsätzlich ist die Erfindung nicht auf Fischaugenobjektive beschränkt. Es können vielfältige Arten von Linsen vorgesehen sein. The picture 8th according to 2 is by means of a fisheye lens of the camera 4 recorded and covers a corresponding horizontal detection range of the camera 4 from. The detection range may be, for example, 180 ° in the horizontal direction and more. Basically, the invention is not limited to fisheye lenses. Various types of lenses may be provided.

3 zeigt das Bild 8 mit den Teilbereichen 9, wobei die Teilbereiche 9 mit Gitternummern 11 gekennzeichnet sind. Das Gitter 10 selbst ist durch eine Zeilennummern 12, eine Spaltennummern 13, eine Teilbereichbreite w und eine Teilbereichhöhe h beschrieben. 3 shows the picture 8th with the subareas 9 , where the subregions 9 with grid numbers 11 Marked are. The grid 10 itself is through a line numbers 12 , a column number 13 , a partial area width w and a partial area height h.

Die charakteristischen Bildpunkte, welche in einem ersten Bild bestimmt wurden und in einem zweiten Bild gesucht werden, können in einem Vektor abgelegt werden und dann wie folgt einem Teilbereich 9 mit der jeweiligen Gitternummer 11 zugeordnet werden. The characteristic pixels, which were determined in a first image and searched in a second image, can be stored in a vector and then a subregion as follows 9 with the respective grid number 11 be assigned.

Die Spaltennummer 12 kann folgendermaßen bestimmt werden:
Spaltennummer 12 = floor(P_x/w),
wobei P_x die x-Koordinate des Vektors ist und w die Breite des jeweiligen Teilbereiches 9. Durch floor wird ein Abrunden des Ergebnisses von (P_x/w) auf die nächste ganze Zahl angegeben. The column number 12 can be determined as follows:
column number 12 = floor (P _x / w),
where P _{x is} the x-coordinate of the vector and w is the width of the respective sub-area 9 , Floor rounds off the result of (P _x / w) to the nearest integer.

Die Zeilennummer 13 kann folgendermaßen bestimmt werden:
Zeilennummer 13 = floor(P_y/h),
wobei P_y die y-Koordinate des Vektors ist und h die Höhe des jeweiligen Teilbereiches 9. Durch floor wird ein Abrunden des Ergebnisses von (P_y/h) auf die nächste ganze Zahl angegeben. The line number 13 can be determined as follows:
line number 13 = floor (P _y / h),
where P _{y is} the y-coordinate of the vector and h is the height of the respective sub-area 9 , Floor rounds off the result from (P _y / h) to the nearest integer.

Und damit ist:
Gitternummer 11 = Spaltennummer 12 x Gesamtanzahl der Zeilen des Gitters 10 + Zeilennummer 12. And with that is:
grid number 11 = Column number 12 x total number of lines of the grid 10 + Line number 12 ,

Das im Folgenden beschriebene Ausführungsbeispiel des erfindungsgemäßen Verfahrens bezieht sich auf zumindest einen der Teilbereiche 9. The exemplary embodiment of the method according to the invention described below relates to at least one of the subregions 9 ,

In dem Ablaufdiagramm gemäß 4 werden in einem Schritt S0 charakteristische Bildpunkte in einem ersten Bild mittels eines Interest Punktoperators zur Initialisierung des Verfahrens bestimmt. In einem Schritt S1 werden die charakteristischen Bildpunkte in einem zweiten Bild mittels eines Verfahrens zum Verfolgen von Bildpunkten (Tracking), beispielsweise eines Lucas-Kanade (LK) Verfahrens gesucht. Somit liegen in dem Schritt S1 die charakteristischen Bildpunkte vor, welche in dem ersten Bild bestimmt wurden und durch die Suche in dem zweiten Bild wiedergefunden wurden. In einem Schritt S2 werden die charakteristischen Bildpunkte in die jeweiligen Teilbereiche 9 zugeordnet. In einem Schritt S3 werden die charakteristischen Bildpunkte von dem Schritt S2 für jeden der Teilbereiche 9 abhängig von einem ersten Zuverlässigkeitswert sortiert bzw. geordnet und abhängig davon ausgewählt. Der erste Zuverlässigkeitswert beschreibt eine Wahrscheinlichkeit eines korrekt gefundenen Bildpunktes in dem ersten Bild oder in einem dritten Bild. Der erste Zuverlässigkeitswert lässt also eine Aussage darüber zu, mit welcher Sicherheit ein charakteristischer Bildpunkt aus dem ersten Bild in dem zweiten Bild durch die Suche wiedergefunden werden konnte. In einem Schritt S4 werden die ausgewählten charakteristischen Bildpunkte aus dem vorherigen Schritt zu einer Bildpunkt-Sammlung hinzugefügt. Die Bildpunkt-Sammlung kann beispielsweise ein Vektor sein mit den Koordinaten der jeweiligen charakteristischen Bildpunkte. In einem Schritt S5 werden die charakteristischen Bildpunkte in dem zweiten Bild bestimmt. Die charakteristischen Bildpunkte werden also neu bestimmt mittels beispielsweise eines Interest Punktoperators. Der Interest Punktoperator kann beispielsweise ein FAST Operator und/oder ein Harris Operator und/oder ein SUSAN Operator und/oder ein Foerstner Operator und/oder ein SIFT Operator und/oder ein SURF Operator sein. Das Verfahren ist jedoch nicht auf einen bestimmten Interest Operator beschränkt. Der Interest Punktoperator ist dazu ausgelegt, markante Bildpunkte bzw. charakteristische Bildpunkte in dem Bild 8 zu bestimmen. Die charakteristischen Bildpunkte sind vorzugsweise Ecken bzw. Bildpunkte in dem Bild 8, welche den Schnittpunkt zweier Kanten darstellen. In the flowchart according to 4 For example, in a step S0, characteristic pixels in a first image are determined by means of an interest point operator for initializing the method. In a step S1, the characteristic pixels are searched in a second image by means of a method for tracking pixels, for example a Lucas-Kanade (LK) method. Thus, in step S1, the characteristic pixels which have been determined in the first image and retrieved by the search in the second image are present. In a step S2, the characteristic pixels are in the respective subregions 9 assigned. In a step S3, the characteristic pixels of the step S2 for each of the partial areas 9 sorted or ordered and selected depending on a first reliability value. The first reliability value describes a probability of a correctly found pixel in the first image or in a third image. The first reliability value thus allows a statement as to with which certainty a characteristic pixel from the first image in the second image could be found again by the search. In a step S4, the selected characteristic pixels from the previous step are added to a pixel collection. The pixel collection can for example be a vector with the coordinates of the respective characteristic pixels. In a step S5, the characteristic pixels in the second image are determined. The characteristic pixels are thus redetermined by means of, for example, an interest point operator. The interest point operator can be, for example, a FAST operator and / or a Harris operator and / or a SUSAN operator and / or a Foerstner operator and / or a SIFT operator and / or a SURF operator. However, the method is not limited to a particular interest operator. The interest point operator is designed to produce prominent pixels in the image 8th to determine. The characteristic pixels are preferably vertices in the image 8th , which represent the intersection of two edges.

In einem Schritt S6 werden die charakteristischen Bildpunkte, welche in dem Schritt S5 bestimmt bzw. detektiert wurden zu der Sammlung der Bildpunkte hinzugefügt. In einem Schritt S7 werden weiterhin charakteristische Bildpunkte zu der Bildpunkte-Sammlung hinzugefügt, falls in dem Schritt S4 nicht alle Punkte, welche in dem zweiten Bild gefunden worden sind, hinzugefügt worden sind. Es kann also vorkommen, dass in dem Schritt S4 nicht alle der charakteristischen Punkte, welche in dem zweiten Bild gesucht worden sind, ausgewählt wurden, weil der erste Zuverlässigkeitswert von bestimmten charakteristischen Bildpunkten zu gering gewesen ist. Weiterhin ist es auch möglich, dass in dem Schritt S4 nicht alle der charakteristischen Bildpunkte zu der Bildpunkt-Sammlung hinzugefügt worden sind, weil ein erster Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, erreicht worden ist. In einem Schritt S8 wird die Bildpunkte-Sammlung für das Suchen in dem dritten Bild bereitgestellt. Das Suchen der charakteristischen Bildpunkte aus der in dem Schritt S8 bereitgestellten Bildpunkt-Sammlung in dem dritten Bild wird in einem Schritt S44 durchgeführt. In a step S6, the characteristic pixels which have been detected in step S5 are added to the collection of the pixels. In a step S7, further, characteristic pixels are added to the pixel collection if in step S4, all the dots found in the second image have not been added. It may therefore happen that in step S4 not all of the characteristic points searched in the second image have been selected because the first reliability value of certain characteristic pixels has been too low. Furthermore, it is also possible that not all of the characteristic pixels have been added to the pixel collection in step S4 because a first limit value defining the maximum number of characteristic pixels to be added has been reached. In a step S8, the pixel collection is provided for searching in the third image. The search of the characteristic pixels from the pixel collection provided in the step S8 in the third image is performed in a step S44.

Analog dazu ist das Verfahren gemäß Schritt S1 bis S8 für ein weiteres, beispielsweise ein viertes Bild, anwendbar. Similarly, the method according to step S1 to S8 for another, for example, a fourth image, applicable.

Das Suchen kann beispielsweise mit einem Lucas-Kanade (LK) Verfahren erfolgen, wobei einer der charakteristischen Bildpunkte aus dem ersten Bild in einem vorbestimmten Bildbereich, also eine vorbestimmte Entfernung, gesucht werden. Das Suchen erfolgt mittels eines Ähnlichkeitsmaßes, welches beispielsweise eine Summe der absoluten Differenzen sein kann. Alternativ kann auch ein Lucas-Kanade-Tomasi (KLT) Verfahren zur Suche verwendet werden. Auch kann ein anders Ähnlichkeitsmaß angewandt werden, welches beispielsweise eine Summe von quadratischen Differenzen sein kann. The search can be done, for example, with a Lucas-Kanade (LK) method, wherein one of the characteristic pixels from the first image in a predetermined image area, ie a predetermined distance, are searched. The search is carried out by means of a measure of similarity, which may for example be a sum of the absolute differences. Alternatively, a Lucas-Kanade-Tomasi (KLT) search method may be used. Also, a different degree of similarity may be applied, which may be, for example, a sum of quadratic differences.

In 5 wird genauer auf den Schritt S2 eingegangen. So beginnt das Ablaufdiagramm von 5 mit dem Schritt S1, welcher von einem Schritt S9 gefolgt wird. Der Schritt S9 führt eine Schleife für jeden der charakteristischen Punkte aus dem Schritt S1 aus. Ein Schritt S10 beschreibt das Zuordnen der Gitternummer 11 zu jedem der charakteristischen Punkte. In Schritt S11 werden die Daten des jeweiligen charakteristischen Bildpunktes in eine Liste des jeweiligen Teilbereichs 9 geschrieben. Die Schritte S9 bis S11 werden in einem Schritt S12 so lange durchgeführt, bis alle charakteristischen Bildpunkte aus dem Schritt S1 abgearbeitet sind. In dem Schritt S13 liegen die charakteristischen Bildpunkte nun teilbereichsweise gemäß der Teilbereiche 9 vor. In einem Schritt S14 wird für jeden der Teilbereiche 9 eine Schleife ausgeführt. In einem Schritt S15 wird analog zu dem Schritt S3 eine Sortierung der charakteristischen Punkte für jeden der Teilbereiche 9 in Abhängigkeit von dem ersten Zuverlässigkeitswert durchgeführt. So werden beispielsweise die charakteristischen Bildpunkte mit dem höchsten ersten Zuverlässigkeitswert an die erste Stelle des jeweiligen Vektors der Teilbereiche 9 gesetzt. In einem Schritt S16 wird überprüft, ob alle jeweiligen Teilbereiche 9 durchlaufen wurden. Falls nein, wird in dem Schritt S14 fortgefahren und falls ja, wird mit einem Schritt S17 fortgefahren, in welchem für jeden der Teilbereiche 9 die charakteristischen Bildpunkte gemäß dem ersten Zuverlässigkeitswert sortiert vorliegen. In 5 will be discussed in more detail on the step S2. This is how the flowchart of 5 with the step S1, which is followed by a step S9. The step S9 executes a loop for each of the characteristic points from the step S1. A step S10 describes assigning the grid number 11 to each of the characteristic points. In step S11, the data of each characteristic pixel is put into a list of the respective subarea 9 written. The steps S9 to S11 become so long in a step S12 performed until all the characteristic pixels from step S1 have been processed. In step S13, the characteristic pixels are now partially in accordance with the subregions 9 in front. In a step S14, for each of the partial areas 9 executed a loop. In a step S15, analogous to the step S3, a sorting of the characteristic points for each of the partial areas 9 in response to the first reliability value. For example, the characteristic pixels with the highest first reliability value become the first position of the respective vector of the subregions 9 set. In a step S16, it is checked whether all respective subareas 9 were passed through. If not, the process proceeds to step S14, and if so, the process proceeds to step S17, in which for each of the subregions 9 the characteristic pixels are sorted according to the first reliability value.

Ein weiteres Ablaufdiagramm in 6 beginnt mit dem Schritt S17. In einem Schritt S18 werden in einer Schleife alle Teilbereiche 9 durchlaufen. Und auch in dem Schritt S19 werden alle Teilbereiche 9 durchlaufen. In einem Schritt S20 wird überprüft, ob alle charakteristischen Bildpunkte, welche von der Suche innerhalb der jeweiligen Zelle bzw. Teilbereichs 9 zu der Bildpunkt-Sammlung hinzugefügt wurden. Falls ja folgt ein Schritt S21, welcher überprüft, ob bereits alle charakteristischen Bildpunkte von allen Teilbereichen 9 durchlaufen sind. Falls nein folgt wieder der Schritt S19 und falls ja folgt ein Schritt S22, welcher das Ende der Bildpunktsammlung für das Bild 8 bzw. das zweite Bild beschreibt. Wird der Schritt S20 mit nein beantwortet, das heißt es wurden noch nicht alle charakteristischen Punkte des jeweiligen Teilbereichs 9 zu der Bildpunktsammlung hinzugefügt, so folgt ein Schritt S23, in welchem der nächste charakteristische Bildpunkt von dem jeweiligen Teilbereich 9 abhängig von dem höchsten noch verbliebenen ersten Zuverlässigkeitswert bzw. dem geringsten Fehler verarbeitet wird. Der charakteristische Punkt aus dem Schritt S23 wird anschließend in einem Schritt S24 mit den charakteristischen Punkten, welche sich bereits in der Bildpunkt-Sammlung des jeweiligen Teilbereichs 9 befinden, hinsichtlich eines Abstandes verglichen. Der Abstand kann beispielsweise eine Manhattandistanz bzw. eine Cityblockdistanz sein. Falls der Abstand unter einem vorbestimmten Abstandswert liegt, wird der charakteristische Bildpunkt aus dem Schritt S23 nicht zu der Bildpunkt-Sammlung hinzugefügt. Der charakteristische Bildpunkt aus dem Schritt S23 wird in dem Schritt S24 nur zu der Bildpunkt-Sammlung hinzugefügt, falls der Abstand zwischen dem charakteristischen Bildpunkt und jedem der Bildpunkte in der Bildpunkt-Sammlung größer ist als der vorbestimmte Abstandswert bzw. Abstandsmindestwert. Diese Überprüfung wird in einem Schritt S25 durchgeführt. Wird der charakteristische Bildpunkt in dem Schritt S25 nicht hinzugefügt, so folgt ein Schritt S26, in welchem überprüft wird, ob bereits alle Teilbereiche 9 durchlaufen sind. Sind alle Teilbereiche 9 durchlaufen, wird mit dem Schritt S18 fortgefahren, andererseits wird mit dem Schritt S19 fortgefahren. Wird der charakteristische Bildpunkt in dem Schritt S25 allerdings darin bestätigt, dass der Abstand zu einem der anderen charakteristischen Bildpunkte in der Bildpunkt-Sammlung über dem vorbestimmten Abstandswert liegt, so wird dieser in einem Schritt S27 zu der Bildpunktsammlung hinzugefügt. In einem Schritt S28 wird überprüft, ob die Anzahl der charakteristischen Bildpunkte, welche bereits zu der Bildpunkt-Sammlung hinzugefügt worden sind, einen ersten Grenzwert überschreiten. Der erste Grenzwert legt die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte fest. Falls der erste Grenzwert nicht überschritten wird, folgt auf den Schritt S28 der Schritt S26 und falls der Grenzwert überschritten wird, so folgt der Schritt S22. Another flowchart in 6 begins with step S17. In a step S18, all subareas are looped 9 run through. And also in the step S19, all the subareas 9 run through. In a step S20, it is checked whether all the characteristic pixels, that of the search within the respective cell or partial area 9 have been added to the pixel collection. If yes, a step S21 follows, which checks whether all the characteristic pixels of all partial areas have already been checked 9 have passed through. If no, step S19 follows again, and if yes, step S22 follows, which ends the pixel collection for the image 8th or the second picture describes. If the answer to step S20 is no, that is, not all of the characteristic points of the respective subarea have yet been answered 9 to the pixel collection, a step S23 follows, in which the next characteristic pixel of the respective partial area 9 is processed depending on the highest remaining first reliability value or the lowest error. The characteristic point from the step S23 is then in a step S24 with the characteristic points, which are already in the pixel collection of the respective sub-area 9 are compared in terms of a distance. The distance may be, for example, a manhattan distance or a city block distance. If the distance is below a predetermined distance value, the characteristic pixel from the step S23 is not added to the pixel collection. The characteristic pixel from the step S23 is added to the pixel collection only at the step S24 if the distance between the characteristic pixel and each of the pixels in the pixel collection is larger than the predetermined distance value. This check is performed in a step S25. If the characteristic pixel is not added in step S25, a step S26 is followed, in which it is checked whether all partial areas already exist 9 have passed through. Are all subareas 9 is continued, proceeds to step S18, on the other hand, proceeds to step S19. However, if the characteristic pixel is confirmed in step S25 to be the distance to one of the other characteristic pixels in the pixel collection above the predetermined distance value, it is added to the pixel collection in a step S27. In step S28, it is checked whether the number of characteristic pixels already added to the pixel collection exceeds a first threshold. The first limit specifies the maximum number of characteristic pixels to be added. If the first limit is not exceeded, step S28 is followed by step S26, and if the limit is exceeded, step S22 follows.

In 7 ist ein weiteres Ablaufdiagramm gezeigt, welches mit einem Schritt S29 beginnt. In dem Schritt S29 liegen die bestimmten charakteristischen Bildpunkte aus dem zweiten Bild vor. Dies sind die charakteristischen Bildpunkte, welche in dem zweiten Bild neu bestimmt worden sind, also nicht mittels beispielsweise des Lucas-Kanade Verfahrens gesucht wurden aber mittels eines Interest Punktoperators bestimmt worden sind. In einem Schritt S30 werden die Teilbereiche 9 solange durchlaufen, wie zumindest ein Teilbereich 9 noch charakteristische Bildpunkte zum Hinzufügen aufweist. In einem Schritt S31 wird eine Schleife für jeden Teilbereich 9 ausgeführt. In einem Schritt S32 wird abgefragt, ob alle charakteristischen Bildpunkte von dem jeweiligen Teilbereich 9 bereits zu der Bildpunkt-Sammlung hinzugefügt worden sind. Falls dies bestätigt werden kann und alle charakteristischen Bildpunkte des jeweiligen Teilbereichs 9 bereits hinzugefügt worden sind folgt ein Schritt S33. Wird in dem Schritt S33 festgestellt, dass nicht alle charakteristischen Bildpunkte von dem Teilbereich hinzugefügt worden sind, so folgt der Schritt S31 und falls festgestellt wurde, dass bereits alle charakteristischen Bildpunkte des Teilbereichs hinzugefügt worden sind, so folgt der Schritt S34, welcher das Ende bzw. die finale Bildpunkt-Sammlung zur Verfügung stellt. Sind in dem Schritt S32 noch nicht alle charakteristischen Bildpunkte von dem Teilbereich 9 hinzugefügt worden, so folgt ein Schritt S35, welcher den jeweiligen verbliebenen charakteristischen Bildpunkt mit dem höchsten zweiten Zuverlässigkeitswert auswählt. Der zweite Zuverlässigkeitswert beschreibt die Eindeutigkeit der charakteristischen Bildpunkte, welche mittels des Interest Operators bestimmt worden sind. Der zweite Zuverlässigkeitswert ist also ein Indikator, wie herausragend ein charakteristischer Bildpunkt ist. Der charakteristische Bildpunkt aus dem Schritt S35 wird also, wie schon aus dem Schritt S24 bekannt, mit den schon in der Bildpunkt-Sammlung vorhandenen charakteristischen Bildpunkten bezüglich seines Abstandes verglichen. Falls der Abstand zwischen dem charakteristischen Bildpunkt aus dem Schritt S35 größer als der Abstandsmindestwert ist, so wird dieser unter Vorbehalt zu der Bildpunkt-Sammlung hinzugefügt. Der charakteristische Bildpunkt wird also in einem Schritt S37 unter Vorbehalt bzw. vorläufig zu der Bildpunkt-Sammlung hinzugefügt. Vorläufig deshalb, weil in einem Schritt S38 überprüft wird, ob der charakteristische Bildpunkt aus dem Schritt S37 den Abstandsmindestwert bezüglich eines charakteristischen Bildpunktes, welcher gemäß dem Schritt S1 oder dem Schritt S17 vorliegt und noch nicht gemäß S27 zu der Bildpunkt-Sammlung hinzugefügt worden ist, unterschreitet. Dies entscheidet sich in einem Schritt S39. Hier wird überprüft, ob der charakteristische Bildpunkt aus dem Schritt S37 in einem Schritt S40 hinzugefügt wird oder ob ein verbliebener charakteristischer Bildpunkt, welcher von der Such stammt und sich noch nicht in der Bildpunkt-Sammlung befindet, unterhalb des Mindestabstandswertes befunden hat und somit anstelle des charakteristischen Bildpunktes von dem Schritt S37 in einem Schritt S41 zu der Bildpunkt-Sammlung hinzugefügt wird. In einem Schritt S42 wird überprüft, ob bereits so viele charakteristische Bildpunkte zu der Bildpunkt-Sammlung hinzugefügt wurden, dass ein zweiter Grenzwert erreicht ist. Der zweite Grenzwert definiert die maximale Anzahl der bestimmten charakteristischen Bildpunkte, welche zu der Bildpunkt-Sammlung hinzugefügt werden sollen. Ist der zweite Grenzwert noch nicht erreicht, folgt ein Schritt S43, in welchem überprüft wird, ob bereits alle Teilbereiche 9 durchlaufen sind. Ist dies nicht der Fall, folgt der Schritt S31 und ist dies der Fall, folgt der Schritt S30. Falls in dem Schritt S42 festgestellt wird, dass der zweite Grenzwert bereits erreicht ist, so folgt der Schritt S34, welcher die Bildpunkt-Sammlung bereitstellt. Die charakteristischen Bildpunkte aus der Bildpunkt-Sammlung werden in dem folgenden Schritt S44 in dem dritten Bild mittels beispielsweise des Lucas-Kanade Verfahrens gesucht. In 7 is shown a further flowchart which begins with a step S29. In step S29, the determined characteristic pixels from the second image are present. These are the characteristic pixels which have been newly determined in the second image, ie have not been searched by means of, for example, the Lucas-Kanade method, but have been determined by means of an interest point operator. In a step S30, the partial areas 9 as long as at least part of it 9 still has characteristic pixels to add. In a step S31, a loop is made for each subarea 9 executed. In a step S32, it is queried whether all the characteristic pixels of the respective subarea 9 already been added to the pixel collection. If this can be confirmed and all characteristic pixels of the respective subarea 9 already added, step S33 follows. If it is determined in step S33 that not all of the characteristic pixels have been added from the subarea, then step S31 follows and if it has been determined that all of the characteristic pixels of the subarea have already been added, step S34, which terminates the end, respectively It provides the final pixel collection. If not all of the characteristic pixels of the subarea are in step S32 9 has been added, a step S35 follows which selects the respective remaining characteristic pixel having the highest second reliability value. The second reliability value describes the uniqueness of the characteristic pixels which have been determined by means of the interest operator. The second reliability value is therefore an indicator of how outstanding a characteristic pixel is. The characteristic pixel from step S35 is therefore, as already known from step S24, compared with the existing already in the pixel collection characteristic pixels in terms of its distance. If the distance between the characteristic pixel of the step S35 is larger than the minimum distance value, it is added with reservation to the pixel collection. The characteristic pixel is thus added to the pixel collection in a provisional manner in a step S37. For the present time, because it is checked in a step S38 whether the characteristic pixel of the step S37 has the minimum distance value with respect to a characteristic pixel present according to the step S1 or the step S17 and not yet added to the pixel collection according to S27, below. This is decided in a step S39. Here it is checked whether the characteristic pixel from the step S37 is added in a step S40 or whether a remaining characteristic pixel originating from the search and not yet in the pixel collection has been below the minimum distance value and thus instead of the characteristic pixel of the step S37 is added to the pixel collection in a step S41. In a step S42 it is checked whether so many characteristic pixels have already been added to the pixel collection that a second limit value has been reached. The second threshold defines the maximum number of certain characteristic pixels to add to the pixel collection. If the second limit has not yet been reached, a step S43 follows, in which it is checked whether all partial areas have already been checked 9 have passed through. If this is not the case, step S31 follows, and if this is the case, step S30 follows. If it is determined in step S42 that the second threshold has already been reached, step S34 follows, which provides the pixel collection. The characteristic pixels from the pixel collection are searched in the following step S44 in the third image by means of, for example, the Lucas-Kanade method.

Vorzugsweise ist ein dritter Grenzwert vorgesehen, welcher die maximale Anzahl der charakteristischen Bildpunkte in der Bildpunkt-Sammlung vorgibt. Abhängig von einer Verhältniszahl, welche ein Verhältnis von dem ersten Grenzwert zu dem zweiten Grenzwert definiert, kann somit ausschließlich mit Definition der Verhältniszahl und des dritten Grenzwertes der erste Grenzwert und der zweite Grenzwert definiert werden. So kann beispielsweise der dritte Grenzwert 500 betragen und die Verhältniszahl 0,66, dann ist der erste Grenzwert beispielsweise 330. Preferably, a third limit is provided, which specifies the maximum number of characteristic pixels in the pixel collection. Depending on a ratio which defines a ratio of the first limit value to the second limit value, the first limit value and the second limit value can thus be defined solely with the definition of the ratio number and the third limit value. For example, the third threshold may be 500 and the ratio 0.66, then the first threshold is 330, for example.

Claims

Method for determining characteristic pixels in a camera system ( 3 ) of a motor vehicle ( 1 ) ( 8th ), wherein an image sequence of a surrounding area ( 7 ) of the motor vehicle ( 1 ) by means of a camera ( 4 ) of the camera system ( 3 ) and a predetermined number of subregions ( 9 ) of one of the pictures ( 8th ) of the image sequence by means of an image processing device ( 5 ) of the camera system ( 3 ) is selected, characterized in that for at least one of the subregions ( 9 the following steps are performed: a) determining characteristic pixels in a first image of the image sequence, b) searching the characteristic pixels of the first image in a second image of the image sequence depending on a similarity measure of the corresponding characteristic pixels (S1), c) selecting from characteristic pixels (S25) found in the second image according to the search in step b), d) adding the characteristic pixels selected according to step c) from the second image to a pixel collection (S4, S27), e) determining characteristic Pixels in the second image (S5, S29), f) adding the characteristic pixels determined according to step e) from the second image to the pixel collection (S6, S37), g) searching in the pixel collection according to step c) and step f) adds characteristic pixels in a third image depending on the similarity measure.

Method according to claim 1, characterized in that the steps b) to g) are repeated for at least a fourth image of the image sequence.

Method according to claim 1 or 2, characterized in that the similarity measure is defined as a difference of the intensities of the corresponding characteristic pixels, in particular as a sum of the quadratic differences of the corresponding characteristic pixels, and / or a sum of the absolute differences of the corresponding characteristic pixels and / or a Mahalanobis distance of the corresponding characteristic pixels and / or a Bhattacharyya distance of the corresponding characteristic pixels.

Method according to one of the preceding claims, characterized in that the search in step b) and step g) takes into account a first reliability value describing the probability of a correctly found characteristic pixel (S15).

Method according to claim 4, characterized in that the characteristic pixels depend on the first Reliability value to the pixel collection in step d) are added (S23).

Method according to one of the preceding claims, characterized in that, when determining the characteristic pixels in step e), a second reliability value describing the uniqueness of the characteristic pixels is taken into account (S29).

Method according to Claim 6, characterized in that the characteristic pixels are added to the pixel collection in step f) as a function of the second reliability value (S35).

Method according to one of the preceding claims, characterized in that the characteristic pixels according to step c) are added to the pixel collection in step d) depending on a predetermined first limit value which defines the maximum number of characteristic pixels to be added (S28).

Method according to one of the preceding claims, characterized in that the characteristic pixels according to step e) are added to the pixel collection in step f) depending on a predetermined second limit value which defines the maximum number of characteristic pixels to be added (S42).

Method according to claim 9, characterized in that the first limit value and the second limit value depend on a ratio which defines a ratio of the first limit value to the second limit value, and a third limit value which defines a maximum number of characteristic pixels in the pixel Collection according to step g) (S28, S42).

Method according to one of the preceding claims, characterized in that when adding the characteristic pixels in step d) to the pixel collection, a distance, in particular a Euclidean distance or a Manhattan distance, of the characteristic pixels is taken into account (S24).

Method according to one of the preceding claims, characterized in that the characteristic pixels in step f) are added only if each of the characteristic pixels from step b) has at least one predetermined distance from each other (S38).

Method according to one of the preceding claims, characterized in that the characteristic pixels according to step a) and e) are determined by a corner detection method.

Driver assistance system ( 2 ) with a camera system ( 3 ) which is adapted to perform a method according to any one of the preceding claims.

Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 14.