DE102013012780A1

DE102013012780A1 - Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle

Info

Publication number: DE102013012780A1
Application number: DE102013012780.7A
Authority: DE
Inventors: James McDonald; John McDonald
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2015-02-05
Also published as: WO2015014882A1

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs, welches mittels einer Kamera des Kraftfahrzeugs bereitgestellt wird, wobei mittels einer Auswerteeinrichtung des Kraftfahrzeugs charakteristische Merkmale in dem Bild identifiziert werden und das Zielobjekt abhängig von den charakteristischen Merkmalen detektiert wird, wobei in dem Bild eine Vielzahl von Bildknoten (11) definiert werden, und dass zu jedem Bildknoten (11) eine lokale Merkmalsdichte der charakteristischen Merkmale um den jeweiligen Bildknoten (11) bestimmt wird, wobei das Detektieren des Zielobjekts umfasst, dass mehrere der Bildknoten (11) abhängig von der jeweiligen Merkmalsdichte zu einem Cluster (18) zusammengefasst werden, welcher das Zielobjekt repräsentiert.The invention relates to a method for detecting a target object in an environmental region of a motor vehicle based on an image of the surrounding area, which is provided by a camera of the motor vehicle, wherein by means of an evaluation device of the motor vehicle characteristic features are identified in the image and the target object depending on the characteristic features wherein a plurality of image nodes (11) are defined in the image, and that a local feature density of the characteristic features around the respective image node (11) is determined for each image node (11), wherein the detection of the target object comprises multiple ones the image node (11), depending on the respective feature density, are combined to form a cluster (18) which represents the target object.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs, welches mittels einer Kamera des Kraftfahrzeugs bereitgestellt wird, wobei mittels einer Auswerteeinrichtung des Kraftfahrzeugs charakteristische Merkmale in dem Bild identifiziert werden und das Zielobjekt abhängig von den charakteristischen Merkmalen detektiert wird. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.The invention relates to a method for detecting a target object in an environmental region of a motor vehicle based on an image of the surrounding area, which is provided by a camera of the motor vehicle, wherein by means of an evaluation device of the motor vehicle characteristic features are identified in the image and the target object depending on the characteristic features is detected. The invention also relates to a camera system for carrying out such a method and to a motor vehicle having such a camera system.

Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. Ein Kamerasystem beinhaltet bekanntlich zumindest eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte Kamera stellt eine zeitliche Sequenz von Bildern des Umgebungsbereichs bereit, nämlich eine Vielzahl von Bildern pro Sekunde. Diese Bildsequenz wird dann an eine elektronische Auswerteeinrichtung übermittelt, welche die aufgenommenen Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Das Interesse gilt vorliegend der Detektion von Zielobjekten, die sich in dem abgebildeten Umgebungsbereich befinden. Wird ein Zielobjekt in den Bildern detektiert, so kann dieses Zielobjekt in der Sequenz von Bildern verfolgt werden. Zu diesem Zwecke wird im Stand der Technik üblicherweise die Methode des optischen Flusses verwendet, bei welcher charakteristische Merkmale, wie beispielsweise Kanten und/oder Ecken, in den Bildern detektiert werden und zu jedem charakteristischen Merkmal ein Flussvektor berechnet wird, der die Bewegungsrichtung und die Bewegungsgeschwindigkeit des charakteristischen Merkmals in der Sequenz von Bildern angibt.Camera systems for motor vehicles are already known from the prior art. As is known, a camera system includes at least one camera, which is mounted on the motor vehicle and detects a surrounding area of the motor vehicle. It is also possible to use a plurality of such cameras which capture the entire environment around the motor vehicle. The automotive-mounted camera provides a temporal sequence of images of the surrounding area, namely a plurality of images per second. This image sequence is then transmitted to an electronic evaluation device, which processes the recorded images and can provide various functionalities in the motor vehicle on the basis of the images. In the present case, the interest applies to the detection of target objects which are located in the imaged environment area. If a target object is detected in the images, this target object can be tracked in the sequence of images. For this purpose, the optical flow method is conventionally used in the prior art in which characteristic features such as edges and / or corners are detected in the images and a flux vector is calculated for each characteristic feature which determines the direction of movement and the speed of movement of the characteristic feature in the sequence of pictures.

Bei der Detektion von Zielobjekten in den Kamerabildern besteht eine große Herausforderung darin, zwischen charakteristischen Merkmalen zu unterscheiden, die zu unterschiedlichen Zielobjekten gehören. Um diese Unterscheidung zu gewährleisten, erfolgt üblicherweise eine so genannte Clusterbildung (Clustering), sodass mehrere charakteristische Merkmale zu einem Cluster zusammengefasst werden, der ein detektiertes Zielobjekt repräsentiert. Es sind dabei verschiedene Algorithmen bekannt, welche der Clusterbildung dienen. In diesem Zusammenhang ist beispielsweise eine hierarchische Clusteranalyse (hierarchical clustering) und im Rahmen der hierarchischen Clusteranalyse ein so genanntes divisives Clusterverfahren sowie ein agglomeratives Clusterverfahren bekannt. Beim divisiven Clusterverfahren werden alle charakteristischen Merkmale zunächst als zu einem Cluster gehörig betrachtet und dann schrittweise die bereits gebildeten Cluster in immer kleinere Cluster aufgeteilt. Das agglomerative Clusterverfahren beinhaltet wiederum, dass zunächst jedes charakteristische Merkmal einen Cluster bildet und dann schrittweise die bereits gebildeten Cluster zu immer größeren Clustern zusammengefasst werden. Abgesehen davon sind auch eine Vielzahl von anderen Clusterverfahren bekannt, die jedoch alle gemein haben, dass sie relativ viel Rechenaufwand benötigen und somit rechenstarke Auswerteeinrichtungen erfordern. Die bekannten Clusterverfahren arbeiten nämlich unmittelbar an den charakteristischen Merkmalen und werten diese aus, um die Merkmale in entsprechende Cluster aufzuteilen. Da die Anzahl der charakteristischen Merkmale jedoch üblicherweise relativ groß sein kann, wird eine entsprechend große Rechenleistung benötigt, um die Gruppierung der charakteristischen Merkmale zu ermöglichen. Solche Rechenleistung steht jedoch insbesondere bei eingebetteten Systemen (embedded systems) in Kraftfahrzeugen nur beschränkt zur Verfügung. Die bekannten Algorithmen haben außerdem den Nachteil, dass sie nicht auf alle Typen von charakteristischen Merkmalen angewendet werden können. Manche Typen von charakteristischen Merkmalen weisen nämlich Beschreibungsdaten bzw. so genannte Deskriptoren auf, bei denen die Verwendung der bekannten Clusterverfahren nicht möglich ist. Manche der bekannten Algorithmen erfordern außerdem a-priori Annahmen und sind somit entsprechend unpräzise.When detecting target objects in the camera images, a major challenge is to distinguish between characteristic features belonging to different target objects. In order to ensure this distinction, so-called clustering usually takes place, so that several characteristic features are combined to form a cluster that represents a detected target object. Various algorithms are known which serve for cluster formation. In this context, for example, a hierarchical cluster analysis (hierarchical clustering) and in the context of hierarchical cluster analysis, a so-called divisive cluster method and an agglomerative cluster method known. In the case of the divisive cluster method, all characteristic features are first regarded as belonging to a cluster, and then the already formed clusters are gradually divided into ever smaller clusters. In turn, the agglomerative clustering process involves first forming each characteristic feature into a cluster and then gradually clustering the already formed clusters into ever larger clusters. Apart from that, a variety of other clustering methods are known, but all have in common that they require a relatively large amount of computational effort and thus require high-performance evaluation. Namely, the known cluster methods work directly on the characteristic features and evaluate them in order to divide the features into corresponding clusters. However, since the number of characteristic features can usually be relatively large, a correspondingly large computing power is needed to allow the grouping of the characteristic features. However, such computing power is limited in particular in embedded systems in motor vehicles. The known algorithms also have the disadvantage that they can not be applied to all types of characteristic features. Namely, some types of characteristic features have descriptive data or so-called descriptors in which the use of the known clustering methods is not possible. Some of the known algorithms also require a priori assumptions and are thus correspondingly imprecise.

Es ist Aufgabe der Erfindung, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion eines Zielobjekts, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen.It is an object of the invention to provide a comparison with the prior art improved method for detecting a target object, a camera system and a motor vehicle.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a camera system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs. Das Bild wird durch eine Kamera des Kraftfahrzeugs erzeugt und mittels einer Auswerteeinrichtung verarbeitet. Die Auswerteeinrichtung extrahiert charakteristische Merkmale aus dem Bild. Die Auswerteeinrichtung detektiert dann das Zielobjekt abhängig von den charakteristischen Merkmalen. In dem Bild wird eine Vielzahl von Bildknoten definiert, und zu jedem Bildknoten wird eine lokale Merkmalsdichte der charakteristischen Merkmale um den jeweiligen Bildknoten bestimmt. Das Detektieren des Zielobjekts umfasst, dass mehrere der Bildknoten abhängig von der jeweiligen Merkmalsdichte zu einem Cluster zusammengefasst werden, welcher das Zielobjekt repräsentiert.A method according to the invention serves to detect a target object in an environmental region of a motor vehicle on the basis of an image of the surrounding area. The image is generated by a camera of the motor vehicle and processed by means of an evaluation device. The evaluation device extracts characteristic features from the image. The evaluation device then detects the target object depending on the characteristic features. In the image, a plurality of image nodes are defined, and to each image node a local feature density of the characteristic features around the respective image node is determined. The Detecting the target object comprises that several of the image nodes are combined into a cluster, which represents the target object, depending on the respective feature density.

Erfindungsgemäß ist somit vorgesehen, dass die charakteristischen Merkmale nur indirekt zu dem Cluster zusammengefasst werden, sodass nicht die charakteristischen Merkmale selbst, sondern die Bildknoten zu dem Cluster abhängig von der jeweiligen lokalen Merkmalsdichte zusammengefasst werden. Anstatt die charakteristischen Merkmale selbst zu einem Cluster zusammenzufassen, erfolgt also eine Clusterbildung aus den Bildknoten. Dies reduziert die benötigte Rechenleistung im Vergleich zum Stand der Technik erheblich. Die Clusterbildung erfolgt nämlich deterministisch, da die Anzahl und Position der Bildknoten fest vorgegeben sein kann. Dadurch wird außerdem die Genauigkeit der Clusterbildung im Vergleich zu stochastischen Verfahren erhöht. Die Reduktion des Rechenaufwands wird des Weiteren dadurch begünstigt, dass es sich bei dem vorgeschlagenen Verfahren um einen so genannten „Single-Pass”-Algorithmus bzw. „One-Pass”-Algorithmus handelt. Bei dem erfindungsgemäßen Verfahren brauchen die detektierten charakteristischen Merkmale nämlich nur ein einziges Mal berücksichtigt zu werden, um die Merkmalsdichte bei den jeweiligen Knoten zu bestimmen. Eine Zwischenspeicherung der charakteristischen Merkmale ist somit nicht erforderlich. Das erfindungsgemäße Verfahren kann somit besonders vorteilhaft bei einem eingebetteten System implementiert werden, was sich insbesondere bei Kraftfahrzeugen als vorteilhaft erweist.According to the invention, it is thus provided that the characteristic features are combined only indirectly to the cluster, so that not the characteristic features themselves but the image nodes to the cluster are combined depending on the respective local feature density. Instead of grouping the characteristic features themselves into a cluster, clustering therefore takes place from the image nodes. This considerably reduces the required computing power compared to the prior art. Namely, the clustering is deterministic since the number and position of the image nodes can be fixed. This also increases the accuracy of clustering compared to stochastic methods. The reduction of the computational effort is further facilitated by the fact that the proposed method is a so-called "single-pass" algorithm or "one-pass" algorithm. Namely, in the method according to the invention, the detected characteristic features only need to be considered once to determine the feature density at the respective nodes. Caching of the characteristic features is thus not required. The method according to the invention can thus be implemented particularly advantageously in an embedded system, which proves to be particularly advantageous in motor vehicles.

Es können im Allgemeinen verschiedene Methoden angewendet werden, um die charakteristischen Merkmale aus dem Bild zu extrahieren. Zum Beispiel können die so genannten Harris-Punkte detektiert werden oder es können auch weitere Methoden, wie SIFT, SURF, ORB oder dergleichen verwendet werden.In general, different methods can be used to extract the characteristic features from the image. For example, the so-called Harris points can be detected or other methods such as SIFT, SURF, ORB or the like can be used.

Allgemein gesagt können die Abstände zwischen benachbarten Bildknoten gleich sein, sodass die Bildknoten nach einem einheitlichen Raster definiert sind.Generally speaking, the distances between adjacent image nodes may be equal so that the image nodes are defined according to a uniform raster.

In einer Ausführungsform ist vorgesehen, dass zur Definition der Bildknoten zumindest eine Bildregion des Bilds in eine Vielzahl von Bildzellen unterteilt wird und die Bildknoten durch jeweilige Ecken der Bildzellen definiert werden. Die Bildzellen können dabei rechteckige, insbesondere quadratische, Zellen sein. Dadurch können Bildknoten bereitgestellt werden, welche in Reihen und Spalten geordnet sind, wodurch der Aufwand bei der Clusterbildung weiterhin reduziert wird. Alle Bildzellen weisen vorzugsweise die gleiche Größe auf, beispielsweise 10 × 10 Bildpunkte. Wird lediglich eine Region des Bilds verwendet, so können insgesamt beispielsweise 32 × 32 Bildzellen vorgesehen sein, die jeweils eine Größe von 10 × 10 Bildpunkten aufweisen. Die Erfindung ist jedoch nicht auf diese Größe beschränkt; die Anzahl und die Größe der Bildzellen kann grundsätzlich beliebig gewählt werden.In an embodiment, it is provided that, to define the image nodes, at least one image region of the image is subdivided into a multiplicity of image cells, and the image nodes are defined by respective corners of the image cells. The image cells can be rectangular, in particular square, cells. As a result, image nodes can be provided, which are arranged in rows and columns, whereby the complexity of clustering is further reduced. All image cells are preferably the same size, for example 10 × 10 pixels. If only one region of the image is used, a total of, for example, 32 × 32 image cells can be provided, each having a size of 10 × 10 pixels. However, the invention is not limited to this size; The number and size of the image cells can basically be chosen arbitrarily.

Die jeweilige Merkmalsdichte kann zu jedem Bildknoten durch eine Anzahl von charakteristischen Merkmalen angegeben werden, welche in einem vorbestimmten Bereich um den jeweiligen Bildknoten detektiert werden. Auf diese Art und Weise wird zu jedem Bildknoten ein Parameter definiert, nämlich die Anzahl von charakteristischen Merkmalen, welche diesem Bildknoten zugeordnet werden. Die Auswertung der Bildknoten ist somit besonders aufwandsarm, da jeder Bildknoten neben seiner Position im Bildrahmen lediglich durch die Anzahl der zugeordneten charakteristischen Merkmale definiert wird.The respective feature density can be specified for each image node by a number of characteristic features which are detected in a predetermined area around the respective image node. In this way, a parameter is defined for each image node, namely the number of characteristic features which are assigned to this image node. The evaluation of the image nodes is thus particularly cost-effective, since each image node is defined only by the number of associated characteristic features in addition to its position in the image frame.

Ganz allgemein kann vorgesehen sein, dass der Cluster aus zueinander benachbarten Bildknoten gebildet wird, deren Merkmalsdichte größer als ein vorgegebener Schwellwert ist. Die Clusterbildung kann somit ohne viel Aufwand vorgenommen werden. Es reicht lediglich aus, dass Bildknoten gefunden werden, deren Merkmalsdichte größer als der Schwellwert ist, und benachbarte Bildknoten, welche dieses Kriterium erfüllen, können zu einem gemeinsamen Cluster zusammengefasst werden. Der Schwellwert kann beispielsweise in einem Wertebereich von 1 bis 5 liegen, was bedeutet, dass nur diejenigen Bildknoten in Betracht gezogen werden, denen eine Anzahl von mindestens 1 bis 5 von charakteristischen Merkmalen zugeordnet sind.In general, it can be provided that the cluster is formed from mutually adjacent image nodes whose feature density is greater than a predefined threshold value. The clustering can thus be made without much effort. It is sufficient only that image nodes are found whose feature density is greater than the threshold, and adjacent image nodes that meet this criterion can be combined into a common cluster. The threshold value can be, for example, in a value range of 1 to 5, which means that only those image nodes are taken into account, to which a number of at least 1 to 5 of characteristic features are assigned.

Es hat sich als besonders vorteilhaft erwiesen, wenn zur Clusterbildung ein „Snake”-Algorithmus verwendet wird, um diejenigen Bildknoten aufzufinden, die zu einem gemeinsamen Cluster zusammengefasst werden sollen. Ein solcher „Snake”-Algorithmus wird nachfolgend näher beschrieben:
Die Bildknoten können in Reihen und Spalten derart geordnet sein, dass entlang von zwei orthogonalen Bildachsen des Bilds – beispielsweise entlang der x-Achse sowie der y-Achse des Bilds – jeweils mehrere Ketten von Bildknoten definiert sind. Das Zusammenfassen der mehreren Bildknoten zu dem Cluster kann beinhalten, dass ausgehend von einem Startknoten in dessen Kette (reihenweise oder spaltenweise) zunächst in eine erste Überprüfungsrichtung zu weiteren Bildknoten nacheinander übergegangen wird, um diese Bildknoten einen nach dem anderen daraufhin zu überprüfen, ob deren Merkmalsdichte einem vorbestimmten Kriterium genügt. Diejenigen Bildknoten, die das Kriterium erfüllen, werden zu dem Cluster zusammengefasst. Wird ein Bildknoten detektiert, bei welchem das Kriterium nicht erfüllt ist, so wird zu einer benachbarten Kette (benachbarten Reihe oder Spalte) übergegangen, um in dieser benachbarten Kette in eine zur ersten Überprüfungsrichtung entgegengesetzte zweite Überprüfungsrichtung die Bildknoten nacheinander auf das vorbestimmte Kriterium hin zu überprüfen. Die Bildknoten werden auf diese Art und Weise mäanderförmig einer nach dem anderen daraufhin überprüft, ob sie ein vorgegebenes Kriterium bezüglich der Merkmalsdichte erfüllen oder nicht. Diejenigen Bildpunkte, die das Kriterium erfüllen, bilden dann den Cluster. Eine solche Vorgehensweise hat den Vorteil, dass diejenigen Bildknoten, welche das Kriterium erfüllen, besonders schnell aufgefunden werden können. Dieser Algorithmus erweist sich also beispielsweise dann als vorteilhaft, wenn sich die abgebildete Szene relativ schnell ändert und sich das detektierte Zielobjekt beispielsweise relativ schnell bewegt. Des Weiteren kann die Dichte der Bildknoten im Bild und somit auch die Anzahl der Bildknoten variiert werden, ohne dass die Zuverlässigkeit des „Snake”-Algorithmus beeinflusst wird.It has proven to be particularly advantageous if a "snake" algorithm is used for clustering in order to find those image nodes which are to be combined into a common cluster. Such a "snake" algorithm is described in more detail below:
The image nodes may be arranged in rows and columns such that along two orthogonal image axes of the image-for example along the x-axis and the y-axis of the image-a plurality of image node chains are respectively defined. The merging of the plurality of image nodes into the cluster may involve, starting from a start node in its chain (rowwise or columnwise), first proceeding to a first check direction to further image nodes to check these image nodes one at a time to see if their feature density meets a predetermined criterion. Those image nodes that meet the criterion are grouped into the cluster. If an image node is detected in which the criterion is not met, then it goes to an adjacent chain (adjacent row or column) to be in this adjacent chain in a direction opposite to the first checking direction second checking direction to check the image nodes successively to the predetermined criterion. The image nodes are meandered one after the other in this way to see whether they meet a given criterion with respect to the feature density or not. Those pixels that fulfill the criterion then form the cluster. Such a procedure has the advantage that those image nodes which fulfill the criterion can be found particularly quickly. This algorithm thus proves to be advantageous, for example, if the imaged scene changes relatively quickly and the detected target object moves relatively quickly, for example. Furthermore, the density of the image nodes in the image and thus also the number of image nodes can be varied without affecting the reliability of the "snake" algorithm.

Das genannte Kriterium kann beispielsweise beinhalten, dass die Merkmalsdichte des jeweiligen Bildknotens größer als ein vorgegebener Schwellwert ist. Dies kann vorzugsweise der oben bereits genannte Schwellwert sein, welcher in einem Wertebereich von 1 bis 5 liegen kann.The named criterion may include, for example, that the feature density of the respective image node is greater than a predetermined threshold value. This may preferably be the above-mentioned threshold value, which may be in a value range of 1 to 5.

Der Startknoten, bei welchem der Algorithmus beginnt, kann grundsätzlich beliebig gewählt werden. Es erweist sich jedoch als vorteilhaft, wenn der Startknoten abhängig von der Merkmalsdichte und/oder abhängig von einer Position in dem Bild ausgewählt wird. Beispielsweise kann als Startknoten der Bildknoten mit der größten Merkmalsdichte oder der erste oder der letzte Bildknoten oder aber ein zufällig bestimmter Knoten gewählt werden.The starting node at which the algorithm starts can basically be chosen arbitrarily. However, it proves to be advantageous if the starting node is selected depending on the feature density and / or depending on a position in the image. For example, the image node with the largest feature density or the first or the last image node or else a randomly determined node can be selected as the starting node.

Auch die erste Überprüfungsrichtung kann abhängig von der Merkmalsdichte der dem Startknoten benachbarten Bildknoten bestimmt werden. Dies bedeutet insbesondere, dass abhängig von der Merkmalsdichte der dem Startknoten benachbarten Knoten bestimmt wird, ob der „Snake”-Algorithmus spaltenweise oder reihenweise durchgeführt werden soll. Auf diese Art und Weise kann die Suche nach den Bildknoten eines gemeinsamen Clusters weiterhin optimiert werden.The first checking direction can also be determined depending on the feature density of the image node adjacent to the start node. This means in particular that, depending on the feature density of the node adjacent to the start node, it is determined whether the "snake" algorithm should be performed column by column or row by row. In this way, the search for the image nodes of a common cluster can be further optimized.

Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs sowie eine elektronische Auswerteeinrichtung, die zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.A camera system according to the invention for a motor vehicle comprises a camera for providing an image of an environmental region of the motor vehicle and an electronic evaluation device which is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.A motor vehicle according to the invention, in particular a passenger car, comprises a camera system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be described with reference to a preferred embodiment and with reference to the accompanying drawings.

Es zeigen:Show it:

1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung; 1 a schematic representation of a motor vehicle with a camera system according to an embodiment of the invention;

2 bis 6 ein beispielhaftes Bild eines Umgebungsbereichs des Kraftfahrzeugs, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird; und 2 to 6 an exemplary image of a surrounding area of the motor vehicle, wherein a method according to an embodiment of the invention is explained in more detail; and

7 bis 10 schematische Darstellungen zur Erläuterung des Verfahrens. 7 to 10 schematic representations for explaining the method.

In 1 ist in schematischer Darstellung ein Kraftfahrzeug 1 gemäß einer Ausführungsform gezeigt. Das Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Es umfasst ein Kamerasystem 2, welches eine Kamera 3 aufweist. Das Kraftfahrzeug 1 befindet sich auf einer Straße 4. Auf der Straße 4 befindet sich außerdem ein Zielobjekt 5, das heißt ein Hindernis. Das Kamerasystem 2 ist beispielsweise ein Kollisionswarnungssystem und dient zum Warnen des Fahrers vor der Präsenz des Zielobjekts 5 in einem Umgebungsbereich 6 des Kraftfahrzeugs 1. Das Kamerasystem 2 dient also zur Detektion des Zielobjekts 5 und vorzugsweise auch zur Verfolgung des Zielobjekts 5 in dem Umgebungsbereich 6. Dabei werden mittels der Kamera 3 Bilder aufgenommen, welche dann mittels einer nicht näher dargestellten elektronischen Auswerteeinrichtung (Signalprozessor) verarbeitet werden. Die Auswerteeinrichtung empfängt die aufgenommenen Bilder und verarbeitet diese. Die Auswerteeinrichtung kann in die Kamera 3 integriert sein oder sie kann eine von der Kamera 3 separate Komponente des Kamerasystems 2 sein. Die Bilder können optional auch auf einem Display im Kraftfahrzeug 1 angezeigt werden, wobei die Detektion des Zielobjekts 5 beispielsweise dahingehend erfolgen kann, dass das Zielobjekt 5 in den Bildern mit einer Umrandung versehen wird.In 1 is a schematic representation of a motor vehicle 1 according to one embodiment. The car 1 is for example a passenger car. It includes a camera system 2 which is a camera 3 having. The car 1 is on a street 4 , In the street 4 There is also a target object 5 that is an obstacle. The camera system 2 is for example a collision warning system and serves to warn the driver of the presence of the target object 5 in a surrounding area 6 of the motor vehicle 1 , The camera system 2 thus serves to detect the target object 5 and preferably also for tracking the target object 5 in the surrounding area 6 , It will be using the camera 3 Pictures taken, which are then processed by means of an electronic evaluation device (signal processor), not shown. The evaluation device receives the recorded images and processes them. The evaluation device can be used in the camera 3 be integrated or you can take one from the camera 3 separate component of the camera system 2 be. The images can optionally also be displayed on a motor vehicle 1 are displayed, the detection of the target object 5 for example can be done so that the target object 5 in the pictures is provided with a border.

Beispielsweise weist die Kamera 3 einen Erfassungswinkel bzw. Öffnungswinkel auf, der in einem Wertebereich von 90° bis 200° liegen kann. Die Kamera 3 kann eine CMOS-Kamera oder eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche zur Detektion von Licht im sichtbaren Spektralbereich ausgebildet ist. Die Kamera 3 ist bevorzugt eine Video-Kamera, welche kontinuierlich eine Sequenz von Bildern bereitstellt. Die elektronische Auswerteeinrichtung verarbeitet dann die Bildsequenz in Echtzeit und kann anhand dieser Bildsequenz das Zielobjekt 5 detektieren und verfolgen.For example, the camera points 3 a detection angle or opening angle, which may be in a value range of 90 ° to 200 °. The camera 3 may be a CMOS camera or a CCD camera or any image capture device, which is designed for the detection of light in the visible spectral range. The camera 3 is preferably a video camera which continuously provides a sequence of images. The electronic evaluation device then processes the image sequence in real time and can use this image sequence, the target object 5 detect and track.

Im Ausführungsbeispiel gemäß 1 ist die Kamera 3 im Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Kamera 3 kann beispielsweise am Stoßfänger oder aber an einer Heckklappe angeordnet sein. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt; die Anordnung der Kamera 3 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise kann die Kamera 3 oder eine zusätzliche Kamera auch in einem Frontbereich des Kraftfahrzeugs 1 angeordnet und/oder beispielsweise in einen Seitenspiegel integriert sein. Es können auch mehrere Kameras 3 eingesetzt werden, welche jeweils einen separaten Umgebungsbereich 6 erfassen.In the embodiment according to 1 is the camera 3 in the rear area of the motor vehicle 1 arranges and detects a surrounding area 6 behind the motor vehicle 1 , The camera 3 can be arranged for example on the bumper or on a tailgate. However, the invention is not limited to such an arrangement of the camera 3 limited; the arrangement of the camera 3 may vary depending on the embodiment. For example, the camera 3 or an additional camera also in a front area of the motor vehicle 1 arranged and / or be integrated, for example, in a side mirror. There can also be several cameras 3 are used, each having a separate environment area 6 to capture.

In 2 ist eine Bildregion 7 eines insgesamt mit 8 bezeichneten Bilds dargestellt, welches durch die Kamera 3 bereitgestellt wurde. In dem Bild 8 ist der Umgebungsbereich 6 des Kraftfahrzeugs 1 abgebildet. Wie aus 2 hervorgeht, befinden sich in dem Umgebungsbereich insgesamt zwei Zielobjekte 5a, 5b, welche anhand des Bilds 8 durch die Auswerteeinrichtung detektiert werden sollen. Zu diesem Zwecke wird in der Bildregion 7 ein Netz 9 nach einem vorgegebenen Raster definiert, wie in 3 gezeigt. Durch dieses Netz 9 wird die Bildregion 7 in eine Vielzahl von quadratischen Bildzellen 10 gleicher Größe unterteilt, sodass Bildknoten 11 definiert werden, welche durch Ecken der Bildzellen 10 gebildet sind. Die Bildknoten 11 stellen somit Knoten des Netzes 9 dar. Im Ausführungsbeispiel wird beispielsweise ein Netz mit 32 × 32 Bildzellen 10 definiert, die jeweils eine Größe von 10 × 10 Bildpunkten aufweisen können.In 2 is a picture region 7 a total with 8th designated image, which by the camera 3 was provided. In the picture 8th is the environment area 6 of the motor vehicle 1 displayed. How out 2 As a result, there are a total of two target objects in the environment area 5a . 5b , which are based on the picture 8th to be detected by the evaluation device. For this purpose, in the picture region 7 a net 9 defined according to a given grid, as in 3 shown. Through this network 9 becomes the image region 7 into a variety of square picture cells 10 subdivided so that image nodes 11 which are defined by corners of the image cells 10 are formed. The picture nodes 11 thus make nodes of the network 9 In the exemplary embodiment, for example, a network with 32 × 32 image cells 10 defined, each of which may have a size of 10 × 10 pixels.

Die Bildknoten 11 sind somit in Spalten 12 sowie in Reihen 13 geordnet. Die Reihen 13 sind entlang der x-Achse des Bilds 8 definiert; die Spalten 12 sind entlang der y-Achse des Bilds 8 definiert. Die Spalten 12 und Reihen 13 bilden insgesamt Ketten von Bildknoten 11. Es gibt somit Ketten von Bildknoten 11 sowohl entlang der x-Achse als auch der y-Achse.The picture nodes 11 are thus in columns 12 as well as in rows 13 orderly. The rows 13 are along the x-axis of the picture 8th Are defined; the columns 12 are along the y-axis of the picture 8th Are defined. The columns 12 and rows 13 form a total of chains of image nodes 11 , There are thus chains of image nodes 11 both along the x-axis and the y-axis.

Zumindest in der Bildregion 7 bestimmt die Auswerteeinrichtung so genannte charakteristische Merkmale, welche aus dem Bild 8 extrahiert werden. Zur Bestimmung der charakteristischen Merkmale können die bereits aus dem Stand der Technik bekannten Methoden herangezogen werden. Zu jedem Bildknoten 11 wird dann eine lokale Merkmalsdichte der charakteristischen Merkmale bestimmt.At least in the picture region 7 determines the evaluation device so-called characteristic features, which from the picture 8th be extracted. To determine the characteristic features, the methods already known from the prior art can be used. To every picture node 11 Then a local feature density of the characteristic features is determined.

Die Bestimmung der Merkmalsdichte zu jedem Bildknoten 11 wird nun Bezug nehmend auf 7 näher erläutert: In 7 sind insgesamt vier Bildknoten 11a, 11b, 11c, 11d dargestellt, die sich in folgenden Positionen des Bilds 8 befinden: (xA, yA), (xB, yB), (xC, yC) und (xD, yD). Die Bildknoten 11a, 11b, 11c, 11d begrenzen also eine einzelne Bildzelle 10, deren Mittelpunkt in der Position (xP, yP) liegt. Es werden durch die Auswerteeinrichtung in der Bildzelle 10 insgesamt vier charakteristische Merkmale 14 detektiert, nämlich in folgenden Bildpositionen: (x1, y1), (x2, y2), (x3, y3) und (x4, y4). Um die lokale Merkmalsdichte zu bestimmen, wird die Bildzelle 10 in vier Quadranten Q1, Q2, Q3 und Q4 unterteilt, d. h. vier gleiche (hier quadratische) Bildbereiche. Wird ein charakteristisches Merkmal 14 im ersten Quadranten Q1 detektiert, so wird dieses charakteristische Merkmal 14 dem Bildknoten 11b zugeordnet. Wird ein charakteristisches Merkmal 14 im zweiten Quadranten Q2 detektiert, so wird dieses Merkmal 14 dem Bildknoten 11a zugeordnet. Diejenigen Merkmale 14, die sich im dritten Quadranten Q3 befinden, werden dem Bildknoten 11c zugeordnet. Schließlich werden Merkmale, die im vierten Quadranten Q4 liegen, dem Bildknoten 11d zugeordnet. Selbiges Verfahren wird für alle Bildzellen 10 durchgeführt. Mit anderen Worten werden diejenigen Merkmale 14, die in einem vorbestimmten Bereich um den jeweiligen Bildknoten 11 liegen, diesem Bildknoten 11 zugeordnet.The determination of the feature density for each image node 11 will now be referring to 7 explained in more detail: In 7 are a total of four image nodes 11a . 11b . 11c . 11d shown in the following positions of the picture 8th are: (xA, yA), (xB, yB), (xC, yC) and (xD, yD). The picture nodes 11a . 11b . 11c . 11d thus limit a single image cell 10 whose center is in the position (xP, yP). It will be through the evaluation in the image cell 10 a total of four characteristic features 14 detected, namely in the following image positions: (x1, y1), (x2, y2), (x3, y3) and (x4, y4). To determine the local feature density, the image cell becomes 10 divided into four quadrants Q1, Q2, Q3 and Q4, ie four equal (here quadratic) image areas. Becomes a characteristic feature 14 detected in the first quadrant Q1, this characteristic feature becomes 14 the image node 11b assigned. Becomes a characteristic feature 14 detected in the second quadrant Q2, this feature becomes 14 the image node 11a assigned. Those features 14 located in the third quadrant Q3 become the image node 11c assigned. Finally, features located in the fourth quadrant Q4 become the image node 11d assigned. The same procedure is used for all picture cells 10 carried out. In other words, those are characteristics 14 located in a predetermined area around the respective image node 11 lie, this picture node 11 assigned.

Bei jedem Bildknoten 11 wird die Anzahl der zugeordneten charakteristischen Merkmale 14 gezählt. Diese Anzahl von Merkmalen 14 stellt dann die Merkmalsdichte bei dem jeweiligen Bildknoten 11 dar. Zu jedem Bildknoten 11 wird also die Anzahl von zugeordneten charakteristischen Merkmalen 14 bestimmt.At every picture node 11 is the number of associated characteristic features 14 counted. This number of features 14 then sets the feature density at the respective image node 11 dar. To each image node 11 Thus, the number of associated characteristic features 14 certainly.

Es wird also insgesamt eine Dichtekarte der charakteristischen Merkmale 14 bereitgestellt, wie sie in 8 schematisch dargestellt ist. Zu jedem Bildknoten 11 ist hier die Anzahl von zugeordneten charakteristischen Merkmalen 14 angegeben. Um die beiden Zielobjekte 5a, 5b zu detektieren, wird nun eine Clusterbildung der Bildknoten 11 in Abhängigkeit von der jeweiligen Merkmalsdichte vorgenommen. Zu diesem Zwecke wird ein so genannter „Snake”-Algorithmus verwendet.So it is a total of a density map of the characteristic features 14 provided as they are in 8th is shown schematically. To every picture node 11 Here is the number of associated characteristic features 14 specified. To the two target objects 5a . 5b Now, clustering of the image nodes will be detected 11 depending on the respective feature density. For this purpose, a so-called "snake" algorithm is used.

Zunächst wird ein oder mehrere Startknoten für diesen Algorithmus ausgewählt. Dies kann beispielsweise derjenige Bildknoten 11 sein, welcher in einem bestimmten Bildbereich die größte Merkmalsdichte aufweist. Im Ausführungsbeispiel gemäß 8 werden insgesamt drei solche Startknoten 15a, 15b sowie 15c ausgewählt. Diese drei Startknoten 15a, 15b, 15c weisen lokal jeweils die maximale Merkmalsdichte auf.First, one or more seed nodes are selected for this algorithm. This can for example, that image node 11 which has the greatest feature density in a certain image area. In the embodiment according to 8th become a total of three such starting nodes 15a . 15b such as 15c selected. These three startup nodes 15a . 15b . 15c each have the maximum feature density locally.

Der „Snake”-Algorithmus wird nun für jeden Startknoten 15a, 15b, 15c separat ausgeführt.The "Snake" algorithm will now work for each startup node 15a . 15b . 15c executed separately.

Zur allgemeinen Erläuterung des Algorithmus wird nun auf 9 Bezug genommen: Hier ist der ausgewählte Startknoten mit 15 bezeichnet, die anderen Bildknoten mit 11. Ausgehend von dem Startknoten 15 wird zunächst eine erste Überprüfungsrichtung 16 bestimmt, in welcher die Überprüfung der Bildknoten 11 ausgehend von dem Startknoten 15 stattfinden soll. Diese Überprüfung kann reihenweise oder spaltenweise erfolgen. In der aktuellen Kette des Startknotens 15 werden nun die Bildknoten 11 (in der ersten Überprüfungsrichtung) einer nach dem anderen daraufhin überprüft, ob deren Merkmalsdichte einem vorgegebenen Kriterium entspricht, beispielsweise größer als ein vorgegebener Schwellwert ist, wie beispielsweise größer als 1. Wie in 9 dargestellt ist, wird schrittweise zu einem Bildknoten 11x übergegangen. Der Bildknoten 11x erfüllt das oben genannte Kriterium. Die Auswerteeinrichtung stellt jedoch fest, dass der nächste Bildknoten 11 in derselben Reihe 13a das oben genannte Kriterium nicht erfüllt. Es wird somit zu der nächsten benachbarten Reihe 13b übergegangen. Dabei wird in der nächsten Reihe 13b zunächst ein Bildknoten 11m überprüft, der in der nächsten Reihe 13b in einem vorgegebenen Abstand vom Knoten 11x liegt. Erfüllt dieser Bildknoten 11m das Kriterium nicht, so wird in eine zur ersten Überprüfungsrichtung 16 entgegengesetzte zweite Überprüfungsrichtung 17 verfahren, und es werden alle Bildknoten 11 in der nächsten Reihe 13b einer nach dem anderen auf das Kriterium hin überprüft. Im Ausführungsbeispiel gemäß 9 erfüllt erst ein Bildknoten 11n das Kriterium. Die Überprüfung in der zweiten Überprüfungsrichtung 17 erfolgt so lange, bis wieder ein Bildknoten 11 gefunden wird, welcher das Kriterium nicht erfüllt. Wie aus 9 hervorgeht, ist in der Reihe 13b der Bildknoten 11y der letzte Knoten, welcher das Kriterium erfüllt. Dann geht der Algorithmus zu einer weiteren Reihe 13c, in welcher das Verfahren wiederholt wird.For general explanation of the algorithm will now 9 Reference: Here is the selected start node with 15 denotes the other image nodes with 11 , Starting from the start node 15 first becomes a first verification direction 16 determines in which the review of image nodes 11 starting from the start node 15 to be held. This check can be done in rows or columns. In the current chain of the starting node 15 now become the image nodes 11 (in the first checking direction) one after the other then checks whether their feature density corresponds to a predetermined criterion, for example, is greater than a predetermined threshold, such as greater than 1. As in 9 is gradually becoming an image node 11x passed. The picture node 11x meets the above criterion. However, the evaluation device determines that the next image node 11 in the same row 13a does not fulfill the above criterion. It thus becomes the next adjacent row 13b passed. This will be in the next row 13b first an image node 11m checked in the next row 13b at a given distance from the node 11x lies. Meets this image node 11m the criterion does not, then becomes in the first direction of verification 16 opposite second direction of verification 17 procedure, and it will be all image nodes 11 in the next row 13b one by one, checked for the criterion. In the embodiment according to 9 first meets a picture node 11n the criterion. The check in the second verification direction 17 takes place until a picture node again 11 is found, which does not meet the criterion. How out 9 shows is in the series 13b the image node 11y the last node that meets the criterion. Then the algorithm goes to another series 13c in which the process is repeated.

Ausgehend von dem Startknoten 15 wird der „Snake”-Algorithmus auch in die entgegengesetzte Richtung durchgeführt. Auch hier erfolgt die Überprüfung gemäß 9 reihenweise.Starting from the start node 15 the "snake" algorithm is also performed in the opposite direction. Again, the review is carried out according to 9 rows.

Die in 9 dargestellten Bildknoten 11, welche das Kriterium erfüllen, werden dann zu einem Cluster 18 zusammengefasst.In the 9 represented image nodes 11 which satisfy the criterion then become a cluster 18 summarized.

Mit erneutem Bezug auf 8, in welcher die Szene entsprechend dem Bild aus 2 gezeigt ist, werden insgesamt drei Cluster 18a, 18b, 18c detektiert. Zur Detektion des ersten Clusters 18a werden die Bildknoten 11 ausgehend von dem Startknoten 15a reihenweise überprüft. Die Auswahl der ersten Überprüfungsrichtung 16 kann dabei abhängig von der Merkmalsdichte derjenigen Bildknoten 11 vorgenommen werden, die zum Startknoten 15a benachbart sind. Wie aus 8 hervorgeht, ist die Merkmalsdichte bei den zum Startknoten 15a benachbarten Bildknoten 11 maximal gleich 7, nämlich bei dem rechten Bildknoten 11. Aus diesem Grund wird die erste Überprüfungsrichtung 16 horizontal gewählt. Es wird also reihenweise überprüft, ob die Bildknoten 11 das oben genannte Kriterium erfüllen.With renewed reference to 8th , in which the scene according to the picture 2 shown are a total of three clusters 18a . 18b . 18c detected. For detection of the first cluster 18a become the picture nodes 11 starting from the start node 15a checked in rows. The selection of the first verification direction 16 may depend on the feature density of those image nodes 11 be made to the start node 15a are adjacent. How out 8th is apparent, the feature density at the to the start node 15a neighboring picture nodes 11 maximum equal 7 namely at the right picture node 11 , For this reason, the first verification direction becomes 16 chosen horizontally. It is thus checked row by row, whether the image nodes 11 meet the above criterion.

Bei dem zweiten Startknoten 15b wird als erste Überprüfungsrichtung 16 eine vertikale Richtung gewählt. Bei dem zweiten Cluster 18b werden die Bildknoten 11 also spaltenweise überprüft. Bei dem dritten Cluster 18c wiederum erfolgt die Überprüfung reihenweise.At the second start node 15b will be the first review direction 16 a vertical direction is chosen. At the second cluster 18b become the picture nodes 11 so checked column by column. At the third cluster 18c Again, the review is done in rows.

Werden mehrere Cluster 18a, 18b, 18c gefunden, wie in 8 gezeigt, so können benachbarte Cluster auch zu einem Gesamtcluster zusammengefasst werden, wenn vorgegebene Kriterien erfüllt sind. Diese Kriterien können beispielsweise die Größe der Cluster 18 und/oder die Merkmalsdichte innerhalb des jeweiligen Clusters 18 und/oder die Position innerhalb der Bildregion 7 und/oder eine Entfernung zwischen zwei benachbarten Clustern 18 und/oder die Geschwindigkeit der Cluster 18, mit welcher sich der jeweilige Cluster 18 über die Bildsequenz bewegt, und/oder die Farbe der Bildpunkte beinhalten. Im Ausführungsbeispiel gemäß 8 werden die beiden Cluster 18a und 18b zu einem gemeinsamen Cluster zusammengefasst. Dieser Gesamtcluster 18a, 18b entspricht dann dem Zielobjekt 5a gemäß 2. Der Cluster 18c entspricht dem Zielobjekt 5b gemäß 2.Become several clusters 18a . 18b . 18c found, as in 8th shown, neighboring clusters can also be combined into a total cluster, if given criteria are met. For example, these criteria may be the size of the clusters 18 and / or the feature density within the respective cluster 18 and / or the position within the image region 7 and / or a distance between two adjacent clusters 18 and / or the speed of the clusters 18 with which the respective cluster 18 moving over the image sequence, and / or include the color of the pixels. In the embodiment according to 8th become the two clusters 18a and 18b combined into a common cluster. This total cluster 18a . 18b then corresponds to the target object 5a according to 2 , The cluster 18c corresponds to the target object 5b according to 2 ,

Die Zusammenfassung der beiden Cluster 18a, 18b zu einem gemeinsamen Cluster ist des Weiteren in 10 veranschaulicht. Die Bildknoten 11, die zum gemeinsamen Cluster 18a, 18b gehören, werden mit „1” markiert. Die Bildknoten 11 des zweiten Clusters 18c werden mit „2” bezeichnet.The summary of the two clusters 18a . 18b to a common cluster is further in 10 illustrated. The picture nodes 11 leading to the common cluster 18a . 18b belong are marked with "1". The picture nodes 11 of the second cluster 18c are called "2".

Mit erneutem Bezug auf 8 sei erwähnt, dass die Anzahl der gefundenen Cluster 18a, 18b, 18c auch von dem oben genannten Schwellwert und somit von dem Kriterium abhängig ist, welches dem „Snake”-Algorithmus zugrunde gelegt wird. Wird der Schwellwert auf null gesetzt, so wird der Algorithmus statt der separaten Cluster 18a, 18b einen einzigen Cluster finden, der dem Gesamtcluster 18a, 18b entspricht. Die Auswahl des Schwellwerts stellt somit einen Kompromiss zwischen der Größe der detektierten Cluster 18 einerseits und möglichen Fehlern bei der Zusammenfassung von Clustern 18 andererseits dar. Die Zusammenfassung von mehreren Bildclustern 18 zu einem gemeinsamen Cluster wird deshalb vorzugsweise nachträglich durchgeführt, nachdem der Algorithmus mehrere Cluster 18 gefunden hat.With renewed reference to 8th It should be mentioned that the number of clusters found 18a . 18b . 18c also depends on the above-mentioned threshold value and thus on the criterion which is based on the "snake" algorithm. If the threshold is set to zero, then the algorithm instead of the separate cluster 18a . 18b find a single cluster belonging to the overall cluster 18a . 18b equivalent. The selection of the threshold thus represents a compromise between the size of the detected clusters 18 on the one hand and possible errors when clustering 18 on the other hand. The summary of several image clusters 18 to a common cluster is therefore preferably retrofitted after the algorithm has multiple clusters 18 has found.

Wie in 5 dargestellt ist, kann um den gemeinsamen Cluster 18a, 18b eine Umrandung 19 (so genannte „bounding box”) definiert werden. Diese Umrandung 19 repräsentiert dann im digitalen Bereich das Zielobjekt 5a. Eine entsprechende Umrandung 19 kann auch für den Cluster 18c definiert werden und repräsentiert dann das Zielobjekt 5b. Die beiden Umrandungen 19 sind in 6 ohne die Cluster 18 dargestellt.As in 5 can be shown around the common cluster 18a . 18b a border 19 (so-called "bounding box"). This border 19 then represents the target object in the digital domain 5a , A corresponding border 19 can also be for the cluster 18c be defined and then represents the target object 5b , The two borders 19 are in 6 without the clusters 18 shown.

Claims

Method for detecting a target object ( 5 ) in a surrounding area ( 6 ) of a motor vehicle ( 1 ) based on a picture ( 8th ) of the surrounding area ( 6 ), which by means of a camera ( 3 ) of the motor vehicle ( 1 ) is provided, wherein by means of an evaluation device of the motor vehicle ( 1 ) characteristic features ( 14 ) in the picture ( 8th ) and the target object ( 5 ) depending on the characteristic features ( 14 ) is detected, characterized in that in the image ( 8th ) a plurality of image nodes ( 11 ) and that to each image node ( 11 ) a local feature density of the characteristic features ( 14 ) around the respective image node ( 11 ), wherein the detection of the target object ( 5 ) comprises that several of the image nodes ( 11 ) depending on the respective feature density to a cluster ( 18 ), which the target object ( 5 ).

Method according to claim 1, characterized in that defining the image nodes ( 11 ) comprises at least one image region ( 7 ) of the picture ( 8th ) into a plurality of, in particular rectangular, preferably square, image cells ( 10 ) and the image nodes ( 11 ) through respective corners of the image cells ( 10 ) To be defined.

Method according to claim 1 or 2, characterized in that for each image node ( 11 ) the respective feature density by a number of characteristic features ( 14 ), which in a predetermined area around the respective image node ( 11 ) are detected.

Method according to one of the preceding claims, characterized in that the cluster ( 18 ) from adjacent image nodes ( 11 ) is formed whose feature density is greater than a predetermined threshold value.

Method according to one of the preceding claims, characterized in that the image nodes ( 11 ) in rows ( 13 ) and columns ( 12 ) are arranged such that along two orthogonal image axes (x, y) of the image ( 8th ) several chains of image nodes ( 11 ), the merging of the plurality of image nodes ( 11 ) to the cluster ( 18 ) comprises, starting from a start node ( 15 ) in its chain ( 13a ) first in a first verification direction ( 16 ) to further image nodes ( 11 ) is transferred one after the other and these image nodes ( 11 ) one after the other to check whether their feature density satisfies a predetermined criterion, and after finding an image node ( 11 ) that does not satisfy the predetermined feature density criterion, to an adjacent chain (FIG. 13b ) is moved to in this adjacent chain ( 13b ) in a first direction of verification ( 16 ) opposite second checking direction ( 17 ) the image nodes ( 11 ) to check successively for the predetermined criterion, whereby to the cluster ( 18 ) those image nodes ( 11 ) that meet the predetermined criterion.

Method according to claim 5, characterized in that the predetermined criterion comprises that the feature density of the respective image node ( 11 ) is greater than a predetermined threshold.

Method according to claim 5 or 6, characterized in that the starting node ( 15 ) depending on the feature density and / or depending on a position in the image ( 8th ) is selected.

Method according to one of Claims 5 to 7, characterized in that the first checking direction ( 16 ) depending on the feature density of the start node ( 15 ) adjacent image nodes ( 11 ) is determined.

Camera system ( 2 ) for a motor vehicle ( 1 ), with a camera ( 3 ) for providing an image ( 8th ) of a surrounding area ( 6 ) of the motor vehicle ( 1 ), and with an evaluation device, which is designed to carry out a method according to one of the preceding claims.

Motor vehicle ( 1 ) with a camera system ( 2 ) according to claim 9.