DE102013021840A1

DE102013021840A1 - Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle

Info

Publication number: DE102013021840A1
Application number: DE102013021840.3A
Authority: DE
Inventors: Lowik Chanussot; Brouk Wedajo; Julien Rebut
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2013-12-21
Filing date: 2013-12-21
Publication date: 2015-06-25
Also published as: WO2015090691A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs (1), mit den Schritten:
– Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs (1) mittels einer Kamera des Fahrerassistenzsystems,
– Detektieren einer Mehrzahl von Objekten (6) in dem Bild durch eine Bildverarbeitungseinrichtung,
– zu jedem Objekt (6) Ermitteln zumindest einer Eigenschaft des jeweiligen Objekts (6) anhand des Bilds durch die Bildverarbeitungseinrichtung,
– Erzeugen eines Umgebungsmodells (11) zu dem Umgebungsbereich des Kraftfahrzeugs (1) aus den Eigenschaften der Objekte (6) unter Verwendung eines vorbestimmten Optimierungsalgorithmus durch die Bildverarbeitungseinrichtung,
– Vergleichen der Eigenschaften der Objekte (6) mit dem Umgebungsmodell (11) durch die Bildverarbeitungseinrichtung und
– Detektieren von fehlerhaft ermittelten Eigenschaften anhand des Vergleichs.The invention relates to a method for operating a driver assistance system of a motor vehicle (1), comprising the steps:
Providing an image of a surrounding area of the motor vehicle (1) by means of a camera of the driver assistance system,
Detecting a plurality of objects (6) in the image by an image processing device,
For each object (6), determining at least one property of the respective object (6) on the basis of the image by the image processing device,
Generating an environment model (11) to the surrounding area of the motor vehicle (1) from the properties of the objects (6) using a predetermined optimization algorithm by the image processing device,
Comparing the properties of the objects (6) with the environment model (11) by the image processing device and
- Detecting incorrectly determined properties based on the comparison.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird und eine Mehrzahl von Objekten in dem Bild durch eine Bildverarbeitungseinrichtung detektiert wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.The invention relates to a method for operating a driver assistance system of a motor vehicle, in which an image of an environmental region of the motor vehicle is provided by means of a camera of the driver assistance system and a plurality of objects in the image is detected by an image processing device. The invention also relates to a driver assistance system, which is designed to carry out such a method, and to a motor vehicle having such a driver assistance system.

Vorliegend richtet sich das Interesse insbesondere auf die Verfolgung von Zielfahrzeugen mit Hilfe einer Frontkamera eines Kraftfahrzeugs. Frontkameras für Kraftfahrzeuge sind dabei bereits aus dem Stand der Technik bekannt und erfassen üblicherweise Bilder eines Umgebungsbereichs vor dem Kraftfahrzeug. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern Zielobjekte detektiert. Dazu werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Um ein Zielobjekt zu detektieren, können zunächst so genannte charakteristische Punkte aus dem Bild extrahiert und anhand dieser charakteristischen Punkte dann ein Zielobjekt identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: AdaBoost und HOG-SVM.In the present case, the interest is directed in particular to the tracking of target vehicles with the aid of a front camera of a motor vehicle. Front cameras for motor vehicles are already known from the prior art and usually capture images of a surrounding area in front of the motor vehicle. This sequence of images is processed by means of an electronic image processing device which detects target objects in the images. For this, the images are subjected to an object detection algorithm. Such detection algorithms are already state of the art and are based, for example, on pattern recognition. In order to detect a target object, so-called characteristic points can first be extracted from the image, and then a target object can be identified on the basis of these characteristic points. As an example, the following algorithms can be mentioned: AdaBoost and HOG-SVM.

Wird ein Zielobjekt in einem Bild der Kamera identifiziert, so kann dieses Zielobjekt auch über die nachfolgenden Bilder der Sequenz hinweg verfolgt werden. Das Zielobjekt wird dabei in jedem Bild detektiert, wobei die Detektion in dem aktuellen Bild der Detektion aus dem vorherigen Bild zugeordnet werden muss. Durch das Verfolgen des Zielobjekts sind die aktuelle Position des Zielobjekts in dem Bildrahmen und somit auch die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs stets bekannt. Als Verfolgungsalgorithmus kann dabei beispielsweise die Lucas-Kanade-Methode genutzt werden.If a target object is identified in an image of the camera, then this target object can also be tracked over the subsequent images of the sequence. The target object is detected in each image, whereby the detection in the current image must be assigned to the detection from the previous image. By tracking the target object, the current position of the target object in the image frame and thus also the current relative position of the target object with respect to the motor vehicle are always known. For example, the Lucas-Kanade method can be used as the tracking algorithm.

Ein genanntes Kamerasystem mit einer Frontkamera kann als Kollisionswarnungssystem genutzt werden, mittels welchem der Fahrer vor einer Kollisionsgefahr mit dem Zielobjekt gewarnt werden kann. Ein solches Kollisionswarnungssystem kann beispielsweise Warnsignale ausgeben, um den Fahrer über die detektierte Kollisionsgefahr akustisch und/oder optisch und/oder haptisch zu informieren. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem genutzt werden, welches dazu ausgelegt ist, aufgrund der detektierten Kollisionsgefahr automatische Bremseingriffe des Kraftfahrzeugs vorzunehmen. Als Maß für die aktuelle Kollisionsgefahr kann dabei beispielsweise die so genannte Zeit bis zur Kollision (time to; collision) genutzt werden, das heißt eine Zeitdauer, welche durch das Kraftfahrzeug voraussichtlich benötigt wird, um das Zielobjekt zu erreichen. Diese Zeit bis zur Kollision kann aus der eingeschätzten Entfernung des Zielobjekts sowie aus der relativen Geschwindigkeit berechnet werden.A named camera system with a front camera can be used as a collision warning system, by means of which the driver can be warned of a risk of collision with the target object. Such a collision warning system can output warning signals, for example, in order to inform the driver acoustically and / or visually and / or haptically about the detected risk of collision. Additionally or alternatively, the camera system can also be used as an automatic brake assist system, which is designed to make automatic braking interventions of the motor vehicle on the basis of the detected risk of collision. As a measure of the current risk of collision, for example, the so-called time to collision (time to collision) can be used, that is, a period of time, which is expected to be required by the motor vehicle to reach the target object. This time to collision can be calculated from the estimated distance of the target object as well as from the relative velocity.

Die bekannten Detektionsalgorithmen, welche zur Detektion von Zielfahrzeugen im Bild dienen, geben als Ergebnis der Detektion üblicherweise einen rechteckigen Begrenzungskasten (Bounding Box) aus, welcher das detektierte Zielfahrzeug umgibt. In diesem Begrenzungskasten ist das detektierte Zielfahrzeug also abgebildet, wobei der Begrenzungskasten die aktuelle Position sowie die Breite und die Höhe des Zielfahrzeugs in dem Bild angibt. Als nachteilig an den bekannten Detektionsalgorithmen (beispielsweise AdaBoost und HOG-SVM) kann der Umstand angesehen werden, dass der Begrenzungskasten die aktuelle Position des Zielfahrzeugs in dem Bild sowie die Breite und die Höhe des Zielfahrzeugs nur ungenau angibt. Die Größe des Begrenzungskastens kann auch über die Sequenz der Bilder hinweg variieren, was wiederum die Genauigkeit bei der Verfolgung des Zielfahrzeugs über die Bilder hinweg reduziert. Entsprechend kann somit auch die relative Position der Zielobjekte relativ zum Kraftfahrzeug nur ungenau bestimmt werden.The known detection algorithms, which serve for the detection of target vehicles in the image, as a result of the detection usually output a rectangular bounding box which surrounds the detected target vehicle. In this bounding box, the detected target vehicle is thus depicted, wherein the bounding box indicates the current position as well as the width and the height of the target vehicle in the image. A disadvantage of the known detection algorithms (for example AdaBoost and HOG-SVM) can be regarded as the circumstance that the bounding box indicates the current position of the target vehicle in the image as well as the width and the height of the target vehicle only inaccurately. The size of the bounding box may also vary across the sequence of images, which in turn reduces the accuracy of tracking the target vehicle across the images. Accordingly, therefore, the relative position of the target objects relative to the motor vehicle can be determined only inaccurate.

Aus dem Dokument WO 2005/037619 A1 ist ein Verfahren zum Einleiten einer Notbremsung bekannt, bei welchem die Umgebung eines Fahrzeugs erfasst wird und eine Objekterkennung durchgeführt und bei Eintritt eines vorgegebenen Ereignisses eine Notbremsung ausgelöst wird. Es wird ein Referenzobjekt vorgegeben, und die erkannten Objekte werden mit dem Referenzobjekt verglichen. Es werden nur Objekte für die Bewertung des Ereigniseintritts berücksichtigt, die größer sind als das Referenzobjekt.From the document WO 2005/037619 A1 a method for initiating an emergency braking is known in which the environment of a vehicle is detected and performed an object detection and when a predetermined event emergency braking is triggered. A reference object is specified, and the detected objects are compared with the reference object. Only objects that are greater than the reference object are considered for the evaluation of the event occurrence.

Ein Kollisionswarnungssystem für ein Kraftfahrzeug ist des Weiteren aus dem Dokument US 8 412 448 B2 bekannt. Es wird hier ein dreidimensionales Modell einer Fahrzeugumgebung aus Bildern erzeugt, welche mittels einer Frontkamera bereitgestellt werden.A collision warning system for a motor vehicle is further from the document US Pat. No. 8,412,448 B2 known. Here, a three-dimensional model of a vehicle environment is generated from images provided by means of a front camera.

Ein Objekterkennungsverfahren, bei welchem ein Histogramm verwendet wird, ist aus dem Dokument US 8 121 348 B2 bekannt.An object recognition method in which a histogram is used is from the document US 8 121 348 B2 known.

Wie bereits ausgeführt, sind die bekannten Algorithmen zur Detektion von Objekten anhand eines Bilds relativ ungenau, und die Objekterkennung ist mit einem relativ großen Fehler behaftet. Diese Fehler betreffen insbesondere die Bestimmung der Position der Objekte relativ zum Kraftfahrzeug. So kann es nämlich beispielsweise vorkommen, dass nur ein Teilbereich eines Zielobjekts – beispielsweise eines Zielfahrzeugs – detektiert wird, was dann dazu führt, dass durch das System eine falsche Position dieses Zielobjekts relativ zum Kraftfahrzeug angenommen wird. Eine besondere Herausforderung besteht nun darin, solche Detektionsfehler zu erkennen und nach Möglichkeit auch zu korrigieren.As already stated, the known algorithms for the detection of objects based on an image are relatively inaccurate, and the object recognition is associated with a relatively large error. These errors relate in particular to the determination of Position of the objects relative to the motor vehicle. Thus, it may happen, for example, that only a partial area of a target object-for example of a target vehicle-is detected, which then leads to the system assuming a wrong position of this target object relative to the motor vehicle. A particular challenge now is to detect such detection errors and, if possible, to correct them.

Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung Detektionsfehler bei der Detektion der Objekte besonders zuverlässig erkannt und das Fahrerassistenzsystem somit zuverlässig betrieben werden kann.It is an object of the invention to provide a solution as detected in a method of the type mentioned detection error in the detection of objects particularly reliable and thus the driver assistance system can be operated reliably.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Mittels einer Kamera des Fahrerassistenzsystems wird ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Durch eine Bildverarbeitungseinrichtung wird dann eine Mehrzahl von Objekten in dem Bild detektiert, nämlich insbesondere unter Verwendung eines Detektionsalgorithmus. Es kann dabei grundsätzlich ein beliebiger Detektionsalgorithmus verwendet werden, so dass vorliegend auf den Detektionsalgorithmus nicht näher eingegangen wird. Beispielsweise kann ein Detektionsalgorithmus eingesetzt werden, welcher zu jedem detektierten Objekt einen sogenannten Begrenzungskasten (bounding box) ausgibt, in welchem das detektierte Objekt abgebildet ist. Zu jedem Objekt ermittelt die Bildverarbeitungseinrichtung zumindest eine Eigenschaft des jeweiligen Objekts anhand des Bilds. Als Eigenschaft kann beispielsweise die Position des jeweiligen Objekts relativ zum Kraftfahrzeug ermittelt werden. Die Bildverarbeitungseinrichtung erzeugt dann ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs aus den Eigenschaften der detektierten Objekte. Das Umgebungsmodell wird dabei unter Verwendung eines vorbestimmten Optimierungsalgorithmus erzeugt, beispielsweise eines Fehlerminimierungsalgorithmus, welcher die Fehler zwischen dem erzeugten Umgebungsmodell und den Eigenschaften der Objekte minimiert. Mit diesem optimierten Umgebungsmodell werden dann die ursprünglich ermittelten Eigenschaften der Objekte verglichen, und anhand des Vergleichs detektiert die Bildverarbeitungseinrichtung fehlerhaft ermittelte Eigenschaften.An inventive method is used to operate a driver assistance system of a motor vehicle. By means of a camera of the driver assistance system, an image of a surrounding area of the motor vehicle is provided. An image processing device then detects a plurality of objects in the image, namely in particular using a detection algorithm. In principle, an arbitrary detection algorithm can be used, so that in the present case the detection algorithm will not be discussed in greater detail. For example, a detection algorithm can be used which outputs for each detected object a so-called bounding box, in which the detected object is imaged. For each object, the image processing device determines at least one property of the respective object based on the image. As a property, for example, the position of the respective object relative to the motor vehicle can be determined. The image processing device then generates an environment model to the surrounding area of the motor vehicle from the properties of the detected objects. The environment model is thereby generated using a predetermined optimization algorithm, for example an error minimization algorithm, which minimizes the errors between the generated environment model and the properties of the objects. The originally determined properties of the objects are then compared with this optimized environment model, and based on the comparison, the image processing device detects incorrectly determined properties.

Um Fehler bei der Detektion der Objekte bzw. beim Ermitteln der zumindest einen Eigenschaft der Objekte (zum Beispiel der relativen Position) zu erkennen, wird demnach erfindungsgemäß vorgeschlagen, ein globales Umgebungsmodell des Kraftfahrzeugs unter Verwendung eines vorbestimmten Optimierungsalgorithmus (zum Beispiel des RANSAC-Algorithmus) bereitzustellen und die ursprünglich ermittelten Eigenschaften der Objekte mit diesem Umgebungsmodell zu vergleichen. Diejenigen Eigenschaften, welche sich von dem Umgebungsmodell in einem bestimmten Ausmaß unterscheiden, werden als Ausreißer und somit als fehlerhaft ermittelte Eigenschaften interpretiert und können optional korrigiert werden. Das erfindungsgemäße Verfahren hat somit insgesamt den Vorteil, dass die fehlerhaft ermittelten Eigenschaften und somit die fehlerhaften Detektionen besonders zuverlässig erkannt und gegebenenfalls auch korrigiert werden können. Das Fahrerassistenzsystem kann somit besonders zuverlässig betrieben werden, da Applikationsfehler aufgrund von fehlerhaft ermittelten Eigenschaften der Objekte verhindert werden können. So kann beispielsweise verhindert werden, dass der Fahrer des Kraftfahrzeugs unnötig durch das Fahrerassistenzsystems gewarnt oder das Kraftfahrzeug unnötig automatisch abgebremst wird, obwohl tatsächlich keine Kollisionsgefahr besteht. Andererseits können auch Situationen verhindert werden, in denen keine Warnung durch das System oder kein automatisches Abbremsen des Fahrzeugs trotz einer tatsächlich gegebenen Kollisionsgefahr erfolgt.In order to detect errors in the detection of the objects or in determining the at least one property of the objects (for example the relative position), it is therefore proposed according to the invention to generate a global environment model of the motor vehicle using a predetermined optimization algorithm (for example the RANSAC algorithm). and compare the originally determined properties of the objects with this environment model. Those properties which differ from the environment model to a certain extent are interpreted as outliers and thus as incorrectly determined properties and can optionally be corrected. The method according to the invention thus has the overall advantage that the incorrectly determined properties and thus the erroneous detections can be detected particularly reliably and optionally also corrected. The driver assistance system can thus be operated particularly reliably, since application errors due to incorrectly determined properties of the objects can be prevented. Thus, it can be prevented, for example, that the driver of the motor vehicle is unnecessarily warned by the driver assistance system or the motor vehicle is unnecessarily automatically braked, although in fact there is no danger of collision. On the other hand, it is also possible to prevent situations in which no warning by the system or no automatic braking of the vehicle takes place despite a collision danger that is actually present.

Die Kamera ist vorzugsweise eine Frontkamera, welche insbesondere hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung bzw. in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors verlaufende Kameraachse parallel zur Fahrzeuglängsachse orientiert ist.The camera is preferably a front camera, which is arranged in particular behind a windshield of the motor vehicle, for example, directly on the windshield in the interior of the motor vehicle. The front camera then detects the environment in the direction of travel or in the vehicle longitudinal direction in front of the motor vehicle. This may in particular mean that a camera axis extending perpendicular to the plane of the image sensor is oriented parallel to the vehicle longitudinal axis.

Die Kamera ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern (frames) pro Sekunde bereitstellen kann. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein.The camera is preferably a video camera which can provide a plurality of frames per second. The camera can be a CCD camera or a CMOS camera.

Das Kamerasystem kann ein Kollisionswarnungssystem sein, mittels welchem ein Gefahrengrad bezüglich einer Kollision des Kraftfahrzeugs mit dem Zielfahrzeug bestimmt und abhängig von dem aktuellen Gefahrengrad ein Warnsignal ausgegeben wird, mit welchem die Kollisionsgefahr dem Fahrer signalisiert wird. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem Bremseingriffe automatisch in Abhängigkeit von dem Gefahrengrad durchgeführt werden. Als Gefahrengrad kann dabei beispielsweise die Zeit bis zur Kollision und/oder eine Entfernung des Zielfahrzeugs von dem Kraftfahrzeug verwendet werden.The camera system may be a collision warning system, by means of which a degree of danger with respect to a collision of the motor vehicle with the target vehicle is determined and depending on the current degree of danger a warning signal is output, with which the risk of collision is signaled to the driver. Additionally or alternatively, the camera system can also be designed as an automatic brake assist system, by means of which braking interventions are automatically performed as a function of the degree of danger. When Threshold can be used, for example, the time to collision and / or removal of the target vehicle of the motor vehicle.

Wie bereits ausgeführt, kann als Eigenschaft der Objekte eine Position der jeweiligen Objekte relativ zum Kraftfahrzeug ermittelt werden. Dies bedeutet, dass zu jedem detektierten Objekt die jeweilige Position relativ zum Kraftfahrzeug ermittelt wird und das Umgebungsmodell aus den relativen Positionen der Objekte erzeugt wird. Somit können Fehler in der Ermittlung der relativen Positionen der Objekte detektiert und optional dann korrigiert werden.As already stated, a position of the respective objects relative to the motor vehicle can be determined as a property of the objects. This means that for each detected object the respective position relative to the motor vehicle is determined and the environment model is generated from the relative positions of the objects. Thus, errors in determining the relative positions of the objects can be detected and optionally then corrected.

Die relative Position der Objekte bezüglich des Kraftfahrzeugs kann beispielsweise in Abhängigkeit von einer abgeschätzten Breite und/oder des ermittelten Typs des jeweiligen Objekts bestimmt werden. Die Schätzung der relativen Position der Objekte kann jedoch grundsätzlich auf eine beliebige Art und Weise anhand des Bilds durchgeführt werden.The relative position of the objects with respect to the motor vehicle can be determined, for example, as a function of an estimated width and / or the determined type of the respective object. However, the estimation of the relative position of the objects can basically be performed in any manner from the image.

Ergänzend oder alternativ kann als Eigenschaft der Objekte auch eine geschätzte reale Breite des jeweiligen Objekts ermittelt werden. Diese Breite kann beispielsweise abhängig von der Breite des oben genannten Begrenzungskastens ermittelt werden, welcher durch den Detektionsalgorithmus ausgegeben wird. Ist die reale Breite des jeweiligen Objekts bekannt, so kann auch eine Entfernung des Objekts von dem Kraftfahrzeug abgeschätzt werden. Diese Ausführungsform hat daher den Vorteil, dass zum einen Fehler in der Bestimmung der realen Breite der Objekte und zum anderen auch Fehler in der Ermittlung der Entfernung der Objekte vom Kraftfahrzeug detektiert und gegebenenfalls korrigiert werden können.Additionally or alternatively, an estimated real width of the respective object can also be determined as a property of the objects. This width can be determined, for example, depending on the width of the above-mentioned bounding box, which is output by the detection algorithm. If the real width of the respective object is known, a distance of the object from the motor vehicle can also be estimated. This embodiment therefore has the advantage that, on the one hand, errors in the determination of the real width of the objects and, on the other hand, errors in the determination of the distance of the objects from the motor vehicle can be detected and optionally corrected.

Unter einer Breite des jeweiligen Objekts wird dabei bevorzugt eine Abmessung des Objekts in Fahrzeugquerrichtung verstanden.A width of the respective object is preferably understood to mean a dimension of the object in the vehicle transverse direction.

Weiterhin ergänzend oder alternativ kann als Eigenschaft der Objekte auch ein Typ des jeweiligen Objekts, insbesondere ein Fahrzeugtyp, ermittelt werden. Es kann zunächst grundsätzlich beispielsweise zwischen folgenden Typen der Objekte unterschieden werden: einem Zielfahrzeug, einem Fußgänger, einem Baum und dergleichen. Wird ein Zielfahrzeug detektiert, so kann beispielsweise zwischen einem Personenkraftwagen, einem Lastkraftwagen und einem Motorrad unterschieden werden.Additionally or alternatively, a type of the respective object, in particular a vehicle type, can be determined as a property of the objects. In principle, for example, it is possible to distinguish between the following types of objects: a target vehicle, a pedestrian, a tree and the like. If a target vehicle is detected, it is possible, for example, to distinguish between a passenger car, a truck and a motorcycle.

Wie bereits ausgeführt, kann als Optimierungsalgorithmus ein Fehlerminimierungsalgorithmus verwendet werden, bei welchem der Fehler zwischen den ermittelten Eigenschaften der Objekte einerseits und dem Umgebungsmodell andererseits minimiert wird. Insbesondere wird dabei der RANSAC-Algorithmus implementiert, welcher den Vorteil hat, dass große Ausreißer nicht zu einer Verfälschung des Umgebungsmodells führen und der Algorithmus somit auf verrauschte Werte angewendet werden kann. Der RANSAC-Algrorithmus ist insgesamt sehr robust gegenüber Ausreißern.As already stated, the optimization algorithm used can be an error minimization algorithm in which the error between the determined properties of the objects on the one hand and the environment model on the other hand is minimized. In particular, the RANSAC algorithm is implemented, which has the advantage that large outliers do not lead to a falsification of the environment model and the algorithm can thus be applied to noisy values. Overall, the RANSAC algorithm is very robust against outliers.

Allgemein gesagt, kann als Optimierungsalgorithmus ein Algorithmus eingesetzt werden, welcher auf der Regressionsanalyse und/oder Fitting-Analyse basiert.Generally speaking, an algorithm based on regression analysis and / or fitting analysis can be used as the optimization algorithm.

Anhand des Bilds können insbesondere Zielfahrzeuge als Objekte detektiert werden. Es sind nämlich typischerweise die Zielfahrzeuge, welche die größte Kollisionsgefahr für das Ego-Fahrzeug darstellen. Es ist somit besonders vorteilhaft, wenn die Eigenschaften von Zielfahrzeugen, und insbesondere die relative Position der Zielfahrzeuge, besonders präzise bestimmt und gegebenenfalls auftretende Fehler detektiert werden.On the basis of the image target vehicles can be detected as objects in particular. In fact, it is typically the target vehicles that pose the greatest collision risk to the ego vehicle. It is thus particularly advantageous if the characteristics of target vehicles, and in particular the relative position of the target vehicles, are determined particularly precisely and any errors occurring are detected.

Anhand des Bilds können ergänzend oder alternativ auch Längsmarkierungen einer Fahrbahn als Objekte detektiert werden, auf welcher sich das Kraftfahrzeug befindet. Die Detektion der Längsmarkierungen ermöglicht wiederum Rückschlüsse darauf, auf welcher Fahrspur sich aktuell das Kraftfahrzeug befindet und ob sich auf dieser Fahrspur auch weitere Objekte befinden, wie insbesondere andere Fahrzeuge.On the basis of the image, in addition or alternatively, longitudinal markings of a roadway can be detected as objects on which the motor vehicle is located. The detection of the longitudinal markings in turn makes it possible to draw conclusions as to which lane is currently the motor vehicle and whether there are other objects on this lane, in particular other vehicles.

Beim Erzeugen des Umgebungsmodells können zusätzlich zu der zumindest einen Eigenschaft der Objekte auch Relationen zwischen den Objekten untereinander berücksichtigt werden. Auch diese Relationen können vorzugsweise anhand des Bilds bestimmt werden, wobei es ergänzend oder alternativ auch möglich ist, zur Ermittlung der gegenseitigen Relationen zwischen den Objekten Sensordaten anderer Sensoren zu verwenden, insbesondere Sensordaten von Abstandssensoren. Somit können insgesamt auch relative Beschränkungen bzw. Bedingungen zwischen den Objekten untereinander beim Erzeugen des Umgebungsmodells berücksichtigt werden. Diese Relationen zwischen den Objekten könne ohne viel Aufwand anhand des Bilds ermittelt werden, insbesondere anhand der ermittelten Position der Objekte relativ zum Kraftfahrzeug. Als Relation zwischen zwei Objekten kann beispielsweise ermittelt werden, welches der beiden Objekte sich näher dem Kraftfahrzeug befindet und welches der Objekte weiter von dem Kraftfahrzeug entfernt ist. Als Relation kann aber auch ermittelt werden, welches der Objekte sich weiter links oder weiter rechts bezüglich des Kraftfahrzeugs befindet und/oder welches der Objekte sich auf der Fahrbahn des Kraftfahrzeugs und welches der Objekte sich außerhalb dieser Fahrbahn befindet. Auch diese Relationen können als Eingangsparameter zur Erzeugung des Umgebungsmodells gemäß dem Optimierungsalgorithmus verwendet werden, um ein bestmögliches Umgebungsmodell finden zu können.When creating the environment model, relationships between the objects can be taken into account in addition to the at least one property of the objects. These relations can also preferably be determined on the basis of the image, it being additionally or alternatively also possible to use sensor data from other sensors to determine the mutual relations between the objects, in particular sensor data from distance sensors. Thus, overall, relative restrictions or conditions between the objects can also be taken into account when generating the environment model. These relations between the objects can be determined without much effort on the basis of the image, in particular on the basis of the determined position of the objects relative to the motor vehicle. As a relation between two objects can be determined, for example, which of the two objects is closer to the motor vehicle and which of the objects is further away from the motor vehicle. However, as a relation it can also be determined which of the objects is located further to the left or further to the right with respect to the motor vehicle and / or which of the objects is located on the carriageway of the motor vehicle and which of the objects is outside this carriageway. These relations can also be used as input parameters for generating the environment model according to the Optimization algorithm can be used to find the best possible environment model.

Bei der Erzeugung des Umgebungsmodells können auch Eigenschaften der Objekte berücksichtigt werden, welche anhand von zeitlich vorhergehenden Bildern ermittelt wurden. Mittels der Kamera kann eine zeitliche Sequenz von Bildern des Umgebungsbereiches dargestellt werden, und die Bildverarbeitungseinrichtung kann zu jedem Bild oder zu jedem n-ten Bild, mit n > 1, jeweils die zumindest eine Eigenschaft der Objekte ermitteln. Beim Erzeugen des Umgebungsmodells anhand des aktuellen Bilds können dann auch die Eigenschaften der Objekte aus vorherigen Bildern berücksichtigt werden. Auf diese Art und Weise kann eine zeitliche Filterung des Umgebungsmodells vorgenommen werden, was weiterhin die Genauigkeit bei der Erzeugung des aktuellen Umgebungsmodells und die Zuverlässigkeit der Fehlerdetektion verbessert.When generating the environment model, it is also possible to take into account properties of the objects which were determined on the basis of temporally preceding images. By means of the camera, a temporal sequence of images of the surrounding area can be displayed, and the image processing device can determine the at least one property of the objects for each image or every n-th image, with n> 1. When creating the environment model based on the current image, the properties of the objects from previous images can then also be taken into account. In this way, a temporal filtering of the environment model can be made, which further improves the accuracy in the generation of the current environment model and the reliability of the error detection.

Vorzugsweise wird durch die Bildverarbeitungseinrichtung beim Erzeugen des Umgebungsmodells angenommen, dass sich das Kraftfahrzeug und die Objekte auf einer gemeinsamen Ebene befinden. Diese Annahme wird auch als „flat world assumption” bezeichnet. Als Basis für das Umgebungsmodell wird somit eine ebene Fläche verwendet, und es wird angenommen, dass sich alle Objekte sowie das Kraftfahrzeug selbst auf dieser gemeinsamen ebenen Fläche befinden. Dies reduziert den Aufwand bei der Erzeugung des Umgebungsmodells. Das Kraftfahrzeug selbst kann dabei einen Nickwinkel (pitch angle) ungleich Null und/oder einen Rollwinkel (roll angle) gleich Null aufweisen.Preferably, it is assumed by the image processing device when generating the environment model that the motor vehicle and the objects are located on a common plane. This assumption is also called "flat world assumption". A flat surface is thus used as the basis for the environment model, and it is assumed that all objects and the motor vehicle itself are located on this common flat surface. This reduces the effort in creating the environment model. The motor vehicle itself may have a pitch angle not equal to zero and / or a roll angle equal to zero.

In einer Ausführungsform ist vorgesehen, dass die Eigenschaften der Objekte jeweils mit einem zugeordneten Gewichtungsfaktor gewichtet werden und das Umgebungsmodell aus den gewichteten Eigenschaften erzeugt wird. Jedem Objekt kann dabei ein anderer Gewichtungsfaktor zugeordnet werden. Somit können wichtige Objekte und/oder Objekte mit größeren Konfidenzwerten stärker als andere Objekte beim Erzeugen des Umgebungsmodells berücksichtigt werden. Bei der Detektion von Objekten im Bild berechnet der Detektionsalgorithmus üblicherweise auch sogenannte Konfidenzwerte, welche die Genauigkeit bzw. Wahrscheinlichkeit der Detektion angeben und somit ein Konfidenzmaß darstellen. Diese Konfidenzwerte können nun zur Bestimmung der Gewichtungsfaktoren herangezogen werden, wobei je größer der Konfidenzwert ist, desto größer kann der zugeordnete Gewichtungsfaktor sein. Ergänzend oder alternativ können zur Bestimmung der Gewichtungsfaktoren auch Informationen auf der Applikationsebene verwendet werden, insbesondere eine Entfernung des jeweiligen Objekts vom Kraftfahrzeug und/oder eine Zeitdauer, für welche das jeweilige Objekt seit seiner ersten Detektion durch das Fahrerassistenzsystem verfolgt wurde. Ein nahes Objekt, welches bereits für mehrere Minuten verfolgt wurde, kann einen größeren Gewichtungsfaktor aufweisen als ein entferntes Objekt oder aber ein gerade eben detektiertes Objekt. Das Umgebungsmodell kann somit noch präziser und bedarfsgerechter erzeugt werden.In one embodiment, it is provided that the properties of the objects are each weighted with an assigned weighting factor and the environment model is generated from the weighted properties. Each object can be assigned a different weighting factor. Thus, important objects and / or objects with larger confidence values can be considered more strongly than other objects when creating the environment model. When detecting objects in the image, the detection algorithm usually also calculates so-called confidence values, which indicate the accuracy or probability of the detection and thus represent a confidence measure. These confidence values can now be used to determine the weighting factors, the larger the confidence value, the larger the associated weighting factor can be. Additionally or alternatively, information on the application level can be used to determine the weighting factors, in particular a distance of the respective object from the motor vehicle and / or a time duration for which the respective object has been tracked since its first detection by the driver assistance system. A close object, which has already been tracked for several minutes, may have a larger weighting factor than a distant object or a newly detected object. The environment model can thus be generated even more precise and needs-based.

Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, und mit einer Bildverarbeitungseinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.The invention also relates to a driver assistance system for a motor vehicle, having at least one camera for providing an image of an environmental region of the motor vehicle, and having an image processing device which is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüche, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will be explained in more detail below with reference to a preferred embodiment and with reference to the accompanying drawings.

Es zeigen:Show it:

1 in schematischer Darstellung ein Kraftfahrzeug mit einem Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung; 1 a schematic representation of a motor vehicle with a driver assistance system according to an embodiment of the invention;

2 in schematischer Darstellung ein beispielhaftes Bild, welches mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird; 2 a schematic representation of an exemplary image, which is provided by means of a camera of the driver assistance system;

3 in schematischer Darstellung ein Umgebungsmodell, welches unter Verwendung eines Optimierungsalgorithmus erzeugt wird; 3 a schematic representation of an environment model, which is generated using an optimization algorithm;

4 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und 4 a flowchart of a method according to an embodiment of the invention; and

5 ein weiteres Flussdiagramm des Verfahrens, wobei die Detektion von fehlerhaft ermittelten Eigenschaften veranschaulicht wird. 5 a further flowchart of the method, wherein the detection of incorrectly determined properties is illustrated.

Ein in 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches zum Beispiel als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Fahrerassistenzsystem 2 als automatisches Notbremssystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Kollisionsgefahr automatisch abgebremst wird.An in 1 shown motor vehicle 1 is a passenger car in the embodiment. The car 1 includes a driver assistance system 2 which serves, for example, as a collision warning system, by means of which the driver of the motor vehicle 1 can be warned against a collision hazard. Additionally or alternatively, the driver assistance system 2 be designed as an automatic emergency braking system, by means of which the motor vehicle 1 is braked automatically due to a detected risk of collision.

Das Fahrerassistenzsystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 4 vor dem Kraftfahrzeug 1. Die Kamera 3 ist beispielsweise eine CCD-Kamera oder eine CMOS-Kamera. Die Kamera 3 ist eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereichs 4 bereitstellt und an eine in den Figuren nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Die Bildverarbeitungseinrichtung und die Kamera 3 können optional auch in ein gemeinsames Gehäuse integriert sein.The driver assistance system 2 includes a camera 3 , which is designed as a front camera. The camera 3 is in the interior of the motor vehicle 1 on a windshield of the motor vehicle 1 arranges and detects a surrounding area 4 in front of the motor vehicle 1 , The camera 3 is for example a CCD camera or a CMOS camera. The camera 3 is a video camera, which is a sequence of images of the surrounding area 4 provides and transmitted to an image processing device not shown in the figures. The image processing device and the camera 3 can optionally also be integrated in a common housing.

Wie aus 1 hervorgeht, befindet sich auf einer Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Objekt 6, hier in Form eines Zielfahrzeugs 7. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten 6 ausgelegt ist. Dieser Objektdetektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus AdaBoost basieren. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden hier nicht näher beschrieben. Wird das Objekt 6 detektiert, so kann dieses durch die Bildverarbeitungseinrichtung über die Zeit verfolgt werden. Auch dazu sind entsprechende Verfolgungsalgorithmen bekannt.How out 1 shows, is on a carriageway 5 in front of the motor vehicle 1 an object 6 , here in the form of a target vehicle 7 , The image processing device is set up to look at the images of the surrounding area 4 can apply a detection algorithm which detects objects 6 is designed. This object detection algorithm can be stored, for example, in a memory of the image processing device and based for example on the algorithm AdaBoost. Such detection algorithms are already state of the art and will not be described in detail here. Becomes the object 6 detected, this can be tracked by the image processing device over time. Also, corresponding tracking algorithms are known.

Das Verfolgen des Zielfahrzeugs 7 über die Zeit bedeutet, dass in jedem Bild oder in jedem n-ten Bild der Sequenz (n > 1) das Zielfahrzeug 6 detektiert wird und somit seine aktuelle Position in dem jeweiligen Bild bekannt ist. Das Zielfahrzeug 6 wird also über die Sequenz der Bilder hinweg verfolgt.Tracking the target vehicle 7 over time means that in every image or in every nth image of the sequence (n> 1) the target vehicle 6 is detected and thus its current position in the respective image is known. The target vehicle 6 is thus tracked across the sequence of images.

Ein beispielhaftes Bild 8 der Kamera 3 ist in 2 gezeigt. Der Detektionsalgorithmus detektiert eine Mehrzahl von Objekten 6: Zielfahrzeuge 7a, 7b, 7c, 7d, 7e einerseits sowie Längsmarkierungen 10 der Fahrbahn 5 andererseits. Als Ergebnis der jeweiligen Detektion wird dabei ein Begrenzungskasten 9a bis 9e ausgegeben, welcher die Position des jeweiligen Objekts 6 im Bild 8 charakterisiert.An exemplary picture 8th the camera 3 is in 2 shown. The detection algorithm detects a plurality of objects 6 : Target vehicles 7a . 7b . 7c . 7d . 7e on the one hand and longitudinal markings 10 the roadway 5 on the other hand. As a result of the respective detection becomes a bounding box 9a to 9e which indicates the position of the respective object 6 in the picture 8th characterized.

Die Bildverarbeitungseinrichtung ermittelt zu jedem Objekt 6 folgende Eigenschaften:

– eine reale Breite des jeweiligen Objekts 6 – diese reale Breite kann anhand der Breite des jeweiligen Begrenzungskastens 9a bis 9e ermittelt werden;
– eine Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 – bei der Bestimmung der relativen Position kann zunächst die Entfernung des jeweiligen Objekts 6 vom Kraftfahrzeug 1 in Abhängigkeit von der Breite des Objekts 6 ermittelt werden;
– einen Typ des jeweiligen Objekts 6, insbesondere auch einen Fahrzeugtyp der Zielfahrzeuge 7a bis 7e – auch der Typ wird zur Ermittlung der genauen relativen Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 herangezogen.

The image processing device determines to each object 6 following properties:

- a real width of the respective object 6 - This real width can be determined by the width of the respective bounding box 9a to 9e be determined;
- a position of the respective object 6 relative to the motor vehicle 1 - When determining the relative position, first the distance of the respective object 6 from the motor vehicle 1 depending on the width of the object 6 be determined;
- a type of the respective object 6 , In particular, a vehicle type of the target vehicles 7a to 7e - Also the type is used to determine the exact relative position of each object 6 relative to the motor vehicle 1 used.

Alle Eigenschaften aller detektierten Objekte 6 werden dann als Eingangsparameter für die Erzeugung eines Umgebungsmodells des Umgebungsbereichs 4 verwendet. Zusätzlich können auch Relationen zwischen den Objekten 6 untereinander zur Erzeugung des Umgebungsmodells herangezogen werden. Als Relation zwischen zwei Objekten 6 kann beispielsweise ermittelt werden, welches der Objekte sich näher und welches sich weiter weg vom Kraftfahrzeug 1 befindet und/oder welches der Objekte 6 sich weiter links und welches weiter rechts des Kraftfahrzeugs 1 befindet.All properties of all detected objects 6 are then used as input parameters for creating an environment model of the environment 4 used. In addition, relations between the objects can also be used 6 be used with each other to generate the environment model. As a relation between two objects 6 For example, it can be determined which of the objects is closer and which further away from the motor vehicle 1 located and / or which of the objects 6 further to the left and which further to the right of the motor vehicle 1 located.

Ein beispielhaftes Umgebungsmodell 11 ist dabei in 3 dargestellt. Das Umgebungsmodell 11 stellt dabei eine digitale Umgebungskarte des Kraftfahrzeugs 1 in einem zweidimensionalen Koordinatensystem x, y dar. Beim Erzeugen des Umgebungsmodells 11 wird dabei angenommen, dass sich das Kraftfahrzeug 1 sowie alle anderen Objekte 6 auf einer gemeinsamen Ebene 12 und somit auf einer gemeinsamen ebenen Fahrbahn 5 befinden. Zur Erzeugung des Umgebungsmodells 11 wird ein Optimierungsalgorithmus genutzt, welcher auf die oben genannten Eingangsparameter (die Eigenschaften der Objekte 6 und insbesondere auch die gegenseitigen Relationen) angewendet wird. Bevorzugt wird als Optimierungsalgorithmus der RANSAC-Algorithmus verwendet. Es kann aber auch ein anderer Fitting-Algorithmus und/oder Regressionsalgorithmus verwendet werden.An example environment model 11 is in 3 shown. The environment model 11 provides a digital map of the environment of the motor vehicle 1 in a two-dimensional coordinate system x, y. When creating the environment model 11 it is assumed that the motor vehicle 1 as well as all other objects 6 on a common level 12 and thus on a common flat roadway 5 are located. To create the environment model 11 an optimization algorithm is used, which depends on the input parameters mentioned above (the properties of the objects 6 and especially the mutual relations) is applied. The RANSAC algorithm is preferably used as the optimization algorithm. However, it is also possible to use a different fitting algorithm and / or regression algorithm.

Beim Erzeugen des Umgebungsmodells 11 zum aktuellen Bild 8 der Kamera 3 können auch die Eigenschaften der Objekte 6 aus den vorherigen Bildern verwendet werden, d. h. die vorherigen Umgebungsmodelle 11, welche zu den vorherigen Bildern erzeugt wurden. Somit findet auch eine zeitliche Filterung des Umgebungsmodells 11 statt.When creating the environment model 11 to the current picture 8th the camera 3 can also change the properties of the objects 6 from the previous images, ie the previous environment models 11 , which were created to the previous images. Thus, there is also a temporal filtering of the environment model 11 instead of.

Es ist auch möglich, beim Erzeugen des Umgebungsmodells 11 die Eigenschaften der Objekte 6 mit einem Gewichtungsfaktor zu versehen und das Umgebungsmodell 11 aus den gewichteten Eigenschaften bereitzustellen. Jedem Objekt 6 kann dabei ein anderer und somit ein separater Gewichtungsfaktor zugeordnet werden, welcher beispielsweise abhängig von einem Konfidenzwert des jeweiligen detektierten Objekts 6 und/oder abhängig von einer Entfernung dieses Objekts 6 vom Kraftfahrzeug 1 und/oder abhängig von einer Zeitdauer bestimmt werden kann, für welche dieses Objekt 6 durch das Fahrerassistenzsystem 2 bereits verfolgt wurde. It is also possible when creating the environment model 11 the properties of the objects 6 with a weighting factor and the environment model 11 from the weighted properties. Every object 6 In this case, a different and thus a separate weighting factor can be assigned, which depends, for example, on a confidence value of the respective detected object 6 and / or depending on a distance of this object 6 from the motor vehicle 1 and / or can be determined depending on a period of time for which this object 6 through the driver assistance system 2 has already been followed.

Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf 4 näher erläutert. Beim Erzeugen des Umgebungsmodells 11 werden zunächst gemäß Schritt S1 mehrere Eingangsparameter bereitgestellt, welche dem Optimierungsalgorithmus zugrunde gelegt werden. Diesbezüglich werden gemäß Schritt S12 Kameraparameter der Kamera 3 bzw. ein sogenanntes Kameramodell bereitgestellt. Gemäß Schritt S13 werden in dem Bild 8 die Längsmarkierungen 10 detektiert und die Position relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S14 werden die Fahrzeugtypen der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S15 wird die jeweilige reale Breite der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S16 wird die jeweilige Position der Zielfahrzeuge 7a bis 7e relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S17 werden die oben genannten Relationen der Objekte 6 untereinander ermittelt.A method according to an embodiment of the invention will now be described with reference to FIG 4 explained in more detail. When creating the environment model 11 First, according to step S1, several input parameters are provided, which are used as the basis for the optimization algorithm. In this regard, according to step S12 camera parameters of the camera 3 or a so-called camera model provided. In step S13, in the image 8th the longitudinal markings 10 detected and the position relative to the motor vehicle 1 determined. According to step S14, the vehicle types of the target vehicles 7a to 7e determined. According to step S15, the respective real width of the target vehicles 7a to 7e determined. According to step S16, the respective position of the target vehicles 7a to 7e relative to the motor vehicle 1 determined. According to step S17, the above-mentioned relations of the objects become 6 determined among each other.

Diese Eigenschaften werden dann einer globalen Optimierung gemäß Schritt S2 zugeführt. Gemäß Schritt S21 werden die benötigten Eingangsparameter ausgewählt. Die Schätzung des Umgebungsmodells 11 gemäß dem genannten Optimierungsalgorithmus erfolgt dann gemäß Schritt S22. Gemäß Schritt S23 vergleicht das Fahrerassistenzsystem 2 die ermittelten Eigenschaften der Objekte 6 mit dem bereitgestellten Umgebungsmodell 11. Anhand dieses Vergleichs werden dann gemäß Schritt S3 Eigenschaften detektiert, welche fehlerhaft ermittelt wurden und somit Ausreißer darstellen.These properties are then supplied to a global optimization according to step S2. In step S21, the required input parameters are selected. The estimate of the environment model 11 according to the said optimization algorithm then takes place according to step S22. In step S23, the driver assistance system compares 2 the determined properties of the objects 6 with the provided environment model 11 , On the basis of this comparison, then properties are detected in accordance with step S3, which were determined erroneously and thus represent outliers.

Die ursprünglich ermittelten Eigenschaften der Objekte 6, welche zur Erzeugung des optimierten Umgebungsmodells 11 herangezogen wurden, werden somit nochmals dazu genutzt, um die Richtigkeit der Ermittlung dieser Eigenschaften feststellen zu können. Dazu werden die ursprünglich ermittelten Eigenschaften (zum Beispiel die relative Position der Objekte 6 bezüglich des Kraftfahrzeugs 1) mit dem Umgebungsmodell 11 verglichen, welches gemäß dem Optimierungsalgorithmus erzeugt wurde.The originally determined properties of the objects 6 which are used to generate the optimized environment model 11 are thus used again to determine the accuracy of the determination of these properties. These are the originally determined properties (for example, the relative position of the objects 6 with respect to the motor vehicle 1 ) with the environment model 11 which was generated according to the optimization algorithm.

Dieses Verfahren ist zusätzlich auch in 5 veranschaulicht. Hier werden gemäß Schritt S101 die Eigenschaften der detektierten Objekte 6 ermittelt. Diese Eigenschaften werden dann gemäß Schritt S102 zur Erzeugung des optimierten Umgebungsmodells 11 verwendet. Die Eigenschaften werden dann mit dem ermittelten Umgebungsmodell gemäß Schritt S103 verglichen. Das Ergebnis dieses Vergleiches sind Eigenschaften, welche ursprünglich fehlerhaft ermittelt wurden und somit mit einem Fehler behaftet sind. Diese Eigenschaften stellen Ausreißer dar.This procedure is also available in 5 illustrated. Here, in step S101, the properties of the detected objects 6 determined. These properties are then used in step S102 to generate the optimized environment model 11 used. The properties are then compared with the determined environment model according to step S103. The result of this comparison are properties that were originally determined incorrectly and thus have an error. These properties are outliers.

Wie aus 5 hervorgeht, wurde im Ausführungsbeispiel die relative Position der Zielfahrzeuge 7c, 7d relativ zum Kraftfahrzeug 1 fehlerhaft bestimmt. Während die relative Position des Zielfahrzeugs 7c lediglich in x-Richtung fehlerhaft bestimmt wurde, ist die relative Position des Zielfahrzeugs 7d sowohl in x-Richtung als auch in y-Richtung mit einem Fehler behaftet. Diese Fehler werden anhand des Vergleichs der ermittelten relativen Positionen der Zielfahrzeuge 7c, 7d mit dem optimierten Umgebungsmodell 11 detektiert.How out 5 is apparent in the embodiment, the relative position of the target vehicles 7c . 7d relative to the motor vehicle 1 erroneously determined. While the relative position of the target vehicle 7c was determined incorrectly only in the x-direction, is the relative position of the target vehicle 7d both in the x-direction and in the y-direction with an error. These errors are based on the comparison of the determined relative positions of the target vehicles 7c . 7d with the optimized environment model 11 detected.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2005/037619 A1 [0006]
US 8412448 B2 [0007]
US 8121348 B2 [0008]

Claims

Method for operating a driver assistance system ( 2 ) of a motor vehicle ( 1 ), with the steps: - providing an image ( 8th ) of a surrounding area ( 4 ) of the motor vehicle ( 1 ) by means of a camera ( 3 ) of the driver assistance system ( 2 ), - detecting a plurality of objects ( 6 ) in the picture ( 8th ) by an image processing device, - to each object ( 6 ) Determining at least one property of the respective object ( 6 ) based on the image ( 8th ) by the image processing device, - generating an environment model ( 11 ) to the surrounding area ( 4 ) of the motor vehicle ( 1 ) from the properties of the objects ( 6 ) using a predetermined optimization algorithm by the image processing device, - comparing the properties of the objects ( 6 ) with the environment model ( 11 ) by the image processing device and - detecting erroneously determined properties based on the comparison.

A method according to claim 1, characterized in that as a property a position of the respective objects ( 6 ) relative to the motor vehicle ( 1 ) is determined.

Method according to claim 1 or 2, characterized in that at least one of the following parameters is determined as a property: - a type of the respective object ( 6 ), in particular a vehicle type, and / or - a real width of the respective object ( 6 ).

Method according to one of the preceding claims, characterized in that the optimization algorithm used is an error minimization algorithm, in particular the RANSAC algorithm, for generating the environment model ( 11 ) is used.

Method according to one of the preceding claims, characterized in that based on the image ( 8th ) Target vehicles ( 7 ) as objects ( 6 ) are detected.

Method according to one of the preceding claims, characterized in that based on the image ( 8th ) Longitudinal markings ( 10 ) of a roadway ( 5 ) as objects ( 6 ) are detected.

Method according to one of the preceding claims, characterized in that when generating the environment model ( 11 ) in addition to the at least one property of the objects ( 6 ) also relations between the objects ( 6 ), in particular on the basis of the picture ( 8th ).

Method according to one of the preceding claims, characterized in that by means of the camera ( 3 ) a temporal sequence of images ( 8th ) of the surrounding area ( 4 ) and to each picture ( 8th ) or every nth image ( 8th ), with n> 1, in each case the at least one property of the objects ( 6 ), wherein when generating the environment model ( 11 ) based on the current image ( 8th ) also the properties of the objects ( 6 ) from previous pictures ( 8th ).

Method according to one of the preceding claims, characterized in that when generating the environment model ( 11 ) is assumed by the image processing device that the motor vehicle ( 1 ) and the objects ( 6 ) on a common level ( 12 ) are located.

Method according to one of the preceding claims, characterized in that the properties of the objects ( 6 ) are each weighted with an assigned weighting factor and the environment model ( 11 ) is generated from the weighted properties.

Driver assistance system ( 2 ) for a motor vehicle ( 1 ), with at least one camera ( 3 ) for providing an image ( 8th ) of a surrounding area ( 4 ) of the motor vehicle ( 1 ), and with an image processing device for processing the image ( 8th ), wherein the image processing device is adapted to perform a method according to any one of the preceding claims.

Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 11.