-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird und eine Mehrzahl von Objekten in dem Bild durch eine Bildverarbeitungseinrichtung detektiert wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Vorliegend richtet sich das Interesse insbesondere auf die Verfolgung von Zielfahrzeugen mit Hilfe einer Frontkamera eines Kraftfahrzeugs. Frontkameras für Kraftfahrzeuge sind dabei bereits aus dem Stand der Technik bekannt und erfassen üblicherweise Bilder eines Umgebungsbereichs vor dem Kraftfahrzeug. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern Zielobjekte detektiert. Dazu werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Um ein Zielobjekt zu detektieren, können zunächst so genannte charakteristische Punkte aus dem Bild extrahiert und anhand dieser charakteristischen Punkte dann ein Zielobjekt identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: AdaBoost und HOG-SVM.
-
Wird ein Zielobjekt in einem Bild der Kamera identifiziert, so kann dieses Zielobjekt auch über die nachfolgenden Bilder der Sequenz hinweg verfolgt werden. Das Zielobjekt wird dabei in jedem Bild detektiert, wobei die Detektion in dem aktuellen Bild der Detektion aus dem vorherigen Bild zugeordnet werden muss. Durch das Verfolgen des Zielobjekts sind die aktuelle Position des Zielobjekts in dem Bildrahmen und somit auch die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs stets bekannt. Als Verfolgungsalgorithmus kann dabei beispielsweise die Lucas-Kanade-Methode genutzt werden.
-
Ein genanntes Kamerasystem mit einer Frontkamera kann als Kollisionswarnungssystem genutzt werden, mittels welchem der Fahrer vor einer Kollisionsgefahr mit dem Zielobjekt gewarnt werden kann. Ein solches Kollisionswarnungssystem kann beispielsweise Warnsignale ausgeben, um den Fahrer über die detektierte Kollisionsgefahr akustisch und/oder optisch und/oder haptisch zu informieren. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem genutzt werden, welches dazu ausgelegt ist, aufgrund der detektierten Kollisionsgefahr automatische Bremseingriffe des Kraftfahrzeugs vorzunehmen. Als Maß für die aktuelle Kollisionsgefahr kann dabei beispielsweise die so genannte Zeit bis zur Kollision (time to; collision) genutzt werden, das heißt eine Zeitdauer, welche durch das Kraftfahrzeug voraussichtlich benötigt wird, um das Zielobjekt zu erreichen. Diese Zeit bis zur Kollision kann aus der eingeschätzten Entfernung des Zielobjekts sowie aus der relativen Geschwindigkeit berechnet werden.
-
Die bekannten Detektionsalgorithmen, welche zur Detektion von Zielfahrzeugen im Bild dienen, geben als Ergebnis der Detektion üblicherweise einen rechteckigen Begrenzungskasten (Bounding Box) aus, welcher das detektierte Zielfahrzeug umgibt. In diesem Begrenzungskasten ist das detektierte Zielfahrzeug also abgebildet, wobei der Begrenzungskasten die aktuelle Position sowie die Breite und die Höhe des Zielfahrzeugs in dem Bild angibt. Als nachteilig an den bekannten Detektionsalgorithmen (beispielsweise AdaBoost und HOG-SVM) kann der Umstand angesehen werden, dass der Begrenzungskasten die aktuelle Position des Zielfahrzeugs in dem Bild sowie die Breite und die Höhe des Zielfahrzeugs nur ungenau angibt. Die Größe des Begrenzungskastens kann auch über die Sequenz der Bilder hinweg variieren, was wiederum die Genauigkeit bei der Verfolgung des Zielfahrzeugs über die Bilder hinweg reduziert. Entsprechend kann somit auch die relative Position der Zielobjekte relativ zum Kraftfahrzeug nur ungenau bestimmt werden.
-
Aus dem Dokument
WO 2005/037619 A1 ist ein Verfahren zum Einleiten einer Notbremsung bekannt, bei welchem die Umgebung eines Fahrzeugs erfasst wird und eine Objekterkennung durchgeführt und bei Eintritt eines vorgegebenen Ereignisses eine Notbremsung ausgelöst wird. Es wird ein Referenzobjekt vorgegeben, und die erkannten Objekte werden mit dem Referenzobjekt verglichen. Es werden nur Objekte für die Bewertung des Ereigniseintritts berücksichtigt, die größer sind als das Referenzobjekt.
-
Ein Kollisionswarnungssystem für ein Kraftfahrzeug ist des Weiteren aus dem Dokument
US 8 412 448 B2 bekannt. Es wird hier ein dreidimensionales Modell einer Fahrzeugumgebung aus Bildern erzeugt, welche mittels einer Frontkamera bereitgestellt werden.
-
Ein Objekterkennungsverfahren, bei welchem ein Histogramm verwendet wird, ist aus dem Dokument
US 8 121 348 B2 bekannt.
-
Wie bereits ausgeführt, sind die bekannten Algorithmen zur Detektion von Objekten anhand eines Bilds relativ ungenau, und die Objekterkennung ist mit einem relativ großen Fehler behaftet. Diese Fehler betreffen insbesondere die Bestimmung der Position der Objekte relativ zum Kraftfahrzeug. So kann es nämlich beispielsweise vorkommen, dass nur ein Teilbereich eines Zielobjekts – beispielsweise eines Zielfahrzeugs – detektiert wird, was dann dazu führt, dass durch das System eine falsche Position dieses Zielobjekts relativ zum Kraftfahrzeug angenommen wird. Eine besondere Herausforderung besteht nun darin, solche Detektionsfehler zu erkennen und nach Möglichkeit auch zu korrigieren.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung Detektionsfehler bei der Detektion der Objekte besonders zuverlässig erkannt und das Fahrerassistenzsystem somit zuverlässig betrieben werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Mittels einer Kamera des Fahrerassistenzsystems wird ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Durch eine Bildverarbeitungseinrichtung wird dann eine Mehrzahl von Objekten in dem Bild detektiert, nämlich insbesondere unter Verwendung eines Detektionsalgorithmus. Es kann dabei grundsätzlich ein beliebiger Detektionsalgorithmus verwendet werden, so dass vorliegend auf den Detektionsalgorithmus nicht näher eingegangen wird. Beispielsweise kann ein Detektionsalgorithmus eingesetzt werden, welcher zu jedem detektierten Objekt einen sogenannten Begrenzungskasten (bounding box) ausgibt, in welchem das detektierte Objekt abgebildet ist. Zu jedem Objekt ermittelt die Bildverarbeitungseinrichtung zumindest eine Eigenschaft des jeweiligen Objekts anhand des Bilds. Als Eigenschaft kann beispielsweise die Position des jeweiligen Objekts relativ zum Kraftfahrzeug ermittelt werden. Die Bildverarbeitungseinrichtung erzeugt dann ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs aus den Eigenschaften der detektierten Objekte. Das Umgebungsmodell wird dabei unter Verwendung eines vorbestimmten Optimierungsalgorithmus erzeugt, beispielsweise eines Fehlerminimierungsalgorithmus, welcher die Fehler zwischen dem erzeugten Umgebungsmodell und den Eigenschaften der Objekte minimiert. Mit diesem optimierten Umgebungsmodell werden dann die ursprünglich ermittelten Eigenschaften der Objekte verglichen, und anhand des Vergleichs detektiert die Bildverarbeitungseinrichtung fehlerhaft ermittelte Eigenschaften.
-
Um Fehler bei der Detektion der Objekte bzw. beim Ermitteln der zumindest einen Eigenschaft der Objekte (zum Beispiel der relativen Position) zu erkennen, wird demnach erfindungsgemäß vorgeschlagen, ein globales Umgebungsmodell des Kraftfahrzeugs unter Verwendung eines vorbestimmten Optimierungsalgorithmus (zum Beispiel des RANSAC-Algorithmus) bereitzustellen und die ursprünglich ermittelten Eigenschaften der Objekte mit diesem Umgebungsmodell zu vergleichen. Diejenigen Eigenschaften, welche sich von dem Umgebungsmodell in einem bestimmten Ausmaß unterscheiden, werden als Ausreißer und somit als fehlerhaft ermittelte Eigenschaften interpretiert und können optional korrigiert werden. Das erfindungsgemäße Verfahren hat somit insgesamt den Vorteil, dass die fehlerhaft ermittelten Eigenschaften und somit die fehlerhaften Detektionen besonders zuverlässig erkannt und gegebenenfalls auch korrigiert werden können. Das Fahrerassistenzsystem kann somit besonders zuverlässig betrieben werden, da Applikationsfehler aufgrund von fehlerhaft ermittelten Eigenschaften der Objekte verhindert werden können. So kann beispielsweise verhindert werden, dass der Fahrer des Kraftfahrzeugs unnötig durch das Fahrerassistenzsystems gewarnt oder das Kraftfahrzeug unnötig automatisch abgebremst wird, obwohl tatsächlich keine Kollisionsgefahr besteht. Andererseits können auch Situationen verhindert werden, in denen keine Warnung durch das System oder kein automatisches Abbremsen des Fahrzeugs trotz einer tatsächlich gegebenen Kollisionsgefahr erfolgt.
-
Die Kamera ist vorzugsweise eine Frontkamera, welche insbesondere hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung bzw. in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors verlaufende Kameraachse parallel zur Fahrzeuglängsachse orientiert ist.
-
Die Kamera ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern (frames) pro Sekunde bereitstellen kann. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein.
-
Das Kamerasystem kann ein Kollisionswarnungssystem sein, mittels welchem ein Gefahrengrad bezüglich einer Kollision des Kraftfahrzeugs mit dem Zielfahrzeug bestimmt und abhängig von dem aktuellen Gefahrengrad ein Warnsignal ausgegeben wird, mit welchem die Kollisionsgefahr dem Fahrer signalisiert wird. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem Bremseingriffe automatisch in Abhängigkeit von dem Gefahrengrad durchgeführt werden. Als Gefahrengrad kann dabei beispielsweise die Zeit bis zur Kollision und/oder eine Entfernung des Zielfahrzeugs von dem Kraftfahrzeug verwendet werden.
-
Wie bereits ausgeführt, kann als Eigenschaft der Objekte eine Position der jeweiligen Objekte relativ zum Kraftfahrzeug ermittelt werden. Dies bedeutet, dass zu jedem detektierten Objekt die jeweilige Position relativ zum Kraftfahrzeug ermittelt wird und das Umgebungsmodell aus den relativen Positionen der Objekte erzeugt wird. Somit können Fehler in der Ermittlung der relativen Positionen der Objekte detektiert und optional dann korrigiert werden.
-
Die relative Position der Objekte bezüglich des Kraftfahrzeugs kann beispielsweise in Abhängigkeit von einer abgeschätzten Breite und/oder des ermittelten Typs des jeweiligen Objekts bestimmt werden. Die Schätzung der relativen Position der Objekte kann jedoch grundsätzlich auf eine beliebige Art und Weise anhand des Bilds durchgeführt werden.
-
Ergänzend oder alternativ kann als Eigenschaft der Objekte auch eine geschätzte reale Breite des jeweiligen Objekts ermittelt werden. Diese Breite kann beispielsweise abhängig von der Breite des oben genannten Begrenzungskastens ermittelt werden, welcher durch den Detektionsalgorithmus ausgegeben wird. Ist die reale Breite des jeweiligen Objekts bekannt, so kann auch eine Entfernung des Objekts von dem Kraftfahrzeug abgeschätzt werden. Diese Ausführungsform hat daher den Vorteil, dass zum einen Fehler in der Bestimmung der realen Breite der Objekte und zum anderen auch Fehler in der Ermittlung der Entfernung der Objekte vom Kraftfahrzeug detektiert und gegebenenfalls korrigiert werden können.
-
Unter einer Breite des jeweiligen Objekts wird dabei bevorzugt eine Abmessung des Objekts in Fahrzeugquerrichtung verstanden.
-
Weiterhin ergänzend oder alternativ kann als Eigenschaft der Objekte auch ein Typ des jeweiligen Objekts, insbesondere ein Fahrzeugtyp, ermittelt werden. Es kann zunächst grundsätzlich beispielsweise zwischen folgenden Typen der Objekte unterschieden werden: einem Zielfahrzeug, einem Fußgänger, einem Baum und dergleichen. Wird ein Zielfahrzeug detektiert, so kann beispielsweise zwischen einem Personenkraftwagen, einem Lastkraftwagen und einem Motorrad unterschieden werden.
-
Wie bereits ausgeführt, kann als Optimierungsalgorithmus ein Fehlerminimierungsalgorithmus verwendet werden, bei welchem der Fehler zwischen den ermittelten Eigenschaften der Objekte einerseits und dem Umgebungsmodell andererseits minimiert wird. Insbesondere wird dabei der RANSAC-Algorithmus implementiert, welcher den Vorteil hat, dass große Ausreißer nicht zu einer Verfälschung des Umgebungsmodells führen und der Algorithmus somit auf verrauschte Werte angewendet werden kann. Der RANSAC-Algrorithmus ist insgesamt sehr robust gegenüber Ausreißern.
-
Allgemein gesagt, kann als Optimierungsalgorithmus ein Algorithmus eingesetzt werden, welcher auf der Regressionsanalyse und/oder Fitting-Analyse basiert.
-
Anhand des Bilds können insbesondere Zielfahrzeuge als Objekte detektiert werden. Es sind nämlich typischerweise die Zielfahrzeuge, welche die größte Kollisionsgefahr für das Ego-Fahrzeug darstellen. Es ist somit besonders vorteilhaft, wenn die Eigenschaften von Zielfahrzeugen, und insbesondere die relative Position der Zielfahrzeuge, besonders präzise bestimmt und gegebenenfalls auftretende Fehler detektiert werden.
-
Anhand des Bilds können ergänzend oder alternativ auch Längsmarkierungen einer Fahrbahn als Objekte detektiert werden, auf welcher sich das Kraftfahrzeug befindet. Die Detektion der Längsmarkierungen ermöglicht wiederum Rückschlüsse darauf, auf welcher Fahrspur sich aktuell das Kraftfahrzeug befindet und ob sich auf dieser Fahrspur auch weitere Objekte befinden, wie insbesondere andere Fahrzeuge.
-
Beim Erzeugen des Umgebungsmodells können zusätzlich zu der zumindest einen Eigenschaft der Objekte auch Relationen zwischen den Objekten untereinander berücksichtigt werden. Auch diese Relationen können vorzugsweise anhand des Bilds bestimmt werden, wobei es ergänzend oder alternativ auch möglich ist, zur Ermittlung der gegenseitigen Relationen zwischen den Objekten Sensordaten anderer Sensoren zu verwenden, insbesondere Sensordaten von Abstandssensoren. Somit können insgesamt auch relative Beschränkungen bzw. Bedingungen zwischen den Objekten untereinander beim Erzeugen des Umgebungsmodells berücksichtigt werden. Diese Relationen zwischen den Objekten könne ohne viel Aufwand anhand des Bilds ermittelt werden, insbesondere anhand der ermittelten Position der Objekte relativ zum Kraftfahrzeug. Als Relation zwischen zwei Objekten kann beispielsweise ermittelt werden, welches der beiden Objekte sich näher dem Kraftfahrzeug befindet und welches der Objekte weiter von dem Kraftfahrzeug entfernt ist. Als Relation kann aber auch ermittelt werden, welches der Objekte sich weiter links oder weiter rechts bezüglich des Kraftfahrzeugs befindet und/oder welches der Objekte sich auf der Fahrbahn des Kraftfahrzeugs und welches der Objekte sich außerhalb dieser Fahrbahn befindet. Auch diese Relationen können als Eingangsparameter zur Erzeugung des Umgebungsmodells gemäß dem Optimierungsalgorithmus verwendet werden, um ein bestmögliches Umgebungsmodell finden zu können.
-
Bei der Erzeugung des Umgebungsmodells können auch Eigenschaften der Objekte berücksichtigt werden, welche anhand von zeitlich vorhergehenden Bildern ermittelt wurden. Mittels der Kamera kann eine zeitliche Sequenz von Bildern des Umgebungsbereiches dargestellt werden, und die Bildverarbeitungseinrichtung kann zu jedem Bild oder zu jedem n-ten Bild, mit n > 1, jeweils die zumindest eine Eigenschaft der Objekte ermitteln. Beim Erzeugen des Umgebungsmodells anhand des aktuellen Bilds können dann auch die Eigenschaften der Objekte aus vorherigen Bildern berücksichtigt werden. Auf diese Art und Weise kann eine zeitliche Filterung des Umgebungsmodells vorgenommen werden, was weiterhin die Genauigkeit bei der Erzeugung des aktuellen Umgebungsmodells und die Zuverlässigkeit der Fehlerdetektion verbessert.
-
Vorzugsweise wird durch die Bildverarbeitungseinrichtung beim Erzeugen des Umgebungsmodells angenommen, dass sich das Kraftfahrzeug und die Objekte auf einer gemeinsamen Ebene befinden. Diese Annahme wird auch als „flat world assumption” bezeichnet. Als Basis für das Umgebungsmodell wird somit eine ebene Fläche verwendet, und es wird angenommen, dass sich alle Objekte sowie das Kraftfahrzeug selbst auf dieser gemeinsamen ebenen Fläche befinden. Dies reduziert den Aufwand bei der Erzeugung des Umgebungsmodells. Das Kraftfahrzeug selbst kann dabei einen Nickwinkel (pitch angle) ungleich Null und/oder einen Rollwinkel (roll angle) gleich Null aufweisen.
-
In einer Ausführungsform ist vorgesehen, dass die Eigenschaften der Objekte jeweils mit einem zugeordneten Gewichtungsfaktor gewichtet werden und das Umgebungsmodell aus den gewichteten Eigenschaften erzeugt wird. Jedem Objekt kann dabei ein anderer Gewichtungsfaktor zugeordnet werden. Somit können wichtige Objekte und/oder Objekte mit größeren Konfidenzwerten stärker als andere Objekte beim Erzeugen des Umgebungsmodells berücksichtigt werden. Bei der Detektion von Objekten im Bild berechnet der Detektionsalgorithmus üblicherweise auch sogenannte Konfidenzwerte, welche die Genauigkeit bzw. Wahrscheinlichkeit der Detektion angeben und somit ein Konfidenzmaß darstellen. Diese Konfidenzwerte können nun zur Bestimmung der Gewichtungsfaktoren herangezogen werden, wobei je größer der Konfidenzwert ist, desto größer kann der zugeordnete Gewichtungsfaktor sein. Ergänzend oder alternativ können zur Bestimmung der Gewichtungsfaktoren auch Informationen auf der Applikationsebene verwendet werden, insbesondere eine Entfernung des jeweiligen Objekts vom Kraftfahrzeug und/oder eine Zeitdauer, für welche das jeweilige Objekt seit seiner ersten Detektion durch das Fahrerassistenzsystem verfolgt wurde. Ein nahes Objekt, welches bereits für mehrere Minuten verfolgt wurde, kann einen größeren Gewichtungsfaktor aufweisen als ein entferntes Objekt oder aber ein gerade eben detektiertes Objekt. Das Umgebungsmodell kann somit noch präziser und bedarfsgerechter erzeugt werden.
-
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, und mit einer Bildverarbeitungseinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüche, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung;
-
2 in schematischer Darstellung ein beispielhaftes Bild, welches mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird;
-
3 in schematischer Darstellung ein Umgebungsmodell, welches unter Verwendung eines Optimierungsalgorithmus erzeugt wird;
-
4 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
-
5 ein weiteres Flussdiagramm des Verfahrens, wobei die Detektion von fehlerhaft ermittelten Eigenschaften veranschaulicht wird.
-
Ein in 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches zum Beispiel als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Fahrerassistenzsystem 2 als automatisches Notbremssystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Kollisionsgefahr automatisch abgebremst wird.
-
Das Fahrerassistenzsystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 4 vor dem Kraftfahrzeug 1. Die Kamera 3 ist beispielsweise eine CCD-Kamera oder eine CMOS-Kamera. Die Kamera 3 ist eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereichs 4 bereitstellt und an eine in den Figuren nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Die Bildverarbeitungseinrichtung und die Kamera 3 können optional auch in ein gemeinsames Gehäuse integriert sein.
-
Wie aus 1 hervorgeht, befindet sich auf einer Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Objekt 6, hier in Form eines Zielfahrzeugs 7. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten 6 ausgelegt ist. Dieser Objektdetektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus AdaBoost basieren. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden hier nicht näher beschrieben. Wird das Objekt 6 detektiert, so kann dieses durch die Bildverarbeitungseinrichtung über die Zeit verfolgt werden. Auch dazu sind entsprechende Verfolgungsalgorithmen bekannt.
-
Das Verfolgen des Zielfahrzeugs 7 über die Zeit bedeutet, dass in jedem Bild oder in jedem n-ten Bild der Sequenz (n > 1) das Zielfahrzeug 6 detektiert wird und somit seine aktuelle Position in dem jeweiligen Bild bekannt ist. Das Zielfahrzeug 6 wird also über die Sequenz der Bilder hinweg verfolgt.
-
Ein beispielhaftes Bild 8 der Kamera 3 ist in 2 gezeigt. Der Detektionsalgorithmus detektiert eine Mehrzahl von Objekten 6: Zielfahrzeuge 7a, 7b, 7c, 7d, 7e einerseits sowie Längsmarkierungen 10 der Fahrbahn 5 andererseits. Als Ergebnis der jeweiligen Detektion wird dabei ein Begrenzungskasten 9a bis 9e ausgegeben, welcher die Position des jeweiligen Objekts 6 im Bild 8 charakterisiert.
-
Die Bildverarbeitungseinrichtung ermittelt zu jedem Objekt 6 folgende Eigenschaften:
- – eine reale Breite des jeweiligen Objekts 6 – diese reale Breite kann anhand der Breite des jeweiligen Begrenzungskastens 9a bis 9e ermittelt werden;
- – eine Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 – bei der Bestimmung der relativen Position kann zunächst die Entfernung des jeweiligen Objekts 6 vom Kraftfahrzeug 1 in Abhängigkeit von der Breite des Objekts 6 ermittelt werden;
- – einen Typ des jeweiligen Objekts 6, insbesondere auch einen Fahrzeugtyp der Zielfahrzeuge 7a bis 7e – auch der Typ wird zur Ermittlung der genauen relativen Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 herangezogen.
-
Alle Eigenschaften aller detektierten Objekte 6 werden dann als Eingangsparameter für die Erzeugung eines Umgebungsmodells des Umgebungsbereichs 4 verwendet. Zusätzlich können auch Relationen zwischen den Objekten 6 untereinander zur Erzeugung des Umgebungsmodells herangezogen werden. Als Relation zwischen zwei Objekten 6 kann beispielsweise ermittelt werden, welches der Objekte sich näher und welches sich weiter weg vom Kraftfahrzeug 1 befindet und/oder welches der Objekte 6 sich weiter links und welches weiter rechts des Kraftfahrzeugs 1 befindet.
-
Ein beispielhaftes Umgebungsmodell 11 ist dabei in 3 dargestellt. Das Umgebungsmodell 11 stellt dabei eine digitale Umgebungskarte des Kraftfahrzeugs 1 in einem zweidimensionalen Koordinatensystem x, y dar. Beim Erzeugen des Umgebungsmodells 11 wird dabei angenommen, dass sich das Kraftfahrzeug 1 sowie alle anderen Objekte 6 auf einer gemeinsamen Ebene 12 und somit auf einer gemeinsamen ebenen Fahrbahn 5 befinden. Zur Erzeugung des Umgebungsmodells 11 wird ein Optimierungsalgorithmus genutzt, welcher auf die oben genannten Eingangsparameter (die Eigenschaften der Objekte 6 und insbesondere auch die gegenseitigen Relationen) angewendet wird. Bevorzugt wird als Optimierungsalgorithmus der RANSAC-Algorithmus verwendet. Es kann aber auch ein anderer Fitting-Algorithmus und/oder Regressionsalgorithmus verwendet werden.
-
Beim Erzeugen des Umgebungsmodells 11 zum aktuellen Bild 8 der Kamera 3 können auch die Eigenschaften der Objekte 6 aus den vorherigen Bildern verwendet werden, d. h. die vorherigen Umgebungsmodelle 11, welche zu den vorherigen Bildern erzeugt wurden. Somit findet auch eine zeitliche Filterung des Umgebungsmodells 11 statt.
-
Es ist auch möglich, beim Erzeugen des Umgebungsmodells 11 die Eigenschaften der Objekte 6 mit einem Gewichtungsfaktor zu versehen und das Umgebungsmodell 11 aus den gewichteten Eigenschaften bereitzustellen. Jedem Objekt 6 kann dabei ein anderer und somit ein separater Gewichtungsfaktor zugeordnet werden, welcher beispielsweise abhängig von einem Konfidenzwert des jeweiligen detektierten Objekts 6 und/oder abhängig von einer Entfernung dieses Objekts 6 vom Kraftfahrzeug 1 und/oder abhängig von einer Zeitdauer bestimmt werden kann, für welche dieses Objekt 6 durch das Fahrerassistenzsystem 2 bereits verfolgt wurde.
-
Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf 4 näher erläutert. Beim Erzeugen des Umgebungsmodells 11 werden zunächst gemäß Schritt S1 mehrere Eingangsparameter bereitgestellt, welche dem Optimierungsalgorithmus zugrunde gelegt werden. Diesbezüglich werden gemäß Schritt S12 Kameraparameter der Kamera 3 bzw. ein sogenanntes Kameramodell bereitgestellt. Gemäß Schritt S13 werden in dem Bild 8 die Längsmarkierungen 10 detektiert und die Position relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S14 werden die Fahrzeugtypen der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S15 wird die jeweilige reale Breite der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S16 wird die jeweilige Position der Zielfahrzeuge 7a bis 7e relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S17 werden die oben genannten Relationen der Objekte 6 untereinander ermittelt.
-
Diese Eigenschaften werden dann einer globalen Optimierung gemäß Schritt S2 zugeführt. Gemäß Schritt S21 werden die benötigten Eingangsparameter ausgewählt. Die Schätzung des Umgebungsmodells 11 gemäß dem genannten Optimierungsalgorithmus erfolgt dann gemäß Schritt S22. Gemäß Schritt S23 vergleicht das Fahrerassistenzsystem 2 die ermittelten Eigenschaften der Objekte 6 mit dem bereitgestellten Umgebungsmodell 11. Anhand dieses Vergleichs werden dann gemäß Schritt S3 Eigenschaften detektiert, welche fehlerhaft ermittelt wurden und somit Ausreißer darstellen.
-
Die ursprünglich ermittelten Eigenschaften der Objekte 6, welche zur Erzeugung des optimierten Umgebungsmodells 11 herangezogen wurden, werden somit nochmals dazu genutzt, um die Richtigkeit der Ermittlung dieser Eigenschaften feststellen zu können. Dazu werden die ursprünglich ermittelten Eigenschaften (zum Beispiel die relative Position der Objekte 6 bezüglich des Kraftfahrzeugs 1) mit dem Umgebungsmodell 11 verglichen, welches gemäß dem Optimierungsalgorithmus erzeugt wurde.
-
Dieses Verfahren ist zusätzlich auch in 5 veranschaulicht. Hier werden gemäß Schritt S101 die Eigenschaften der detektierten Objekte 6 ermittelt. Diese Eigenschaften werden dann gemäß Schritt S102 zur Erzeugung des optimierten Umgebungsmodells 11 verwendet. Die Eigenschaften werden dann mit dem ermittelten Umgebungsmodell gemäß Schritt S103 verglichen. Das Ergebnis dieses Vergleiches sind Eigenschaften, welche ursprünglich fehlerhaft ermittelt wurden und somit mit einem Fehler behaftet sind. Diese Eigenschaften stellen Ausreißer dar.
-
Wie aus 5 hervorgeht, wurde im Ausführungsbeispiel die relative Position der Zielfahrzeuge 7c, 7d relativ zum Kraftfahrzeug 1 fehlerhaft bestimmt. Während die relative Position des Zielfahrzeugs 7c lediglich in x-Richtung fehlerhaft bestimmt wurde, ist die relative Position des Zielfahrzeugs 7d sowohl in x-Richtung als auch in y-Richtung mit einem Fehler behaftet. Diese Fehler werden anhand des Vergleichs der ermittelten relativen Positionen der Zielfahrzeuge 7c, 7d mit dem optimierten Umgebungsmodell 11 detektiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2005/037619 A1 [0006]
- US 8412448 B2 [0007]
- US 8121348 B2 [0008]
