-
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs, bei welchem mittels einer Auswerteeinrichtung von einer Kamera des Kraftfahrzeugs zumindest ein Bild von der Umgebung empfangen wird und in der Umgebungskarte anhand des zumindest einen Bilds ein Freiraum bestimmt wird, welcher einen Teil der Umgebung innerhalb eines Erfassungsbereichs der Kamera beschreibt, der frei von Hindernissen für das Kraftfahrzeug ist. Überdies betrifft die vorliegende Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem derartigen Fahrerassistenzsystem.
-
Das Interesse richtet sich vorliegend insbesondere auf Fahrerassistenzsysteme für Kraftfahrzeuge, die dazu dienen, den Fahrer beim Führen des Kraftfahrzeugs zu unterstützten. Aus dem Stand der Technik sind hierzu Fahrerassistenzsysteme bekannt, die beispielsweise zumindest einen Sensor umfassen, mit dem eine Umgebung des Kraftfahrzeugs erfasst werden kann. Insbesondere kann mit dem zumindest einen Sensor überprüft werden, ob sich in der Umgebung des Kraftfahrzeugs ein Hindernis für das Kraftfahrzeug befindet. Derartige Sensoren können beispielsweise Kameras, Ultraschallsensoren, Radarsensoren, Lidar-Sensoren oder dergleichen sein.
-
Um eine Kollision des Kraftfahrzeugs und einem Hindernis in der Umgebung des Kraftfahrzeugs zu vermeiden, nutzen heutige Fahrerassistenzsysteme immer mehr eine sogenannte Umgebungskarte. Diese Umgebungskarte beschreibt die Umgebung des Kraftfahrzeugs. Anhand der Daten der Sensoren können Hindernisse in der Umgebung des Kraftfahrzeugs erkannt und in die Umgebungskarte eingetragen werden. Anhand der Umgebungskarte kann dann das Kraftfahrzeug beispielsweise autonom eingeparkt oder gefahren werden. Dabei wird das Kraftfahrzeug insbesondere innerhalb eines sogenannten Freiraums bewegt. Der Freiraum beschreibt den Teil in der Umgebung innerhalb eines Erfassungsbereichs des Sensors, der frei von Hindernissen für das Kraftfahrzeug ist.
-
Die Umgebungskarte kann beispielsweise als vektorielle Karte oder als Gitterkarte erzeugt werden. Bei einer vektoriellen Umgebungskarte wird eine Existenzwahrscheinlichkeit für jedes Objekt anhand der Messungen bezüglich des Freiraums aktualisiert. Bei einer Gitterkarte ist die Information bezüglich des Freiraums integriert und wird in Abhängigkeit von der Zeit gespeichert. Der Freiraum wird weiterhin dazu genutzt, dynamische und statische Hindernisse in der Umgebungskarte zu löschen, welche aktuell nicht erfasst oder aktualisiert werden. Das bedeutet, dass bei einem guten Modell für den Freiraum vorhergehende Positionen von dynamischen Hindernissen sehr schnell gelöscht werden, ohne dass gültige Informationen zu statischen Hindernissen gelöscht werden. Innerhalb des Freiraums sollen auch zuvor erfasste statische Hindernisse gelöscht werden, deren Position sich seit der letzten gültigen Messung verändert hat. Ferner sollen statische Objekte gelöscht werden, die beispielsweise in Folge einer Aktualisierung der Odometriedaten einen Fehler bezüglich ihrer Position aufweisen. Des Weiteren können innerhalb der Umgebungskarte fälschlicherweise erfasste Objekte gelöscht werden.
-
Bei den meisten Fahrerassistenzsystemen wird der Freiraum dadurch ermittelt, dass ein räumlicher Bereich zwischen dem Fahrzeug und einem detektierten Hindernis bestimmt wird. Hierzu kann beispielsweise in der Umgebungskarte ein Polygon eingetragen werden, welches das Hindernis repräsentiert. Das Polygon kann insbesondere die äußeren Grenzen, die mit dem Sensor erfasst werden können, repräsentieren. Ferner kann zum Bereitstellen der Umgebungskarte bzw. zur Definition des Freiraums ein Modell für den Sensor berücksichtigt werden, bei dem beispielsweise der Erfassungsbereich, in dem mit dem Sensor Hindernisse erfasst werden können, berücksichtigt wird.
-
Hierzu beschreibt die
DE 10 2010 018 994 A1 ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, wobei Informationen über eine Umgebung des Fahrzeugs durch zumindest einen Sensor des Fahrerassistenzsystems erfasst und aus diesen Informationen Sensordaten bereitgestellt werden. Aus den Sensordaten kann eine digitale Umgebungskarte berechnet werden. Dabei ist es vorgesehen, dass die Umgebungskarte für zumindest zwei verschiedene Funktionalitäten des Fahrerassistenzsystems in einem gemeinsamen Format berechnet wird.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine Umgebungskarte einer Umgebung eines Kraftfahrzeugs zuverlässiger bereitgestellt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs. Hierbei wird mittels einer Auswerteeinrichtung von einer Kamera des Kraftfahrzeugs zumindest ein Bild von der Umgebung empfangen und in der Umgebungskarte wird anhand des zumindest einen Bilds ein Freiraum bestimmt, welcher einen Teil der Umgebung innerhalb eines Erfassungsbereichs der Kamera beschreibt, der frei von Hindernissen für das Kraftfahrzeug ist. Zudem wird mittels der Auswerteeinrichtung in dem zumindest einen Bild zumindest ein Bereich erkannt, der mit dem Kraftfahrzeug befahrbar ist. Zudem wird in der Umgebungskarte zumindest ein Grenzelement bestimmt, welches eine räumliche Begrenzung des zumindest einen Bereichs beschreibt. Schließlich wird der Freiraum anhand des zumindest einen Grenzelements definiert.
-
Bei dem Verfahren wird mittels einer Auswerteeinrichtung zumindest ein Bild empfangen, das von einer Kamera des Kraftfahrzeugs erfasst wurde. Dieses zumindest eine Bild der Kamera beschreibt die Umgebung des Kraftfahrzeugs. Bevorzugt beschreibt das zumindest eine Bild der Kamera ein Hindernis in der Umgebung des Kraftfahrzeugs. Dabei kann es auch vorgesehen sein, dass mit der Kamera eine Bildsequenz mit einer Mehrzahl von Bildern bereitgestellt wird und an die Auswerteeinrichtung übertragen wird. Die Auswerteeinrichtung kann durch eine entsprechende Recheneinrichtung, einen Mikroprozessor, einen digitalen Signalprozessor oder dergleichen gebildet sein. Insbesondere wird die Auswerteeinrichtung durch ein elektronisches Steuergerät des Kraftfahrzeugs gebildet. Mit der Auswerteeinrichtung kann dann die Umgebungskarte bereitgestellt werden. In der digitalen Umgebungskarte ist die Umgebung des Kraftfahrzeugs abgebildet, die innerhalb des Erfassungsbereichs der Kamera liegt. Der Erfassungsbereich beschreibt den Bereich, in dem Hindernisse bzw. Objekte mit der Kamera erfasst werden können. Hierbei kann es auch vorgesehen sein, dass mehrere Kameras an dem Kraftfahrzeug angeordnet sind und von jeder der Kamera ein Bild bereitgestellt wird. Die Umgebungskarte kann dann anhand der jeweiligen Bilder der Kameras bestimmt werden. Diese Umgebungskarte kann beispielsweise dazu genutzt werden, um ein Fahrerassistenzsystem des Kraftfahrzeugs zu betreiben. Es kann auch vorgesehen sein, dass die digitale Umgebungskarte auf einer Anzeigeeinrichtung des Kraftfahrzeugs dargestellt wird.
-
Anhand der digitalen Umgebungskarte kann dann ein Freiraum bestimmt werden. Beispielsweise kann ein Modell für den Freiraum ermittelt werden. Der Freiraum beschreibt insbesondere den Bereich in der Umgebung des Kraftfahrzeugs, der frei von Hindernissen für das Kraftfahrzeug ist. Ein Objekt in der Umgebung des Kraftfahrzeugs ist insbesondere dann ein Hindernis, wenn das Hindernis nicht von dem Kraftfahrzeug überfahren werden kann. Wenn das Kraftfahrzeug auf das Hindernis trifft, droht insbesondere eine Beschädigung des Kraftfahrzeugs. Innerhalb der Umgebungskarte kann insbesondere zwischen statischen Hindernissen, also nicht bewegten Hindernissen, und dynamischen Hindernisse, also bewegten Hindernissen, unterschieden werden. Dabei ist es insbesondere vorgesehen, dass die aktuelle Position der dynamischen Hindernisse in der Umgebungskarte angezeigt wird. Hierzu ist es notwendig, dass die frühere Position des dynamischen Hindernisses, die beispielsweise zu einem vorhergehenden Messzyklus bzw. aus einem zuvor bestimmten Bild bestimmt wurde, gelöscht wird. Insbesondere zeichnet sich ein gutes Modell für den Freiraum dadurch aus, dass dynamische Hindernisse in ihrer vorhergehenden Position sehr schnell gelöscht werden, ohne dass statische Hindernisse gelöscht werden oder Informationen zu den statischen Hindernissen verloren gehen. Weiterhin sollen in der Umgebungskarte fälschlicherweise detektierte Hindernisse gelöscht werden. Somit kann erreicht werden, dass statische Hindernisse in der Umgebungskarte weiterhin angezeigt werden und die Position von dynamischen Hindernissen schnell aktualisiert werden kann.
-
Erfindungsgemäß ist es nun vorgesehen, dass mittels der Auswerteeinrichtung in dem zumindest einen Bild, das von der Kamera bereitgestellt wird, ein Bereich erkannt wird, der mit dem Kraftfahrzeug befahrbar ist. Anhand des erkannten Bereichs in dem Bild wird in der Umgebungskarte zumindest ein Grenzelement bestimmt, welches eine räumliche Begrenzung des zumindest einen erkannten Bereichs darstellt. Anhand des zumindest einen Grenzelements kann dann der Freiraum innerhalb der Umgebungskarte definiert werden. Bei bekannten Verfahren aus dem Stand der Technik werden beispielsweise mit Hilfe von entsprechenden Objekterkennungsalgorithmen Hindernisse in der Umgebung des Kraftfahrzeugs erkannt und in Abhängigkeit von der erkannten Position des Hindernisses der Freiraum definiert. Dabei kann es aber der Fall sein, dass die Hindernisse mit Hilfe von Objekterkennungsalgorithmen nicht zuverlässig oder nicht erkannt werden können. Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass einer derartigen fehlerhaften Erkennung von Hindernissen dadurch entgegnet werden kann, dass anhand des Bilds derjenige Bereich in der Umgebung des Kraftfahrzeugs ermittelt wird, der mit dem Kraftfahrzeug befahren werden kann. Hierbei wird berücksichtigt, dass zur Definition des Freiraums in der Umgebungskarte nicht die räumlichen Grenzen eines erfassten Hindernisses berücksichtigt werden. Somit kann zuverlässig verhindert werden, dass bei einer fehlerhaften Erkennung eines Hindernisses oder bei dem Nicht-Erkennen eines Hindernisses eine Kollision zwischen dem Kraftfahrzeug und dem Hindernis droht.
-
Bevorzugt wird als der zumindest eine Bereich eine Straße in dem zumindest einen Bild erkannt, die räumlichen Grenzen der Straße werden in dem zumindest einen Bild bestimmt und das zumindest eine Grenzelement wird in der Umgebungskarte anhand der räumlichen Grenzen der Straße bestimmt. Eine erste Methode zum Bestimmen des zumindest einen Bereichs in der Umgebung, der von dem Kraftfahrzeug befahren werden kann, sieht vor, dass in dem zumindest einen Bild eine Straße erkannt wird. Hierzu kann das zumindest eine Bild mit Hilfe der Auswerteeinrichtung entsprechend ausgewertet werden und die räumlichen Grenzen bzw. die räumliche Erstreckung der Straße in dem Bild erkannt werden. Anhand der räumlichen Grenzen der Straße kann dann beispielsweise ein Abbild der Straße in der Umgebungskarte bestimmt werden. Dieses räumliche Abbild kann die räumlichen Grenzen der Straße in der realen Welt in der Umgebungskarte abbilden. Anhand der Grenzen der Straße kann dann das zumindest eine Grenzelement in der Umgebungskarte bestimmt werden, welches insbesondere den Freiraum in der Umgebungskarte begrenzt. Somit kann auf zuverlässige Weise ein Bereich in der Umgebung des Kraftfahrzeugs ermittelt werden, der von dem Kraftfahrzeug befahren werden kann, ohne dass eine Kollision mit dem Hindernis droht.
-
In einer Ausführungsform wird zum Erkennen der Straße das zumindest eine Bild segmentiert und hierzu das zumindest eine Bild in mehrere Bildblöcke eingeteilt, eine Intensität in jedem der Bildblöcke bestimmt und die Teilbereiche anhand der bestimmten Intensität als Straße klassifiziert. Zum Erkennen der Straße kann das zumindest eine Bild, das von der Kamera bereitgestellt wird, segmentiert werden. Unter dem Begriff Segmentierung ist insbesondere das Erzeugen von inhaltlich zusammenhängenden Regionen bzw. Bereichen durch Zusammenfassen benachbarter Bildpunkte entsprechend eines bestimmten Homogenitätskriteriums zu verstehen. Hierzu können beispielsweise einzelne Bildpunkte mit ihren Nachbarbildpunkten verglichen werden und zu einer Region zusammengefasst werden, falls diese ähnlich sind. Vorliegend wird das zumindest eine Bild in eine Mehrzahl von Bildblöcken eingeteilt. Diese Bildblöcke können beispielsweise in mehreren Zeilen und mehreren Spalten angeordnet sein. Beispielsweise kann das Bild so eingeteilt werden, dass die Bildblöcke in acht Zeilen und acht Spalten angeordnet sind. Für jeden der Bildblöcke wird eine Intensität bestimmt. Insbesondere kann eine Variation der Intensität der jeweiligen Bildblöcke bestimmt werden. Weiterhin kann es vorgesehen sein, dass diejenigen Bildblöcke, deren Variation der Intensität einen vorbestimmten Schwellenwert unterschreitet, ausgewählt werden. Somit können diejenigen Bildblöcke ausgewählt werden, bei denen die Bildpunkte eine im Wesentlichen homogene Verteilung zueinander aufweisen. Diese ausgewählten Bildblöcke können dann bezüglich ihrer Helligkeit unterschieden werden und somit Objekten in der realen Welt in der Umgebung des Kraftfahrzeugs zugeordnet werden. Dabei kann die jeweilige Helligkeit der ausgewählten Bildblöcke mit einem Grenzwert verglichen werden und diejenigen Bildblöcke bestimmt werden, die einer Straße zuzuordnen sind. Dabei kann es auch vorgesehen sein, dass mehrere zusammenhängende Bildblöcke bestimmt werden, die der Klasse der Straße zugeordnet sind und anhand dieser zusammenhängenden Bildblöcke das Grenzelement in der Umgebungskarte bestimmt wird. Damit kann auf zuverlässige Weise eine Straße und deren räumliche Grenzen bestimmt werden.
-
Gemäß einer weiteren Ausführungsform wird als der zumindest eine Bereich ein Boden in dem zumindest einen Bild erkannt, die räumlichen Grenzen des Bodens in dem zumindest einen Bild bestimmt und das zumindest eine Grenzelement in der Umgebungskarte anhand der räumlichen Grenzen des Bodens bestimmt. Eine zweite Methode, um den zumindest einen Bereich zu erkennen, der von dem Kraftfahrzeug befahren werden kann, beinhaltet das Erkennen eines Bodens in dem Bild. Dabei kann es vorgesehen sein, dass der Boden auch eine Straße umfasst. Der Boden kann auch einen Bereich neben der Straße beschreiben, der mit dem Kraftfahrzeug befahren werden kann. Beispielsweise kann der Boden einer Parkfläche, die separat zur Straße ausgebildet ist, zugeordnet sein. In dem Bereich, der als Boden erkannt wird, können insbesondere keine Hindernisse für das Kraftfahrzeug angeordnet sein. Mit anderen Worten befinden sich in dem Bereich, der als Boden erkannt wird, keine Objekte, deren Höhe beispielsweise einen vorbestimmten Grenzwert überschreitet. Somit kann auf zuverlässige Weise der Bereich ermittelt werden, in dem das Kraftfahrzeug kollisionsfrei bewegt werden kann.
-
Bevorzugt werden zum Erkennen des Bodens mehrere Objekte in dem zumindest einen Bild bestimmt, eine jeweilige Höhe der Objekte in dem zumindest einen Bild wird bestimmt und diejenigen Objekte werden dem Boden zugeordnet, deren Höhe einen vorbestimmten Grenzwert unterschreiten. Hierzu kann beispielsweise ein entsprechender dreidimensionaler Objekterkennungsalgorithmus verwendet werden. Bei üblicherweise verwendeten Objekterkennungsalgorithmen werden Objekte, deren Höhe einen vorbestimmten Grenzwert unterschreitet, nicht berücksichtigt. Dieser vorbestimmte Grenzwert kann beispielsweise 10 cm oder 25 cm betragen. Bei den üblicherweise verwendeten Objekterkennungsalgorithmen werden diese Objekte, deren Höhe den Grenzwert unterschreitet, aussortiert bzw. nicht berücksichtigt. Diese Objekte werden nun herangezogen, um den Boden in dem zumindest einen Bild zu erkennen. Somit kann auf einfache und zuverlässige Weise der Boden in der Umgebung des Kraftfahrzeugs erkannt werden und der Freiraum in Abhängigkeit von dem erkannten Boden bestimmt werden.
-
Gemäß einer weiteren Ausführungsform ist es vorgesehen, dass als der zumindest eine Bereich ein hindernisfreier Raum in dem zumindest einen Bild erkannt wird, welcher frei von Hindernissen ist, räumliche Grenzen des hindernisfreien Raums bestimmt werden und das zumindest eine Grenzelement in der Umgebungskarte anhand der räumlichen Grenzen des hindernisfreien Raums bestimmt wird. Gemäß einer dritten Methode ist es vorgesehen, dass die Hindernisse in der Umgebung des Kraftfahrzeugs aktiv erkannt werden. Hierzu kann beispielsweise ein entsprechender dreidimensionaler Objekterkennungsalgorithmus verwendet werden, mit dem Objekte in dem Bild erkannt werden können, deren Höhe den vorbestimmten Grenzwert überschreitet. Dabei kann es auch vorgesehen sein, dass einzelne Bildpunkte in dem Bild mit Hilfe des Objekterkennungsalgorithmus dem Hindernis zugeordnet werden und die Bildpunkte miteinander verbunden bzw. geclustert werden. Bei der Erkennung der Hindernisse kann zudem eine räumliche Unsicherheit berücksichtigt werden, um die räumlichen Grenzen des hindernisfreien Raums, also des Bereichs in dem Bild, der frei von Hindernissen ist, zu bestimmen. Auf diese Weise kann der Freiraum zuverlässig bestimmt werden.
-
Gemäß einer weiteren Ausgestaltung ist es vorgesehen, dass der Erfassungsbereich in eine vorbestimmte Anzahl von Teilbereichen eingeteilt wird, ein Vorhandensein des zumindest einen Bereichs in jedem der Teilbereiche überprüft wird und das zumindest eine Grenzelement für jeden der Teilbereiche bestimmt wird, in dem der zumindest eine Bereich vorhanden ist. Dabei kann es insbesondere vorgesehen sein, dass die Teilbereiche jeweils eine Form eines Kreissegments aufweisen, wobei ein jeweiliger Mittelpunkt der Teilbereiche einer Position der Umgebungskarte zugeordnet ist. Somit kann für jeden der Teilbereiche bzw. Segmente überprüft werden, ob sich in diesem ein Bereich befindet, der für das Kraftfahrzeug befahrbar ist. Weiterhin kann für jeden der Teilbereiche bzw. Segmente das Grenzelement bestimmt werden. Somit kann Rechenleistung eingespart werden und somit die digitale Umgebungskarte schneller bereitgestellt werden.
-
Weiterhin ist es vorteilhaft, wenn für das zumindest eine Grenzelement ein Minimalwert und ein Maximalwert vorgegeben werden, wobei der Minimalwert und der Maximalwert jeweils einen Abstand zu der Kamera beschreiben. Innerhalb der Umgebungskarte kann ein Minimalwert und ein Maximalwert vorgegeben werden. Der Minimalwert und der Maximalwert können in Abhängigkeit von dem Erfassungsbereich der Kamera definiert werden. Dabei kann es vorgesehen sein, dass das Grenzelement dem Minimalwert zugeordnet wird, falls der zumindest eine Bereich einen geringeren Abstand zu der Kamera aufweist als der Abstand, der dem Minimalwert zugewiesen ist. Weiterhin kann es vorgesehen sein, dass das zumindest eine Grenzelement dem Maximalwert zugeordnet wird, falls der zumindest eine Bereich weiter von der Kamera entfernt ist, als der Abstand, der dem Maximalwert zugeordnet ist. Somit kann das zumindest eine Grenzelement zuverlässig innerhalb des Erfassungsbereichs der Kamera definiert werden.
-
Gemäß einer bevorzugten Ausführungsform werden mittels der Auswerteeinrichtung in dem zumindest einen Bild zumindest zwei voneinander verschiedene Bereiche erkannt, für jeden der zumindest zwei Bereiche wird in der Umgebungskarte das zumindest eine Grenzelement bestimmt und der Freiraum wird anhand der jeweiligen Grenzeelemente definiert. Dabei kann es beispielsweise vorgesehen sein, dass in dem zumindest einen Bild mittels der Auswerteeinrichtung die Straße, der Boden und/oder der hindernisfreie Bereich erkannt werden. Zum Erkennen des Bereichs, der von dem Kraftfahrzeug befahren werden kann, können also die drei zuvor beschriebenen Verfahren verwendet werden. Dabei ist es insbesondere vorgesehen, dass die Ergebnisse aus diesen drei Verfahren miteinander fusioniert werden. Auf diese Weise kann der Freiraum zuverlässig bestimmt werden. Grundsätzlich ist es aber möglich, die Ergebnisse der drei unterschiedlichen Methoden unabhängig voneinander zu betrachten oder beispielsweise die Ergebnisse von nur zwei der drei Methoden miteinander zu fusionieren.
-
Weiterhin ist es vorteilhaft, wenn mittels der Auswerteeinrichtung Sensordaten von zumindest einem weiteren Sensor des Kraftfahrzeugs empfangen werden und der Freiraum zusätzlich in Abhängigkeit von den Sensordaten bestimmt wird. Der zumindest eine weitere Sensor des Kraftfahrzeugs kann beispielsweise ein Ultraschallsensor, ein Lidar-Sensor, ein Laserscanner oder ein Radarsensor sein. Mit Hilfe dieses zumindest einen weiteren Sensors können Hindernisse in der Umgebung des Kraftfahrzeugs erfasst werden. Diese erfassten Hindernisse können dann zudem in die Umgebungskarte eingetragen werden. Weiterhin können die Sensordaten dazu genutzt werden, die Umgebungskarte, die anhand des zumindest einen Bilds bestimmt wurde zu überprüfen.
-
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst eine Kamera und eine Auswerteeinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgelegt ist. Die Auswerteeinrichtung kann beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs gebildet sein. Dabei kann es insbesondere auch vorgesehen sein, dass das Fahrerassistenzsystem eine Mehrzahl von Kameras umfasst, die verteilt an dem Kraftfahrzeug angeordnet sind.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Dabei zeigen:
-
1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches ein Fahrerassistenzsystem mit vier Kameras aufweist;
-
2 eine schematische Darstellung einer Umgebung des Kraftfahrzeugs, in dem sich ein Hindernis befindet, und in dem ein Freiraum gekennzeichnet ist;
-
3 jeweilige Erfassungsbereiche der vier Kameras, welche in Teilbereiche unterteilt sind;
-
4 ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen einer Umgebungskarte gemäß einer ersten Ausführungsform;
-
5 ein Bild der Kamera, in dem eine Straße erkannt wird;
-
6 eine digitale Umgebungskarte, die auf Grundlage des Bilds gemäß 5 bestimmt wurde;
-
7 eine digitale Umgebungskarte in einer weiteren Ausführungsform;
-
8 ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen einer Umgebungskarte gemäß einer zweiten Ausführungsform;
-
9 ein Bild der Kamera, in dem ein Boden erkannt wird;
-
10 eine digitale Umgebungskarte, die auf Grundlage des Bilds gemäß 9 erstellt wurde;
-
11 eine digitale Umgebungskarte in einer weiteren Ausführungsform;
-
12 ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen einer Umgebungskarte gemäß einer dritten Ausführungsform;
-
13 ein Bild der Kamera, in dem ein hindernisfreier Raum erkannt wird;
-
14 eine digitale Umgebungskarte, die auf Grundlage des Bilds gemäß 13 bestimmt wurde;
-
15 eine digitale Umgebungskarte gemäß einer weiteren Ausführungsform; und
-
16 ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen einer Umgebungskarte gemäß einer vierten Ausführungsform.
-
In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches dazu dient, den Fahrer des Kraftfahrzeugs beim Führen des Kraftfahrzeugs 1 zu unterstützten. Das Fahrerassistenzsystem 2 umfasst eine Auswerteeinrichtung 3, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann. Darüber hinaus umfasst das Fahrerassistenzsystem 2 zumindest eine Kamera 4.
-
In dem vorliegenden Ausführungsbeispiel umfasst das Fahrerassistenzsystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Hierbei ist eine der Kameras 4 in einem Frontbereich 5, eine der Kameras 4 in einem Heckbereich 6 und zwei der Kameras 4 in jeweiligen Seitenbereichen 7, insbesondere in Bereichen der Seitenspiegel, angeordnet. Mit den jeweiligen Kameras 4 kann zumindest ein Bild 17 von einem Umgebungsbereich 8 des Kraftfahrzeugs 1 aufgenommen werden. Die Kameras 4 sind zur Datenübertragung mit der Auswerteeinrichtung 3 verbunden. Entsprechende Datenleitungen sind vorliegend der Übersichtlichkeit halber nicht dargestellt. Mittels der Auswerteeinrichtung können die jeweiligen Bilder 17 der Kameras 4 ausgewertet werden.
-
2 zeigt das Kraftfahrzeug 1 in einer Draufsicht. In der Umgebung 8 des Kraftfahrzeugs 1 befindet sich ein Hindernis 9. Das Hindernis 9 stellt insbesondere ein Objekt dar, das mit dem Kraftfahrzeug 1 nicht überfahren werden kann. Wenn das Kraftfahrzeug 1 in Richtung des Hindernisses 9 bewegt wird, droht eine Kollision zwischen dem Kraftfahrzeug 1 und dem Hindernis 9. Das Hindernis 9 kann mit einer der Kameras 4, insbesondere mit der Kamera 4, die in dem Frontbereich 5 des Kraftfahrzeugs 1 angeordnet ist, erfasst werden. Hierzu kann mit der Kamera 4 in einer Region von Interesse 10 ein Bild 17 aufgenommen werden. Dieses Bild 17 kann mit der Auswerteeinrichtung 3 ausgewertet werden. Beispielsweise kann das Hindernis 9 mit einem entsprechenden Objekterkennungsalgorithmus erkannt werden. Dabei kann das Hindernis 9 nur mit einer räumlichen Unsicherheit erkannt werden. Dies ist vorliegend durch die gestrichelten Linien 11 verdeutlicht. Vorliegend soll nun ein sogenannter Freiraum 12 in der Umgebung 8 des Kraftfahrzeugs 1 definiert werden. Der Freiraum 12 beschreibt einen Bereich in der Umgebung 8 des Kraftfahrzeugs 1, der frei von Hindernissen 9 für das Kraftfahrzeug 1 ist.
-
Mit Hilfe der Auswerteeinrichtung 3 soll nun eine digitale Umgebungskarte 21 bereitgestellt werden, welche die Umgebung 8 des Kraftfahrzeugs 1 beschreibt. Innerhalb dieser digitalen Umgebungskarte 21 soll auch der Freiraum 12 bzw. ein Abbild des Freiraums 12 definiert werden. Die Information bezüglich des Freiraums 12 kann dann von dem Fahrerassistenzsystem 2 genutzt werden, um das Kraftfahrzeug 1 beispielsweise semi-autonom zu manövrieren. Vorliegend ist zu erkennen, dass der Freiraum 12 derart definiert wird, dass dieser nicht mit den räumlichen Grenzen des Hindernisses 9 übereinstimmt. Der Grund hierfür ist, dass bei der Erfassung bzw. der Erkennung des Hindernisses 9 räumliche Unsicherheiten auftreten können. Zudem kann es der Fall sein, dass das Hindernis 9 nicht zuverlässig oder nicht erkannt wird.
-
Der Freiraum 12 kann dabei nur in einem vorbestimmten Erfassungsbereich 13 (siehe 3) der jeweiligen Kamera 4 erfasst werden. Außerhalb des Erfassungsbereichs 13 können keine Hindernisse 9 erfasst werden. Weiterhin ist es nicht möglich, dass ein Freiraum 12 bestimmt wird, der sich ausgehend von der Kamera 4 hinter dem Hindernis 9 bestimmt. Der Bereich hinter dem Hindernis 9 ist durch das Hindernis 9 verdeckt und kann somit nicht zuverlässig erfasst werden. Weiterhin sollte grundsätzlich berücksichtigt werden, dass die Hindernisse 9 nicht oder nicht zuverlässig erkannt werden können. Hierzu kann es vorgesehen sein, dass für die jeweiligen Hindernisse, die erkannt werden, in der Umgebungskarte 21 für jedes der Hindernisse 9 ein Konfidenzwert hinterlegt wird. Der Konfidenzwert beschreibt die Wahrscheinlichkeit mit der das Hindernis 9 in der realen Umgebung 8 des Kraftfahrzeugs 1 erfasst wurde. Dabei kann es auch vorgesehen sein, dass für den Freiraum 12 bzw. ein Abbild des Freiraums 12 in der digitalen Umgebungskarte ein Konfidenzwert hinterlegt wird. Wenn sich das Hindernis 9 beispielsweise in der digitalen Umgebungskarte 21 innerhalb des Freiraums 12 befindet, kann der Konfidenzwert des Hindernisses 9 reduziert werden und der Konfidenzwert des Freiraums 12 erhöht werden. Wenn das Hindernis 9 der digitalen Umgebungskarte 21 innerhalb des Freiraums 12 für eine vorbestimmte zeitliche Dauer innerhalb des Freiraums 12 angeordnet ist und der Konfidenzwert des Freiraums 12 höher als der Konfidenzwert des Hindernisses 9 ist, kann das Hindernis 9 aus der Umgebungskarte 21 entfernt werden.
-
3 zeigt das Kraftfahrzeug 1 und die jeweiligen Erfassungsbereiche 13 der Kameras 4, wobei vorliegend die Kameras 4 nicht dargestellt sind. Vorliegend werden die jeweiligen Erfassungsbereiche 13 in eine Mehrzahl von Teilbereichen 14 eingeteilt, die hier jeweils die Form eines Kreissektors aufweisen. Ferner wird zur Definition des Freiraums 12 eine jeweilige Orientierung vorgegeben, die durch die jeweiligen Pfeile 15 gekennzeichnet ist. Diese können zu einem Fahrzeugkoordinatensystem 16 in Bezug gesetzt werden. Zum Definieren der einzelnen Teilbereiche kann ausgehend von einem Ende, das durch die Orientierung 15 bzw. den Pfeil definiert ist, jeweils ein Teilelement 14 bzw. ein Sektor hinzugefügt werden. Dabei kann es insbesondere vorgesehen sein, dass die jeweiligen Teilbereiche 14 bzw. Sektoren gleich groß sind.
-
4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen einer Umgebungskarte der Umgebung 8 des Kraftfahrzeugs 1. In einem Schritt S1 wird das von einer der Kameras 4 aufgenommene Bild 17, das die Umgebung 8 beschreibt, von der Auswerteeinrichtung 3 empfangen. In einem nachfolgenden Schritt S2 wird eine Straße 19 in dem Bild 17 erkannt. Die Straße 19 stellt einen Bereich 25 dar, der mit dem Kraftfahrzeug 1 befahren werden kann, ohne dass eine Kollision mit einem Hindernis 9 droht. In einem weiteren Schritt S3 werden die räumlichen Grenzen 20 der Straße 19 bestimmt. Schließlich wird in einem Schritt S4 der Freiraum 12 anhand der räumlichen Grenzen 20 der Straße 19 bestimmt.
-
5 zeigt das Bild 17, das von der Kamera 4 des Kraftfahrzeugs 1 bereitgestellt wird und an die Auswerteeinrichtung 3 übertragen wird. Innerhalb des Bilds 17 wird eine Region von Interesse 18 definiert, in welcher eine Straße 19 erkannt werden soll. Zur Erkennung der Straße 19 kann eine Segmentierung durchgeführt werden. Hierzu kann das Bild 19 mittels der Auswerteeinrichtung 3 in eine Mehrzahl von Bildblöcken eingeteilt werden. Für jeden der Bildblöcke kann dann eine Intensität bestimmt werden. Diejenigen Bildblöcke, deren Intensität einen vorbestimmten Schwellenwert unterschreitet, kann bezüglich der Helligkeit untersucht werden. Mit Hilfe eines entsprechenden Histogramms können dann diejenigen Bildblöcke erkannt werden, die der Straße zugeordnet sind. Zum Bestimmen des Freiraums 12 können die einzelnen Bildblöcke, die beispielsweise in mehreren Spalten und in mehreren Zeilen angeordnet sind, untersucht werden. Dabei können die einzelnen Spalten von unten nach oben mit Hilfe eines entsprechenden Histogramms untersucht werden. Dabei kann beispielsweise überprüft werden, ob eine vorbestimmte Anzahl von zusammenhängenden Bildblöcken, beispielsweise drei zusammenhänge Bildblöcke, vorliegen. In diesem Fall kann dann der Freiraum 12 bestimmt werden. Dabei kann es auch vorgesehen sein, dass der Mittelpunkt des letzten der Bildblöcke, die der Straße 19 zugeordnet sind, in der Reihe bestimmt wird. Dieser Punkt kann dann als die Grenze 20 der Straße 19 betrachtet werden. Somit können die räumlichen Grenzen 20 der Straße 19 definiert werden.
-
6 zeigt die Umgebungskarte 21, die auf Grundlage des Bilds 17 gemäß 5 bestimmt wurde. Hierbei sind die Bereiche 14 bzw. Segmente des Erfassungsbereichs 13 zu erkennen. Für jeden der Teilbereiche 14 wurde anhand der räumlichen Grenzen 20 der Straße 19 ein Grenzelement 22 bestimmt. Zudem ist ein Abbild 23 des Kraftfahrzeugs 1 und ein Abbild 24 der Kamera 4 in der digitalen Umgebungskarte 21 dargestellt. Anhand der jeweiligen Grenzelemente 22 kann der Freiraum 12 in der Umgebungskarte 21 definiert werden.
-
7 zeigt eine Umgebungskarte 21 gemäß einer weiteren Ausführungsform. Auch hier sind die weiteren Teilbereiche 14 bzw. Segmente zu erkennen. Zudem zeigt die Umgebungskarte 21 eine Line 26, welche die räumlichen Grenzen 20 einer Straße 19 beschreiben. Die Linien 26 stellen ein Abbild der Straße 19 bzw. der Grenzen 20 der Straße 19 dar. Anhand der räumlichen Grenzen 20 bzw. anhand der Linie 26 werden die jeweiligen Grenzelemente 22 bestimmt. Ferner ist für den Freiraum 12 ein Minimalwert 27 und ein Maximalwert 28 vorgegeben. Wenn der Bereich 25 in dem jeweiligen Teilbereich 14 zwischen der Kamera 4 und einem Abstand, der kleiner ist als ein Abstand, der dem Minimalwert 27 zugeordnet ist, wird das Grenzelement 22 dem Minimalwert 27 zugeordnet. Falls der Bereich 25 einen größeren Abstand zu der Kamera 4 aufweist, als ein Abstand, der dem Maximalwert 28 zugeordnet ist, wird das Grenzelement 22 dem Maximalwert 28 zugeordnet. Dies ist vorliegend in den Bereichen, die durch die Pfeile 30 gekennzeichnet sind, gegeben. Wenn in einem Teilbereich der Teilbereiche 14 kein Bereich 25 erkannt wurde, wird das Grenzelement 22 dem Maximalwert 28 zugeordnet und zudem wird dem Grenzelement 22 der Typ Unbekannt zugeordnet. Dies ist vorliegend in dem Bereich, der mit dem Pfeil 31 gekennzeichnet ist, der Fall. Zudem ist in der Umgebungskarte 21 ein Abbild 32 eines weiteren Fahrzeugs dargestellt. Zudem sind Polylinien 33 dargstellt, die die äußeren Grenzen des weiteren Fahrzeugs darstellen. Das weitere Fahrzeug kann beispielsweise mit einem weiteren Sensor des Kraftfahrzeugs 1 erfasst werden. Die Informationen, die anhand des Bilds 17 gewonnen werden und in der Umgebungskarte 21 eingetragen werden, sind unabhängig von den Daten, die mit dem weiteren Sensor des Kraftfahrzeugs 1 bestimmt werden und die Umgebungskarte 21 eingetragen werden.
-
8 zeigt ein Verfahren zum Erzeugen einer Umgebungskarte 21 gemäß einer weiteren Ausführungsform. Auch hier wird in einem Schritt S1 das Bild 17 mit der Kamera 4 bereitgestellt. In einem Schritt S2’ wird als der zumindest eine Bereich 25 ein Boden 34 erkannt. Ferner werden die räumlichen Grenzen 35 des Bodens 34 erkannt. In einem Schritt S3’ werden die Grenzelemente 22 in der Umgebungskarte 21 bestimmt. Schließlich wird in dem Schritt S4 der Freiraum 12 bestimmt.
-
9 zeigt das Bild 17, das von der Kamera 4 aufgenommen wurde. Das Bild 17 wird mittels der Auswerteeinrichtung 3 mit Hilfe eines entsprechenden dreidimensionalen Objekterkennungsalgorithmus ausgewertet. Dabei wird in dem Bild 17 als der Bereich 25 der Boden 34 erkannt. Dazu werden diejenigen Objekte 36 in dem Bild 17 bestimmt, deren Höhe geringer als ein vorbestimmter Grenzwert, beispielsweise 25 cm ist. Diese jeweiligen Objekte 26 können ebenfalls zusammengefasst bzw. geclustert werden.
-
10 zeigt die Umgebungskarte 21, die auf Grundlage des Bilds 17 gemäß 9 bestimmt wurde. Auch hier sind die jeweiligen Teilbereiche 14 bzw. Segmente des Erfassungsbereichs 13 zu erkennen. Zudem sind in denjenigen Teilbereichen 13, in denen der Bereich 25 bzw. der Boden 34 erkannt wurde, die Grenzelemente 22 bestimmt.
-
11 zeigt eine Umgebungskarte 21 gemäß einer weiteren Ausführungsform. In der Umgebungskarte 21 sind entsprechende Abbildungen 37 dargestellt, welche die Objekte 36 des Bodens 34 darstellen. Die jeweilige Form der Abbildungen 37 ergibt sich aus der räumlichen Unsicherheit der Erfassung. Anhand der Abbildungen 37 werden die jeweiligen Grenzlinien 22 bestimmt.
-
12 zeigt ein Verfahren zum Erzeugen einer Umgebungskarte 21 gemäß einer dritten Ausführungsform. Auch hier wird in einem Schritt S1 das Bild 17 mittels der Kamera 4 bereitgestellt und an die Auswerteeinrichtung übertragen. In einem nachfolgenden Schritt S2’’ wird ein Objekt 38 in dem Bild 17 erkannt. Anhand der Objekte 38 wird ein hindernisfreier Raum 39 als der Bereich 25 erkannt. Zudem werden die räumlichen Grenzen 40 des hindernisfreien Raums 39 in einem Schritt S3’’ bestimmt. Schließlich wird in einem Schritt S4 der Freiraum 12 bestimmt.
-
13 zeigt das Bild 17, das mit der Kamera 4 bereitgestellt wird. Hier werden mittels eines dreidimensionalen Objekterkennungsalgorithmus Objekte 38 bestimmt. Anhand der erkannten Objekte 38 wird der hindernisfreie Raum 39 definiert. Zudem werden die räumlichen Grenzen 40 des hindernisfreien Raums 39 definiert.
-
14 zeigt die Umgebungskarte 21 die auf Grundlage des Bilds 13 ermittelt wurde. Auch hier sind die einzelnen Teilbereiche 14 zu erkennen, in denen anhand der räumlichen Grenzen 14 des hindernisfreien Raums 39 die Grenzelemente 22 bestimmt sind.
-
15 zeigt eine Umgebungskarte 21 gemäß einer weiteren Ausführungsform. Hier werden entsprechende Abbildungen 41, 42 der erkannten Objekte 38 dargestellt. Dabei zeigen die Abbildungen 41 die Objekte 38, die nicht Teil der Polylinie 33 sind. Die Abbildungen 42 beschreiben diejenigen Objekte 38 die Teil der Polylinie 33 sind. Auch hier sind die Abbildungen 41, 42 mit einer räumlichen Unsicherheit angegeben.
-
16 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erzeugen der Umgebungskarte 21 gemäß einer vierten Ausführungsform. Hier sind die Verfahrensschritte der Verfahren gemäß den 4, 8 und 12 zusammengefasst. Hierbei werden in einem zusätzlichen Schritt S3a die jeweiligen Ergebnisse der einzelnen Verfahren zum Bestimmen der Bereiche 25 miteinander fusioniert. Auf diese Weise kann der Freiraum 12 zuverlässiger bestimmt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010018994 A1 [0006]
