DE102016201070A1

DE102016201070A1 - Verfahren und Vorrichtung zur Fahrerassistenz

Info

Publication number: DE102016201070A1
Application number: DE102016201070.0A
Authority: DE
Inventors: Zoltan Banko; Tamas Miklos; David Losteiner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2017-07-27
Also published as: FR3047105A1; GB201701167D0; GB2548465A; FR3047105B1

Abstract

Die Erfindung betrifft ein Verfahren zur Fahrerassistenz, wobei Objekte (28) im Umfeld eines Fahrzeugs (1) erfasst werden und eine Warnung ausgegeben wird, wenn sich ein Objekt (28) in einem Totwinkelbereich (26) des Fahrzeugs (1) befindet. Bei dem Verfahren ist vorgesehen, dass Objekte (28) von einem Abstandssensor (14) erfasst werden und deren Entfernung zum Fahrzeug (1) bestimmt wird und dass Gegenstände im Sichtfeld einer Kamera erkannt werden. In einem weiteren Verfahrensschritt werden die durch den Abstandssensor (14) erfassten Objekte (28) unter Verwendung der durch die Kamera (18) erkannten Gegenstände gefiltert und es wird eine Warnung ausgegeben, wenn ein erfasstes Objekt (28) nicht vom Filter verworfen wurde und dessen durch den Abstandssensor (14) bestimmte Entfernung unterhalb eines Warnabstands liegt. Weitere Aspekte der Erfindung betreffen ein Computerprogramm sowie ein Fahrerassistenzsystem (10), welche jeweils zur Ausführung des Verfahrens eingerichtet sind.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur Fahrerassistenz, wobei Objekte im Umfeld eines Fahrzeugs erfasst werden und eine Warnung ausgegeben wird, wenn sich ein Objekt in einem Totwinkelbereich des Fahrzeugs befindet. Weitere Aspekte der Erfindung betreffen ein Computerprogramm, welches das Verfahren ausführt und ein Fahrerassistenzsystem, welches zur Ausführung des Verfahrens eingerichtet ist.
Im Automobilbereich werden verschiedene Fahrerassistenzsysteme eingesetzt, die den Fahrer beim Ausführen verschiedener Fahrmanöver unterstützen sollen. Dazu gehören beispielsweise Rückfahrassistenten, die mit einer Rückfahrkamera, also einer nach hinten ausgerichteten Kamera Bilddaten erfassen und damit dem Fahrer eine bessere Orientierung bei einer Rückwärtsfahrt ermöglichen. Ein anderes Fahrerassistenzsystem warnt den Fahrer beispielsweise vor Objekten, die sich im toten Winkel befinden.
Für ihre Funktion benötigen die Fahrerassistenzsysteme Daten über das Umfeld des Fahrzeugs, wobei hierzu eine Vielzahl von Sensoren, insbesondere auf Ultraschall basierende Sensoren, eingesetzt werden. Die auf Ultraschall basierenden Sensoren senden Ultraschallsignale aus und empfangen von Objekten im Umfeld reflektierte Echos. Aus der Laufzeit des Ultraschallsignals sowie der bekannten Schallgeschwindigkeit in Luft wird die Entfernung zwischen dem Sensor und dem reflektierenden Objekt berechnet. Ein solcher Sensor weist ein Sichtfeld auf, innerhalb dessen er Objekte erfassen kann. Da über den auf Ultraschall basierenden Sensor nur eine Entfernung bestimmt wird, ist es insbesondere im Zusammenhang mit der Warnung vor Objekten im toten Winkel notwendig, weitere Informationen heranzuziehen, um entscheiden zu können, ob sich ein Objekt im toten Winkel befindet oder nicht.
Aus DE 10 2012 204 948 A1 ist ein Verfahren zur Unterstützung eines Fahrers bekannt, bei dem insbesondere der Totwinkelbereich überwacht wird. Dabei ist vorgesehen, mit einem Kamerasystem Objekte im Fahrzeugumfeld zu detektieren. Zusätzlich können weitere Sensoren, wie beispielsweise Ultraschallsensoren, eingesetzt werden. Zur Vermeidung von Fehlwarnungen, die aufgrund eines mehrere Fahrspuren entfernten Fahrzeugs gegeben werden, ist eine Plausibilitätsprüfung vorgesehen. Hierzu wird ein in dem Totwinkelbereich erkanntes Objekt mit Hilfe von Abstandsdaten einer Fahrspur zugeordnet.
Aus DE 10 2012 215 014 A1 ist ein Verfahren zur Überwachung eines toten Winkels bekannt. Für die Überwachung ist eine erste Umgebungserfassungseinrichtung vorgesehen, die beispielsweise in Form mehrerer schräg nach hinten ausgerichteter Ultraschallsensoren ausgeführt ist. Des Weiteren ist eine weitere Umgebungserfassungseinrichtung vorgesehen, die beispielsweise als Kamerasystem ausgeführt ist, um die Daten der ersten Umgebungserfassungseinrichtung zu plausibilisieren. Hierzu werden von einem Modul die Daten der ersten Umgebungserfassungseinrichtung ausgewertet und Objekte erkannt. Zudem wird die Relativgeschwindigkeit des Objekts bestimmt. Anschließend werden die Daten von einem weiteren Modul mit Daten der weiteren Umgebungserfassungseinrichtung plausibilisiert. Nur wenn sich das Objekt im toten Winkel befindet, erfolgt eine Warnung.
Aus DE 10 2013 013 082 A1 ist ein Totewinkelwarnsystem bekannt. Das System umfasst eine Distanzmesseinheit, mit der eine Distanz zwischen dem eigenen Fahrzeug und einem Zielfahrzeug, das sich in einer seitlichen Zone oder in einer hinteren Zone befindet, gemessen wird. Die Distanzmesseinheit ist beispielsweise als Ultraschallsensor ausgeführt. Zudem ist eine als Kamera ausgeführte Einheit vorgesehen, die den Abstand zu einer die Fahrspurbreite begrenzenden Linie bestimmt. Mit Hilfe der bestimmten Fahrspurbreite kann bei einem Zielfahrzeug festgestellt werden, ob es sich auf der benachbarten Fahrspur befindet oder nicht.
Offenbarung der Erfindung
Es wird ein Verfahren zur Fahrerassistenz vorgeschlagen, wobei Objekte im Umfeld eines Fahrzeugs erfasst werden und eine Warnung ausgegeben wird, wenn sich ein Objekt in einem Totwinkelbereich befindet. Bei dem Verfahren ist vorgesehen, dass Objekte in einem Sichtfeld eines Abstandssensors erfasst werden, wobei der Abstandssensor schräg nach hinten ausgerichtet am Fahrzeug angeordnet ist und wobei die Entfernung der erfassten Objekte zum Fahrzeug bestimmt wird. Des Weiteren werden Gegenstände erkannt, die sich im Sichtfeld einer Kamera befinden, wobei die Kamera nach hinten ausgerichtet am Fahrzeug angeordnet ist und wobei die Entfernung eines erkannten Gegenstands zum Fahrzeug berechnet wird und/oder wobei erkannte Gegenstände einer Fahrspur zugeordnet werden. Im Anschluss werden die durch den Abstandssensor erfassten Objekte unter Verwendung der durch die Kamera erkannten Gegenstände gefiltert. Wenn ein erfasstes Objekt nicht vom Filter verworfen wurde und dessen durch den Abstandssensor bestimmte Entfernung unterhalb eines Warnabstands liegt, wird eine Warnung ausgegeben.
Der Warnabstand, bei dessen Unterschreitung eine Warnung ausgegeben wird, ist bevorzugt im Bereich von 3 m bis 5 m gewählt. Besonders bevorzugt wird die Warngrenze im Bereich von 4 m bis 4,5 m gewählt. Beispielsweise beträgt die Warngrenze 4,2 m. Je höher die Warngrenze gewählt ist, desto früher wird die Warnmeldung ausgegeben.
Durch die Ausrichtung des Abstandssensors schräg nach hinten wird erreicht, dass mit nur einem einzigen Abstandssensor der größte Teil eines Totwinkelbereichs erfasst werden kann. Zumindest ist die abgedeckte Fläche des Totwinkelbereichs größer als 50 %. Somit ist bereits ein einziger Abstandssensor pro überwachtem Totwinkelbereich ausreichend. In der Regel wird für jede der beiden Seiten des Fahrzeugs ein Abstandssensor zur Überwachung des jeweiligen Totwinkelbereichs eingesetzt.
Bei dem Verfahren ist vorgesehen, dass ein erfasstes Objekt von Filtern verworfen wird, wenn die vom Abstandssensor ermittelte Entfernung des erfassten Objekts zum Fahrzeug größer als eine Fahrspurbreite ist und durch die Kamera in einem auf Basis der vom Abstandssensor ermittelten Entfernung bestimmten Entfernungsintervall kein Gegenstand erkannt wurde. Alternativ oder zusätzlich werden erfasste Objekte beim Filtern verworfen, wenn durch die Kamera in einem auf Basis der vom Abstandssensor ermittelten Entfernung bestimmten Entfernungsintervall ein Gegenstand erkannt wird, welches sich nicht auf einer dem Fahrzeug benachbarten Fahrspur befindet. Die Fahrspurbreite kann beispielsweise in dem Verfahren fest vorgegeben sein oder beispielsweise unter Verwendung eines Sensors, wie beispielsweise einer Kamera, bestimmt werden.
Als ein Totwinkelbereich wird ein Bereich bezeichnet, der sich neben dem Fahrzeug befindet und vom Fahrer durch einen Blick in den Rückspiegel oder in einen der Seitenspiegel nicht eingesehen werden kann. Dabei deckt ein Totwinkelbereich zumindest einen Bereich ab, der sich in Längsrichtung des Fahrzeugs gesehen bis zu 3 Meter hinter das Fahrzeug erstreckt und beispielsweise bis zur Höhe des Seitenspiegels des Fahrzeugs reicht. Seitlich vom Fahrzeug erstreckt sich der Totwinkelbereich zumindest bis zu einer Entfernung von 3 Metern seitlich vom Fahrzeug weg. Je nach Ausführungsform des Verfahrens kann vorgesehen sein, dass es genau einen Totwinkelbereich gibt, oder es kann beispielsweise zwei Totwinkelbereiche geben, wobei ein Totwinkelbereich an die linke Seite des Fahrzeugs angrenzt und ein weiterer Totwinkelbereich an die rechte Seite des Fahrzeugs angrenzt.
Unter einem erfassten Objekt wird ein durch einen Abstandssensor erfasstes Objekt verstanden, wobei es sich bei dem erfassten Objekt insbesondere um andere Fahrzeuge, wie beispielsweise Lastkraftwagen, Personenkraftwagen, Motorräder oder Fahrräder handeln kann.
Der Abstandssensor kann beispielsweise als Ultraschallsensor, Radarsensor oder Lidarsensor ausgestaltet sein, wobei ein Ultraschallsensor bevorzugt wird. Ein Ultraschallsensor erkennt dabei ausschließlich die Entfernung eines Objekts, kann jedoch nicht angeben, in welcher Richtung sich das Objekt vom Fahrzeug aus gesehen befindet. Alternativ können auch mehrere Abstandssensoren eingesetzt werden, insbesondere Arrays.
Unter dem Erkennen von Gegenständen wird das Erkennen von Gegenständen in einem Sichtfeld einer Kamera verstanden. Dabei kann, je nachdem, was für ein Algorithmus zur Auswertung der von der Kamera gelieferten Bilder eingesetzt wird, ein erkannter Gegenstand beispielsweise mit einem anderen Fahrzeug identisch sein oder es kann sich bei dem erkannten Gegenstand beispielsweise um einen Teil eines anderen Fahrzeugs handeln. Somit kann ein erkannter Gegenstand einem erfassten Objekt oder einem Teil eines erfassten Objekts entsprechen. Insbesondere im Kamerabild markante Teile eines Fahrzeugs wie beispielsweise die Kanten oder ein Nummernschild können hierbei als Gegenstand erkannt werden.
Um zu beurteilen, ob ein erfasstes Objekt sich tatsächlich in einem Totwinkelbereich befindet, ist die durch den Abstandssensor bestimmte Entfernung als alleiniges Kriterium nicht ausreichend. Ist nämlich die bestimmte Entfernung größer als die Breite einer Fahrspur, so kann nicht unterschieden werden zwischen einem Objekt, welches sich auf der benachbarten Fahrspur hinter dem Fahrzeug befindet oder ein Objekt, welches sich auf gleicher Höhe des Fahrzeugs befindet, jedoch zwei Fahrspuren entfernt. Daher ist es vorgesehen, unter Verwendung von durch die Kamera erkannter Gegenstände eine Filterung durchzuführen.
In einer ersten Filtervariante wird für jedes durch einen Abstandssensor erfasstes Objekt geprüft, ob sich in einem auf Basis der vom Abstandssensor ermittelten Entfernung bestimmten Entfernungsintervall ein von der Kamera erkannter Gegenstand befindet. Befindet sich in dem Entfernungsintervall ein erkannter Gegenstand, so ist die Wahrscheinlichkeit hoch, dass der erkannte Gegenstand dem erfassten Objekt entspricht beziehungsweise einem Teil des durch den Abstandssensor erfassten Objekts entspricht. Das vom Abstandssensor erfasste Objekt befindet sich somit in einer Position, an der es sowohl durch den Abstandssensor erfasst als auch durch die Kamera als Gegenstand erkannt werden kann. Da die Kamera nach hinten ausgerichtet ist, zeigt auch das Sichtfeld der Kamera nach hinten, so dass sich das erfasste Objekt mit hoher Wahrscheinlichkeit auf der benachbarten Fahrspur hinter dem Fahrzeug befindet.
Es ist somit gerechtfertigt, eine Warnung auszugeben, da sich das Objekt im Totwinkelbereich befindet.
Wird umgekehrt in einem auf Basis der vom Abstandssensor ermittelten Entfernung bestimmten Entfernungsintervall kein Gegenstand durch die Kamera erkannt, so ist aufgrund des nach hinten ausgerichteten Sichtfelds der Kamera die Wahrscheinlichkeit groß, dass sich das durch den Abstandssensor erfasste Objekt auf gleicher Höhe wie das Fahrzeug selbst befindet und sich somit nicht auf einer benachbarten Fahrspur befindet, sondern mindestens zwei Fahrspuren entfernt ist. In diesem Fall ist keine Warnung gerechtfertigt, da sich das erfasste Objekt nicht im Totwinkelbereich befindet. Es wird daher beim Filtern verworfen.
Wird beim Erkennen von Gegenständen eine Zuordnung der erkannten Gegenstände zu einer Fahrspur vorgenommen, so kann beim Filtern der erfassten Objekte zusätzlich oder alternativ ein erfasstes Objekt verworfen werden, wenn durch die Kamera in einem Entfernungsintervall um die vom Abstandssensor ermittelte Entfernung ein Gegenstand erkannt wird, welcher sich nicht auf einer dem Fahrzeug benachbarten Fahrspur befindet. Wiederum ist die Wahrscheinlichkeit hoch, dass das durch den Abstandssensor erfasste Objekt bzw. ein Teil des Objekts dem durch die Kamera erkannten Gegenstand entspricht und sich somit nicht in einem Totwinkelbereich befindet, sondern wenigstens zwei Fahrspuren vom Fahrzeug entfernt. Eine Warnung wäre in diesem Fall nicht gerechtfertigt.
Bei dem vorgeschlagenen Filterverfahren wird ein Entfernungsintervall verwendet. Bei der Bestimmung des Entfernungsintervalls wird die durch den Abstandssensor bestimmte Entfernung unter Berücksichtigung des Abstands zwischen dem Abstandssensor und der Kamera auf die Lage der Kamera umgerechnet. Da diese Umrechnung nicht notwendigerweise eindeutig ist, ergibt sich hierbei ein Entfernungsintervall.
Bevorzugt wird das Entfernungsintervall erhalten unter Verwendung eines zweidimensionalen Modells und dem durch den Abstandssensor ermittelten Abstand. Bei dem zweidimensionalen Modell wird die Höhe, also die Richtung senkrecht zur Straßenebene, vernachlässigt. Da der Abstandssensor nur eine Richtung bestimmt, kann sich das erfasste Objekt auf einem Kreisbogen befinden, der durch den Öffnungswinkel des Ultraschallsensors bzw. durch dessen Sichtfeld und dem ermittelten Abstand definiert ist. Bei der Umrechnung wird die Lage dieses Kreisbogens in dem Modell um den Abstand zwischen der Kamera und den Abstandssensor in X und Y-Richtung verschoben. Die untere Grenze des Intervalls ist dann durch den geringsten Abstand des Kreisbogens zur Kameraposition gegeben und die obere Grenze des Entfernungsintervalls ist durch den größten Abstand des Kreisbogens zur Kameraposition gegeben.
Das bestimmte Entfernungsintervall kann zusätzlich um einen vorgegebenen Betrag vergrößert werden, um Messfehler auszugleichen. Beispielsweise kann hierzu die obere Grenze um einen Betrag von 1 bis 20 cm vergrößert werden und/oder die untere Grenze um einen Betrag von 1 bis 20 cm verkleinert werden.
Wird ein erfasstes Objekt nicht durch den Filter verworfen, so ist davon auszugehen, dass sich das erfasst Objekt tatsächlich in einem Totwinkelbereich befindet und es wird eine Warnung ausgegeben. Die Warnung kann beispielsweise in Form eines optischen, akustischen oder haptischen Signals erfolgen und es sind auch beliebige Kombinationen dieser Warnsignale möglich. Beispielsweise kann zum Ausgeben der Warnung eine Warnleuchte aktiviert werden, ein Warnton erzeugt werden und/oder das Lenkrad vibrieren.
Bei der im Rahmen des Verfahrens eingesetzten Kamera handelt es sich bevorzugt um eine Rückfahrkamera. Diese ist ohnehin bereits nach hinten ausgerichtet und an vielen Fahrzeugen bereits ohnehin schon vorhanden, so dass zur Durchführung des vorgeschlagenen Verfahrens keine weitere Kamera installiert werden muss.
Bevorzugt werden Gegenstände im Sichtfeld der Kamera durch eine Analyse des optischen Flusses erkannt. Dabei werden die von der Kamera generierten Bilder analysiert und es werden Bewegungen in den Bildern erkannt.
Dabei ist bevorzugt vorgesehen, dass Bereiche im Sichtfeld der Kamera mit einem optischen Fluss in Fahrtrichtung als Gegenstand erkannt werden. Hierbei ist es denkbar, dass je nach Ausführung des Algorithmus beispielsweise ein Fahrzeug als ein Gegenstand erkannt wird oder, dass mehrere markante Bereiche des Fahrzeugs im Kamerabild jeweils als Gegenstand erkannt werden. Für die Durchführung des vorgeschlagenen Verfahrens ist es hierbei unerheblich, ob ein physischer Gegenstand wie ein Fahrzeug in Form eines einzelnen Gegenstands erkannt wird oder in Form einer Vielzahl von Gegenständen erkannt wird. Es ist für das vorgeschlagene Filtern lediglich notwendig, dass ein Gegenstand zuverlässig vom Hintergrund oder von stationären Gegenständen, wie zum Beispiel Zäunen oder Bäumen unterschieden werden kann, wobei stationäre Gegenstände keinen optischen Fluss in Fahrtrichtung aufweisen.
Des Weiteren ist es für das Verfahren wichtig, die Entfernung eines erkannten Gegenstands zum Fahrzeug zu bestimmen. Beispielsweise wird die Entfernung eines im Sichtfeld der Kamera erkannten Gegenstands anhand seiner Position im Sichtfeld berechnet. Hierbei wird beispielsweise ausgenutzt, dass aufgrund der bekannten Ausrichtung der Kamera die Kamerabilder eine bekannte Perspektive aufweisen. Dabei kann es zum Beispiel sein, dass die Entfernung eines erkannten Gegenstands zum Fahrzeug umso geringer ist, je weiter unten im Sichtfeld der Kamera der Gegenstand erkannt wird. Umgekehrt kann die Entfernung dann größer sein, je weiter oben im Sichtfeld ein Gegenstand erkannt wird. Neben der vertikalen Position im Sichtfeld kann auch die horizontale Position im Sichtfeld ausgenutzt werden. Dabei kann für die horizontale Position beispielsweise gelten, dass die Entfernung eines erkannten Gegenstands umso größer ist, je weiter es sich von der Mitte entfernt befindet.
Des Weiteren ist es bevorzugt, dass in dem Sichtfeld der Kamera zumindest ein Bildbereich definiert ist, wobei dem zumindest einen Bildbereich eine Fahrspur zugeordnet ist und wobei ein in dem jeweiligen Bildbereich erkannter Gegenstand der dem Bildbereich zugeordneten Fahrspur zugeordnet wird. Auch hier wird ausgenutzt, dass aufgrund der bekannten Ausrichtung der Kamera auch die Perspektive der Kamerabilder bekannt ist. Somit wird in dem Kamerabild eine jede sichtbare Fahrspur auf einen bestimmten Bildbereich abgebildet. Jeder dieser Bildbereiche kann als eigener Bildbereich definiert werden und jedem dieser Bildbereiche kann eine Fahrspur zugeordnet werden. Wird nun ein Gegenstand in einem solchen Bildbereich erkannt, so kann angenommen werden, dass sich der erkannte Gegenstand auf der diesem Bildbereich zugeordneten Fahrspur befindet. In weiteren Ausführungsformen ist es denkbar, zur Verbesserung der Zuordnung eines erkannten Gegenstands zu einer Fahrspur dessen erkannte Position im Kamerabild auf einen Punkt auf dem Fahrbahnboden umzurechnen.
Zur Definition der Bildbereiche können im Sichtfeld der Kamera Fahrspurmarkierungen erkannt werden und/oder es können Informationen eines im Fahrzeug vorhandenen Spurhalteassistenten berücksichtigt werden.
Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrerassistenzsystems oder eines Subsystems hiervon an einem Fahrzeug handeln oder um eine Applikation für Fahrerassistenzfunktionen, welche beispielsweise auf einem Smartphone oder Tablet ausführbar ist. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wieder beschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-ROM, DVD, Blu-Ray-Disc oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa auf einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.
Erfindungsgemäß wird weiterhin ein Fahrerassistenzsystem vorgeschlagen. Das Fahrerassistenzsystem umfasst eine Kamera und mindestens einen Abstandssensor und ist zur Durchführung eines der hierin beschriebenen Verfahren ausgebildet und/oder eingerichtet. Dementsprechend gelten die im Rahmen des Verfahrens beschriebenen Merkmale entsprechend für das Fahrerassistenzsystem und umgekehrt gelten die im Rahmen des Fahrerassistenzsystems beschriebenen Merkmale entsprechend für die Verfahren.
Bevorzugt ist die Kamera als eine Rückfahrkamera ausgeführt. Dabei ist die Rückfahrkamera bereits ohnehin als Teil eines anderen Fahrerassistenzsystems vorhanden, so dass die Rückfahrkamera gemeinsam verwendet werden kann.
Der mindestens eine Abstandssensor ist bevorzugt ein Ultraschallsensor, Radarsensor oder Lidarsensor, wobei ein Ultraschallsensor besonders bevorzugt ist. Der Abstandssensor ist so ausgerichtet, dass sein Sichtfeld schräg nach hinten vom Fahrzeug aus gesehen weist. Dabei ist es besonders bevorzugt, wenn das Fahrerassistenzsystem sowohl an der linken Fahrzeugseite als auch an der rechten Fahrzeugseite einen derartig angeordneten Abstandssensor aufweist.
Bevorzugt ist des Weiteren eine Warneinrichtung vorgesehen, über die eine Warnung an einen Fahrer des Fahrzeugs abgegeben werden kann. Die Warneinrichtung ist beispielsweise als eine optische Anzeige, einen Lautsprecher oder als ein haptisches Ausgabegerät ausgestaltet. Des Weiteren sind auch beliebige Kombinationen dieser Einrichtungen möglich.
Vorteile der Erfindung
Mit Hilfe des erfindungsgemäß vorgeschlagenen Verfahrens kann bereits unter Verwendung von ausschließlich einem Abstandssensor und einer Kamera eine zuverlässige Totwinkelwarnung gegeben werden, wobei Fehlwarnungen verhindert werden können. Fehlwarnungen sind unbedingt zu vermeiden, da diese den Fahrer eines Fahrzeugs verwirren können und der Fahrer womöglich bei wiederholtem Auftreten eine legitime Warnung ignoriert.
Bei dem vorgeschlagenen Verfahren wird vorteilhafterweise nach dem Erfassen eines Objekts durch den Abstandssensor vor dem Generieren einer Warnung eine Filterung durchgeführt. Für die Filterung werden erkannte Gegenstände im Sichtfeld einer Kamera herangezogen, wobei in besonders vorteilhaften Ausführungsformen die Kamera eine ohnehin bereits im Fahrzeug installierte Rückfahrkamera ist, so dass keine weiteren Systeme installiert werden müssen. Des Weiteren wird ein äußerst einfaches Filterverfahren vorgeschlagen, wobei in einer Variante geprüft wird, ob durch die Kamera bei in etwa der gleichen Entfernung ebenfalls ein Gegenstand erkannt wird. In einer weiteren Variante des Filterverfahrens werden die durch die Kamera erkannten Gegenstände einer Fahrspur zugeordnet und es wird für ein durch einen Abstandssensor erfasstes Objekt geprüft, ob bei in etwa der gleichen Entfernung durch die Kamera ein Gegenstand auf der benachbarten Fahrspur erkannt wird. Diese Vergleiche der Entfernungen sind einfach durchzuführen, so dass das Filterverfahren leicht technisch umgesetzt werden kann und keine großen Rechnerressourcen erforderlich sind. Des Weiteren ist das Filterverfahren aufgrund seiner Einfachheit äußerst robust und zuverlässig.
Bei dem vorgeschlagenen Verfahren ist es vorteilhafterweise auch äußerst einfach, Gegenstände in den Kamerabildern zu erkennen. Für das Funktionieren des Filterverfahrens ist es nämlich nicht erforderlich, ein Fahrzeug in den Kamerabildern zu identifizieren, es ist bereits ausreichend, Bildbereiche in den Kamerabildern zu identifizieren, deren optischer Fluss in Fahrtrichtung zeigt. Ob diese identifizierten Bildbereiche zum gleichen Gegenstand gehören, muss nicht sichergestellt werden, so dass auch das Auswerten der Kamerabilder äußerst einfach ist und mit wenig Rechenressourcen eine robuste und zuverlässige Auswertung der Kamerabilder erfolgen kann.
Zusammenfassend ist es mit dem erfindungsgemäßen Verfahren auf einfache Weise möglich, auch dann zuverlässig eine Warnmeldung generieren zu können, wenn die durch den Abstandssensor ermittelte Entfernung größer ist als eine Fahrspurbreite, da mit dem vorgeschlagenen Verfahren unterschieden werden kann, ob das erfasste Objekt sich auf einer benachbarten Fahrspur befindet oder nicht. Es ist daher nicht erforderlich, mit einer Warnung abzuwarten, bis die ermittelte Entfernung kleiner ist als eine Fahrspurbreite.
Kurze Beschreibung der Figuren
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
1 eine erste Verkehrssituation,
2 eine zweite Verkehrssituation,
3 in einem Kamerabild erkannte Objekte,
4 eine dritte Verkehrssituation und
5 das Zuordnen von erkannten Objekten zu einer Fahrspur.
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Komponenten und Elemente mit gleichen Bezugszeichen bezeichnet, wobei eine wiederholte Beschreibung dieser Komponenten oder Elemente in Einzelfällen nicht erfolgt. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
In 1 ist ein Ausschnitt einer mehrspurigen Straße 4 dargestellt, wobei der Ausschnitt drei Fahrspuren 35, 36, 38 in gleicher Fahrtrichtung zeigt. Die Fahrspuren 35, 36, 38 weisen jeweils eine, beispielsweise gleich große Fahrspurbreite 40 auf. Auf der rechten Fahrspur 35 befindet sich ein Fahrzeug 1, welches ein Fahrerassistenzsystem 10 umfasst. Das Fahrerassistenzsystem 10 weist ein Steuergerät 12, einen Abstandssensor 14 und eine Kamera 18 auf. Des Weiteren umfasst das Fahrerassistenzsystem 10 eine Warneinrichtung 2, mit der der Fahrer des Fahrzeugs 1 gewarnt werden soll, wenn sich ein Fahrzeug in einem Totwinkelbereich 26 aufhält. Ein Totwinkelbereich 26 grenzt in dem dargestellten Beispiel an die linke Seite des Fahrzeugs 1 an und erstreckt sich in Längsrichtung des Fahrzeugs 1 gesehen 3 Meter nach hinten von der hinteren Kante des Fahrzeugs 1 aus gesehen und nach vorne bis etwa auf die Höhe der Seitenspiegel des Fahrzeugs 1. Die Breite des Totwinkelbereichs 26 ist vergleichbar mit der Fahrspurbreite 40 und beträgt beispielsweise 3 Meter.
Das Fahrerassistenzsystem 10 ist derart eingerichtet, dass der Fahrer des Fahrzeugs 1 über die Warneinrichtung 2 einen Hinweis erhält, sofern sich ein Objekt 28, wie beispielsweise ein weiteres Fahrzeug 6, in dem Totwinkelbereich 26 befindet. Zur Überwachung des Totwinkelbereichs 26 ist der Abstandssensor 14 derart am Fahrzeug 1 angeordnet, dass ein Sichtfeld 22 des Abstandssensors 14 schräg nach hinten weist, also seitlich nach hinten ausgerichtet ist. Der Abstandssensor 14 ist zudem derart eingerichtet, dass er zu einem erfassten Objekt 28 eine Entfernung bestimmen kann. Zum Beispiel im Fall eines einzelnen Ultraschallsensors 16, kann der Abstandssensor 14 jedoch nicht die Richtung ermitteln, in der sich das Objekt 28 vom Fahrzeug 1 aus gesehen befindet. In dem in 1 dargestellten Beispiel ist lediglich auf der linken Seite des Fahrzeugs 1 ein Totwinkelbereich 26 eingezeichnet, jedoch ist bevorzugt ebenfalls vorgesehen, auch auf der rechten Seite des Fahrzeugs 1 einen Abstandssensor 14 entsprechend anzuordnen, so dass auch auf der rechten Fahrzeugseite ein Totwinkelbereich überwacht werden kann.
Zusätzlich zu dem Abstandssensor 14 weist das Fahrzeug 1 auch die Kamera 18 auf, die bevorzugt als Rückfahrkamera 20 ausgestaltet ist und somit nach hinten zeigt. Dementsprechend ist das Sichtfeld 24 der Rückfahrkamera 20 entgegen der Fahrtrichtung des Fahrzeugs 1 ausgerichtet. In dem Sichtfeld 24 der Kamera 18 liegt ein Teil der rechten Fahrspur 35, auf der sich das Fahrzeug 1 befindet, sowie Teile der benachbarten Fahrspur 36 und einer entfernten Fahrspur 38.
Nachdem durch den Abstandssensor 14 das Objekt 28 erfasst wurde und dessen Entfernung zum Fahrzeug 1 bestimmt worden ist, wird eine Filterung durchgeführt, bei der von der Kamera 18 erkannte Gegenstände verwendet werden. Das Erkennen von Gegenständen in dem Bild der Kamera 18 wird nachfolgend in Bezug zur 3 näher erläutert.
In dem in 1 dargestellten Beispiel werden durch die Kamera 18 Gegenstände erkannt, deren Entfernung zum Fahrzeug 1 der durch den Abstandssensor 14 bestimmten Entfernung des erfassten Objekts 28 umgerechnet auf die Lage der Kamera 18 entspricht. Somit ist ausgeschlossen, dass das erfasste Objekt 28 sich auf gleicher Höhe wie das Fahrzeug 1 auf der entfernten Fahrspur 38 befindet. Das erfasste Objekt 28 wird daher bei der Filterung nicht verworfen.
Zusätzlich oder alternativ können die durch die Kamera 18 erkannten Gegenstände einer Fahrspur 36, 38 zugeordnet werden. In diesem Fall wird bei der Filterung geprüft, ob bei der durch den Abstandssensor 14 bestimmten Entfernung des erfassten Objekts 28 umgerechnet auf die Lage der Kamera 18 durch die Kamera 18 ein Gegenstand erkannt wird, welcher sich auf der benachbarten Fahrspur 36 befindet. Erkennt die Kamera 18 einen Gegenstand auf der entfernten Fahrspur 38, so wird das erfasste Objekt 28 verworfen. In dem in 1 dargestellten Beispiel befindet sich das erfasste Objekt 28 auf der benachbarten Fahrspur 36, so dass es bei der Filterung nicht verworfen wird.
Somit wird in der in 1 dargestellten Verkehrssituation durch das erfindungsgemäße Verfahren festgestellt, dass sich das erfasste Objekt 28 in dem Totwinkelbereich 26 befindet und es wird unter Verwendung der Warneinrichtung 2 eine Warnung ausgegeben.
2 zeigt eine zweite Verkehrssituation, wobei sich das Fahrzeug 1 wiederum auf der rechten Fahrspur 35 der Straße 4 befindet.
Im Unterschied zu der in 1 dargestellten Verkehrssituation wird nun durch den Ultraschallsensor 16 ein Objekt 28 erfasst, welches sich nicht in dem Totwinkelbereich 26 befindet. Das erfasste Objekt 28 befindet sich nämlich nicht auf der benachbarten Fahrspur 36, sondern auf der entfernten Fahrspur 38. Allein unter Verwendung der durch den Ultraschallsensor 16 ermittelten Entfernung kann jedoch durch das Fahrerassistenzsystem 10 nicht unterschieden werden, ob sich das erfasste Objekt 28 auf der entfernten Fahrspur 36 in etwa auf Höhe des Fahrzeugs 1 befindet oder ob es sich in einem Bereich schräg hinter dem Fahrzeug 1 auf der benachbarten Fahrspur 36 befindet. Daher wird im Filterschritt geprüft, ob durch die Rückfahrkamera 20 bei der durch den Ultraschallsensor 16 ermittelten und auf die Lage der Rückfahrkamera 20 umgerechneten Entfernung Gegenstände erkannt werden. Da dies in der in 2 dargestellten Verkehrssituation nicht der Fall ist, wird das erfasste Objekt 28 bei der Filterung verworfen, so dass keine Warnung ausgegeben wird.
In 3 ist beispielhaft ein Bild der Rückfahrkamera 20 dargestellt. Durch den Ultraschallsensor 16 wurde ein erfasstes Objekt 28 ermittelt und die Entfernung des erfassten Objekts 28 zum Fahrzeug 1 wurde bestimmt. In der 3 ist die auf die Lage der Rückfahrkamera umgerechnete Entfernung zu dem erfassten Objekt 28 mit einem Pfeil mit Bezugszeichen 30 angedeutet. Bei dem erfassten Objekt 28 handelt es sich um ein weiteres Fahrzeug 6, welches sich schräg hinter dem Fahrzeug 1 befindet, jedoch noch außerhalb des Totwinkelbereichs 26.
Durch Analyse des optischen Flusses der durch die Rückfahrkamera 20 gelieferten Bilder werden in dem Bild des weiteren Fahrzeugs 6 verschiedene markante Bereiche als Gegenstände 32 erkannt. Für die Durchführung des vorgeschlagenen Verfahrens ist es nicht wichtig, das weitere Fahrzeug 6 als Ganzes zu identifizieren, es ist vollkommen ausreichend, wenn markante, dem weiteren Fahrzeug 6 zugeordnete Bildbereiche, als Gegenstände 32 erkannt werden, da im bevorzugt vorgesehenen Verfahren lediglich überprüft wird, ob sich der erkannte Gegenstand 32 in einem auf Basis der vom Abstandssensor 14 ermittelten Entfernung 30 bestimmten Entfernungsintervall befindet oder nicht. Hierdurch wird die für die Bildverarbeitung notwendige Rechenleistung erheblich reduziert.
In der 4 ist eine dritte Verkehrssituation dargestellt, die im Wesentlichen der zweiten Verkehrssituation der 2 entspricht. Im Gegensatz zu der zweiten Verkehrssituation der 2 befindet sich das weitere Fahrzeug 6 jedoch sowohl im Sichtfeld 22 des Ultraschallsensors 16 als auch im Sichtfeld 24 der Rückfahrkamera 20. Somit würde eine Überprüfung, ob durch die Rückfahrkamera 20 bei der durch den Ultraschallsensor 16 ermittelten und auf die Lage der Rückfahrkamera umgerechneten Entfernung 30 erkannte Gegenstände 32 befinden, positiv ausfallen. Daher kann bei der Filterung zusätzlich oder alternativ eine Zuordnung der erkannten Gegenstände 32 zu einer Fahrspur 36, 38 verwendet werden. Bei der in 4 dargestellten dritten Verkehrssituation wird somit erkannt, dass zwar erkannte Gegenstände 32 bei der durch den Ultraschallsensor 16 bestimmten Entfernung 30 erkannt werden, jedoch sind diese erkannten Gegenstände 32 der entfernten Fahrspur 38 zugeordnet, so dass in der dargestellten dritten Verkehrssituation das durch den Ultraschallsensor 16 erfasste Objekt 28 bei der Filterung verworfen wird. Es wird keine Warnung ausgegeben.
5 zeigt wieder ein Bild der Rückfahrkamera 20, welches weitgehend dem mit Bezug zur 3 beschriebenen Bild entspricht. So zeigt das Bild der Rückfahrkamera 20 wieder das weitere Fahrzeug 6, welches durch den Ultraschallsensor 16 als erfasstes Objekt 28 ermittelt wurde und dessen Abstand 30 ermittelt worden ist. Zudem wurden durch Analyse des optischen Flusses mehrere erkannte Gegenstände 32 bestimmt.
Zusätzlich ist jedoch vorgesehen, zumindest einen Bildbereich 34 zu definieren, der in dem in 5 dargestellten Beispiel der entfernten Fahrspur 38 zugeordnet ist. Erkannte Gegenstände 32, die in dem Bildbereich 34 liegen, werden somit ebenfalls der entfernten Fahrspur 38 zugeordnet. Gegebenenfalls kann zur Verbesserung der Genauigkeit dieser Zuordnung vorgesehen sein, dass eine Umrechnung der Position des erkannten Gegenstands 32 in einen Punkt auf dem Fahrspurboden erfolgt und geprüft wird, ob dieser Punkt in dem Bildbereich 34 liegt. In weiteren Ausführungsformen ist es möglich, weitere Bildbereiche zu definieren, beispielsweise kann auch für die benachbarte Fahrspur 36 ein entsprechender Bildbereich definiert werden und der benachbarten Fahrspur 36 zugeordnet werden. Ebenso kann vorgesehen sein, jeder Fahrspur einen entsprechenden Bildbereich zuzuordnen.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr sind innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012204948 A1 [0004]
DE 102012215014 A1 [0005]
DE 102013013082 A1 [0006]

Claims

Verfahren zur Fahrerassistenz, wobei Objekte (28) im Umfeld eines Fahrzeugs (1) erfasst werden und eine Warnung ausgegeben wird, wenn sich ein Objekt (28) in einem Totwinkelbereich (26) des Fahrzeugs (1) befindet, umfassend die Schritte a) Erfassen von Objekten (28) in einem Sichtfeld (22) eines Abstandssensors (14), wobei der Abstandssensor (14) am Fahrzeug (1) angeordnet ist und mit Bezug zum Fahrzeug (1) schräg nach hinten ausgereichtet ist und wobei die Entfernung der erfassten Objekte (28) zum Fahrzeug (1) bestimmt wird, b) Erkennen von Gegenständen (32) im Sichtfeld (24) einer Kamera (18), wobei die Kamera (18) am Fahrzeug (1) angeordnet ist und mit Bezug zum Fahrzeug (1) nach hinten ausgerichtet ist und wobei die Entfernung eines erkannten Gegenstands (32) zum Fahrzeug (1) berechnet wird und/oder wobei erkannte Gegenstände (32) einer Fahrspur (36, 38) zugeordnet werden, c) Filtern der durch den Abstandssensor (14) erfassten Objekte (28) unter Verwendung der durch die Kamera (18) erkannten Gegenstände (32) und d) Ausgeben einer Warnung, wenn ein erfasstes Objekt (28) nicht vom Filter verworfen wurde und dessen durch den Abstandssensor (14) bestimmte Entfernung unterhalb eines Warnabstands liegt, wobei i. ein erfasstes Objekt (28) beim Filtern gemäß Schritt c) verworfen wird, wenn die vom Abstandssensor (14) ermittelte Entfernung (30) des erfassten Objekts (28) zum Fahrzeug (1) größer als eine Fahrspurbreite (40) ist und durch die Kamera (18) in einem auf Basis der vom Abstandssensor (14) ermittelten Entfernung (30) bestimmten Entfernungsintervall kein Gegenstand (32) erkannt wird und/oder ii. ein erfasstes Objekt (28) beim Filtern gemäß Schritt c) verworfen wird, wenn durch die Kamera (18) in einem auf Basis der vom Abstandssensor (14) ermittelten Entfernung (30) bestimmten Entfernungsintervall ein Gegenstand (32) erkannt wird, welches sich nicht auf einer dem Fahrzeug (1) benachbarten Fahrspur (36) befindet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Warnabstand im Bereich von 3 m bis 5 m gewählt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im Schritt b) Gegenstände (32) im Sichtfeld (24) der Kamera (14) durch Analyse des optischen Flusses erkannt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass Bereiche im Sichtfeld (24) der Kamera (18) mit einem optischen Fluss in Fahrtrichtung als Gegenstand (32) erkannt werden.
Verfahren nach einem der Ansprüche 1 oder 4, dadurch gekennzeichnet, dass der Abstand eines im Sichtfeld (24) der Kamera (18) erkannten Gegenstands (32) anhand seiner Position im Sichtfeld (24) berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in dem Sichtfeld (24) der Kamera (18) zumindest ein Bildbereich (34) definiert ist, wobei dem zumindest einem Bildbereich (34) eine Fahrspur (36, 38) zugeordnet ist und wobei ein in dem jeweiligen Bildbereich (34) erkannter Gegenstand (32) der dem Bildbereich (34) zugeordneten Fahrspur (36, 38) zugeordnet wird.
Computerprogramm, das das Verfahren nach einem der Ansprüche 1 bis 6 ausführt, wenn es auf einem Computer abläuft.
Fahrerassistenzsystem (10) umfassend eine Kamera (14) und mindestens einen Abstandssensor (14), dadurch gekennzeichnet, dass das Fahrerassistenzsystem (10) zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 6 eingerichtet ist.
Fahrerassistenzsystem (10) nach Anspruch 8, dadurch gekennzeichnet, dass die Kamera (18) eine Rückfahrkamera (20) ist.
Fahrerassistenzsystem (10) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der mindestens eine Abstandssensor (14) ein Ultraschallsensor (16) ist.