DE102012220191A1

DE102012220191A1 - Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs

Info

Publication number: DE102012220191A1
Application number: DE201210220191
Authority: DE
Inventors: Stefan Lang; Thomas Gussner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-11-06
Filing date: 2012-11-06
Publication date: 2014-05-08

Abstract

Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs (10), wobei Daten über die Umgebung des Fahrzeugs (10) über eine nach vorne ausgerichtete Kamera (12) und über seitlich am Fahrzeug (10) angebrachte Abstandssensoren (14, 16) erfasst und die Daten der Kamera (12) und der Abstandssensoren (14, 16) miteinander verknüpft werden, wobei erkannte Objekte (32, 36) in statische Objekte (32), überholende Objekte und überholte Objekte eingeteilt werden und wobei bei drohender Kollision des Fahrzeugs (10) mit einem Objekt (32, 36) ein Lenkeingriff erfolgt.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs wobei Daten über die Umgebung des Fahrzeugs über eine nach vorne ausgerichtete Kamera und über seitlich am Fahrzeug angebrachte Abstandssensoren erfasst und die Daten der Kamera und der Abstandssensoren miteinander verknüpft werden. Des Weiteren betrifft die Erfindung ein Computerprogrammprodukt und eine Vorrichtung zur Durchführung des Verfahrens.
In modernen Fahrzeugen werden zunehmend Fahrassistenzsysteme eingesetzt, die mithilfe von Daten über die Umgebung des Fahrzeugs den Fahrer bei der Durchführung verschiedener Fahrmanöver unterstützen. Diese Fahrassistenzsysteme umfassen beispielsweise Einparksysteme, welche selbständig Parklücken erkennen und das Fahrzeug in die Parklücke führen können. Ein weiteres Beispiel sind Spurhalteassistenten, die mittels einer Kamera Fahrbahnmarkierungen auf der Straße erfassen und den Fahrer aktiv bei der Querführung des Fahrzeugs unterstützen. Zur Erfüllung ihrer Aufgaben benötigen die genannten Systeme zuverlässige Daten über die Umgebung des Fahrzeugs. Häufig werden dafür optische Kamerasysteme und Abstandssensoren auf Radar- oder Ultraschallbasis eingesetzt. Bei Abstandssensoren auf Ultraschallbasis wird von einem Sender ein Ultraschallsignal ausgesendet, dessen Echo bei Reflexion an einem Hindernis von einem Empfänger am Fahrzeug registriert wird. Aus der Zeit, die zwischen Aussenden und Empfangen des Signals vergangen ist, und der bekannten Schallgeschwindigkeit kann der Abstand zwischen dem Fahrzeug und dem reflektierenden Hindernis berechnet werden. Um ein Abbild der Umgebung des Fahrzeugs zu erhalten, werden mit den am Fahrzeug angeordneten Sensoren mehrfach hintereinander Messungen durchgeführt und die daraus erhaltenen Daten in einem Steuergerät zusammengeführt.
Aus DE 10 2008 038 731 A1 ist ein Verfahren bekannt, bei dem Daten einer Frontkamera und von seitlich an einem Fahrzeug angebrachten Abstandssensoren zusammengeführt werden. Dabei sollen statische Objekte von bewegten Objekten an den Seiten des Fahrzeugs unterschieden werden, um einem Fahrer nur bei beweglichen Objekten eine Warnung zukommen zu lassen. Die Frontkamera erkennt Fahrbahnmarkierungen und statische Objekte. Diese Daten werden mit den Daten der übrigen Sensoren in einer Verknüpfungseinheit zusammengefasst. Werden nun von den seitlichen Sensoren Objekte erfasst, die bereits als statische Objekte eingestuft wurden, erfolgt keine Warnung des Fahrers.
Aus US 2012/0140061 A1 ist ein Verfahren zum Verfolgen von Objekten in der Umgebung eines Fahrzeugs bekannt. Dabei werden Objekte mit einer Kamera und einem Abstandssensor erfasst. Ein Computer kombiniert die Daten der verschiedenen Sensoren und berechnet eine dem Objekt zugeordnete Trajektorie. Des Weiteren erfolgt eine Einstufung des Objekts und es werden Hintergrundobjekte wie beispielsweise Bäume ausgeblendet.
DE 10 2009 006 113 A1 beschreibt ein Verfahren und eine Vorrichtung zur Fusion von Daten mehrerer Sensoren. Als Sensoren werden beispielsweise Stereokameras beschrieben, wobei Objekte in den Bildern erkannt und in verschiedene Klassen eingestuft werden. Es wird zwischen dynamischen Objekten und statischen Bereichen unterschieden. Die ermittelten Daten für die einzelnen Objekte werden fusioniert, wodurch die Qualität der Daten verbessert wird.
Nachteilig am Stand der Technik ist, dass zwar durch die bekannten Verfahren Objekte in der Umgebung des Fahrzeugs als statisch, das heißt unbewegt, oder dynamisch, das heißt bewegt, eingeteilt werden, jedoch für Fahrassistenzsysteme wichtige Daten, wie die Relativgeschwindigkeit dieser Objekte in Bezug auf das Fahrzeug, bei der Einstufung der Objekte nicht berücksichtigt werden. Diese Informationen sind jedoch notwendig für die Entscheidung, ob ein Eingriff durch das Fahrassistenzsystem zur Vermeidung einer Kollision notwendig ist oder nicht.
Offenbarung der Erfindung
Es wird ein Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs vorgeschlagen, wobei Daten über die Umgebung des Fahrzeugs über eine nach vorne ausgerichtete Kamera und über seitlich am Fahrzeug angebrachte Abstandssensoren erfasst und die Daten der Kamera und der Abstandssensoren miteinander verknüpft werden, wobei erkannte Objekte in statische Objekte, überholende Objekte und überholte Objekte eingeteilt werden, und wobei bei drohender Kollision des Fahrzeugs mit einem Objekt ein Lenkeingriff erfolgt.
Die Kamera ist dabei so ausgerichtet, dass sie neben in Fahrtrichtung des Fahrzeugs liegenden Objekten auch die Straße und die darauf befindlichen Fahrbahnmarkierungen erfassen kann. Die Erkennung der einzelnen Objekte in den Kamerabildern erfolgt über den Einsatz von dem Fachmann bekannten Bildverarbeitungsverfahren. Des Weiteren sind am Fahrzeug Abstandssensoren angeordnet, deren Sichtfelder zu den Seiten des Fahrzeugs ausgerichtet sind. Bei den Abstandssensoren kann es sich beispielsweise um Radarbasierende oder Ultraschallbasierende Sensoren handeln. Diese Abstandssensoren erkennen ein Objekt durch dessen Reflexion eines durch den Sensor ausgesandten Signals. Zusätzlich kann über die Signallaufzeit auf die Entfernung des Objekts zum Fahrzeug geschlossen werden.
Die Daten sämtlicher am Fahrzeug angeordneter Sensoren werden einem Steuergerät zugeführt, welches die eingehenden Daten auswertet. Wird durch zwei verschiedene Sensoren ein und dasselbe Objekt erfasst, so werden die von den verschiedenen Sensoren gelieferten Datensätze miteinander zu einem Datensatz über das Objekt verknüpft beziehungsweise fusioniert.
Durch das Steuergerät werden die erkannten Objekte in verschiedene Klassen eingeteilt, nämlich in statische, das heißt stillstehende Objekte, überholende Objekte und überholte Objekte. Statische Objekte sind beispielsweise abgestellte Fahrzeuge, Leitpfosten und Hindernisse am Straßenrand wie Bäume. Bei den überholenden Objekten und überholten Objekten handelt es sich um bewegliche Objekte, das heißt die Eigengeschwindigkeit dieser Objekte ist von 0 verschieden. Die Einteilung dieser bewegten Objekte in überholende Objekte und überholte Objekte erfolgt anhand deren Relativgeschwindigkeit zum Fahrzeug. Bewegt sich das erkannte Objekt schneller als das Fahrzeug, handelt es sich um ein überholendes Objekt, wohingegen bei überholten Objekten die Geschwindigkeit geringer ist als die des Fahrzeugs.
Durch Einbindung weiterer Steuergeräte, wie beispielsweise der Servolenkung des Fahrzeugs, lässt sich bei einer drohenden Kollision des Fahrzeugs mit einem Objekt ein Lenkeingriff durchführen. Ein solcher Eingriff sollte insbesondere dann erfolgen, wenn der Fahrer des Fahrzeugs einen Fahrspurwechsel beabsichtigt, sich aber auf der Zielfahrspur bereits ein überholendes Objekt befindet. Dagegen ist kein Eingriff gerechtfertigt, wenn sich zum Zeitpunkt des Beginns des Spurwechsels zwar auf der Zielfahrspur ein Objekt befindet, dieses jedoch statisch ist oder sich deutlich langsamer als das Fahrzeug bewegt, sodass keine Kollision zu erwarten ist.
In einer Ausführungsform des Verfahrens werden dem Fahrzeug und den erkannten Objekten Trajektorien zugeordnet, wobei sowohl eine laterale als auch eine longitudinale Geschwindigkeit des erkannten Objekts relativ zum Fahrzeug berücksichtigt wird, und wobei bei einer Überschneidung einer Trajektorie eines erkannten Objekts mit der des Fahrzeugs auf eine drohende Kollision geschlossen wird. Auch bei Überschneidung der Trajektorie des Fahrzeugs mit einem statischen Objekt wird auf eine drohende Kollision geschlossen.
Durch die am Fahrzeug angeordneten Abstandssensoren lässt sich der laterale Abstand eines Objekts zum Fahrzeug bestimmen. Wird diese Messung regelmäßig wiederholt, so kann aus der Änderung des Abstands mit der Zeit auch ein Schätzwert für die laterale Relativgeschwindigkeit des Objekts zum Fahrzeug gewonnen werden. Da jedoch insbesondere bei ausgedehnten Objekten wie anderen Autos auf der Straße der Punkt, der das Messsignal des Abstandssensors reflektiert, nicht genau definiert ist, ist der gemessene laterale Abstand und damit auch die gemessene laterale Relativgeschwindigkeit mit einer großen Unsicherheit behaftet. Des Weiteren lässt sich mithilfe eines zur Seite ausgerichteten Abstandssensors prinzipbedingt kein longitudinaler, d.h. in Fahrtrichtung gesehener, Abstand bestimmen. Dieser Umstand verhindert auch eine direkte Schätzung der longitudinalen Geschwindigkeit mithilfe der Abstandssensoren. Zur Bestimmung der Trajektorien der erkannten Objekte werden daher bevorzugt die Daten weiterer Sensoren mitberücksichtigt. Die so bestimmten Trajektorien der erkannten Objekte sowie eine aus der Geschwindigkeit und Fahrtrichtung des Fahrzeugs bestimmte Trajektorie des eigenen Fahrzeugs werden im Steuergerät auf Überschneidungen überprüft. Wird eine Überschneidung einer Trajektorie eines erkannten Objekts mit der des Fahrzeugs festgestellt, wird auf eine drohende Kollision geschlossen und es erfolgt je nach Situation eine Warnung an den Fahrer und/oder ein Lenkeingriff.
Die Erkennung von Objekten in den Kamerabildern kann insbesondere durch eine Analyse des optischen Flusses erfolgen. Dabei wird bei der Verarbeitung der Kamerabilder ein Vektorfeld berechnet, welches die Bewegungsrichtung und Bewegungsgeschwindigkeit für jeden Bildpunkt der Bildsequenz angibt. In einer Ausführungsform des Verfahrens wird als nach vorne ausgerichtete Kamera eine Stereokamera verwendet und die laterale und longitudinale Geschwindigkeit der über die Kameradaten erkannten Objekte relativ zum Fahrzeug werden aus den Kameradaten ermittelt.
Bei der Verwendung einer Stereokamera stehen der Bildbearbeitung neben der Verarbeitung des optischen Flusses auch eine mithilfe der Stereo-Disparität ermittelte Entfernung der einzelnen Bildbestandteile zum Fahrzeug zur Verfügung. Dadurch können zuverlässig Objekte erkannt und deren Position, Größe und Geschwindigkeit geschätzt werden. Darüber hinaus ist es mithilfe der Stereokamera besonders einfach, Freiflächen zu detektieren. Freiflächen sind Bereiche auf der Straße, die nicht von Hindernissen blockiert werden und von Verkehrsteilnehmern befahrbar sind.
Da durch den Einsatz des Kamerasystems, insbesondere im Falle einer Stereokamera, eine besonders genaue Schätzung der Position und Geschwindigkeit von Objekten möglich ist, ist es bevorzugt, diese Daten mit den Daten der weiteren am Fahrzeug angeordneten Abstandssensoren zu kombinieren. Verlässt ein durch die Kamera erkanntes Objekt, zu dem die Geschwindigkeit, insbesondere die laterale und longitudinale Geschwindigkeit relativ zum Fahrzeug, bestimmt worden ist, den Sichtbereich der Kamera, so wird dessen momentane Geschwindigkeit aus den zuvor ermittelten Daten abgeschätzt.
In einer Ausführungsform des Verfahrens wird die laterale Geschwindigkeit eines erkannten Objektes nach Verlassen des Sichtbereichs der Kamera abgeschätzt durch Drehen eines dem Objekt zugeordneten Geschwindigkeitsvektors um den Winkel Ψ, um den das Fahrzeug seit dem letzten Bestimmen der lateralen Geschwindigkeit gegiert, das heißt gedreht ist, wobei die absolute laterale Geschwindigkeit des Objekts als konstant angenommen wird.
Dabei kann der Winkel Ψ aus einer über einen Sensor ermittelten Gierrate dΨ/dt und der Länge eines Zeitschritts Δt bestimmt werden. Die Entwicklung der lateralen Objektgeschwindigkeit v_y vom Zeitschritt k zum Zeitschritt k + 1 folgt dann der folgenden Beziehung: v_y(k + 1) = sin(dΨ/dt·Δt)·v_x(k) + cos(dΨ/dt·Δt)·v_y(k).
Dabei bezeichnen v_x(k) die longitudinale und v_y(k) die laterale Geschwindigkeit des Objekts zum Zeitschritt k. Die initialen Werte für v_x(k) und v_y(k) werden gesetzt, wenn das Objekt aus dem Erfassungsbereich der Kamera in den Erfassungsbereich der seitlich angebrachten Abstandssensoren übergeht. Nähert sich das Objekt von hinten oder von der Seite, das heißt es wurde zuvor nicht von der Kamera erfasst, so wird die initiale laterale Geschwindigkeit als 0 angenommen und für die initiale longitudinale Geschwindigkeit ein Schätzwert eingesetzt.
In einer weiteren Ausführungsform des Verfahrens wird die laterale Geschwindigkeit eines erkannten Objekts nach Verlassen des Sichtbereichs der Kamera abgeschätzt durch Drehen eines dem Objekt zugeordneten Geschwindigkeitsvektors um den Winkel Ψ, um den das Fahrzeug relativ zu einer Fahrbahnmarkierung, die von der Kamera erfasst wird, gedreht ist, wobei angenommen wird, dass sich das Objekt parallel zu der Fahrbahnmarkierung bewegt.
In dieser Variante des Verfahrens wird aus den durch die Kamera erfassten Fahrbahnmarkierungen ein Winkel bestimmt, der den Winkel zwischen dem Kurs des Fahrzeugs und dem Spurverlauf angibt. Mit dem Winkel Ψ kann die laterale Geschwindigkeit eines Objekts durch die Formel v_y(k) = v_x(k)·arctan(Ψ) berechnet werden. Unter der Annahme, dass sich die Geschwindigkeit des Objekts nach Verlassen des Sichtbereichs der Kamera nicht mehr ändert, wird v_x auf den Wert der longitudinalen Objektgeschwindigkeit gesetzt, der beim Übergang des Objekts vom Erfassungsbereich der Kamera in den Erfassungsbereich der Abstandssensoren ermittelt worden ist. Wurde das Objekt zuvor nicht von der Kamera erfasst, so wird v_x geschätzt.
In einer Ausführungsform des Verfahrens wird ein von einem seitlich am Fahrzeug angebrachten Abstandssensor erkanntes Objekt als bewegtes Objekt eingestuft, wenn der in Fahrtrichtung vor dem erkannten Objekt liegende Bereich durch die nach vorn ausgerichtete Kamera als freie Fläche erkannt wird und der jetzt vom Objekt eingenommene Bereich zuvor durch die Kamera als freie Fläche erkannt wurde. Andernfalls wird das vom seitlich am Fahrzeug angebrachten Abstandssensor erkannte Objekt als statisch eingestuft.
Für diese Einstufung wird zum einen die Erkenntnis ausgenutzt, dass ein sich bewegendes Objekt, wie beispielsweise ein Fahrzeug, in Bewegungsrichtung einen freien Raum benötigt, da es andernfalls zu einem Unfall kommen würde. Zum anderen wird die zeitliche Entwicklung berücksichtigt, wobei in einen vormals als frei identifizierten Bereich zwar ein bewegtes Objekt einfahren kann, nicht jedoch plötzlich ein statisches, unbewegtes Objekt auftauchen kann.
In einer Ausführungsform des Verfahrens werden an jeder Seite des Fahrzeugs mindestens ein vorderer und ein hinterer Abstandssensor zur Erfassung von Daten über die Umgebung des Fahrzeugs verwendet, wobei ein erkanntes, bewegtes Objekt als überholendes Objekt eingestuft wird, wenn es zuerst nur von einem hinteren Abstandssensor, und später auch von einem vorderen Abstandssensor erfasst wird und wobei die longitudinale Geschwindigkeit des Objekts relativ zum Fahrzeug aus der Zeitspanne zwischen dem Erfassen des Objekts durch den hinteren Abstandssensor und dem Erfassen des Objekts durch den vorderen Abstandssensor abgeschätzt wird.
In einer weiteren Ausführungsform des Verfahrens wird ein erkanntes bewegtes Objekt als überholtes Objekt eingestuft, wenn es zuerst von der Kamera und später von einem Abstandssensor erfasst wird, wobei die longitudinale Geschwindigkeit des Objekts relativ zum Fahrzeug über die Daten der Kamera bestimmt wird.
Die Behandlung von dynamischen, das heißt bewegten, Objekten kann dabei in Form eines Zustandsautomats ausgestaltet werden, wobei pro Fahrzeugseite ein Zustandsautomat eingesetzt wird. Als Eingangsdaten bekommt der Automat gefilterte und binarisierte Daten der auf der entsprechenden Seite des Fahrzeugs montierten Abstandssensoren. Sind an jeder Seite zwei Abstandssensoren, das heißt ein vorderer und ein hinterer Abstandssensor angeordnet, so bestehen die Eingabewerte aus den beiden Binärwerten vorderer und hinterer Sensor, wobei der jeweilige Binärwert gleich 1 gesetzt wird, wenn die gemessene Distanz weniger als eine Fahrbahnbreite ist und ansonsten auf 0 gesetzt wird.
Der Zustandsautomat besteht aus den drei Hauptzuständen „kein Objekt“, „überholen“ und „überholt werden“. Der Initialzustand des Automaten ist „kein Objekt“. Dieser Zustand wird auch dann eingenommen, wenn von beiden Abstandssensoren auf einer Seite kein Objekt detektiert wird, das heißt wenn beide Eingangswerte binär 0 sind.
Den beiden Zuständen „überholen“ und „überholt werden“ können jeweils beispielsweise drei Unterzustände zugeordnet werden, welche einer Relativposition des Objekts zum Fahrzeug entsprechen. Je nach Änderung der Eingangswerte ist auch ein Wechsel zwischen den Zuständen „überholen“ und „überholt werden“ zulässig.
Nähert sich dem Fahrzeug ein Objekt von hinten, das heißt das Fahrzeug wird von dem Objekt überholt, wird das Objekt zuerst vom hinteren Abstandssensor wahrgenommen und erst nach einer gewissen Zeit durch den vorderen Abstandssensor. Der Zustand des Automaten wechselt dabei von dem ersten Unterzustand von „überholt werden“ über den zweiten Unterzustand in den dritten Unterzustand. Aus der Zeit, die zwischen der erstmaligen Detektion des Objekts und dem Erkennen des Objekts durch den zweiten Abstandssensor vergeht, kann die longitudinale Geschwindigkeit des Objekts abgeschätzt werden.
In dem Fall, dass das Fahrzeug ein anderes bewegtes Objekt überholt, wird das Objekt zunächst im Erfassungsbereich der Kamera sichtbar und dessen Geschwindigkeit kann zuverlässig aus den Kameradaten ermittelt werden. Nach Verlassen des Sichtbereichs der Kamera wird das Objekt weiter unter der Annahme konstanter Absolutgeschwindigkeit verfolgt. Sobald das Objekt in den Sichtbereich der Abstandssensoren eintritt und von diesen erfasst wird, erfolgt eine Verknüpfung der durch die Kamera geschätzten Geschwindigkeit mit dem durch die Abstandssensoren erfassten Objekt. Dabei durchläuft der Zustandsautomat die drei Unterzustände des Zustands „überholen“.
Im Fall einer seitlichen Annäherung eines Objekts, ohne dass dieses vorher durch die Kamera erkannt wurde, ist zunächst ungewiss, ob es sich um ein überholtes oder ein überholendes Objekt handelt. Für die Behandlung des Objekts durch den Zustandsautomat wird dieses je nach Ausführungsvariante des Verfahrens entweder als überholendes oder als ein überholtes Objekt eingestuft, solange keine weiteren Daten vorliegen.
Des Weiteren betrifft die Erfindung eine Vorrichtung zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs umfassend eine nach vorne ausgerichtete Stereokamera, seitlich am Fahrzeug angeordnete Abstandssensoren und ein Steuergerät, welches eingerichtet ist, das beschriebene Verfahren durchzuführen.
Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln, oder um eine Applikation für Fahrassistenzfunktionen, welche auf einem Smartphone ausführbar ist. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa auf einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.
Vorteile der Erfindung
Durch das erfindungsgemäße Verfahren kann der Fahrer eines Fahrzeugs auch in schwierigen Fahrsituationen bei der Querführung eines Fahrzeugs durch einen Lenkeingriff bei drohender Kollision des Fahrzeugs mit einem Objekt unterstützt werden. Dabei ermöglicht die erfindungsgemäße Einstufung erkannter Objekte in der Umgebung des Fahrzeugs in statische Objekte, überholende Objekte und überholte Objekte eine zuverlässige Beurteilung, ob ein Lenkeingriff gerechtfertigt ist oder nicht.
Die vorgeschlagene Einstufung der Objekte ist insbesondere bei schwierigen Verkehrssituation wie einer Baustelle vorteilhaft und kann mittels Lenkeingriff sowohl die Kollision des Fahrzeugs mit der Randbebauung als auch mit anderen Verkehrsteilnehmern in der Baustelle verhindern.
Die für die Einstufung der Objekte notwendigen Informationen werden aus der Kombination von verschiedenen Umfeldsensoren des Fahrzeugs erhalten, wobei diese bereits heute in den meisten Fahrzeugen vorhanden sind. So verfügen viele Fahrzeuge bereits über Abstandssensoren für Einparkassistenten und über Kamerasysteme für Spurhalteassistenten und dergleichen. Somit ist es vorteilhafterweise in der Regel nicht erforderlich, für eine Implementierung des erfindungsgemäßen Verfahrens weitere Sensoren am Fahrzeug anzuordnen.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
Es zeigen:
1 ein Fahrzeug mit seitlich angeordneten Abstandssensoren und einer nach vorne ausgerichteten Kamera,
2a und b ein Fahrzeug in einer Baustelle, wobei der Fahrer des Fahrzeugs die Fahrspur wechseln möchte,
3a und b die Einstufung eines neben dem Fahrzeug befindlichen Objekts,
4 die Abschätzung der lateralen Geschwindigkeit eines neben dem Fahrzeug befindlichen Objekts.
Ausführungsformen der Erfindung
1 zeigt ein Fahrzeug mit seitlich angebrachten Abstandssensoren und einer nach vorne ausgerichteten Kamera.
1 zeigt ein Fahrzeug 10 umfassend eine nach vorne ausgerichtete Kamera 12 und seitlich angebrachte Abstandssensoren 14, 16. Dabei umfasst das Fahrzeug 10 in der in 1 dargestellten Ausführungsform an jeder Seite des Fahrzeugs 10 einen vorderen Abstandssensor 14 und einen hinteren Abstandssensor 16.
Die Kamera 12 ist bevorzugt als Stereokamera ausgeführt, mit deren Hilfe der vor dem Fahrzeug 10 liegende Bereich dreidimensional erfasst werden kann. In 1 ist der Sichtbereich der Kamera 12 mit dem Bezugszeichen 13 markiert. In weiteren Ausführungsformen der Erfindung ist beispielsweise auch der Einsatz einer Infrarotkamera als Kamera 12 denkbar, sodass auch bei schlechten Sichtverhältnissen und völliger Dunkelheit der vor dem Fahrzeug 10 liegende Bereich durch die Kamera erfasst werden kann.
Die seitlich am Fahrzeug 10 angeordneten Abstandssensoren 14, 16 sind beispielsweise auf Ultraschall- oder Radarbasis ausgeführt. Die Erfassungsbereiche der vorderen Abstandssensoren 14 sind in 1 mit dem Bezugszeichen 15 markiert. Die Erfassungsbereiche der hinteren Abstandssensoren 16 des Fahrzeugs 10 tragen das Bezugszeichen 17.
Die Kamera 12 und die Abstandssensoren 14, 16 des Fahrzeugs 10 sind mit einem Steuergerät 20 verbunden, welches die Daten über die Umgebung des Fahrzeugs 10 auswertet. Die Verbindung der Kamera 12 und der Abstandssensoren 14, 16 mit dem Steuergerät 20 kann beispielsweise als CAN-Bus 22 ausgeführt sein.
2a und b zeigen ein Fahrzeug in einer Baustelle.
Die 2a und b zeigen das Fahrzeug 10 welches auf einer Straße in einem Baustellenbereich 30 fährt. Auf Höhe des Fahrzeugs 10 sind zwei Fahrspuren befahrbar, die durch Fahrbahnmarkierungen 34 voneinander getrennt sind. Der befahrbare Bereich der Straße wird durch Leitkegel 32 begrenzt. In der in 2a und b dargestellten Situation befindet sich rechts neben dem Fahrzeug 10 ein weiteres Fahrzeug 36. Der in Fahrtrichtung des Fahrzeugs 10 und des weiteren Fahrzeugs 36 liegende Bereich ist frei befahrbar und die Straße erweitert sich auf der linken Seite um eine weitere Spur.
Möchte der Fahrer des Fahrzeugs 10 die Fahrspur wechseln, bleiben ihm in der in den 2a und 2b dargestellten Situationen zwei Möglichkeiten. Er kann entweder auf die links vom Fahrzeug 10 neu entstehende linke Fahrspur oder auf die rechte Fahrspur wechseln. Dabei wird er durch das erfindungsgemäße Fahrassistenzsystem unterstützt. Dieses hat über die am Fahrzeug angeordneten Abstandssensoren und die nach vorne ausgerichtete Kamera Daten über das Umfeld des Fahrzeugs 10 erfasst. Dabei wurden von den seitlich am Fahrzeug 10 angeordneten Abstandssensoren sowohl auf der linken Seite des Fahrzeugs 10 als auch auf der rechten Seite Objekte 32, 36 erkannt. Dabei wurden die Leitkegel 32 auf der linken Seite des Fahrzeugs 10 als statische Objekte eingestuft und das weitere Fahrzeug 36 zur Rechten des Fahrzeugs 10 als bewegtes Objekt eingestuft.
Möchte der Fahrer des Fahrzeugs 10 wie in 2a dargestellt auf die neu entstehende linke Fahrspur wechseln, erfolgt durch das Fahrassistenzsystem kein Lenkeingriff, da bei einem Fahrspurwechsel nach links, wie mit dem Pfeil mit Bezugszeichen 40 angedeutet, keine Kollision mit einem Objekt 32, 36 droht.
Möchte der Fahrer des Fahrzeugs 10 wie mit dem Pfeil mit dem Bezugszeichen 42 in 2b angedeutet auf die rechte Fahrspur wechseln, ist ein Lenkeingriff durch das Fahrassistenzsystem erforderlich. Da es sich bei dem Objekt 36 um ein bewegtes Objekt handelt, wird dieses zum Zeitpunkt des Fahrspurwechsels den jetzt noch freien Bereich auf der rechten Fahrspur einnehmen, sodass eine Kollision droht.
3a und b zeigen die Einstufung eines Objekts als statisches oder bewegtes Objekt.
In 3a ist ein Fahrzeug 10 dargestellt welches sich in einem Baustellenbereich 30 befindet. Die Straße im Baustellenbereich 30 umfasst zwei Fahrspuren, die durch Fahrbahnmarkierungen 34 voneinander getrennt werden. Der Baustellenbereich 30 ist zu den Seiten durch Leitkegel 32 begrenzt.
Mithilfe der am Fahrzeug 10 angeordneten Abstandssensoren und der ebenfalls am Fahrzeug 10 angeordneten Kamera werden in der Umgebung des Fahrzeugs 10 sowohl die Leitkegel 32 als auch ein rechts neben dem Fahrzeug 10 fahrendes weiteres Auto 36 als Objekte erkannt.
In 3b ist die gleiche Situation wie in 3a dargestellt, jedoch sind alle durch die Kamera des Fahrzeugs 10 erkannten Hindernisse hervorgehoben und mit dem Bezugszeichen 48 markiert.
Durch die seitlich am Fahrzeug 10 angeordneten Abstandssensoren werden sowohl auf der linken Seite des Fahrzeugs 10 Objekte erkannt, als auch auf der rechten Seite des Fahrzeugs 10. Eine Unterteilung der Objekte in statische Objekte und bewegte Objekte erfolgt durch Verknüpfung der Daten der Abstandssensoren mit den Daten der Kamera.
Dazu werden in Fahrtrichtung des Fahrzeugs 10 ein linker Messbereich 44 und ein rechter Messbereich 46 betrachtet.
Der linke Messbereich 44 enthält erkannte Hindernisse 48, woraus geschlossen wird, dass sich in dem Messbereich 44 keine freie Fläche befindet. Daraus kann geschlossen werden, dass es sich bei den links vom Fahrzeug 10 befindlichen Leitkegeln 32 nicht um bewegliche Objekte handeln kann, da diesen für eine Bewegung kein Platz zur Verfügung steht.
Bei dem rechts des Fahrzeugs 10 befindlichen weiteren Fahrzeug 36 kann auf diese Weise eine Bewegung noch nicht ausgeschlossen werden, da in dem rechten Messbereich 46 eine Freifläche, das heißt das Fehlen von Hindernissen, erkannt wird. Nun kommen lediglich noch zwei Möglichkeiten in Frage, entweder handelt es sich bei dem Objekt 36 um ein bewegliches Objekt, oder in Fahrtrichtung gesehen verbreitert sich die Straße um eine weitere Fahrspur. Um zwischen diesen beiden Möglichkeiten unterscheiden zu können, werden zu einem früheren Zeitpunkt aufgenommene Kamerabilder herangezogen, die den Bereich erfassen, der jetzt vom Objekt 36 eingenommen wird. Wurde zu einem früheren Zeitpunkt an der Stelle, an der sich jetzt das Objekt 36 befindet, eine Freifläche erkannt, so muss es sich um ein bewegtes Objekt handeln, andernfalls würde das Objekt 36, als statisches Objekt erkannt.
4 zeigt das Abschätzen der lateralen Geschwindigkeit eines bewegten Objekts nach Verlassen des Sichtbereichs der Kamera.
In 4 ist ein Fahrzeug 10 dargestellt, welches sich in einem Baustellenbereich 30 befindet. Die Straße weist zwei Fahrspuren auf, die durch die Fahrbahnmarkierung 34 voneinander getrennt werden. Die Straße wird im Baustellenbereich 30 zu beiden Seiten durch die Leitkegel 32 begrenzt.
In der in 4 dargestellten Situation überholt das Fahrzeug 10 das rechts neben dem Fahrzeug 10 befindliche weitere Fahrzeug 36. Zu Beginn des Überholmanövers befand sich das weitere Fahrzeug 36 im Sichtbereich der nach vorne ausgerichteten Kamera des Fahrzeugs 10, wobei die longitudinale und die laterale Relativgeschwindigkeit des weiteren Fahrzeugs 36 relativ zum Fahrzeug 10 bestimmt wurden. Zu dem in 4 dargestellten Zeitpunkt wird das weitere Fahrzeug 36 nicht mehr durch die nach vorne gerichtete Kamera des Fahrzeugs 10 erfasst, sondern nur noch durch die an der rechten Seite des Fahrzeugs 10 angebrachten Abstandssensoren. Da mit Hilfe der Abstandssensoren die Relativgeschwindigkeit des weiteren Fahrzeugs 36 nur unzureichend gemessen werden kann, wird die Relativgeschwindigkeit aus den zuletzt mit Hilfe der Kamera erfassten Daten abgeschätzt. In der in 4 dargestellten Situation bewegt sich das weitere Fahrzeug 36 parallel zur Fahrbahnmarkierung 34. Eine Änderung der relativen lateralen Geschwindigkeit zwischen dem Fahrzeug 10 und dem weiteren Fahrzeug 36 lässt sich dann durch Drehen des Geschwindigkeitsvektors, der dem weiteren Fahrzeug 36 zugeordnet ist, um den Winkel Ψ, um das das Fahrzeug 10 in Bezug auf die Fahrbahnmarkierung 34 gedreht ist, berechnen. Dieser Winkel Ψ kann optisch durch Auswertung der Bilder der Kamera des Fahrzeugs 10 gemessen werden.
In einer Weiteren Ausführungsform der Erfindung ist es möglich den Winkel Ψ über die Gierrate des Fahrzeugs 10 zu bestimmen. Dazu wird am Fahrzeug 10 ein Gierratensensor angeordnet, der die Gierrate dΨ/dt misst. Durch Multiplikation der Gierrate dΨ/dt mit der zwischen zwei Zeitschritten vergangenen Zeitdauer Δt kann die Drehung des Fahrzeugs während dieses Zeitschritts berechnet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008038731 A1 [0003]
US 2012/0140061 A1 [0004]
DE 102009006113 A1 [0005]

Claims

Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs (10), wobei Daten über die Umgebung des Fahrzeugs (10) über eine nach vorne ausgerichtete Kamera (12) und über seitlich am Fahrzeug (10) angebrachte Abstandssensoren (14, 16) erfasst und die Daten der Kamera (12) und der Abstandssensoren (14, 16) miteinander verknüpft werden, dadurch gekennzeichnet, dass erkannte Objekte (32, 36) in statische Objekte (32), überholende Objekte und überholte Objekte eingeteilt werden und dass bei drohender Kollision des Fahrzeugs (10) mit einem Objekt (32, 36) ein Lenkeingriff erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Fahrzeug und den erkannten Objekten (32, 36) Trajektorien zugeordnet werden, wobei sowohl eine laterale als auch eine longitudinale Geschwindigkeit des erkannten Objekts (32, 36) relativ zum Fahrzeug (10) berücksichtigt wird, und wobei bei einer Überschneidung einer Trajektorie eines erkannten Objekts (32, 36) mit der des Fahrzeugs (10) auf eine drohende Kollision geschlossen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als nach vorne ausgerichtete Kamera (12) eine Stereo Kamera verwendet wird und die laterale und longitudinale Geschwindigkeit der über die Kamera-Daten erkannten Objekte (32, 36) relativ zum Fahrzeug (10) aus den Kamera-Daten ermittelt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die laterale Geschwindigkeit eines erkannten Objekts (32, 36) nach Verlassen des Sichtbereichs (13) der Kamera (12) abgeschätzt wird durch Drehen eines dem Objekt (32, 36) zugeordneten Geschwindigkeitsvektors um den Winkel (Ψ), um den das Fahrzeug (10) seit dem letzten Bestimmen der lateralen Geschwindigkeit gegiert ist, wobei die absolute laterale Geschwindigkeit des Objekts (32, 36) als konstant angenommen wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die laterale Geschwindigkeit eines erkannten Objekts (32, 36) nach Verlassen des Sichtbereichs (13) der Kamera (12) abgeschätzt wird durch Drehen eines dem Objekt zugeordneten Geschwindigkeitsvektors um den Winkel (Ψ), um den das Fahrzeug (10) relativ zu einer Fahrbahnmarkierung (34), die von der Kamera (12) erfasst wird, gedreht ist, wobei angenommen wird, dass das Objekt (32, 36) sich parallel zu der Fahrbahnmarkierung (34) bewegt.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein von einem seitlich am Fahrzeug (10) angebrachten Abstandssensor (14, 16) erkanntes Objekt (32, 36) als bewegtes Objekt (36) eingestuft wird, wenn der in Fahrtrichtung vor dem erkannten Objekt (32, 36) liegende Bereich (46) durch die nach vorne ausgerichtete Kamera (12) als freie Fläche erkannt wird und der jetzt vom Objekt (32, 36) eingenommene Bereich (47) zuvor durch die Kamera (12) als freie Fläche erkannt wurde.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, das ein von einem seitlich am Fahrzeug (10) angebrachten Abstandssensor (14, 16) erkanntes Objekt (32, 36) als statisches Objekt eingestuft wird, wenn der in Fahrtrichtung vor dem erkannten Objekt (32, 36) liegende Bereich (46) durch die nach vorne ausgerichtete Kamera (12) nicht als freie Fläche erkannt wird oder der jetzt vom Objekt (32, 36) eingenommene Bereich (47) zuvor durch die Kamera (12) nicht als freie Fläche erkannt wurde.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass an jeder Seite des Fahrzeugs (10) mindestens ein vorderer (14) und ein hinterer (16) Abstandssensor zur Erfassung von Daten über die Umgebung des Fahrzeugs (10) verwendet werden, wobei ein erkanntes bewegtes Objekt (36) als überholendes Objekt eingestuft wird, wenn es zuerst nur von einem hinteren Abstandssensor (16) und später auch von einem vorderen Abstandssensor (14) erfasst wird, und wobei die longitudinale Geschwindigkeit des Objekts (36) relativ zum Fahrzeug (10) aus der Zeitspanne zwischen dem Erfassen des Objekts (36) durch den hinteren Abstandssensor (16) und dem Erfassen des Objekts (36) durch den vorderen Abstandssensor (14) abgeschätzt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein erkanntes bewegtes Objekt (36) als überholtes Objekt eingestuft wird, wenn es zuerst von der Kamera (12) und später von einem Abstandssensor (14, 16) erfasst wird, wobei die longitudinale Geschwindigkeit des Objekts (36) relativ zum Fahrzeug (10) über Daten der Kamera (12) bestimmt wird.
Vorrichtung zur Unterstützung des Fahrers bei der Querführung eines Fahrzeugs (10), umfassend eine nach vorne ausgerichtete Stereo-Kamera (12), seitlich am Fahrzeug angeordnete Abstandssensoren (14, 16) und ein Steuergerät (20), welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
Computerprogramm, das das Verfahren nach einem der Ansprüche 1 bis 9 ausführt, wenn es auf einem Computer abläuft.