Verfahren und Vorrichtung zur Fahrerunterstützung
Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrerunterstützung, ins- besondere zur Warnung bzw. Querführung des Fahrzeugs bei Verlassen der Fahrspur bzw. bei drohendem Verlassen der Fahrspur.
Warnsysteme, welchen den Fahrer bei Verlassen der Fahrspur bzw. bei drohendem Ver¬ lassen der Fahrspur warnen, sind im Stand der Technik bekannt. Beispielsweise zeigt die EP 1074430 Al eine Vorgehensweise, bei welcher auf der Basis eines Bildsensorsystems die Fahrspur, auf der sich ein Fahrzeug bewegt, ermittelt wird und der Fahrer gewarnt wird, wenn das Fahrzeug diese Fahrspur verläset bzw. zu verlassen droht. Hinweise auf die genauen Randbedingungen, unter denen eine derartige Warnung erfolgt, werden nicht angegeben. Insbesondere wird nicht die jeweilige Fahrsituation berücksichtigt, so dass es zu für den Fahrer unangenehmen Fehlwarnungen kommen kann.
Aus der DE 196 37 053 Al ist bekannt, mittels eines winkelauflösenden Abstands- und Geschwindigkeitssensors, vorzugsweise eines Radar- oder Lasersensors, Objekte auf ei¬ ner Nebenfahrbahn zu erkennen und anhand der Relativgeschwindigkeit dieser Objekte deren Fahrrichtung zu ermitteln.
Vorteile der Erfindung
Durch die Einstellung der Warnung, vorzugsweise einer Warnschwelle bzw. des Warn¬ zeitpunktes, in Abhängigkeit vom Fahrerzustand und/oder der Fahrsituation wird es er¬ möglicht, die Fehlalarmrate insbesondere bei einem Spurverlassen erheblich zu reduzie-
ren, ohne dabei an Sicherheit zu verlieren. In vorteilhafter Weise wird dadurch die Ak¬ zeptanz des Fahrerunterstützungssystems verbessert.
In vorteilhafter Weise entstehen durch die Erweiterung der Funktionalität keine Kosten, da bei Systemen, die allein auf der Basis der Objekterkennung mittels einer Videokamera arbeiten, keine zusätzliche Hardware notwendig ist. In vorteilhafter Weise lassen sich weitere, heute im Kraftfahrzeug eingesetzte Funktionen, bspw. Objekterkennungen mit¬ tels Radarsensoren, zur Erweiterung der Funktionalität einsetzen, sodass auch hier Zu¬ satzkosten durch weitere Hardware nicht entstehen.
In besonders vorteilhafter Weise wird die Warnschwelle ausgedehnt, wenn der Fahrer aufmerksam ist, sodass Fehlwarnungen minimiert werden können, während die Warn¬ schwelle eingeengt wird, um die Gefahrensituation zu minimieren, wenn der Fahrer un¬ aufmerksam ist. Ausdehnung der Warnschelle heißt dabei, dass eine Warnung näher an der Randmarkierung oder sogar nach deren Überschreiten erfolgt, eingeengt heißt, dass die Warnung in deutlich größerem Abstand zur Markierung erfolgt.
Ferner wird in vorteilhafter Weise der Warnzeitpunkt bzw. die Warnschwelle an die Fahrsituation angepasst. Insbesondere wird dabei der Warnzeitpunkt bzw. die Warn- schwelle seitenindividuell vorgegeben, indem bspw. bei einer freien Standspur rechts der
Warnzeitpunkt soweit verschoben wird, dass auch noch nach dem Verlassen der Fahrspur in Richtung Standspur keine Warnung erfolgt. Auch dadurch werden erheblich Fehlalar¬ me reduziert. In einer anderen Situation, wenn auf einer Landstraße bspw. keine Spur rechts vorhanden ist, wird auf der rechten Seite auf Warnungen ganz verzichtet (Abschal- ten der Warnfunktion bzw. Ausdehnen der Warngrenze in nicht erreichbare Bereiche), wodurch auch hier die Fehlalarmrate reduziert wird. Dies deshalb, weil in dieser Fahrsi¬ tuation Warnungen wegen Spurverlassens nicht sinnvoll sind.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbei- spielen bzw. aus den abhängigen Patentansprüchen.
Zeichnung
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfuhrungs¬ formen näher erläutert. Figur 1 zeigt dabei ein Blockschaltbild einer Vorrichtung zur Fah¬ rerwarnung bzw. zur Reaktion bei drohendem Verlassen der Fahrspur durch das Fahr¬ zeug. In Figur 2 ist ein Flußdiagramm skizziert, in welchem die fahrerzustandsabhängige und/oder fahrsituationsabhängige adaptive Einstellung der Warnung im Rahmen einer bevorzugten Ausführungsform dargelegt ist. Die Figuren 3 und 4 zeigen typische Fahrsi¬ tuationen zur Verdeutlichung der Wirkungsweise der adaptiven Einstellung der Warnung.
Beschreibung von Ausführungsbeispielen
Figur 1 zeigt eine Vorrichtung, welche zur Warnung des Fahrers bzw. zur Reaktion bei zukünftigem Verlassen der Fahrspur des Fahrzeugs dient. Gezeigt ist eine Steuer- bzw. Auswerteeinheit 10, welche eine Eingangsschaltung 12, einen Mikrocomputer 14 sowie eine Ausgangsschaltung 16 aufweist. Diese Elemente sind mit einem Bussystem zum ge- genseitigen Datenaustausch miteinander verbunden. Der Eingangsschaltung 12 werden
Eingangsleitungen von verschiedenen Messeinrichtungen zugeführt, über die Messsignale bzw. Messinformationen übermittelt werden. Eine erste Eingangsleitung 20 verbindet die Eingangsschaltung 12 mit einem Bildsensorsystem 22, welches die Szene vor dem Fahr¬ zeug aufnimmt. Entsprechende Bilddaten werden über die Eingangsleitung 20 übermit- telt. Ferner sind Eingangsleitungen 24 bis 28 vorgesehen, welche die Eingangsschaltung
12 mit Messeinrichtungen 30 bis 34 verbinden. Bei diesen Messeinrichtungen handelt es sich beispielsweise um Messeinrichtungen zur Messung der Fahrzeuggeschwindigkeit, zur Erfassung des Lenkwinkels oder der Gierrate sowie zur Erfassung weiterer Betriebs¬ größen des Fahrzeugs, welche im Zusammenhang mit der nachfolgend beschriebenen Vorgehensweise Bedeutung haben. Über die Ausgangsschaltung 16 und die Ausgangslei¬ tung 36 wird wenigstens eine Warneinrichtung 38 angesteuert, beispielsweise eine Warn¬ lampe und/oder ein Lautsprecher für eine akustische Warnung oder für eine Sprachaus¬ gabe und/oder ein Display für die Anzeige eines Bildes, mit deren Hilfe der Fahrer vor dem zu befürchtenden Verlassen der Fahrspur nach Maßgabe der nachfolgend dargestell- ten Vorgehensweise informiert bzw. gewarnt wird. Darüber hinaus oder alternativ dazu ist in einigen Ausführungsbeispielen vorgesehen, über die Ausgangsschaltung 16 und ei¬ ne Ausgangsleitung 40 ein Stellsystem 42 anzusteuern, welches automatisch beispiels¬ weise durch Eingriff in die Lenkung des Fahrzeugs das Fahrzeug wieder in die Spur zu¬ rückführt und so das Verlassen der Fahrspur verhindert.
- A -
Im bevorzugten Ausfuhrungsbeispiel erfolgt die Erkennung der Fahrspurmarkierungen mit einem Bildsensorsystem, vorzugsweise einem Kamerasystem. Durch Analyse der aufgenommenen Bilder, insbesondere anhand der Grauwerteverteilung, wird durch eine Bildauswerteeinheit Randmarkierungen erkannt, deren Verlauf als mathematische Funk- tion ermittelt. Das Bildsensorsystem dient in einer Ausführung ferner auch dazu, Objekte in der Umgebung der Fahrspur des Fahrzeugs, somit auch auf Nachbarfahrspuren (links oder rechts) zu beobachten. Dabei werden wie oben übliche Objekterkennungsmethoden eingesetzt. Anhand aufeinanderfolgender Aufnahmen und der Eigengeschwindigkeit des Fahrzeugs lässt sich aufgrund dieser Informationen ermitteln, ob ein erkanntes Objekt auf einer Nachbarfahrspur in gleicher Fahrrichtung oder in entgegengesetzter Fahrrichtung fährt. Auf diese Weise lässt sich die Fahrsituation (Markierungsart und/oder Art der Nachbarfahrbahn und/oder Verkehrsituation) erfassen. Anstelle des Bildsensorsystems werden in anderen Ausführungen andere Sensoren zur Fahrsituationserfassung eingesetzt, beispielsweise Radarsensoren, Lasersensoren, etc. Ferner sind in anderen Ausführungen Sensoren vorhanden, die rund um das Fahrzeug herum Objekte erkennen und die Abstän¬ de zu diesen Objekten ermitteln. In diesen Fällen lässt sich nicht nur die Fahrtrichtung auf einer Nachbarfahrbahn ermitteln, sondern das tatsächliche Vorhandensein von Fahrzeu¬ gen und deren Bewegungsrichtung auf der Nachbarspur erkennen.
Aufgrund der Informationen über wenigstens eine Fahrbahnrandmarkierung, deren Ver¬ lauf als mathematische Funktion dargestellt wird, sowie der beispielsweise aufgrund von Lenkwinkel, etc. ermittelten zukünftigen Trajektorie des Eigenfahrzeugs wird bei Schneiden oder unzulässigem Annähern dieser beiden Funktionen berechnet ein zu er¬ wartendes Verlassen der Fahrspur bestimmt. Ist dies der Fall und liegt eine Fahrsituation vor, bei von einem erhöhten Gefahrenpotential bei Verlassen der Fahrspur auszugehen ist, wird eine Warnung an den Fahrer, akustisch und/oder optisch und/oder haptisch aus¬ gegeben, bzw. durch gezielten Eingriff in den Kurs des Fahrzeugs, beispielsweise durch Lenkeingriff, eine Korrektur des Kurses vorgenommen.
Wie oben beschrieben wird aus dem Bild wenigstens einer Kamera der Verlauf der Fahr¬ bahnrandmarkierungen ermittelt. Ausgehend vom Kurs des Fahrzeugs werden auf den beiden Fahrzeugseiten mathematisch gegebenenfalls vorhandene Schnittpunkte zwischen dem Fahrzeugkurs und dem Verlauf der Fahrbahnmarkierung ermittelt. Unter Berück¬ sichtigung weiterer Betriebsgrößen, bspw. der Fahrzeuggeschwindigkeit, wird ein Warn- Zeitpunkt ermittelt. Dieser liegt entweder in Form eines lateralen Abstandes von der
Fahrbahnmarkierung vor, z.B. erfolgt eine Warnung genau dann, wenn der Abstand klei¬ ner als ein bestimmter Wert, z.B. 20cm, wird, oder aber durch einen Zeitwert, den soge¬ nannten TTL- Wert (Time to Line Crossing). Bei letzterem erfolgt die Warnung genau dann, wenn dieser Zeitwert kleiner als bspw. 0,02 sec. Dieser Wert zeigt die Zeitspanne an, die das Fahrzeug unter den aktuellen Bedingungen benötigt, die Fahrbahnmarkierung zu überfahren. Diese Warnschwelle (Warnzeitpunkt) wird wie oben dargestellt abhängig vom Fahrerzustand und der Fahrsituation angepasst.
Zur Fahrsituationserkennung ist zum einen die Kamera, zum anderen in einer Ausführung weitere Fahrsituationserkennungssensoren vorgesehen, bspw. Radarsensoren. Diese Fahr¬ situationserkennung liefert Informationen über das Vorhandensein von Nachbarfahrspu¬ ren und insbesondere über das Vorhandensein von Fremdobjekten, bspw. Fahrzeugen, in diesen Fahrspuren. Abhängig von dieser Information werden die Warnschwellen bzw. die Warnzeitpunkte verändert, insbesondere verzögert, ohne dabei an Sicherheit des Systems zu verlieren. Die Fehlalarmrate wird reduziert.
In der bevorzugten Ausführungsform ist die oben skizzierte Vorgehensweise als Rech¬ nerprogramm des Rechners 14 der Steuereinheit 10 realisiert. Figur 2 zeigt ein Ablauf¬ diagramm, welches ein solches Rechnerprogramm skizziert. Grundgedanken ist, dass so- wohl für den Fahrerzustand als auch für die Fahrsituation oder nur für eine dieser beiden
Größen ein Wertevektor ermittelt wird, welcher zur adaptiven Einstellung der Warnung (Warnschwelle, Warnzeitpunkt) des Spurverlassenswarners ausgewertet wird. Der Fah¬ rerzustand wird dabei im Wesentlichen durch die Merkmale Aufmerksamkeit (d.h. ist der Fahrer auf die Fahraufgabe gerichtete), Müdigkeit und Fahrstil gebildet. Der Fahrerzu- stand wird dabei in 100 abhängig von verschiedenen zugeführten Betriebsgrößen 102 bis
106 ermittelt. Bspw. wird auf der Basis einer Beobachtung der Position des Körpers des Fahrers oder durch Abtastung von Bedienelementen und deren Betätigung festgestellt, ob der Fahrer seine Aufmerksamkeit auf die Fahraufgabe gerichtet hat oder ob er bspw. ein Radio bedient. Ferner wird in Abhängigkeit von Gaspedalwerten, Lenkwerten, etc ein Müdigkeitswert für den Fahrer ermittelt. Ein Bsp. Für die Realisierung der Ermittlung ei¬ nes solchen Wertes ist der PERCLOS-Algorithmus, der vergleichsweise präzise die Mü¬ digkeit des Fahrer angibt. Der Fahrstil des Fahrers wird bspw. durch Auswerten der Gas¬ pedalbetätigung, Bremsbetätigung, Beschleunigung des Fahrzeugs und ihrer Änderungen ermittelt, wobei ein defensiver Fahrstil bei geringen Änderungen, ein aggressiver Fahrstil
bei sehr starken Änderungen, etc angenommen wird. Die Aufmerksamkeit des Fahrers kann in einem anderen Ausfuhrungsbeispiel ermittelt werden, indem die Bedienung von Radio-, Handy- oder Navigationssystemen auf dem CAN-Bus des Fahrzeugs zur Verfü¬ gung gestellt werden (sogenannte Hands-On-Detektion).
In 108 wird ein Fahrsituationsvektor, d.h. Werte für eine Beschreibung der Fahrsituation, gebildet. Auch dies erfolgt unter Berücksichtigung von zugeführten Betriebsgrößen be¬ züglich der Fahrsituation (aus 110 bis 114). In der Fahrsituation sind vor allem die Infor¬ mationen über die Strecke (bspw. Landstraße oder Autobahn) von Interesse. Die Informa- tion, ob sich das Fahrzeug auf einer Landstraße oder einer Autobahn befindet, wird vor¬ zugsweise aus einem Navigationssystem ermittelt oder unter Auswertung des Bildes der Videokamera, wobei anhand der Fahrspuranzahl und/oder der Krümmungsradien der Fahrbahn auf Landstraße oder Autobahn geschlossen wird. Ferner sind Informationen ü- ber das Vorhandensein von Nachbarspuren Teil der Beschreibung der Fahrsituation. Das Vorhandensein von Nachbarspuren wird je nach Ausführung durch die Bildverarbei¬ tungseinheit, die beim Spurverlassenswarner für die Spurerkennung eingesetzt wird, rea¬ lisiert (siehe oben). Eine andere Möglichkeit ist das Heranziehen von Navigationsdaten. Eine dritte Komponente zur Beschreibung der Fahrsituation ist eine Information über das Vorhandensein von Fremdfahrzeugen in vorhandenen Nachbarspuren. Diese Information wird bevorzugt durch Abstandssensoren, insbesondere Radarsensoren geliefert, die in be¬ kannter Weise die beim adaptiven Fahrgeschwindigkeitsregler oder beim Blind Spot De- tection eingesetzt werden. Die Radarsensoren ermitteln daher anhand der Reflektionen, ob sich Objekte vor bzw. hinter oder neben dem Fahrzeug befinden. Durch entsprechende Winkelauflösung werden diese Objekte auch Nachbarspuren zugeordnet, sodass auf diese Weise Informationen über Fahrzeuge in Nachbarspuren ermittelt werden.
Die auf die oben skizzierte Weise ermittelten Vektoren bzgl. Fahrerzustand und Fahrsitu¬ ation werden in 116 zur adaptiven Einstellung der Warnung, vorzugsweise des Warnzeit¬ punktes, insbesondere der „Time to Line Crossing" und/oder des lateralen Abstandes (im folgenden zusammengefasst unter dem Begriff Warnzeitpunkt), bei dessen Unterschreiten eine Warnung erfolgt, ausgewertet. Im bevorzugten Ausführungsbeispiel ist dabei eine Zuordnung zwischen dem Wert des Warnzeitpunktes und der Größe der einzelnen Vekto¬ ren abgelegt. Nach der adaptiven Einstellung des Warnzeitpunktes in 116 wird in 118 die Spurverlassenswarnung durchgeführt, indem der Kurs des Fahrzeugs sowie die ermittel-
ten Fahrbahnrandmarkierungen unter Berücksichtigung des einstellten Warnzeitpunktes verglichen werden, und bei Unterschreiten des Warnzeitpunktes der Fahrer optisch, akus¬ tisch oder haptisch gewarnt wird bzw. ein Lenkeingriff zum Halten der Spur ausgelöst wird.
In einer bevorzugten Realisierung der adaptiven Einstellung des Warnzeitpunktes ist in dem gezeigten Ausführungsbeispiel durch zwei Vektoren mit je drei Werten für jede mögliche Kombination ein Warnzeitpunkt vorgegeben. In anderen Ausführungsbeispielen wird die Einstellung des Warnzeitpunktes aus den Vektordaten berechnet. Ferner ist bei der Verwendung nur eines Vektors (Fahrerzustand oder Fahrsituationsvektor) die ent¬ sprechenden Optionen zur Realisierung gegeben.
Die Einstellung der Warnschwellen bzw. -Zeitpunkte erfolgt dabei im Wesentlichen wie folgt. Bzgl. des Fahrerzustandes wird die Warnschwelle ausgedehnt, d.h. in Richtung kleinere Werte (Abstand, Zeit) verschoben, um Fehlwarnungen des Systems zu minimie¬ ren, wenn der Fahrer aufmerksam und wach ist. Ist der Fahrer jedoch schläfrig und/oder der Fahrer unaufmerksam, wird die Warnschwelle eingeengt um die Gefahrensituation zu minimieren. Der Fahrstil geht in die adaptive Einstellung des Warnzeitpunktes derart ein, dass bei aggressivem, offensiven oder sportlichem Fahrstil der Warnzeitpunkt gegenüber dem Warnzeitpunkt bei einem defensiven entspanntem Fahrstil ausgedehnt wird, d.h. in
Richtung kleinere Werte (Abstand, Zeit) verschoben wird, um dem sportlichen Fahrer nicht unnötig Fehlwarnungen zuzumuten.
Bzgl. der Fahrsituation ist im bevorzugten Ausführungsbeispiel vorgesehen, dass bei er- kannter Autobahnfahrt und freier Standspur rechts (keine Fremdobjekte) der Warnzeit¬ punkt auf der rechten Seite soweit ausgedehnt werden kann, dass er deutlich nach Verlas¬ sen der Fahrspur liegt. Der Fahrer kann in dieser Situation das Fahrzeug noch vor dem Verlassen der Nachbarspur (in diesem Fall die Standspur) korrigierend zurücklenken. Auch auf diese Weise wird die Anzahl der Fehlalarme erheblich reduziert. In entspre- chender Weise wird in einer Ausführung die Warnschwelle (bzw. Warnzeitpunkt) bei
Verlassen der linken Spur deutlich nach dem eigentlichen Spurverlassen gelegt, wenn si¬ chergestellt ist, dass es links eine weitere Spur gibt und dass sich in der entsprechenden Spur keine Fahrzeuge befinden. Anders ist die Situation auf einer Landstraße, bei welcher keine Spur auf der rechten Seite ist (Graben, Allee o.a.). In einer solchen Situation ist da-
von auszugehen, dass eine Warnung beim Spurverlassen rechts in einer Unaufmerksam- keitssituation nicht rechtzeitig erfolgen kann. Daher macht es keinen Sinn, Warnungen auszugeben. Mit anderen Worten wird in diesem Fall auf der rechten Seite die Warnfunk¬ tion ausgeschaltet bzw. der Warnzeitpunkt soweit ausgedehnt, dass ein Erreichen nicht möglich ist. Auf diese Weise wird hier die Fehlalarmrate auf 0 reduziert.
Bei Verlassen der Fahrspur auf der linken Seite wird in einer Ausführung entsprechend der Autobahnsituation vorgegangen. Gibt es eine Fahrspur und befinden sich in der Spur Fremdobjekte, wird der Warnzeitpunkt eingeengt, während bei vorhandener Fahrspur oh- ne Fremdobjekte der Warnzeitpunkt ausgedehnt wird. In dieser Situation kann der Warn¬ zeitpunkt deutlich nach dem eigentlichen Spurverlassen erfolgen.
Wird der Warnzeitpunkt sowohl abhängig vom Fahrerzustand als auch von der Fahrsitua¬ tion eingestellt, so dominiert auf jeden Fall der Fahrerzustand. D.h. bei schläfrigem und/oder unaufmerksamem Fahrer wird die Warnschwelle eingeengt, auch wenn Nach¬ barspuren vorhanden sind, auf denen sich keine Fremdobjekte befinden.
In Figur 3 ist eine Fahrspur 200 mit Nachbarfahrspur 202 dargestellt. Das Fahrzeug 204 bewegt sich auf der Fahrspur 200. Die Warnschwellen (hier lateraler Abstand zur Fahr- bahnrandmarkierung 206 bzw. 208) sind durch die gepunkteten Linien 210, 212 auf der linken, 214 und 216 auf der rechten Seite dargestellt. Es ist gezeigt, in welchen Grenzen sich der Warnzeitpunkt adaptiv einstellen lässt. Die gepunktete Linie jeweils links der Fahrbahnrandmarkierung (212, 214) repräsentiert einen eingeengten Warnzeitpunkt, wäh¬ rend die weiter weg vom Fahrzeug liegenden Grenzen (210, 216) ausgedehnte Warn- schwellen repräsentieren.
In Figur 4 ist eine oben beschriebene Fahrsituation dargestellt. Auch hier fährt ein Fahr¬ zeug 204 auf einer Fahrspur 200 mit einer Nachbarfahrspur 202, auf der sich keine Ob¬ jekte befinden. Somit wird wie oben beschrieben eine Warnschwelle 218 einstellt, die sehr ausgedehnt ist und nach dem eigentlichen Spurverlassen liegt. Das Fahrzeug 204 folgt nun dem in Figur 4 dargestellten Kurs 220. Die Fahrspur wird zum Zeitpunkt 222 verlassen, ohne dass eine Warnung erfolgt. Vielmehr wird dem Fahrer die Möglichkeit zur Korrektur gegeben. Erst bei Überschreiten der sehr viel später liegenden Warnschwel¬ le 224 wird eine Warnung ausgelöst, da erst dann eine tatsächliche Gefahr besteht.