-
Die Erfindung betrifft ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug, bei dem mittels einer Bildaufnahmeeinheit Bilder aufgenommen und an eine Auswerteeinheit übertragen werden, in der aus den Bildern Fahrbahnmarkierungen und weitere Daten der Fahrzeugumgebung ermittelt werden.
-
Fahrzeuge mit bildgestützten Fahrerassistenzsystemen sind bekannt. Diese Fahrerassistenzsysteme weisen eine oder mehrere Kameras auf, mit denen Bilder aufgenommen werden. Durch Auswertung zweier oder mehrerer aufeinanderfolgender Bilder mittels einer Auswerteeinheit können die Entfernungen und Geschwindigkeiten nachfolgender Fahrzeuge ermittelt werden. Diese Daten werden dazu benutzt, beispielsweise ein Warnsignal an den Fahrer auszugeben, wenn aus den ermittelten Daten auf eine Gefahr bei einem Spurwechsel geschlossen werden kann.
-
Die bekannten Fahrerassistenzsysteme arbeiten mit einem relativ zum Fahrzeug statischen Koordinatensystem, bei dem jeweils die x-Achse die Fahrtrichtung des Fahrzeugs ist, die z-Achse senkrecht auf den Boden des Fahrzeugs gerichtet ist und die y-Achse senkrecht zur Bewegungsrichtung des Fahrzeugs angeordnet ist. Entsprechend werden beispielsweise Geschwindigkeiten von Fahrzeugen aus Bewegungen entlang der x-Achse berechnet. Daraus folgt, dass bei einem Spurwechsel des Fahrzeugs, wodurch eine Drehung um die z-Achse erzeugt wird, die x-Achse schräg zur Fahrbahn angeordnet ist, so dass die üblicherweise in x-Richtung zu bestimmenden Geschwindigkeiten und Abstände des zu beobachtenden rückwärtigen Verkehrs falsch berechnet werden. Des Weiteren kann sich durch Zuladung oder bei Fahrten über Fahrbahnkuppen oder durch Fahrbahnsenken eine Drehung des Fahrzeugs um die y-Achse ergeben, so dass eine Horizontverschiebung des Bildes folgt. Des Weiteren erfolgt bei Kurvenfahrten insbesondere bei Aufliegern oder Zweirädern eine Drehung des Fahrzeugs um die x-Achse. Diese Verschiebungen des statischen Koordinatensystems am Fahrzeug führen zu ungenauen Werten bei der Identifizierung nachfolgender Fahrzeuge oder zumindest zu Fehlern bei Ermittlung der Geschwindigkeiten und Abstände dieser Fahrzeuge aufgrund der vertikalen und horizontalen Verschiebung des Horizonts sowie der Drehung um die Bildmitte des aufgenommenen Bildes in bestimmten Situationen.
-
Somit stellt sich die Aufgabe, ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems bereitzustellen, mit dem auch bei Kurven oder Spurwechseln auf einfache Weise zuverlässige Daten bezüglich der Position und der Geschwindigkeit nachfolgender Fahrzeuge ermittelt werden können.
-
Diese Aufgabe wird durch den kennzeichnenden Teil des Anspruchs 1 gelöst.
-
Dadurch, dass mittels der Auswerteeinheit eine vertikale Fluchtachse der Fahrbahnmarkierungen im Bild ermittelt wird, wobei als x-z-Ebene eines zur Auswertung des Bildes zur Ermittlung der weiteren Daten der Fahrzeugumgebung genutzten Koordinatensystems eine Verbindungsebene zwischen der vertikalen Mittelachse der Bildaufnahmeeinheit und der ermittelten Fluchtachse verwendet wird, wird eine Drehung des Fahrzeugs um die z-Achse des sonst üblicherweise verwendeten Koordinatensystems beispielsweise bei einem Spurwechsel oder in einer Kurve ausgeglichen. Das Bild wird zur Auswertung der Daten entsprechend horizontal verschoben. Es ergibt sich ein dynamisches Koordinatensystem, mittels dessen eine weitgehend korrekte Bestimmung der Geschwindigkeiten und Abstände nachfolgender Fahrzeuge bei Kurvenfahrten oder Spurwechseln möglich wird.
-
Vorzugsweise wird mittels der Auswerteeinheit ein Fluchtpunkt der Fahrbahnmarkierungen im Bild ermittelt, wobei als x-Achse des zur Auswertung des Bildes zur Ermittlung der weiteren Daten der Fahrzeugumgebung genutzten Koordinatensystems eine Verbindung zwischen dem Mittelpunkt der Bildaufnahmeeinheit und dem ermittelten Fluchtpunkt verwendet wird, so dass zusätzlich auch eine Drehung um die y-Achse aufgrund einer Kuppe oder einer Senke, durch die das Fahrzeug fährt, ausgeglichen wird. Das Bild wird entsprechend zur weiteren Auswertung sowohl horizontal als auch vertikal verschoben. So kann die Auswertung entlang der y-Achse in einer gleichbleibenden Höhe durchgeführt werden, so dass Rechenoperationen aufgrund der immer gleichen Horizonthöhe eingespart werden. Dies erhöht die Geschwindigkeit und verbessert die Güte der Auswertung.
-
In einer weiterführenden Ausführungsform wird mittels Inertialsensoren, welche die Drehrate und/oder die Beschleunigung erfassen, ein Erdbeschleunigungsvektor ermittelt, wobei die z-Achse des Koordinatensystems zur weiteren Auswertung des Bildes zur Ermittlung der weiteren Daten der Fahrzeugumgebung senkrecht zur x-Achse in der durch die x-Achse und den Erdbeschleunigungsvektor aufgespannten Ebene angeordnet ist. So entsteht zur Auswertung immer ein Bild, bei dem beispielsweise eine Kurvenlage eines Motorrades, also eine Drehung um die x-Achse ausgeglichen wird. Der Straßenhorizont bleibt weitestgehend horizontal, so dass weiterhin einfache Rechenoperationen ausreichen, um die Bewegungen in der Fahrzeugumgebung auswerten zu können.
-
In einer hierzu weiterführenden Ausführungsform wird der Rollwinkel mittels einer inertialen Messeinheit, die die Inertialsensoren aufweist, ermittelt. Eine derartige Messeinheit besteht üblicherweise aus drei senkrecht zueinander angeordneten Beschleunigungssensoren und drei senkrecht zueinander angeordneten Drehratensensoren. Mittels einer solchen inertialen Messeinheit kann demnach die genaue Lage des Fahrzeugs und somit der daran befestigten Kamera bestimmt und zur weiteren Auswertung des Bildes genutzt werden. Auch eine Plausibilitätsprüfung der über die Ermittlung des Fluchtpunktes ermittelten Achsenverschiebungen ist denkbar.
-
Vorzugsweise wird die y-Achse senkrecht zur x-Achse und zur z-Achse ausgerichtet, um ein kartesisches Koordinatensystem zu erhalten, so dass einfache Rechenalgorithmen verwendet werden können.
-
In einer bevorzugten Ausführung werden die Bilder bezüglich einer vorliegenden Helligkeitsverteilung abgetastet, hieraus ein Linienmodell erstellt und dieses Linienmodell mit üblichen Formen von Fahrbahnmarkierungen verglichen, wobei bei Formähnlichkeit auf eine Fahrbahnmarkierung geschlossen wird, die zur Festlegung des Fluchtpunktes des Bildes dient. So kann auf einfache Weise die Fahrbahnmarkierung identifiziert werden, so dass der Fluchtpunkt der Fahrbahnmarkierung einfach schätzbar ist.
-
Es wird somit ein Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug zur Verfügung gestellt, mit dem Fehler bei der Berechnung von Fahrzeuggeschwindigkeiten und Abständen auch bei Kurvenfahrten, beim Fahren über Kuppen und Senken sowie bei Fahrspurwechseln minimiert werden, wobei der Rechenaufwand und somit die benötigte Rechenzeit gering sind.
-
Die Erfindung wird nachfolgend anhand der Zeichnungen beschrieben.
-
1 zeigt ein Fahrzeug mit statischen und dynamischem Koordinatensystem im Verkehr.
-
2 zeigt ein Ergebnis der Ermittlung des Fluchtpunktes von Fahrbahnmarkierungen
-
3 zeigt einen Vergleich der rückwärtigen Verkehrsbeobachtung mit statischem oder dynamischem Koordinatensystem.
-
In 1 ist ein Fahrzeug 2 in Form eines Motorrades mit einem erfindungsgemäßen bildgestützten Fahrerassistenzsystem 4 dargestellt. Dieses Fahrerassistenzsystem 4 weist eine fest mit dem Fahrzeug 2 verbundene Bildaufnahmeeinheit 6 auf, welche über Datenleitungen 8 mit einer Auswerteeinheit 10 verbunden ist.
-
Die Bildaufnahmeeinheit 6 ist als Monokamera ausgeführt, über welche eine rückliegende Fahrzeugumgebung 12 in Form eines Winkelfeldes hinter dem Fahrzeug 2 erfasst wird, in welchem sich im vorliegenden Ausführungsbeispiel zwei nachfolgende. Fahrzeuge 14 befinden.
-
Die Monokamera 6 bestimmt dabei in bekannten Anwendungsfällen die Position eines zur Berechnung der Fahrzeugdaten der nachfolgenden Fahrzeuge 14 zugrunde liegenden Referenzkoordinatensystem 16, welches sich entsprechend aufgrund seiner Befestigung am Fahrzeug 2 mit diesem bewegt. Dessen x-Achse zeigt immer senkrecht in die Bildfläche hinein, die z-Achse vertikal im Bild nach oben und die y-Achse horizontal zur Seite ausgerichtet. Bei dem in der 1 dargestellten Spurwechsel des Fahrzeugs 2 führt dies dazu, dass im Vergleich zur üblichen Lage des Koordinatensystems bei gerader Fahrt das Referenzkoordinatensystem um einen Winkel ⎕⎕um die z-Achse gedreht wird. Wird der weiteren Berechnung diese Position zugrunde gelegt, ergibt sich beispielsweise bei der Berechnung der dann wahrgenommenen Geschwindigkeit eine Geschwindigkeit, die lediglich dem Produkt der tatsächlichen Geschwindigkeit mit dem cos ⎕⎕entspricht. Dies entspricht beispielsweise bei einem Winkel von 30° einem Fehler von ca. 15%. Ein solcher Fehler tritt auch bei Kurvenfahrten auf.
-
Entsprechende Fehler ergeben sich des Weiteren bei einer Fahrt über Kuppen oder durch Senken, bei denen das Fahrzeug 2 um einen Winkel um die y-Achse gedreht wird und somit entsprechende Fehler bei der Abstands- und Geschwindigkeitsberechnung entstehen.
-
Dies wird erfindungsgemäß dadurch vermieden, dass ein im Vergleich zum relativ zum Fahrzeug statischen Referenzkoordinatensystem 16 ein dynamisches Koordinatensystem 18 verwendet wird, welches zum Fahrzeug 2 bewegbar ist und sich entsprechend zum Fahrbahnverlauf mit bewegt. Dies bedeutet, dass das Koordinatensystem 18 immer zum Straßenverlauf ausgerichtet sein soll, wie es in 1 dargestellt ist.
-
Eine solche Ausrichtung des Koordinatensystems 18 wird dadurch erreicht, dass mittels der Auswerteeinheit 10 ein Fluchtpunkt von Fahrbahnmarkierungen 20 ermittelt wird. Hierzu sind verschiedene Verfahren bekannt. So können insbesondere die Bilder zunächst bezüglich ihrer Helligkeitsverteilung abgetastet werden. Bei dieser Abtastung können Helligkeitsgrade festgelegt werden, die zunächst entsprechend des Grenzwertes ein schwarz-weiß Bild erzeugen. In diesem schwarz-weiß Bild sind aufgrund ihrer Helligkeit die Fahrbahnmarkierungen 20 enthalten. Da diese eine besondere Form aufweisen, können im Weiteren alle dieser Form nicht entsprechenden weißen Anteile im Bild ebenfalls entfernt werden, wodurch lediglich die vorhandenen Fahrbahnmarkierungen 20 im Bild verbleiben. Aus diesem Linienmodell 21, wie es in 2 durch die unterbrochenen Linien dargestellt ist, kann im Folgenden ein Fluchtpunkt 22 ermittelt werden. Für dieses Verfahren können als Bildoperatoren beispielsweise Ridge-Operatoren eingesetzt werden. Andere Fahrbahnmarkierungsidentifizierungsmethoden, in denen beispielsweise ein unterschiedlicher Wärmestrahlungswellenlängenbereich zur Identifizierung genutzt wird, sind ebenfalls bekannt und können eingesetzt werden.
-
Die Verbindung aus dem derart ermittelten Fluchtpunkt 22 und dem Mittelpunkt 23 der Bildaufnahmeeinheit 6 wird als Erstreckungsrichtung der x-Achse des neuen Koordinatensystems 18 genutzt. Diese Festlegung der x-Achse gleicht sowohl Verdrehungen des Fahrzeugs 2 zur Straße um die z-Achse als auch um die y-Achse des Referenzkoordinatensystems 16 aus.
-
Die z-Achse des dynamischen Koordinatensystems 18 wird festgelegt, indem über eine inertiale Messeinheit 24 zunächst der Erdbeschleunigungsvektor bestimmt wird. Die inertiale Messeinheit 24 weist drei Beschleunigungssensoren 26 sowie drei Drehratensensoren 28 auf, welche jeweils senkrecht zueinander angeordnet sind und mit denen der Erdbeschleunigungsvektor ermittelt werden kann. Das Koordinatensystem 18 wird nun im Vergleich zum Referenzkoordinatensystem 16 zur weiteren Auswertung des Bildes solange um die x-Achse gedreht bis die z-Achse in der durch die x-Achse und den Erdbeschleunigungsvektor aufgespannten Ebene angeordnet ist. Hierdurch werden vorhandene Rollwinkel am Fahrzeug 2 zuverlässig ausgeglichen. Die y-Achse wird im Folgenden lediglich senkrecht zur x-Achse und zur y-Achse ausgerichtet, so dass eine vollständige Festlegung des dynamischen Koordinatensystems 18 erfolgt.
-
Auch wäre eine Festlegung der z-Achse durch Bestimmung des Rollwinkels des Fahrzeugs 2 mittels der inertialen Messeinheit 24 möglich. Dabei wird die Drehrate beziehungsweise die Beschleunigung des Fahrzeugs 2 während der Fahrt in allen drei Achsrichtungen aufnehmen. Aus den gemessenen Drehraten wird anschließend durch Integration ein Drehwinkel zu der entsprechenden Achse berechnet und aus den gemessenen Beschleunigungen durch zweifache Integration eine Strecke, welche vom Punkt, an dem der Sensor angeordnet ist, auf der entsprechenden Achse zurückgelegt wurde. Mittels dieser Werte lässt sich exakt der Rollwinkel des Fahrzeugs 2 bestimmen, welcher gegebenenfalls auch von geänderten Nick- oder Gierwinkeln des Fahrzeugs 2 abhängig ist, welche ebenfalls mittels der inertialen Messeinheit 24 ermittelt werden können. Die z-Achse könnte dann um den Rollwinkel um die x-Achse in entgegengesetzter Richtung zur Kippbewegung des Fahrzeugs 2 zurückgedreht werden.
-
In 3 ist bezüglich einer Kurvenfahrt noch einmal die unterschiedliche Lage des Referenzkoordinatensystems 16 zum dynamischen Koordinatensystem 18 dargestellt. Während die x-Achse des Referenzkoordinatensystems 16 fest in rückwärtige Richtung des Fahrzeugs 2 zeigt, ist die Erstreckungsrichtung des dynamischen Koordinatensystems 18 an den Fahrbahnmarkierungen 20, die von der Kamera 6 erfassbar sind, ausgerichtet. Abstände und Geschwindigkeiten von Fremdfahrzeugen 14, die sich hinter dem Fahrzeug 2 nähern, werden aufgrund der Drehung des Koordinatensystems weitestgehend korrekt bestimmt, da die Geschwindigkeit entlang der x-Achse weitestgehend der tatsächlichen Absolutgeschwindigkeit der Fahrzeuge 14 entspricht Sollte hieraus auf eine Gefahrenquelle geschlossen werden, kann beispielsweise ein visuelles Warnsignal an den Fahrer über Warnleuchten 30 ausgegeben werden.
-
Es ergibt sich somit eine einfache Möglichkeit zur Auswertung eines Bildes eines bildgestützten Fahrerassistenzsystems, bei dem Fehler bei der Berechnung von Geschwindigkeiten oder Abständen durch Verdrehung des Koordinatensystems weitestgehend ausgeglichen werden. Sowohl Fehler durch Kurven als auch durch Fahrbahnwechsel Senken und Kuppen, wie auch bei geänderten Rollwinkeln werden vermieden. Dennoch besteht eine hohe Reaktionsgeschwindigkeit aufgrund einer relativ geringen geforderten Rechenleistung.
-
Es sollte deutlich sein, dass der Schutzbereich der Hauptansprüche nicht auf das beschriebene Ausführungsbeispiel beschränkt ist. Neben den visuellen Warnsignalen können selbstverständlich alternativ auch akustische Signale verwendet werden. Ein derartiges System kann auch mit einzelnen Beschleunigungs- und/oder Drehratensensoren betrieben werden, mit denen lediglich der Erdbeschleunigungsvektor ermittelt wird. Zur Vereinfachung kann auch lediglich eine Drehung des Fahrzeugs um die z-Achse ausgeglichen werden, indem zunächst eine vertikale Fluchtachse der Fahrbahnmarkierungen im Bild ermittelt wird und anschließend als x-z-Ebene des dynamischen Koordinatensystems eine Verbindungsebene zwischen der vertikalen Mittelachse der Bildaufnahmeeinheit und der ermittelten Fluchtachse dient. Der Ausgleich findet dann lediglich in horizontaler Richtung statt. Die Lage der z-Achse bleibt im Vergleich zum Referenzkoordinatensystem in diesem Anwendungsfall unverändert.
