DE102013101639A1

DE102013101639A1 - Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands

Info

Publication number: DE102013101639A1
Application number: DE102013101639.1A
Authority: DE
Inventors: Bernd Hartmann; Stefan Fritz; Stefan Schubert; Dieter Krökel; Joachim Denzler; Björn Fröhlich; Michael Kemmler; Eric Bach
Original assignee: Friedrich Schiller Universtaet Jena FSU; Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Current assignee: Friedrich Schiller Universtaet Jena FSU; Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Priority date: 2013-02-19
Filing date: 2013-02-19
Publication date: 2014-09-04
Also published as: US20150371095A1; WO2014127777A2; US10147002B2; WO2014127777A3; DE112014000887A5

Abstract

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera (6) und umfasst die folgenden Schritte:
– mindestens ein Bild (I) mittels der Fahrzeugkamera aufgenommen wird (S10),
– ein erster Bildbereich (R1) ermittelt wird, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16)
– der erste Bildbereich (R1) einem Klassifikator zugeführt wird, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und
– eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben wird (S20).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera.
Der technologische Fortschritt im Bereich der optischen Bilderfassung erlaubt den Einsatz von kamerabasierten Fahrerassistenzsystemen, die hinter der Windschutzscheibe platziert der visuellen Wahrnehmung des Fahrers entsprechend das Vorfeld des Fahrzeugs erfassen. Die funktionalen Umfänge dieser Assistenzsysteme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision.
Ausgehend von der reinen Vorfelderfassung bis hin zum vollständigen 360°-Rundumblick sind heute Kameras in vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bildverarbeitung von Kamerabildern als eigenständige Sensordatenquelle oder in Fusion mit Radar- oder Lidarsensordaten ist es dabei primär Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Verkehrsschildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
Das automatische Erlernen und Erkennen von Objektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung und stellt den aktuellen Stand der Technik dar.
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u. a. auch Videokameras eingesetzt, um das Fahrzeugumfeld möglichst genau und robust zu erfassen. Diese Umfeldinformationen gegebenenfalls zusammen mit den fahrdynamischen Informationen des Fahrzeugs (z. B. aus der Inertialsensorik) verschaffen einen guten Eindruck über den aktuellen Fahrzustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von Fahrsituationen ableiten und die entsprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
Da der tatsächlich zur Verfügung stehende Reibbeiwert oder gleichwertige Informationen über den aktuellen Fahrbahnzustand für serienreife Fahrerassistenzsysteme jedoch in aller Regel nicht zur Verfügung steht bzw. nicht gemessen oder ermittelt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlussbeiwert zwischen Reifen und Fahrbahn.
Daraus ergibt sich das folgende grundsätzliche Problem. Die Fahrerwarnung bzw. der systemseitige Eingriff bei unfallvermeidenden oder zumindest -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Die Wirkung der fahrdynamischen Eingriffe über Bremse und Lenkung hängt jedoch entscheidend vom Reibbeiwert des Untergrundes ab. Nässe, Schnee und Eis verringern den zur Verfügung stehenden Reibbeiwert zwischen Reifen und Fahrbahn gegenüber dem auf einer trockenen Fahrbahn zur Verfügung stehenden erheblich. Ist die Fahrbahn bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt.
Ein bekannter Ansatz, um dieser grundsätzlichen Problematik zu begegnen, liegt in der Berücksichtigung von Kamerabildern mit dem Ziel der Schätzung von Fahrbahnzuständen und einer daraus abgeleiteten Schätzung von Reibbeiwerten.
DE 10 2004 018 088 A1 zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Temperatur-, Rauhigkeits- und Bilddaten (Fahrbahndaten) werden gefiltert und mit Referenzdaten verglichen und ein Sicherheitsgrad für den Vergleich wird generiert. Auf Basis des Vergleichs der gefilterten Fahrbahndaten mit den Referenzdaten wird der Zustand der Fahrbahnoberfläche ermittelt. Die Fahrbahnoberfläche (z. B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z. B. trocken, vereist, verschneit, nass) kann auf diese Weise klassifiziert werden.
WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reibwertschätzung mittels einer 3D-Kamera, z. B. einer Stereokamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhenprofil wird der zu erwartende lokale Reibbeiwert der Straßenoberfläche im Fahrzeugvorfeld geschätzt. Aus speziellen ermittelten Höhenprofilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche z. B. als Schneedecke oder schlammiger Feldweg erfolgen.
Die bekannten Verfahren stellen jedoch hohe Anforderungen an die erforderliche Sensorik. So sind bei den genannten Verfahren bzw. Vorrichtungen entweder ein Temperatur- und Ultraschallsensor zusätzlich zu einer Kamera erforderlich, oder die Kamera muss als 3D-Sensor ausgebildet sein, damit die Klassifikationsergebnisse hinreichend robust sind.
Aufgabe der vorliegenden Erfindung ist daher, eine Fahrbahnzustandserkennung mittels einer Kamera anzugeben, die bei Verwendung (nur) einer Monokamera eine zuverlässige und robuste vorausschauende Fahrbahnzustandserkennung bzw. daraus abgeleitete Reibbeiwertschätzung gewährleistet.
Ansatzpunkt der erfindungsgemäßen Lösung sind folgende Überlegungen:
Eine Verknüpfung von Algorithmen der digitalen Bildverarbeitung mit einer intelligenten Anpassung und Justierung des für die Bearbeitung relevanten Bildbereichs bzw. ROI (Region of Interest) auf die jeweilige Fahrsituation soll gewährleisten, dass der analysierte Bildbereich die Fahrbahnoberfläche beinhaltet mit dem Ziel den Fahrbahnzustand zu bestimmen.
Ein Hauptgedanke der Erfindung aus Sicht der digitalen Bildverarbeitung ist die Berechnung lokaler und globaler Merkmale aus dem Bildbereich (ROI) sowie die geeignete Kombination verschiedener Merkmale innerhalb eines Bildbereichs aber auch aus verschiedenen Bildbereichen, und die nachfolgende Entscheidung durch einen aus Beispieldaten trainierbaren Klassifikator, dessen Ergebnisse aus verschiedenen Zeitabschnitten zu einer Entscheidung über den Fahrbahnzustand führt. Dabei besteht der technische Vorteil in der effizienten Bearbeitung des Kamerabildes aufgrund einfacher Operationen und das Erreichen einer hohen Qualität über das Zusammenführen verschiedener Merkmale.
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera umfasst die folgenden Schritte:

– mindestens ein Bild wird mittels der Fahrzeugkamera aufgenommen,
– ein erster Bereich im aufgenommenen Bild wird ermittelt, der eine Abbildung der Fahrbahnoberfläche umfasst,
– der erste Bildbereich wird einem Klassifikator zugeführt, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert und
– eine Information zu diesem mindestens einen Fahrbahnzustand wird ausgegeben.

Die Fahrzeugkamera erfasst eine Umgebung außerhalb des Fahrzeugs, insbesondere kann die Fahrzeugkamera nach vorne gerichtet und hinter der Windschutzscheibe etwa im Bereich des Innenspiegels angeordnet sein. Der erste Bildbereich, der zur Erfassung des Fahrbahnzustandes ermittelt wird, kann auch als Region-of-Interest (ROI) bezeichnet werden und kann das gesamte Bild oder ein Ausschnitt des Bildes sein. Der Bildbereich kann beispielsweise ein einfaches Rechteck, eine Region nichtdefinierter Form oder sogar ein einzelner Pixel sein. Die Ermittlung des für die weitere Bildverarbeitung relevanten Bildausschnitts ist insbesondere wichtig, um zu gewährleisten, dass der analysierte erste Bildbereich die Fahrbahnoberfläche beinhaltet, so dass aus diesem ersten Bildbereich der Fahrbahnzustand bestimmt werden kann. Dem ersten Bildbereich wird von einem Klassifikator (bzw. einem Klassifikationssystem) mindestens eine der vorgegebenen Klassen von Fahrbahnzuständen zugewiesen. Diese Klassen sind vorzugsweise „nasse Fahrbahn”, „trockene Fahrbahn”, „schneebedeckte Fahrbahn” und „vereiste Fahrbahn”. Der Klassifikator kann insbesondere anhand von Beispieldaten trainiert worden sein. Anhand gelernter Zuordnungen von Beispielbildbereichen zu bekannten Fahrbahnzuständen kann der trainierte Klassifikator auch ihm bis dato unbekannte Bildinhalte bzw. -bereiche mindestens einer Klasse zuordnen.
Eine Information zu dem mindestens einen Fahrbahnzustand wird ausgegeben, vorzugsweise an weitere Fahrerassistenzfunktionen, Fahrzeugfunktionen oder auch an den Fahrer.
Die Information, die zu dem ermittelten Fahrbahnzustand ausgegeben wird, kann insbesondere eine Schätzung des Reibbeiwerts für den Fahrbahnbereich sein, der im Bildbereich abgebildet ist. Der Reibbeiwert, auch Reibwert, Kraftschlussbeiwert, (Haft-)Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z. B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für den Fahrbahnzustand. Neben dem Fahrbahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich. Für eine Schätzung des Reibwerts aus Kamerabilddaten werden typischerweise nur Fahrbahnzustandsinformationen berücksichtigt, da im Allgemeinen aus Kamerabilddaten keine Reifeneigenschaften ermittelt werden können.
Das erfindungsgemäße Verfahren zur Bestimmung des Fahrbahnzustands gewährleistet eine sehr robuste, zuverlässige und vorausschauende Ermittlung des ortsaufgelösten Fahrbahnzustands. Die automatische Erfassung der Fahrbahnzustandsinformationen ist ein Schlüsselelement auf dem Weg zum hochautomatisierten oder autonomen Fahren in der Zukunft.
In einer vorteilhaften Ausführungsform wird mindestens ein Merkmal aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt. Das Merkmal ist bzw. die Merkmale sind insbesondere geeignet, die unterschiedliche Erscheinung des Fahrbahnbelags im Kamerabild in Abhängigkeit des Fahrbahnzustands zu erfassen.
Mehrere einzelne Merkmale können einen Merkmalsvektor bilden, der verschiedene Information aus dem ersten Bildbereich kombiniert, um im Schritt der Klassifikation robuster und genauer über den Fahrbahnzustand entscheiden zu können. Verschiedene Merkmalstypen für einen Bildbereich ergeben eine Menge von Merkmalsvektoren. Die so entstandene Menge an Merkmalsvektoren für einen Bildbereich wird als Merkmalsdeskriptor bezeichnet. Sofern mehrere Bildbereiche verwendet werden, kann der Merkmalsdeskriptor auch aus kombinierten Merkmalen der verschiedenen Bildbereiche zusammengesetzt oder kombiniert sein. Das Zusammensetzen des Merkmalsdeskriptors kann durch einfaches Aneinanderhängen (Konkatenation), eine gewichtete Kombination oder andere nichtlineare Abbildungen erfolgen. Dabei können nicht nur verschiedene Bildbereiche zu einem Zeitpunkt in einem Bild, sondern auch über mehrere Zeitpunkte hinweg also in aufeinander folgenden Bildern einer Bilderserie verwendet werden. Der Merkmalsdeskriptor wird anschließend von einem Klassifikationssystem (Klassifikator) mindestens einer der Klassen zugewiesen. Ein Klassifikator ist in diesem Fall eine Abbildung des Merkmalsdeskriptors auf eine diskrete Zahl, die die zu erkennenden Klassen identifiziert.
Bevorzugt umfasst das Merkmal, das aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt wird, den mittleren Grauwert oder den mittleren Farbwert (RGB) des ersten Bildbereichs. Der Merkmalstyp „mittlerer RGB-Farbwert” umfasst drei einzelne Merkmale bzw. Merkmalswerte, nämlich R, G und B (Rot-, Grün- und Blauwert), welche als ein Merkmalsvektor zusammengefasst werden können.
Geeignet ist aber auch jede andere Information, die aus einer ROI oder aus Pixeln der ROI extrahiert werden kann und aus der Unterschiede zwischen den vorgegebenen Klassen ermittelt werden können.
Vorzugsweise können als Merkmalstypen über den ersten Bildbereich gemittelten HSI-Werte (Hue, Saturation, Intensity) bzw. L·a·b·-Werte (CIELAB Farbraum) oder z. B. Gradientenwerte als Merkmal extrahiert werden. Die Merkmalsvektoren für einzelne oder mehrere Merkmalstypen, die aus einer oder mehrerer ROIs eines Bildes extrahiert werden, bilden den Merkmalsdeskriptor.
In vorteilhafter Weise umfasst das mindestens eine Merkmal, das aus dem ersten Bildbereich extrahiert und dem Klassifikator zugeführt wird, das Ergebnis oder die Ergebnisse einer pixelweisen Segmentierung innerhalb des ersten Bildbereichs. Dabei können innerhalb eines Bildbereichs spezielle Regionen punktgenau lokalisiert werden. Dies ist von Vorteil für die Erkennung von lokalen Unterschieden beispielsweise für die Detektion von Pfützen, abtrocknenden Fahrspuren auf nasser Fahrbahn oder vereisten Fahrspuren auf Schneefahrbahnen. Dadurch wird die Qualität bei der Erkennung dieser Sachverhalte erhöht. Diese punktgenaue Klassifikation kann zum Beispiel durch Verfahren der semantischen Segmentierung erreicht werden, bei der jedem Pixel im Bildbereich ein Label einer der vorgegebenen Klassen zugeordnet wird. Die pixelgenaue Klassifikation von Bildern erweitert eine grobe Lokalisierung von Objekten in Bildern um eine punktgenaue Klassifikation.
Gemäß einer vorteilhaften Ausführungsform wird als Klassifikator ein zufälliger Entscheidungswald (,Random Decision Forest' oder auch nur ,Random Forest') verwendet.
Entscheidungsbäume sind hierarchisch angeordnete Klassifikatoren, die das Klassifikationsproblem baumartig aufspalten. Beginnend in der Wurzel wird auf Basis der getroffenen Entscheidungen der Pfad zu einem Blattknoten beschritten, in welchem die finale Klassifikationsentscheidung stattfindet. Aufgrund der Lernkomplexität werden vorzugsweise für die inneren Knoten sehr einfache Klassifikatoren, die sogenannten „decision stumps” (Entscheidungsbaumstümpfe) verwendet, welche den Eingaberaum orthogonal zu einer Koordinatenachse separieren.
Entscheidungswälder sind Kollektionen von Entscheidungsbäumen, die an vorzugsweise zwei Stellen randomisierte Elemente beim Trainieren der Entscheidungsbäume enthalten. Als erstes wird jeder Baum mit einer zufälligen Auswahl an Trainingsdaten trainiert und zweitens für jede binäre Entscheidung nur eine zufällige Auswahl zulässiger Dimensionen verwendet. In den Blattknoten werden Klassenhistogramme gespeichert, die eine Maximum-Likelihood-Schätzung (Schätzung der größten Wahrscheinlichkeit) über die den Blattknoten im Training erreichenden Merkmalsvektoren erlauben. Klassenhistogramme speichern die Häufigkeit, mit der ein Merkmalsdeskriptor eines bestimmten Fahrbahnzustands beim Durchlaufen des Entscheidungsbaumes den entsprechenden Blattknoten erreiche. Als Resultat kann jeder Klasse vorzugsweise eine Wahrscheinlichkeit zugeordnet werden, die sich aus den Klassenhistogrammen berechnet.
Um für einen Merkmalsdeskriptor eine Entscheidung über den Fahrbahnzustand zu treffen, wird vorzugsweise die wahrscheinlichste Klasse aus dem Klassenhistogramm als der aktuelle Fahrbahnzustand verwendet. Es können aber auch andere Methoden angewendet werden, um die Information aus den Entscheidungsbäumen in eine Fahrbahnzustandsentscheidung zu übertragen.
Gemäß einer bevorzugten Ausführungsform wird die Zuordnung des ersten Bildbereichs zu mindestens einer Klasse durch den Klassifikator für mindestens ein aufgenommenes Bild einer zeitlichen Filterung unterworfen bevor die Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird. Der Klassifikator weist einem aufgenommenen Bild bzw. einem Bildbereich daraus mindestens eine Klasse zu. An diese Zuordnung bzw. Entscheidung pro aufgenommenes Bild kann sich eine Optimierung anschließen. Diese Optimierung kann insbesondere zeitlichen Kontext berücksichtigen indem sie als zeitliche Filterung fungiert. Dabei wird die Zuordnung für das aktuell aufgenommene Bild verglichen mit früher zugeordneten Fahrbahnzuständen. Dabei kann insbesondere die häufigste Klasse aus einem vorangegangenen Zeitabschnitt als Referenz verwendet werden. Einzelne Ausreißer (Fehlzuordnungen) können auf diese Weise eliminiert werden.
Vorteilhaft sieht die zeitliche Filterung vor, dass die Zuordnung des ersten Bildbereichs zu mindestens einer Klasse durch den Klassifikator für mindestens ein aktuell aufgenommenes Bild verglichen wird mit einer Zuordnung anhand mindestens eines vorher aufgenommenen Bildes. Ein Wechsel der zugeordneten Fahrbahnzustandsklasse wird erst ausgegeben, wenn eine dem Wechsel zugeordnete Wahrscheinlichkeit, die aus der Klassifikation des aktuell aufgenommenen Bildes abgeleitet wird, einen Schwellwert überschreitet.
Der zeitliche Kontext wird vorzugsweise dadurch berücksichtigt, dass ein sogenanntes Hysterese-Schwellwertverfahrens angewendet wird. Bei dem Hysterese-Schwellwertverfahren wird der Wechsel von einem Fahrbahnzustand in den anderen anhand von Schwellwerten geregelt. Ein Wechsel erfolgt erst dann, wenn die Wahrscheinlichkeit für den neuen Fahrbahnzustand hoch genug und für den alten Fahrbahnzustand dementsprechend gering ist. Dadurch wird das Klassifikationsergebnis stabil und permanente Sprünge zwischen verschiedenen Fahrbahnzuständen können vermieden werden.
Alternativ oder kumulativ zur zeitlichen Filterung können weitere Information aus dem Fahrzeug, beispielsweise vom Regensensor, oder anderen vom Fahrzeug zur Verfügung gestellte Daten zur Überprüfung der Zuordnung durch den Klassifikator herangezogen werden bevor eine Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird.
In einer bevorzugten Ausführungsform wird die Position, die Größe und/oder die Form des ersten Bildbereichs an eine aktuelle Fahrsituation des eigenen Fahrzeugs angepasst. Dabei erfolgt die Ausrichtung (im aktuellen Bild) und Nachführung (in nachfolgend aufgenommenen Bildern) des mindestens einen in Form, Größe und Position auf die Fahrsituation angepassten Bildbereichs vorzugsweise unter Berücksichtigung der Bewegung des eigenen Fahrzeugs, möglicher weiterer Verkehrsteilnehmer und der Fahrbahngegebenheiten.
Dabei erfolgt die Ausrichtung und Nachführung des mindestens einen in Form, Größe und Position auf die Fahrsituation angepassten Bildbereichs insbesondere auf folgende Weise:

a) Der erste Bildbereich ist das Gesamtbild der Kamera, sofern die Fahrzeugkamera ausschließlich auf die Fahrbahn gerichtet ist.
b) Der erste Bildbereich ist mindestens ein fixer Bildbereich, der durch Justage und Kalibrierung der Fahrzeugkamera vorzugsweise mittig oder vor den linken und rechten Fahrzeugrädern vor dem Fahrzeug auf die Fahrbahn projiziert wird.
c) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in den Fahrschlauch des Fahrzeugs, welcher u. a. aus den Odometriedaten des Fahrzeugs berechnet wird, projiziert und diesem dynamisch nachgeführt wird.
d) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das Fahrzeug befahrenen Fahrbahn/-spur, die innerhalb von zwei oder seitlich einer Fahrstreifenbegrenzungslinie liegt, projiziert und dieser dynamisch nachgeführt wird.
e) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das Fahrzeug befahrenen Fahrbahn/-spur, die mit Hilfe von Mitteln der digitalen Bildverarbeitung detektiert wird, projiziert und dieser dynamisch nachgeführt wird.
f) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in den geschätzten Fahrbahnverlauf, projiziert und diesem dynamisch nachgeführt wird.
g) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der im Bild in die durch das System berechnete Trajektorie vorzugsweise als Mittellinie eines prädizierten Fahrkorridors auf Basis einer vorausschauenden Trajektorienplanung, projiziert und dieser dynamisch nachgeführt wird.
h) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von GPS-Fahrzeugdaten vorzugsweise entsprechend Fahrgeschwindigkeit und Headingwinkel (bzw. Gierwinkel) in Richtung der Fahrzeugbewegung vor das Fahrzeug projiziert und dieser dynamisch nachgeführt wird.
i) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von Fahrzeugodometriedaten in Richtung der Fahrzeugbewegung vor das Fahrzeug projiziert und dieser dynamisch nachgeführt wird.
j) Der erste Bildbereich ist mindestens ein dynamischer Bildausschnitt, der auf Basis von Fahrzeugpositions- und Kartendaten in Fahrtrichtung vor das Fahrzeug auf die Fahrbahn projiziert und dieser dynamisch nachgeführt wird.
k) Der erste Bildbereich ist mindestens ein fixer oder dynamischer Bildausschnitt, der der Schnittmenge der Einzelbereiche bei einer Überlagerung mindestens zweier Bereiche aus a) bis j) entspricht.
l) Der erste Bildbereich ist mindestens ein fixer oder dynamischer Bildausschnitt, der einen Bereich aus a) bis k) enthält, wobei Bildsegmente mit erkannten Objekten wie beispielsweise Fahrzeugen, Fußgängern oder Infrastruktur ausgenommen werden.

Die Anpassung kann vorteilhaft in Abhängigkeit von der Geschwindigkeit des eigenen Fahrzeugs vorgenommen werden. Bevorzugt wird Position, Größe und/oder Form des zweiten Bildbereichs an die Geschwindigkeit des eigenen Fahrzeugs angepasst, um eine zeitlich gleichmäßige Voraussage über den zu erwartenden Fahrbahnzustand zu erhalten. Z. B. kann ermittelt werden, welcher Fahrbahnzustand in 0,5 Sekunden oder in einer Sekunde überfahren werden wird.
Eine hierzu erforderliche Abschätzung zur Entfernung kann auch mit einer Monokamera bei bekannter Einbauhöhe und der Annahme eines ebenen Fahrbahnverlaufs über die Abbildungsgeometrie mit ausreichender Genauigkeit erfolgen. Bei Nutzung einer Stereokamera kann entsprechend die Entfernung über Triangulation mit höherer Genauigkeit bestimmt werden.
Vorteilhaft wird eine Fahrspur ermittelt, auf der das eigene Fahrzeug sich befindet, und der erste Bildbereich wird derart angepasst, dass er eine Abbildung der Fahrbahnoberfläche der vorausliegenden eigenen Fahrspur umfasst.
Dazu kann insbesondere eine Erkennung von Fahrspurmarkierungen vorgesehen sein und der mindestens eine „dynamische” Bildbereich umfasst im Bild die durch das Fahrzeug befahrenen Fahrbahn/-spur, die innerhalb von zwei oder seitlich einer Fahrstreifenbegrenzungslinie liegt. Die Größe des ersten Bildbereichs wird vorzugsweise durch Fahrbahnmarkierungen oder -begrenzungen in lateraler Richtung begrenzt. Die Form des ersten Bildbereichs kann einem Trapez aber auch einem Rechteck entsprechen.
Dazu kann durch eine Berücksichtigung von Odometrie- und Zeitinformationen dieser Abbildungsbereich bei nachfolgend aufgenommenen Bildern in diese projiziert werden, so dass der Bildbereich dynamisch nachgeführt wird.
Unter Odometrieinformationen werden hierbei Informationen verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahrzeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen. Zusammen mit den Zeitinformationen ist somit eine zurückgelegte Bewegung bzw. Trajektorie des Fahrzeugs ermittelbar.
In einer bevorzugten Ausführungsform wird eine Bewegungstrajektorie des eigenen Fahrzeugs prädiziert und daraus ein Fahrschlauch berechnet. Grundlage der Prädiktion können Daten aus der Kamera, weiteren Umfeldsensoren, Fahrzeugsensoren, Navigationseinrichtungen, Telematikeinrichtungen oder ähnlichem sein. Der erste Bildbereich wird derart angepasst, dass er eine Abbildung der Fahrbahnoberfläche umfasst, die innerhalb des berechneten Fahrschlauchs liegt.
Besonders bevorzugt wird der erste Bildbereich derart angepasst, dass der erste Bildbereich nur eine Abbildung der Fahrbahnoberfläche beinhaltet. Relevant ist hierbei insbesondere alles, worüber die Reifen des eigenen Fahrzeugs zukünftig rollen werden oder möglicherweise rollen werden. Im Normalfall sind z. B. relevant: Fahrbahnbelag, Niederschlag darauf, Verschmutzung (Laub, Papier, Sand, Öl, Tierkadaverreste), Fahrbahnmarkierungen, die überfahren werden.
Im Normalfall nicht relevant sind dagegen z. B.: durchgezogene Fahrspurbegrenzungslinien, Grasnarben seitlich der Fahrbahn.
Vorteilhaft kann der erste Bildbereich derart angepasst werden, dass Bildsegmenten mit zuvor erkannten Objekten aus dem ersten Bildbereich ausgeschlossen sind. Zuvor erkannte Objekte sind insbesondere andere Verkehrsteilnehmer, wie Fahrzeuge (u. a. PKW, LKW), Zweiradfahrer bzw. Fußgänger, oder Infrastrukturelemente.
Bevorzugt können bei der Anpassung des ersten Bildbereichs Navigations- und Kartendaten und/oder Fahrzeugsensordaten und/oder Daten weiterer Umfeldsensordaten berücksichtigt werden.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird ein zweiter Bildbereich ermittelt, der eine Abbildung eines zweiten Bereichs der Fahrbahnoberfläche umfasst.
Beispielsweise kann der erste Bildbereich einem prädizierten Fahrschlauchbereich entsprechen, in dem die linken Fahrzeugräder auf der Fahrbahnoberfläche rollen werden, und der zweite Bildbereich einem prädizierten Fahrschlauchbereich, in dem die rechten Fahrzeugräder rollen werden.
Die Nutzung zweier Bildbereiche gegenüber einem ausgedehnten Bildbereich bringt die Vorteile mit sich, dass für die Bildverarbeitung weniger Rechenleistung und -zeit benötigt als für einen einzigen Bildbereich, der beide separaten Bildbereiche einschließt und dass eine höhere räumliche Auflösung für die Fahrbahnzustandsklassifikation erzielt wird. Lokale Fahrbahnzustandsänderungen wie beispielsweise freigefahrene Spuren auf Schneefahrbahnen, wie man sie häufig in Skandinavien sieht, vereiste Pfützen o. ä. erreichen bei der Aufteilung in mehrere kleinere Bildbereiche genauer erkannt und berücksichtigt werden.
Es können auch drei oder mehr derartige Bildbereiche ermittelt werden.
Vorteilhaft umfasst der zweite Bildbereich eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche. Eine bevorzugte Ausführung könnte also zwei Bildbereiche enthalten, wobei der erste Bildbereich in der Ego-Fahrspur direkt vor dem Ego-Fahrzeug liegt und ein zweiter Bildbereich geschwindigkeitsabhängig in derselben Fahrspur weiter vor dem Fahrzeug positioniert wird.
Die Größe beider Bildbereiche wird, wie vorher beschrieben, vorzugsweise durch Fahrbahnmarkierungen oder -begrenzungen in lateraler Richtung begrenzt.
Bevorzugt überlappen erster und zweiter Bildbereich einander nicht und können räumlich voneinander getrennt sein. Der zweite Bildbereich wird insbesondere in gleicher Weise wie der erste Bildbereich gemäß den bereits beschriebenen Verfahrensschritten ausgewertet. Ein separater zweiter Bildausschnitt bietet gegenüber einem vergrößerten einzelnen Bildausschnitt den Vorteil einer höheren Ortsauflösung.
Bevorzugt wird Position, Größe und/oder Form des zweiten Bildbereichs an die Geschwindigkeit des eigenen Fahrzeugs angepasst, um eine zeitlich gleichmäßige Voraussage (bzw. Preview) über den zu erwartenden Fahrbahnzustand zu erhalten.
Vorteilhaft wird die Zuordnung des ersten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild plausibilisiert durch die Zuordnung des zweiten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem zuvor aufgenommenen Bild. Eine Information wird entsprechend zu mindestens einem plausibilisierten Fahrbahnzustand ausgegeben. Da der zweite Bildbereich eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche umfasst, liefert seine Klassifikation praktisch eine Vorausschau. In einem späteren Bild befindet sich der Bereich der Fahrbahnfläche bei einer Vorwärtsfahrt zumindest teilweise im ersten Bildbereich aufgrund der Fahrzeugeigenbewegung. Bei der Klassifikation des für die Weiterfahrt unmittelbar maßgeblichen ersten Bildbereichs kann die frühere Klasse des zweiten Bildbereichs als „Preview” zur Plausibilisierung berücksichtigt werden. Dadurch wird die Erkennungssicherheit erhöht. Die Transformation der beiden Bildbereiche aufeinander erfolgt bevorzugt mit Hilfe von Odometriedaten des Fahrzeugs.
In einer bevorzugten Ausführungsform wird die Zuordnung des zweiten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuellen oder bereits aufgenommenen Bild mit der Zuordnung des ersten Bildbereichs zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild fusioniert und eine Information zu mindestens einen fusionierten Fahrbahnzustand ausgegeben.
Vorteilhaft wird als Kamera eine monokulare Kamera verwendet. Monokameras sind als Fahrerassistenzkameras etabliert und preisgünstiger als Stereokameras. Das erfindungsgemäße Verfahren ermöglicht bereits auf der Basis von Monokamerabildern eine robuste und zuverlässige Fahrbahnzustandsklassifikation.
Alternativ wird im Rahmen einer weiteren vorteilhaften Ausführungsform als Kamera eine 3D- oder Stereokamera verwendet. 3D- oder Stereokameras ermöglichen die Auswertung von Tiefeninformationen aus dem Bild. Zudem lässt sich anhand der 3D-Positionsdaten leichter eine zurückliegende Trajektorienbestimmung aus Odometrie- und Zeitinformationen mit den Bilddaten in Einklang bringen oder eine zukünftige Trajektorie bzw. ein prädizierter Fahrschlauch in die Bilddaten einrechnen. Desweiteren wird die Berücksichtigung von Tiefeninformationsprofilen bei der Klassifikation möglich.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend eine Fahrzeugkamera, eine Bildverarbeitungseinheit, eine Klassifikationseinheit und eine Ausgabeeinheit. Die Fahrzeugkamera ist dazu ausgebildet, mindestens ein Bild der Fahrzeugumgebung aufzunehmen. Die Bildverarbeitungseinheit ist dazu ausgebildet, einen ersten Bildbereich zu ermitteln, der eine Abbildung der Fahrbahnoberfläche umfasst und diesen einer Klassifikationseinheit zuzuführen. Die Klassifikationseinheit ist dazu ausgebildet, den ersten Bildbereich mindestens einer Klasse zuzuordnen, die einen bestimmten Fahrbahnzustand repräsentiert. Die Ausgabeeinheit ist dazu ausgebildet, eine Information zu dem mindestens einen Fahrbahnzustand auszugeben, der dem ersten Bildbereich durch die Klassifikationseinheit zugeordnet ist.
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
Es zeigen:
1 ein Flussdiagramm zur Veranschaulichung des Ablaufs einer Ausführungsvariante des Verfahrens zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera;
2 ein Bild einer vorausliegenden Fahrzeugumgebung, das mit einer Fahrzeugkamera aufgenommen wurde;
3 eine Repräsentation der durch das Bild wiedergegeben Szene aus der Vogelperspektive;
4 ein Bild mit einem ersten Bildbereich;
5 ein Bild mit einem ersten Bildbereich und einem dazu verschobenen Bildbereich;
6 eine Darstellung zur Ermittlung eines vorausschauenden Adaptationshorizonts;
7 bisheriger und zukünftiger Verlauf einer Trajektorie bei einer Kurvenfahrt;
8 ein Bild mit einem ersten Bildbereich und einem dazu unter Berücksichtigung des Fahrspurverlaufs verschobenen Bildbereich;
9 einen Vergleich von bisheriger IST- und berechneter SOLL-Trajektorie bei einem Ausweichmanöver und
10 ein Bild mit einem ersten Bildbereich und zwei dazu unter Berücksichtigung eines für ein Ausweichmanöver prädizierten Fahrschlauchs verschobenen Bildbereichen.
1 zeigt ein Flussdiagramm zur Veranschaulichung des Ablaufs einer Ausführungsvariante des erfindungsgemäßen Verfahrens zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera.
Zunächst wird in Schritt S10 ein Bild mit der Fahrzeugkamera aufgenommen. Aus diesem Bild kann in Schritt 12 die Fahrbahn ermittelt werden, z. B. anhand von Fahrspurmarkierungen im Bild, Fahrbahnbegrenzungsobjekten etc. Bereits hier können z. B. nichtstationäre Objekte ermittelt werden, die bei der Ermittlung des Fahrbahnzustands nicht berücksichtigt werden sollen.
Optional kann in Schritt 14 eine Prädiktion der Trajektorie bzw. des Fahrschlauchs des eigenen Fahrzeugs erfolgen. Hierbei können Daten aus der eigenen Fahrzeugsensorik (V), z. B. Lenkwinkel, Geschwindigkeit, etc., Navigationssystemdaten bzw. Kartendaten (N) bzw. Daten weiterer Umfeldsensoren wie z. B. Radar, Lidar, Telematikeinheit etc. berücksichtigt werden.
In Schritt 16 wird die ROI bzw. ein erster oder mehrere Bildbereiche ermittelt, die eine Abbildung der Fahrbahnoberfläche umfasst. Dieser oder diese Bildausschnitte bzw. Merkmale, die daraus extrahiert wurden, werden in Schritt 18 einem Klassifikator zugeführt, der jeden Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert.
In Schritt 20 wird eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben, z. B. an eine Kollisionswarnung oder einen Notbremsassistenten, die ihre Warnschwellwerte oder Eingriffszeitpunkte an den ermittelten Fahrbahnzustand anpassen kann.
2 zeigt beispielhaft ein Bild (I) einer vorausliegenden Fahrzeugumgebung, wie es von einer Frontkamera (6) eines fahrenden Fahrzeugs aufgenommen worden ist. Aus demselben Bild können kamerabasierte Fahrerassistenzfunktionen realisiert werden, z. B. eine Spurverlassenswarnung (LDW, Lane Departure Warning), eine Spurhalteunterstützung (LKA/LKS, Lane Keeping Assistance/System), eine Verkehrszeichenerkennung (TSR, Traffic Sign Recognition), eine automatische Fernlichtsteuerung (IHC, Intelligent Headlamp Control), eine Kollisionswarnung (FCW, Forward Collision Warning), eine Niederschlagserkennung, eine automatische Längsregelung (ACC, Adaptive Cruise Control), eine Einparkunterstützung, automatische Notbrems- oder Notlenksysteme (EBA, Emergency Brake Assist oder ESA, Emergency Steering Assist). Das Kamerabild zeigt eine Fahrbahn (1), deren Oberfläche weitgehend homogen ist. Auf der Oberfläche sind Fahrspurmarkierungen zu erkennen: jeweils eine durchgezogenen Seitenlinie (4), die das linke und rechte Ende der Fahrbahn markieren sowie Mittelliniensegmente (3) der unterbrochenen bzw. gestrichelten mittleren Fahrbahnmarkierung. Die Fahrbahn (1) könnte aus Asphalt oder Beton gebildet sein. Auf der ansonsten trockenen Fahrbahn (1) ist eine Pfütze (2) zu erkennen.
3 zeigt eine Repräsentation der durch das Bild der Fahrzeugkamera in 2 wiedergegebenen Szene aus einer Vogelperspektive betrachtet. Diese Repräsentation kann aus dem Kamerabild ermittelt werden, wobei bei einer Monokamera vorzugsweise Abbildungseigenschaften der Kamera (4), die Einbaugeometrie der Kamera im Fahrzeug (5), der tatsächlichen Fahrzeughöhe (aufgrund der Reifenstands-/Fahrwerksteuerung), Nick-, Gier- und/oder Rollwinkel berücksichtigt werden. Es kann die Annahme getroffen werden, dass die Fahrbahnoberfläche eben ist.
Bei einer 3D- oder Stereokamera ist die Repräsentation aufgrund der erfassten 3D-Bilddaten unmittelbar ermittelbar, wobei auch hierbei weitere Aspekte berücksichtigt werden können.
Die Repräsentation ist im Wesentlichen dadurch gekennzeichnet, dass dort Abstände tatsächlichen Abständen entsprechen. So sind die gezeigten Mittelstreifensegmente auch auf der realen Fahrbahn äquidistant angeordnet.
Auf der in 3 dargestellten Repräsentation sind die Fahrbahn (1), die Pfütze (2), die Mittelliniensegmente (3) und die durchgezogenen seitlichen Begrenzungslinien (4) der Fahrbahnmarkierung zu erkennen, die bereits im Kamerabild (2) enthalten sind. Zusätzlich ist in der Repräsentation ein Fahrzeug (5) mit einer Kamera (6) enthalten, wobei mit der Kamera (6) das Bild aus 2 aufgenommen worden ist. Ein Koordinatensystem, bei dem die X-Richtung der Fahrzeuglängsrichtung und die Y-Richtung der Fahrzeugquerrichtung entspricht, ist in 3 dargestellt. Fahrzeug- bzw. Echtraumkoordinaten werden durch Großbuchstaben bezeichnet.
Der gestrichelte Pfeil gibt die prädizierte Trajektorie (T) des Fahrzeugs (5) an. Bei dieser Geradeausfahrt kann der zurückgelegte Weg s entlang der Trajektorie (T) in X-Richtung im Falle einer gleichförmigen Bewegung mit der Geschwindigkeit v unter Berücksichtigung der Information über die Zeit t bestimmt werden aus s = vt. Auf diese Weise könnte unter Berücksichtigung der Odometrie- und Zeitinformationen bestimmt werden, wann z. B. das linke Vorderrad des Fahrzeugs (5) die Pfütze (2) erreichen wird.
Bestimmung der Region of Interest (ROI) eines gegebenen Kamerabildes in Abhängigkeit der jeweiligen Fahrsituation
Ausgehend von einem gegebenen Kamerabild (I), wir im Folgenden unter der Region of Interest (ROI) derjenige Bildbereich verstanden, der für bestimmte nachgelagerte Funktionalitäten (ACC, Fahrbahnzustandsschätzung usw.) die größte Informationsdichte bezüglich des Fahrbahnzustands enthält. 4 zeigt einen solchen Bildbereich (R1) innerhalb des Kamerabildes (I).
Der Mittelpunkt eines beispielhaft rechteckförmig angenommenen ersten Bildbereichs (R1) ist innerhalb des gesamten Kamerabildes (I) durch die Bildkoordinaten (x₀, y₀) und die Ausdehnung (Δx₀, Δy₀) beschrieben. Bildkoordinaten werden durch Kleinbuchstaben bezeichnet. Durch geeignete Anpassung des ersten Bildbereichs (R1) an den jeweiligen Fahrzustand des Ego-Fahrzeugs (5) wird es möglich, den Informationsgehalt für nachgelagerte Regelsysteme zu erhöhen.
Die 5 und 7 zeigen zusätzlich zu einem ersten (R1) jeweils einen zweiten Bildbereich (R2). Dieser kann simultan (also für ein einziges auszuwertendes Bild (I)) zum ersten Bildbereich (R1) ausgewertet werde. Der erste Bildbereich (R1) beinhaltet Informationen über den Fahrbahnzustand, der in einer kürzeren Zeit vom Fahrzeug (5) erreicht wird, und der zweite (R2) Informationen, die in einer späteren Zeit relevant werden (Preview für den aktuellen ersten Bildbereich).
Alternativ kann der zweite Bildbereich (R2) jeweils eine Anpassung des ersten Bildbereichs (R1) an eine schnellere Fahrzeuggeschwindigkeit (oder weitere veränderte Fahrsituationen) veranschaulichen. Exemplarisch für eine derartige Anpassung des ersten Bildbereichs (R1) stehen eine Adaption über die Fahrzeugeigengeschwindigkeit, den Fahrspurverlauf bei einer Kurvenfahrt und den prädizierten Fahrschlauch bei einem Ausweichmanöver.
1. Adaption des ersten Bildbereichs (R1) an die Geschwindigkeit des eigenen Fahrzeugs (Geradeausfahrt)
Bei der in 5 dargestellten Geradeausfahrt könnte z. B. der erste Bildbereich (R1) den Bereich der Fahrbahn (1) angeben, der bei einer Geschwindigkeit von 50 km/h in 1 s vom Fahrzeug überfahren wird. Wenn das Fahrzeug doppelt so schnell fährt, würde dagegen in einer Sekunde der Bereich der Fahrbahn (1) überfahren, den der zweite Bildbereich (R2) wiedergibt. Mit steigender Fahrzeuggeschwindigkeit wandert die ROI (R2) weiter in den oberen Bildteil (weiter entfernt vom Fahrzeug (5)) und aufgrund der Kameraperspektive etwas nach links (x₁₀ < x₀, y₁₀ > y₀) bei geringer werdender Ausdehnung (Δx₁₀ < Δx₀, Δy₁₀ < Δy₀)
6 illustriert die Ermittlung dieser Adaption anhand einer Darstellung im Fahrzeugkoordinatensystem (X, Y). Aus der Sicht des eigenen Fahrzeugs (5), dessen Schwerpunkt CoG_Veh sich an einer aktuellen Position X0_Veh befindet, wird ein vorausschauender Adaptionshorizont X_pVeh ermittelt, der eine Funktion der Fahrzeuggeschwindigkeit V_Veh sowie optional weiterer Umfeld-Informationen Inf_Umf ist: X_pVeh = f(V_Veh, Inf_Umf)
Bei einer geraden Vorwärtsfahrt des Fahrzeugs (5) ist der vorausschauende Adaptionshorizont X_pVeh gegenüber der aktuellen Fahrzeugposition X_0Veh in positiver X-Richtung verschoben ist, da sich das Fahrzeug in seiner Längsrichtung bewegt (vgl. 3).
Die Umfeld-Informationen Inf_Umf können z. B. ergeben, dass ein Bildbereich (R1, R2) weiter angepasst werden sollte, damit ein vorausfahrendes Fahrzeug (nicht dargestellt) nicht in diesem Bildbereich abgebildet wird. Dies könnte zu einer fehlerhaften Fahrbahnzustandsklassifikation führen. Um dies zu verhindern, sollte ein Bildbereich (R1, R2) in dieser Situation verkleinert, beschnitten oder verschoben werden, so dass anschließend nur noch die zu klassifizierende Fahrbahnoberfläche (1, 2) darin abgebildet wird.
Ein geeigneter Algorithmus übernimmt abschließend die Transformation des ermittelten Prädiktionshorizonts (X_pVeh) in das Bild-Koordinatensystem (x, y), um die neue Lage (x₁₀, y₁₀) und Ausdehnung (Δx₁₀, Δy₁₀) des angepassten bzw. geänderten Bildbereichs zu ermitteln. Die Transformation entspricht dem Übergang von einer Darstellung wie in 3 zu einer Darstellung wie in 2.
2. Adaption des ersten Bildbereichs (R1) an einen vorausliegenden Fahrspurverlauf (hier beispielhaft bei Kurvenfahrt)
Aus einem Bild (I) der Fahrzeugkamera (6) können Fahrspurmarkierungen (3, 4) erkannt werden und z. B. für eine Spurverlassenswarnungsfunktion (LDW) eingesetzt werde. Bei Kenntnis des Verlaufs der Fahrspurmarkierungen (3, 4) kann der Verlauf der vom eigenen Fahrzeug (5) befahrenen Fahrspur ermittelt werden.
In 7 ist im Fahrzeugkoordinatensystem der bisherige und anhand einer Fahrspurermittlung prädizierte Bewegungsverlauf (T) bei einer Kurvenfahrt dargestellt. Die mittlere Krümmung x des prädizierten Bewegungsverlaufs (T gestrichelte Linie) kann als Funktion der aktuellen Fahrzeug-Gierbewegung κ_act des bisherigen Bewegungsverlaufs (T durchgezogene Linie) sowie zusätzlicher Umfeld-Informationen, insbesondere der Krümmung des vorausliegenden Fahrspurverlaufs angeben werden.
8 zeigt für Rechtsverkehr, wie ein aus 7 ermittelter Prädiktionshorizont (dort nicht dargestellt) im Bild (I) durch eine Anpassung des Bildbereichs von R1 zu R2 transformiert werden kann. Bei der hier dargestellten Linkskurve wandert die ROI in die linke obere Kamerabildecke (x₂₀ < x₀, y₂₀ > y₀). Die Fläche des Bildbereichs verkleinert sich dabei entsprechend der Kameraabbildung. Als Form der beiden dargestellten Bildbereiche (R1, R2) wurde hier eine Trapezform gewählt, die auf der Fahrbahn zwischen dem Mittelstreifen (3) und der rechten Fahrstreifenbegrenzungslinie (4) liegt.
3. Adaption des ersten Bildbereichs (R1) an einen prädizierten Fahrschlauch beieinem Ausweichmanöver
Unter dem Fahrschlauch wird der prädizierte Bewegungskorridor des Ego-Fahrzeugs (5) bis ca. 150 m Entfernung verstanden. Er wird insbesondere durch seine Breite, welche in etwa der Fahrstreifenbreite entsprechen kann, charakterisiert. Der Fahrschlauch kann aus Kameradaten, Daten weiterer Umfeld- bzw. Fahrzeugsensoren berechnet werden.
Ist durch entsprechende Kamera-/Umfeldsensorik und eine Überwachung der Fahrer-Aktivitäten sichergestellt, dass ein Ausweichmanöver durchzuführen ist, wird der von der ROI abzubildende Bereich der Fahrbahnoberfläche (1) in Abhängigkeit einer optimal geplanten Ausweich-Trajektorie (beispielsweise 2. Ordnung) verschoben.
Der lateral benötigte Fahrzeugversatz wird mit S_Y bezeichnt, der zur Verfügung stehende Ausweichraum in X-Richtung ist S_X. Die Krümmung der optimalen Ausweichkurve κ_ref ergibt sich aus der geplanten Ausweich-Trajektorie gemäß:
Die aktuell gefahrene Kurvenkrümmung x_act ist eine Funktion der Fahrzeug-Gierbewegung (vgl. Abschnitt 2). Der Prädiktionshorizont X_pVeh ist ein Maß dafür, mit welcher „Vorausschau” einzelne Punkte (X_pVeh, Y_pVeh) der optimalen Ausweichkurve die Ziel-Bildkoordinaten (x₃₀, y₃₀) für die ROI werden.
9 zeigt im Fahrzeugkoordinatensystem einen bisherigen Bewegungsverlauf T_ist, dessen Fortführung zu einer Kollision mit einem Hindernis (7) führen würde. Eine optimale Ausweichtrajektorie T_soll ist als strichpunktierte Kurve dargestellt. Dadurch hätte das Hindernis komfortabel umfahren werden können. Im Rahmen eines Notmanövers kann nun durch eine kurzfristige Änderung des Gierwinkels von Ψ_act zu Ψ_ref ein Bewegungsverlauf gemäß der gestrichelten Linie erforderlich sein, um möglichst effektiv in den Bereich der Soll-Trajektorie zu gelangen. Bei einem derartigen Notmanöver ist aber eine Fahrbahnzustandsbestimmung bzw. kamerabasierte Reibbeiwertschätzung enorm wichtig, da bei Notmanövern bis zur Reibbertgrenze gebremst oder auch gelenkt wird.
Eine Pfütze (2) auf einer ansonsten trockenen Fahrbahn (1) wie in 2 könnte dazu führen, dass eine Kollision mit dem Hindernis doch nicht vermieden werden kann oder das eigene Fahrzeug von der Fahrbahn abkommt.
In 10 ist ein Kamerabild (I) gezeigt, dass ein stehendes Hindernis (7), z. B. ein Fahrzeug, auf der eigenen Fahrspur vor dem eigenen Fahrzeug (6) abbildet. Zusätzlich zum berechneten Fahrschlauch (bzw. Bewegungskorridor) T mit der durchgezogenen Mittelpunktstrajektorie und den gepunkteten Seitenlinien für ein Ausweichmanöver dargestellt wie ein aus 9 ermittelter Prädiktionshorizont X_pVeh, V_pVeh im Bild (I) durch eine Anpassung des Bildbereichs von R1 zu R1'' transformiert werden kann. Ein Zwischenschritt der Anpassung (R1') ist ebenfalls dargestellt.
Für Lage und Ausdehnung der Anpassung des ersten Bildbereichs R1' bzw. R1'' ergibt sich im dargestellten Fall (Ausweichen nach links) nach geeigneter Transformation der Bewegungsgrößen (X, Y) in das Bild-Koordinatensystem (x, y) ein rechteckiger Bildbereich R1'' an der Position (x₃₀ < x₀, y₃₀ > y₀) mit der Ausdehnung (Δx₃₀, Δy₃₀). Dadurch würde eine Fahrbahnzustands- bzw. Reibbeiwertänderung erkannt bzw. zuverlässig abgeschätzt und kann bei der Durchführung eines Notmanövers berücksichtigt werden.
Bezugszeichenliste

1: Fahrbahn bzw. Fahrbahnoberfläche
2: Pfütze
3: Mittelliniensegment
4: durchgezogene Fahrspurbegrenzungslinie
5: (eigenes) Fahrzeug
6: Fahrzeugkamera
7: Hindernis
S10: Bildaufnahme
S12: Fahrbahnermittlung
S14: Trajektorienplanung
S16: ROI-Ermittlung
S18: ROI-Klassifikation
S20: Ausgabe des Fahrbahnzustands
V: Fahrzeugsensorikdaten
N: Navigations-/Kartendaten
E: Umfeldsensordaten
I: Bild
T: (Bewegungs-)Trajektorie
X: Fahrzeuglängskoordinate
Y: Fahrzeugquerkoordinate
x, y: Bildkoordinaten
R1: erster Bildbereich/ROI
R2: zweiter bzw. angepasster Bildbereich/ROI
CoG_Veh: Fahrzeugschwerpunkt
X_0Veh, Y_0Veh: aktuelle Fahrzeug-X- bzw. -Y-Position
X_pVeh, Y_pVeh: Position des vorausschauenden Adaptionshorizonts
V_Veh: Fahrzeuggeschwindigkeit
Inf_Umf: Umfeldinformationen
M: Mittelpunkt des Kurvenkreises
κ_act: aktuelle Krümmung
x: prädizierte Krümmung
Ψ_act: aktueller Gierwinkel
Ψ ._Veh: aktuelle Gierrate
T_ist: Ist-Trajektorie
T_soll: Soll-Trajektorie
κ_ref: Krümmung der Soll-Trajektorie
Ψ_ref: Gierwinkel, der zur Soll-Trajektorie führt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004018088 A1 [0009]
WO 2012/110030 A2 [0010]

Claims

Verfahren zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera (6), wobei – mindestens ein Bild (I) mittels der Fahrzeugkamera aufgenommen wird (S10), – ein erster Bildbereich (R1) ermittelt wird, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16) – der erste Bildbereich (R1) einem Klassifikator zugeführt wird, wobei der Klassifikator den ersten Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und – eine Information zu diesem mindestens einen Fahrbahnzustand ausgegeben wird (S20).
Verfahren nach Anspruch 1, wobei mindestens ein Merkmal aus dem ersten Bildbereich (R1) extrahiert wird und dem Klassifikator zugeführt wird.
Verfahren nach Anspruch 2, wobei das mindestens eine Merkmal den mittleren Grauwert oder den mittleren Farbwert des ersten Bildbereichs (R1) umfasst.
Verfahren nach Anspruch 2 oder 3, wobei das mindestens eine Merkmal Ergebnisse einer pixelweisen Segmentierung innerhalb des ersten Bildbereichs (R1) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Klassifikator ein zufälliger Entscheidungswald verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Zuordnung des ersten Bildbereichs (R1) zu mindestens einer Klasse durch den Klassifikator (S18) für mindestens ein aufgenommenes Bild (I) einer zeitlichen Filterung unterworfen wird bevor die Information zu dem mindestens einen zugeordneten Fahrbahnzustand ausgegeben wird (S20).
Verfahren nach Anspruch 6, wobei die zeitliche Filterung vorsieht, dass die Zuordnung des ersten Bildbereichs (R1) zu mindestens einer Klasse durch den Klassifikator für mindestens ein aktuell aufgenommenes Bild (I) verglichen wird mit einer Zuordnung anhand mindestens eines vorher aufgenommenen Bildes und ein Wechsel der Fahrbahnzustandsklasse erst ausgegeben wird, wenn eine dem Wechsel zugeordnete Wahrscheinlichkeit, die aus der Klassifikation des aktuell aufgenommenen Bildes abgeleitet wird, einen Schwellwert überschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Position, Größe und/oder Form des ersten Bildbereichs (R1), an eine aktuelle Fahrsituation des eigenen Fahrzeugs angepasst wird.
Verfahren nach Anspruch 8, wobei Position, Größe und/oder Form des ersten Bildbereichs (R1), an die Geschwindigkeit des eigenen Fahrzeugs (5) angepasst wird.
Verfahren nach Anspruch 8 oder 9, wobei eine Fahrspur ermittelt wird, auf der das eigene Fahrzeug sich befindet und der erste Bildbereich (R1) derart angepasst wird, dass er eine Abbildung der Fahrbahnoberfläche (1) der vorausliegenden eigenen Fahrspur umfasst.
Verfahren nach einem der Ansprüche 8 bis 10, wobei eine Bewegungstrajektorie T des eigenen Fahrzeugs (5) prädiziert und daraus ein Fahrschlauch berechnet wird und der erste Bildbereich (R1) derart angepasst wird, dass er eine Abbildung der Fahrbahnoberfläche (1) des berechneten Fahrschlauchs umfasst.
Verfahren nach einem der Ansprüche 8 bis 11, wobei der erste Bildbereich (R1) derart angepasst wird, dass der erste Bildbereich nur eine Abbildung der Fahrbahnoberfläche (1) beinhaltet.
Verfahren nach einem der Ansprüche 8 bis 12, wobei der erste Bildbereich (R1) derart angepasst wird, dass Bildsegmenten mit zuvor erkannten Objekten aus dem ersten Bildbereich ausgeschlossen sind.
Verfahren nach einem der Ansprüche 8 bis 13, wobei bei der Anpassung des ersten Bildbereichs (R1) Navigations- und Kartendaten (N) und/oder Fahrzeugsensordaten (V) und/oder Daten weiterer Umfeldsensoren (E) berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein zweiter Bildbereich (R2) ermittelt wird, der eine Abbildung eines weiter vorausliegenden Bereichs der Fahrbahnoberfläche (1) umfasst, wobei erster und zweiter Bildbereich (R1; R2) einander nicht überlappen und wobei der zweite Bildbereich (R2) in gleicher Weise wie der erste Bildbereich (R1) nach einem der vorhergehenden Ansprüche ausgewertet wird.
Verfahren nach Anspruch 15, wobei die Zuordnung des ersten Bildbereichs (R1) zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild (I) plausibilisiert wird durch die Zuordnung des zweiten Bildbereichs (R2) zu mindestens einem Fahrbahnzustand aus einem zuvor aufgenommenen Bild und eine Information zu mindestens einem plausibilisierten Fahrbahnzustand ausgegeben wird.
Verfahren nach Anspruch 15, wobei die Zuordnung des zweiten Bildbereichs (R2) zu mindestens einem Fahrbahnzustand aus einem aktuellen oder bereits aufgenommenen Bild (I) mit der Zuordnung des ersten Bildbereichs (R1) zu mindestens einem Fahrbahnzustand aus einem aktuell aufgenommenen Bild fusioniert wird und eine Information zu mindestens einen fusionierten Fahrbahnzustand ausgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Fahrzeugkamera (6) eine Monokamera verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 17, wobei als Fahrzeugkamera (6) eine 3D- oder Stereokamera verwendet wird.
Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend – eine Fahrzeugkamera (6), die dazu ausgebildet ist mindestens ein Bild (I) aufzunehmen (S10), – eine Bildverarbeitungseinheit, die dazu ausgebildet ist einen ersten Bildbereich (R1) zu ermitteln, der eine Abbildung der Fahrbahnoberfläche (1) umfasst (S16), und einer Klassifikationseinheit zuzuführen, – eine Klassifikationseinheit, die dazu ausgebildet ist den ersten Bildbereich mindestens einer Klasse zuzuordnen, die einen bestimmten Fahrbahnzustand repräsentiert (S18) und – eine Ausgabeeinheit, die dazu ausgebildet ist eine Information zu dem mindestens einen Fahrbahnzustand auszugeben (S20), der dem ersten Bildbereich durch die Klassifikationseinheit zugeordnet ist.