DE102022211241A1

DE102022211241A1 - Erkennen von Fahrbahnauflage auf einer Fahrbahn

Info

Publication number: DE102022211241A1
Application number: DE102022211241.5A
Authority: DE
Inventors: Bernd Hartmann; Stefan Hegemann; Sighard Schräbler; Florian Geis
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2024-04-25
Also published as: WO2024088484A1

Abstract

Die Erfindung betrifft ein Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage (F) auf einer Fahrbahn mittels eines Fahrzeugkamerasystems (1) eines Fahrzeugs, umfassend folgende Verfahrensschritte: Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes (I₁) einer Fahrzeugumgebung mit einer ersten Belichtungszeit (b₁), Bereitstellung eines zweiten Bildes (I₂) der Fahrzeugumgebung mit einer zweiten Belichtungszeit (b₂), welche länger ist als die erste Belichtungszeit (b₁), und Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage (F) zumindest anhand des zweiten Bildes (b₂). Die Erfindung betrifft ferner ein Computerprogramm, welches zur Ausführung des erfindungsgemäßen Verfahrens ausgestaltet ist und ein computerlesbares Speichermedium, auf welchem das erfindungsgemäße Computerprogramm gespeichert ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage auf einer Fahrbahn, ein Computerprogramm, zur Ausführung des erfindungsgemäßen Verfahrens und ein computerlesbares Speichermedium.
Fahrerassistenzsysteme (engl.: advanced driver-assistance systems (ADAS)) dienen der Unterstützung des Fahrers eines Fahrzeugs. Entsprechende ADAS-Funktionen können einerseits zur Unterstützung des Fahrers genutzt werden, während die Kontrolle über das Fahren des Fahrzeugs weiterhin beim Fahrer verbleibt. Andererseits kann aber auch, mit Hilfe höherer Automatisierungsgrade, ein vollständig automatisiertes Fahren realisiert werden.
Bei kamerabasierten ADAS-Systemen wird mittels eines Kamerasystems umfassend zumindest eine Kamera die Umgebung des Fahrzeugs erfasst. In diesem Zusammenhang sind einerseits Monokameras, insbesondere Frontkameras, Stereokameras, oder sogenannte Surround View Kamera Systeme, mittels welchen das gesamte Umfeld des Fahrzeugs erfassbar ist, bekannt.
Beim Fahren eines Fahrzeugs muss, unabhängig davon, ob das Fahrzeug manuell oder automatisiert gesteuert wird, stets der Fahrbahnzustand und damit der jeweils zur Verfügung stehende Reibwert zwischen den Reifen und der Fahrbahn berücksichtigt und der jeweilige Fahrstil an die vorherrschenden Gegebenheiten angepasst werden. Der Reibwert hat insbesondere auf Reaktionseigenschaften von Fahrzeugen, wie beispielsweise bei einem Bremsvorgang, einen entscheidenden Einfluss.
So ist aus DE102004018088A1 ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera bekannt geworden. Von den vorhandenen Sensoren erfasste Messdaten werden mit Referenzdaten verglichen und anhand des Vergleichs kann der Zustand der Fahrbahnoberfläche ermittelt werden, indem die Fahrbahnoberfläche (z. B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z. B. trocken, vereist, verschneit, nass) klassifiziert werden.
In DE102014214243A1 ist ein Verfahren zur Straßenzustandsbestimmung offenbart, bei welchem Straßenzustandsdaten einer Wetterkarte und/oder Straßenkarte zur Straßenzustandsbestimmung herangezogen und einer Redigitalisierung unterworfen werden.
Aus WO2015/110030A2 beschreibt eine Möglichkeit zur Reibwertschätzung mittels einer 3D Kamera. Aus Bilddaten der Kamera wird ein Höhenprofil der Straßenoberfläche erstellt und der zu erwartende lokale Reibwert geschätzt. Anhand von speziellen ermittelten Höhenprofilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche erfolgen.
Gemäß der WO2013/117186A1 werden anhand von Bilddaten einer 3D-Kamera entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt und anhand dieser Verläufe die Beschaffenheit der Fahrbahnoberfläche erkannt. Optional können zusätzlich 2D-Bilddaten einer Monokamera ausgewertet, z. B. mittels einer Textur- oder Musteranalyse, und bei der Erkennung der Beschaffenheit der Fahrbahnoberfläche berücksichtigt werden.
In EP3069296A1 wird vorgeschlagen, mittels eines Kamerasystems erhaltene Bilddaten mit einer Bildverarbeitung auszuwerten und gezielt Indizien für das Vorliegen einer Fahrbahnauflage zu ermitteln. Die ermittelten Indizien werden dann bei der Bestimmung einer Fahrbahnauflage und ggf. einer Fahrbahnzustandserfassung herangezogen. Indizien für das Vorliegen einer Fahrbahnauflage sind beispielsweise Auswirkungen von Niederschlag in den Bilddaten, auf der Fahrbahn oder auf den Fahrzeugen oder Fahrzeugscheiben, oder auch Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen des Fahrzeugs.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Detektionsmöglichkeiten hinsichtlich des Vorliegens einer Fahrbahnauflage zu verbessern.
Diese Aufgabe wird gelöst durch das Verfahren nach Anspruch 1, das Computerprogramm nach Anspruch 14 und das computerlesbare Speichermedium nach Anspruch 15. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Patentansprüche.
Hinsichtlich des Verfahrens wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage auf einer Fahrbahn mittels eines Fahrzeugkamerasystems eines Fahrzeugs, umfassend folgende Verfahrensschritte:

Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes einer Fahrzeugumgebung mit einer ersten Belichtungszeit,
Bereitstellung eines zweiten Bildes der Fahrzeugumgebung mit einer zweiten Belichtungszeit, welche länger ist als die erste Belichtungszeit, und Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage zumindest anhand des zweiten Bildes.

Das erste Bild ist vorzugsweise ein im fortlaufenden Betrieb des Fahrzeugkamerasystems aufgenommenes Bild. Typischerweise wird die Belichtungszeit für Fahrzeugkamerasysteme automatisch gesteuert und jeweils in Abhängigkeit der Lichtverhältnisse passend gewählt. Bei dem ersten Bild handelt es sich also um ein Bild mit einer im Wesentlichen optimalen Belichtungszeit. Eine, insbesondere im Vergleich zur optimalen Belichtungszeit, längere Belichtungszeit, wie sie für das zweite Bild gewählt wird, führt zu einer erhöhten Bewegungsunschärfe, was üblicherweise für eine nachgelagerte Bildauswertung zu vermeiden ist. Vorteilhaft kann aber ein solches Bild mit längerer Belichtungszeit zur Erkennung von einer Fahrbahnauflage beim Überfahren verwendet werden.
Das Fahrzeugkamerasystem umfasst eine oder mehrere Kameras. Beispielsweise kann es sich auch um ein sogenanntes Surroundview-Kamerasystem handeln. Zumindest eine Kamera kann ein Fischaugenobjektiv aufweisen.
Das Kamerasystem ist vorzugsweise derart an dem Fahrzeug befestigt, dass mittels zumindest einer Kamera des Fahrzeugkamerasystems Bilder der Umgebung zumindest eines Rades des Fahrzeugs aufgenommen werden können. Somit handelt es sich bei dem ersten und/oder zweiten Bild vorzugsweise um ein Bild, welches zumindest teilweise ein Rad des Fahrzeugs und eine Umgebung des Rades, also einen radnahen Bereich, zeigt.
Beim Fahren auf der Fahrbahn wird ggf. vorhandene Fahrbahnauflage durch die Reifen verdrängt, insbesondere nach vorn und zur Seite. Diese verdrängte Fahrbahnauflage wird von zumindest einer Kamera des Fahrzeugkamerasystems bildlich mit erfasst. Dabei führt die verdrängte Fahrbahnauflage aufgrund einer Relativbewegung zum fahrenden Fahrzeug und aufgrund der längeren Belichtungszeit für das zweite Bild zu einer Bewegungsunschärfe in Streurichtung. Dies wird wiederum zur Erkennung des Vorhandenseins von Fahrbahnauflage ausgenutzt.
Gemäß einer Ausgestaltung handelt es sich bei der Fahrbahnauflage um Wasser, Schnee, Eis, Blätter oder Partikel, insbesondere Sand oder Staub. Bei der Fahrauflage kann es sich aber auch ganz allgemein um jegliche Medien/Gegenstände handeln, welche flächig (Decke, Teppich) auf dem Fahrbahnbelag (Asphalt, Teer, Beton,...) aufliegen. Das flächige Aufliegen kann dabei als Decke oder Teppich des Mediums bzw. der Gegenstände bezeichnet werden. Die Fahrbahn muss nicht vollständig mit der Fahrbahnauflage bedeckt sein. Es sind also verschiedene Fahrbahnauflagentypen denkbar, welche allesamt unter die vorliegende Erfindung fallen. Bei der Aussage über das Vorhandensein einer Fahrbahnauflage kann es sich entsprechend beispielsweise auch um eine Aussage über den Fahrbahnauflagentyp handeln.
In einer Ausgestaltung des Verfahrens wird eine Aussage über einen Reibwert und/oder einer Reibwertklasse für das Fahrzeug, welches sich auf der Fahrbahn befindet, ermittelt, insbesondere anhand der Aussage über das Vorhandensein der Fahrbahnauflage, vorzugsweise anhand eines Fahrbahnauflagentyps. Die Aussage über den Reibwert kann dabei auf unterschiedliche Arten und Weisen bestimmt werden. Vorzugsweise wird die Aussage über den Reibwert anhand der Aussage über das Vorhandensein einer Fahrbahnauflage ermittelt. Aus dem Reibwert wiederum kann vorteilhaft eine Fahrstrategie abgeleitet werden, beispielsweise hinsichtlich von Reaktionseigenschaften, beispielsweise in Notsituationen.
Aus DE102009041566B4 ist beispielsweise ein Verfahren zur Ermittlung des Fahrbahnreibwerts nach Reibwertklassen anhand einer ermittelten Reibwertkenngröße beschrieben.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens handelt es sich bei der Fahrbahnauflage um Wasser, wobei eine Wassertiefe ermittelt wird. Die Wassertiefe hängt direkt mit der Wassermenge zusammen und kann beispielsweis auch anhand einer ermittelten, insbesondere je Zeiteinheit von einem oder mehreren Reifen verdrängten, Wassermenge bestimmt werden. Neben einer Kenntnis des Reibwerts ist auch Kenntnis über eine Wassertiefe entscheidend für eine situationsadäquate Fahrstrategie.
Es ist von Vorteil, wenn anhand der Wassertiefe, einer Geschwindigkeit des Fahrzeugs und/oder eines Schlupfverhaltens zumindest eines Reifens des Fahrzeugs eine Aussage über ein Risiko von Aquaplaning ermittelt wird. Das erfindungsgemäße Verfahren erlaubt es somit, eine Aussage über ein Aquaplaning-Risiko zu treffen.
Eine Unterscheidung zwischen einer nassen Fahrbahn, Niederschlag und eines Aquaplaning-Risikos kann vorteilhaft anhand einer Größe und/oder Intensität von in dem ersten und/oder zweiten Bild detektierten Wassertropfen, einer detektierten Spritzwassermenge und/oder anhand von detektierten Wasserclustern erfolgen.
Mit steigender Fahrgeschwindigkeit bei Vorliegen eines Aquaplaning-Risikos, d.h. wenn sich viel Wasser auf der Straße befindet, bildet sich häufig eine Wasserwolke bzw. eine Wassergischt aus. Dies kann vorteilhaft zum Treffen der Aussage über ein Aquaplaning-Risiko, insbesondere zum Erkennen eines akuten Aquaplaning-Risikos, herangezogen werden. Beispielsweise können detektierte Wassertropfen, eine detektierte Spritzwassermenge, das Vorhandensein von Wasserclustern oder einer Wasserwolke bzw. Wassergischt, in vorgebbare Klassen eingeteilt werden. Bei der Beurteilung hinsichtlich eines Aquaplaning-Risikos kann bzw. soll darüber hinaus auch eine Geschwindigkeit des Fahrzeugs auf der Fahrbahn berücksichtigt werden.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die zweite Belichtungszeit in Abhängigkeit der von einer Belichtungssteuerungs/-regelungs-Vorrichtung bestimmten ersten Belichtungszeit gewählt. Das Fahrzeug verfügt also über eine Belichtungssteuerungs/-regelungs-Vorrichtung, mittels welcher im fortlaufenden Betrieb eine Belichtungszeit für das Fahrzeugkamerasystems bestimmt wird. Vorzugsweise wird die Belichtungszeit fortlaufend geregelt oder gesteuert und an die jeweiligen Lichtverhältnisse in einer Umgebung des Fahrzeugs angepasst. Ausgehend von einem aktuellen Wert für die, mittels der Belichtungssteuerungs/-regelungs-Vorrichtung eingestellten, ersten Belichtungszeit wird dann die zweite, längere Belichtungszeit gewählt.
Es ist von Vorteil, wenn die die zweite Belichtungszeit in Abhängigkeit einer Geschwindigkeit des Fahrzeugs gewählt wird. Auf diese Art und Weise kann die verdrängte Fahrbahnauflage, insbesondere eine Seitwärtsbewegung in Streurichtung, optimal sichtbar gemacht werden.
Es ist ferner von Vorteil, wenn die zweite Belichtungszeit in Abhängigkeit einer Helligkeit einer Umgebung des Fahrzeugs gewählt wird. Die zweite Belichtungszeit wird also in Abhängigkeit von aktuellen Lichtverhältnissen gewählt.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die zweite Belichtungszeit, ausgehend von der ersten Belichtungszeit, sukzessiv, insbesondere in vorgebbaren Intervallen oder Stufen, oder mittels eines vorgebbaren Faktors, erhöht. Vorzugsweise werden die Stufen oder Intervalle derart gewählt, dass eine Höhe der Stufe oder eine Länge des Intervalls variiert, beispielsweise exponentiell wächst. Die zweite Belichtungszeit kann aber auch anhand eines Wägeverfahrens ermittelt werden. Es ist von Vorteil, wenn die zweite Belichtungszeit ausgehend von der ersten Belichtungszeit so lange erhöht wird, bis ein vorgebbares Kriterium erfüllt ist. In diesem Zusammenhang können unterschiedlichste Kriterien herangezogen werden, wie beispielsweise die Sichtbarkeit bestimmter Elemente in einem mittels des Fahrzeugkamerasystems aufgenommenen Bildes oder ähnliches.
Gemäß einer besonders bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp mittels einer Methode aus dem Bereich des Maschine Learning ermittelt.
In dieser Hinsicht ist es von Vorteil, wenn die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines neuronalen Netzes, insbesondere eines trainierten neuronalen Netzes, ermittelt wird, wobei das neuronale Netz dazu ausgestaltet ist, zumindest anhand des zweiten Bildes das Vorhandensein einer Fahrbahnauflage und/oder insbesondere eines Fahrbahnauflagentyps zu ermitteln und auszugeben.
Bei der Aussage über das Vorhandensein einer Fahrbahnauflage kann es sich um unterschiedlichste Arten von Aussagen handeln. Einerseits kann eine Aussage über das Vorhandensein irgendeiner Fahrbahnauflage auf der Fahrbahn getroffen werden. Es kann aber auch ermittelt werden, oder wo sich die Fahrbahnauflage befindet, wieviel Fahrbahnauflage vorhanden ist. Alternativ oder zusätzlich lässt sich ermitteln, um welchen Fahrbahnauflagentyp, d.h. um welche Art von Fahrbahnauflage es sich jeweils handelt.
Bei dem neuronalen Netz handelt es sich vorzugsweise um ein faltendes neuronales Netz (engl. Convolutional neural network (CNN)), um ein rekurrentes neuronales Netz (engl. Recurrent neural network (RNN)), oder um ein sog. Region Proposal Netz (RPN). Für den Fall, dass ein trainiertes neuronales Netz zum Treffen einer Aussage über das Vorhandensein von Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp verwendet wird, können zum Training des Netzes sowohl Bilddaten von mittels Fahrzeugkamerasystemen aufgenommener Bilder verschiedenartiger Szenarien verwendet werden, welche beispielsweise manuell gelabelt werden. Es ist aber auch möglich, geeignete Trainingsdaten zumindest teilweise synthetisch zu erzeugen. Darüber hinaus kann zum Training des neuronalen Netzes auch ein geeigneter Referenzsensor verwendet werden, welcher eine Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp mit hoher Zuverlässigkeit und Präzision bestimmt, und mittels welchem Trainings-Zielwerte vorgegeben werden können.
Eine alternative Ausgestaltung beinhaltet, dass die Aussage über das Vorhandensein einer Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines Entscheidungsbaumes, insbesondere anhand eines Zufallswaldes, ermittelt wird. Es ist also ebenso möglich, das Vorhandensein von Fahrbahnauflage und/oder insbesondere einen Fahrbahnauflagentyp auf einer Fahrbahn anhand eines evolutionären Verfahrens zu ermitteln.
Das erfindungsgemäße Verfahren gemäß einer der hier beschriebenen Ausgestaltungen findet vorteilhaft Verwendung beim Erkennen des Vorhandenseins einer Fahrbahnauflage bei Nacht oder im Falle von geringer oder keiner Beleuchtung. Das erfindungsgemäße Verfahren ist demnach besonders vorteilhaft verwendbar in Nachtsituationen mit geringer oder fehlender Beleuchtung, beispielsweise bei Überlandfahrten ohne Streulicht von außen. Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass bei einer Verwendung des erfindungsgemäßen Verfahrens bei Nacht oder im Falle von geringer oder keiner Beleuchtung ein Restlicht der Fahrzeugscheinwerfer in Kombination mit der zweiten Belichtungszeit ausreichend ist, um eine Aussage über das Vorhandensein von Fahrbahnauflage zu treffen.
Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch ein System zur Datenverarbeitung, umfassend Mittel zur Ausführung des erfindungsgemäßen Verfahrens gemäß einer der beschriebenen Ausgestaltungen.
Außerdem wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren nach einer der beschriebenen Ausgestaltungen auszuführen, sowie durch ein computerlesbares Speichermedium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
Die Erfindung sowie ihre vorteilhaften Ausgestaltungen werden anhand der nachfolgenden Figuren näher erläutert. Es zeigt:

1 ein Ablaufdiagramm zur Illustration des erfindungsgemäßen Verfahrens;
2 ein Ablaufdiagramm für eine Ausgestaltung des erfindungsgemäßen Verfahrens unter Verwendung von Methoden des maschinellen Lernens; und
3 Aufnahmen eines radnahen Bereichs eines Fahrzeugs bei Vorhandensein unterschiedlicher Fahrbahnauflagen.

In 1 ist das erfindungsgemäße Verfahren illustriert. In einem ersten Schritt wird ein erstes von einem Fahrzeugkamerasystem aufgenommenes Bild I₁ mit einer ersten Belichtungszeit b₁ bereitgestellt. Zudem wird ein zweites Bild I₂ mit einer zweiten Belichtungszeit b₂ bereitgestellt. Optional kann die zweite Belichtungszeit b₂ in Abhängigkeit der ersten Belichtungszeit b₁ gewählt werden. Diese Variante ist in 1 entsprechend gestrichelt dargestellt. Dann ist die zweite Belichtungszeit b₂ eine beliebige Funktion der ersten Belichtungszeit b₁. Zudem können bei der Wahl der zweiten Belichtungszeit beispielsweise eine Geschwindigkeit v des Fahrzeugs und/oder eine Helligkeit einer Umgebung des Fahrzeugs, also jeweils vorherrschende Lichtverhältnisse, berücksichtigt werden.
Erfindungsgemäß ist die zweite Belichtungszeit b₂ länger als die erste Belichtungszeit b₁. Auf diese Weise kann anhand des zweiten Bildes I₂ eine Aussage über das Vorhandensein einer Fahrbahnauflage F ermittelt werden. Darüber hinaus können auch Aussagen über einen Reibwert des Fahrzeugs auf der Fahrbahn oder im Falle, dass es sich bei der Fahrbahnauflage um Wasser handelt, Aussagen über eine Wassertiefe und/oder ein Aquaplaning-Risiko ermittelt werden.
Ebenfalls optional, und deshalb gestrichelt dargestellt, kann die erste Belichtungszeit von einer Belichtungssteuerungs/-regelungs-Vorrichtung 2 bestimmt, insbesondere geregelt oder gesteuert werden. In diesem Falle wird die erste Belichtungszeit b₁ fortlaufend automatisiert geeignet gewählt, und insbesondere hinsichtlich einer dem Aufnehmen eines Bildes I nachgelagerten Bildauswertung optimiert.
In 2 ist eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens illustriert, bei welcher zur Ermittlung der Aussage über das Vorhandensein der Fahrbahnauflage F Methoden des maschinellen Lernens herangezogen werden. Für die gezeigte Ausgestaltung wird das zweite Bild I₂ einem trainierten neuronalen Netz NN als Input zur Verfügung gestellt. Das neuronale Netz NN ist dazu ausgestaltet, zumindest anhand des zweiten Bildes I₂ das Vorhandensein einer Fahrbahnauflage F zu ermitteln und auszugeben.
Erfindungsgemäß können aber auch andere Methoden des maschinellen Lernens zum Einsatz kommen, wie beispielsweise Entscheidungsbäume.
Im Falle, dass eine Fahrbahnauflage F vorhanden ist, wird diese beim Fahren des Fahrzeugs auf der Fahrbahn durch die Reifen verdrängt, insbesondere nach vorn und zur Seite. Die verdrängte Fahrbahnauflage F verursacht aufgrund einer Relativbewegung zum fahrenden Fahrzeug und aufgrund der längeren Belichtungszeit b₂ für das zweite Bild I₂ eine Bewegungsunschärfe in Streurichtung, welche zur Erkennung des Vorhandenseins von Fahrbahnauflage F ausgenutzt wird. So kommt es aufgrund der Bewegung des Fahrzeugs auf der Fahrbahn und aufgrund von der Relativbewegung der verdrängten Fahrbahnauflage F und Reflektionen von Streulicht an der verdrängten Fahrbahnauflage F charakteristische Muster in dem zweiten Bild I₂ mit der längeren Belichtungszeit b₂ relativ zur Bewegungsrichtung des Fahrzeugs. Beispielsweise kann zwischen verschiedenen Farbtönen, Formen, Dimensionen und Ausrichtungen relativ zu einer vorgebbaren Achse der Muster unterschieden werden. Beispielsweise sind solche Bildunschärfen, welche innerhalb des Bildes I₂ schräg nach vorn oder seitlich ausgeprägt sind, ausschließlich durch verdrängte Fahrbahnauflage F verursacht. Es ist also möglich, anhand der sich ergebenden charakteristischen Muster eine Aussage über das Vorhandensein einer Fahrbahnauflage F abzuleiten. Dies wird anhand von 3 näher erläutert.
In 3 sind beispielhaft vier verschiedene Kamerabilder eines radnahen Bereichs eines Fahrzeugs für vier unterschiedliche Fahrbahnauflagen F, also eines Reifens 3 und dessen unmittelbarer Umgebung, gezeigt. Entsprechende Bilder können beispielsweise mittels einer Surroundview-Kamera aufgenommen werden. Aber auch andere Arten von Kamerasystemen sind im Rahmen der vorliegenden Erfindung denkbar und möglich.
3a betrifft den Fall einer geringfügig nassen Fahrbahn. Der Reifen 3 ist von einem charakteristischen ersten Muster M₁ umgeben, welches aufgrund der längeren Belichtungszeit b₂ für das zweite Bild I₂ sichtbar wird. Dagegen ist in 3b ein vergleichbares Bild für den Fall einer deutlich nasseren Fahrbahn dargestellt. Das sich in diesem Falle ergebende charakteristische Muster M₂ unterscheidet sich deutlich von dem ersten charakteristischen Muster M₁ aus 3a. Anhand von 3a und 3b wird deutlich, dass zwischen unterschiedlichen Nässegeraden einer Fahrbahn sicher unterschieden werden kann. Bei einem höheren Nässegrad ( 3b) ist sowohl die Menge als auch die Intensität der durch die Reifen verdrängten Flüssigkeit deutlich größer.
Zur Ermittlung eines Aquaplaning-Risikos können beispielsweise verschiedene Klassen für unterschiedliche Wassermengen und Intensitäten der jeweils auftretenden Wasserverdrängung durch die Reifen gebildet werden. Auf diese Weise kann, beispielsweise unter zusätzlicher Berücksichtigung einer Fahrzeuggeschwindigkeit, zwischen verschiedenen Risikoklassen für das Auftreten von Aquaplaning unterschieden werden. Aber auch andere Arten der Auswertung der charakteristischen Muster M im jeweils zweiten Bilde I₂ mit der längeren Belichtungszeit b₂ zur Ermittlung der Wassertiefe und/oder eines Aquaplaning-Risikos sind denkbar und fallen unter die vorliegende Erfindung.
Schließlich ist in 3c ein charakteristisches Muster M₃ bei Vorhandensein von Sand auf der Fahrbahn und in 3d ein charakteristisches Muster M₄ bei Vorhandensein von Schnee auf der Fahrbahn dargestellt. Die vorliegende Erfindung ist also nicht auf das Erkennen irgendeiner Fahrbahnauflage auf der Fahrbahn begrenzt. Vielmehr kann auch der Typ der jeweils vorhandenen Fahrbahnauflage sicher ermittelt werden. Es ist ein Vorteil der vorliegenden Erfindung, dass das Vorhandensein einer Fahrbahnauflage, also ein Fahrbahnzustand, oder auch ein Aquaplaning-Risiko zuverlässig und unabhängig von äußeren Lichtverhältnissen in der Umgebung des Fahrzeugs, also insbesondere auch bei Nacht oder in Fällen geringer oder keiner Beleuchtung in der Umgebung des Fahrzeugs, mit herkömmlichen, insbesondere auch mit preisgünstigen Kameras, ermittelt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004018088 A1 [0005]
DE 102014214243 A1 [0006]
WO 2015110030 A2 [0007]
WO 2013117186 A1 [0008]
EP 3069296 A1 [0009]
DE 102009041566 B4 [0019]

Claims

Verfahren, insbesondere computer-implementiertes Verfahren, zum Erkennen einer Fahrbahnauflage (F) auf einer Fahrbahn mittels eines Fahrzeugkamerasystems (1) eines Fahrzeugs, umfassend folgende Verfahrensschritte: Bereitstellen eines ersten, mit dem Fahrzeugkamerasystem aufgenommenen, Bildes (I₁) einer Fahrzeugumgebung mit einer ersten Belichtungszeit (b₁), Bereitstellung eines zweiten Bildes (I₂) der Fahrzeugumgebung mit einer zweiten Belichtungszeit (b₂), welche länger ist als die erste Belichtungszeit (b₁), und Ermitteln einer Aussage über das Vorhandensein einer Fahrbahnauflage (F) zumindest anhand des zweiten Bildes (b₂).
Verfahren nach Anspruch 1, wobei es sich bei der Fahrbahnauflage (F) um Wasser, Schnee, Eis, Blätter oder Partikel, insbesondere Sand oder Staub, handelt.
Verfahren nach Anspruch 1 oder 2, wobei eine Aussage über einen Reibwert und/oder einer Reibwertklasse für das Fahrzeug, welches sich auf der Fahrbahn befindet, ermittelt wird, insbesondere anhand der Aussage über das Vorhandensein der Fahrbahnauflage, vorzugsweise anhand eines Fahrbahnauflagentyps.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei es sich bei der Fahrbahnauflage (F) um Wasser handelt, und wobei eine Wassertiefe ermittelt wird.
Verfahren nach Anspruch 4, wobei anhand der Wassertiefe, einer Geschwindigkeit des Fahrzeugs und/oder eines Schlupfverhaltens zumindest eines Reifens des Fahrzeugs eine Aussage über ein Risiko von Aquaplaning ermittelt wird.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b₂) in Abhängigkeit der von einer Belichtungssteuerungs/-regelungs-Vorrichtung bestimmten ersten Belichtungszeit (b_i) gewählt wird.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b₂) in Abhängigkeit einer Geschwindigkeit (v) des Fahrzeugs gewählt wird.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b₂) in Abhängigkeit einer Helligkeit einer Umgebung des Fahrzeugs gewählt wird.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die zweite Belichtungszeit (b₂), ausgehend von der ersten Belichtungszeit (b₁), sukzessiv, insbesondere in vorgebbaren Intervallen oder Stufen, oder mittels eines vorgebbaren Faktors, erhöht wird.
Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere einen Fahrbahnauflagentyp, mittels einer Methode aus dem Bereich des Maschine Learning ermittelt wird.
Verfahren nach Anspruch 10, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere einen Fahrbahnauflagentyp unter Verwendung zumindest eines neuronalen Netzes, insbesondere eines trainierten neuronalen Netzes, ermittelt wird, wobei das neuronale Netz dazu ausgestaltet ist, zumindest anhand des zweiten Bildes (I₂) das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere eines Fahrbahnauflagentyps zu ermitteln und auszugeben.
Verfahren nach Anspruch 10, wobei die Aussage über das Vorhandensein einer Fahrbahnauflage (F) und/oder insbesondere den Fahrbahnauflagentyp unter Verwendung zumindest eines Entscheidungsbaumes, insbesondere anhand eines Zufallswaldes, ermittelt wird.
Verwendung des Verfahrens nach zumindest einem der vorherigen Ansprüche zum Erkennen einer Fahrbahnauflage (F) bei Nacht oder im Falle von geringer oder keiner Beleuchtung.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1-12 auszuführen.
Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.