DE102021101788A1

DE102021101788A1 - Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug

Info

Publication number: DE102021101788A1
Application number: DE102021101788.2A
Authority: DE
Inventors: Niklas Broll; Daniel Pfefferkorn; Julian Pohl; Thomas Wolf
Original assignee: ZF CV Systems Global GmbH
Current assignee: ZF CV Systems Global GmbH
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2022-07-28
Also published as: WO2022161750A1

Abstract

Die Erfindung betrifft ein Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft (Ei) eines Untergrundes (3), auf dem sich ein Fahrzeug (1) bewegt, mit mindestens den folgenden Schritten:
- Aufnehmen und Abspeichern von mehreren Bildern in einer Umgebung vor dem Fahrzeug (1);
- Einlesen von Bildpaaren aus den gespeicherten Bildern, wobei sich ein Bildpaar aus einem Referenzbild und einem ausgewählten Vergleichsbild zusammensetzt;
- Erfassen von Merkmalspunkten in zumindest einem Bild eines jeden Bildpaares und Ermitteln, wie sich die erfassten Merkmalspunkte zwischen den beiden Bildern eines Bildpaares bewegen und in Abhängigkeit davon Ermitteln einer Transformationsmatrix;
- Ermitteln von transformierten Bildern durch Anwenden der Transformationsmatrix auf das Vergleichsbild und Ermitteln von Differenzbildern aus dem Referenzbild und dem transformierten Bild;
- Überlagern der Differenzbilder zum Ermitteln eines Gesamtbildes; und
- ortsaufgelöstes Zuordnen einer Oberflächeneigenschaft zu dem Untergrund durch Auswerten von Gesamt-Bildwerten des Gesamtbildes.

Description

Die Erfindung betrifft ein Verfahren zum ortsaufgelösten Abschätzen einer Oberflächeneigenschaft eines Untergrundes, eine Verarbeitungseinheit zur Durchführung des Verfahrens sowie ein Fahrzeug.
Aus dem Stand der Technik sind Fahrerassistenzsysteme bekannt, die dazu dienen, die Fahrsicherheit zu erhöhen. Dazu greifen die Fahrerassistenzsystem auf eine Vielzahl von Informationen zurück, um die aktuelle Fahrsituation zuverlässig bestimmen und darauf reagieren zu können. Jede zusätzliche Information, die einem Fahrerassistenzsystem zur Verfügung gestellt wird, kann es verbessern oder robuster machen. So hat insbesondere der Reibwert als Reibgröße zwischen einem Untergrund und den Rädern des Fahrzeuges einen großen Einfluss auf die Fahrerassistenzsysteme eines Fahrzeugs, die für einen Bremsvorgang zuständig sind. Diese Informationen werden heutzutage jedoch noch nicht verwertet.
Auch im Hinblick auf das autonome Fahren zeigt sich die Wichtigkeit einer Schätzung des Reibwerts. Viele der von Menschen als selbstverständlich hingenommenen Gegebenheiten, zum Beispiel eine nasse Oberfläche, lassen sich von im Fahrzeug verbauten Systemen deutlich schwieriger erkennen. Ein menschlicher Fahrer kann Feuchtigkeit, Schnee- oder Eisflächen auf einem Untergrund ganz intuitiv erkennen und daraus die damit verbundenen Gefahren durch einen längeren Bremsweg ableiten. Weiterhin wäre es aber auch möglich, den Fahrer direkt über den momentanen Reibwert zu informieren, so dass dieser sein Fahrverhalten an die Umweltbedingungen anpassen kann.
Aufgabe der Erfindung ist daher, ein Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes anzugeben, mit dem ein Fahrverhalten eines Fahrzeuges auf einem Untergrund einfach und zuverlässig, insbesondere auch vorausschauend, abgeschätzt werden kann. Aufgabe ist weiterhin, eine Verarbeitungseinheit und ein Fahrzeug anzugeben.
Diese Aufgabe wird durch ein Verfahren, eine Verarbeitungseinheit sowie ein Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
Erfindungsgemäß ist demnach ein Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, auf dem sich ein Fahrzeug bewegt, mit mindestens den folgenden Schritten vorgesehen:

- Aufnehmen von mehreren Bildern in einer Umgebung um das Fahrzeug mit einer am Fahrzeug angeordneten Kamera und Abspeichern der Bilder;
- Einlesen einer Anzahl an Bildpaaren aus den gespeicherten Bildern, wobei sich ein Bildpaar aus einem Referenzbild (für jedes Bildpaar vorzugsweise identisch), vorzugsweise das aktuellste, jüngste aufgenommene und abgespeicherte Bild innerhalb eines betrachteten Zeitraums, und einem ausgewählten Vergleichsbild zusammensetzt und für jedes Bildpaar unterschiedliche Vergleichsbilder ausgewählt werden;
- Erfassen von Merkmalspunkten in zumindest einem Bild eines jeden Bildpaares und Ermitteln, wie sich die erfassten Merkmalspunkte zwischen den beiden Bildern eines Bildpaares bewegen;
- Ermitteln einer Transformationsmatrix (Homographie) für jedes Bildpaar in Abhängigkeit davon, wie sich ein Merkmalspunkt zwischen den Bildern eines Bildpaares bewegt;
- Ermitteln von transformierten Bildern durch Anwenden der für ein Bildpaar ermittelten Transformationsmatrix auf das Vergleichsbild desselben Bildpaares;
- Ermitteln von Differenzbildern aus dem Referenzbild und dem transformierten Bild des jeweiligen Bildpaares;
- Überlagern der ermittelten Differenzbilder zum Ermitteln eines Gesamtbildes; und
- ortsaufgelöstes Zuordnen einer Oberflächeneigenschaft zu dem Untergrund durch vorzugsweise pixelweises Auswerten von Gesamt-Bildwerten des Gesamtbildes. Entsprechend ist erfindungsgemäß eine Verarbeitungseinheit vorgesehen, die ausgebildet ist, das erfindungsgemäße Verfahren durchzuführen sowie auch ein Fahrzeug mit einer derartigen Verarbeitungseinheit.

Dadurch wird bereits der Vorteil erreicht, dass vorausschauend über von einer Kamera aufgenommenen Bildern, ein Verhalten der Oberfläche bzw. eine Oberflächeneigenschaft ortsaufgelöst abgeschätzt werden kann, um das Fahrverhalten des Fahrzeuges an den zukünftigen Untergrund anpassen zu können. Unter ortsaufgelöst wird dabei verstanden, dass grundsätzlich für jeden Pixel in einem aufgenommenen Bild und damit für jeden erfassten Objektpunkt auf dem Untergrund eine Oberflächeneigenschaft abgeschätzt werden kann. Dies ist insbesondere abhängig von der Auflösung der Kamera.
Erfindungsgemäß wurde dabei erkannt, dass sich die Oberflächeneigenschaft eines Untergrundes ortsaufgelöst aus einer Reflektivität des Untergrundes herleiten lässt. Werden reflektierende Bereiche des Untergrundes, beispielsweise nasse Oberflächen, insbesondere Pfützen, von der Kamera aus unterschiedlichen Winkeln aufgenommen, so verändert sich die Intensität in den aufgenommenen Bildern, da die reflektierenden Bereiche winkelabhängig unterschiedliche Umgebungsdetails zur Kamera reflektieren. Nicht-reflektierende Bereiche hingegen reflektieren in einem geringeren Maße bzw. diffuser, so dass sich zwischen unterschiedlichen Bildern bzw. zwischen unterschiedlichen Winkeln weniger Unterschiede ergeben.
Dadurch können reflektierende Oberflächen von nicht-reflektierenden Oberflächen unterschieden werden, indem der Untergrund während einer Bewegung der Kamera, aufgrund einer Bewegung des Fahrzeuges, aus unterschiedlichen Winkeln bzw. Perspektiven aufgenommen wird. Aus der Kamerabewegung folgt auch eine Bewegung von bestimmten Merkmalspunkten in den Bildern, wobei mit dieser Information Vergleichsbilder, die in der Vergangenheit aufgenommen wurden, über die Homographie bzw. die Transformationsmatrix in ein aktuelles, jüngeres Bild, das Referenzbild, überführt bzw. projiziert werden können. Als ein jüngeres Bild wird dabei ein zeitlich jüngeres Bild verstanden, d.h. näher an der Gegenwart als ein (zeitlich) älteres Bild, das demnach weiter in der Vergangenheit aufgenommen wurde.
Das so ermittelte transformierte Bild kann dann pixelweise auf Unterschiede (Differenz) zu dem Referenzbild untersucht werden, wobei diese Unterschiede aus dem blickwinkelabhängigen Reflektionsverhalten des Untergrundes folgen. Diese Unterschiede können visuell in einem Gesamtbild dargestellt werden, so dass daraus ortsaufgelöst auf die Oberflächeneigenschaft, beispielsweise eine gut reflektierende bzw. nasse Oberfläche oder eine schlecht reflektierende bzw. trockene Oberfläche zugeordnet werden kann. Daraus kann wiederum auf eine Reibgröße, insbesondere einen Reibwert, geschlossen werden. Die Reibgröße, die einer bestimmten Oberfläche bzw. Oberflächeneigenschaft zugeordnet wird, kann dabei in vorherigen Versuchen abgeschätzt und festgelegt werden. Dazu ist keine umfangreiche Anpassung der Hardware nötig, da Kameras im Fahrzeug ohnehin bereits vorhanden sind. Dadurch ist eine einfache Nachrüstbarkeit gegeben.
Neben dem vorrausschauenden Ermitteln der Oberflächeneigenschaft kann diese im erfindungsgemäßen Verfahren ermittelte Information als zusätzliche Information zur Steuerung eines Fahrzeuges, insbesondere mit einem Fahrerassistenzsystem, verwendet werden. Dazu kann die Verarbeitungseinheit ausgebildet sein, ein Steuersignal in Abhängigkeit der ortsaufgelöst ermittelten Oberflächeneigenschaft zu erzeugen und auszugeben zum Ansteuern eines Antriebssystems und/oder eines Bremssystems und/oder eines Lenksystems des Fahrzeuges, insbesondere durch das jeweilige Fahrerassistenzsystem. Dazu kann vorzugsweise vorgesehen sein, dass das Gesamtbild durch eine Projektionsmatrix in einen Bereich der Räder des Fahrzeuges transformiert wird zum ortsaufgelösten Zuordnen der Oberflächeneigenschaft zu einem Rad des Fahrzeuges. Dadurch kann die Ermittelte Oberflächeneigenschaft in einfacher Weise durch Bildverarbeitung auf den Bereich der Räder übertragen werden.
Wenn in Abhängigkeit der ermittelten Oberflächeneigenschaft insbesondere eine Reibgröße oder ein Reibwert abgeschätzt wird, kann das Fahrerassistenzsystem verbessert oder robuster gemacht werden. Beispielsweise kann der Einschwingvorgang eines ABS-Systems in einem Fahrzeug verkürzt werden, wenn neben der Anpassung des Ist-Schlupfes an den Soll-Schlupf ergänzend auf den abgeschätzten Reibwert zurückgegriffen wird, um den Bremsdruck optimal einzustellen. Weiterhin kann auch eine Antriebsschlupfregelung (ASR) verbessert werden, da auch darin der Bremsdruck genauer in Abhängigkeit des Reibwertes abgeschätzt werden kann. Auch bei einem Notbremsassistenten kann beispielsweise bei einer nassen Straße das Bremsverhalten gezielt angepasst werden, insofern diese Information zur Verfügung steht.
Vorzugsweise ist weiterhin vorgesehen, dass für die mehreren aufgenommenen Bilder Bildkorrekturen durchgeführt werden, wobei die mehreren aufgenommenen Bilder beispielsweise entzerrt und/oder in ihrer Helligkeit angepasst und/oder zugeschnitten und oder farbangepasst werden. Dadurch kann allgemein der Rechenaufwand sowie auch die Qualität der Bilder verbessert und damit auch das Verfahren schneller und zuverlässiger gestaltet werden.
Vorzugsweise ist weiterhin vorgesehen, dass die Vergleichsbilder in Abhängigkeit eines Winkels zwischen der Kamera und dem Untergrund und/oder einem den abgespeicherten Bildern zugeordneten Index ausgewählt werden. Dabei wird davon ausgegangen, dass das aktuellste Bild den geringsten Index aufweist. Dadurch kann vorzugsweise berücksichtigt werden, dass sich der Winkel zwischen der Kamera und dem Untergrund für ältere Bilder (höherer Index) mit einem bestimmten zeitlichen Abstand weniger verändert als für jüngere Bilder (niedriger Index) mit demselben zeitlichen Abstand. Aus direkt benachbarten älteren Bildern lassen sich also weniger neue Informationen extrahieren als aus direkt benachbarten jüngeren Bildern. Vorteilhaft ist daher, dass die Vergleichsbilder derartig aus den Bildern ausgewählt werden, dass sich der Winkel zwischen der Kamera und dem Untergrund, der einem ausgewählten Vergleichsbild zugeordnet ist, zwischen unterschiedlichen Vergleichsbildern in etwa um denselben Winkelbetrag verändert.
Vorzugsweise ist weiterhin vorgesehen, dass das Ermitteln, wie sich die erfassten Merkmalspunkte zwischen den beiden Bildern eines Bildpaares bewegen dadurch erfolgt, dass für jeden erfassten Merkmalspunkt ein optischer Fluss, vorzugsweise ein spärlicher optischer Fluss, bestimmt wird, und die Transformationsmatrix für jedes Bildpaar in Abhängigkeit des bestimmten optischen Flusses ermittelt wird. Daher wird vorteilhafterweise auf einen einfachen und bekannten Algorithmus, beispielsweise einen KLT Feature Tracker, zurückgegriffen, mit dem sich ein Merkmalspunkt zwischen den Bildern eines Bildpaares vektoriell (optischer Fluss) verfolgen lassen kann. Damit kann einfach und zuverlässig die Bewegung eines Merkmalspunktes abgeschätzt und basierend darauf die Transformationsmatrix ermittelt werden. Bei dieser Methode sind lediglich Merkmalspunkte in einem Bild des Bildpaares, d.h. dem Referenzbild oder dem Vergleichsbild, zu suchen, wodurch sich der Rechenaufwand minimiert. Dabei ist vorzugsweise vorgesehen, dass die Transformationsmatrix eines Bildpaares in Abhängigkeit des optischen Flusses von mindestens vier unterschiedlichen Merkmalspunkten des Bildpaares ermittelt wird, um eine sichere und zuverlässige Ermittlung der Transformationsmatrix zu gewährleisten.
Gemäß einer weiteren Methode kann vorgesehen sein, dass das Ermitteln, wie sich die erfassten Merkmalspunkte zwischen den beiden Bildern eines Bildpaares bewegen dadurch erfolgt, dass in jedem Bild des Bildpaares Merkmalspunkte gesucht werden und aus den Merkmalspunkten, die sowohl in dem Referenzbild als auch in dem Vergleichsbild des jeweiligen Bildpaares auftreten, Merkmalspaare gebildet werden, wobei die Transformationsmatrix für jedes Bildpaar in Abhängigkeit davon ermittelt wird, wie sich ein Merkmalspunkt des jeweiligen Merkmalspaares zwischen den Bildern eines Bildpaares bewegt. Statt dem direkten Ermitteln des optischen Flusses kann also auch eine Merkmalsverfolgung stattfinden, indem ein Merkmalspunkt in beiden Bildern gesucht wird und deren Bewegung durch eine entsprechende Auswertung der Bildpunkte abgeschätzt wird. Aus dieser ermittelten Bewegung erfolgt dabei vergleichbar wie beim optischen Fluss auch die Transformationsmatrix zur Verwendung im weiteren Verfahrensablauf. Diese Methode erreicht damit dasselbe Ziel allerdings mit einem anderen Rechenaufwand, da die Merkmalspunkte in beiden Bildern zu suchen und zueinander zuzuordnen sind.
Vorzugsweise ist dazu weiterhin vorgesehen, dass das Suchen von Merkmalspunkten, die sowohl in dem Referenzbild als auch in dem Vergleichsbild des jeweiligen Bildpaares auftreten, anhand eines Merkmals-Deskriptors und/oder eines Identifikators und/oder eines Merkmals-Alters erfolgt, die einem Merkmalspunkt im jeweiligen Bild zugeordnet sind. Dazu wird vorzugsweise jedes Bild einer Merkmalserkennung unterzogen und erkannten Merkmalen eine Eigenschaft zugeordnet, die sich in zeitlich vorangegangenen Bildern wiederfinden lässt. Über das Merkmals-Alter kann ein Merkmal zudem zuverlässig über mehrere Bilder bzw. Frames gezielt verfolgt werden.
Vorzugsweise kann weiterhin vorgesehen sein, dass eine einem Bildpaar zugeordnete Transformationsmatrix aus einer Anzahl aus Untermatrizen zusammengesetzt ist, wobei jede Untermatrix Bilder, die zeitlich zwischen dem Vergleichsbild und dem Referenzbild aufgenommen sind, in ein jüngeres Bild transformiert. Daher kann das Vergleichsbild entweder unmittelbar oder in mehreren Zwischenschritten in das Referenzbild transformiert werden.
Vorzugsweise ist weiterhin vorgesehen, dass das Ermitteln von Differenzbildern aus dem Referenzbild und dem transformierten Bild des jeweiligen Bildpaares durch pixelweises Ermitteln eines Differenz-Bildwertes aus einer Differenz zwischen einem Referenz-Bildwert im Referenzbild und einem transformierten Bildwert im transformierten Bild erfolgt, wobei sich das jeweilige Differenzbild pixelweise aus den Differenz-Bildwerten zusammensetzt. Damit ist eine einfache Möglichkeit gegeben, die aus dem winkelabhängigen Reflektionsverhalten resultierenden Veränderungen aus den transformierten Bildern zu ermitteln.
Vorzugsweise ist weiterhin vorgesehen, dass das Überlagern der ermittelten Differenzbilder zum Ermitteln eines Gesamtbildes durch pixelweises Ermitteln von Gesamt-Bildwerten aus einer Summe aus den jeweiligen Differenz-Bildwerten der einzelnen Differenzbilder erfolgt, wobei sich das Gesamtbild pixelweise aus den ermittelten Gesamt-Bildwerten zusammensetzt. Damit können die Informationen über das winkelabhängige Reflektionsverhalten des Untergrundes aus mehreren Differenzbildern in einfacher Weise zusammengefügt werden, um ein zuverlässiges Ergebnis zu erhalten.
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert. Es zeigen:

1 eine schematische Ansicht eines Fahrzeuges auf einem Untergrund;
2a eine schematische Ansicht eines über eine Kamera aufgenommenen Bildes;
2b ein Referenzbild mit mehreren Merkmalspunkten sowie deren optischem Fluss;
3 ein Flussdiagramm des erfindungsgemäßen Verfahrens;
4 ein Gesamtbild generiert aus dem Verfahren gemäß 3; und
5 eine Bewegung der Kamera über dem Untergrund.

In 1 ist schematisch ein Fahrzeug 1 mit Rädern 2 gezeigt, das sich auf einem Untergrund 3, z.B. einer Straße, bewegt. Der Untergrund 3 kann bereichsweise unterschiedliche Oberflächenbeschaffenheiten aufweisen, z.B. nass oder trocken. Dem Untergrund 3 kann demnach ortsaufgelöst eine Oberflächeneigenschaft Ei; mit i=1, 2, 3, ... zugeordnet werden, wobei eine erste Oberflächeneigenschaft E1 beispielsweise bei einer nassen Oberfläche ON, und eine zweite Oberflächeneigenschaft E2 bei einer trockenen Oberfläche OT vorliegen kann. Es können aber auch weitere Unterteilungen möglich sein, z.B. eisige oder schneebedeckte Oberflächen.
Aus der jeweiligen Oberflächeneigenschaft Ei kann wiederum abgeschätzt werden, wie gut ein Rad 2 auf dem Untergrund 3 haftet, wenn dieses in einem der Oberflächeneigenschaft Ei zugeordneten Bereich des Untergrundes 3 abrollt. Damit kann aus der Oberflächeneigenschaft Ei ortsaufgelöst auch eine Reibgröße R abgeschätzt werden, die die Reibung zwischen dem Rad 2 und dem Untergrund 3 im jeweiligen Bereich des Untergrundes 3 charakterisiert. Die Reibgröße R kann z.B. ein Reibwert mu zwischen dem jeweiligen Rad 2 und dem jeweiligen Bereich des Untergrundes 3 sein. Dabei kann sich auch eine Abhängigkeit von der Art des Untergrundes 3, z.B. Asphalt oder Schotterstraße, ergeben.
Zur ortsaufgelösten Abschätzung der Oberflächeneigenschaft Ei bzw. der Reibgröße R, insbesondere des Reibwertes mu, weist das Fahrzeug 1 ein Umgebungserfassungssystem 4 auf, das wiederum eine Kamera 5, beispielsweise eine Mono-Kamera 5a oder eine Stereo-Kamera 5b, sowie eine Auswerteeinheit 6 aufweist, wobei die Kamera 5 nach vorn auf den Untergrund 3 ausgerichtet ist, der vom Fahrzeug 1 zukünftig befahren wird. Die Kamera 5 gibt Kamera-Signale S5 an die Auswerteeinheit 6 in Abhängigkeit einer erfassten Umgebung U aus. Die Auswerteeinheit 6 ist dann in der Lage, anhand der Kamera-Signale S5 Bilder Bj; j=1, 2, 3, ..., Nj zu erstellen, wobei jedes Bild Bj gemäß 2a je nach Auflösung der Kamera 5 mehrere Bildpunkte Pkl; k, I = 1, 2, 3 ... (Pixel) aufweist, die sich jeweils in Bildkoordinaten xB, yB beschreiben lassen. Jedem Bildpunkt Pkl ist dabei ein bestimmter Objektpunkt Okl mit Objektkoordinaten xO, yO, zO (Weltkoordinaten) in der Umgebung U zugeordnet, wobei der Objektpunkt Okl in dem Bild Bj an den jeweiligen Bildkoordinaten xB, yB abgebildet wird.
Um das erfindungsgemäße Verfahren zum Abschätzen einer Oberflächeneigenschaft Ei eines Untergrundes 3 durchzuführen, werden eine Anzahl Nj>1 von Bildern Bj (Frames) aufgenommen, gespeichert und diese paarweise ausgewertet, wobei die paarweise Auswertung der Bilder Bj auch nur in einem gewissen Zeitraum dt stattfinden kann. Dabei stellt das Bild B1 das aktuellste Bild und das Bild BNj beispielsweise das älteste Bild Bj des Zeitraums dt dar. Die Anzahl Nj an Bildern Bj im betrachteten Zeitraum dt kann beispielsweise 60 betragen. Das Vorgehen ist hierbei in dem Flussdiagramm gemäß 3 beispielhaft dargestellt, das in einer Verarbeitungseinheit 7 ausgeführt werden kann. Die Verarbeitungseinheit 7 ist hierbei mit der Auswerteeinheit 6 verbunden oder ist Teil dieser Auswerteeinheit 6. Des Weiteren kann die Auswerteinheit 6 auch Teil der Verarbeitungseinheit 7 sein.
Aus den in einem ersten Schritt ST1 aufgenommenen Nj Bildern Bj des betreffenden Zeitraumes dt werden in einem optionalen zweiten Schritt ST2 zunächst vorverarbeitende Bildkorrekturen durchgeführt.
Dabei werden die betreffenden Bilder Bj in einem ersten Zwischenschritt ST2.1 zunächst entzerrt, um Linsenverzeichnungen (radial und tangential) zu entfernen. In einem zweiten Zwischenschritt ST2.2 kann anschließend eine Anpassung der Helligkeit Hj der Bilder Bj vorgenommen werden, um eine Grauwertkonstanz zu erreichen. Dies dient dazu, eine sprunghafte Änderung der Helligkeit Hj zwischen unmittelbar aufeinanderfolgenden Bildern Bj des betrachteten Zeitraums dt zu vermeiden. Diese entstehen insbesondere dadurch, dass die Kamera 5 bei Helligkeitsänderungen in der Umgebung U ihre Belichtungszeit nachregelt. Dies ist für die nachfolgende Auswertung hinderlich, so dass die Helligkeit Hj der betreffenden Bilder Bj derartig anzupassen ist, dass sich die Helligkeit Hj über den betrachteten Zeitraum dt nur minimal ändert (Grauwertkonstanz).
In einem nachfolgenden dritten Zwischenschritt ST2.3 kann ein Zuschneiden erfolgen, wobei dadurch uninteressante Bereiche, die keine zusätzlichen Informationen liefern können, z.B. der Himmel, im jeweiligen Bild Bj abgeschnitten werden. Weiterhin kann in einem vierten Zwischenschritt ST2.4 eine Farbanpassung derartig erfolgen, dass aus einem farbigen Bild Bj, insofern farbig aufgenommen, ein Bild Bj mit Graustufen erzeugt wird. Es können auch weitere Bildkorrekturen vorgenommen werden. In einem abschließenden fünften Zwischenschritt ST2.5 werden die so gewonnenen Bilder Bj abgespeichert, um diese den folgenden Schritten zugrunde zu legen:
In einem dritten Schritt ST3 werden aus den Nj abgespeicherten Bildern Bj (vorverarbeitet (ST2) oder unverarbeitet) ein oder mehrere Bildpaare pBq; mit q=1, 2, 3, ..., Nq eingelesen. Dabei wird immer von einem Referenzbild RB, das vorzugsweise das aktuellste Bild B1 des betrachteten Zeitraums dt ist, ausgegangen und diesem ein zeitlich zurückliegendes Bild Bj, j>1 als Vergleichsbild VBq; mit q=1, 2, 3, ..., Nq im Zeitraum dt zugeordnet. Damit ergeben sich eine Anzahl Nq an Bildpaaren pBq (RB/VB1 ; RB/VB2 ... RB/VBNq). Die Anzahl Nq an Bildpaaren pBq sowie die Auswahl des zeitlich zurückliegenden Vergleichsbildes VBq kann in Abhängigkeit von später noch näher erläuterten Kriterien erfolgen. Grundsätzlich können dabei aus allen aufgenommenen und abgespeicherten Bildern Bj (zeitlich begrenzt (dt) oder zeitlich unbegrenzt) Bildpaare pBq gebildet werden, was die Genauigkeit des Verfahrens erhöht, oder nur aus einigen ausgewählten Bildern Bj, was den Rechenaufwand vermindert.
In einem vierten Schritt ST4 werden in den eingelesenen bzw. ausgewählten Bildpaaren pBq Merkmalspunkte MPn gesucht und für jeden Merkmalspunkt MPn ermittelt, wie sich dieser in der realen Umgebung zwischen den Bildern Bj eines Bildpaares pBq bewegt. Dazu kann ein Merkmalspunkt MPn per „feature matching“ oder mithilfe eines optischen Flusses Fm; m=1, 2, 3, insbesondere eines spärlichen optischen Flusses, verfolgt werden. Im Folgenden wird zunächst auf die Ermittlung des optischen Flusses Fm eingegangen:

Dazu werden in einem der abgespeicherten Bilder Bj eines ausgewählten Bildpaares pBq, d.h. in dem Referenzbild RB oder in dem Vergleichsbild VBq, zunächst eine gewisse Anzahl Nn an Merkmalspunkten MPn; n= 1, 2, 3, ... Nn extrahiert und diese dann vom Vergleichsbild VBq zum Referenzbild RB durch das Bilden des optischen Flusses Fm verfolgt. Um diese Merkmalserkennung und -verfolgung effektiv, schnell und mit hoher Genauigkeit durchzuführen, kann lediglich ein festgelegter Auswahlbereich ABj des Referenzbildes RB bzw. des Vergleichsbildes VBq betrachtet werden.

Zur Merkmalserkennung wird in dem Auswahlbereich ABj des Referenzbildes RB (z.B. jüngstes Bild B1 des Zeitraums dt) oder des Vergleichsbildes VBq (z.B. ältestes Bild BNj des Zeitraums dt) zunächst pixelweise nach Bildpunkten Pkl gesucht, deren Nachbarschaft besonders ist. Diese Besonderheit kann z.B. eine Ecke (ME, s. 2a), eine Kontraständerung oder ein Bereich mit gleichen Eigenschaften sein. Bei einer Ecke als Merkmalspunkt MPn wird beispielsweise angenommen, dass sich benachbarte Bildpunkte Pkl im Bereich der Ecke immer nahezu gleich bewegen.
Dies dient dazu, Bildpunkte Pkl in dem Referenzbild RB (oder dem Vergleichsbild VBq) zu finden, die sich mit hoher Wahrscheinlichkeit auch in dem älteren ausgewählten Vergleichsbild VBq (oder dem jüngeren ausgewählten Referenzbild RB) des gerade betrachteten Bildpaares pBq noch finden und damit zwischen dem Referenzbild RB und dem Vergleichsbild VBq zeitlich verfolgen lassen.
Einem erkannten Merkmalspunkt MPn im Referenzbild RB (oder im Vergleichsbild VBq) kann dabei ein Identifikator MIDn; n= 1, 2, 3, ... sowie ein Merkmalsalter MAn; n= 1, 2, 3, ... zugeordnet werden, um die weitere Verarbeitung zu vereinfachen. Alle erkannten Merkmalspunkte MPn können in einem Merkmalsstack MS, der die genannten Informationen (MIDn, MAn) enthält, gespeichert werden.
Die so ermittelten Merkmalspunkte MPn in dem jeweiligen Bild Bj eines Bildpaares pBq können z.B. im Rahmen eines eckenbasierten Kanade-Lucas-Tomasi (KLT) Feature Trackers zeitlich verfolgt werden. Im Rahmen dessen werden den ermittelten Merkmalspunkten MPn im Referenzbild RB (oder im Vergleichsbild VBq) Pixel bzw. Bildpunkte Pkl im jeweils anderen Bild Bj (Vergleichsbild VBq bzw. Referenzbild RB) des Bildpaares pBq zugeordnet, von denen mit hoher Wahrscheinlichkeit davon ausgegangen werden kann, dass auf diesen derselbe Merkmalspunkt MPn abgebildet wird. Dies erfolgt gemäß dem KLT Feature Tracker beispielsweise unter der Annahme,

- dass sich die Helligkeit des Merkmalspunktes MPn zwischen den beiden Bildern Bj des betrachteten Bildpaares pBq nicht ändert (Grauwertkonstanz),
- dass die Bewegungen des abgebildeten Merkmalspunktes MPn zwischen den beiden Bildern Bj des betrachteten Bildpaares pBq sehr klein sind, d.h. sich der jeweilige Merkmalspunkt MPn nur um wenige Pixel bzw. Bildpunkte Pkl bewegt, und
- Pixel bzw. Bildpunkte Pkl, die bildlich nahe beieinander liegen eine ähnliche Bewegung aufweisen.

Bei korrekter Zuordnung der Pixel bzw. Bildpunkte Pkl zwischen den beiden Bildern Bj des betrachteten Bildpaares pBq kann die Bewegung eines reellen Punktes im Bildkoordinatensystem xB, yB über die jeweilige Anzahl an Frames in Form des optischen Flusses Fm, insbesondere des spärlichen optischen Flusses, vektoriell beschrieben werden. Die Bewegung bezieht sich dabei auf die Ebene E des Untergrundes 3, auf dem sich das Fahrzeug 1 bewegt, wobei angenommen wird, dass sich auch die Merkmalspunkte MPn in dieser Ebene E befinden. Demnach kann über einen dem jeweiligen Merkmalspunkt MPn zugeordneten Vektor (s. 2b, gestrichelter Pfeil) die Bewegung beschrieben werden, die in einer bestimmten Szene stattfindet oder die durch eine Bewegung der Kamera 5 über die entsprechende Anzahl an Bildern Bj bzw. zwischen dem Referenzbild RB und dem Vergleichsbild VBq bewirkt wird.
In 2b ist der optische Fluss Fm lediglich beispielhaft für zwei unterschiedliche Merkmalspunkte MP1, MP2 bezeichnet worden. Jedes Kreuz in 2b stellt dabei einen ausgewählten Merkmalspunkt MPn in der gezeigten Szene dar, dem ein optischer Fluss Fm zugeordnet werden kann. Die Merkmalspunkte MPn sind gewissen Besonderheiten der Szene in 2b zugeordnet, die vorab wie oben beschrieben ermittelt wurden. Die Darstellung in 2b ist dabei vereinfacht und Einzelheiten im betrachteten Bereich wurden aufgrund der besseren Sichtbarkeit entfernt.
Merkmalspunkte MPn, die sich in den beiden Bildern RB, VBq des q. Bildpaares pBq nicht durch die oben beschriebene Zuordnung (KLT Feature Tracker) verfolgen lassen, werden nicht mehr verwendet und aus dem Merkmalsstack MS gelöscht. Weiterhin können auch Merkmalspunkte MPn am Rand des jeweiligen Bildes RB, VBq gelöscht werden, die aufgrund der Bewegung des Fahrzeuges 1 ohnehin herausfallen würden.
Bei der beschriebenen Mustererkennung und -verfolgung wird versucht, die Anzahl Nn an Merkmalspunkten MPn konstant zu halten. Um eine zuverlässige Ermittlung zu ermöglichen, werden je nach Auswahlbereich ABj des Referenzbildes RB einige zehn bis eintausend Merkmalspunkte MPn für den weiteren Verfahrensablauf herangezogen.
Sollten nur wenige Merkmalspunkte MPn im Merkmalsstack MS vorhanden sein, beispielsweise am Anfang des Algorithmus oder aufgrund einer Filterung, können dem Merkmalsstack MS weitere Merkmalspunkte MPn hinzugefügt werden. Erhöht sich die Anzahl Nn an Merkmalspunkten MPn, so kann die Anzahl an neu aufzunehmenden Merkmalspunkten MPn im Merkmalsstack MS begrenzt werden. Weiterhin werden die Merkmalspunkte MPn möglichst gleichmäßig über das jeweilige Bild RB, VBq des betrachteten Bildpaares pBq verteilt. Bereiche mit wenigen oder keinen Merkmalspunkten MPn werden, wenn möglich, aufgefüllt. In Bereichen, in denen schon viele Merkmalspunkte MPn vorhanden sind, werden keine neuen Merkmalspunkte MPn hinzugefügt. Dies hat den Vorteil, dass lokale Häufungen von Merkmalspunkten MPn verhindert werden, was in den folgenden Verfahrensschritten zu Ungenauigkeiten führen kann.
Die beschriebene Merkmalserkennung und die Merkmalsverfolgung werden für alle Nq ausgewählten Bildpaare pBq durchgeführt, so dass die Bewegung bzw. der optische Fluss Fm der jeweiligen Merkmalspunkte MPn aus Nq unterschiedlichen Szenen ermittelt werden kann.
Alternativ zu der oben beschriebenen Methode zum Ermitteln des optischen Flusses Fm über den KLT Feature Tracker kann auch durch ein sog. Feature Matching die Bewegung eines jeden Merkmalspunktes MPn verfolgt werden. Dabei wird sowohl in dem Referenzbild RB (z.B. jüngstes Bild B1 des Zeitraums dt) als auch im Vergleichsbild VBq (z.B. ältestes Bild BNj des Zeitraums dt) zunächst pixelweise nach Bildpunkten Pkl gesucht, deren Nachbarschaft besonders ist, z.B. eine Ecke (ME, s. 2a), eine Kontraständerung oder ein Bereich mit gleichen Eigenschaften. Demnach werden auch hier Bildpunkte Pkl gesucht, die sich mit hoher Wahrscheinlichkeit zwischen dem Referenzbild RB und dem Vergleichsbild VBq zeitlich verfolgen lassen. Im Gegensatz zum Vorgehen mit dem KLT Feature Tracker wird bei dieser Vorgehensweise jedoch in beiden Bilden Bj eines Bildpaares pBq nach Merkmalspunkten MPn gesucht.
Ergänzend kann bei dieser Methode in dem Merkmalsstack MS ein Merkmals-Deskriptor MDn gespeichert sein, der den Merkmalspunkt MPn näher beschreibt, wobei der Merkmals-Deskriptor MDn z.B. aus einer Mustererkennung, einem Histogramm, Ecken, Konturen oder Fouriertransformationen folgt. Damit lässt sich ein Merkmalspunkt MPn anhand des Merkmals-Deskriptors MDn einfacher in beiden Bildern Bj des betrachteten Bildpaares pBq wiederfinden bzw. zuordnen.
Anschließend werden Merkmalspaare pMm; mit m = 1, 2, 3, ... gesucht, indem die dem Referenzbild RB zugeordneten Merkmalspunkte MPn mit den dem Vergleichsbild VBq des Bildpaares pBq zugeordneten Merkmalspunkten MPn verglichen werden. Dabei werden jeweils Merkmalspunkte MPn gesucht, die sowohl in dem Referenzbild RB als auch in dem Vergleichsbild VBq auftreten. Dies kann z.B. anhand des Merkmals-Deskriptors MDn erfolgen. Anhand des Merkmals-Alters MAn eines im Referenzbild RB erkannten Merkmalspunktes MPn kann zudem erkannt werden, ob ein Merkmalspunkt MPn in dem zurückliegenden Vergleichsbild VBq schon erkannt wurde. Ist das Merkmals-Alter MAn eines Merkmalspunktes MPn beispielsweise 15 Frames und liegt das betrachtete Vergleichsbild VBq 20 Frames vor dem Referenzbild RB, so kann zu diesem Merkmalspunkt MPn kein Merkmalspaar pMm gefunden werden.
Für jedes gefundene Merkmalspaar pMm kann anschließend die Bewegung eines reellen Punktes im Bildkoordinatensystem xB, yB über die jeweilige Anzahl an Frames vektoriell beschrieben werden. Daraus kann, wie auch bei der vorher beschriebenen Methode, ebenfalls ein optischer Fluss Fm abgeschätzt werden, d.h. die Bewegung, die in einer bestimmten Szene stattfindet oder die durch eine Bewegung der Kamera 5 über die entsprechende Anzahl an Bildern Bj bzw. zwischen dem Referenzbild RB und dem Vergleichsbild VBq bewirkt wird.
In einem nachfolgenden fünften Schritt ST5 wird aus der ermittelten Bewegung bzw. aus dem ermittelten optischen Fluss Fm der mehreren Merkmalspunkte MPn im jeweiligen Bildpaar pBq die Bewegung der Kamera 5 gegenüber dem Untergrund 3 zwischen dem Referenzbild RB und dem jeweiligen Vergleichsbild VBq bestimmt. Diese Bewegung kann über eine dem jeweiligen Bildpaar pBq zugeordneten Transformationsmatrix Tq (Homographie) ermittelt werden.
Durch eine Homographie lässt sich im Allgemeinen die Bewegung zwischen den Bildern RB, VBq der betrachteten Bildpaare pBq bzw. der Zusammenhang zwischen den Bildern RB, VBq des betrachteten Bildpaares pBq beschreiben. Mit Hilfe der Homographie lässt sich also ein vergangenes Bild Bj, z.B. das jeweilige Vergleichsbild VBq, in die Perspektive des aktuellen Bildes B1, d.h. des Referenzbildes RB, umrechnen bzw. transformieren. Die Umrechnung bzw. Transformation ist dabei nur für eine bestimmte Ebene E korrekt, wobei die Ebene E angenommen wird, in der sich die Merkmalspunkte MPn befinden und in der sich der Untergrund 3 befindet.
Vorliegend werden also Nq Homographien bzw. Transformationsmatrizen Tq ermittelt, die das jeweilige Vergleichsbild VBq in das aktuelle Referenzbild RB transformieren. Jede Transformationsmatrix Tq hat dabei acht Freiheitsgrade und es werden jeweils mindestens vier (n, m>=4) der im Schritt ST4 für das jeweilige Bildpaar pBq betrachteten Merkmalspunkte MPn für eine eindeutige Bestimmung der jeweiligen Transformationsmatrix Tq über den optischen Fluss Fm benötigt.
Dabei kann optional vorgesehen sein, dass jede Transformationsmatrix Tq aus einer Matrixmultiplikation aus einer Anzahl No an Untermatrizen uTo; mit o = 1, 2, 3, ... , No hervorgeht. Liegt ein Vergleichsbild VBq beispielsweise 25 Frames vor dem Referenzbild RB, kann das Vergleichsbild VBq durch No=3 Untermatrizen uT1, uT2, uT3 in das Referenzbild RB transformiert werden. Eine erste Untermatrix uT1 kann beispielsweise das 25. Bild B25 in das 20. Bild B20, eine zweite Untermatrix uT2 das 20. Bild B20 in das 10. Bild B10 und eine dritte Untermatrix uT3 das 10. Bild B10 in das aktuelle Bild B1 transformieren. Damit ergibt sich eine Transformationsmatrix Tq = uT1 x uT2 x uT3 für die Transformation aus dem Vergleichsbild VBq in das Referenzbild RB.
Die Untermatrizen uTo ergeben sich dabei ebenfalls nach dem Schritt ST4 (KLT-Feature Tracker oder Feature Matching), wobei dann für uT1 das 20. Bild B20 als Referenzbild RB und das 25. Bild B25 als Vergleichsbild VBq, für uT2 das 10. Bild B10 als Referenzbild RB und das 20. Bild als Vergleichsbild VBq und für uT3 das 1. Bild B1 als Referenzbild RB und das 10. Bild B10 als Vergleichsbild VB1 anzusetzen ist, um aus dem jeweiligen Fluss Fm die Untermatrix uTo (Homographie) zu ermitteln. Auf diese Weise können beliebig zusammengesetzte Transformationsmatrizen Tq gebildet werden, um beispielsweise die Genauigkeit zu verbessern.
Dabei ist zu erwarten, dass eine Transformationsmatrix Tq oder eine Untermatrix uTo zu einem genaueren Ergebnis führt, wenn diese auf Merkmalspunkten MPn basiert, die über eine größere Anzahl an Frames existieren bzw. getrackt werden konnten, d.h. ein höheres Merkmals-Alter MAn aufweisen und damit nicht aus dem Merkmalsstack MS gelöscht wurden. Durch diese schrittweise Berechnung der Homographien werden auch Verwacklungen, beispielsweise durch Bodenwellen oder Vibrationen, automatisch herausgefiltert.
Sind für jedes der Nq Bildpaare pBq Transformationsmatrizen Tq ermittelt worden, so wird damit in einem sechsten Schritt ST6 jeder Bildpunkt Pkl des Vergleichsbildes VBq transformiert und daraus ein transformiertes Bild tBq ermittelt, das das Vergleichsbild VBq in die Perspektive des aktuellen Referenzbildes RB projiziert. Damit wird auch jeder Objektpunkt Okl in der Umgebung U in die aktuelle Perspektive der Kamera 5 projiziert. Dies kann dazu verwendet werden, dass Objektpunkte Okl, die je nach Perspektive eine andere Intensität aufweisen, beispielsweise Objektpunkte Okl von spiegelnden Objekten oder Bereichen des Untergrundes 3, in der aktuellen Perspektive anders aussehen.
Dies kann vorzugsweise dazu verwendet werden, ortsaufgelöst auf die Oberflächenbeschaffenheit des Untergrundes 3, insbesondere auf spiegelnde Oberflächen, zu schließen. Dazu wird in einem siebenten Schritt ST7 für jedes transformierte Bild tBq ein Differenzbild dBq ermittelt. Dies erfolgt dadurch, dass für jeden Bildpunkt Pkl im transformierten Bild tBq ein transformierter Bildwert tWkl, z.B. ein Intensitätswert, ermittelt wird und von diesem transformierten Bildwert tWkl ein Referenz-Bildwert RWkl des entsprechenden Bildpunktes Pkl im Referenzbild RB abgezogen wird. Das Ergebnis ist ein Differenzbild dBq mit hohen Intensitäten an Stellen, an denen die Änderung bzw. die Unterschiede zwischen den Bildern tBq, RB groß sind und mit kleinen Intensitäten bei kleinen oder gar keinen Änderungen bzw. kleinen bzw. garkeinen Unterschieden. Diese Differenzbildung wird dabei pixelweise durchgeführt.
In einem achten Schritt ST8, der auch nur optional vorgesehen sein kann, werden die Differenzbilder dBq gefiltert, um die Bildqualität zu verbessern. Dies kann beispielsweise durch eine Grenzwertfilterung und/oder eine Median-Filterung erfolgen, durch die Rauschen unterdrückt wird. Weiterhin kann eine lineare Angleichung der Helligkeit erfolgen. Es können auch weitere bildverbessernde Filtermöglichkeiten vorgesehen sein.
In einem abschließenden neunten Schritt ST9 ist vorgesehen die ggf. gefilterten Differenzbilder dBq zu einem Gesamtbild BG zusammenzufügen. Dies erfolgt durch eine pixelweise Addition aller Nq Differenzbilder dBq, z.B. durch eine pixelweise Addition der jeweiligen Differenz-Bildwerte dWkl. In 4 ist ein derartiges Gesamtbild BG beispielhaft für die in 2b dargestellte Szene gezeigt, wobei die weißen Bild-Bereiche BBw eine hohe Intensität angeben und die schwarzen Bild-Bereiche BBs eine niedrige Intensität. Die weißen Bild-Bereiche BBw sind dabei einem Bereich des Untergrundes 3 zugeordnet dessen Intensität sich bei einer Bewegung der Kamera 5 relativ zu dem Untergrund 3 verändert und die schwarzen Bild-Bereiche BBs einem Bereich des Untergrundes 3, dessen Intensität sich bei einer wechselnden Perspektive nicht verändert.
Daraus kann geschlussfolgert werden, dass die weißen Bild-Bereiche BBw einer gut reflektierenden nassen Oberfläche ON und die schwarzen Bild-Bereiche BBs einer schlecht reflektierenden trockenen Oberfläche OT auf dem Untergrund 3 zugeordnet sind (vgl. 2b), da sich durch die Spiegelung bei einer nassen Oberfläche ON eine blickwinkelabhängige Intensität ergibt und sich bei einer trockenen Oberfläche OT eine nahezu blickwinkelunabhängige Intensität ergibt.
Daraus kann dem Untergrund 3 in einem abschließenden zehnten Schritt ST10 bereichsweise die jeweilige Oberflächeneigenschaft Ei, d.h. nass oder trocken, zugeordnet werden, wobei dies anhand einer pixelweisen Auswertung der Gesamt-Bildwerte GWkl des Gesamtbildes BG erfolgen kann. Aus den Gesamt-Bildwerten GWkl kann auf eine hohe Intensität und damit auf eine hohe Reflektivität bzw. auf eine niedrige Reflektivität und damit auf die jeweilige Oberflächeneigenschaft Ei in unterschiedlichen Bild-Bereichen BBw, BBs wie beschrieben geschlossen werden.
Die im siebenten Schritt ST7 ermittelten transformierten Bilder tBq, die das jeweilige Vergleichsbild VBq über die jeweilige Transformationsmatrix Tq in die Perspektive des dafür genutzten Referenzbildes RB projiziert, können auch abgespeichert werden, um diese für zeitlich nachfolgende Situationen zu verwenden. Hat sich das Fahrzeug 1 beispielsweise weiterbewegt, so kann in den entsprechenden Schritten auch für das dann aktuelle Bild B1 als Referenzbild RB wieder eine Transformationsmatrix Tq gefunden werden, für die das gespeicherte bereits ermittelte transformierte Bild tBq in das dann aktuelle Referenzbild RB transformiert wird. Dadurch kann Rechenzeit gespart werden, da auf bereits verfügbare Informationen zurückgegriffen wird.
Weiterhin wird für den gesamten Verfahrensablauf ein Zeitraum dt und damit eine Anzahl Nj an Bildern Bj gewählt, aus denen sich für das Ziel der ortsaufgelösten Ermittlung der Oberflächeneigenschaften Ei des Untergrundes 3 ausreichend Informationen ziehen lassen. Zu alte Bilder Bj, die zeitlich zu weit zurückliegen, liefern beispielsweise keine relevanten Informationen. Es können grundsätzlich aber auch alle Bilder Bj herangezogen werden.
So sind Objekte bzw. Bereiche, beispielsweise Pfützen auf dem Untergrund 3, in älteren Bildern Bj nur wenige Pixel groß und damit viel zu klein für eine Transformation. Teilweise sind gewisse Objekte bzw. Bereiche auf dem Untergrund 3 beispielsweise durch Kurven noch gar nicht im Bild Bj erkennbar. Vorzugsweise kann deshalb eine Anzahl Nj von ca. 60 Bildern Bj gewählt werden, was einem Zeitraum dt von ca. 2s entspricht (bei einer Auflösung von ca. 30fps (Frames pro Sekunde)). Für ein Fahrzeug 1, das sich mit 100 km/h bewegt, kann damit eine Perspektiventransformation über rund 56 Meter berechnet werden, die für eine zuverlässige ortsaufgelöste Ermittlung der Oberflächeneigenschaft Ei ausreichend ist.
Weiterhin wird die Anzahl Nq an Bildpaaren pBq bzw. Vergleichsbildern VBq optional im Hinblick auf eine sinnvolle Rechenbelastung gewählt. Eine Ermittlung von Transformationsmatrizen Tq für alle o.g. 60 Bilder Bj im Zeitraum dt, eine anschließende Ermittlung von 60 transformierten Bilder tBq sowie von 60 Differenzbildern dBq würde eine sehr hohe Rechenbelastung zur Folge haben. Um dies zu vermeiden, ist eine selektive Auswahl von Vergleichsbildern VBq vorgesehen. Grundsätzlich können allerdings zur Verbesserung der Qualität auch alle aufgenommenen und gespeicherten Bilder Bj für die beschriebene Auswertung herangezogen werden, z.B. wenn es auf die Rechenbelastung nicht ankommt.
Eine selektive Auswahl kann beispielsweise in Abhängigkeit des Index j erfolgen, den ein Bild Bj im betreffenden Zeitraum dt aufweist, und damit der Zeit, zu der das jeweilige Bild Bj aufgenommen wurde, das als Vergleichsbild VBq herangezogen werden soll. Dem liegt der Gedanke zugrunde, dass das erfindungsgemäße Verfahren darauf basiert, eine Reflektivität des Untergrundes 3 abzubilden und dies in dem Gesamtbild BG visuell darzustellen.
Die Reflektivität ist dabei abhängig von einem Winkel W zwischen der Kamera 5 und dem Untergrund 3, so dass in zeitlich aufeinanderfolgenden Bildern Bj des Untergrundes 3 bereichsweise Veränderungen in der Intensität hergerufen werden, wenn sich das Fahrzeug 1 darauf bewegt. Dabei ist zu erwarten, dass sich die Intensität in einem Bereich des Untergrundes 3, auf dem sich gut reflektierende Spiegelflächen befinden, beispielsweise Pfützen oder nasse Bereiche, zwischen zwei älteren Bildern Bj weniger stark verändert als zwischen zwei jüngeren Bildern Bj, deren Index j näher an dem des Referenzbildes RB (Bild B1) liegt. Dies liegt daran, dass sich der Winkel W zwischen der Kamera 5 und der Pfütze zwischen jüngeren Bildern Bj stärker verändert als für ältere Bilder Bj.
Um dies zu berücksichtigen, werden Bilder Bj als Vergleichsbilder VBq ausgewählt, zwischen denen sich der Winkel W zwischen der Kamera 5 und dem Untergrund 3 immer in etwa um denselben Winkelbetrag WB verändert (vgl. 5). Die zeitlichen Abstände oder die Indizes j zwischen den ausgewählten Vergleichsbildern VBq wachsen also immer stärker an, je weiter man in die Vergangenheit geht bzw. sich zeitlich vom Referenzbild RB entfernt. Bei Vorgabe des Winkelbetrages WB können aus geometrischen Betrachtungen geschwindigkeitsabhängig Indizes j für die jeweils als Vergleichsbilder VBq auszuwählenden Bilder Bj berechnet werden In 5 sind beispielhaft Wert für den Index j dargestellt. Je nach Anwendung können aber auch beliebige andere Vorschriften festgelegt werden, aus denen sich der Index j für das auszuwählende Bild Bj ergibt.
In Abhängigkeit der ortsaufgelöst ermittelten Oberflächeneigenschaft Ei kann anschließend eine gezielte Steuerung des Fahrzeuges 1 über die Verarbeitungseinheit 7 erfolgen. Dazu kann beispielsweise ermittelt werden, wie sich der Untergrund 3 mit den bereichsweise zugeordneten Oberflächeneigenschaften Ei in Zukunft voraussichtlich relativ zum Fahrzeug 1, insbesondere zu den Rädern 2, bewegen wird. Dies kann beispielsweise dadurch erfolgen, dass eine Projektionsmatrix PM ermittelt wird, die das im neunten Schritt ST9 ermittelte Gesamtbild BG unter das Fahrzeug 1 projiziert, d.h. in einen Bereich, in dem die Räder 2 des Fahrzeuges 1 in Zukunft abrollen werden. Dadurch kann festgestellt werden, welche Oberflächeneigenschaft Ei im Bereich eines Rades 2 voraussichtlich wirken wird.
Wird anhand dessen festgestellt, dass die Räder 2 auf einem Bereich des Untergrundes 3 abrollen, der eine erste Oberflächeneigenschaft Ei, d.h. eine nasse Oberfläche ON, aufweist, kann dies bei der Steuerung des Fahrzeuges 1, insbesondere beim Bremsen, berücksichtigt werden. Dies kann in Abhängigkeit einer der jeweiligen Oberflächeneigenschaft Ei zugeordneten Reibgröße R, insbesondere einem Reibwert mu, erfolgen. Aus diesem kann beispielsweise abgeleitet werden, welche Bremskraft über das jeweilige Rad 2 übertragen werden kann. Damit kann eine genauere Steuerung des Bremsdruckes bzw. der Bremskraft für das jeweilige Rad 2 erfolgen. Weiterhin können die Bremskräfte auf den anderen Rädern 2 ggf. umverteilt werden, insofern diese nicht auf einem Bereich des Untergrundes 3 abrollen, für die eine ähnliche Oberflächeneigenschaft Ei nach dem Verfahren abgeschätzt wurde. Damit ist eine radweise Steuerung des Fahrzeuges 1 möglich.
Da eine ortsaufgelöste Ermittlung der Oberflächeneigenschaft Ei erfolgt, kann die Reibgröße R auch in Abhängigkeit davon ermittelt werden, ob das Rad 2 auf Bereichen mit unterschiedlichen Oberflächeneigenschaften Ei abrollt. Entsprechend können Reibgrößen R, die der jeweiligen Oberflächeneigenschaft Ei zugeordnet sind, auch gewichtet in Abhängigkeit der Radaufstandsfläche berücksichtigt werden.
Die Verarbeitungseinheit 7 kann also in Abhängigkeit der ortsaufgelösten ermittelten Oberflächeneigenschaft Ei ein Steuersignal SA ausgeben, in Abhängigkeit dessen das Antriebssystem 1 a, das Bremssystem 1 b oder das Lenksystem 1c automatisiert angesteuert werden, um auf die Oberflächenbeschaffenheit des Untergrundes 3 entsprechend zu reagieren.
Bezugszeichenliste

1: Fahrzeug
1a: Antriebssystem
1b: Bremssystem
1c: Lenksystem
2: Rad
3: Untergrund
4: Umgebungserfassungssystem
5: Kamera
5a: Mono-Kamera
5b: Stereo-Kamera
6: Auswerteeinheit
7: Verarbeitungseinheit
ABj: Auswahlbereich
Bj: j. Bild
BBw: weißer Bild-Bereich
BBs: schwarzer Bild-Bereich
BG: Gesamtbild
dt: Zeitraum
dBq: q. Differenzbild
dWkl: Differenz-Bildwert im Differenzbild dBq
E: Ebene des Untergrundes 3
Ei: Oberflächeneigenschaft
Fm: optischer Fluss des n. Merkmalspunktes
GWkl: Gesamt-Bildwert des Gesamtbildes BG
Hj: Helligkeit des j. Bildes
MAn: Merkmals-Alter
ME: Ecke
MDn: Merkmals-Deskriptor
MIDn: Identifikator des n. Merkmalspunktes
MPn: n. Merkmalspunkt
MS: Merkmalsstack
mu: Reibwert
Nj: Anzahl an Bildern Bj
No: Anzahl an Untermatrizen uTo
Nq: Anzahl an Bildpaaren pBq
Nn: Anzahl an Merkmalspunkten MPn
Okl: Objektpunkt
ON: nasse Oberfläche
OT: trockene Oberfläche
pBq: q. Bildpaar
pMm: m. Merkmalspaar
Pkl: Bildpunkt
PM: Projektionsmatrix
R: Reibgröße
RB: Referenzbild
RWkl: Referenz-Bildwert im Referenzbild RB
S5: Kamera-Signal
SA: Steuersignal
tBq: q. transformiertes Bild
tWkl: transformierter Bildwert im transformierten Bild tBq
Tq: Transformationsmatrix
U: Umgebung
uTo: o. Untermatrix
VBq: q. Vergleichsbild
W: Winkel
WB: Winkelbetrag
xB, yB: Bildkoordinaten
xO, yO, zO: Objektkoordinaten
i, j, k, I, m, n, o, p: Index
ST1, ST2, ST2.1, ST2.2, ST2.3, ST2.4, ST2.5, ST3, ST4, ST5, ST6, ST7, ST8, ST9, ST10,: Schritte des Verfahrens

Claims

Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft (Ei) eines Untergrundes (3), auf dem sich ein Fahrzeug (1) bewegt, mit mindestens den folgenden Schritten: - Aufnehmen von mehreren Bildern (Bj; j=1, 2 , ... Nj) in einer Umgebung (U) vor dem Fahrzeug (1) mit einer am Fahrzeug (1) angeordneten Kamera (5) (ST1) und Abspeichern der Bilder (Bj); - Einlesen einer Anzahl (Nq) an Bildpaaren (pBq; q=1, 2, ... Nq) aus den gespeicherten Bildern (Bj) (ST3), wobei sich ein Bildpaar (pBq) aus einem Referenzbild (RB) und einem ausgewählten Vergleichsbild (VBq; q=1, 2, ... Nq) zusammensetzt und für jedes Bildpaar (pBq) unterschiedliche Vergleichsbilder (VBq) ausgewählt werden; - Erfassen von Merkmalspunkten (MPn; n= 1, 2, ...Nn) in zumindest einem Bild (Bj) eines jeden Bildpaares (pBq) und Ermitteln, wie sich die erfassten Merkmalspunkte (MPn) zwischen den beiden Bildern (Bj) eines Bildpaares (pBq) bewegen (ST4); - Ermitteln einer Transformationsmatrix (Tq; q=1, 2, ... Nq) für jedes Bildpaar (pBq) in Abhängigkeit davon, wie sich ein Merkmalspunkt (MPm) zwischen den Bildern (Bj) eines Bildpaares (pBq) bewegt (ST5); - Ermitteln von transformierten Bildern (tBq; q=1, 2, ... Nq) durch Anwenden der für ein Bildpaar (pBq) ermittelten Transformationsmatrix (Tq) auf das Vergleichsbild (VBq) desselben Bildpaares (pBq) (St6); - Ermitteln von Differenzbildern (dBq; q=1, 2, ... Nq) aus dem Referenzbild (RB) und dem transformierten Bild (tBq) des jeweiligen Bildpaares (pBq) (ST7); - Überlagern der ermittelten Differenzbilder (dBq) zum Ermitteln eines Gesamtbildes (BG) (ST9); und - ortsaufgelöstes Zuordnen einer Oberflächeneigenschaft (Ei) zu dem Untergrund (3) (ST10) durch Auswerten von Gesamt-Bildwerten (GWkl) des Gesamtbildes (BG).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Untergrund (3) in Abhängigkeit der Oberflächeneigenschaft (Ei) ortsaufgelöst eine Reibgröße (R), beispielsweise ein Reibwert (mu), zugeordnet wird, vorzugsweise als eine erste Oberflächeneigenschaft (E1) eine nasse Oberfläche (ON) oder als eine zweite Oberflächeneigenschaft (E2) eine trockene Oberfläche (OT).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die mehreren aufgenommenen Bilder (Bj; j=1, 2 , ... Nj) (ST1) Bildkorrekturen (ST2) durchgeführt werden, wobei die mehreren aufgenommenen Bilder (Bj; j=1, 2 , ... Nj) beispielsweise entzerrt (ST2.1) und/oder in ihrer Helligkeit (Hj) angepasst (ST2.2) und/oder zugeschnitten (ST2.3) und oder farbangepasst (ST2.4) werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzbild (RB) das aktuellste, jüngste aufgenommene und abgespeicherte Bild (B1) ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenz-Bild (RB) für jedes Bildpaar (pBq) identisch ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln, wie sich die erfassten Merkmalspunkte (MPn) zwischen den beiden Bildern (Bj) eines Bildpaares (pBq) bewegen (ST4) dadurch erfolgt, dass für jeden erfassten Merkmalspunkt (MPn) ein optischer Fluss (Fm) bestimmt wird, und die Transformationsmatrix (Tq) für jedes Bildpaar (pBq) in Abhängigkeit des bestimmten optischen Flusses (Fm) ermittelt wird (ST5).
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Transformationsmatrix (Tq) eines Bildpaares (pBq) in Abhängigkeit des optischen Flusses (Fm) von mindestens vier unterschiedlichen Merkmalspunkten (MPm) des Bildpaares (pBq) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vergleichsbilder (VBq) in Abhängigkeit eines Winkels (W) zwischen der Kamera (5) und dem Untergrund (3), unter dem das jeweilige abgespeicherte Bild (Bj) aufgenommen ist, und/oder einem den abgespeicherten Bildern (Bj) zugeordneten Index (j) ausgewählt werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Vergleichsbilder (VBq) derartig aus den Bildern (Bj) ausgewählt werden, dass sich der Winkel (W) zwischen der Kamera (5) und dem Untergrund (3), der einem ausgewählten Vergleichsbild (VBj) zugeordnet ist, zwischen unterschiedlichen Vergleichsbildern (VBj) in etwa um denselben Winkelbetrag (WB) verändert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln, wie sich die erfassten Merkmalspunkte (MPn) zwischen den beiden Bildern (Bj) eines Bildpaares (pBq) bewegen dadurch erfolgt, dass in jedem Bild (Bj) des Bildpaares (pBq) Merkmalspunkte (MPn) gesucht werden und aus den Merkmalspunkten (MPn), die sowohl in dem Referenzbild (RB) als auch in dem Vergleichsbild (VBq) des jeweiligen Bildpaares (pBq) auftreten, Merkmalspaare (pMm; m=1, 2,...) gebildet werden, wobei die Transformationsmatrix (Tq) für jedes Bildpaar (pBq) in Abhängigkeit davon ermittelt wird, wie sich ein Merkmalspunkt (MPn) des jeweiligen Merkmalspaares (pMm) zwischen den Bildern (Bj) eines Bildpaares (pBq) bewegt.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das Suchen von Merkmalspunkten (MPn), die sowohl in dem Referenzbild (RB) als auch in dem Vergleichsbild (VBq) des jeweiligen Bildpaares (pBq) auftreten, anhand eines Merkmals-Deskriptors (MDn) und/oder eines Identifikators (MIDn) und/oder eines Merkmals-Alters (MAn) erfolgt, die einem Merkmalspunkt (MPn) im jeweiligen Bild (Bj; RB, VBq) zugeordnet sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine einem Bildpaar (pBq) zugeordnete Transformationsmatrix (Tq) aus einer Anzahl (No) aus Untermatrizen (uTo;o=1, 2, ...No) zusammengesetzt ist, wobei jede Untermatrix (uTo) Bilder (Bj), die zeitlich zwischen dem Vergleichsbild (VBj) und dem Referenzbild (RB) aufgenommen sind, in ein jüngeres Bild (Bj) transformiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln von Differenzbildern (dBq; q=1, 2, ... Nq) aus dem Referenzbild (RB) und dem transformierten Bild (tBq) des jeweiligen Bildpaares (pBq) (ST7) durch pixelweises Ermitteln eines Differenz-Bildwertes (dWkl) aus einer Differenz zwischen einem Referenz-Bildwert (RWkl) im Referenzbild (RB) und einem transformierten Bildwert (tWkl) im transformierten Bild (tBq) erfolgt, wobei sich das jeweilige Differenzbild (dBq; q=1, 2, ... Nq) pixelweise aus den Differenz-Bildwerten (dWkl) zusammensetzt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Überlagern der ermittelten Differenzbilder (dBq) zum Ermitteln eines Gesamtbildes (BG) (ST9) durch pixelweises Ermitteln von Gesamt-Bildwerten (GWkl) aus einer Summe aus den Differenz-Bildwerten (dWkl) der einzelnen Differenzbilder (dBq; q=1, 2, ... Nq) erfolgt, wobei sich das Gesamtbild (BG) pixelweise aus den Gesamt-Bildwerten (GWkl) zusammensetzt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Gesamtbild (BG) durch eine Projektionsmatrix (PM) in einen Bereich der Räder (2) des Fahrzeuges (1) transformiert wird zum ortsaufgelösten Zuordnen der Oberflächeneigenschaft (Ei) zu einem Rad (2) des Fahrzeuges (1).
Verarbeitungseinheit (7) zur Durchführung des Verfahrens nach einem der vorgehenden Ansprüche.
Verarbeitungseinheit (7) nach Anspruch 16, dadurch gekennzeichnet, dass die Verarbeitungseinheit (7) ferner ausgebildet ist, ein Steuersignal (SA) in Abhängigkeit der ortsaufgelöst ermittelten Oberflächeneigenschaft (Ei), insbesondere in Abhängigkeit einer Reibgröße (R), zu erzeugen und auszugeben zum Ansteuern eines Antriebssystems (1a) und/oder eines Bremssystems (1b) und/oder eines Lenksystems (1c) des Fahrzeuges (1).
Fahrzeug (1) mit einer Verarbeitungseinheit (7) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 15.