DE102015109238B4

DE102015109238B4 - Verfahren zum ermitteln eines zustands eines nassen strassenbelags für ein fahrzeug, das auf einer strasse fährt

Info

Publication number: DE102015109238B4
Application number: DE102015109238.7A
Authority: DE
Inventors: Qingrong Zhao; Wende Zhang; Jinsong Wang; Bakhtiar Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-06-12
Filing date: 2015-06-11
Publication date: 2024-01-25
Anticipated expiration: 2035-06-12
Also published as: CN105261007A; DE102015109238A1; CN105261007B; US9090264B1

Abstract

Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug, das auf einer Straße fährt, wobei das Verfahren die Schritte umfasst, dass:ein Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung (22) zu einem ersten Zeitpunkt erfasst wird;durch einen Prozessor (24) ein potentielles Objekt an einer Bodenoberfläche der Fahrstraße detektiert wird;durch den Prozessor (24) ein Merkmalspunkt an dem potentiellen Objekt an der Bodenoberfläche der Fahrstraße identifiziert wird;ein Bild außerhalb des Fahrzeugs durch die Bilderfassungseinrichtung (22) zu einem zweiten Zeitpunkt erfasst wird;durch den Prozessor (24) das potentielle Objekt an der Bodenoberfläche der Fahrstraße, erfasst zu dem zweiten Zeitpunkt, detektiert wird;durch den Prozessor (24) der Merkmalspunkt an dem potentiellen Objekt des Bilds, erfasst zu dem zweiten Zeitpunkt, identifiziert wird;basierend auf einer Triangulationstechnik unter Verwendung der Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt ermittelt wird, ob die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekt umfasst; undein eine nasse Fahrbahn angebendes Signal in Ansprechen auf die Ermittlung, dass die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekt umfasst, erzeugt wird;wobei eine Triangulationstechnik, die die Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt verwendet, Sichtlinienlichtstrahlen verwendet, die sich zwischen der Bilderfassungseinrichtung (22) und den Merkmalspunkten zu dem ersten und zweiten Zeitpunkt erstrecken;wobei die Triangulationstechnik die Schritte umfasst, dass:ein erster Ort identifiziert wird, an dem ein dem ersten Merkmalspunkt zugehöriger Lichtstrahl die Bodenoberfläche schneidet;ein zweiter Ort identifiziert wird, an dem der dem zweiten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, wenn das zweite Bild durch die Bilderfassungseinrichtung (22) erfasst wird; undermittelt wird, ob sich der erste Ort und der zweite Ort an einem gleichen Ort befinden;wobei in Ansprechen darauf, dass der erste Ort und der zweite Ort unterschiedliche Orte sind, die Bodenoberfläche als stillstehendes Wasser (39) umfassend ermittelt wird; ansonsten ermittelt wird, dass die Bodenoberfläche eine Oberfläche ohne stillstehendes Wasser (39) umfasst; undwobei die Ermittlung, dass der erste Ort und der zweite Ort unterschiedliche Orte sind, in Ansprechen auf die folgende Ungleichung ermittelt wird:d1−dtravel<d2wobei dtraveleine Distanz ist, die durch das Fahrzeug zwischen einem Zeitpunkt, zu dem das erste Bild erfasst wird, und einem Zeitpunkt, zu dem das zweite Bild erfasst wird, zurückgelegt wird, d1eine Distanz von einer Fahrzeugposition, bei der das erste Bild erfasst wird, zu einem Ort, an dem der dem ersten detektierten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt und d2eine Distanz von einer Fahrzeugposition, bei der das zweite Bild erfasst wird, zu einem Ort, an dem der dem zweiten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf eine Detektion eines nassen Straßenbelags unter Verwendung von reflektierenden Flächen mit Spiegeleffekt.
Niederschlag auf einer Fahrbahn verursacht für ein Fahrzeug mehrere verschiedene Probleme. Beispielsweise reduziert Wasser auf einer Straße den Reibungskoeffizienten zwischen den Reifen des Fahrzeugs und der Oberfläche der Straße, was zu Fahrzeugstabilitätsproblemen führt. Typischerweise erfasst ein System oder Subsystem des Fahrzeugs Niederschlag auf der Straße unter Verwendung einer Erfassungsoperation, die erfolgt, wenn der Niederschlag den Fahrzeugbetrieb bereits negativ beeinflusst, wie beispielsweise Detektieren eines Radschlupfs. Unter solchen Umständen beeinträchtigt der Niederschlag bereits das Fahrzeug (z.B. Radschlupf), und daher wird an dieser Stelle jede Reaktion rückwirkend. Ein voraushandelnder Ansatz wäre, den Zustand einer nassen Oberfläche stattdessen vorzeitig zu kennen, um Systeme zu aktivieren, die den Steuerverlust aufgrund von nassen Oberflächen verhindern können.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil einer Ausführungsform ist die Detektion von Wasser auf einer Straße unter Verwendung einer sichtbasierten Bildgebungseinrichtung. Die hierin beschriebene Technik erfordert keine Anregungen von dem Fahrzeug oder Fahrer zum Initiieren einer Ermittlung bezüglich dessen, ob Wasser oder Niederschlag vorhanden ist. Vielmehr wird ein virtuelles Objekt an einer Bodenoberfläche in zwei verschiedenen Bildern detektiert, die an verschiedenen Orten erfasst werden, und wird eine Triangulationstechnik auf das virtuelle Objekt angewandt, um zu ermitteln, ob die Bodenoberfläche, über die das virtuelle Objekt detektiert wird, eine reflektierende Fläche mit Spiegeleffekt aufweist. Die Ermittlung bezüglich dessen, ob das Objekt, wie es detektiert wird, ein virtuelles Objekt in einer spiegelähnlichen Oberfläche ist, oder ob das Objekt ein Objekt an der Bodenoberfläche ist, wird in Bezug auf einen Ort, an dem die Bilder aufgenommen werden, und einen Ort, an dem ein Lichtstrahl von dem Objekt zu der Kamera die Bodenoberfläche schneidet, ermittelt.
DE 197 30 414 A1 offenbart ein Verfahren zur vorausschauenden Beurteilung einer Fahrbahn, auf der Räder eines Kraftfahrzeugs abrollen, wobei ein Laser-Lichtmuster im Triangulations-Verfahren ausgewertet wird. Weiterer Stand der Technik ist aus US 2014 / 0 307 247 A1 bekannt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug, das auf einer Straße fährt, bereitzustellen.
Zur Lösung der Aufgabe ist ein Verfahren mit den Merkmalen des Anspruchs 1 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind den Unteransprüchen, der Beschreibung und den Zeichnungen zu entnehmen.

1a ist eine perspektivische Ansicht einer durch eine Kamera erfassten Szene einer nassen Oberfläche.
1b ist eine beispielhafte Darstellung einer Lichtreflexion an stillstehendem Wasser.
2a ist eine perspektivische Ansicht einer durch eine Kamera erfassten Szene einer trockenen Oberfläche.
2b ist eine beispielhafte Darstellung einer Lichtreflexion und Streuung an einer trockenen Oberfläche.
3 zeigt ein Blockdiagramm eines Systems zur Detektion eines nassen Straßenbelags.
4 ist eine beispielhafte bildliche Darstellung eines virtuellen Objekts, das durch eine Kamera zu verschiedenen Zeitpunkten erfasst wird.
5 ist eine beispielhafte Darstellung eines Abgleichs von Merkmalspunkten zu zwei Zeitpunkten.
6 ist ein Beispiel einer Triangulationstechnik für eine nasse Oberfläche.
7 ist ein Beispiel einer Triangulationstechnik für eine trockene Oberfläche.

DETAILLIERTE BESCHREIBUNG
In 1a ist ein Fahrzeug gezeigt, das entlang einer Straße 12 für Fahrzeuge fährt. An der Straße 12 für Fahrzeuge befindet sich Niederschlag 14, der oftmals durch die Fahrzeugreifen verteilt wird, wenn sich die Fahrzeugreifen über der nassen Straße 12 für Fahrzeuge drehen. Es ist oftmals vorteilhaft, vorab zu wissen, wann das Fahrzeug entlang einer nassen Straße 12 für Fahrzeuge fährt, so dass Probleme, die sich aus dem Niederschlag ergeben, wie beispielsweise ein Traktionsverlust oder eine Beschädigung des Motors, die daraus resultiert, dass Wasser von außen in Lufteinlassventile eintritt, beseitigt oder zumindest vermindert werden können.
Der Niederschlag 14 an der Straße 12 für Fahrzeuge kann zu einer Reduzierung der Traktion beim Fahren auf dem nassen Straßenbelag führen. Der sich auf der Straße 12 für Fahrzeuge befindende Niederschlag 14 verringert den Reibungskoeffizienten zwischen dem Fahrzeugreifen und der Straße 12 für Fahrzeuge. Folglich wird die Traktion zwischen den Fahrzeugreifen und der Straße 12 für Fahrzeuge verringert. Der Traktionsverlust kann durch Warnen des Fahrers, um die Fahrzeuggeschwindigkeit auf eine zu verringern, die den Umgebungsbedingungen entspricht; Auslösen eines automatischen Betätigens der Fahrzeugbremse unter Verwendung einer sehr geringen Bremskraft, um den Niederschlag, der sich an den Bremsflächen der Bremskomponenten gebildet hat, zu minimieren; Deaktivieren oder Beschränken der Aktivierung einer Tempomatfunktionalität, während Niederschlag detektiert wird; oder Benachrichtigen des Fahrers, um einen größeren Bremsabstand zu einem vorausfahrenden Fahrzeug aufrechtzuerhalten, vermindert werden.
Wie es in 1a gezeigt ist, befindet sich Wasser auf der Straße, und Objekte, wie beispielsweise ein Baum 16 und ein Laternenmast 18, sind an der reflektierenden Fläche zu sehen, die durch den Niederschlag 14 in Form von stillstehendem Wasser auf der Straße 12 für Fahrzeuge erzeugt wird. Das stillstehende Wasser auf der Straße für Fahrzeuge fungiert als Oberfläche vom Spiegeltyp, die eine Reflexion projiziert. Eine Lichtreflexion an dem Straßenbelag, im Speziellen an einer glatten Oberfläche, wenn das Wasser stillsteht, weist einen Einfalllichtwinkel auf, der im Wesentlichen gleich dem Winkel des reflektierten Lichts ist, wie es in 1b gezeigt ist. Daher erfasst eine Kamera, die ein Bild über die reflektierende Fläche des stillstehenden Wassers erfasst, Lichtstrahlen, die einen Einfalllichtwinkel aufweisen, der gleich einem Winkel des reflektierten Lichts ist.
2a zeigt ein Fahrzeug, das auf einer trockenen Straße gefahren wird, wobei kein Niederschlag auf der Fahrstraße vorhanden ist. Wie gezeigt existiert kein Niederschlag auf der Straße 12 für Fahrzeuge. Es können Schatten 19 durch Objekte, wie beispielsweise den Baum 18, geworfen werden; Schatten erzeugen jedoch keine reflektierende Spiegeloberfläche. Wie es in 2b gezeigt ist, werden die reflektierten Lichtstrahlen zerstreut, sobald die einfallenden Lichtstrahlen an der nicht spiegelnden Oberfläche abprallen. Folglich werden die reflektierten Lichtstrahlen gestreut und sind die Reflexionswinkel nicht gleich den Einfallswinkeln, wie es in 1b gezeigt ist.
3 zeigt ein Blockdiagramm eines Systems 20 zur Detektion eines nassen Straßenbelags. Eine fahrzeugbasierte Bilderfassungseinrichtung 22 ist an dem Fahrzeug angebracht, um Bilder vor dem Fahrzeug zu erfassen. Die Bildeinrichtung 22 kann eine Kamera zum Erfassen von Bildern der Straße umfassen, ist jedoch nicht darauf beschränkt. Die Funktion der Bilderfassungseinrichtung 22 ist, ein Bild, das Objekte oberhalb der Straße umfasst, und zusätzlich die Straße selbst, um das Vorhandensein von Wasser auf der Fahrstraße zu detektieren, zu erfassen. Die durch die fahrzeugbasierte Bilderfassungseinrichtung 22 erfassten Bilder werden analysiert, um Wasser darin zu detektieren.
Ein Prozessor 24 verarbeitet die durch die Bilderfassungseinrichtung 22 erfassten Bilder. Der Prozessor 24 analysiert Reflexionseigenschaften der Fahrstraße zum Ermitteln, ob Wasser auf dem Straßenbelag vorhanden ist.
Der Prozessor 24 kann mit einem oder mehreren Controllern 26 gekoppelt sein, um eine Steueraktion zu initiieren oder auszulösen, wenn herausgefunden wird, dass sich Niederschlag auf dem Straßenbelag befindet. Es können eine oder mehrere Gegenmaßnahmen ausgelöst werden, um den Effekt zu vermindern, den der Niederschlag auf den Betrieb des Fahrzeugs haben kann.
Der Controller 26 kann Teil des Fahrzeugsubsystems sein oder kann verwendet werden, um einem Fahrzeugsubsystem zu ermöglichen, den Effekten des Wassers entgegenzuwirken. Beispielsweise kann in Ansprechen auf eine Ermittlung, dass die Straße nass ist, der Controller 26 ein elektrisches oder elektrohydraulisches Bremssystem 30 freigeben, wobei in dem Fall, dass ein Traktionsverlust stattfindet, eine Bremsstrategie bereitgestellt wird. Zusätzlich zu einem Vorbereiten einer Bremsstrategie kann das Bremssystem autonom eine geringe Bremskraft aufbringen, ohne dass dies der Fahrer bemerkt, um den Niederschlag von den Fahrzeugbremsen zu entfernen, sobald sich das Fahrzeug in den Niederschlag begibt. Ein Entfernen des Niederschlags, der sich an den Rädern und Bremsen gebildet hat, hält einen erwarteten Reibungskoeffizienten zwischen den Fahrzeugbremsaktoren und der Bremsfläche der Räder aufrecht, wenn ein Bremsen durch den Fahrer manuell betätigt wird.
Der Controller 26 kann ein Traktionssteuersystem 32 steuern, das Leistung individuell an jedes jeweilige Rad verteilt, um den Radschlupf eines jeweiligen Rads zu reduzieren, wenn Niederschlag auf den Straßenbelag detektiert wird.
Der Controller 26 kann ein Tempomatsystem 34 steuern, was einen Tempomaten deaktivieren oder die Aktivierung des Tempomaten beschränken kann, wenn Niederschlag auf dem Straßenbelag detektiert wird.
Der Controller 26 kann ein Fahrerinformationssystem 36 steuern, um dem Fahrer des Fahrzeugs Warnungen bezüglich Niederschlags bereitzustellen, der auf der Straße für Fahrzeuge detektiert wird. Solch eine Warnung, die durch den Controller 26 ausgelöst wird, kann den Fahrer hinsichtlich des sich nähernden Niederschlags auf dem Straßenbelag alarmieren und kann dem Fahrer empfehlen, die Fahrzeuggeschwindigkeit auf eine Geschwindigkeit zu verringern, die den aktuellen Umgebungsbedingungen entspricht, oder der Controller 26 kann eine Warnung auslösen, um einen sicheren Fahrabstand zu dem Fahrzeug vor dem gefahrenen Fahrzeug aufrechtzuerhalten. Es sei angemerkt, dass der Controller 26 wie hierin beschrieben einen oder mehrere Controller umfassen kann, die eine einzelne Funktion steuern, oder eine Kombination von Funktionen steuern kann.
Der Controller 26 kann ferner das Auslösen des automatischen Öffnens und Schließens von Luftleitblechen 38 steuern, um eine Aufnahme von Wasser in einen Motor des Fahrzeugs zu verhindern. Unter solchen Bedingungen löst der Controller 26 automatisch das Schließen der Luftleitbleche 38 aus, wenn detektiert wird, dass Niederschlag auf dem Straßenbelag vor dem Fahrzeug vorhanden ist, und kann er die Luftleitbleche wieder öffnen, wenn ermittelt wird, dass kein Niederschlag mehr auf dem Straßenbelag vorhanden ist.
Der Controller 26 kann ferner das Auslösen einer Drahtloskommunikationseinrichtung 39 steuern, um den Zustand eines nassen Bodenbelags anderen Fahrzeugen unter Verwendung eines Fahrzeug-Fahrzeug- oder Fahrzeug-Infrastruktur-Kommunikationssystems autonom mitzuteilen.
Der Vorteil der hierin beschriebenen Techniken ist, dass keine Anregungen von dem Fahrzeug oder Fahrer erforderlich sind, um eine Ermittlung bezüglich dessen, ob Wasser oder Niederschlag vorhanden ist, zu initiieren. Das heißt, frühere Techniken erfordern eine beträchtliche Anregung durch das Fahrzeug, entweder durch ein Bremsmanöver, erhöhte Beschleunigung oder ein Lenkmanöver, für eine Detektion von Wasser an einer Oberfläche. Auf der Grundlage der Reaktion (z.B. Radschlupf, Gier) ermittelt solch eine Technik, ob das Fahrzeug aktuell auf Wasser oder Niederschlag fährt. Im Gegensatz dazu stellen die hierin beschriebenen Techniken eine vorausschauende oder vorgreifende Analyse bereit, um dem Fahrer oder Fahrzeug Zeit zu lassen, um Vorkehrungen zu treffen, bevor das Fahrzeug den Ort des Wassers oder Niederschlags erreicht.
4 zeigt eine bildliche Darstellung bezüglich dessen, wie Reflexionseigenschaften verwendet werden können, um zu ermitteln, ob das Wasser an der Oberfläche der befahrenen Straße vorhanden ist, wobei eine Triangulationstechnik zwischen Bildern verwendet wird, die zu einem ersten Zeitpunkt t₁ und zu einem zweiten Zeitpunkt t₂ erfasst werden. Wie es in 4 gezeigt ist, erfasst die Bilderfassungseinrichtung 22 zu Zeitpunkt t₁ die Fahrstraße 12. Auf dem Straßenbelag ist stillstehendes Wasser 39 vorhanden, und eine Reflexion eines realen Objekts 40 wird durch die Bilderfassungseinrichtung 22 in dem Bild erfasst. Das stillstehende Wasser 39 auf der Straße fungiert als Oberfläche vom Spiegeltyp mit Reflexionseigenschaften. Eine Lichtreflexion an dem Straßenbelag für eine Oberfläche eines stillstehenden Wassers weist einen Einfalllichtwinkel auf, der im Wesentlichen gleich dem Winkel des reflektierten Lichts ist. Ferner ist die Größe des realen Objekts 40 in dem Bild im Wesentlichen gleich der Größe eines virtuellen Objekts 42 in den Reflexionen. Ähnlich ist die Distanz zu dem realen Objekt 40 im Wesentlichen gleich der Distanz zu dem virtuellen Objekt 42 in der Reflexion. Da die Bilderfassungseinrichtung 22 ein Bild im Wesentlichen über eine Spiegelfläche erfasst, ist das virtuelle Objekt 42 beim Betrachten des Bilds in Bezug auf das reale Objekt 40 umgekehrt. Wie in 4 gezeigt wird das Objekt als virtuelles Bild unterhalb des Bodens mit im Wesentlichen den gleichen Abmessungen wie das reale Objekt oberhalb des Bodens angezeigt, außer, dass das Objekt umgedreht ist.
Nachdem das Fahrzeug für eine Zeitdauer gefahren ist, wird ein nächstes Bild zu Zeitpunkt t₂ erfasst, wobei das erfasste Bild zu Zeitpunkt t₂ sowohl ein reales Objekt 40 als auch ein virtuelles Objekt 41 umfasst, wenn immer noch stillstehendes Wasser vorhanden ist. Aus dem Bild werden Merkmalspunkte des realen Objekts 40 und des virtuellen Objekts 41 extrahiert. Wenn eine Reflexion von stillstehendem Wasser vorhanden ist, sollten die Merkmalspunkte des Objekts in dem realen Abschnitt mit den Merkmalspunkten des Objekts in dem virtuellen Abschnitt übereinstimmen. Ferner sollten die Merkmalspunkte des virtuellen Objekts 41 zu Zeitpunkt t₁ wie in den vergrößerten Ansichten von 5 gezeigt mit den Merkmalspunkten des zu Zeitpunkt t₂ erfassten virtuellen Objekts 42 übereinstimmen. Um zu ermitteln, ob das virtuelle Objekt 41 das gleiche ist, wird die folgende Triangulationstechnik auf das virtuelle Objekt 41 in dem Bild angewandt. Vor dem Durchführen der Triangulationstechnik wird jedoch ein jeweiliger Satz von Merkmalen identifiziert und wird eine Analyse an dem jeweiligen Satz von Merkmalen durchgeführt, um zu ermitteln, ob die jeweiligen Merkmale übereinstimmen und daher das gleiche Merkmal, extrahiert aus zwei separaten Bildern, umfassen. Der Abgleich der Merkmalspunkte kann durch Abgleichsmerkmalsdeskriptoren der detektierten Punkte zu Zeitpunkt t1 und t2 durchgeführt werden. Eine derartige Abgleichsmerkmalsdeskriptortechnik kann eine skaleninvariante Merkmalstransformation (SIFT von scale-invariant feature transform) oder beschleunigte robuste Merkmale (SURF von speeded up robust features) umfassen, ist jedoch nicht darauf beschränkt. Die Triangulationstechnik umfasst das Ermitteln, ob sich der Merkmalspunkt unterhalb oder oberhalb/an der Bodenoberfläche befindet. Wenn sich der Merkmalspunkt unterhalb der Bodenoberfläche befindet, befindet sich der Merkmalspunkt an einem virtuellen Bild, das durch eine nasse Oberfläche reflektiert wird. Wenn der Merkmalspunkt detektiert wird, kann ermittelt werden, dass es wahrscheinlich ist, dass der Merkmalspunkt durch eine spiegelähnliche Oberfläche, wie beispielsweise einen Wasserfilm auf der Straße, reflektiert wird. Wenn sich der Merkmalspunkt oberhalb des oder auf dem Straßenbelag(s) befindet, wird ermittelt, dass der reale Objektpunkt entweder von dem Objekt oberhalb des Bodens stammt oder ein Punkt auf dem Straßenbelag selbst ist.
In 6 analysiert die Triangulationstechnik erfasste Szenen zu zwei Zeitpunkten, beispielsweise t₁ und t₂. Bei jedem Zeitpunkt wird das extrahierte Merkmal des virtuellen Objekts 41 analysiert. Zu Zeitpunkt t₁ ist die Kamera an einer Höhe h oberhalb des Bodens positioniert. Die Bilderfassungseinrichtung 22 erfasst das virtuelle Objekt 41 in dem Reflexionsbild, als würde sich das Objekt unterhalb der Bodenoberfläche befinden. Ein Lichtstrahl 42 ist gezeigt, der sich von einem Merkmalspunkt 44 an dem virtuellen Objekt 41 zu der Linse der Bilderfassungseinrichtung 22 erstreckt. Ein Winkel (α) stellt den Winkel des Lichtstrahls dar, der sich von dem extrahierten Merkmalspunkt 44 und der Bilderfassungseinrichtung 22 erstreckt, was über eine Kalibrierung der Bildgebungserfassungseinrichtung im Voraus ohne weiteres bekannt ist. Der Lichtstrahl 42 ist als die reflektierende Fläche 39 bei einem Reflexionspunkt 46 schneidend gezeigt.
Wenn das Fahrzeug eine entsprechende Distanz fährt, wird ein nächstes Bild zu Zeitpunkt t₂ erfasst. Zu Zeitpunkt t₂ hält die Kamera die Höhenposition (h) oberhalb der Bodenoberfläche aufrecht. Die Bilderfassungseinrichtung 22 erfasst das virtuelle Objekt 41 in dem Reflexionsbild, als würde sich das Objekt unterhalb der Bodenoberfläche befinden. Wenn eine reflektierende Fläche stillstehenden Wassers vorhanden ist, wird der gleiche Merkmalspunkt 44 erfasst und in dem Bild identifiziert. Es ist ein Lichtstrahl 48 gezeigt, der sich von dem gleichen Merkmalspunkt 44 an dem virtuellen Objekt 41 zu der Linse der Bilderfassungseinrichtung 22 erstreckt, die nun in einer Distanz (d_travel) von der ursprünglichen Position positioniert ist. Wenn der gleiche Merkmalspunkt 44 durch die Bilderfassungseinrichtung 22 an dem virtuellen Objekt 41 erfasst wird, unterscheidet sich der Winkel des Lichtstrahls zu Zeitpunkt t₂ von dem Winkel des Lichtstrahls zu Zeitpunkt t₁. Wie gezeigt, stellt ein Winkel (β) den Winkel des Lichtstrahls dar, der sich zwischen dem extrahierten Merkmalspunkt 44 und der Bilderfassungseinrichtung 22 zu Zeitpunkt t₂ erstreckt, was über eine Kalibrierung der Bildgebungserfassungseinrichtung im Voraus ohne weiteres bekannt ist. Der Lichtstrahl 48 ist als die reflektierende Fläche 39 bei einem Reflexionspunkt 50 schneidend gezeigt. Wie in 6 gezeigt, schneiden der Lichtstrahl 42 bzw. 48 die reflektierende Fläche an verschiedenen Orten. Lichtstrahl 42 schneidet die reflektierende Fläche an Bodenpunkt 46, wohingegen Lichtstrahl 48 die Lichtfläche an Bodenpunkt 50 schneidet.
Da die Geschwindigkeit des Fahrzeugs bekannt ist, wenn das Fahrzeug von t₁ zu t₂ fährt, wird die Distanz d_travel zwischen den Punkten, an denen das Bild aufgenommen wird, berechnet. Eine erste Distanz d₁ stellt die Distanz von dem Fahrzeug zu Zeitpunkt t₁ zu dem Bodenschnittpunkt 46 dar. Da α und h bekannt sind, kann d₁ basierend auf trigonometrischen Funktionen berechnet werden. Eine Distanz d₂ stellt die Distanz von dem Fahrzeug zu Zeitpunkt t₂ zu dem Bodenpunkt 50 dar. Da β und h bekannt sind, kann d₂ basierend auf den trigonometrischen Funktionen berechnet werden. Die folgende Gleichung gilt, wenn der Merkmalspunkt, der zu beiden Zeitpunkten t₁ und t₂ erfasst wird, auf einem jeweiligen virtuellen Objekt unterhalb der Bodenoberfläche (d.h. in der reflektierenden Fläche) im Gegensatz zu einem Punkt an der nicht reflektierenden Bodenoberfläche basiert: $d_{1} - d_{travel} < d_{2} .$
Bei einem alternativen Ansatz kann die Ermittlung bezüglich dessen, ob sich der Merkmalspunkt unterhalb der Bodenoberfläche befindet, durch eine Merkmalspunkthöhe h_pf ermittelt werden. Die Merkmalspunkthöhe h_pf wird als Funktion von α, β, h, d_travel ermittelt und wird durch die folgende Formel dargestellt: $h_{f p} = h - \frac{d_{t r a v e l}}{cot (α) - cot (β)} .$
Wenn das Ergebnis in Gl. (2) ist, dass h_fp < 0 ist, wird ermittelt, dass sich der Merkmalspunkt unterhalb der Bodenoberfläche befindet und der Merkmalspunkt höchstwahrscheinlich von einem virtuellen Objekt stammt, das durch eine spiegelähnliche Wasseroberfläche reflektiert wird.
7 zeigt eine Triangulationsberechnung, die angibt, wenn das extrahierte Merkmal ein Punkt an der Bodenoberfläche ist. Wie es in 7 gezeigt ist, wird zu t₁ ein Bild erfasst. Es wird ein Merkmalspunkt 52 aus dem Bild extrahiert. Zu Zeitpunkt t₂ wird ein nächstes Bild erfasst und wird der gleiche Punkt in dem Bild identifiziert. Es ist ein Lichtstrahl 54 gezeigt, der sich zu Zeitpunkt t₁ von der Kamera zu dem extrahierten Merkmalspunkt erstreckt. Ähnlich ist ein Lichtstrahl 56 gezeigt, der sich zu Zeitpunkt t₂ von der Kamera zu dem extrahierten Merkmalspunkt erstreckt. Da die Geschwindigkeit des Fahrzeugs bekannt ist, wenn das Fahrzeug von t₁ nach t₂ fährt, wird die Distanz d_travel berechnet. Distanz d₁ stellt die Distanz von dem Fahrzeug zu Zeitpunkt t₁ zu dem Merkmalspunkt dar, der der Ort ist, an dem der Lichtstrahl die Bodenoberfläche schneidet. Da α und h bekannt sind, kann d₁ basierend auf trigonometrischen Funktionen berechnet werden. Distanz d₂ stellt die Distanz von dem Fahrzeug zu Zeitpunkt t₂ zu dem Merkmalspunkt 52 dar, der der Ort ist, an dem der Lichtstrahl die Bodenoberfläche schneidet. Da β und h bekannt sind, kann d₂ basierend auf trigonometrischen Funktionen berechnet werden. Die folgende Gleichung gilt, wenn der Merkmalspunkt, der zu beiden Zeitpunkten erfasst wird, auf einem Objekt an dem Boden (d.h. eine Bodenoberfläche ohne reflektierende Fläche) im Gegensatz zu einem virtuellen Punkt in der Reflexion basiert: $d_{1} - d_{travel} = d_{2} .$
Bei einem alternativen Ansatz kann die Ermittlung, ob sich der Merkmalspunkt oberhalb der Bodenoberfläche befindet, durch das Ergebnis von Gl. (2) ermittelt werden. Wenn das Ergebnis in Gl. (2) umfasst, dass h_fp > 0, kann ermittelt werden, dass sich der Merkmalspunkt an oder oberhalb der Bodenoberfläche befindet.
In Abhängigkeit von der Größe der Wasser-/nassen Oberfläche und der Fahrgeschwindigkeit des Fahrzeugs kann der Spiegelreflexionseffekt von der spiegelähnlichen Wasser-/nassen Oberfläche in mehreren fortlaufenden Video-Frames vorhanden sein. Das zuvor erwähnte Verfahren wird auf jeden Frame angewandt, und für jeden Frame wird ein jeweiliges Detektionsergebnis ausgegeben. Basierend auf den mehreren Detektionsergebnissen von temporären mehreren Video-Frames könnte eine Entscheidungsstrategie verwendet werden. Beispielsweise kann ein Glättungs-/Mittelwertbildungsverfahren oder ein Multiabstimmungsverfahren das Detektionsvertrauen erhöhen und Fehler oder Rauschen der Detektion verringern.
Während bestimmte Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe, einen Filterprozess und Ausführungsformen zum Ausführen der Erfindung, wie durch die folgenden Ansprüche definiert, erkennen.

Claims

Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug, das auf einer Straße fährt, wobei das Verfahren die Schritte umfasst, dass: ein Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung (22) zu einem ersten Zeitpunkt erfasst wird; durch einen Prozessor (24) ein potentielles Objekt an einer Bodenoberfläche der Fahrstraße detektiert wird; durch den Prozessor (24) ein Merkmalspunkt an dem potentiellen Objekt an der Bodenoberfläche der Fahrstraße identifiziert wird; ein Bild außerhalb des Fahrzeugs durch die Bilderfassungseinrichtung (22) zu einem zweiten Zeitpunkt erfasst wird; durch den Prozessor (24) das potentielle Objekt an der Bodenoberfläche der Fahrstraße, erfasst zu dem zweiten Zeitpunkt, detektiert wird; durch den Prozessor (24) der Merkmalspunkt an dem potentiellen Objekt des Bilds, erfasst zu dem zweiten Zeitpunkt, identifiziert wird; basierend auf einer Triangulationstechnik unter Verwendung der Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt ermittelt wird, ob die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekt umfasst; und ein eine nasse Fahrbahn angebendes Signal in Ansprechen auf die Ermittlung, dass die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekt umfasst, erzeugt wird; wobei eine Triangulationstechnik, die die Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt verwendet, Sichtlinienlichtstrahlen verwendet, die sich zwischen der Bilderfassungseinrichtung (22) und den Merkmalspunkten zu dem ersten und zweiten Zeitpunkt erstrecken; wobei die Triangulationstechnik die Schritte umfasst, dass: ein erster Ort identifiziert wird, an dem ein dem ersten Merkmalspunkt zugehöriger Lichtstrahl die Bodenoberfläche schneidet; ein zweiter Ort identifiziert wird, an dem der dem zweiten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, wenn das zweite Bild durch die Bilderfassungseinrichtung (22) erfasst wird; und ermittelt wird, ob sich der erste Ort und der zweite Ort an einem gleichen Ort befinden; wobei in Ansprechen darauf, dass der erste Ort und der zweite Ort unterschiedliche Orte sind, die Bodenoberfläche als stillstehendes Wasser (39) umfassend ermittelt wird; ansonsten ermittelt wird, dass die Bodenoberfläche eine Oberfläche ohne stillstehendes Wasser (39) umfasst; und wobei die Ermittlung, dass der erste Ort und der zweite Ort unterschiedliche Orte sind, in Ansprechen auf die folgende Ungleichung ermittelt wird: $d_{1} - d_{travel} < d_{2}$
wobei d_travel eine Distanz ist, die durch das Fahrzeug zwischen einem Zeitpunkt, zu dem das erste Bild erfasst wird, und einem Zeitpunkt, zu dem das zweite Bild erfasst wird, zurückgelegt wird, d₁ eine Distanz von einer Fahrzeugposition, bei der das erste Bild erfasst wird, zu einem Ort, an dem der dem ersten detektierten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt und d₂ eine Distanz von einer Fahrzeugposition, bei der das zweite Bild erfasst wird, zu einem Ort, an dem der dem zweiten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt.
Verfahren nach Anspruch 1, wobei die Ermittlung, dass der erste Ort und der zweite Ort der gleiche Ort sind, in Ansprechen auf die folgende Gleichung ermittelt wird: $d_{1} - d_{travel} = d_{2}$
wobei d_travel eine Distanz ist, die durch das Fahrzeug zwischen einem Zeitpunkt, zu dem das erste Bild erfasst wird, und einem Zeitpunkt, zu dem das zweite Bild erfasst wird, zurückgelegt wird, d₁ eine Distanz von einer Fahrzeugposition, bei der das erste Bild erfasst wird, zu einem Ort, an dem der dem ersten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt und d₂ eine Distanz von einer Fahrzeugposition, bei der das zweite Bild erfasst wird, zu einem Ort, an dem der dem zweiten Merkmalspunkt zugehörige Lichtstrahl die Bodenoberfläche schneidet, darstellt.
Verfahren nach Anspruch 1, wobei die Bilderfassungseinrichtung (22) an dem Fahrzeug auf einer gleichen Höhe oberhalb der Bodenoberfläche positioniert ist, wenn das erste Bild und das zweite Bild erfasst werden.
Verfahren nach Anspruch 1, das ferner die Schritte umfasst, dass: der in dem ersten Bild identifizierte Merkmalspunkt mit dem in dem zweiten Bild identifizierten Merkmalspunkt analysiert wird, um ähnliche Eigenschaften zu ermitteln; und in Ansprechen auf die Ermittlung, dass der erste und der zweite Merkmalspunkt ähnliche Eigenschaften umfassen, und ermittelt wird, dass sie ein gleicher Punkt an dem Objekt sind, die Triangulationstechnik durchgeführt wird.
Verfahren nach Anspruch 4, wobei das Analysieren des in dem ersten Bild identifizierten Merkmalspunkts mit dem in dem zweiten Bild identifizierten Merkmalspunkt zum Ermitteln ähnlicher Eigenschaften durch eine Technik einer skaleninvarianten Merkmalstransformation durchgeführt wird.
Verfahren nach Anspruch 4, wobei das Analysieren des in dem ersten Bild identifizierten Merkmalspunkts mit dem in dem zweiten Bild identifizierten Merkmalspunkt zum Ermitteln ähnlicher Eigenschaften durch eine Technik beschleunigter robuster Merkmale durchgeführt wird.
Verfahren nach Anspruch 1, wobei mehrere temporäre Bilder analysiert werden, um für jedes erfasste temporäre Bild zu detektieren, ob die Bodenoberfläche die reflektierende Fläche mit Spiegeleffekt umfasst, und wobei jedes Detektionsergebnis für jedes erfasste Bild kooperativ verwendet wird, um ein Vertrauensniveau bezüglich dessen zu erzeugen, ob die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekt umfasst.