DE102015109270A1

DE102015109270A1 - Strassenbelagszustandsdetektion mit rekursivem adaptivem lernen und validierung

Info

Publication number: DE102015109270A1
Application number: DE102015109270.0A
Authority: DE
Inventors: Qingrong Zhao; Jinsong Wang; Wende Zhang; Bakhtiar Brian Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-06-12
Filing date: 2015-06-11
Publication date: 2015-12-17
Anticipated expiration: 2035-06-12
Also published as: CN105184262B; DE102015109270B4; CN105184262A; US9139204B1

Abstract

Es wird ein Verfahren zum Ermitteln eines Straßenbelagszustands für ein Fahrzeug, das auf einer Straße fährt, bereitgestellt. Es werden mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf einem Bild einer Erfassungsszene durch ein erstes Wahrscheinlichkeitsmodul ermittelt. Es werden den mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf Fahrzeugbetriebsdaten durch ein zweites Wahrscheinlichkeitsmodul ermittelt. Die durch das erste und zweite Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten werden in eine Datenvereinigungseinheit eingegeben, um die Wahrscheinlichkeiten zu vereinigen und einen Straßenbelagszustand zu ermitteln. Es wird eine verfeinerte Wahrscheinlichkeit von der Datenvereinigungseinheit ausgegeben, welche eine Funktion der vereinigten ersten und zweiten Wahrscheinlichkeit ist. Die verfeinerte Wahrscheinlichkeit von der Datenvereinigungseinheit wird an eine Einheit eines adaptiven Lernens geliefert. Die Einheit eines adaptiven Lernens erzeugt Ausgangsbefehle, die abstimmbare Parameter von zumindest dem ersten Wahrscheinlichkeitsmodul und dem zweiten Wahrscheinlichkeitsmodul zum Ermitteln der jeweiligen Wahrscheinlichkeiten verfeinern.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich auf eine Detektion eines Straßenbelagszustands unter Verwendung von Techniken eines adaptiven Lernens.
Niederschlag auf einer Fahrbahn verursacht für ein Fahrzeug mehrere verschiedene Probleme. Beispielsweise reduzieren Wasser oder Schnee auf einer Straße den Reibungskoeffizienten zwischen den Reifen des Fahrzeugs und der Oberfläche der Straße, was zu Fahrzeugstabilitätsproblemen führt.
Es sind verschiedene Techniken bekannt, um zu versuchen, die Umgebungsbedingungen des Straßenbelags zu ermitteln. Ein Beispiel einer solchen Technik ist ein Fahrzeugmodell, das Fahrzeugbetriebszustände erfasst, um Daten zu erhalten, um einen Straßenbelagszustand zu klassifizieren. Das Modell weist eingestellte Parameter auf, und ohne Aktualisierungen würde das Modell für einen gegebenen Eingang die gleichen Ergebnisse liefern. Daher wird, wenn das Modell den Straßenbelagszustand fehl diagnostiziert, der Ausgang kontinuierlich das gleiche inkorrekte Ergebnis erzeugen.
Andere Ansätze, wie beispielsweise ein bildbasierter Ansatz, verwenden einen Klassifizierer, um den Straßenbelagszustand zu ermitteln. Wenn der Klassifizierer jedoch nicht aktualisiert wird, gibt der Klassifizierer das gleiche Ergebnis aus, auch wenn es inkorrekt ist.
In solchen Fällen ist das Straßenbelagsdetektionssystem vollständig abhängig von dem Klassifizierer oder Modell, der oder das bei der Herstellung oder einer Wartungsaktualisierung des Fahrzeugs in dem Fahrzeug gespeichert wurde.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil einer Ausführungsform ist die kooperative Verwendung von Daten von zwei jeweiligen Schätzungstechniken zum Ausgeben einer Wahrscheinlichkeit des Straßenbelagszustands. Ein weiterer Vorteil ist eine Online-Technik eines adaptiven Lernens, wobei der Ausgang der Online-Technik eines adaptiven Lernens als Rückmeldung für die beiden jeweiligen Schätzungstechniken bereitgestellt wird, um Parameter in jeder Technik zu verfeinern. Dies ermöglicht jeder Schätzungstechnik, aus jeder Analyse hinsichtlich Parametern, die durch jede Technik verwendet werden, adaptiv zu lernen. Als ein Ergebnis können die erzeugten Schätzungen validiert werden, was identifiziert, ob die Techniken die Daten korrekt analysieren, oder ob Anpassungen erforderlich sind.
Eine Ausführungsform zieht ein Verfahren zum Ermitteln eines Straßenbelagszustands für ein Fahrzeug, das auf einer Straße fährt, in Betracht. Es werden mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf einem Bild einer Erfassungsszene der Straße durch ein erstes Wahrscheinlichkeitsmodul ermittelt. Es werden den mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf Fahrzeugbetriebsdaten durch ein zweites Wahrscheinlichkeitsmodul ermittelt. Die durch das erste und zweite Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten werden in eine Datenvereinigungs- und Entscheidungseinheit eingegeben, um die durch das erste und zweite Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten zu vereinigen. Es erfolgt ein Ermitteln eines Straßenbelagszustands basierend auf vereinigten Ergebnissen von der Datenvereinigungs- und Entscheidungseinheit. Es wird eine dem identifizierten Straßenbelagszustand zugehörige verfeinerte Wahrscheinlichkeit von der Datenvereinigungs- und Entscheidungseinheit ausgegeben, welche eine Funktion der vereinigten ersten und zweiten Wahrscheinlichkeit ist. Die verfeinerte Wahrscheinlichkeit von der Datenvereinigungs- und Entscheidungseinheit wird an eine Einheit eines adaptiven Lernens geliefert. Die Einheit eines adaptiven Lernens erzeugt Ausgangsbefehle, die abstimmbare Parameter von zumindest dem ersten Wahrscheinlichkeitsmodul und dem zweiten Wahrscheinlichkeitsmodul zum Ermitteln der jeweiligen Wahrscheinlichkeiten verfeinern.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein beispielhaftes durch eine Bilderfassungseinrichtung erfasstes Bild.
2 ist eine bildliche Darstellung eines Fahrzeugs, das einen Zustand eines nassen Straßenbelags erfasst.
3 zeigt ein Fahrzeug, das bei einem Zustand eines nassen Straßenbelags fährt.
4 ist ein Blockdiagramm eines allgemeinen Überblicks über einen Online-Ansatz eines adaptiven Lernens.
5 ist ein Blockdiagramm eines beispielhaften Online-Ansatzes eines adaptiven Lernens.
DETAILLIERTE BESCHREIBUNG
In 1 ist ein Bild gezeigt, erfasst außerhalb des Fahrzeugs, das entlang einer Straße 12 für Fahrzeuge fährt. An der Straße 12 ist Niederschlag 14 gezeigt, der oftmals durch Fahrzeugreifen verteilt wird, wenn sich Fahrzeugreifen über der nassen Straße 12 für Fahrzeuge drehen. Es ist oftmals vorteilhaft, vorab zu wissen, wann das Fahrzeug entlang der nassen Straße 12 für Fahrzeuge fährt, so dass Probleme, die sich aus dem Niederschlag ergeben, wie beispielsweise ein Traktionsverlust, beseitigt oder zumindest vermindert werden können.
Der Niederschlag 14 an der Straße 12 für Fahrzeuge kann zu einer Reduzierung der Traktion beim Fahren auf der nassen Oberfläche führen. Es ist zu verstehen, dass der Begriff Niederschlag, wie er hierin verwendet wird, Wasser, Eis oder Schnee umfassen kann, jedoch nicht darauf beschränkt ist. Der sich auf der Straße 12 für Fahrzeuge befindende Niederschlag verringert den Reibungskoeffizienten zwischen den Fahrzeugreifen und der Straße 12 für Fahrzeuge. Folglich wird die Traktion zwischen den Fahrzeugreifen und der Straße 12 für Fahrzeuge verringert. Der Traktionsverlust kann durch Warnen des Fahrers, um die Fahrzeuggeschwindigkeit auf eine zu verringern, die den Umgebungsbedingungen entspricht; Auslösen eines automatischen Betätigens der Fahrzeugbremsen unter Verwendung einer variablen Bremskraft, um den Niederschlag, der sich an den Bremsflächen der Bremskomponenten gebildet hat, zu minimieren; Deaktivieren oder Beschränken der Aktivierung einer Tempomatfunktionalität, während Niederschlag detektiert wird; oder Benachrichtigen des Fahrers, um einen größeren Bremsabstand zu einem vorausfahrenden Fahrzeug aufrechtzuerhalten, vermindert werden.
2 zeigt eine bildliche Darstellung bezüglich dessen, wie die Reflexionseigenschaften verwendet werden können, um zu ermitteln, ob Niederschlag in Form von Wasser, Eis oder Schnee auf der Oberfläche der befahrenen Straße vorhanden ist, wobei verschiedene Bildanalysetechniken verwendet werden. Zu Erläuterungszwecken wird hierin Niederschlag in Form von Wasser erörtert. Wie es in 2 gezeigt ist, erfasst eine Bilderfassungseinrichtung 20 die Fahrstraße 12. Wasser auf dem Straßenbelag kann durch eine Spiegelbildtechnik unter Verwendung eines erfassten Bilds detektiert werden. Es ist stillstehendes Wasser 22 auf dem Straßenbelag 12 vorhanden, und eine Reflexion in dem stillstehenden Wasser 22 kann durch die Bilderfassungseinrichtung 20 erfasst werden. Das stillstehende Wasser 22 auf der Straße fungiert als Oberfläche vom Spiegeltyp mit Reflexionseigenschaften. Um zu ermitteln, ob Wasser auf der Fahrstraße vorhanden ist, können reale Objekte, die in dem Bild erfasst werden, mit einem virtuellen Objekt in der Reflexion verglichen werden. Wenn das reale Objekt und das virtuelle Objekt im Wesentlichen identisch sind, kann ermittelt werden, dass die Oberfläche der Straße nass ist. Es können verschiedene Vergleichstechniken verwendet werden, um die Ähnlichkeiten und Unterschiede zwischen dem realen Objekt in dem virtuellen Objekt zu ermitteln.
Eine weitere Technik zum Ermitteln eines nassen Straßenbelags in 2 umfasst eine Straßenbelagsstrukturanalyse. Beim Verwenden dieser Technik wird ein Teilabschnitt der Straße zu aufeinanderfolgenden Zeitpunkten erfasst und analysiert. Die Struktur der Straße zum ersten Zeitpunkt wird mit der Struktur der Straße zum zweiten Zeitpunkt verglichen. Wenn sich die Struktur des Straßenbelags zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt ziemlich stark verändert, wird ermittelt, dass Wasser, dass sich auf der Straße befindet, von Fahrzeugen, die auf der Straße fahren, aufgewirbelt wurde. In diesem Fall wird ermittelt, dass der Straßenbelag nass ist.
3 zeigt ein weiteres Beispiel zum Ermitteln eines Straßenbelagszustands unter Verwendung eines Fahrzeugdynamikansatzes. Das Fahrzeug ist als auf der Straße 12 für Fahrzeuge über einen nassen Straßenbelag 22 fahrend gezeigt. Die Fahrzeugdynamik kann Referenzmodelle verwenden, die ein Modell eines trockenen Straßenbelags, ein Modell eines nassen Straßenbelags, ein Modell eines schneebedeckten Straßenbelags und ein Modell eines eisigen Straßenbelags umfassen. Die Referenzmodelle sind vorzugsweise vorab kategorisierte Referenzmodelle. Der Fahrzeugdynamikansatz verwendet Fahrzeugbetriebsdaten, um einen Reifen-Straße-Reibungskoeffizienten zu schätzen. Unter dem Fahrzeugdynamikansatz erzeugt das Fahrzeug eine Anregung (z. B. Lenkeingang, Geschwindigkeitseingang), um eine Fahrzeugbetriebsreaktion zu erhalten. Basierend auf der Reaktion des Fahrzeugs wird die Reaktion mit gegebener Anregung mit jeder der erwarteten Reaktionen, die von allen Referenzmodellen ausgegeben werden, verglichen, um zu ermitteln, ob das Fahrzeug auf einem der folgenden Straßenbelagszustände gefahren wird, welche einen nassen Straßenbelag, einen trockenen Straßenbelag, einen schneebedeckten Straßenbelag und einen eisigen Straßenbelag umfassen, jedoch nicht darauf beschränkt sind.
Während die Beispiele in 2 und 3 Verfahren zum Identifizieren des Straßenbelagszustands zeigen, basieren beide Techniken auf einem vorbestimmten und festen Klassifizierer oder eingestellten Parametern. Das heißt, beide Techniken sind, während sie innerhalb ihres eindeutigen Prozesses Vorteile bieten, durch die vorbestimmten Parameter, dargelegt durch das Fahrzeugmodell hinsichtlich des vorab existierenden Klassifizierers für den bildbasierten Ansatz gebunden.
4 zeigt einen allgemeinen Überblick über einen Ansatz eines adaptiven Lernens, bei dem eine Online-Anpassung eines erfassungsbasierten Moduls 30 und eines Fahrzeugdynamikmodellmoduls 32 verwendet werden. Ausgänge von dem erfassungsbasierten Modul 30 und dem Fahrzeugdynamikmodellmodul 32 identifizieren jeweils unabhängig Wahrscheinlichkeiten, die mehreren Straßenbelagszuständen zugehörig sind, basierend auf Fahrzeugbetriebsdaten bzw. einem Bild einer Erfassungsszene der Straße. Das heißt, jedes Modul gibt jeweilige Wahrscheinlichkeiten für jeden der mehreren möglichen Straßenbelagszustände aus, wobei die Wahrscheinlichkeiten auf einem Vergleich zwischen einem Referenzmodell und erfassten Daten von Fahrzeuganregungen oder analysierten Daten von erfassten Bildern basieren. Die mehreren Straßenbelagszustände für die Wahrscheinlichkeiten erzeugt werden, umfassen einen Zustand einer trockenen Oberfläche, einen Zustand einer nassen Oberfläche, einen Zustand einer schneebedeckten Oberfläche und einen Zustand einer eisigen Oberfläche, sind jedoch nicht darauf beschränkt. Die Ausgänge von dem erfassungsbasierten Modul 30 und dem Fahrzeugdynamikmodellmodul 32 werden durch ein Datenvereinigungs- und Entscheidungsmodul 34 vereinigt, um eine verbesserte Wahrscheinlichkeit des identifizierten Straßenbelagszustands zu erzeugen. Die verbesserte Wahrscheinlichkeit, die durch das Datenvereinigungs- und Entscheidungsmodul 34 erzeugt wird, wird zu einem Modul 36 eines adaptiven Lernens zurückgeführt, das das erfassungsbasierte Modul 30 und das Fahrzeugdynamikmodellmodul 32 adaptiv aktualisiert. Als Ergebnis werden das erfassungsbasierte Modul 30 und das Fahrzeugdynamikmodellmodul 32 jedes Mal, wenn ein Straßenbelagszustand analysiert wird, konstant aktualisiert. Ferner wird die verbesserte Wahrscheinlichkeit von dem Datenvereinigungs- und Entscheidungsmodul 34 einer Ausgabeeinrichtung 38 bereitgestellt, die entweder ein Sicherheitsmerkmal freigeben oder den Fahrer warnen kann.
5 zeigt einen beispielhaften Ansatz eines adaptiven Lernens, bei dem eine Online-Anpassung des erfassungsbasierten Moduls 30 und des Fahrzeugdynamikmodellmoduls 32 verwendet wird. Die in 5 gezeigte beispielhafte Darstellung zeigt Details der jeweiligen in 4 gezeigten Module; es ist jedoch zu verstehen, dass die Einrichtungen, Prozesse und Modelle nicht auf die hierin offenbarten spezifischen Module und Einrichtungen beschränkt sind, und dass das hierin gezeigte Modell beispielhaft ist, so dass andere Module und Einrichtungen verwendet werden können. Das erfassungsbasierte Modul 30 umfasst eine Erfassungseinrichtung 40, ein Merkmalsauswahlmodul 42 und einen Klassifizierer 44. Die Erfassungseinrichtung 40 ist an dem Fahrzeug angebracht, um ein Objekt vor dem Fahrzeug zu erfassen, und/oder kann Bilder auf den Seiten des oder hinter dem Fahrzeug(s) umfassen, die verwendet werden können, um zu ermitteln, wann eine Form von Niederschlag auf der Straße vorhanden ist, oder ob der Straßenbelagszustand trocken ist. Der Ausgang von dem erfassungsbasierten Modul 30 stellt einen vorausschauenden oder vorausblickenden Zustand der Straße für einen Fahrer bereit. Die Erfassungseinrichtung 40 kann eine Kamera zum Erfassen von Bildern auf der Straße umfassen, ist jedoch nicht darauf beschränkt. Die Funktion der Bilderfassungseinrichtung ist, ein Bild zu erfassen, das die Straße umfasst, um entweder das Reflexionsbild auf der Straße zu analysieren oder um die Struktur des Straßenbelags zu analysieren, um das Vorhandensein von Wasser, Eis oder Schnee auf der Fahrstraße zu ermitteln. Das System kann auch das Vorhandensein eines Zustands einer trockenen Straße ermitteln. Die durch die Bilderfassungseinrichtung erfassten Bilder werden analysiert, um den Straßenbelagszustand darin zu detektieren. Beispiele anderer Erfassungseinrichtungen können Kameras, Infrarotsensoren, Lidar-Erfassungseinrichtungen und Radarerfassungseinrichtungen umfassen, sind jedoch nicht darauf beschränkt. Das Merkmalsauswahlmodul 42 umfasst einen Prozessor zum Verarbeiten von Bildern, die durch die Bilderfassungseinrichtung 40 erfasst werden. Es werden Merkmale in dem Bild identifiziert (z. B. Helligkeit, Farbe, Struktur, Polarisationsgrad). Die identifizierten Merkmale werden aus dem Bild extrahiert und werden einem Klassifizierer bereitgestellt, um das Vorhandensein einer Form von Niederschlag auf dem Straßenbelag zu ermitteln. Es können verschiedene Techniken wie beschrieben, wie beispielsweise eine Reflexionseigenschafts- oder Strukturanalyse, hinsichtlich der ausgewählten Merkmale in dem Bild verwendet werden.
Jeder segmentierte Abschnitt kann in einen Klassifizierer 44 eingegeben werden, um jedes jeweilige Segment zu analysieren und zu ermitteln, ob das jeweilige Segment Teil des freien Pfads ist. Der Klassifizierer 44 wird anfänglich durch ein Trainingsprogramm trainiert. Sobald das Training abgeschlossen ist, wird der Klassifizierer erhalten. Während zu verstehen ist, dass Klassifizierer fahrzeugbasierte Klassifizierer oder ein Klassifizierer, der von einem Fahrzeug entfernt ist und mit dem Fahrzeug durch Übertragen von Daten an eine entfernte Überwachungszentrale zum Verarbeiten und zur Klassifizierung kommuniziert, sein können, ist der hierin verwendete Klassifizierer 44 ein fahrzeugbasierter Klassifizierer. Der Klassifizierer 44 kann einen Stützvektormaschinenklassifizierer oder einen Bayes'schen Klassifizierer umfassen, ist jedoch nicht darauf beschränkt. Diese Klassifizierer klassifizieren den Zustand des Straßenbelags und geben einen Wahrscheinlichkeitsprozentsatz 46 aus, der die Wahrscheinlichkeit jedes der möglichen Straßenbelagszustände darstellt. Derartige Prozentsätze umfassen Wahrscheinlichkeitsprozentsätze von einem Zustand eines trockenen Straßenbelags, einem Zustand eines nassen Straßenbelags, einem Zustand eines schneebedeckten Straßenbelags und einem Zustand eines eisigen Straßenbelags. Es ist auch zu verstehen, dass ein einzelner Klassifizierer die Daten analysieren und ermitteln kann, ob der Straßenbelag einen Zustand eines trockenen, nassen, schneebedeckten oder eisigen Straßenbelags umfasst. Alternativ können mehrere Klassifizierer verwendet werden, wobei jeder Klassifizierer identifiziert, ob ein jeweiliger Straßenbelagszustand vorhanden ist oder nicht. Beispielsweise kann ein erster Klassifizierer ermitteln, ob der Straßenbelag Wasser oder kein Wasser umfasst; ermittelt ein zweiter Klassifizierer, ob der Straßenbelag Eis oder kein Eis umfasst; kann ein dritter Klassifizierer ermitteln, ob der Straßenbelag Schnee oder keinen Schnee umfasst; und kann ein vierter Klassifizierer ermitteln, ob der Straßenbelag trocken oder nicht trocken ist. Die mehreren Klassifizierer umfassen eine beliebige Anzahl von Klassifizierern, die für eine gegebene Anzahl von Straßenbelagszuständen, die zu analysieren sind, erforderlich sind. Die Analyse von jedem Klassifizierer kann gleichzeitig oder sequentiell durchgeführt werden.
Die Stützvektormaschinen-Klassifizierer (SVM-Klassifizierer von support vector machine classifiers) umfassen einen Satz von in Beziehung stehenden Lernalgorithmen, die zur Klassifizierung und Regression verwendet werden. Die Lernalgorithmen sind Trainingsverfahren, die Modelle aufbauen, die verwendet werden, um vorherzusagen, ob ein neuer Abtastwert in eine der jeweiligen Kategorien fällt. Das SVM-Modell ist eine Darstellung von Kategorien von Punkten im Merkmalsraum und ist derart abgebildet, dass die separaten Kategorien durch einen deutlichen Abstand unterteilt sind. Die Stützvektormaschine bildet Eingangsdaten auf einen höherdimensionalen Raum ab, in dem eine maximal trennende Hyperebene konstruiert wird. Die Stützvektormaschine konstruiert die Daten in Hyperebenen. Die Hyperebenen werden auf jeder Seite der trennenden Hyperebene konstruiert, um die Daten zu trennen. Die trennende Hyperebene maximiert die Distanz zwischen den beiden jeweiligen Hyperebenen. Es ist eine gute Trennung zwischen den jeweiligen Hyperebenen gewünscht, die die größte räumliche Distanz zu den nächsten Trainingsdatenpunkten jeder Klasse aufweisen. Das Grundkonzept ist, dass, je größer die Distanz zwischen den beiden jeweiligen Hyperebenen ist, desto geringer die Fehlklassifizierungsrate beim Klassifizieren der Daten in eine jeweilige Klasse sein wird.
Ein Bayes'scher Klassifizierer ist ein allgemeiner wahrscheinlichkeitstheoretischer Ansatz zum rekursiven Schätzen einer Funktion einer unbekannten Wahrscheinlichkeitsdichte über der Zeit unter Verwendung von eingehenden Messungen und eines Modells eines mathematischen Prozesses.
Das Fahrzeugdynamikmodellmodul 32 stellt eine Wahrscheinlichkeit bezüglich des Grads an Straßenreibung zwischen der Straße und dem Reifen des Fahrzeugs bereit. Das Fahrzeugdynamikmodell stellt einen Grad an Straßenglätte bereit, den das Fahrzeug aktuell erfährt. Das fahrzeugmodellbasierte Modul 32 verwendet einen Fahrzeugbetriebseingang 48, ein Modell 50 einer trockenen Referenz, ein Modell 51 einer nassen Referenz, ein Modell 52 einer schneebedeckten Referenz und ein Modell 53 einer eisigen Referenz, eine Messungserfassungsindexeinrichtung 54, ein Standardabweichungsmodul 56 und einen Wahrscheinlichkeitsprozentsatzausgang 58. Von jedem der jeweiligen Referenzmodelle werden Indizes erhalten. Die Messungserfassungsindexeinrichtung 54 vergleicht ihren Wert mit jedem der Indizes, die aus allen Referenzmodellen trocken, nass, schneebedeckt und eisig berechnet werden. Es werden vier Fehler, die vier verschiedenen Oberflächen zugehörig sind, erzeugt. Die vier Fehler werden an die RMSD-Analyse ausgegeben und erzeugen vier Wahrscheinlichkeiten P(trocken), P(nass), P(schneebedeckt), P(eisig), die in das Datenvereinigungs- und Entscheidungsmodul eingegeben werden.
Um einen Ausgang von dem Fahrzeugdynamikmodellmodul 32 zu erhalten, ist der Fahrzeugbetriebseingang 48, wie beispielsweise eine Fahrzeuganregung, als Eingang erforderlich. Beispiele für Fahrzeuganregungen umfassen Bremsen, Beschleunigung und Lenkung, sind jedoch nicht darauf beschränkt. Der Zweck des Verwendens der Fahrzeuganregung ist, dass für einen bekannten Eingang eine Ausgangsreaktion erhalten und analysiert werden kann, um den Straßenbelagszustand zu identifizieren. Der Fahrzeugbetriebseingang 48 wird dem Modell 50 einer trockenen Referenz, dem Modell 51 einer nassen Referenz, dem Modell 52 einer schneebedeckten Referenz, dem Modell 53 einer eisigen Referenz und der Messungserfassungsindexeinrichtung 54 bereitgestellt.
Das Modell 50 einer trockenen Referenz verwendet den Fahrzeugbetriebseingang 48 und wendet ihn auf dessen Modell an, wobei angenommen wird, dass der Straßenbelagszustand trocken ist. Ähnlich verwendet das Modell 52 einer nassen Referenz den Fahrzeugbetriebseingang 48 und wendet ihn auf dessen Modell an, wobei angenommen wird, dass der Straßenbelagszustand nass ist. Die Messungserfassungsindexeinrichtung 54 misst die tatsächliche Reaktion, die das Fahrzeug mit dem gegebenen Fahrzeugbetriebseingang erfährt. Jeder der Ausgänge wird dem Standardabweichungsanalysemodul 56 bereitgestellt, um einen jeweiligen jedem der Straßenbelagszustände zugehörigen Wahrscheinlichkeitsprozentsatz zu berechnen. Der Ausgang von dem Standardabweichungsanalysemodul 56, der die jeweiligen Wahrscheinlichkeiten hinsichtlich jedes der Straßenbelagszustände umfasst, wird an das Datenvereinigungs- und Entscheidungsmodul 34 ausgegeben, an dem der jeweilige Straßenbelagszustand mit der größten Wahrscheinlichkeit mit der berechneten Wahrscheinlichkeit identifiziert wird. Beispielsweise kann durch das Datenvereinigungs- und Entscheidungsmodul 34 eine nasse Oberfläche mit ihrer berechneten Wahrscheinlichkeit identifiziert werden, wenn nach einer Datenvereinigung ermittelt wird, dass eine nasse Oberfläche die größte Wahrscheinlichkeit aufweist.
Der Wahrscheinlichkeitsprozentsatz 46, der durch das sensorbasierte Modul 30 ausgegeben wird, umfasst vier Wahrscheinlichkeiten P_S(trocken), P_S(nass), P_S(schneebedeckt), P_S(eisig), und die Summe der jeweiligen Wahrscheinlichkeitsausgänge ist 1. Ähnlich umfasst der durch das Fahrzeugdynamikmodellmodul 32 ausgegebene Wahrscheinlichkeitsprozentsatz 58 vier Wahrscheinlichkeiten P_d(trocken), P_d(nass), P_d(schneebedeckt), P_d(eisig) und ist die Summe der jeweiligen Wahrscheinlichkeitsausgänge 1. Die Wahrscheinlichkeitsprozentsätze 46 von dem sensorbasierten Modul 30 und die Wahrscheinlichkeitsprozentsätze 58 von dem Fahrzeugdynamikmodellmodul 32 werden in das Datenvereinigungsmodul 34 eingegeben. Das Datenvereinigungs- und Entscheidungsmodul 34 ist ein Entscheidungsmodul, das Techniken verwendet, die die Evidenztechnik von Dempster und Shafer, eine Regressionsanalyse und eine Bayes'sche Analyse umfassen, jedoch nicht darauf beschränkt sind. Das Datenvereinigungs- und Entscheidungsmodul 34 kann Details, wie beispielsweise einen Oberflächenstatusschätzwert, bereitstellen, der ein Vertrauensniveau/eine Wahrscheinlichkeit dessen Entscheidung umfasst und auch dessen Entscheidung basierend auf den kooperativen Daten validiert, die durch das sensorbasierte Modul 30 und das Fahrzeugdynamikmodellmodul 32 bereitgestellt werden.
Das Datenvereinigungs- und Entscheidungsmodul 34 kann eine zusätzliche Information von anderen Erfassungseinrichtungen 59 verwenden, die eine Information umfasst, die sich auf eine Information einer globalen Positionsbestimmung, eine saisonale Information, eine Tageszeit, eine Wetterinformation, eine Beleuchtungsinformation, Feuchtigkeit, Temperatur, Niederschlag, Taupunkt und Luftdruck bezieht, jedoch nicht darauf beschränkt ist.
Das Datenvereinigungs- und Entscheidungsmodul 34 gib das Wahrscheinlichkeitsergebnis eines identifizierten Straßenbelagszustands an verschiedene andere Systeme zur Verwendung beim Freigeben von Sicherheitsmerkmalen 60 aus. Derartige Sicherheitsmerkmale können Fahrzeugsubsysteme umfassen, um den Effekten des Wassers entgegenzuwirken. Beispielsweise kann in Ansprechen auf eine Ermittlung, dass die Straße nass ist, ein Controller ein elektrisches oder elektrohydraulisches Bremssystem freigeben, bei dem eine Bremsstrategie in dem Fall bereitsteht, dass ein Traktionsverlust erfolgt. Zusätzlich zu einem Vorbereiten einer Bremsstrategie kann das Bremssystem autonom eine geringe Bremskraft aufbringen, ohne dass dies der Fahrer bemerkt, um den Niederschlag von den Fahrzeugbremsen zu entfernen, sobald sich das Fahrzeug in den Niederschlag begibt. Ein Entfernen des Niederschlags, der sich an den Rädern/Bremsen gebildet hat, hält einen erwarteten Reibungskoeffizienten zwischen den Fahrzeugbremsaktoren und der Bremsfläche der Räder aufrecht, wenn ein Bremsen durch den Fahrer manuell betätigt wird. Andere Einrichtungen, die freigegeben oder gesperrt werden können, umfassen Geschwindigkeitssteuersysteme, Traktionssteuersysteme, Tempomatsysteme, Fahrerinformationswarnsysteme, Lufteinlasssysteme und Kommunikationssysteme. Zusätzlich zu dem Freigeben von Sicherheitsmerkmalen kann der Straßenbelagszustand auch verwendet werden, um Warnungen oder Alarme über eine Ausgabeeinrichtung, wie beispielsweise ein Anzeigebildschirmnachrichtenübermittlungssystem oder eine andere Mensch-Maschine-Schnittstelle, die visuelle, audio- oder haptische Ausgänge umfassen kann, jedoch nicht darauf beschränkt ist, auszugeben.
Um die kooperative Datenvereinigung von dem erfassungsbasierten Modul 30 und dem Fahrzeugdynamikmodellmodul 32 zu verbessern, werden Datenvereinigungsergebnisse zu dem Online-Modul 36 eines adaptiven Lernens zurückgeführt. Das Online-Modul 36 eines adaptiven Lernens validiert die Ergebnisse durch Verbessern der Systemfähigkeiten, um eine Straßenbelagszustandszuverlässigkeit über eine Anpassungsrückmeldung vorherzusagen. Das heißt, das System lernt konstant über Rückmeldungsergebnisse. Beispielsweise kann ein Fahrzeug ein Bild des Straßenbelags vor dem Fahrzeug detektieren und den Straßenbelagszustand schützen. Wenn das Fahrzeug über den identifizierten Teilabschnitt der Straße fährt, verwendet das Fahrzeug das fahrzeugbasierte Modell, um den aktuellen Straßenbelagszustand über eine Anregung-Reaktion-Technik vorherzusagen. Wenn sich das Fahrzeug über den identifizierten Teilabschnitt der Straße hinaus bewegt, kann eine nach hinten gewandte Bildgebungseinrichtung den jeweiligen Teilabschnitt der Straße hinter dem Fahrzeug erfassen. Das Bild wird analysiert, um den Straßenbelagszustand zu ermitteln, beispielsweise, indem die Struktur des durch die nach vorn gerichtete Kamera erfassten Straßenbelagsbilds in dem durch die nach hinten gerichtete Kamera erfassten Bild verglichen wird, um zu ermitteln, ob sich die Struktur des Straßenbelags verändert hat. Dies validiert ferner die ursprünglichen vorhergesagten Ergebnisse. In Ansprechen auf sein adaptives Lernen stellt das Online-Modul 36 eines adaptiven Lernens eine Rückmeldung bereit, um das erfassungsbasierte Modul 30 in dem Fahrzeugdynamikmodellmodul 32 zu verfeinern.
Verfeinerungen der jeweiligen Module können ein Merkmalsabstimmungssubmodul 62 umfassen. Das Merkmalsabstimmungssubmodul 62 verfeinert Merkmalsauswahlkriterien, die in dem Merkmalsauswahlmodul 42 verwendet werden. Die Ermittlung, welche Merkmale durch das Merkmalsabstimmungssubmodul 62 verfeinert werden sollen, kann durch Verwenden von AdaBoost, der Hauptkomponentenanalyse (PCA von principal component analysis), der Unabhängigkeitsanalyse (ICA von independent component analysis) und der rekursiven Merkmalsbeseitigung (RFE von recursive feature elimination) identifiziert werden.
AdaBoost ist ein Maschinenlernalgorithmus, der in Kooperation mit verschiedenen anderen Lernalgorithmen verwendet wird, um deren Leistungsvermögen zu verbessern. AdaBoost ist in dem Sinne adaptiv, dass ein nächster nachfolgender Klassifizierer angesichts jener Fälle, die durch vorherige Klassifizierer fehlklassifiziert wurden, modifiziert wird. Die durch AdaBoost verwendeten vorherigen Klassifizierer können schwache Klassifizierer sein (z. B. eine erhebliche Fehlerrate anzeigen), solange das Leistungsvermögen des Klassifizierers jedoch nicht zufällig ist, verbessert er das gesamte Klassifizierermodell.
Die Hauptkomponentenanalyse (PCA) und die Unabhängigkeitsanalyse (ICA) zum Reduzieren der Datengröße und Finden einer Kohärenz zwischen PID-Werten.
Die PCA identifiziert eine Linearkombination von Variablen, die die Veränderlichkeit in dem Datensatz am besten beschreiben. Die Linearkombination von Variablen wird durch eine Eigenvektorzerlegung einer Kovarianzmatrix der Daten berechnet. Die Linearkombination von Variablen, die die größte Veränderlichkeit beschreibt (z. B. 90% der gesamten Varianz in dem Datensatz), wird als Basisvektoren zum Transformieren der Daten in einen neuen Raum mit reduzierter Dimension verwendet. Es wird eine Information bezüglich der Redundanz in dem Datensatz extrahiert. Ferner ist die PCA nur unter der Annahme effektiv, dass die Daten eine Gauß'sche Verteilung aufweisen, was für Kraftfahrzeugsysteme möglicherweise nicht gilt, da es mehrere nichtlineare Prozesse gibt, die nicht-Gauß'sche Daten erzeugen könnten.
Die ICA ist eine nichtlineare Technik zum Schätzen von statistisch unabhängigen Komponenten von einer Datenmatrix. Die ICA wird für eine lineare Darstellung nicht-Gauß'scher Daten verwendet, so dass die Komponenten statistisch unabhängig, oder so unabhängig wie möglich, sind. Die ICA ist in Systemen am effektivsten, die stark nichtlinear sind, bei denen es wahrscheinlicher ist, dass die Daten nicht-Gauß'sch sind. Da eine Datenreduzierung bereits unter Verwendung der PCA erfolgte, wird die ICA auf den PCA-Datenausgang angewandt, um zu prüfen, ob eine weitere Reduzierung möglich ist.
Die RFE ist ein Prozess, durch den Modelle wiederholt konstruiert werden und Merkmale, die als weniger Gewicht aufweisend oder weniger signifikant bei der Merkmalsextraktion identifiziert werden, entfernt oder verworfen werden. Beispielsweise können die Helligkeit oder Schatten von einem Bild verworfen werden.
Verfeinerungen des Klassifizierers 44 können durch ein Klassifiziererabstimmungssubmodul 64 bereitgestellt werden. Das Klassifiziererabstimmungssubmodul 64 verfeinert das Muster einer nassen Oberfläche in dem Klassifizierer 44 mit neuen Bildtrainingsdaten. Es kann das Konzept des Wählens oder Verstärkens in Bezug auf den Klassifizierer verwendet werden. Ein Verstärken betrifft ein Gebiet eines vorhersagen Data-Mining zum Erzeugen mehrerer Modelle oder Klassifizierer (zur Vorhersage oder Klassifizierung), und um Gewichte zum Kombinieren der Vorhersagen von jenen Modellen zu einer einzelnen Vorhersageklassifizierung abzuleiten. Das Wählen verwendet mehrere Klassifizierer, wobei die Ergebnisse der verschiedenen Klassifizierer für vorhersagende verbesserte Ergebnisse kombiniert werden. Die Ergebnisse von den verschiedenen Klassifizierern können gemittelt oder gewichtet werden.
Es können Verfeinerungen an dem fahrzeugbasierten Modell 32 durch ein Fahrzeugmodellparameterabstimmungssubmodul 66 durchgeführt werden. Das Fahrzeugparameterabstimmungssubmodul 66 identifiziert Möglichkeiten und wie Parameter in den verschiedenen Modellen aktualisiert werden können, um das Gesamtmodell zu verbessern. Wenn beispielsweise ein Fahrerlenkeingang verwendet wird, kann das Fahrzeugparameterabstimmungssubmodul 66 empfehlen, dass ein Lenkanregungsschwellenwert reduziert wird. Ein weiteres Beispiel kann das Aktualisieren von Parametern einer nassen Oberfläche über eine Online-Parameterabschätzung rekursiver kleinster Quadrate sein. Solche Parameter einer nassen Oberfläche können eine Quersteifigkeit (C_f und C_r) für die Vorderachse und die Hinterachse für eine nasse Oberfläche umfassen, sind jedoch nicht darauf beschränkt.
Es können ferner Daten von den anderen Erfassungseinrichtungen 59 für das erfassungsbasierte Modul 30 und das Fahrzeugdynamikmodellmodul 32 bereitgestellt werden. Die Daten können kooperativ durch jedes jeweilige Modul beim Ermitteln der jeweiligen Wahrscheinlichkeiten in Bezug auf den Zustand einer nassen Oberfläche verwendet werden.
Während bestimmte Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe und Ausführungsformen zum Ausführen der Erfindung, wie durch die folgenden Ansprüche definiert, erkennen.

Claims

Verfahren zum Ermitteln eines Straßenbelagszustands für ein Fahrzeug, das auf einer Straße fährt, wobei das Verfahren die Schritte umfasst, dass: durch ein erstes Wahrscheinlichkeitsmodul mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf einem Bild einer Erfassungsszene der Straße ermittelt werden; durch ein zweites Wahrscheinlichkeitsmodul den mehreren Straßenbelagszuständen zugehörige Wahrscheinlichkeiten basierend auf Fahrzeugbetriebsdaten ermittelt werden; die durch das erste Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten und die durch das zweite Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten in eine Datenvereinigungs- und Entscheidungseinheit eingegeben werden, um die durch das erste und zweite Wahrscheinlichkeitsmodul ermittelten Wahrscheinlichkeiten zu vereinigen; basierend auf vereinigten Ergebnissen durch die Datenvereinigungs- und Entscheidungseinheit ein Straßenbelagszustand ermittelt wird; eine dem identifizierten Straßenbelagszustand zugehörige verfeinerte Wahrscheinlichkeit von der Datenvereinigungs- und Entscheidungseinheit ausgegeben wird, die eine Funktion der vereinigten ersten und zweiten Wahrscheinlichkeit ist; und die verfeinerte Wahrscheinlichkeit von der Datenvereinigungs- und Entscheidungseinheit einer Einheit eines adaptiven Lernens bereitgestellt wird, wobei die Einheit eines adaptiven Lernens Ausgangsbefehle erzeugt, die abstimmbare Parameter von zumindest dem ersten Wahrscheinlichkeitsmodul und dem zweiten Wahrscheinlichkeitsmodul zum Ermitteln der jeweiligen Wahrscheinlichkeiten verfeinern.
Verfahren nach Anspruch 1, wobei das Ermitteln der Wahrscheinlichkeiten durch das erste Wahrscheinlichkeitsmodul die Schritte umfasst, dass: eine Szene außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung detektiert wird; ein Teilabschnitt der Straße in dem ersten erfassten Bild durch eine Verarbeitungseinheit identifiziert wird; der Teilabschnitt der Straße zum Ermitteln der Wahrscheinlichkeiten jedes der mehreren Straßenbelagszustände durch den Prozessor analysiert wird.
Verfahren nach Anspruch 2, wobei das Analysieren des Teilabschnitts der Straße zum Ermitteln der Wahrscheinlichkeiten jedes der mehreren Straßenbelagszustände die Schritte umfasst, dass: Merkmale aus Teilabschnitten der Straße in dem Bild zur Analyse durch den Prozessor extrahiert werden; die extrahierten Merkmale in einen Klassifizierer eingegeben werden, um die Wahrscheinlichkeiten für jeden Straßenbelagszustand zu ermitteln.
Verfahren nach Anspruch 3, wobei das Erzeugen von Ausgangsbefehlen, die abstimmbare Parameter des ersten Wahrscheinlichkeitsmoduls verfeinern, durch die Einheit eines adaptiven Lernens umfasst, dass Befehle zum Verfeinern eines Merkmalsauswahlprozesses erzeugt werden.
Verfahren nach Anspruch 1, wobei das Ermitteln der Wahrscheinlichkeiten durch das zweite Wahrscheinlichkeitsmodul die Schritte umfasst, dass: Fahrzeugbetriebszustände durch eine Fahrzeugerfassungseinrichtung überwacht werden; eine Anregung erzeugt wird, die den Fahrzeugbetriebszustand ändert, um eine Fahrzeugreaktion zu erhalten; die Anregung und die Fahrzeugreaktion in das Fahrzeugreferenzmodell eingegeben werden; und die Wahrscheinlichkeiten jedes der mehreren Straßenbelagszustände basierend auf einem Ausgang von dem Fahrzeugreferenzmodell ermittelt werden.
Verfahren nach Anspruch 1, das ferner den Schritt umfasst, dass äußere Klimabedingungen von einer entfernten Quelle erhalten werden, wobei die äußeren Klimabedingungen in die Datenvereinigungseinheit eingegeben werden, um die verfeinerte Wahrscheinlichkeit des Straßenbelagszustands zu ermitteln.
Verfahren nach Anspruch 1, das ferner den Schritt umfasst, dass Regensensordaten von einem Fahrzeugregensensor erhalten werden, wobei die Regensensordaten in die Datenvereinigungseinheit eingegeben werden, um die verfeinerte Wahrscheinlichkeit des Straßenbelagszustands zu ermitteln.
Verfahren nach Anspruch 1, das ferner den Schritt umfasst, dass Daten einer globalen Positionsbestimmung von einer Einrichtung einer globalen Positionsbestimmung erhalten werden, wobei die Daten einer globalen Positionsbestimmung in die Datenvereinigungseinheit eingegeben werden, um die Wahrscheinlichkeit des Straßenbelagszustands zu ermitteln.
Verfahren nach Anspruch 1, das ferner den Schritt umfasst, dass Temperaturdaten von einem fahrzeugbasierten Temperatursensor erhalten werden, wobei die Regentemperatursensordaten in die Datenvereinigungseinheit eingegeben werden, um die verfeinerte Wahrscheinlichkeit des Straßenbelagszustands zu ermitteln.
Verfahren nach Anspruch 1, das ferner den Schritt umfasst, dass Straßenbelagstemperaturdaten von einem fahrzeugbasierten Straßentemperatursensor erhalten werden, wobei die Straßenbelagstemperatur Sensordaten in die Datenvereinigungseinheit eingegeben werden, um die Wahrscheinlichkeit zu ermitteln, dass das Fahrzeug auf jedem Straßenbelagszustand fährt.