DE102017106535A1

DE102017106535A1 - Strassenoberflächenzustand-Erkennung mit Multi-Scale Fusion

Info

Publication number: DE102017106535A1
Application number: DE102017106535.0A
Authority: DE
Inventors: Wei Tong; Qingrong Zhao; Bakhtiar B. Litkouhi; Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-03-30
Filing date: 2017-03-27
Publication date: 2017-10-05
Anticipated expiration: 2037-03-28
Also published as: CN107273785B; US20170282869A1; US9950700B2; DE102017106535B4; CN107273785A

Abstract

Verfahren zur Bestimmung eines Oberflächenzustandes eines Bewegungsweges. Eine Vielzahl von Bildern wird von einer Oberfläche des Bewegungsweges durch eine Bilderfassungsvorrichtung erfasst. Das Bildaufnahmegerät erfasst Bilder in unterschiedlichen Skalen. Eine Merkmalsextraktionstechnik wird durch ein Merkmalsextraktionsmodul an jedes der skalierten Bilder angewendet. Eine Fusionstechnik wird durch den Prozessor auf die extrahierten Merkmale zur Identifizierung des Oberflächenzustandes des Bewegungsweges angewendet. Ein Straßenoberflächenzustandssignal liefert eine Steuereinrichtung. Die Steuervorrichtung wendet das Straßenoberflächenzustandssignal an, um den Zustand der nassen Straßenoberfläche zu verringern.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich im Allgemeinen auf die Erfassung einer nassen Straßenoberfläche.
Niederschlag auf einer Fahroberfläche verursacht mehrere unterschiedliche Probleme für ein Fahrzeug. Wasser oder Schnee reduziert beispielsweise auf einer Straße den Reibungskoeffizienten zwischen den Reifen des Fahrzeugs und der Oberfläche der Straße, was zu Fahrzeugstabilitätsproblemen führt. Die Erkennung von Wasser oder Schnee auf einer Fahrstrecke wird typischerweise durch ein Host-Fahrzeug bestimmt, das Niederschlag auf der Straße erfasst, indem es einen Erfassungsvorgang verwendet, der dann auftritt, wenn der Niederschlag den Fahrzeugbetrieb bereits beeinflusst, zum Beispiels das Erkennen des Radschlupfes. Folglich muss das Fahrzeug seine eigenen Betriebsbedingungen (z. B. Radschlupf) gegen trockene Fahrbahnbetriebsbedingungen überwachen, um zu bestimmen, ob Niederschlag vorhanden ist. Infolgedessen können die besagten Systeme darauf warten, dass ein solcher Zustand eintritt oder das Fahrzeug einer Anregungskraft aussetzen, um festzustellen, ob der Zustand aktuell zutrifft (z. B. durch Erzeugen einer plötzlichen Beschleunigung der Antriebsräder, wodurch bei bestehendem Niederschlag ein Radschlupf hervorgerufen wird).
In einigen Anwendungen, in denen erfasste Sensordaten verwendet werden, z.B. Bilder, kann die Skala des analysierten Bildes die Erkennungsergebnisse behindern. Das heißt, die Bedingungen einer Straßenoberfläche können sich ändern, wenn ein Fahrzeug entlang einer Straße fährt. So kann beispielsweise für eine schneebedeckte Straße, durch Wind und andere Elemente die Fahrzeugstraße Patches von einer schneebedeckten Oberfläche und einer trockenen Oberfläche aufweisen. Infolgedessen kann die jeweilige Straßenoberflächenerfassungstechnik, abhängig von der Skala, und wenn das Bild erfasst wird, die schneebedeckte Oberfläche tatsächlich nicht erfassen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil einer Ausführungsform ist die Erfassung einer schneebedeckten Oberfläche durch Verschmelzen unterschiedlicher skalierter Sensordaten. Die hierin beschriebene Technik verwendet eine Vielzahl von variierenden skalierten Sensordaten, die lokalisierte Skalierung, globale Skalierung und Skalierung zwischen ihnen bereitstellen.
Lokale skalierte Sensordaten bieten eine höhere Auflösung, um dem System zu erlauben, vertrauenswürdige Abschnitte der Fahrstrecke zu analysieren. Globale skalierte Sensordaten, obwohl in geringerer Auflösung, bieten allgemeine Bedingungen für eine größere Fläche des Wegs der Reise, da eine größere Fläche analysiert wird. Verschiedene skalierte Sensordaten werden dazwischen analysiert, und die Ergebnisse werden kooperativ verschmolzen, um den Zustand der in den Sensordaten eingefangenen Straßenoberfläche zu identifizieren. Die kooperative Verschmelzung der skalierten Sensordaten ermöglicht es dem System, die Vorteile zu nutzen, die jede skalierte Daten bei der Erkennung von Schnee auf der Oberfläche des Bewegungsweges bereitstellen kann. Die hierin beschriebenen Techniken verwenden eine Feature-basierte Level-Fusion-Technik, eine Entscheidungs-basierte Level-Fusion-Technik und einen Hybrid-basierten Ansatz, der kooperativ den Merkmal-basierten Level-Fusions-Ansatz und den entscheidungsbasierten Level-Fusions-Ansatz verwendet.
Eine Ausführungsform sieht ein Verfahren zur Bestimmung eines Oberflächenzustandes eines Bewegungsweges vor. Die Daten einer Oberfläche des Fahrweges werden durch sensorbasierte Geräte erhalten. Die sensorbasierten Geräte erfassen Daten in unterschiedlichen Skalen. Eine Merkmalsextraktionstechnik wird durch ein Merkmalsextraktionsmodul auf jede der skalierten Daten angewendet. Eine Fusionstechnik wird durch den Prozessor auf die extrahierten Merkmale zur Identifizierung des Oberflächenzustandes des Bewegungsweges angewendet. Ein Straßenoberflächenzustandssignal wird an eine Steuervorrichtung geliefert. Die Steuervorrichtung wendet das Straßenoberflächenzustandssignal an, um den Zustand der nassen Straßenoberfläche zu verringern.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht ein Fahrzeug, das entlang der nassen Oberflächenstraße fährt.
2 veranschaulicht ein Blockdiagramm eines Erkennungssystems einer nassen Fahrbahnoberfläche.
3 veranschaulicht eine exemplarische 360-Grad-Rundumansicht zur Erkennung von Objekten in der Fahrzeugumgebung.
4 veranschaulicht ein Flussdiagramm einer ersten Technik zum Verschmelzen von Ergebnissen basierend auf einer Merkmalsniveau-Fusionstechnik.
5 veranschaulicht ein Flussdiagramm einer zweiten Technik zum Verschmelzen von Ergebnissen basierend auf einer Entscheidungsstufen-Fusionstechnik.
6 veranschaulicht ein Flussdiagramm einer dritten Technik zum Verschmelzen von Ergebnissen zum Identifizieren eines Zustands einer Straßenoberfläche auf einer Entscheidungsstufe unter Verwendung einer Hybridtechnik.
AUSFÜHRLICHE BESCHREIBUNG
1 zeigt ein Fahrzeug 10, das sich entlang einer Bewegungsbahn 12 bewegt. Der Niederschlag 19, in Form von Schnee oder Wasser, ist auf der Fahrbahn 12 angeordnet. Es ist vorteilhaft zu wissen, wann das Fahrzeug auf dem schneebedeckten Weg des Reisens 12 fährt, sodass Probleme, die sich aus Schnee ergeben, wie beispielsweise der Verlust der Traktion, durch die Bereitstellung dieser Information an die Steuerungsvorrichtungen zur Unterstützung des Fahrzeugs bei der Bestimmung einer geeigneten Gegenmaßnahme zur Negierung des Verlustes der Traktion und anderer negativer Auswirkungen, die der Schnee auf das Fahrzeug haben kann, negiert werden kann. Es versteht sich, dass, obwohl ein Automobil hierin für exemplarische Zwecke verwendet wird, die hierin beschriebenen Ausführungsformen auf andere Arten von Systemen angewendet werden können, abgesehen von Automobilen, bei denen eine Erkennung einer Schneeoberflächenbedingung erwünscht ist. Zu den Fahrzeugen, die dieses System nutzen können, gehören neben sämtlichen Kraftfahrzeugen unter anderem Schienenfahrzeuge, Flugzeuge, Offroad-Sportfahrzeuge, Roboterfahrzeuge, Motorräder, Fahrräder, landwirtschaftliche Geräte und Baumaschinen.
Der Niederschlag 19 auf der Fahrzeugstraße 12 kann zu einer Verringerung der Traktion beim Fahren auf der schneebedeckten Oberfläche führen. Der Niederschlag 19, der auf der Fahrzeugstraße 12 angeordnet ist, senkt den Reibwert zwischen den Fahrzeugreifen und der Fahrzeugstraße 12. Infolgedessen verringert sich die Bodenhaftung zwischen den Fahrzeugreifen und der Fahrbahn 12. Die Identifizierung des Niederschlags auf der Straße kann das Fahrzeug bei der Bestimmung der geeigneten Abschwächungstechnik zur Minimierung jeglichen Verlustes der Traktion durch verschiedene Abschwächungstechniken weiter unterstützen, sind aber nicht beschränkt darauf, den Fahrer zu warnen, die Fahrzeuggeschwindigkeit auf eine zu senken, die den Umgebungsbedingungen förderlich ist; Betätigen des automatischen Aufbringens der Fahrzeugbremse unter Verwendung einer sehr niedrigen Bremskraft, um den auf den Bremsflächen der Bremskomponenten gebildeten Niederschlag zu minimieren; Deaktivierung oder Beschränkung der Aktivierung der Geschwindigkeitsregelungsfunktionalität während der Niederschlagung erkannt wird; oder Benachrichtigung an den Fahrer, um einen größeren Stoppabstand zu einem Bleifahrzeug aufrechtzuerhalten.
2 veranschaulicht ein Blockdiagramm eines Straßenoberflächenzustands-Erfassungssystem. Eine Vielzahl von Sensor-basierten Vorrichtungen 20 sind an dem Fahrzeug angebracht, um Daten bezüglich der Straßenoberfläche zu erhalten. Verschiedene Arten von sensorbasierten Geräten zum Erhalten von Daten können bildbasierte Geräte (mit/ohne aktive Lichtquellen), LIDAR, Radar, Infrarot-Sensoren usw. beinhalten, sind aber nicht darauf beschränkt. Zu Veranschaulichungszwecken hierin beschrieben, werden fahrzeugbasierte Bilderfassungsvorrichtungen als die Vielzahl von Sensor-basierten Vorrichtungen 20 dargestellt. Die Vielzahl von fahrzeugbasierten Bilderfassungsvorrichtungen 20 sind an dem Fahrzeug angebracht, um Bilder um das Fahrzeug zu erfassen. Die Mehrzahl von fahrzeugbasierten Bildaufnahmevorrichtungen 20 kann auf dem vorderen, hinteren Teil, und den Seiten des Fahrzeugs angebracht sein. 3 zeigt eine exemplarische 360-Grad-Rundumansicht zur Erkennung von Objekten in der Fahrzeugumgebung. Sämtliche bildbasierten Erfassungsgeräte werden zur Erfassung und Erkennung von Objekten auf allen Seiten des Fahrzeugs in Kombination miteinander verwendet. Zu den bildbasierten Erfassungsgeräten 20 gehören unter anderem eine vordere Kamera 22, die an der Vorderseite des Fahrzeugs angebracht ist und Bilder nach vorne und zum Teil an den Seiten des Fahrzeugs erfasst. Eine Fahrerseitenkamera 24 erfasst Bilder auf der Fahrerseite des Fahrzeugs. Eine Beifahrerseitenkamera 26 erfasst Bilder auf der Beifahrerseite des Fahrzeugs. Eine rückwärts gerichtete Kamera 28 erfasst Bilder nach hinten und zur Seite des Fahrzeugs.
Unter erneuter Bezugnahme auf 2 verarbeitet ein Prozessor 30 die von den Bilderfassungsgeräten 20 erfassten Bilder. Der Prozessor 30 analysiert Bilder und Daten, um zu bestimmen, ob Niederschlag auf der Straßenoberfläche auf der Grundlage verschiedener Abscheidungsdetektionstechniken vorhanden ist. Verschiedene Techniken können einschließen, sind aber nicht beschränkt auf die gespiegelte Lichtbildanalysetechnik, die Spritzerkennungstechniken und die Reifenspuranalysetechnik.
Der Prozessor 30 kann Teil eines bestehenden Systems wie einer Antriebsschlupfregelung oder eines anderen Systems sein, oder kann ein selbständiger Prozessor zur Analysieren der Daten von den Bildaufnahmegeräten 22 sein.
Der Prozessor 30 kann mit einem oder mehreren Ausgabegeräten, wie beispielsweise einer Steuerung 32, zum Einleiten oder Betätigen einer Steuerungsaktion verbunden sein, wenn er auf der Grundlage der von dem Prozessor angelegten Analyse basiert. Eine oder mehrere Gegenmaßnahmen können zum Abschwächen der Wirkung aktiviert werden, die der Niederschlag auf den Betrieb des Fahrzeugs haben kann.
Die Steuerung 32 kann Teil des Fahrzeug-Subsystems sein oder kann verwendet werden, um ein Fahrzeug-Subsystem zu ermöglichen, um den Auswirkungen des Niederschlags entgegenzuwirken. Beispielsweise kann die Steuereinheit 32 in Reaktion auf eine Feststellung, dass die Fahrbahn schneebedeckt ist, ein elektrisches oder elektrohydraulisches Bremssystem 34 oder dergleichen aktivieren, wenn eine Bremsstrategie für den Fall bereitgestellt wird, dass ein Traktionsverlust auftritt. Zusätzlich zur Vorbereitung einer Bremsstrategie kann das Bremssystem autonom eine leichte Bremskraft aufbringen, ohne dass dies dem Fahrer bewusst ist, um Niederschlag von den Fahrzeugbremsen zu entfernen, sobald das Fahrzeug in den Niederschlag eintritt. Entfernen von Niederschlag von den Rädern und Bremsen hält einen erwarteten Reibungskoeffizienten zwischen den Fahrzeugbremsstellgliedern und der Bremsfläche der Räder aufrecht, wenn der Fahrer manuell bremst.
Die Steuerung 32 kann ein Traktionssteuersystem 36 steuern, das die Leistung einzeln an jedes jeweilige Rad verteilt, um den Radschlupf durch ein jeweiliges Rad zu reduzieren, wenn eine jeweilige Menge an Niederschlag auf der Straßenoberfläche, wie im Fall der Aquaplanung, erfasst wird.
Die Steuerung 32 kann ein Geschwindigkeitsregelungssystem 38 steuern, das die Geschwindigkeitsregelung deaktivieren kann oder die Aktivierung der Geschwindigkeitsregelung einschränken kann, wenn Niederschlag auf der Fahrbahnoberfläche erkannt wird.
Die Steuerung 32 kann ein Fahrerinformationssystem 40 zur Bereitstellung von Warnungen an den Fahrer des Fahrzeugs in Bezug auf Niederschlag steuern, der auf der Fahrzeugstraße erkannt wird. Solch eine Warnung, die durch die Steuerung 32 getätigt wird, kann den Fahrer vor dem sich nähernden Niederschlag auf der Fahrbahnoberfläche warnen und kann empfehlen, dass der Fahrer die Fahrzeuggeschwindigkeit auf eine Geschwindigkeit absenkt, die an die aktuellen Umgebungsbedingungen angepasst ist, oder die Steuerung 32 kann eine Warnung zur Aufrechterhaltung eines sicheren Fahrabstands zu dem Fahrzeug vor dem gefahrenen Fahrzeug tätigen. Es versteht sich, dass die Steuereinheit 32, wie hierin beschrieben, eine oder mehrere Steuereinheiten beinhalten kann, welche eine einzelne Funktion oder eine Kombination von Funktionen steuern können.
Die Steuerung 32 kann weiterhin die Betätigung des automatischen Öffnens und Schließens der Luftleitbleche 42 zur Verhinderung der Wasseraufnahme in einen Motor des Fahrzeugs als Ergebnis von geschmolzenem Schnee weiter steuern. Unter solchen Bedingungen betätigt die Steuerung 32 automatisch das Schließen der Luftleitbleche 42, wenn erkannt wird, dass Wasser auf der Fahrbahnoberfläche vor dem Fahrzeug vorhanden ist, und kann die Luftleitbleche erneut öffnen, wenn bestimmt wird, dass kein Wasser mehr auf der Fahrbahnoberfläche vorhanden ist.
Die Steuerung 32 kann weiterhin die Betätigung einer drahtlosen Kommunikationsvorrichtung 44 zur autonomen Mitteilung des nassen Fahrbahnzustands an andere Fahrzeuge steuern, und zwar unter Verwendung eines Fahrzeug-zu-Fahrzeug- oder Fahrzeug-zu-Infrastruktur-Kommunikationssystems.
Die Steuerung kann auch weiterhin die Warnungen vor der nassen Fahrbahnoberfläche an einen Fahrer des Fahrzeugs gegen eine Verwendung von automatisierten Merkmalen bereitstellen, die beinhalten, aber nicht beschränkt sind auf, adaptive Geschwindigkeitsregelung, Spurwechsel, Ausweich-/Unterstützungsmanöver, automatisiertes Notbremsen usw.
Wie bereits beschrieben, wird eine Schnee-Straßenoberflächen-Erfassungstechnik durchgeführt, um zu bestimmen, ob die Straßenoberfläche Schnee aufweist, der auf der Oberfläche angeordnet ist. Verschiedene Faktoren können beeinflussen, ob eine erfolgreiche Erkennung des Niederschlags auf der Fahrbahnoberfläche. Ein Faktor, der eine erfolgreiche Erkennung der Fahrbahnbeschaffenheit beeinflussen kann, beinhaltet die Skalierung des Bildes. Das heißt, dass ein anderes skaliertes Bild unterschiedliche Straßenoberflächenbedingungen anzeigen könnte, da die Straßenoberfläche keinen einheitlichen Zustand aufweisen kann (z. B. einheitliche Wetterlage). So kann beispielsweise ein Bild, das eine skalierte Skala der Straßenoberfläche einfängt, eine hohe Klassifizierungsgenauigkeit aufweisen, da nur ein begrenzter Teil der Straßenoberfläche, der zu einer hohen Auflösung führt, analysiert wird, was es dem System ermöglicht, diesen beschränkten Teil der Straße sicher zu analysieren. Jedoch können Flecken von sowohl trockenen als auch schneebedeckten Straßenoberflächen auf dem Weg des Weges vorhanden sein, und wenn das Bild nur einen trockenen Teil einfängt, dann können die Erkennungsergebnisse nicht korrekt sein, da das Fehlen von Informationen über andere Teile des Wegs, die Schneeflecken enthalten, nicht analysiert werden. In Bezug auf große/globale Skala erfasste Bilder einer Straße, werden mehr Informationen erfasst und analysiert in Bezug auf den allgemeinen Zustand des Bewegungsweges, da eine größere Fläche analysiert wird. Während eine größere Fläche analysiert werden kann, sind die Klassifizierungsgenauigkeit und das Vertrauen niedriger als die der lokalen Skala. Infolgedessen haben verschiedene Bildskalen, die zwischen einer großen Bildskala und einer lokalen Bildskala liegen, sowohl Vor- als auch Nachteile in Bezug aufeinander. Das hierin beschriebene System verwendet eine Vielzahl von unterschiedlich großen Skalen, und die Ergebnisse werden zusammenwirkend verschmolzen, um den Zustand der in den Bildern eingefangenen Straßenoberfläche zu identifizieren.
4 veranschaulicht ein Flussdiagramm einer ersten Technik zum Verschmelzen von Ergebnissen basierend auf einer Merkmals-Fusionspegel-Technik zum Identifizieren eines Zustands einer Straßenoberfläche auf einer Merkmalsebene. Eine Vielzahl von Bildern 50 wird jeweils in verschiedenen Skalen eingefangen, wo unterschiedliche Grad der Flächenabdeckung der Straßenoberfläche erfasst werden. Eine exemplarische lokale Skala ist allgemein bei 52 gezeigt, wobei ein Nahaufnahmebild von der Straße erfasst wird. In der exemplarischen lokalen Skalenbild 52 umfasst ein sehr beschränkter Abschnitt der Straßenoberfläche das gesamte Bild (z. B. 2 × 2 Zoll Abschnitt der Straße). Je mehr lokalisiert das Bild, desto größerer Auflösung, die das Bild liefert, die mit erhöhter Klassifizierungsgenauigkeit und Vertrauen hilft. Je mehr lokalisiert das Bild, desto weniger Details, die hinsichtlich des Oberflächenzustandes der Straßenoberfläche außerhalb des begrenzten Abschnitts vorgesehen sind, was zu einem Mangel an Information über den allgemeinen Zustand der Straßenoberfläche außerhalb des begrenzten Bereichs führt.
Eine exemplarische globales Skalenbild ist allgemein bei 54 gezeigt, wo eine lange Strecke der Straße eines Weges in dem Bild erfasst wird (z. B. 300 ft). Die globale Skala liefert größere Details über den Zustand der Straßenoberfläche, je nachdem, ob der Zustand der Straßenoberfläche gleichförmig ist oder ob die Bedingung sporadisch ist. Während das globale Skalenbild 54 eine verbesserte Einsicht hinsichtlich der Gleichförmigkeit des Zustands entlang einer signifikanten Entfernung der Straße liefert, ist eine geringere Auflösung in dem globalen Skalenbild 54 vorhanden. Weniger Auflösung führt zu einer verminderten Klassifizierungsgenauigkeit und Vertrauen.
Eine Vielzahl von Zwischenskalenbildern, die zwischen dem lokalen Skalenbild 52 und dem globalen Skalenbild 54 liegen, wird allgemein mit 56 dargestellt und werden zur Analyse erfasst und verwendet. Unterschiedliche Grade von Skalenbildern liefern einen Kompromiss zwischen Bildauflösung und Oberflächengleichförmigkeitsinformation. Als Ergebnis kann jede der Skalen kooperativ analysiert werden, um den Zustand der Straße mit einer erhöhten Klassifizierungsgenauigkeit und -vertrauheit sowie einer Gleichförmigkeit der Oberflächenbedingung über einen signifikanten Abstand der Straße zu bestimmen.
Für jedes erfasste skalierte Bild wird die Merkmalsextraktionstechnik durch ein Merkmalsextraktionsmodul 58 angewendet, um Merkmale in jedem erfassten skalierten Bild zu extrahieren. Die Merkmalsextraktion beginnt von einem anfänglichen Satz von Messdaten, z. B. dem Rohpixelwert aus den Bildern, und baut abgeleitete Werte (Merkmale) auf, die informativ und nicht redundant sein sollen, was die nachfolgende Klassifizierung in Modul 62 erleichtert. Am häufigsten, wie man Merkmale ableitet, ist speziell von Menschen definiert, die das Problem sehr gut verstehen. So sind zum Beispiel einige häufig verwendete handgefertigte v_i Merkmale eines aufgenommenen Bildes I_i Kanten, Histogramm von Oriented Gradients (HOG), Scale-Invariante Feature Transform (SIFT) usw. Neben diesen handgefertigten Features gibt es eine andere Art von Technologie, die in der Lage ist, Merkmale automatisch aus den Daten ohne menschliches Eingreifen oder Hilfe zu entdecken. Deep Learning ist eine Methode, die High-Level-Abstraktionen in Daten durch die Verwendung mehrerer Verarbeitungsschichten mit komplexen Strukturen oder mehrere nicht-lineare Transformationen modelliert. Es wurde in einigen Anwendungen gezeigt, dass die von der tiefen Lerntechnologie entdeckten Merkmale eine bessere Leistung aufweisen als die handgefertigten Funktionen.
Nachdem Merkmale von jedem jeweiligen skalierten Bild extrahiert worden sind, wird jedes der extrahierten Merkmale in ein Merkmalstufen-Fusionsmodul 60 eingegeben, wobei eine Merkmalsverschmelzung auf jedes der extrahierten Merkmale angewendet wird. Die Merkmalsebene Fusionsmodul kann ein Teil des Prozessors oder einem anderen Prozessor sein. Vorzugsweise werden die extrahierten Merkmale jeweils als ein Vektor v_i dargestellt, der Darstellungsfaktoren (z. B. eine Zahl oder einen Satz von Zahlen) beinhaltet, die durch die Tiefenlerntechnik oder dergleichen erzeugt werden. Das Merkmalstufen-Fusionsmodul 60 verschmilzt die extrahierten Merkmale, um ein fusioniertes Vektormerkmal zu bilde v als: v = f(v₁, v₂, ..., v_k) wobei die Funktion f(x) die Merkmale Vektoren auf verschiedenen Skalen als die Eingänge nimmt und sie dann zusammenschmelzen, um den fusionierten Funktionsvektor v zu erzeugen. Ein einfaches Beispiel für die Funktion f(x) ist es, die Merkmalsvektoren jeder Skala einfach zu verketten v = (v T / 1, v T / 2, ..., v T / k)^T.
Nach dem Verschmelzen der Merkmalsvektoren, z. B. Verknüpfen der Merkmalsvektoren, v werden die verschmolzenen Vektoren in einen Klassierer 62 eingegeben. Der Klassifizierer 62 klassifiziert den Zustand der Straßenoberfläche als eine Funktion des kondensierten Vektors.
Der ermittelte Zustand der Straße wird an die Ausgabeeinrichtung 64 ausgegeben. Die Ausgabevorrichtung 64 kann eine visuelle Alarm/Warnung beinhalten, die verwendet wird, um den Fahrer auf den Zustand der Schneestraßenoberfläche zu warnen. Die Ausgabevorrichtung 64 kann ferner eine der Steuerungen beinhalten, wie sie zuvor beschrieben wurde, die die Information der Straßenoberflächenbedingung verwendet, um Gegenmaßnahmen zu ermöglichen, um den Verlust der Traktion zu verringern, was zu dem Straßenoberflächenzustand führt. Die Ausgabevorrichtung 64 kann ferner eine Kommunikationsvorrichtung beinhalten, die mit einem entfernten Fahrzeug, festen Einheiten oder anderen entsprechenden Einheiten kommuniziert, um eine Benachrichtigung an andere der nassen Straßenoberfläche zu liefern.
5 veranschaulicht ein Flussdiagramm einer zweiten Technik zum Verschmelzen von Ergebnissen basierend auf einem Entscheidungsniveau zum Identifizieren eines Zustands einer Straßenoberfläche auf einer Entscheidungsstufe. Die Vielzahl von Bildern 50 wird jeweils in verschiedenen Skalen erfasst, wobei unterschiedliche Grade der Flächenabdeckung der Straßenoberfläche erfasst werden. Das Merkmalsextraktionsmodul 58 wendet tiefe Lernmerkmalextraktionstechniken auf die Bilder der erfassten in der lokalen Skala 52, der globalen Skala 54 und der Zwischenskalen 56 für die Merkmalsextraktion an.
In Reaktion auf das Extrahieren von Merkmalen von jedem skalierten Bild werden die extrahierten Merkmale unabhängig in den Klassifizierer 62 eingegeben, um die Straßenoberflächenbedingung für jedes skalierte Bild zu identifizieren. Das heißt, ein Straßenoberflächenzustand C_i wird unter Verwendung jedes extrahierten Merkmals v_i klassifiziert.
Nachdem jedes jeweilige extrahierte Merkmal unabhängig vom Klassifizierer 62 klassifiziert wurde, wird jede der klassifizierten Bedingungen in ein Entscheidungsniveau-Fusionsmodul 63 eingegeben, um jedes der klassifizierten Ergebnisse zu verschmelzen. Das Entscheidungsniveau-Fusionsmodul kann Teil des Prozessors oder eines anderen Prozessors sein. Ein endgültiger Straßenoberflächenzustand C wird bestimmt durch Verschmelzen jeder der bestimmten Straßenoberflächenzustände C_i. So kann beispielsweise der endgültige Straßenoberflächenzustand C unter Verwendung der folgenden Formel bestimmt werden: C = ∑_i=1,...,kw_iC_i wobei w_i das Gewicht ist, das durch das Klassifizierungsvertrauen eines jeden bestimmt ist C_i oder auf vorherigem Wissen basieren kann. Vorwissen kann jede vorherige Prüfung oder vorherige Erfahrung sein, die einen besseren Einblick bietet, zu was ein Konfidenzniveau mit einer entsprechenden Skala auf der Grundlage der gegenwärtigen Bedingungen verbunden wäre.
Als Reaktion auf die Bestimmung des endgültigen Straßenoberflächenzustands C, werden die Ergebnisse an die Ausgabevorrichtung 64 ausgegeben, die einen visuellen Alarm/Warnung zum Warnen des Fahrers, Steuerungen zum Abschwächen des Straßenoberflächenzustands oder eine Kommunikationsvorrichtung zum Warnen anderer Entitäten der Schneeränenoberflächenbedingung beinhalten kann.
6 veranschaulicht ein Flussdiagramm einer dritten Technik zum Verschmelzen von Ergebnissen zum Identifizieren eines Zustands einer Straßenoberfläche auf einer Entscheidungsstufe unter Verwendung einer Hybridtechnik. Wie bereits beschrieben, wird die Vielzahl von Bildern 50 jeweils in verschiedenen Skalen eingefangen, wobei unterschiedliche Grade der Flächenabdeckung der Straßenoberfläche erfasst werden. Die Tiefenlernmerkmal-Extraktionstechnik wird auf die erfassten Bilder auf der lokalen Skala 52, der globalen Skala 54 und den Zwischenskalen 56 für die Merkmalsextraktion angewendet.
Jede der in 4 (d. h. Merkmalsebenen-Fusion) und in 5 (d. h. Entscheidungsebenen-Fusion) beschriebenen Techniken werden auf die extrahierten Merkmale zur Erzeugung von zwei unabhängigen fusionierten Ergebnissen angewendet. Die fusionierten Ergebnisse der Merkmalsstufe sind allgemein mit 70 dargestellt. Die Entscheidungsstufen fusionierte Ergebnisse werden im Allgemeinen durch 72 dargestellt.
Die Merkmalspegel-Fusionsergebnisse 70 werden in den Klassifizierer 62 eingegeben, um die Merkmalsfusionsergebnisse zu klassifizieren und den resultierenden Straßenoberflächenzustand zu erzeugen.
Die Entscheidungebenen-Fusionsergebnisse 72 sind bereits klassifiziert, sodass eine zusätzliche Klassifizierung nicht von den Entscheidungsniveau-Fusionsergebnissen 72 erforderlich ist.
Die durch den Klassifizierer 62 klassifizierten Merkmalstufen-Fusionsergebnisse 70 und die Entscheidungsniveau-Fusionsergebnisse 72 werden in ein Hybrid-Fusionsmodul 74 eingegeben, wobei diese jeweiligen Ergebnisse zur Erzeugung einer fusionierten Klassifizierung miteinander verschmolzen werden C_h. So kann beispielsweise die fusionierte Klassifizierung C_h bestimmt nter Verwendung der folgenden Formel bestimmt werden: C_h = w_fC_f + w_dC_d wobei C_f das Fusionsergebnis der Leistungsstufe w_f eine Klassifizierung des Konfidenzwerts ist C_f oder auf vorherige Kenntnis basieren, C_d ist das Entscheidungsniveauergebnis und w_d ist eine Klassifizierung des Konfidenzwerts C_d oder kann auf Vorkenntnisse basieren.
Als Reaktion auf die Bestimmung des endgültigen Straßenoberflächenzustands C_h, werdem die Ergebnisse an die Ausgabevorrichtung 64 ausgegeben, die einen visuellen Alarm/Warnung zum Warnen des Fahrers, Steuerungen zur Verminderung der Straßenoberflächenbedingungen und/oder eine Kommunikationsvorrichtung zum Warnen anderer Entitäten der Schneeränenoberflächenbedingung beinhalten kann.
Während bestimmte Ausführungsformen der vorliegenden Erfindung in Einzelheiten beschrieben wurden, werden Fachleute auf dem Gebiet, auf welches sich diese Erfindung bezieht, wie durch die folgenden Patentansprüche definiert, verschiedene alternative Entwürfe, Filterverfahren und Ausführungsformen für die Durchführung der Erfindung erkennen.

Claims

Verfahren zur Feststellung eines Oberflächenzustandes eines Bewegungsweges, umfassend die Schritte: Erhalten von Daten einer Oberfläche des Bewegungsweges durch sensorbasierte Vorrichtungen, wobei die sensorbasierten Vorrichtungen Daten in unterschiedlichen Skalen erfassen; Anwenden einer Merkmalsextraktionstechnik durch ein Merkmalsextraktionsmodul auf jede der skalierten Daten; Aufbringen einer Fusionstechnik durch den Prozessor auf die extrahierten Merkmale zur Identifizierung des Oberflächenzustandes des Bewegungsweges; und Bereitstellen eines Straßenoberflächenzustandssignals an eine Steuervorrichtung, wobei die Steuervorrichtung das Straßenoberflächenzustandssignal anwendet, um den Zustand der nassen Straßenoberfläche zu verringern.
Verfahren nach Anspruch 1 worin jedes der extrahierten Merkmale aus jedem Skalendaten in einem Merkmalstufen-Fusionsmodul des Prozessors verkettet ist.
Verfahren nach Anspruch 2, worin ein Ausgangssignal des Merkmalstufen-Fusionsmoduls in einen Klassifizierer eingegeben wird, um den Oberflächenzustand der Straße zu identifizieren.
Verfahren nach Anspruch 1, worin jedes Merkmal, das durch das Merkmalsextraktionsmodul extrahiert wird, unabhängig in einen Klassifizierer eingegeben wird, worin der Klassifizierer ein jeweiliges klassifiziertes Ergebnis für jede extrahierte Merkmalseingabe an den Prozessor ausgibt
Verfahren nach Anspruch 4, worin der Klassifizierer die klassifizierten Ergebnisse für jedes extrahierte Merkmal an ein Entscheidungsniveau-Fusionsmodul des Prozessors liefert, wobei das Entscheidungsniveau-Fusionsmodul den Oberflächenzustand des Bewegungsweges auf der Grundlage von verschmolzenen klassifizierten Ergebnissen bestimmt.
Verfahren nach Anspruch 5, worin die fusionierten klassifizierten Ergebnisse auf der Grundlage der folgenden Formel bestimmt werden: C = Σ_i=1,...,kw_iC_i wobei C_i das klassifizierte Ergebnis jedes extrahierten Merkmals durch den Klassifizierers ist, worin w_i die Gewichtsfunktion ist.
Verfahren nach Anspruch 1, worin jedes der extrahierten Merkmale in ein Feature-Level-Fusionsmodul des Prozessors eingegeben wird, um ein Feature-Level-Fusionsergebnis und ein Entscheidungs-Level-Fusionsmodul des Prozessors zu erzeugen, um ein Entscheidungs-Level-Fusionsergebnis zu erzeugen.
Verfahren nach Anspruch 7, worin das Merkmalstufen-Fusionsergebnis als eine Funktion des Extrahierens von Merkmalen aus jedem jeweiligen skalierten Daten bestimmt wird, worin jedes extrahierte Merkmal in das Merkmalstufen-Fusionsmodul eingegeben wird, um das Merkmalstufen-Fusionsergebnis zu erzeugen.
Verfahren nach Anspruch 8, worin das Merkmalniveau-Fusionsergebnis in einen Klassifizierer eingegeben wird, um den Oberflächenzustand der Straße als eine Funktion der extrahierten Merkmale zu identifizieren.
Verfahren nach Anspruch 9, worin das Entscheidungsniveau-Fusionsergebnis als eine Funktion des Extrahierens von Merkmalen aus jedem jeweiligen skalierten Daten durch das Entscheidungsniveau-Fusionsmodul bestimmt wird, worin jedes Merkmal, das durch das Merkmalsextraktionsmodul extrahiert wird, unabhängig in den Klassifizierer eingegeben wird, worin der Klassifizierer ein jeweiliges klassifiziertes Ergebnis für jedes extrahierte Merkmal ausgibt, und worin der Klassifizierer die klassifizierten Ergebnisse dem Entscheidungsniveau-Fusionsmodul zur Erzeugung eines Straßenoberflächenzustands auf der Grundlage des Entscheidungspegel-Fusionsergebnisses liefert.