DE102015121339B4

DE102015121339B4 - Systeme und verfahren zum ermitteln eines zustands einer fahrbahn

Info

Publication number: DE102015121339B4
Application number: DE102015121339.7A
Authority: DE
Inventors: Qingrong Zhao; Qi Zhang; Jinsong Wang; Bakhtiar Litkouhi; Wende Zhang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-12-12
Filing date: 2015-12-08
Publication date: 2023-09-21
Anticipated expiration: 2035-12-09
Also published as: US9598087B2; CN105701444B; CN105701444A; US20160167669A1; DE102015121339A1

Abstract

Systeme und Verfahren verwenden ein Bild einer Fahrbahn, das durch eine Kamera erzeugt wird. Das Bild umfasst ein Muster von einer Lichtquelle. In dem Bild wird eine interessierende Region basierend auf dem Muster von der Lichtquelle ermittelt. Es wird ein gesamter Bereich ermittelt, der zumindest einen Teil der interessierenden Region und einen Bereich benachbart zu der interessierenden Region umfasst. Es wird ein Merkmalsvektor basierend auf der interessierenden Region und dem gesamten Bereich extrahiert. Es wird ein Straßenzustand basierend auf dem Merkmalsvektor und einem Klassifizierer ermittelt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich allgemein auf Systeme und Verfahren zum Ermitteln eines Zustands einer Fahrbahn.
HINTERGRUND
Es ist nützlich, einen Zustand einer Fahrbahn zum Zwecke der aktiven Sicherheit, Fahrerunterstützung und Fahrzeugstabilität zu ermitteln. Zum Beispiel ermöglicht ein Ermitteln, dass die Fahrbahn nass oder eisbedeckt (z.B. Glatteis) ist, dem Fahrzeug, auf den Straßenzustand zu reagieren.
Viele vorherige Ansätze erfordern teure Hardware und versagen bei bestimmten Lichtverhältnissen. Beispielsweise versagen bestimmte frühere Ansätze, wenn sich die Lichtverhältnisse in der Umgebung ändern (z.B. Sonnenlicht, Straßenlaterne, etc.), was die Ansätze inkonsistent und unzuverlässig macht.
DE 10 2013 101 639 A1 offenbart ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera. Hierbei wird mit Hilfe der Fahrzeugkamera mindestens ein Bild aufgenommen. Daraufhin wird ein Bildbereich ermittelt, der eine Abbildung der Fahrbahnoberfläche umfasst. Der Bildbereich wird einem Klassifikator zugeführt, wobei der Klassifikator den Bildbereich mindestens einer Klasse zuordnet, die einen bestimmten Fahrbahnzustand repräsentiert. Schließlich wird eine Information zu diesem Fahrbahnzustand ausgegeben. Weiterer Stand der Technik ist aus DE 197 30 414 A1 , UKUI, Hiroshi, et al. An image processing method to detect road surface condition using optical spatial frequency, in: Proceedings of Conference on Intelligent Transportation Systems. IEEE, 1997, S. 1005-1009 und Klassifikation, in: Wikipedia, Die freie Enzyklopädie. Bearbeitungsstand: 09. Dezember 2014, 19:23 UTC. URL: https://de.wikipedia.org/w/index.php?title=Klassifikation&oldid=136623205 [abgerufen am 02.03.2023] bekannt.
ZUSAMMENFASSUNG
Aufgabe der Erfindung ist es, ein verbessertes Verfahren, System und von einem Computer lesbares Medium zum Ermitteln eines Zustands einer Fahrbahn bereitzustellen.
Zur Lösung der Aufgabe sind ein Verfahren mit den Merkmalen des Anspruchs 1, ein System mit den Merkmalen des Anspruchs 5 und ein von einem Computer lesbares Medium mit den Merkmalen des Anspruchs 6 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind den Unteransprüchen, der Beschreibung und den Zeichnungen zu entnehmen.
Die vorliegende Technologie bezieht sich auf Systeme und Verfahren zum Detektieren eines Zustands einer Fahrbahn. Die Systeme können eine wirtschaftliche Beleuchtungsquelle, wie beispielsweise einen Blitz oder eine Leuchtdiode (LED), verwenden. Die Beleuchtungsquelle macht die Systeme und Verfahren hinsichtlich sich ändernder Umgebungsbedingungen stabil.
BESCHREIBUNG DER ZEICHNUNGEN

1 veranschaulicht schematisch ein Fahrzeug mit einem Fahrbahn-Detektionssystem gemäß einer Ausführungsform der vorliegenden Offenbarung.
2 veranschaulicht eine Recheneinheit des Fahrbahn-Detektionssystems von 1.
3 veranschaulicht ein Straßenzustand-Analyseverfahren und ein Klassifizierererzeugungsverfahren.
4 veranschaulicht ein Bild einer Kamera des Fahrbahn-Detektionssystems von 1.
5 veranschaulicht ein Bild einer Kamera des Fahrbahn-Detektionssystems von 1.
6 veranschaulicht ein Bild einer Kamera des Fahrbahn-Detektionssystems von 1.
7 veranschaulicht ein Trainingsbild einer Fahrbahn während eines Zustands einer nassen Straße.
8 veranschaulicht ein Trainingsbild einer Fahrbahn während eines Zustands einer Straße mit Glatteis.
9 veranschaulicht ein Trainingsbild einer Fahrbahn während eines Zustands einer trockenen Straße.
10 veranschaulicht ein Trainingsbild einer Fahrbahn während eines Zustands einer Straße mit Neuschnee.
11 veranschaulicht ein Trainingsbild einer Fahrbahn während eines Zustands einer Straße mit Schneematsch.
12 veranschaulicht das Trainingsbild von 7 als binäres Trainingsbild.
13 veranschaulicht das Trainingsbild von 8 als binäres Trainingsbild.
14 veranschaulicht das Trainingsbild von 9 als binäres Trainingsbild.
15 veranschaulicht das Trainingsbild von 10 als binäres Trainingsbild.
16 veranschaulicht das Trainingsbild von 11 als binäres Trainingsbild.
17 ist eine graphische Darstellung eines Satzes von Trainingsmerkmalsvektoren und Grenzen, die Klassifizierer darstellen.
18 ist eine graphische Darstellung von Sätzen von Trainingsmerkmalsvektoren und Grenzen, die Klassifizierer darstellen.
19 veranschaulicht eine interessierende Region von einer Reihe von Bildern, die über die Zeit erzeugt werden.

Die Figuren sind nicht notwendigerweise maßstabsgetreu, und einige Merkmale können übertrieben oder minimiert sein, beispielsweise um Details bestimmter Komponenten zu zeigen. In einigen Fällen wurden weithin bekannte Komponenten, Systeme, Materialien oder Verfahren nicht im Detail beschrieben, um ein Unklarmachen der vorliegenden Offenbarung zu vermeiden. Daher sollen spezifische konstruktive und funktionale Details, die hierin offenbart sind, nicht als einschränkend, sondern lediglich als Grundlage für die Ansprüche und als repräsentative Grundlage, um einen Fachmann zu lehren, die vorliegende Offenbarung verschiedenartig einzusetzen, interpretiert werden.
DETAILLIERTE BESCHREIBUNG
Falls erforderlich, werden detaillierte Ausführungsformen der vorliegenden Offenbarung hierin offenbart. Die offenbarten Ausführungsformen sind lediglich Beispiele, die in verschiedenen und alternativen Formen und Kombinationen davon ausgeführt werden können. Wie hierin verwendet beziehen sich zum Beispiel, „beispielhaft“ und ähnliche Begriffe weitreichend auf Ausführungsformen, die als Darstellung, Exemplar, Modell oder Muster dienen.
Wie hierin verwendet ist der Begriff „Fahrzeug“ nicht auf Kraftfahrzeuge beschränkt. Während die vorliegende Technologie hierin primär in Verbindung mit Kraftfahrzeugen beschrieben ist, ist die Technologie nicht auf Kraftfahrzeuge beschränkt. Die Konzepte können bei einer großen Vielzahl von Anwendungen eingesetzt werden, wie beispielsweise in Verbindung mit Flugzeugen, Wasserfahrzeugen und anderen Fahrzeugen.
Gemäß einer in 1 veranschaulichten Ausführungsform umfasst ein Fahrzeug 10 ein Fahrbahn-Detektionssystem 20. Das Fahrbahn-Detektionssystem 20 umfasst eine Recheneinheit 30, eine Lichtquelle 40 und eine Kamera 50.
Die Kamera 50 kann an verschiedenen Stellen des Fahrzeugs 10 angebracht sein, die eine Ansicht der Fahrbahn 70 bereitstellen. Zum Beispiel ist die Kamera 50 eine nach vorne gerichtete Kamera, eine nach rechts gerichtete Kamera, eine nach links gerichtete Kamera oder eine nach hinten gerichtete Kamera.
Die Lichtquelle 40 umfasst eine oder mehrere Beleuchtungseinrichtungen, wie beispielsweise eine Leuchtdiode (LED von light emitting diode), einen Blitz, einen Laser und dergleichen. Die Lichtquelle 40 erzeugt ein Muster 86 (siehe 4-6) auf einer Fahrbahn 70. Beispielsweise kann das Muster einen Punkt, einen Flecken, eine Linie, eine Linie von Punkten, einen Kreis, andere bekannte geometrische Formen und dergleichen umfassen.
Die Kamera 50 und die Lichtquelle 40 sind derart positioniert und ausgerichtet, dass das Lichtmuster 86 von der Lichtquelle 40 von der Fahrbahn 70 zu der Kamera 50 reflektiert wird. Beispielsweise sind die Lichtquelle 40 und die Kamera 50 auf einen Reflexionspunkt 60 auf der Fahrbahn 70 gerichtet. Die Lichtquelle 40 beleuchtet einen Fahrbahnbereich 72, der den Reflexionspunkt 60 umgibt, um das Steuern der Beleuchtung der Fahrbahn 70 zu erleichtern.
Die Kamera 50 ist ausgestaltet, um visuelle Daten, wie beispielsweise ein Video oder ein Bild 80 (siehe 4-6), der Fahrbahn 70 zu erzeugen, die den beleuchteten Fahrbahnbereich 72 einschließlich des Lichtmusters 86 darstellen. Zum Zwecke der Veranschaulichung werden hierin Ausführungsformen in Bezug auf ein Bild beschrieben, obwohl die Lehren der Offenbarung ähnlich auf ein Video anwendbar sind.
Beispielsweise ist das Bild 80 ein Graustufenbild oder wird es in ein Graustufenbild umgewandelt. Ein Bild 80 wird zu verschiedenen Zeitpunkten erzeugt (z.B. periodisch oder gemäß einem Trigger oder anderen Anweisungen).
Bei alternativen Ausführungsformen sind mehr als eine Kamera, wobei jede Kamera mit ihrer eigenen Lichtquelle gepaart ist oder eine gemeinsam genutzte Lichtquelle verwendet wird, ausgestaltet, um ein Bild der Fahrbahn zu erzeugen. Beispielsweise erfassen eine nach vorne gerichtete Kamera, eine nach rechts gerichtete Kamera, eine nach links gerichtete Kamera und eine nach hinten gerichtete Kamera gleichzeitig ein Bild von der Fahrbahn.
Unter Bezugnahme auf 2 ist die Recheneinheit veranschaulicht. Die Recheneinheit 30 ist ausgestaltet, um auf das durch die Kamera 50 erzeugte Bild 80 zuzugreifen (z.B. direktes Empfangen von der Kamera 50 oder Zugreifen auf eine gespeicherte Version in dem Speicher 110). Die Recheneinheit 30 umfasst einen Prozessor 100 zum Steuern und/oder Verarbeiten von Daten (z.B. Daten des Bildes 80), Eingabe/Ausgabe-Daten-Ports 102 und einen Speicher 110.
Der Prozessor könnte mehrere Prozessoren umfassen, die verteilte Prozessoren oder parallele Prozessoren in einer einzigen Maschine oder mehreren Maschinen umfassen könnten. Der Prozessor könnte einen virtuellen Prozessor/virtuelle Prozessoren umfassen. Der Prozessor könnte eine Zustandsmaschine, einen anwendungsspezifischen Schaltkreis (ASIC von application specific integrated circuit), ein programmierbares Gate-Array (PGA von programmable gate array) einschließlich eines Field-PGA oder eine Zustandsmaschine umfassen. Wenn ein Prozessor Anweisungen ausführt, um „Operationen“ durchzuführen, könnte dies umfassen, dass der Prozessor die Operationen direkt durchführt und/oder (mit) eine(r) andere(n) Einrichtung oder Komponente ermöglicht, anweist oder zusammenwirkt, um die Operationen durchzuführen.
Die Recheneinheit 30 kann eine Vielzahl von von einem Computer lesbaren Medien umfassen, die flüchtige Medien, nichtflüchtige Medien, entfernbare Medien und nicht entfernbare Medien umfassen. Der Begriff „von einem Computer lesbares Medium“ und Varianten davon umfassen wie in der Beschreibung und den Ansprüchen verwendet Speichermedien. Speichermedien umfassen flüchtige und/oder nichtflüchtige, entfernbare und/oder nicht entfernbare Medien, wie beispielsweise RAM, ROM, EEPROM, Flash-Speicher oder eine andere Speichertechnologie, CDROM, DVD oder einen anderen optischen Plattenspeicher, ein Magnetband, einen Magnetplattenspeicher oder andere magnetische Speichereinrichtungen oder ein beliebiges anderes Medium, das ausgestaltet ist, um zum Speichern einer Information, auf die durch die Fahrzeugrecheneinheit 30 zugegriffen werden kann, verwendet zu werden.
Während der Speicher 110 als sich in der Nähe des Prozessors 100 befindend dargestellt ist, sei angemerkt, dass zumindest ein Teil des Speichers ein aus der Ferne zugängliches Speichersystem sein kann, beispielsweise ein Server an einem Kommunikationsnetz, ein entferntes Festplattenlaufwerk, ein entfernbares Speichermedium, Kombinationen hiervon und dergleichen. Somit können beliebige der Daten, Anwendungen und/oder Software, die nachstehend beschrieben sind, in dem Speicher gespeichert sein und/oder kann auf diese über Netzverbindungen mit anderen Datenverarbeitungssystemen (nicht gezeigt) zugegriffen werden, die beispielsweise ein lokales Netz (LAN von local area network), ein Stadtbereichsnetz (MAN von metropolitan area network) oder ein Fernnetz (WAN von wide area network) umfassen können.
Der Speicher 110 umfasst mehrere Kategorien von Software und Daten, die in der Recheneinheit 30 verwendet werden und Anwendungen 120, eine Datenbank 130, ein Betriebssystem 140 und Eingabe/Ausgabe-Einrichtungstreiber 150 umfassen.
Wie es Fachleute erkennen werden, kann das Betriebssystem 140 ein beliebiges Betriebssystem zur Verwendung mit einem Datenverarbeitungssystem sein. Die Eingabe/Ausgabe-Einrichtungstreiber 150 können verschiedene Routinen umfassen, auf die über das Betriebssystem 140 durch die Anwendungen zugegriffen werden kann, um mit Einrichtungen und bestimmten Speicherkomponenten zu kommunizieren. Die Anwendungen 120 können in dem Speicher 110 und/oder in einer Firmware (nicht gezeigt) als ausführbare Anweisungen gespeichert werden und können durch den Prozessor 100 ausgeführt werden.
Die Anwendungen 120 umfassen verschiedene Programme, die, wenn sie durch den Prozessor 100 ausgeführt werden, die verschiedenen Merkmale der Recheneinheit 30 realisieren. Die Anwendungen 120 umfassen Bildverarbeitungsanwendungen, die in Bezug auf beispielhafte Verfahren ausführlicher beschrieben werden. Die Anwendungen 120 sind in dem Speicher 110 gespeichert und sind ausgestaltet, um durch den Prozessor 100 ausgeführt zu werden.
Die Anwendungen 120 können Daten verwenden, die in der Datenbank 130 gespeichert sind, wie beispielsweise jene von Eigenschaften, die durch die Kamera 50 gemessen werden (z.B. empfangen über die Eingabe/Ausgabe-Daten-Ports 102). Die Datenbank 130 umfasst die statischen und/oder dynamischen Daten, die durch die Anwendungen 120, das Betriebssystem 140, die Eingabe/Ausgabe-Einrichtungstreiber 150 und andere Softwareprogramme, die sich im Speicher 110 befinden können, verwendet werden.
Es sei angemerkt, dass 2 und die obige Beschreibung eine kurze, allgemeine Beschreibung einer geeigneten Umgebung bereitstellen sollen, in welcher die verschiedenen Aspekte einiger Ausführungsformen der vorliegenden Offenbarung realisiert werden können. Der Begriff „von einem Computer lesbare Medien“, „von einem Computer lesbare Speichereinrichtung“ und Varianten davon, wie sie in der Beschreibung und den Ansprüchen verwendet werden, können Speichermedien umfassen. Speichermedien können flüchtige und/oder nichtflüchtige, entfernbare und/oder nicht entfernbare Medien, wie beispielsweise RAM, ROM, EEPROM, Flash-Speicher oder eine andere Speichertechnologie, CDROM, DVD oder einen anderen optischen Plattenspeicher, ein Magnetband, einen Magnetplattenspeicher oder andere magnetische Speichereinrichtungen oder ein beliebiges anderes Medium ausgenommen sich verbreitender Signale, das verwendet werden kann, um eine Information zu speichern, auf die durch die in 2 gezeigte Einrichtung zugegriffen werden kann, umfassen.
Während sich die Beschreibung auf von einem Computer lesbare Anweisungen bezieht, können Ausführungsformen der vorliegenden Offenbarung auch in Kombination mit anderen Programmmodulen und/oder als Kombination aus Hardware und Software zusätzlich zu oder anstatt von von einem Computer lesbaren Anweisungen realisiert sein.
Während die Beschreibung einen allgemeinen Kontext von von einem Computer ausführbaren Anweisungen umfasst, kann die vorliegende Offenbarung auch in Kombination mit anderen Programmmodulen und/oder als Kombination von Hardware und Software realisiert sein. Der Begriff „Anwendung“ oder Varianten hiervon wird hierin ausdehnend verwendet, um Routinen, Programmmodule, Programme, Komponenten, Datenstrukturen, Algorithmen und dergleichen zu umfassen. Anwendungen können an verschiedenen Systemkonfigurationen realisiert sein, die Einzelprozessor- oder Multiprozessorsysteme, Minicomputer, Zentralrechner, Personal Computer, in der Hand gehaltene Recheneinrichtungen, mikroprozessorbasierte programmierbare Unterhaltungselektronik, Kombinationen hiervon und dergleichen umfassen.
3 zeigt ein Straßenzustand-Analyseverfahren 200 und ein Klassifizierererzeugungsverfahren 300 gemäß einer Ausführungsform der vorliegenden Offenbarung. Es ist zu verstehen, dass die Schritte der Verfahren nicht notwendigerweise in einer bestimmten Reihenfolge dargestellt werden müssen, und dass die Durchführung einiger oder aller Schritte in einer alternativen Reihenfolge möglich ist und in Betracht gezogen wird. Zur Vereinfachung der Beschreibung und Darstellung wurden die Schritte in der erläuterten Reihenfolge dargestellt. Es können Schritte hinzugefügt, weggelassen und/oder gleichzeitig durchgeführt werden, ohne von dem Schutzumfang der beigefügten Ansprüche abzuweichen.
Es ist auch zu verstehen, dass die dargestellten Verfahren zu jedem Zeitpunkt enden können. Bei bestimmten Ausführungsformen werden einige oder alle Schritte dieses Prozesses und/oder im Wesentlichen äquivalente Schritte durch Ausführung von von einem Computer lesbaren Anweisungen durchgeführt, die an einem von einem Computer lesbaren Medium gespeichert oder umfasst sind, wie beispielsweise dem oben beschriebenen Speicher 110 der Recheneinheit 30.
Unter Bezugnahme auf 3 umfasst ein hierin beschriebenes Straßenzustand-Analyseverfahren 200 einen Bilderfassungsschritt 210, einen Vorverarbeitungsschritt 220, einen Merkmalsvektor-Erzeugungsschritt 230, einen Klassifizierungsschritt 240 und einen Straßenzustand-Entscheidungsschritt 250. Die Schritte werden nun kurz beschrieben und dann nachstehend in Bezug auf beispielhafte Anwendungen ausführlicher angewandt.
Der Vorverarbeitungsschritt 220 umfasst die Erzeugung oder Auswahl einer Regionsintensitätsmatrix und einer Gesamtintensitätsmatrix in dem Bild 80 unter Verwendung einer interessierenden Region 82 und eines gesamten Bereichs 84. Der Vorverarbeitungsschritt 220 umfasst auch die Umwandlung des Bilds 80 in eine Form zur Merkmalsextraktion unter Verwendung zumindest einer Vorverarbeitungstechnik 222 (z.B. Umwandlung in ein binäres Bild oder ein Graustufenbild). Der Vorverarbeitungsschritt kann auch eine Rauschbeseitigung, eine Entzerrung und dergleichen umfassen.
Zum Zwecke der Klarheit können, obwohl eine Merkmalsextraktionstechnik verwendet wird, zur Unterscheidung von Merkmalen, die einen Merkmalsvektor bilden, Merkmale, die aus den Matrizen extrahiert werden, als Eigenschaften bezeichnet werden.
Der Merkmalsvektor-Erzeugungsschritt 230 umfasst die Extraktion von Eigenschaften aus jeder der Matrizen unter Verwendung einer Merkmalsextraktionstechnik 232. Dann werden Eigenschaften gemäß einer Merkmalsauswahltechnik 234 ausgewählt und kombiniert. Erfindungsgemäße Merkmale und Gleichungen, die Merkmale kombinieren, sind nachstehend ausführlicher beschrieben. Die Merkmale bilden einen Merkmalsvektor 236, der in dem Klassifizierungsschritt 240 verwendet wird.
Der Klassifizierungsschritt 240 umfasst eine Klassifizierung des Merkmalsvektors 236 unter Verwendung eines Klassifizierers 242 zum Ermitteln eines Straßenzustands 244.
Der Straßenzustand-Entscheidungsschritt 250 umfasst das Ermitteln eines übergeordneten Straßenzustands 252 auf der Grundlage mehrerer Straßenzustände. Zum Beispiel werden Straßenzustände, die in einer Straßenzustandsdatenbank 246 gespeichert sind (z.B. Straßenzustand 244 und Straßenzustände, die vor oder parallel zu Straßenzustand 244 ermittelt werden), verwendet, um einen übergeordneten Straßenzustand 252 zu ermitteln.
Ein Klassifizierererzeugungsverfahren 300 verwendet einen Satz von Trainingsbildern 310 und umfasst einen Vorverarbeitungsschritt 320, einen Merkmalsvektor-Erzeugungsschritt 330 und einen Klassifizierererzeugungsschritt 340. Im Allgemeinen verwendet das Klassifizierererzeugungsverfahren 300 den Satz von Trainingsbildern 310; wählt es die Vorverarbeitungstechnik 222 aus und wendet es diese an; wählt es die Merkmalsextraktionstechnik 232 aus und wendet es diese an; wählt es die Merkmalsauswahltechnik 234 aus und wendet es diese an; und wählt es eine Klassifizierungstechnik 342 aus und wendet es diese an. Die Vorverarbeitungstechnik 222, die Merkmalsextraktionstechnik 232; die Merkmalsauswahltechnik 234; und die Klassifizierer 242 werden zur Verwendung mit dem Stra-ßenzustand-Analyseverfahren 200 im Speicher 110 gespeichert. Das Klassifizierererzeugungsverfahren 300 wird nun ausführlicher beschrieben.
Unter Bezugnahme auf 4 wählt die Recheneinheit 30 gemäß dem Vorverarbeitungsschritt 320 eine interessierende Region 82 und einen gesamten Bereich 84 aus dem Bild 80 aus. Im Allgemeinen basiert die interessierende Region 82 auf einer Position und Geometrie eines Lichtmusters 86 von der Lichtquelle 40 und umfasst und umgibt der gesamte Bereich 84 die interessierende Region 82 oder ist er zu dieser benachbart. Zum Beispiel umfasst der gesamte Bereich 84 die interessierende Region 82 und umfasst die interessierende Region 82 das Lichtmuster 86. Bei alternativen Ausführungsformen umfasst der gesamte Bereich zumindest einen Teil der interessierenden Region und ist er zu der interessierenden Region benachbart.
Für die Zwecke der Lehre ist die interessierende Region 82 ein quadratischer Bereich, der ein kreisförmiges Lichtmuster 86 (z.B. einen Punkt) eng umgibt. Der gesamte Bereich 84 umfasst die interessierende Region 82 und fünf andere quadratische Bereiche mit ähnlicher Größe, die die interessierende Region 82 umgeben. Hier ist der gesamte Bereich 84 in Teilbereiche aufgebrochen und ist der Teilbereich, der das Lichtmuster 86 umfasst, als die interessierende Region 82 ausgewählt.
Alternativ können eine oder mehrere interessierende Regionen 82 durch eine Größe und Form eines Lichtmusters 86 von der Lichtquelle 40 definiert sein. Die Größe und Form des Lichtmusters hängen von der Lichtquelle, der Kameraanbringungsposition und dem spezifischen Anwendungsfall ab. Die interessierende Region 82 kann verschiedene Geometrien aufweisen, wie beispielsweise einen Kreis oder ein Rechteck, und ist bei bestimmten Ausführungsformen an die Geometrie des Musters der Lichtquelle 40 angepasst.
Zum Beispiel kann, unter Bezugnahme auf 5 und 6, wenn das Lichtmuster 86 eine Linie von Lichtpunkten umfasst, eine einzelne interessierende Region 82 das Lichtmuster 86 umfassen (5); oder es werden mehrere interessierende Regionen 82 ausgewählt, wobei jede interessierende Region 82 einen Lichtpunkt des Lichtmusters 86 umfasst (6). Nachstehende Verfahren werden für eine einzelne interessierende Region 82 beschrieben, und andere Verfahren werden für mehrere interessierende Regionen 82 beschrieben. Bei mehreren interessierenden Regionen 82 kann ein Entscheidungsalgorithmus verwendet werden, um eine übergeordnete Entscheidung hinsichtlich des Zustands der Fahrbahn basierend auf dem Straßenzustand, der auf der Grundlage jeder der interessierenden Regionen 82 ermittelt wird, zu ermitteln.
Der gesamte Bereich 84 und die interessierende Region 82 entsprechen Pixeln aus dem Bild 80. Zum Beispiel sind der gesamte Bereich 84 und die interessierende Region 82 Grenzorte, die in dem Speicher 110 gespeichert sind und verwendet werden, um Pixel aus dem Bild 80 auszuwählen. Eine Matrix von Pixeln des gesamten Bereichs 84 wird hierin als Gesamtintensitätsmatrix I_T bezeichnet. Jedes Pixel ist ein Element (i, j) in einer Zeile (i) und einer Spalte (j) der Gesamtintensitätsmatrix I_T. Jedes Element (i, j) weist einen Intensitätswert I_T(I, j) auf. Die Gesamtintensitätsmatrix I_T für den gesamten Bereich 84 weist X_T Zeilen und Y_T Spalten auf.
Jedes Pixel in der interessierenden Region 82 ist ein Element (i, j) in einer Zeile (i) und einer Spalte (j) einer Regionsintensitätsmatrix I_R. Jedes Element (i, j) weist einen Intensitätswert I_R(i, j) auf. Die Regionsintensitätsmatrix I_R für die interessierende Region 82 weist X_R Zeilen und Y_R Spalten auf.
Die Pixel des gesamten Bereichs 84 umfassen die Pixel der interessierenden Region 82. Obwohl die Pixel in der interessierenden Region 82 eine Teilmenge der Pixel in dem gesamten Bereich 84 sind, werden für eine Eindeutigkeit und zu Zwecken der Verarbeitung die Pixel in der interessierenden Region 82 von der Gesamtintensitätsmatrix I_T kopiert (z.B. von dem gesamten Bereich 84) und separat als Regionsintensitätsmatrix I_R gespeichert. Dies macht die nachstehenden Gleichungen einfacher, da die Zeilen und Elemente der Regionsintensitätsmatrix I_R mit i = 1 bzw. j = 1 beginnen. Allerdings können die nachstehenden Gleichungen modifiziert werden, wobei jedes der Elemente in der Regionsintensitätsmatrix I_R linear auf die Gesamtintensitätsmatrix I_T abgebildet wird.
Unter Bezugnahme auf 7 - 11 veranschaulichen die Trainingsbilder 310 unterschiedliche Straßenzustände. Zum Beispiel umfassen Straßenzustände: dass die Fahrbahn 70 nass ist, dass Eis (z.B. Glatteis) auf der Fahrbahn 70 vorhanden ist, dass die Fahrbahn 70 trocken ist, dass Neuschnee auf der Fahrbahn 70 vorhanden ist und dass Schneematsch auf der Fahrbahn 70 vorhanden ist. 7 ist ein Trainingsbild 310, wobei die Fahrbahn 70 nass ist, 8 ist ein Trainingsbild 310 mit Eis (z.B. Glatteis) auf der Fahrbahn 70, 9 ist ein Trainingsbild 310, wobei die Fahrbahn 70 trocken ist, 10 ist ein Trainingsbild 310 mit Neuschnee auf der Fahrbahn 70,und 11 ist ein Trainingsbild 310 mit Schneematsch auf der Fahrbahn 70.
Gemäß dem Vorverarbeitungsschritt 320 werden die Regionsintensitätsmatrix I_R und die Gesamtintensitätsmatrix I_T gemäß der Vorverarbeitungstechnik 222 verarbeitet. Bildverarbeitungstechniken umfassen eine Umwandlung in binär, eine Umwandlung in Graustufen, Filtertechniken (z.B. Laplacian of Gaussian-Filter (LOG-Filter)), Wrapper-Verfahren und eingebettete Techniken, sind jedoch nicht darauf beschränkt.
Bei einigen Anwendungen umfasst die Vorverarbeitungstechnik 222 eine Verarbeitung von sowohl der Regionsintensitätsmatrix I_R als auch der Gesamtintensitätsmatrix I_T mit verschiedenen Techniken (z.B. mehr als eine), um die Anzahl von Merkmalen, die extrahiert werden können, zu erweitern. Beispielsweise verwendet die Vorverarbeitungstechnik 222 eine binäre und LOG-Verarbeitung separat, um eine binäre Regionsintensitätsmatrix I_R, eine binäre Gesamtintensitätsmatrix I_T, eine LOG-Regionsintensitätsmatrix I_R und eine LOG-Gesamtintensitätsmatrix I_T zu erzeugen.
Gemäß einem beispielhaften Vorverarbeitungsschritt 320 wandelt die Recheneinheit 30 die Gesamtintensitätsmatrix I_T und die Regionsintensitätsmatrix I_R von Graustufen in binär um. Für die Zwecke der Lehre ist jedes der Trainingsbilder 310 in 7 - 11 in 12 - 16 als in ein binäres Trainingsbild 310 umgewandelt gezeigt. 12 ist ein binäres Trainingsbild 310, das aus dem Graustufentrainingsbild 310 von 7 erzeugt wird, 13 ist ein binäres Trainingsbild 310, das aus dem Graustufentrainingsbild 310 von 8 erzeugt wird, 14 ist ein binäres Trainingsbild 310, das aus dem Graustufentrainingsbild 310 von 9 erzeugt wird, 15 ist ein binäres Trainingsbild 310, das aus dem Graustufentrainingsbild 310 von 10 erzeugt wird, und 16 ist ein binäres Trainingsbild 310, das aus dem Graustufentrainingsbild 310 von 11 erzeugt wird.
Zum Beispiel wandelt der Prozessor 100 die Gesamtintensitätsmatrix I_T und die Regionsintensitätsmatrix I_R von Graustufen in binär um, indem alle Pixel in sowohl der Gesamtintensitätsmatrix I_T als auch der Regionsintensitätsmatrix I_R mit einer Intensität, die größer als ein bestimmtes Niveau ist, durch den Wert eins (d.h. weiß) ersetzt werden, und alle anderen Pixel durch den Wert null (d.h. schwarz) ersetzt werden. Das Niveau ist variabel und ist in einem Bereich von null bis eins spezifiziert.
Beispielsweise wird das Niveau durch das Otsu-Verfahren ermittelt, das automatisch eine Cluster-basierte Bildschwellenwertbildung durchführt. Der Algorithmus nimmt an, dass das Bild zwei Klassen von Pixeln einem bimodalen Histogramm folgend enthält, und berechnet den optimalen Schwellenwert, der die beiden Klassen trennt, sodass ihre kombinierte Streuung (klasseninterne Varianz) minimal ist.
Bezug nehmend auf den Merkmalsvektor-Erzeugungsschritt 330 werden Merkmale aus den Matrizen gemäß einer Merkmalsextraktionstechnik 232 extrahiert. Im Speziellen wird jede der Matrizen in einen reduzierten Darstellungsmerkmalssatz transformiert. Die Merkmale, die extrahiert werden, können von der ausgewählten Vorverarbeitungstechnik 222 abhängen. Merkmalsextraktionstechniken 232 umfassen Filtertechniken (z.B. LM-Filterbank), eine Strukturmerkmalsanalyse basierend auf einer Kookkurenzmatrix, eine räumliche Frequenzanalyse und eine Intensitätshistogrammanalyse, sind jedoch nicht darauf beschränkt.
Extrahierte Merkmale der Matrizen umfassen eine durchschnittliche Intensität, eine Abweichung der Intensität, eine maximale Reaktion (z.B. nachdem ein LOG-Filter angewandt wurde), Kombinationen davon und dergleichen.
Der Merkmalsvektor-Erzeugungsschritt 330 umfasst ferner das Auswählen von Merkmalen von den Sätzen von Eigenschaften, die aus jeder Matrix gemäß einer Merkmalsauswahltechnik extrahiert werden. Jedes ausgewählte Merkmal ist eine Dimension eines Merkmalsvektors.
Wenn beispielsweise ein Satz von Eigenschaften, der aus einer Matrix extrahiert wird, groß ist, kann die Merkmalsauswahltechnik 234 in dem Bestreben, redundante oder irrelevante Eigenschaften zu entfernen (z.B. Eigenschaften, die nicht einen Straßenzustand von einem anderen unterscheiden), angewandt werden, um eine Teilmenge des Satzes von Eigenschaften auszuwählen und auf diese Weise die Dimensionen des Merkmalsvektors zu reduzieren. Merkmalsauswahltechniken 234 umfassen eine Hauptkomponentenanalyse, eine Singulärwertzerlegung, eine Analyse unabhängiger Komponenten oder dergleichen, sind jedoch nicht darauf beschränkt.
Ferner kann die Merkmalsauswahltechnik 234 angewandt werden, um extrahierte Eigenschaften (z.B. gemäß Gleichungen) zu kombinieren, um Merkmale des Merkmalsvektors zu erzeugen. Die Techniken zum Auswählen und Kombinieren von extrahierten Eigenschaften sind als Merkmalsauswahltechnik 234 zum Erzeugen eines Merkmalsvektors (z.B. des Merkmalsvektors 236 oder der nachstehend beschriebenen Trainingsmerkmalsvektoren 332) gespeichert. Nun werden erfindungsgemäße Merkmale detaillierter beschrieben.
Ein erstes Merkmal 400 (feature1) basiert auf dem Vergleich der Verteilung in der interessierenden Region 82 (Regionsintensitätsmatrix I_R) mit der Verteilung in dem gesamten Bereich 84 (Gesamtintensitätsmatrix I_T). Das erste Merkmal 400 (feature1) trennt die Straßenzustände, die gleichmäßiger über den gesamten Bereich 84 verteilt sind, von Straßenzuständen, bei denen die Verteilung in der interessierenden Region 82 konzentriert ist.
Eine erste mittlere Intensität wird aus der Regionsintensitätsmatrix extrahiert, und eine zweite mittlere Intensität wird aus der Gesamtintensitätsmatrix extrahiert. Die erste mittlere Intensität und die zweite mittlere Intensität werden dann kombiniert, um das erste Merkmal 400 zu definieren. Im Speziellen ist das erste Merkmal 400 (feature1) ein Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R (der interessierenden Region 82) geteilt durch einen Mittelwert der Intensitätswerte der Gesamtintensitätsmatrix I_T (gesamter Bereich 84). Das erste Merkmal 400 weist einen größeren Wert auf, wenn der Mittelwert der Intensität in der interessierenden Region 82 im Vergleich zu dem Mittelwert der Intensität in dem gesamten Bereich 84 größer ist.
Das erste Merkmal 400 wird berechnet mit: $F e a t u r e 1 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} I_{R} (i, j)}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} I_{T} (i, j)},$
wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist; Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist; die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region 82 ist; X_T die Anzahl oder Spalten der Gesamtintensitätsmatrix I_T ist; Y_T die Anzahl von Spalten der Gesamtintensitätsmatrix I_T ist; und die Gesamtintensitätsmatrix I_T die Matrix von Intensitätswerten des gesamten Bereichs 84 ist.
Ein zweites Merkmal 402 (feature2) basiert auf der Verteilung in der interessierenden Region 82 (Regionsintensitätsmatrix I_R), um zwischen Straßenzuständen zu unterscheiden, bei denen die Verteilung in der interessierenden Region 82 konzentriert ist.
Es wird eine Intensitätsvarianz aus der Regionsintensitätsmatrix extrahiert. Die Intensitätsvarianz definiert das zweite Merkmal 402. Im Speziellen ist das zweite Merkmal 402 (feature2) eine Varianz der Intensität der Regionsintensitätsmatrix (interessierende Region 82). Das zweite Merkmal 402 wird berechnet mit: $F e a t u r e 2 = \frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}$
wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist; Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist; die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region 82 ist; und µ_R der Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R ist.
Eine erste Intensitätsvarianz wird aus der Regionsintensitätsmatrix extrahiert, und eine zweite Intensitätsvarianz wird aus der Gesamtintensitätsmatrix extrahiert. Dann werden die erste Intensitätsvarianz und die zweite Intensitätsvarianz kombiniert, um das dritte Merkmal 404 zu definieren. Im Speziellen ist das dritte Merkmal 404 (feature3) eine Varianz der Intensitätswerte der Regionsintensitätsmatrix I_R (der interessierenden Region 82) geteilt durch eine Varianz der Intensitätswerte der Gesamtintensitätsmatrix I_T (gesamter Bereich 84). Das dritte Merkmal 404 (feature3) wird berechnet mit: $F e a t u r e 3 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} {(I_{T} (i, j) - μ_{T})}^{2}}$
wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist; Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist; die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region 82 ist; µ_R der Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R ist; X_T die Anzahl oder Spalten der Gesamtintensitätsmatrix I_T ist; Y_T die Anzahl von Spalten der Gesamtintensitätsmatrix I_T ist; die Gesamtintensitätsmatrix I_T die Matrix von Intensitätswerten des gesamten Bereichs 84 ist; µ_T der Mittelwert der Intensitätswerte der Gesamtintensitätsmatrix I_T ist.
Ähnlich wie bei dem ersten Merkmal 400 (feature1) trennt das dritte Merkmal 404 (feature3) Zustände einer nassen Straße und Glatteis von anderen Straßenzuständen. Wenn das dritte Merkmal 404 (feature3) ungefähr eins ist, ist die Abweichung der Intensität des gesamten Bereichs 84 in größerem Maße über den gesamten Bereich 84 (einschließlich der interessierenden Region 82) verbreitet oder gestreut. Fahrbahnzustände, bei denen die Abweichung der Intensität in einem Bild 80 in größerem Maße über den gesamten Bereich 84 verbreitet ist, umfassen die Stelle, an der die Fahrbahn 70 trocken ist, an der Neuschnee auf der Fahrbahn 70 vorhanden ist oder an der Schneematsch auf der Fahrbahn 70 vorhanden ist.
Wenn die Abweichung der Intensität der interessierenden Region 82 größer als die Intensität des gesamten Bereichs 84 (im Falle von Glatteis oder einer Pfütze) ist, ist das dritte Merkmal erheblich groß. Andernfalls, wenn die Abweichung der Intensität der interessierenden Region 82 dem gesamten Bereich 84 ähnlich ist (im Falle von Trockenheit), ist das dritte Merkmal im Vergleich zu den Fällen von Glatteis oder einer Pfütze klein.
Es wird eine maximale Intensität aus der Regionsintensitätsmatrix extrahiert. Die maximale Intensität definiert ein viertes Merkmal 406. Das vierte Merkmal 406 (feature4) wird berechnet mit: $F e a t u r e 4 = max (I_{R}),$
Gemäß dem Klassifizierererzeugungsschritt 340 werden die Klassifizierer 242 unter Verwendung der Trainingsmerkmalsvektoren 332 erzeugt. Die Trainingsbilder 310 werden gemäß der ausgewählten Vorverarbeitungstechnik 222 verarbeitet, um verarbeitete Regionsintensitätsmatrizen I_R und verarbeitete Gesamtintensitätsmatrizen I_T zu erzeugen. Es werden Eigenschaften gemäß der Merkmalsextraktionstechnik 232 aus den verarbeiteten Matrizen extrahiert, und die extrahierten Eigenschaften werden gemäß der Merkmalsauswahltechnik 234 ausgewählt und kombiniert, um einen Satz von Trainingsmerkmalsvektoren 332 zu erzeugen. Jeder des Satzes von Trainingsmerkmalsvektoren 332 ist einem bekannten Stra-ßenzustand zugehörig. Bei dem Klassifizierererzeugungsschritt 340 wird der Satz von Trainingsmerkmalsvektoren 332 verwendet, um Klassifizierer 242 unter Verwendung einer Klassifizierungstechnik 342 zu erzeugen.
Klassifizierungstechniken 342 umfassen eine Unterstützungsvektormaschine (SVM von support vector machine), eine lineare Diskriminanzanalyse (LDA von linear discriminant analysis), AdaBoost, Random Forest, Clustering und dergleichen. Die Klassifizierungstechnik 342 wird verwendet, um einen Klassifizierer 242 zu entwerfen, indem der Klassifizierer 242 unter Verwendung des Satzes von Trainingsmerkmalsvektoren 332, die bekannten Zuständen zugehörig sind, trainiert wird.
Jeder der Klassifizierer 242 umfasst eine Grenze in dem Merkmalsraum, die zwischen verschiedenen Typen von Straßenzuständen unterscheidet. Alternativ beschrieben ist jeder Klassifizierer 242 ein begrenzter Raum, der einen bekannten Zustand darstellt. Es werden nun beispielhafte Klassifizierungstechniken 342 ausführlicher beschrieben.
Unter Bezugnahme auf 17 werden für jedes Bild in dem Satz von Trainingsbildern 310 die Regionsintensitätsmatrix und die Gesamtintensitätsmatrix ausgewählt und in binär umgewandelt (z.B. eine beispielhafte Vorverarbeitungstechnik 222). Für jedes Bild in dem Satz von Trainingsbildern 310 werden Merkmale aus der verarbeiteten Regionsintensitätsmatrix und der Gesamtintensitätsmatrix extrahiert (z.B. gemäß einer beispielhaften Merkmalsextraktionstechnik 232); werden das erste Merkmal 400 und das zweite Merkmal 402 ausgewählt und berechnet (z.B. gemäß einer beispielhaften Merkmalsauswahltechnik 234), um einen Trainingsmerkmalsvektor 332 (in 17 zu Klarheitszwecken nur einer gekennzeichnet, der Rest als Datenpunkte gezeigt) zu erzeugen. Hier ist der Trainingsmerkmalsvektor 332 zweidimensional - eine Dimension ist ein Wert in einer Dimension des ersten Merkmals 400 und eine zweite Dimension ist ein Wert in einer Dimension des zweiten Merkmals 402.
In 17 ist für jeden Trainingsmerkmalsvektor 332 ein Datenpunkt symbolisch (z.B. Kreis, Sechseck, x, Raute, Dreieck) identifiziert, und zwar basierend auf dem Straßenzustand (hier dargestellte verschiedene Zustände umfassen trocken 420, Pfütze 422, Neuschnee 424, Glatteis 426, Schneematsch 428), und der Datenpunkt ist an einem Diagramm 430 aufgetragen. Der Wert des ersten Merkmals 400 ist entlang der x-Achse aufgetragen, und der Wert des zweiten Merkmals 402 ist entlang der y-Achse aufgetragen.
Es werden Klassifizierer 242 (beispielhafte Grenzen sind durch die Grenzen 412, 414, 416 gezeigt) ermittelt, die jeweils einem oder mehreren Straßenzuständen 420, 422, 424, 426, 428 zugehörig sind. Im Allgemeinen kann jeder Klassifizierer 242 an ein Cluster von Trainingsmerkmalsvektoren 332 angepasst sein, die einem bekannten Straßenzustand (oder mehreren Straßenzuständen) zugehörig sind. Beispielsweise umfasst ein Klassifizierer (z.B. dargestellt durch Gleichungen oder Funktionen) unter Verwendung einer Unterstützungsvektormaschinen-Klassifizierungstechnik und des Satzes von Trainingsmerkmalsvektoren 332 Entscheidungsgrenzen.
Die Kreise und Linien der Klassifizierer in 17 markieren die Cluster von Merkmalsvektoren und stellen Entscheidungsgrenzen von Klassifizierern dar. Allerdings können die Entscheidungsgrenzen, die durch Klassifizierungstechniken oder manuell erzeugt werden, eine beliebige Geometrie aufweisen. Beispielsweise können die Grenzen der Klassifizierer 242 in Abhängigkeit von der Klassifizierungstechnik und des Satzes von Trainingsmerkmalsvektoren 332 unterschiedliche Formen und Dimensionen aufweisen.
Zu Veranschaulichungszwecken ist der Klassifizierer 242 mit der Grenze 412 an ein Cluster von Trainingsmerkmalsvektoren 332 angepasst, die trockenen 420, Neuschnee- 424 und Schneematsch- 428 Straßenzuständen zugehörig sind; ist der Klassifizierer 242 mit der Grenze 414 an ein Cluster von Trainingsmerkmalsvektoren 332 angepasst, die nassen 422 Straßenzuständen zugehörig sind, und ist der Klassifizierer 242 mit der Grenze 416 an ein Cluster von Trainingsmerkmalsvektoren 332 angepasst, die Glatteis- 426 Straßenzuständen zugehörig sind.
Die räumlichen Dimensionen eines Klassifizierers 242 hängen von der Anzahl von Merkmalen ab, die unter Verwendung der Merkmalsauswahltechnik 234 ausgewählt werden. Zum Beispiel ist der Klassifizierer 242 für einen Merkmalsvektor unter Verwendung von zwei Merkmalen zweidimensional (z.B. eine Fläche).
In 17 sind die Klassifizierer 242 mit den Grenzen 414, 416 von dem Klassifizierer 242 mit der Grenze 412 getrennt, da im Allgemeinen das erste Merkmal 400 für nasse 422 und Glatteis- 426 größer und für andere Straßenzustände 420, 424, 428 kleiner ist. Wenn beispielsweise die Intensität des gesamten Bereichs 84 in größerem Maße über den gesamten Bereich 84 (einschließlich der interessierenden Region 82) verbreitet oder gestreut ist, ist das erste Merkmal 400 ungefähr eins. Fahrbahnzustände, bei denen die Intensität in größerem Maße über den gesamten Bereich 84 verbreitet ist, umfassen die Stelle, an der die Fahrbahn 70 trocken ist, an der Neuschnee auf der Fahrbahn 70 vorhanden ist oder an der Schneematsch auf der Fahrbahn 70 vorhanden ist.
Wenn die Intensität des gesamten Bereichs 84 in der interessierenden Region 82 konzentriert ist (z.B. weniger verbreitet) oder auf andere Weise in der interessierenden Region 82 viel größer ist als im Rest des gesamten Bereichs 84, ist das erste Merkmal 400 viel größer als eins. Wenn zum Beispiel das erste Merkmal 400 größer als vier ist, ist die Intensität in der interessierenden Region 82 konzentriert. Wenn die Intensität in der interessierenden Region 82 konzentriert ist, ist der Straßenzustand ein nasser Straßenzustand oder ein Straßenzustand mit Glatteis.
Die Klassifizierer 242 mit den Grenzen 414, 416 sind voneinander getrennt, da im Allgemeinen das zweite Merkmal 402 für einen Glatteis- 426 Straßenzustand größer ist und für einen nassen 422 Straßenzustand kleiner ist. Im Speziellen ist die Varianz eines nassen 422 Straßenzustands kleiner als die Varianz eines Glatteis-426 Straßenzustands. Mit anderen Worten ist die Reflexion von einer nassen Fahrbahn dichter um einen Reflexionspunkt innerhalb der interessierenden Region 82 konzentriert.
Bezug nehmend auf ein weiteres in 18 gezeigtes Beispiel werden die Klassifizierer 242, die jeweils einem Straßenzustand zugehörig sind, gemäß dem Klassifizierererzeugungsverfahren 300 ermittelt.
Hier werden für jedes Bild in dem Satz von Trainingsbildern 310 die Regionsintensitätsmatrix und die Gesamtintensitätsmatrix im Vorverarbeitungsschritt 320 (z.B. gemäß einer ausgewählten Vorverarbeitungstechnik 222) ausgewählt und beide in Graustufen umgewandelt und mit einem Laplacian of Gaussian-Filter (LOG-Filter) gefiltert. In dem Merkmalsvektor-Erzeugungsschritt 330 werden für jede verarbeitete Matrix Eigenschaften gemäß einer ausgewählten Merkmalsextraktionstechnik 232 extrahiert. Gemäß einer Merkmalsauswahltechnik 234 wird das erste Merkmal 400 aus Eigenschaften erzeugt, die aus der Graustufen-Gesamtintensitätsmatrix I_T und der Graustufen-Regionsintensitätsmatrix I_R extrahiert werden; wird das dritte Merkmal 404 aus Eigenschaften erzeugt, die aus der Graustufen-Gesamtintensitätsmatrix I_T und einer Graustufen-Regionsintensitätsmatrix I_R extrahiert werden; und wird das vierte Merkmal 406 aus einer Eigenschaft erzeugt, die aus der LOG-Regionsintensitätsmatrix I_R extrahiert wird.
Für jedes Trainingsbild 310 stellen die Werte des ersten Merkmals 400, des dritten Merkmals 404 und des vierten Merkmals 406 einen Trainingsmerkmalsvektor 332 (z.B. zu Klarheitszwecken nur einer gekennzeichnet, der Rest als Datenpunkte gezeigt) bereit. Jeder Trainingsmerkmalsvektor 332 umfasst einen Wert in einer Dimension des ersten Merkmals 400, des dritten Merkmals 404 und des vierten Merkmals 406.
Wie oben erwähnt werden in dem Klassifizierererzeugungsschritt 340 Klassifizierer 242 mit Grenzen (z.B. den Grenzen 434, 436) gemäß einer Klassifizierungstechnik 342 an Cluster von Trainingsmerkmalsvektoren 332 angepasst.
Unter erneuter Bezugnahme auf 3 wird in dem Bilderfassungsschritt 210 das Bild 80 durch die Kamera 50 erzeugt. Auf das Bild 80 wird durch die Recheneinheit 30 zugegriffen.
In dem Vorverarbeitungsschritt 220 wählt die Recheneinheit 30 die Gesamtintensitätsmatrix I_T und die Regionsintensitätsmatrix I_R gemäß der interessierenden Region 82 und dem gesamten Bereich 84, die in dem Speicher 110 gespeichert sind, aus. Zusätzlich werden die Gesamtintensitätsmatrix I_T und die Regionsintensitätsmatrix I_R gemäß der Vorverarbeitungstechnik 222, die in dem Speicher 110 gespeichert ist, verarbeitet.
In dem Merkmalsvektor-Erzeugungsschritt 230 erzeugt die Recheneinheit 30 einen Merkmalsvektor 236. Die Recheneinheit 30 extrahiert Eigenschaften aus den verarbeiteten Matrizen gemäß der Merkmalsextraktionstechnik 232, die in dem Speicher 110 gespeichert ist. Die Recheneinheit 30 wählt und erzeugt dann Merkmale gemäß der Merkmalsauswahltechnik 234 und erzeugt den Merkmalsvektor 236.
In dem Klassifizierungsschritt 240 ermittelt die Recheneinheit 30 einen Straßenzustand auf der Grundlage des Merkmalsvektors 236 und der Klassifizierer 242, die in dem Speicher 110 gespeichert sind. Beispielsweise vergleicht die Recheneinheit 30 den Merkmalsvektor 236 mit den Klassifizierern 242, und wenn der Merkmalsvektor 236 in eine Grenze eines Klassifizierers 242 fällt, wird ein dem Klassifizierer 242 zugehöriger Straßenzustand 244 durch die Recheneinheit 30 ermittelt oder ausgewählt.
In dem Straßenzustands-Entscheidungsschritt 250 ist der Straßenzustand 244 aus dem Klassifizierungsschritt 240 ein übergeordneter Straßenzustand 252. Alternativ werden in dem Straßenzustand-Entscheidungsschritt 250 mehrere Straßenzustände von einer Straßenzustandsdatenbank 246 analysiert und synthetisiert, um den übergeordneten Straßenzustand 252 zu ermitteln.
Im Allgemeinen wird der Straßenzustand 244 unter Verwendung des Straßenzustand-Analyseverfahrens 200 über den Klassifizierungsschritt 240 für jedes Paar von interessierender Region 82 und gesamtem Bereich 84 ermittelt. Es können mehrere Paare aus einem einzelnen Bild 80 (wie z.B. in 6) ausgewählt werden, und es können Paare in verschiedenen Bildern 80 ausgewählt werden. Im Fall von mehreren Bildern 80 werden beispielsweise Bilder 80 durch unterschiedliche Kameras 50 gleichzeitig erfasst und befindet sich mindestens ein Paar in jedem Bild; oder es wird eine Reihe von Bildern über die Zeit (wie z.B. in 19) durch eine Kamera 50 erfasst, und in jedem Bild befindet sich zumindest ein Paar.
Bezug nehmend auf 19 wird eine Reihe von Bildern 80 verwendet, um einen übergeordneten Straßenzustand 252 zu ermitteln. Hier wird das Straßenzustand-Analyseverfahren 200 verwendet, um zu jedem Zeitpunkt 501, 502, 503, 504, 505, 506, 507, 508, 509, 510 einen Straßenzustand 244 zu ermitteln, und die Straßenzustände 244 werden in der Straßenzustandsdatenbank 246 gespeichert. Dann werden mehr als ein Straßenzustand 244 aus der Straßenzustandsdatenbank 246 verwendet, um den übergeordneten Straßenzustand 252 zu ermitteln. Zum Beispiel werden Straßenzustände 244 zu Zeitpunkten 501, 502, 503, 504, 505 in einem Zeitfenster 520 gezählt. Als Beispiel ist der übergeordnete Straßenzustand 252 für das Zeitfenster 520 der Straßenzustand 244, der am häufigsten gezählt wird. Wenn beispielsweise Glatteis dreimal gezählt wird, dann ist Glatteis der übergeordnete Straßenzustand 252. Alternativ ist, wenn der Zählwert eines Stra-ßenzustands 244 größer als ein Schwellenwert ist, der Straßenzustand 244 der übergeordnete Straßenzustand 252. Beispielsweise wird Glatteis als der Straßenzustand ausgewählt, wenn Glatteis mindestens zweimal der Straßenzustand in dem Zeitfenster 520 ist.
Dann bewegt sich das Zeitfenster 520, und die Straßenzustände zu den Zeitpunkten 502, 503, 504, 505, 506 in dem Zeitfenster 520 werden gezählt, und so weiter.
Das Zeitfenster 520 reduziert Rauschen und stellt ein höheres Vertrauensniveau hinsichtlich einer korrekten Fahrbahnidentifikation bereit. Das Zeitfenster 520 kann eine andere Größe aufweisen, um mehr oder weniger Zeiten zu umfassen. Das Zeitfenster 520 kann zu verschiedenen Zeitpunkten zurückgesetzt werden.
Hierin werden verschiedene Ausführungsformen der vorliegenden Offenbarung offenbart. Die oben beschriebenen Ausführungsformen sind lediglich beispielhafte Erläuterungen von Realisierungen, die für ein deutliches Verständnis der Prinzipien der Offenbarung ausgeführt werden. An den oben beschriebenen Ausführungsformen können Änderungen, Modifikationen und Kombinationen vorgenommen werden, ohne von dem Schutzumfang der Ansprüche abzuweichen. Alle solchen Änderungen, Modifikationen und Kombinationen sind hierin durch den Schutzumfang dieser Offenbarung und die folgenden Ansprüche umfasst.

Claims

Verfahren, das umfasst, dass: durch einen Prozessor (100) auf ein Bild (80) einer Fahrbahn (70), das durch eine Kamera (50) erzeugt wird, zugegriffen wird, wobei das Bild (80) ein Lichtmuster (86) von einer Lichtquelle (40) umfasst; durch den Prozessor (100) eine interessierende Region (82) in dem Bild (80) ermittelt wird, wobei die interessierende Region (82) Pixel aus dem Bild (80) umfasst, wobei die interessierende Region (82) auf dem Lichtmuster (86) von der Lichtquelle (40) basiert; durch den Prozessor (100) ein gesamter Bereich (84) in dem Bild (80) ermittelt wird, wobei der gesamte Bereich (84) Pixel aus dem Bild (80) umfasst, wobei der gesamte Bereich (84) zumindest einen Teil der interessierenden Region (82) und einen Bereich benachbart zu der interessierenden Region (82) umfasst; ein Merkmalsvektor (236) basierend auf Eigenschaften der interessierenden Region (82) und des gesamten Bereichs (84) extrahiert wird; und durch Vergleichen des Merkmalsvektors (236) mit einem Klassifizierer (242) ein Straßenzustand (244) ermittelt wird; wobei die Eigenschaften gemäß Gleichungen kombiniert werden, um Merkmale (400, 402, 404, 406) des Merkmalsvektors (236) zu erzeugen, wobei ein erstes Merkmal (400) berechnet wird mit: $F e a t u r e 1 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} I_{R} (i, j)}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} I_{T} (i, j)},$
wobei ein zweites Merkmal (402) berechnet wird mit: $F e a t u r e 2 = \frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2},$
wobei ein drittes Merkmal (404) berechnet wird mit: $F e a t u r e 3 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} {(I_{T} (i, j) - μ_{T})}^{2}}$
und wobei ein viertes Merkmal (406) berechnet wird mit: $F e a t u r e 4 = max (I_{R}),$
wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist, Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist, die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region (82) ist, µ_R der Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R ist, X_T die Anzahl oder Spalten der Gesamtintensitätsmatrix I_T ist, Y_T die Anzahl von Spalten der Gesamtintensitätsmatrix I_T ist, die Gesamtintensitätsmatrix I_T die Matrix von Intensitätswerten des gesamten Bereichs (84) ist und µ_T der Mittelwert der Intensitätswerte der Gesamtintensitätsmatrix I_T ist.
Verfahren nach Anspruch 1, wobei die Pixel der interessierenden Region (82) eine Teilmenge der Pixel des gesamten Bereichs (84) sind.
Verfahren nach Anspruch 1, wobei der Klassifizierer (242) eine Grenze (412, 414, 416) umfasst, die einen Straßenzustand (244) darstellt.
Verfahren nach Anspruch 1, das ferner umfasst, dass durch den Prozessor (100) die interessierende Region (82) und der gesamte Bereich (84) in eines von Folgenden umgewandelt werden: binäre Werte; und Werte, die unter Verwendung eines Laplacian of Gaussian-Filters erzeugt werden.
System zur Verwendung bei einem Fahrzeug (10), umfassend: eine Lichtquelle (40), die ausgestaltet ist, um ein Lichtmuster (86) an einer Fahrbahn (70) bereitzustellen; eine Kamera (50), die ausgestaltet ist, um ein Bild (80) der Fahrbahn (70) zu erzeugen, wobei das Bild (80) das Lichtmuster (86) umfasst; einen Prozessor (100); und einen Speicher (110), umfassend: Anweisungen, die, wenn sie durch den Prozessor (100) ausgeführt werden, bewirken, dass der Prozessor (100) Operationen durchführt, wobei die Operationen umfassen: Zugreifen auf ein Bild (80) einer Fahrbahn (70), das durch die Kamera (50) erzeugt wird, wobei das Bild (80) Pixel umfasst, wobei jedes der Pixel einen Intensitätswert aufweist; Ermitteln einer interessierenden Region (82) aus dem Bild (80), wobei die interessierende Region (82) Pixel aus dem Bild umfasst; Ermitteln eines gesamten Bereichs (84) aus dem Bild (80), wobei der gesamte Bereich (84) Pixel aus dem Bild (80) umfasst, wobei der gesamte Bereich (84) Pixel in der interessierenden Region (82) und Pixel in einem Bereich des Bilds (80), der zu der interessierenden Region (82) benachbart ist, umfasst; Extrahieren eines Merkmalsvektors (236) basierend auf der interessierenden Region (82) und dem gesamten Bereich (84); und Ermitteln eines Straßenzustands (244) basierend auf dem Merkmalsvektor (236) und einem Klassifizierer (242); wobei ein erstes Merkmal (400) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 1 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} I_{R} (i, j)}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} I_{T} (i, j)},$
wobei ein zweites Merkmal (402) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 2 = \frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2},$
wobei ein drittes Merkmal (404) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 3 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} {(I_{T} (i, j) - μ_{T})}^{2}}$
und wobei ein viertes Merkmal (406) des Merkmalsvektors (236) berechnet wird mit: Feature4 = max(I_R), wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist, Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist, die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region (82) ist, µ_R der Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R ist, X_T die Anzahl oder Spalten der Gesamtintensitätsmatrix I_T ist, Y_T die Anzahl von Spalten der Gesamtintensitätsmatrix I_T ist, die Gesamtintensitätsmatrix I_T die Matrix von Intensitätswerten des gesamten Bereichs (84) ist und µ_T der Mittelwert der Intensitätswerte der Gesamtintensitätsmatrix I_T ist.
Von einem Computer lesbares Medium, umfassend Anweisungen, die, wenn sie durch einen Prozessor (100) ausgeführt werden, bewirken, dass der Prozessor (100) Operationen durchführt, wobei die Operationen umfassen: Zugreifen auf ein Bild (80) einer Fahrbahn (70), das durch eine Kamera (50) erzeugt wird, wobei das Bild (80) Pixel umfasst, wobei jedes der Pixel einen Intensitätswert aufweist; Ermitteln einer interessierenden Region (82) aus dem Bild (80), wobei die interessierende Region (82) Pixel aus dem Bild (80) umfasst; Ermitteln eines gesamten Bereichs (84) aus dem Bild (80), wobei der gesamte Bereich (84) Pixel aus dem Bild (80) umfasst, wobei der gesamte Bereich (84) Pixel in der interessierenden Region (82) und Pixel in einem Bereich des Bilds (80) benachbart zu der interessierenden Region (82) umfasst; Extrahieren eines Merkmalsvektors (236) basierend auf der interessierenden Region (82) und dem gesamten Bereich (84); und Ermitteln eines Straßenzustands (244) basierend auf dem Merkmalsvektor (236) und einem Klassifizierer (242); wobei ein erstes Merkmal (400) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 1 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} I_{R} (i, j)}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} I_{T} (i, j)},$
wobei ein zweites Merkmal (402) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 2 = \frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}$
wobei ein drittes Merkmal (404) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 3 = \frac{\frac{1}{X_{R} * Y_{R}} \sum_{i = 1}^{X_{R}} \sum_{j = 1}^{Y_{R}} {(I_{R} (i, j) - μ_{R})}^{2}}{\frac{1}{X_{T} * Y_{T}} \sum_{i = 1}^{X_{T}} \sum_{j = 1}^{Y_{T}} {(I_{T} (i, j) - μ_{T})}^{2}}$
und wobei ein viertes Merkmal (406) des Merkmalsvektors (236) berechnet wird mit: $F e a t u r e 4 = max (I_{R}),$
wobei X_R die Anzahl oder Zeilen der Regionsintensitätsmatrix I_R ist, Y_R die Anzahl von Spalten der Regionsintensitätsmatrix I_R ist, die Regionsintensitätsmatrix I_R die Matrix von Intensitätswerten der interessierenden Region (82) ist, µ_R der Mittelwert der Intensitätswerte der Regionsintensitätsmatrix I_R ist, X_T die Anzahl oder Spalten der Gesamtintensitätsmatrix I_T ist, Y_T die Anzahl von Spalten der Gesamtintensitätsmatrix I_T ist, die Gesamtintensitätsmatrix I_T die Matrix von Intensitätswerten des gesamten Bereichs (84) ist und µ_T der Mittelwert der Intensitätswerte der Gesamtintensitätsmatrix I_T ist.