DE102018119663A1

DE102018119663A1 - Verfahren zum klassifizieren eines zustands einer fahrbahnoberfläche

Info

Publication number: DE102018119663A1
Application number: DE102018119663.6A
Authority: DE
Inventors: Wei Tong; Qingrong Zhao; Shuqing Zeng; Bakhtiar B. Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-08-15
Filing date: 2018-08-13
Publication date: 2019-02-21
Anticipated expiration: 2038-08-14
Also published as: CN109409183A; US10373000B2; DE102018119663B4; US20190057261A1; CN109409183B

Abstract

Ein Verfahren zum Identifizieren eines Zustands einer Fahrbahnoberfläche beinhaltet die Aufnahme mindestens eines ersten Bildes der Fahrbahnoberfläche mit einer ersten Kamera und eines zweiten Bildes der Fahrbahnoberfläche mit einer zweiten Kamera. Das erste Bild und das zweite Bild werden zu einem kombinierten Einzelbild zusammengefügt. Ein Merkmalsvektor wird aus dem kombinierten Einzelbild mittels eines faltungsneuronalen Netzwerks extrahiert, und ein Zustand der Fahrbahnoberfläche wird mittels eines Klassifikators aus dem Merkmalsvektor ermittelt.

Description

EINLEITUNG
Die Offenbarung bezieht sich im Allgemeinen auf ein Verfahren zum Identifizieren des Zustands einer Fahrbahnoberfläche.
Fahrzeugsteuerungssysteme können den Zustand der Fahrbahnoberfläche als Eingang für die Steuerung einer oder mehrerer Komponenten des Fahrzeugs verwenden. Unterschiedliche Bedingungen der Fahrbahnoberfläche beeinflussen den Reibungskoeffizienten zwischen den Reifen und der Fahrbahnoberfläche. Trockene Straßenverhältnisse sorgen für einen hohen Reibungskoeffizienten, während schneebedeckte Straßenverhältnisse für einen niedrigeren Reibungskoeffizienten sorgen. Fahrzeugsteuerungen können das Fahrzeug in Abhängigkeit von den unterschiedlichen Straßenverhältnissen unterschiedlich steuern oder bedienen. Daher ist es wünschenswert, dass das Fahrzeug den aktuellen Zustand der Fahrbahnoberfläche bestimmen kann.
KURZDARSTELLUNG
Ein Verfahren zum Identifizieren des Zustands einer Fahrbahnoberfläche ist vorgesehen. Das Verfahren beinhaltet die Aufnahme eines ersten Bildes der Fahrbahnoberfläche mit einer Kamera und die Aufnahme eines zweiten Bildes der Fahrbahnoberfläche mit der Kamera. Das erste Bild und das zweite Bild werden zu einem kombinierten Einzelbild zusammengefügt. Aus dem kombinierten Einzelbild wird ein Merkmalsvektor extrahiert und aus dem Merkmalsvektor mit einem Klassifikator ein Zustand der Fahrbahnoberfläche ermittelt.
In einer Ausführungsform des Verfahrens wird ein drittes Bild der Fahrbahnoberfläche mit der Kamera aufgenommen. Das erste Bild, das zweite Bild und das dritte Bild werden zu einem kombinierten Einzelbild zusammengefügt.
In einer Ausführungsform des Verfahrens beinhaltet die Kamera eine erste Kamera, eine zweite Kamera und eine dritte Kamera. Das erste Bild wird aktiv durch eine Lichtquelle beleuchtet und ist ein Bild der Fahrbahnoberfläche in einem ersten Bereich. Das erste Bild wird von der ersten Kamera aufgenommen. Das zweite Bild wird durch das Umgebungslicht passiv beleuchtet und ist ein Bild der Fahrbahnoberfläche in einem Radspritzbereich eines Fahrzeugs. Das zweite Bild wird von der zweiten Kamera aufgenommen. Das dritte Bild wird durch das Umgebungslicht passiv beleuchtet und ist ein Bild der Fahrbahnoberfläche in einem Bereich in der Nähe einer Fahrzeugseite. Das dritte Bild wird von der dritten Kamera aufgenommen.
In einem Aspekt des Verfahrens wird ein neuronales Faltungsnetzwerk verwendet, um den Merkmalsvektor aus dem kombinierten Einzelbild zu extrahieren.
In einem weiteren Aspekt des Verfahrens wird der Zustand der Fahrbahnoberfläche als trockener, nasser oder schneebedeckter Straßenzustand bestimmt.
In einem Aspekt des Verfahrens beinhaltet das Zusammenfügen des ersten Bildes, des zweiten Bildes und des dritten Bildes, um das kombinierte Einzelbild zu definieren, eine Auflösung des ersten Bildes, eine Auflösung des zweiten Bildes und eine Auflösung des dritten Bildes.
In einem weiteren Aspekt des Verfahrens beinhaltet das Zusammenfügen des ersten Bildes, des zweiten Bildes und des dritten Bildes, um das kombinierte Einzelbild zu definieren, das Definieren einer Bildgröße des ersten Bildes, einer Bildgröße des zweiten Bildes und einer Bildgröße des dritten Bildes.
In einer Ausführungsform des Verfahrens werden das erste Bild, das zweite Bild und das dritte Bild gleichzeitig aufgenommen.
Ein Fahrzeug wird ebenfalls bereitgestellt. Das Fahrzeug beinhaltet eine Karosserie. Mindestens eine Kamera ist an der Karosserie angebracht und wird so positioniert, dass sie ein Bild einer Fahrbahnoberfläche in einem ersten Bereich im Verhältnis zur Karosserie aufnimmt. Eine Lichtquelle ist an der Karosserie angebracht und beleuchtet die Fahrbahn im ersten Bereich. Die mindestens eine Kamera ist so positioniert, dass sie ein Bild der Fahrbahnoberfläche in einem zweiten Bereich im Verhältnis zur Karosserie aufnimmt. Eine Recheneinheit steht mit der mindestens einen Kamera in Verbindung. Die Recheneinheit beinhaltet einen Prozessor, ein neuronales Faltungsnetzwerk, einen Klassifikator und einen Speicher mit einem darauf gespeicherten Algorithmus für den Fahrbahnzustand. Der Prozessor ist funktionsfähig, um den Fahrbahnzustandsalgorithmus auszuführen. Der Fahrbahnzustandsalgorithmus nimmt mit der mindestens einen Kamera ein erstes Bild der Fahrbahnoberfläche auf. Das erste Bild wird von der Lichtquelle aktiv beleuchtet. Der Fahrbahnzustandsalgorithmus nimmt mit der mindestens einen Kamera ein zweites Bild der Fahrbahnoberfläche auf. Der Fahrbahnzustandsalgorithmus teilt dann das erste Bild und das zweite Bild, um ein kombiniertes Einzelbild zu bilden, und extrahiert einen Merkmalsvektor aus dem kombinierten Einzelbild mit dem faltungsneuronalen Netzwerk. Der Fahrbahnzustandsalgorithmus ermittelt dann aus dem Merkmalsvektor mit dem Klassifikator einen Zustand der Fahrbahnoberfläche.
In einer Ausführungsform des Fahrzeugs beinhaltet die mindestens eine Kamera eine erste Kamera, die zur Aufnahme eines Bildes der Fahrbahnoberfläche im ersten Bereich positioniert ist, und eine zweite Kamera, die zur Aufnahme des Bildes der Fahrbahnoberfläche im zweiten Bereich positioniert ist.
Dementsprechend gehen die Informationen innerhalb der einzelnen Bilder durch das Zusammenfügen des ersten Bildes, des zweiten Bildes und des dritten Bildes zum kombinierten Einzelbild und die anschließende Verwendung des faltungsneuronalen Netzwerks zur Extraktion des Merkmalsvektors aus dem kombinierten Einzelbild nicht verloren. Zusätzlich ermöglicht das kombinierte Einzelbild dem faltungsneuronalen Netzwerk das Identifizieren von Merkmalen, die durch die individuelle Betrachtung der Bilder nicht identifizierbar sind. Das hierin beschriebene Verfahren reduziert die Komplexität bei der Ermittlung des Zustands der Fahrbahnoberfläche, was die Verarbeitungsanforderungen an die verfahrensausführende Recheneinheit reduziert und damit die Leistung der Recheneinheit verbessert.
Die vorstehenden Merkmale und Vorteile sowie weitere Merkmale und Vorteile der vorliegenden Lehren, lassen sich leicht aus der folgenden ausführlichen Beschreibung der besten Durchführungsarten der Lehren ableiten, wenn diese in Verbindung mit den zugehörigen Zeichnungen betrachtet werden.
Figurenliste

1 ist eine schematische Seitenansicht eines Fahrzeugs.
2 ist eine schematische Draufsicht des Fahrzeugs.
3 ist ein Flussdiagramm, das ein Verfahren zum Identifizieren des Zustands einer Fahrbahnoberfläche darstellt.
4 ist eine schematische Draufsicht eines ersten Bildes von einer ersten Kamera des Fahrzeugs.
5 ist eine schematische Draufsicht auf ein zweites Bild von einer zweiten Kamera des Fahrzeugs.
6 ist eine schematische Draufsicht eines dritten Bildes von einer dritten Kamera des Fahrzeugs.
7 ist eine schematische Draufsicht eines kombinierten Einzelbildes.

AUSFÜHRLICHE BESCHREIBUNG
Fachleute auf dem Gebiet werden erkennen, dass Begriffe, wie „über“, „unter“, „nach oben“, „nach unten“, „oben“, „unten“ usw., beschreibend für die Figuren verwendet werden und keine Einschränkungen des Umfangs der durch die beigefügten Patentansprüche definierten Offenbarung darstellen. Weiterhin können die Lehren hierin in Bezug auf die funktionalen bzw. logischen Blockkomponenten bzw. verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer Anzahl an Hardware, Software- und/oder Firmware-Komponenten aufgebaut sein können, die dazu konfiguriert sind, die spezifizierten Funktionen auszuführen.
In den FIG., in denen die Bauteile in mehreren Ansichten nummeriert dargestellt sind, handelt es sich bei 20 im Allgemeinen um das Fahrzeug. Wie hierin verwendet, ist der Begriff „Fahrzeug“ nicht auf Automobile beschränkt und kann eine Form der beweglichen Plattform beinhalten, wie beispielsweise Lastwagen, Autos, Traktoren, Motorräder, Geländewagen usw. Obgleich diese Offenbarung im Zusammenhang mit einem Automobil beschrieben wird, ist sie nicht auf Automobile beschränkt.
Unter Bezugnahme auf die 1 und 2 beinhaltet das Fahrzeug 20 eine Karosserie 22. Wie hierin verwendet, ist die „Karosserie“ weitgehend so zu interpretieren, dass sie Rahmen- und Außenverkleidungsteile des Fahrzeugs 20 beinhaltet, ist jedoch nicht darauf beschränkt. Die Karosserie 22 kann in einer für den Verwendungszweck des Fahrzeugs 20 geeigneten Weise konfiguriert werden. Die spezifische Art, der Stil, die Größe, die Form usw. der Karosserie 22 sind nicht zu den Lehren dieser Offenbarung zugehörig und werden daher hierin nicht im Detail beschrieben.
Das Fahrzeug 20 beinhaltet mindestens eine Kamera und kann eine Vielzahl von Kameras beinhalten. Wie in den 1 und 2 dargestellt, beinhaltet das Fahrzeug 20 eine erste Kamera 24, eine zweite Kamera 26 und eine dritte Kamera 28. Es ist jedoch zu beachten, dass das Fahrzeug 20 eine einzelne Kamera, zwei verschiedene Kameras oder mehr als die in 1 dargestellten und hierin beschriebenen exemplarischen drei Kameras beinhalten kann.
Wie am besten in 1 dargestellt, ist die erste Kamera 24 an der Karosserie 22 angebracht und so positioniert, dass sie ein Bild einer Fahrbahnoberfläche 58 in einem ersten Bereich 30 im Verhältnis zur Karosserie 22 aufnimmt. Der erste Bereich 30 ist in 2 dargestellt. Eine Lichtquelle 32 ist an der Karosserie 22 angebracht und ist positioniert, um die Fahrbahnoberfläche 58 im ersten Bereich 30 zu beleuchten. Die Lichtquelle 32 kann eine lichterzeugende Vorrichtung beinhalten, wie beispielsweise eine Leuchtdiode (LED), einen Blitz, einen Laser, usw. Die erste Kamera 24 kann eine Vorrichtung beinhalten, die für die Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erstellen oder zu erfassen und das Bild auf einen Speicher 46 der Speichervorrichtung zu übertragen und/oder zu speichern. Der spezifische Typ, die Konstruktion, der Betrieb usw. der ersten Kamera 24 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben.
Die erste Kamera 24 und die Lichtquelle 32 sind in der exemplarischen Ausführungsform an einem Seitenspiegel des Fahrzeugs 20 angebracht, wobei sich der erste Bereich 30 direkt unter dem Seitenspiegel befindet. Somit ist die Lichtquelle 32 zum Beleuchten der Fahrbahnoberfläche 58 im ersten Bereich 30 und die erste Kamera 24 zum Erfassen oder Erzeugen eines Bildes der Fahrbahnoberfläche 58 im ersten Bereich 30 betriebsbereit. Es ist zu beachten, dass die erste Kamera 24 und die Lichtquelle 32 an einer anderen Stelle an der Karosserie 22 des Fahrzeugs 20 positioniert werden können und dass der erste Bereich 30 als ein anderer Bereich in Bezug auf die Karosserie 22 definiert werden kann.
Wie am besten in 1 dargestellt, ist die zweite Kamera 26 an der Karosserie 22 angebracht und so positioniert, dass sie ein Bild der Fahrbahnoberfläche 58 in einem zweiten Bereich 34 im Verhältnis zur Karosserie 22 aufnimmt. Der zweite Bereich kann, ist jedoch nicht auf einen Radspritzbereich bezogen auf die Karosserie 22 beschränkt. Der zweite Bereich 34 wird im Folgenden als Radspritzbereich 34 bezeichnet. Die zweite Kamera 26 kann eine Vorrichtung beinhalten, die für die Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erstellen und das Bild auf einen Speicher 46 der Speichervorrichtung zu übertragen und/oder zu speichern. Der spezifische Typ, die Konstruktion, der Betrieb usw. der zweiten Kamera 26 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben.
Die zweite Kamera 26 ist exemplarisch an einem vorderen Kotflügel des Fahrzeugs 20 angebracht, wobei sich der Radspritzbereich 34 direkt hinter einem Vorderrad des Fahrzeugs 20 befindet. Der Radspritzbereich 34 ist in 2 dargestellt. Der Radspritzbereich 34 wird mit Umgebungslicht beleuchtet. Insofern beinhaltet die dritte Kamera 28 kein dediziertes Licht. In anderen Ausführungsformen kann die zweite Kamera 26 jedoch ein spezielles Licht zum Beleuchten des Radspritzbereichs 34 beinhalten. Es ist zu beachten, dass das Fahrzeug 20 andere Radspritzbereiche 34 für die anderen Räder des Fahrzeugs 20 beinhaltet, und dass sich die zweite Kamera 26 an verschiedenen Stellen in Bezug auf die Karosserie 22 befinden kann, um ein Bild der anderen Radspritzbereiche 34 aufzunehmen.
Wie am besten in 1 dargestellt, ist die dritte Kamera 28 an der Karosserie 22 angebracht und so positioniert, dass sie ein Bild der Fahrbahnoberfläche 58 in einem dritten Bereich 36 im Verhältnis zur Karosserie 22 aufnimmt. Der dritte Bereich 36 kann, ist jedoch nicht darauf beschränkt, einen Bereich entlang einer Seite des Fahrzeugs 20 nahe dem Fahrzeug 20 beinhalten. Der dritte Bereich wird im Folgenden als Seitenbereich 36 bezeichnet. Der Seitenbereich 36 ist in 2 dargestellt. Die dritte Kamera 28 kann eine Vorrichtung beinhalten, die für die Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erstellen und das Bild auf einen Speicher 46 der Speichervorrichtung zu übertragen und/oder zu speichern. Der spezifische Typ, die Konstruktion, der Betrieb usw. der dritten Kamera 28 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben.
Die dritte Kamera 28 ist in der exemplarischen Ausführungsform an einer Bodenwanne des Fahrzeugs 20 angebracht, wobei der Seitenbereich 36 des Fahrzeugs 20 seitlich außerhalb der Karosserie 22 liegt. Der Seitenbereich 36 wird mit Umgebungslicht beleuchtet. Insofern beinhaltet die dritte Kamera 28 kein dediziertes Licht. In anderen Ausführungsformen kann die dritte Kamera 28 jedoch ein spezielles Licht zum Beleuchten des Seitenbereichs 36 beinhalten. Es ist zu beachten, dass das Fahrzeug 20 andere Seitenbereiche 36 beinhaltet und dass sich die dritte Kamera 28 an verschiedenen Stellen im Verhältnis zur Karosserie 22 befinden kann, um ein Bild der anderen Seitenbereiche 36 aufzunehmen.
Obwohl die exemplarische Ausführungsform beschrieben wird, wobei die erste Kamera 24 so positioniert ist, dass sie ein Bild des ersten Bereichs 30 aufnimmt, die zweite Kamera 26 so positioniert ist, dass sie ein Bild des Radspritzbereichs 34 aufnimmt, und die dritte Kamera 28 so positioniert ist, dass sie ein Bild des Seitenbereichs 36 aufnimmt, ist zu beachten, dass sich die spezifische Anordnung der Bereiche in Bezug auf die Karosserie 22 von dem hierin beschriebenen ersten Bereich 30, dem Radspritzbereich 34 und dem Seitenbereich 36 unterscheiden kann, wobei der Geltungsbereich der Offenbarung nicht auf den ersten Bereich 30, den Radspritzbereich 34 und den hierin beschriebenen Seitenbereich 36 beschränkt ist. Des Weiteren wird die exemplarische Ausführungsform mit drei verschiedenen Kameras beschrieben, d. h. der ersten Kamera 24, der zweiten Kamera 26 und der dritten Kamera 28, wobei zu beachten ist, dass eine einzige Kamera oder zwei verschiedene Kameras mit einem Weitwinkelobjektiv verwendet werden können, um alle drei in dem hierin beschriebenen Verfahren verwendeten exemplarischen Bilder aufzunehmen. Folglich können die verschiedenen Bilder, die hierin behandelt werden, Ausschnitte oder Zuschnitte aus einem einzelnen Bild oder zwei verschiedenen Bildern sein, die von einer einzelnen Kamera oder zwei verschiedenen Kameras aufgenommen wurden, und müssen nicht unbedingt unabhängig voneinander mit unabhängigen Kameras aufgenommen werden. Des Weiteren kann jedes entsprechende Bild aus verschiedenen Bildern zugeschnitten werden. So kann beispielsweise das erste Bild aus einem Bild zugeschnitten werden und das zweite Bild aus einem anderen, separat aufgenommenen Bild.
Eine Recheneinheit 38 ist in Verbindung mit der ersten Kamera 24, der zweiten Kamera 26 und der dritten Kamera 28 angeordnet. Die Recheneinheit 38 kann alternativ als Fahrzeugsteuerung, Steuereinheit, Computer, Steuermodul usw. bezeichnet werden. Die Recheneinheit 38 beinhaltet einen Prozessor 40, ein faltungsneuronales Netzwerk 42, einen Klassifikator 44 und einen Speicher 46 mit einem darauf gespeicherten Fahrbahnzustandsalgorithmus 48, worin der Prozessor 40 zum Ausführen des Fahrbahnzustandsalgorithmus 48 zum Implementieren eines Verfahrens zum Identifizieren eines Zustands der Fahrbahnoberfläche 58 funktionsfähig ist.
Die Recheneinheit 38 ist konfiguriert, um (z. B. direkt von der ersten Kamera 24, der zweiten Kamera 26 und der dritten Kamera 28 zu empfangen oder auf eine gespeicherte Version im Speicher 46) auf Bilder zuzugreifen, die von der ersten Kamera 24, der zweiten Kamera 26 bzw. der dritten Kamera 28 erzeugt wurden. Der Prozessor 40 ist zum Steuern und/oder Verarbeiten von Daten (z. B. Bilddaten), Eingangs-/Ausgangsdatenports, dem faltungsneuronalen Netzwerk 42, dem Klassifikator 44 und dem Speicher 46 funktionsfähig.
Der Prozessor 40 kann mehrere Prozessoren beinhalten, wobei verteilte Prozessoren oder Parallelprozessoren in einer einzelnen Maschine oder mehreren Maschinen beinhaltet sein können. Der Prozessor 40 könnte einen oder mehrere virtuelle Prozessoren beinhalten. Der Prozessor 40 könnte eine Zustandsmaschine, eine anwendungsspezifische integrierte Schaltung (ASIC), eine programmierbare Gate-Anordnung (PGA) aufweisend ein Field PGA oder eine Zustandsmaschine beinhalten. Wenn der Prozessor 40 Anweisungen zum Durchführen von „Operationen“ ausführen, könnte dies beinhalten, dass der Prozessor 40 die Operationen direkt und/oder dadurch durchführt, dass er einer anderen Vorrichtung oder einer anderen Komponente das Durchführen der Operationen ermöglicht.
Die Recheneinheit 38 kann eine Vielzahl von computerlesbaren Medien beinhalten, einschließlich flüchtiger Medien, nicht-flüchtiger Medien, Wechselmedien und nicht austauschbarer Medien. Der Begriff „computerlesbare Medien“ und Varianten davon, wie sie in der Spezifikation und den Ansprüchen verwendet werden, beziehen sich auf Speichermedien und/oder den Speicher 46. Speichermedien sind flüchtige und/oder nicht-flüchtige, entfernbare und/oder nicht entfernbare Medien, wie beispielsweise RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologien, CD-ROM, DVD oder andere optische Plattenspeicher, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein anderes Medium, das zum Speichern von Informationen konfiguriert ist, auf die von der Recheneinheit 38 zugegriffen werden kann.
Obwohl der Speicher 46 so dargestellt ist, dass er sich nahe bei dem Prozessor 40 befindet, versteht es sich, dass zumindest ein Teil des Speichers 46 ein Speichersystem mit Fernzugriff sein kann, beispielsweise ein Server in einem Kommunikationsnetzwerk, ein entferntes Festplattenlaufwerk, ein entfernbares Speichermedium, Kombinationen daraus und dergleichen. Folglich können beliebige der nachfolgend beschriebenen Daten, Anwendungen und/oder Software im Speicher 46 gespeichert sein und/oder über drahtlose oder Netzwerkverbindungen zu anderen (nicht dargestellten) Datenverarbeitungssystemen zugänglich sein, welche beispielsweise ein lokales Netzwerk (LAN), ein Metropolnetzwerk (MAN) oder ein Weitbereichsnetzwerk (WAN) beinhalten können. Der Speicher 46 kann mehrere Kategorien von Software und Daten beinhalten, die in der Steuerung 38 verwendet werden, einschließlich eine oder mehrere Anwendungen, eine Datenbank, ein Betriebssystems und Eingabe-/Ausgabe-Gerätetreiber.
Es ist zu beachten, dass das Betriebssystem ein Betriebssystem zur Verwendung mit einem Datenverarbeitungssystem sein kann. Die Eingabe-/Ausgabe-Gerätetreiber können verschiedene Routinen beinhalten, auf welche von den Anwendungen durch das Betriebssystem zugegriffen wird, um mit Vorrichtungen und bestimmten Speicherkomponenten zu kommunizieren. Die Anwendungen können im Speicher 46 und/oder in einer Firmware (nicht dargestellt) als ausführbare Anweisungen gespeichert sein und sie können von einem Prozessor 40 ausgeführt werden.
Die Anwendungen beinhalten verschiedene Programme, die, wenn sie durch den Prozessor 40 ausgeführt werden, die verschiedenen Eigenschaften und/oder Funktionen der Recheneinheit 38 implementieren. Die Anwendungen beinhalten Bildverarbeitungsanwendungen, die im Hinblick auf das exemplarische Verfahren zum Identifizieren des Zustands der Fahrbahnoberfläche 58 näher beschrieben werden. Die Anwendungen sind im Speicher 46 gespeichert und zum Ausführen durch den Prozessor 40 konfiguriert.
Die Anwendungen können Daten verwenden, die in der Datenbank gespeichert sind, wie beispielsweise die von der Kamera gemessenen Merkmale (z. B. die über die Eingangs-/Ausgangsdatenports empfangen werden). Die Datenbank beinhaltet die statischen und/oder dynamischen Daten, welche von den Anwendungen, dem Betriebssystem, den Eingangs-/Ausgangs-Gerätetreibem und anderen Softwareprogrammen, die im Speicher 46 vorhanden sein können, verwendet werden.
Es sollte verstanden werden, dass die vorstehende Beschreibung zur Bereitstellung einer kurzen allgemeinen Beschreibung für eine geeignete Umgebung gedacht sind, in welcher die verschiedenen Aspekte von einigen Ausführungsformen der vorliegenden Offenbarung implementiert werden können. Die Begriffe „computerlesbare Medien“, „computerlesbares Speichermedium“ und Variationen davon, wie sie in der Spezifikation und den Ansprüchen verwendet werden, beziehen sich auf Speichermedien. Speichermedien sind flüchtige und/oder nicht-flüchtige, entfernbare und/oder nicht entfernbare Medien, wie beispielsweise RAM, ROM, EEPROM, Flash-Speicher 46 oder andere Speicher 46 Technologien, CD-ROM, DVD oder andere optische Plattenspeicher, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein anderes Medium, das zum Speichern von Informationen konfiguriert ist, auf die über die Recheneinheit 38 zugegriffen werden kann.
Obwohl sich die Beschreibung auf computerlesbare Anweisungen bezieht, können Ausführungsformen der vorliegenden Offenbarung außerdem auch in Kombination mit anderen Programmmodulen und/oder als Kombination aus Hardware und Software zusätzlich zu oder anstelle von computerlesbaren Anweisungen implementiert sein.
Obwohl die Beschreibung einen allgemeinen Kontext von computerausführbaren Anweisungen beinhaltet, kann die vorliegende Offenbarung auch in Kombination mit anderen Programmmodulen und/oder als Kombination von Hardware und Software implementiert werden. Der Begriff „Anwendung“ sowie dessen Variationen werden hierin umfassend eingesetzt, um Routinen, Programmmodule, Programme, Komponenten, Datenstrukturen, Algorithmen, und dergleichen zu beinhalten. Anwendungen können in verschiedenen Systemkonfigurationen umgesetzt werden, einschließlich Einzel- oder Mehrprozessorsysteme, Minicomputer, Mainframecomputer, Personalcomputer, tragbare Rechenvorrichtungen, auf Mikroprozessoren beruhende programmierbare Verbraucherelektronik, Kombinationen daraus und dergleichen.
Wie vorstehend beschrieben, beinhaltet der Speicher 46 den darauf gespeicherten Fahrbahnzustandsalgorithmus 48, während der Prozessor 40 den Fahrbahnzustandsalgorithmus 48 ausführt, um ein Verfahren zum Identifizieren eines Zustands der Fahrbahnoberfläche 58 zu implementieren. Unter Bezugnahme auf 3 beinhaltet das Verfahren das Aufnehmen eines ersten Bildes 50 (dargestellt in 4) der Fahrbahnoberfläche 58 mit der ersten Kamera 24, eines zweiten Bildes 52 (dargestellt in 5) der Fahrbahnoberfläche 58 mit der zweiten Kamera 26 und eines dritten Bildes 54 (dargestellt in 6) der Fahrbahnoberfläche 58 mit der dritten Kamera 28. Der Schritt des Aufnehmens des ersten Bildes 50, des zweiten Bildes 52 und des dritten Bildes 54 wird im Allgemeinen durch Feld 100 in 3 verdeutlicht. Das erste Bild 50 ist in 4 dargestellt. Das erste Bild 50 wird aktiv durch eine Lichtquelle32 beleuchtet und ist ein Bild der Fahrbahnoberfläche 58 in einem ersten Bereich 30 in Bezug auf die Karosserie 22. Das zweite Bild 52 ist in 5 dargestellt. Das zweite Bild 52 wird durch das Umgebungslicht passiv beleuchtet und ist ein Bild der Fahrbahnoberfläche 58 in einem Radspritzbereich 34 des Fahrzeugs 20. Das dritte Bild 54 ist in 6 dargestellt. Das dritte Bild 54 wird durch das Umgebungslicht passiv beleuchtet und ist ein Bild der Fahrbahnoberfläche 58 im Seitenbereich 36 des Fahrzeugs 20, in der Nähe der Karosserie 22 des Fahrzeugs 20. In einer exemplarischen Ausführungsform werden das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 gleichzeitig aufgenommen. Bei anderen Ausführungsformen können jedoch das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 nicht gleichzeitig aufgenommen werden, jedoch mit einem minimalen Zeitabstand zwischen der Aufnahme jedes Bildes.
Die Recheneinheit 38 fügt dann das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 zu einem kombinierten Einzelbild 56 zusammen. Der Schritt zum Zusammenfügen des ersten Bildes 50, des zweiten Bildes 52 und des dritten Bildes 54 wird im Allgemeinen durch Feld 102 in 3 verdeutlicht. Das kombinierte Einzelbild 56 ist in 7 dargestellt. Während die exemplarische Ausführungsform mit dem ersten Bild 50, dem zweiten Bild 52 und dem dritten Bild 54, wie vorstehend erwähnt, beschrieben wird, kann das Verfahren mit zwei Bildern oder mit mehr als den drei exemplarischen Bildern durchgeführt werden. Somit teilt die Recheneinheit 38 die spezifische Anzahl der aufgenommenen Bilder in das kombinierte Einzelbild 56. In der exemplarischen Ausführungsform beinhaltet das kombinierte Einzelbild 56 beispielsweise das erste Bild 50, das zweite Bild 52 und das dritte Bild 54. Wenn jedoch zwei Bilder verwendet würden, dann würde das kombinierte Einzelbild 56 zwei Bilder beinhalten, und wenn mehr als die exemplarischen drei Bilder verwendet würden, dann würde das kombinierte Einzelbild 56 diese bestimmte Anzahl von Bildern beinhalten.
Die Recheneinheit 38 kann das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 in einer Folge, Reihenfolge oder Anordnung zusammenfügen, in der die Bilder angrenzend zueinander angeordnet sind und sich nicht gegenseitig nicht überlappen. Die Recheneinheit 38 kann das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 unter Verwendung einer Anwendung oder eines Verfahrens, welches in der Lage ist, das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 in einem geteiltes Format zu positionieren. Die spezifische Anwendung, mit welcher die Recheneinheit 38 das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 teilt, ist für die Lehren dieser Offenbarung nicht relevant und wird daher im Folgenden nicht ausführlich beschrieben.
Um das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 zusammenzufügen, muss eventuell eine Auflösung und/oder Bildgröße des ersten Bildes 50, eine Auflösung und/oder Bildgröße des zweiten Bildes 52 und eine Auflösung und/oder Bildgröße des dritten Bildes 54 in der Recheneinheit 38 definiert werden. Die jeweilige Auflösung und Bildgröße für das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 können in einer geeigneten Weise definiert werden, beispielsweise durch Eingabe/Programmierung der entsprechenden Daten in die Recheneinheit 38 oder indem die Recheneinheit 38 mit der ersten Kamera 24, der zweiten Kamera 26 bzw. der dritten Kamera 28 zur Abfrage der Informationen in Verbindung steht. Es ist zu beachten, dass die entsprechende Auflösung und Bildgröße für jedes erste Bild 50, das zweite Bild 52 und das dritte Bild 54 in einer anderen Weise definiert werden kann.
Nachdem die Recheneinheit 38 das erste Bild 50, das zweite Bild 52 und das dritte Bild 54 miteinander geteilt hat, um das kombinierte Einzelbild 56 zu definieren, kann die Recheneinheit 38 anschließend einen oder mehrere Merkmalsvektoren aus dem kombinierten Einzelbild 56 extrahieren. Der Schritt zum Extrahieren des Merkmalsvektors wird im Allgemeinen durch den Kasten 104 in 3 angezeigt. Die Recheneinheit 38 kann die Merkmalsvektoren in einer geeigneten Weise mit einer geeigneten Bilderkennungsanwendung extrahieren. In der hierin beschriebenen exemplarischen Ausführungsform verwendet die Recheneinheit 38 beispielsweise das faltungsneuronale Netzwerk 42, um den Merkmalsvektor zu extrahieren. Das faltungsneuronale Netzwerk 42 ist ein tiefes, künstliches neuronales Feed-Forward-Netzwerk, das eine Variation von mehrschichtigen Wahrnehmungen verwendet, die eine minimale Vorverarbeitung erfordern. Das faltungsneuronale Netzwerk verwendet verhältnismäßig wenig Vorverarbeitung im Vergleich zu anderen Bilderkennungsalgorithmen, wodurch das faltungsneuronale Netzwerk 42 die Filter zum Extrahieren der Merkmalsvektoren im Laufe der Zeit erlernen kann. Die Besonderheiten und Funktionsweise des faltungsneuronalen Netzwerks 42 sind in der Technik verfügbar und werden daher im Folgenden nicht näher beschrieben.
Nachdem das faltungsneuronale Netzwerk 42 den Merkmalsvektor extrahiert hat, kann die Recheneinheit 38 aus dem Merkmalsvektor mit dem Klassifikator 44 einen Zustand der Fahrbahnoberfläche 58 ermitteln. Der Schritt zum Bestimmen des Zustands der Fahrbahnoberfläche 58 wird im Allgemeinen durch den Kasten 106 in 3 angezeigt. Der Klassifikator 44 kann den Zustand der Fahrbahnoberfläche 58 als eine im Klassifikator 44 definierte Oberfläche bestimmen. So kann beispielsweise der Klassifikator 44 definiert werden, um den Zustand der Fahrbahnoberfläche 58 als einen trockenen, nassen oder schneebedeckten Straßenzustand zu klassifizieren. In anderen Ausführungsformen kann der Klassifikator 44 jedoch so definiert werden, dass er auch andere mögliche Bedingungen als den hierin genannten exemplarischen trockenen Straßenzustand, nassen Straßenzustand und schneebedeckten Straßenzustand beinhaltet. Die Art und Weise, wie der Klassifikator 44 arbeitet und den Zustand der Fahrbahnoberfläche 58 aus den Oberflächenvektoren ermittelt, steht dem Fachmann zur Verfügung und wird daher im Folgenden nicht näher beschrieben. Kurzerhand vergleicht der Klassifikator 44 den Merkmalsvektor mit Dateien im Speicher 46, welche die unterschiedlichen Zustände der Fahrbahnoberfläche 58 wiedergeben, um den Merkmalsvektor mit einer der exemplarischen Straßenzustandsdateien abzugleichen.
Die Recheneinheit 38 kann den ermittelten Zustand der Fahrbahnoberfläche 58 an ein oder mehrere Steuerungssysteme 60 des Fahrzeugs 20 übermitteln, sodass diese Steuerungssysteme 60 das Fahrzeug 20 in einer Weise steuern können, die dem aktuellen Zustand der von der Recheneinheit 38 identifizierten Fahrbahn entspricht. Der Schritt zum Übermitteln des Zustands der Fahrbahnoberfläche 58 an das Steuerungssystem 60 wird im Allgemeinen durch das Feld 108 in 3 dargestellt. Das Steuerungssystem 60 kann dann das Fahrzeug basierend auf dem identifizierten Zustand der Fahrbahnoberfläche 58 steuern. Der Schritt zum Steuern des Fahrzeugs wird im Allgemeinen durch den Kasten 110 in 3 angezeigt. Wenn die Recheneinheit 38 beispielsweise ermittelt, dass der Zustand der Fahrbahnoberfläche 58 der schneebedeckte Zustand ist, kann ein Steuerungssystem 60, wie beispielsweise ein Fahrzeug-Stabilitätskontrollsystem, die Bremsung des Fahrzeugs 20 in einer für schneebedeckte Straßen geeigneten Weise steuern.
Die ausführliche Beschreibung und die Zeichnungen oder Figuren unterstützen und beschreiben die Offenbarung, während der Umfang der Offenbarung jedoch einzig und allein durch die Patentansprüche definiert wird. Während einige der besten Modi und andere Ausführungsformen zur Umsetzung der beanspruchten Lehren im Detail beschrieben werden, existieren verschiedene alternative Entwürfe und Ausführungsformen zur Umsetzung der Offenbarung, die in den hinzugefügten Ansprüchen definiert sind.

Claims

Verfahren zum Identifizieren eines Zustands einer Fahrbahnoberfläche, wobei das Verfahren Folgendes umfasst: Aufnahme eines ersten Bildes der Fahrbahnoberfläche mit einer Kamera; Aufnahme eines zweiten Bildes der Fahrbahnoberfläche mit der Kamera; Zusammenfügen des ersten Bildes und des zweiten Bildes zu einem kombinierten Einzelbild; Extrahieren eines Merkmalsvektors aus dem kombinierten Einzelbild; und Bestimmen eines Zustands der Fahrbahnoberfläche aus dem Merkmalsvektor mit einem Klassifikator.
Verfahren nach Anspruch 1, ferner umfassend die Aufnahme eines dritten Bildes der Fahrbahnoberfläche mit der Kamera.
Verfahren nach Anspruch 2, worin die Kamera eine erste Kamera, eine zweite Kamera und eine dritte Kamera beinhaltet, und worin: das Aufnehmen des ersten Bildes der Fahrbahnoberfläche mit der Kamera weiter definiert ist als das Aufnehmen des ersten Bildes der Fahrbahnoberfläche mit der ersten Kamera; das Aufnehmen des zweiten Bildes der Fahrbahnoberfläche mit der Kamera weiter definiert ist als das Aufnehmen des zweiten Bildes der Fahrbahnoberfläche mit der zweiten Kamera; und das Aufnehmen des dritten Bildes der Fahrbahnoberfläche mit der Kamera weiter definiert ist als das Aufnehmen des dritten Bildes der Fahrbahnoberfläche mit der dritten Kamera.
Verfahren nach Anspruch 2, worin das Zusammenfügen des ersten Bildes und des zweiten Bildes zum Bilden des kombinierten Einzelbildes weiterhin als zusammenfügen des ersten Bildes, des zweiten Bildes und des dritten Bildes zum Bilden des kombinierten Einzelbildes definiert wird.
Verfahren nach Anspruch 2, worin: das erste Bild durch eine Lichtquelle aktiv beleuchtet wird; das zweite Bild durch Umgebungslicht passiv beleuchtet wird und ein Bild der Fahrbahnoberfläche in einem Radspritzbereich eines Fahrzeugs ist; und das dritte Bild durch Umgebungslicht passiv beleuchtet wird und ein Bild der Fahrbahnoberfläche in einem Bereich nahe einer Seite des Fahrzeugs ist.
Verfahren nach Anspruch 1, worin das Extrahieren des Merkmalsvektors aus dem kombinierten Einzelbild weiter definiert ist als das Extrahieren des Merkmalsvektors aus dem kombinierten Einzelbild unter Verwendung eines faltungsneuronalen Netzwerks.
Verfahren nach Anspruch 1, worin das Zusammenfügen des ersten Bildes und des zweiten Bildes zum Definieren des kombinierten Einzelbildes das Definieren einer Auflösung des ersten Bildes und einer Auflösung des zweiten Bildes beinhaltet.
Verfahren nach Anspruch 1, worin das Zusammenfügen des ersten Bildes und des zweiten Bildes zum Definieren des kombinierten Einzelbildes das Definieren einer Bildgröße des ersten Bildes und einer Bildgröße des zweiten Bildes beinhaltet.
Verfahren nach Anspruch 1, worin das erste Bild und das zweite Bild gleichzeitig aufgenommen werden.
Verfahren nach Anspruch 1, worin das Aufnehmen des ersten Bildes und des zweiten Bildes das Zuschneiden des ersten Bildes und des zweiten Bildes aus einem einzelnen Bild beinhaltet, um das erste Bild bzw. das zweite Bild zu bilden.