DE102018132525A1

DE102018132525A1 - Verfahren und Vorrichtung zur Bewertung einer Fahrzeugfahrfläche

Info

Publication number: DE102018132525A1
Application number: DE102018132525.8A
Authority: DE
Inventors: Qingrong Zhao; Jinsong Wang; Bakhtiar B. Litkouhi; Jingfu Jin; Tianyu Wang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-12-18
Filing date: 2018-12-17
Publication date: 2019-06-19
Also published as: CN109941286B; CN109941286A; US10558868B2; US20190188495A1

Abstract

Ein Fahrzeug beinhaltet eine Vielzahl von fahrzeugeigenen Kameras, und eine Steuerung führt ein Verfahren zum Bewerten einer Fahrfläche aus, indem Bilder für Sichtfelder der jeweiligen Kameras erfasst werden. Entsprechende interessierende Bereiche für die Bilder werden identifiziert, worin jeder der interessierenden Bereiche dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahroberfläche beinhaltet. Abschnitte der Bilder werden extrahiert, wobei jeder extrahierte Abschnitt dem interessierenden Bereich in dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahrfläche enthält, und wobei ein extrahierter Abschnitt des jeweiligen Bildes den Himmel enthält. Die extrahierten Teile der Bilder werden zu einer zusammengesetzten Bilddatendatei zusammengestellt, und eine Bildanalyse der zusammengesetzten Bilddatendatei wird ausgeführt, um einen Fahrflächenzustand zu ermitteln. Der Fahrflächenzustand wird an eine andere Steuerung übermittelt.

Description

EINLEITUNG
Fahrzeugsteuersysteme können von Informationen im Zusammenhang mit Bedingungen einer Fahrfläche profitieren und können diese Informationen als Eingabe für die Steuerung eines oder mehrerer Systeme wie Bremsen, Kurvenfahren und Beschleunigen verwenden. Unterschiedliche Bedingungen der Fahrbahnoberfläche können den Reibungskoeffizienten zwischen den Reifen und der Fahrbahnoberfläche beeinflussen. Trockene Straßenverhältnisse sorgen für einen hohen Reibungskoeffizienten, während schneebedeckte Straßenverhältnisse für einen niedrigeren Reibungskoeffizienten sorgen. Daher ist es wünschenswert, dass das Fahrzeug den aktuellen Zustand der Fahrbahnoberfläche bestimmen kann.
KURZDARSTELLUNG
Ein Fahrzeug mit einer Vielzahl von fahrzeugeigenen Kameras wird beschrieben. Ein Verfahren zum Bewerten einer Fahrfläche für ein Fahrzeug beinhaltet das Erfassen einer Vielzahl von Bildern, die einer Vielzahl von Sichtfeldern der jeweiligen Kameras zugeordnet sind, über die fahrzeugeigenen Kameras, worin mindestens ein Teil jedes der Sichtfelder die Fahrfläche beinhaltet. Entsprechende interessierende Bereiche für die Bilder werden identifiziert, worin jeder der interessierenden Bereiche dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet. Abschnitte der Bilder werden extrahiert, worin jeder extrahierte Abschnitt des jeweiligen Bildes dem interessierenden Bereich im Abschnitt des Sichtfeldes der jeweiligen Kamera zugeordnet ist, der einen Teil der Fahrfläche beinhaltet. Die extrahierenden Teile der Bilder werden zu einer zusammengesetzten Bilddatendatei kompiliert, und eine Bildanalyse der zusammengesetzten Bilddatendatei wird ausgeführt, um einen Fahrflächenzustand zu ermitteln. Der Fahrflächenzustand wird an eine fahrzeugeigene Steuerung übermittelt.
Ein Aspekt der Offenbarung beinhaltet die zusammengesetzte Bilddatendatei, die ein zusammengesetztes Bild ist, das die das Fahrzeug umgebende Fahrfläche beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass das zusammengesetzte Bild, das die Fahrfläche beinhaltet, die das Fahrzeug umgibt, einen ersten Abschnitt beinhaltet, der der Fahrfläche an der Vorderseite des Fahrzeugs zugeordnet ist, einen zweiten Abschnitt, der der Fahrfläche an der Rückseite des Fahrzeugs zugeordnet ist, einen dritten Abschnitt, der der Fahrfläche an einer linken Seite des Fahrzeugs zugeordnet ist, und einen vierten Abschnitt, der einer Fahrfläche an einer rechten Seite des Fahrzeugs zugeordnet ist.
Ein weiterer Aspekt der Offenbarung beinhaltet das Bestimmen, dass die Fahrfläche einen trockenen Zustand, einen nassen Zustand, einen vereisten Zustand und einen schneebedeckten Zustand beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet das Vergleichen von Ergebnissen der Bildanalyse der zusammengesetzten Bilddatendatei mit einer Vielzahl von Oberflächenzuständen, die in einer Fahrbahnoberflächen-Musterdatenbank erfasst werden, und das Klassifizieren des Fahrflächenzustands basierend auf dem Vergleich.
Ein weiterer Aspekt der Offenbarung beinhaltet das Erfassen einer Vielzahl von Bilddateien, worin jede der Bilddateien eine digitale Darstellung des gesamten Sichtfelds der jeweiligen fahrzeugeigenen Kamera mit ihrer ursprünglichen Auflösung beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet einen Abschnitt jedes der Sichtfelder einschließlich der Fahrfläche.
Ein weiterer Aspekt der Offenbarung beinhaltet das Extrahieren von Abschnitten der Bilder durch Zuschneiden des jeweiligen Bildes, um den Abschnitt des Sichtfeldes der jeweiligen Kamera aufzunehmen, der die Fahrfläche beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet das Extrahieren von Abschnitten der Bilder durch Skalieren, Drehen und Komprimieren des interessierenden Bereichs des jeweiligen Bildes im Bereich des Sichtfeldes der jeweiligen Kamera, der die Fahrfläche beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet das gleichzeitige Erfassen der Vielzahl von Bildern.
Ein weiterer Aspekt der Offenbarung beinhaltet ein Verfahren zum Bewerten einer Fahrfläche für ein Fahrzeug, das das Erfassen eines mit einem Sichtfeld der jeweiligen Kamera verbundenen Bildes über eine fahrzeugeigene Kamera beinhaltet, worin mindestens ein Teil des Sichtfeldes die Fahrfläche beinhaltet, und das Identifizieren einer Vielzahl von interessierenden Bereichen für das Bild, worin jeder der interessierenden Bereiche dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet.
Ein weiterer Aspekt der Offenbarung beinhaltet ein Verfahren zum Bewerten einer Fahrfläche für ein Fahrzeug, das das Erfassen eines mit einem Sichtfeld der Kamera verbundenen Bildes über eine fahrzeugeigene Kamera beinhaltet, worin das Sichtfeld die Fahrfläche und eine Umgebung beinhaltet. Eine Vielzahl von interessierenden Bereichen für das Bild wird identifiziert, worin die interessierenden Bereiche dem Abschnitt des Sichtfeldes der Kamera zugeordnet sind, der die Fahrfläche und die Umgebung beinhaltet. Eine Bildanalyse des Bildes wird ausgeführt, und ein Fahrflächenzustand wird basierend auf der Bildanalyse des Bildes bestimmt. Der Fahrflächenzustand wird an eine fahrzeugeigene Steuerung übermittelt.
Ein weiterer Aspekt der Offenbarung beinhaltet das Extrahieren von Abschnitten des Bildes, worin einer der Abschnitte des Bildes dem interessierenden Bereich im Abschnitt des Sichtfeldes der Kamera zugeordnet ist, der die Fahrfläche beinhaltet, und worin einer der Abschnitte des Bildes die Umgebung beinhaltet. Die extrahierten Abschnitte des Bildes werden in eine zusammengesetzte Bilddatendatei kompiliert und einer Bildanalyseroutine unterzogen. Ein Fahrflächenzustand wird basierend auf der Bildanalyse der zusammengesetzten Bilddatendatei bestimmt und an eine fahrzeugeigene Steuerung übermittelt.
Ein weiterer Aspekt der Offenbarung beinhaltet das Ausführen einer tiefen neuronalen Netzwerkanalyse der zusammengesetzten Bilddatendatei.
Ein weiterer Aspekt der Offenbarung beinhaltet das Sichtfeld, das ferner den Himmel beinhaltet, worin die dem Abschnitt des Sichtfeldes der Kamera zugeordneten interessierenden Bereiche des Weiteren den Himmel beinhalten, und worin das Extrahieren von Abschnitten des Bildes das Extrahieren des Himmels beinhaltet, um eine Anzeige der Umgebungsbeleuchtung bereitzustellen.
Die genannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der vorliegenden Lehren, gehen aus der folgenden ausführlichen Beschreibung von einigen der besten Arten und anderen Ausführungsformen zur Ausführung der vorliegenden Lehren, wie sie in den beigefügten Ansprüchen definiert sind, unter Bezugnahme auf die zugehörigen Zeichnungen deutlich hervor.
Figurenliste
Im Folgenden werden exemplarisch eine oder mehrere Ausführungsformen mit Bezug auf die zugehörigen Zeichnungen beschrieben, in welchen:

1 veranschaulicht schematisch eine Seitenansicht eines Fahrzeugs mit einem fahrzeugeigenen Sichtsystem, worin das Fahrzeug auf einer Fahrfläche gemäß der Offenbarung angeordnet ist;
2 zeigt schematisch Einzelheiten eines Fahrflächen-Identifikationsprozesses zum Klassifizieren einer Fahrzeugfahrfläche basierend auf Bildern von einer Vielzahl von fahrzeugeigenen Kameras gemäß der Offenbarung;
3 zeigt schematisch eine Ausführungsform eines Bildanalyseverfahrens zum Klassifizieren des Zustands einer Fahrzeugfahrfläche, um einen Fahrflächenzustand zu bestimmen, einschließlich eines Trainingsprozesses und eines Bildanalyseschritts, gemäß der Offenbarung;
4 veranschaulicht eine Ausführungsform der zusammengesetzten Bilddatendatei, die mit Bezug auf 2 beschrieben ist, einschließlich einer Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtfeldern der Kameras verbunden sind, die Fahrzeugfahrfläche beinhalten, und die Fahrzeugfahrfläche in einem trockenen Zustand gemäß der Offenbarung darstellt;
5 veranschaulicht eine Ausführungsform der zusammengesetzten Bilddatendatei, die mit Bezug auf 2 beschrieben ist, einschließlich einer Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtbereichen der Kameras verbunden sind, welche die Fahrzeugfahrfläche beinhalten, und die Fahrzeugfahrfläche in einem nassen Zustand gemäß der Offenbarung darstellt;
6 veranschaulicht eine Ausführungsform der zusammengesetzten Bilddatendatei, die mit Bezug auf 2 beschrieben ist, einschließlich einer Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtbereichen der Kameras verbunden sind, die die Fahrzeugfahrfläche beinhalten, und die Fahrzeugfahrfläche in einem schneebedeckten Zustand gemäß der Offenbarung darstellt;
7 veranschaulicht eine Ausführungsform der zusammengesetzten Bilddatendatei, die mit Bezug auf 2 beschrieben ist, einschließlich einer Vielzahl von Bereichen von Interesse, die mit Abschnitten eines Sichtbereichs einer einzigen Kamera verbunden sind, welche die Fahrzeugfahrfläche, eine Umgebung und einen Teil des Himmels vor dem Fahrzeug gemäß der Offenbarung beinhaltet.

Es versteht sich, dass die beigefügten Zeichnungen nicht notwendigerweise maßstabsgetreu sind und eine etwas vereinfachte Darstellung verschiedener bevorzugter Merkmale der vorliegenden Offenbarung, wie hierin offenbart, einschließlich beispielsweise spezifischer Dimensionen, Orientierungen, Orte und Formen, darstellen. Details, die zu solchen Merkmalen gehören, werden teilweise durch die bestimmte beabsichtigte Anwendungs- und Verwendungsumgebung ermittelt.
AUSFÜHRLICHE BESCHREIBUNG
Die Komponenten der offenbarten Ausführungsformen, die hierin beschrieben und veranschaulicht sind, können in einer Vielfalt von verschiedenen Konfigurationen angeordnet und konstruiert sein. Daher ist die folgende ausführliche Beschreibung der Ausführungsformen nicht dazu gedacht, den Umfang der Offenbarung, wie beansprucht, einzuschränken, sondern sie ist lediglich repräsentativ für mögliche Ausführungsformen davon. Obwohl zahlreiche spezielle Einzelheiten in der folgenden Beschreibung dargelegt werden, um ein gründliches Verständnis der hierin offenbarten Ausführungsformen bereitzustellen, können zudem einige Ausführungsformen ohne einige dieser Details in die Praxis umgesetzt werden. Darüber hinaus wurde zum Zwecke der Klarheit bestimmtes technisches Material, das im entsprechenden Stand der Technik verstanden wird, nicht ausführlich beschrieben, um ein unnötiges Verschleiern der Offenbarung zu vermeiden. Des Weiteren sind die Zeichnungen vereinfacht und nicht im exakten Maßstab dargestellt. Zur besseren Übersichtlichkeit und Verständlichkeit werden Richtungsbezeichnungen wie oben, unten, links, rechts, nach oben, über, unter, unterhalb, hinten und vorn mit Bezug auf die Zeichnungen verwendet. Diese und ähnliche richtungsweisende Begriffe sind nicht so auszulegen, um den Umfang der Offenbarung zu beschränken. Darüber hinaus kann die Offenbarung, wie hierin veranschaulicht und beschrieben, in Abwesenheit eines Elements ausgeführt werden, das hierin nicht ausdrücklich offenbart ist.
Unter Bezugnahme auf die Zeichnungen, worin gleiche Bezugszeichen gleichen oder ähnlichen Komponenten in den verschiedenen Figuren entsprechen, veranschaulicht 1 in Übereinstimmung mit hierin offenbarten Ausführungsformen eine schematische Seitenansicht eines Fahrzeugs 10, mit einem fahrzeugeigenen Sichtsystem 20, wobei das Fahrzeug 10 auf einer Fahrfläche 70 angeordnet und dazu in der Lage ist, auf dieser, z. B. einer asphaltierten Fahrbahnoberfläche, zu fahren. Das Fahrzeug 10 kann mit einer autonomen Steuerung 65 ausgestattet sein, die autonome Fahrzeugfunktionalitäten in einer Ausführungsform implementiert. Das Fahrzeug 10 kann, ohne darauf eingeschränkt zu sein, eine mobilen Plattform in Form eines Nutzfahrzeuges, eines Industriefahrzeuges, eines landwirtschaftlichen Fahrzeugs, eines Personenkraftwagens, eines Flugzeugs, eines Wasserfahrzeugs, eines Zugs, eines Geländefahrzeugs, einer persönlichen Bewegungsvorrichtung, eines Roboters und dergleichen beinhalten, um die Zwecke der vorliegenden Erfindung zu erfüllen.
Die autonome Steuerung 65 ist konfiguriert, um einen autonomen Fahrzeugbetrieb zu bewirken. Die autonome Fahrzeugfunktionalität kann ein fahrzeugseitiges Steuersystem beinhalten, das in der Lage ist, einen gewissen Grad an Fahrautomatisierung zu bieten. Die Begriffe ‚Fahrer‘ und ‚Bediener‘ beschreiben die Person, die für das Steuern des Betriebs des Fahrzeugs 10 verantwortlich ist, unabhängig davon, ob sie aktiv an der Steuerung einer oder mehrerer Fahrzeugfunktionen oder an der Steuerung des autonomen Betriebs des Fahrzeugs beteiligt ist. Die Fahrautomatisierung kann eine Reihe dynamischer Fahr- und Fahrzeugfunktionen beinhalten. Die Fahrautomatisierung kann ein gewisses Maß an automatischer Steuerung oder Intervention umfassen, die sich auf eine einzelne Fahrzeugfunktion beziehen, wie zum Beispiel Lenken, Beschleunigen bzw. Bremsen, wobei der Fahrer ständig die Gesamtsteuerung des Fahrzeugs 10 übernimmt. Die Fahrautomatisierung kann ein gewisses Maß an automatischer Steuerung oder Eingriffen in Bezug auf die gleichzeitige Steuerung mehrerer Fahrzeugfunktionen, wie beispielsweise Lenkung, Beschleunigung und/oder Bremsen, beinhalten, wobei der Fahrer ständig die gesamte Kontrolle über das Fahrzeug 10 hat. Die Fahrautomatisierung kann eine gleichzeitige automatische Steuerung von Fahrfunktionen des Fahrzeugs beinhalten, einschließlich Lenkung, Beschleunigung und Bremsung, wobei der Fahrer während einer Fahrt die Steuerung des Fahrzeugs für eine bestimmte Zeit abgibt. Die Fahrautomatisierung kann die gleichzeitige automatische Steuerung von Fahrfunktionen des Fahrzeugs, einschließlich Lenkung, Beschleunigung und Bremsen, beinhalten, worin der Fahrer die Kontrolle über das Fahrzeug 10 während der gesamten Fahrt überlässt. Die Fahrautomatisierung beinhaltet Hardware und Steuerungen, die zum Überwachen der räumlichen Umgebung unter verschiedenen Fahrmodi konfiguriert sind, um verschiedene Fahraufgaben im fahrdynamischen Betrieb auszuführen. Die Fahrautomatisierung kann als nicht einschränkende Beispiele Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung, Spurwechselwamung, Intervention und Steuerung, automatisches Parken, Beschleunigung, Bremsen und dergleichen beinhalten. Die den autonomen Fahrzeugfunktionen beinhalten als nicht einschränkende Beispiele, eine Automatische Distanzregelung (ADR), Spurführung und Spurhalteoperation, Spurwechseloperation, Lenkunterstützungsoperation, Obj ektvermeidungsoperation, Einparkhilfeoperation, Fahrzeugbremsoperation, Fahrzeuggeschwindigkeits- und Beschleunigungsoperation, Fahrzeugquerbewegungsoperation, z. B. als Teil der Spurführung, Spurhaltung und Spurwechseloperationen, usw. Somit kann der Bremsbefehl von der autonomen Steuerung 65 unabhängig von einer Aktion des Fahrzeugführers und als Reaktion auf eine autonome Steuerungsfunktion erzeugt werden.
Die Bedienelemente können in den Fahrgastraum des Fahrzeugs 10 integriert werden und können als nicht einschränkende Beispiele ein Lenkrad, ein Gaspedal, ein Bremspedal und eine Bedienereingabevorrichtung beinhalten, die ein Element der MMS-Vorrichtung 60 ist. Die Bedienelemente ermöglichen dem Fahrzeugführer die Interaktion und den direkten Betrieb des Fahrzeugs 10 zur Personenbeförderung. Die Bedienersteuerungsvorrichtung beinhaltet das Lenkrad, das Gaspedal, das Bremspedal, den Gangwahlschalter und dergleichen, und kann bei einigen Ausführungsformen des Fahrzeugs 10 entfallen.
Die MMS-Vorrichtung 60 ermöglicht die Interaktion zwischen Mensch/Maschine, um die Bedienung eines Infotainmentsystems, eines globalen Positionssensors (GPS) 52, eines Navigationssystems und dergleichen zu steuern, und beinhaltet eine Steuerung. Die MMS-Vorrichtung 60 überwacht Bedieneranforderungen und liefert Informationen an den Bediener, einschließlich den Status der Fahrzeugsysteme sowie Service- und Wartungsinformationen. Die MMS-Vorrichtung 60 kommuniziert mit und/oder steuert den Betrieb der Vielzahl von Benutzeroberflächenvorrichtungen, worin die Benutzeroberflächenvorrichtungen zum Senden einer Nachricht in Verbindung mit einem der autonomen Fahrzeugsteuerungssysteme, in der Lage ist. Die MMS-Vorrichtung 60 kann ebenfalls mit einer oder mehreren Vorrichtungen kommunizieren, die biometrische Daten in Verbindung mit dem Fahrzeugführer überwachen, einschließlich z. B. unter anderem Blickrichtung, Haltung und Kopfpositionserfassung. Die MMS-Vorrichtung 60 ist eine einheitliche Vorrichtung zur Vereinfachung der Beschreibung, kann jedoch als mehrere Steuermodule und den entsprechenden Sensorvorrichtungen in einer Ausführungsform des hierin beschriebenen Systems eingerichtet sein. Bedieneroberflächenvorrichtungen können Vorrichtungen beinhalten, die zum Senden einer Mahnnachricht-Bedienermaßnahme in der Lage sind, und können ein elektronisches Anzeigemodul, z. B. eine Flüssigkristall-Display(LCD)-Vorrichtung, ein Heads-Up-Display (HUD) (nicht dargestellt), eine Audio-Feedbackvorrichtung, eine tragbare Vorrichtung und einen haptischen Sitz beinhalten. Die Bedieneroberflächenvorrichtungen, die in der Lage sind, das Eingreifen des Bedieners zu veranlassen, werden vorzugsweise durch oder über die MMS-Vorrichtung 60 gesteuert. Das HUD kann Informationen projizieren, die auf eine Innenseite einer Windschutzscheibe des Fahrzeugs im Sichtfeld des Fahrers reflektiert wird, umfassend das Übertragen eines Konfidenzniveaus das mit dem Betrieb eines autonomen Fahrzeugsteuersystems assoziiert ist. Das HUD kann ebenfalls erweiterte Realitätsinformationen bereitstellen, wie etwa Fahrspurort, Fahrzeugweg, Richtungs- und/ oder Ortungsinformationen und dergleichen.
Das Sichtsystem 20 besteht aus einer Vielzahl von Bilddetektoren (Kameras) 21, die mit einer Kamerasteuerung 40 in Verbindung stehen. Die Kameras 21 sind vorteilhafterweise an Stellen an dem Fahrzeug 10 angebracht und positioniert, die das Erfassen von Bilder von Sichtfeldern ermöglichen, worin mindestens ein Teil der Sichtfelder einen Aspekt der Fahrfläche 70 beinhaltet. Mindestens eines der Sichtfelder beinhaltet eine Umgebung, z. B. Fahrzeugverkehr, Straßenobjekte und andere Merkmale, den Himmel und einen Horizont. Der Himmel und der Horizont geben einen Hinweis auf die Umgebungsbeleuchtung. Die Umgebungsobjekte, wie beispielsweise Verkehrs- oder Straßenseitenobjekte können Spiegelbilder auf nassen Oberflächen projizieren, um die Identifizierung der Fahrfläche zu unterstützen. Wie gezeigt, gibt es drei Kameras 21, einschließlich einer ersten Kamera 22, einer zweiten Kamera 24 und einer dritten Kamera 26. In einer Ausführungsform kann die erste Kamera 22 auf einem vorderen Abschnitt des Fahrzeugs 10 angeordnet sein, um ein erstes Sichtfeld 32 zu überwachen, das sich vor dem Fahrzeug 10 befindet, wodurch Bilder erfasst werden, die die Fahrspur und den entgegenkommenden Verkehr vor dem Fahrzeug 10 beinhalten. In einer Ausführungsform kann die zweite Kamera 24 an einem hinteren Abschnitt des Fahrzeugs 10 angeordnet sein, um ein zweites Sichtfeld 34 zu überwachen, das hinter dem Fahrzeug 10 befindet, wodurch Bilder erfasst werden, die die Fahrspur und den Verkehr hinter dem Fahrzeug 10 beinhalten. In einer Ausführungsform kann die dritte Kamera 26 an einem Seitenabschnitt des Fahrzeugs 10 angeordnet sein, um ein drittes Sichtfeld 36 zu überwachen, das sich auf einer der rechten oder linken Seiten des Fahrzeugs 10 befindet, wodurch Bilder erfasst werden, die eine Seitenansicht des Fahrzeugs 10 beinhalten. In einer Ausführungsform kann eine vierte Kamera (nicht dargestellt) auf der anderen der rechten oder linken Seiten des Fahrzeugs 10 angeordnet sein, um ein anderes Sichtfeld zu überwachen, das die andere Seitenansicht des Fahrzeugs 10 beinhaltet. Andere Kameras 21 können an anderer Stelle am Fahrzeug 10 angeordnet sein, und eine oder mehrere der ersten Kamera 22, der zweiten Kamera 24 und der dritten Kamera 26 können konfiguriert sein, um mehrere Sichtfelder zu überwachen, die Linsenkonfigurationen, wie beispielsweise eine Fischaugen-Linse, verwenden oder drehende oder schwenkbare Anordnungen verwenden. Wie zu erkennen ist, ist die Anzahl der Kameras 21, die an dem Fahrzeug angeordnet sind, um die vorderen, hinteren und seitlichen Sichtfelder zu überwachen, wählbar.
In einer Ausführungsform, wie mit Bezug auf 7 beschrieben, kann das Sichtsystem 20 aus einem Bilddetektor (Kamera) 21 bestehen, der mit der Kamerasteuerung 40 in Verbindung steht und ein Sichtfeld aufweist, das die Fahrfläche, die Umgebung, einschließlich z. B. Fahrzeugverkehr, straßenseitige Objekte und andere Merkmale sowie den Himmel beinhaltet. Der Himmel gibt einen Hinweis auf die Umgebungsbeleuchtung.
Die Kameras 21 können so konfiguriert sein, dass sie Merkmale wie eine Pinhole-Linse, eine Fischaugen-Linse, eine Stereolinse, einen Infrarotdetektor usw. beinhalten. Jede der Kameras 21 beinhaltet einen Bilderfassungssensor, der in der Lage ist, Bilddateien des zugehörigen Sichtfeldes zu erfassen, zu verarbeiten und elektronisch zu speichern und die Bilddateien zur Speicherung und Analyse an die Kamerasteuerung 40 zu übermitteln. Wie dargestellt, gibt es eine erste Bilddatei 23, die dem ersten Sichtfeld 32 zugeordnet ist, eine zweite Bilddatei 25, die dem zweiten Sichtfeld 34 zugeordnet ist, und eine dritte Bilddatei 27, die dem dritten Sichtfeld 36 zugeordnet ist. Die Bilddateien können periodisch als eine gewünschte Rate erfasst werden, z. B. 30 Dateien pro Sekunde.
Jede der Bilddateien ist eine digitale Darstellung des jeweiligen Sichtfeldes, das bei einer ursprünglichen Auflösung der Kamera 21 erfasst wird. In einer Ausführungsform befindet sich jede der Bilddateien in Form eines 24-Bit-Stereobildes, das sichtbare RGB-Spektralwerte (Rot-Grün-Blau-Spektralwerte) und Tiefenwerte enthält, die das zugehörige Sichtfeld darstellen. Andere Ausführungsformen der Bilddatei können entweder ein 2D- oder ein 3D-Bild mit einem bestimmten Auflösungsniveau enthalten, das eine Schwarzweiß- oder Graustufen-sichtbare Spektrumsdarstellung des sichtbaren Lichts des jeweiligen Sichtfeldes, eine Infrarot-Spektrum-Darstellung des jeweiligen Sichtfeldes oder andere Bilddarstellungen ohne Einschränkung darstellt. Die Bilddarstellungen der Bilddateien können in einer Ausführungsform auf Parameter, die sich auf Helligkeit und/oder Luminanz beziehen, ausgewertet werden. Alternativ können die Bilddarstellungen basierend auf RGB-Farbkomponenten, Textur, Kontur oder Kombinationen davon ausgewertet werden. Der Bilderfassungssensor kommuniziert mit einem Encoder, der die digitale Signalverarbeitung (DSV) der jeweiligen Bilddatei ausführt. Der Bilderfassungssensor jeder der Kameras 21 kann konfiguriert sein, um das entsprechende Bild mit einer nominal Standardauflösung, z. B. 640x480 Pixel, zu erfassen. Alternativ kann der Bilderfassungssensor der Kameras 21 konfiguriert sein, um das entsprechende Bild mit einer nominal hochauflösenden Auflösung, z. B. 1440 × 1024 Pixel, oder bei einer anderen geeigneten Auflösung zu erfassen. Die Bilderfassungssensoren der Kameras 21 können Standbilder oder alternativ digitale Videobilder mit einer vorbestimmten Bilderfassungsrate erfassen. Die Bilddateien werden der Kamerasteuerung 40 als codierte Datendateien übermittelt, die in einem nicht-flüchtigen digitalen Datenspeichermedium in einer Ausführungsform für die On-Board- oder Off-Board-Analyse gespeichert sind.
Das Fahrzeug 10 beinhaltet eine Telematiksteuerung 75, die ein drahtloses Telematikkommunikationssystem beinhaltet, das in der Lage zu zusätzlicher Fahrzeugkommunikation ist, einschließlich Kommunikation mit einem Kommunikationsnetzwerksystem 90 mit drahtlosen und drahtgebundenen Kommunikationsfähigkeiten. Die Telematiksteuerung 75 ist in der Lage, Kommunikationen außerhalb des Fahrzeugs zu nutzen, die eine Fahrzeug-zu-Fahrzeug-Kommunikation (V2V) und/oder eine Fahrzeug-zu-Infrastruktur-Kommunikation (V2x) beinhalten, die Kommunikation mit einem Infrastrukturmonitor 80, z. B. einer Verkehrskamera, beinhalten kann. Alternativ oder zusätzlich weist die Telematiksteuerung 75 ein drahtloses Telematikkommunikationssystem auf, das in der Lage zu Kurzbereichs-Drahtloskommunikation an eine handgehaltene Vorrichtung ist, beispielsweise ein Mobiltelefon, ein Satellitentelefon oder eine andere Telefonvorrichtung. In einer Ausführungsform ist die tragbare Vorrichtung mit einer Softwareanwendung versehen, die ein drahtloses Protokoll zum Kommunizieren mit der Telematiksteuerung 75 umfasst und die tragbare Ausführungsform der Vorrichtung führt die externe Fahrzeugkommunikation aus, einschließlich der Kommunikation mit der externen Steuerung 95 über ein Kommunikationsnetz 90. Alternativ oder zusätzlich führt die Telematiksteuerung 75 die zusätzliche Fahrzeugkommunikation direkt durch Kommunikation mit der externen Steuerung 95 über das Kommunikationsnetzwerk 90 aus.
Der Begriff „Steuerung“ und verwandte Begriffe wie Steuermodul, Modul, Steuerung, Steuereinheit, Prozessor und ähnliche Begriffe beziehen sich auf eine oder verschiedene Kombinationen von anwendungsspezifischen integrierten Schaltungen (ASIC), elektronische Schaltung(en), Zentralrechnereinheit(en), z. B. Mikroprozessor(en) und zugehörige nichttransitorische Speicherkomponente(n) in Form von Speicher und Speichergeräten (Lesespeicher, programmierbarer Lesespeicher, Direktzugriff, Festplatte usw.). Die nichttransitorische Speicherkomponente ist in der Lage, maschinenlesbare Befehle in der Form einer oder mehrerer Software- oder Firmware-Programme oder -Routinen, kombinatorischen Logikschaltung(en), Eingabe-/Ausgabeschaltung(en) und -vorrichtungen, Signalaufbereitungs- und Pufferschaltungen und anderen Komponenten zu speichern, auf die durch einen oder mehrere Prozessoren zugegriffen werden kann, um eine beschriebene Funktionalität bereitzustellen. Eingangs-/Ausgangsschaltung(en) und Vorrichtungen beinhalten Analog-/Digitalwandler und verwandte Geräte, die Sensoreingaben mit einer vorgegebenen Abruffrequenz oder in Reaktion auf ein Auslöseereignis überwachen. Software, Firmware, Programme, Befehle, Steuerroutinen, Code, Algorithmen und ähnliche Begriffe beziehen sich auf von einer Steuereinheit ausführbare Befehlssätze, wie z. B. Kalibrierungen und Wertetabellen. Jede Steuerung führt eine oder mehrere Steuerroutinen aus, um gewünschte Funktionen bereitzustellen. Die Routinen können in regelmäßigen Intervallen, wie z. B. während des laufenden Betriebs alle 100 Mikrosekunden, ausgeführt werden. Alternativ dazu können Routinen in Reaktion auf ein Auslöseereignis ausgeführt werden. Die Kommunikation zwischen den Steuerungen und die Kommunikation zwischen Steuerungen und Stellgliedern und/oder Sensoren können über eine direkte Drahtverbindung, einen vernetzten Kommunikationsbus, eine drahtlose Verbindung oder eine andere geeignete Kommunikationsverbindung erfolgen. Die Kommunikation beinhaltet den Austausch von Datensignalen auf eine geeignete Art, darunter auch z. B. elektrische Signale über ein leitfähiges Medium, elektromagnetische Signale durch die Luft, optische Signale über Lichtwellenleiter und dergleichen. Datensignale können diskrete, analoge oder digitalisierte analoge Signale beinhalten, die Eingaben von Sensoren und Stellgliedbefehle sowie Kommunikationssignale zwischen Steuereinheiten darstellen. Der Begriff „Signal“ bezieht sich auf eine physisch wahrnehmbare Anzeige, die Informationen übermittelt und kann eine geeignete Wellenform (z. B. elektrische, optische, magnetische, mechanische oder elektromagnetische) umfassen, wie beispielsweise Gleichstrom, Wechselspannung, Sinuswellen, Dreieckswelle, Rechteckwelle, Vibration und dergleichen, die durch ein Medium laufen können.
Die Kamerasteuerung 40 und andere fahrzeugeigenen Steuerungen können eingesetzt werden, um die Fahrfläche 70 des Fahrzeugs 10 durch gleichzeitiges Erfassen und Analysieren von Bilddateien von den Kameras 21 zu bewerten, die einen Teil der Fahrfläche 70 beinhalten und auch die Umgebungsbeleuchtung erfassen, wie sie durch ein Bild des Himmels bereitgestellt werden kann. Die Bilddateien sind der Vielzahl von Sichtfeldern der Kameras 21 zugeordnet, worin mindestens ein Teil der Vielzahl von Sichtfeldern einen Teil der Fahrfläche 70 beinhaltet.
Die Eingangsbilder können zur Analyse durch einen Fahrflächen-Identifikationsprozess 100 erzeugt werden. Ein Bild, von dem Beispiele mit Bezug auf 4, 5, 6 dargestellt sind, beinhaltet Bilder von einer Vielzahl von fahrzeugeigenen Kameras 21 mit unterschiedlichen Sichtfeldern. Ein zweites Bild, das ein Beispiel mit Bezug auf 7 ist, beinhaltet Abschnitte eines Bildes von einer der fahrzeugeigenen Kameras 21, die so positioniert sind, dass sie ein Sichtfeld aufweisen, das sich vor dem Fahrzeug 10 befindet.
2 zeigt schematisch Einzelheiten eines Fahrflächen-Identifikationsprozesses 100, der in einer Ausführungsform des Fahrzeugs 10 implementiert werden kann, die unter Bezugnahme auf 1 beschrieben ist. Der Fahrflächen-Identifikationsprozess 100 ist in der Kamerasteuerung 40 ausführbar, um die Fahrfläche 70 zu klassifizieren, auf der das Fahrzeug 10 basierend auf Bildern von der Vielzahl von Kameras 21 fährt, worin die Bilder von den fahrzeugeigenen Kameras 21 unterschiedliche Sichtfelder aufweisen. Die Vielzahl der Kameras 21 beinhaltet die erste, zweite und dritte Kamera 22, 24, 26 und eine n-te Kamera 28, worin die n-te Kamera 28 eine gewünschte Anzahl an fahrzeugeigenen Kameras anzeigt. Die ersten, zweiten, dritten und n-ten Kameras 22, 24, 26, 28 erfassen und erzeugen entsprechende Bilddateien 23, 25, 27, 29, die an die Kamerasteuerung 40 übermittelt werden. Die Bilddateien 23, 25, 27, 29 werden individuell einem Extraktionsprozess 120 unterworfen, der das Identifizieren eines interessierenden Bereichs, der einem Abschnitt des Sichtfeldes der jeweiligen Kamera, der die Fahrfläche 70 beinhaltet, zugeordnet ist und das Extrahieren einer zugeschnittenen Datendatei beinhaltet. Die zugeschnittenen Datendateien sind dem jeweiligen interessierenden Bereich im Sichtfeld der jeweiligen ersten, zweiten, dritten und n-ten Kameras 22, 24, 26, 28 zugeordnet, der die Fahrfläche 70 und einen Teil der Umgebung einschließlich des Himmels zum Erfassen der Umgebungsbeleuchtung beinhaltet, und sind jeweils als zugeschnittene Bilder 122, 124, 126 und 128 dargestellt. Die zugeschnittenen Bilder 122, 124, 126 und 128 werden über Schritt 130 in eine zusammengesetzte Bilddatendatei 140 zur Verarbeitung kompiliert und die zusammengesetzte Bilddatendatei 140 wird einem Bildanalyseverfahren 150 unterzogen, um den Zustand der Fahrfläche 70 zu klassifizieren und einen Fahrflächenzustand 190 zu bestimmen. Eine alternative Ausführungsform des Fahrflächen-Identifikationsprozesses 100 kann in der Kamerasteuerung 40 ausgeführt werden, um die Fahrfläche 70, auf der das Fahrzeug 10 fährt, basierend auf einem Bild von einer einzigen der Kameras 21, z. B. der ersten Kamera 22, zu klassifizieren, die ein Bild des Sichtfelds vor dem Fahrzeug 10 erfasst.
3 zeigt schematisch eine Ausführungsform des Bildanalyseverfahrens 150 zum Klassifizieren des Zustands der Fahrfläche 70 zum Bestimmen des Fahrflächenzustands 190. Das Bildanalyseverfahren 150 beinhaltet einen Trainingsprozess 160 und einen Bildanalyseschritt 180, worin der Bildanalyseschritt 180 die zusammengesetzte Bilddatendatei 140 zum Ermitteln des Fahrflächenzustands 190 auswertet. Das Bildanalyseverfahren 150 kann auf einer oder einer Kombination von RGB-, Graustufen-, Schwarz/Weiß-Spektralanalyse basieren.
Der Trainingsprozess 160 kann offline ausgeführt werden, wobei die Ergebnisse in einer Speichervorrichtung in der Steuerung 40 im Fahrzeug 10 gespeichert sind, oder alternativ in einer Speichervorrichtung an einer entfernten Stelle, wie der Off-Board-Steuerung 95, gespeichert werden.
Das Bildanalyseverfahren 150 ist eine Darstellung eines Bildanalyseverfahrens, das auf Bildverarbeitung basiert, die einen handgefertigten Merkmalsanalyseansatz beinhaltet, der manuelle Extraktionen von Eigenschaften beinhalten kann, die dann basierend auf maschinellem Lernen Klassifikatoren separat trainiert. Alternativ vereinheitlicht ein tiefer Lernansatz den Merkmalsextraktionsprozess und den Klassifizierungsschritt durch mehrere Schichten eines neuronalen Netzwerks. Während der Ausführung des Trainingsprozesses 160 werden die Parameter des neuronalen Netzwerks gelernt, und dann wird das Echtzeit-Bild in Echtzeit in das trainierte neuronale Netzwerk eingespeist. Offline-Training und Online-Analyse basieren auf einem gemeinsamen Ansatz, der das Trainieren beinhaltet, um die unbekannten Parameter zu erlernen, wobei die Online-Analyse ausgeführt wird, um Bilder in den parametererlemten Ansatz zur Klassifizierung einzuspeisen.
Der Trainingsprozess 160 beinhaltet das Verwenden von maschinellen Lernwerkzeugen, wie beispielsweise ein künstliches neuronales Netzwerk (ANN) oder eine faltungsneuronale Netzwerkanalyse (ConvNet) oder ein anderes analytisches Verfahren. Der Trainingsprozess 160 beinhaltet das Sammeln einer Vielzahl von Trainingsbildern 161, die eine oder eine Vielzahl von Kameras verwenden, die ähnlich wie die ersten, zweiten, dritten und n-ten Kameras 22, 24, 26, 28, die hierin beschrieben sind, konfiguriert werden können. Die Trainingsbilder 161 sind Bilddateien, die Bilder der Fahrfläche 70 beinhalten, die einen einzigen Oberflächenzustand aufweisen, der im Aussehen homogen ist. Die Oberflächenbedingungen können eine trockene Fahrfläche, eine nasse Fahrfläche, eine eisbedeckte Oberfläche, eine schneebedeckte Oberfläche usw. beinhalten. Die Trainingsbilder 161 werden Schritten unterzogen, die die Vorverarbeitung 162, die Merkmalsextraktion 164 und die Klassifikatorkonstruktion 166 beinhalten, um eine Fahrbahnoberflächen-Musterdatenbank 170 zu erzeugen. Der Vorverarbeitungsschritt 162 beinhaltet Schritte zum Entfernen und Extrahieren von einem oder mehreren Bereichen von Interesse, die repräsentativ für den jeweiligen Oberflächenzustand sind und diesem entsprechen. Es werden Datendateien erfasst, die extrahierte Teile der Bilddateien sind, die von der Kamera 21 aufgenommen und aufgezeichnet wurden. Der Merkmalsextraktionsschritt 164 beinhaltet das Ausführen von statistischen Analysen, Vorlagenentsprechungen, Farb-/Helligkeitsanalysen usw. an den Daten, die in den extrahierten Abschnitten der Bilddateien enthalten sind, um Muster in den Daten zu identifizieren, die mit dem jeweiligen Oberflächenzustand korrelieren. Die Ergebnisse des Merkmalsextraktionsschritts 164 werden in den Klassifikatorkonstruktionsschritt 166 eingegeben, der einen Klassifikator 168 erzeugt, der dem jeweiligen Oberflächenzustand zugeordnet ist, der in einer Fahrbahnoberflächen-Musterdatenbank 170 erfasst werden kann. Die Fahrbahnoberflächen-Musterdatenbank 170 wird im Fahrzeug als Kalibrierungsdatei gespeichert oder an einer entfernten Stelle zur Abfrage durch das Fahrzeug gespeichert.
Der Bildanalyseschritt 180 arbeitet während des Fahrzeugbetriebs und beinhaltet das Auswerten der zusammengesetzten Bilddatendatei 140 im Hinblick auf die Fahrbahnoberflächen-Musterdatenbank 170, um in Echtzeit den Fahroberflächenzustand 190 zu ermitteln.
Der Bildanalyseschritt 180 kann die Fahrfläche 70 basierend auf der zusammengesetzten Bilddatendatei 140 unter Verwendung von maschinellen Lernwerkzeugen, wie beispielsweise einer intelligenten Vektormaschine, einem künstlichen neuronalen Netz (ANN) oder einer faltungsneuronalen Netzwerkanalyse (ConvNet) oder einem anderen analytischen Verfahren, klassifizieren. Der Bildanalyseschritt 180 und der Trainingsprozess 160 verwenden die gleichen maschinellen Lernwerkzeuge. Die durch den Bildanalyseschritt 180 erzeugte Ausgabe ist der Fahrflächenzustand 190, der als nicht einschränkende Beispiele ein trockener Zustand, ein nasser Zustand, ein Eiszustand oder ein schneebedeckter Zustand sein kann. Der Fahrflächenzustand 190 kann an die Fahrzeugsteuerung 50 übermittelt werden, die den Fahrflächenzustand 190 in der Fahrzeugdynamiksteuerung in Bezug auf Beschleunigung, Bremsen und Kurvenfahrt verwenden kann. Der Fahrflächenzustand 190 kann dem Fahrzeugführer auch über eine Mensch-Maschine-Schnittstellen (MMS)-Vorrichtung 60 mitgeteilt werden. Der Fahrflächenzustand 190 kann auch an die Telematiksteuerung 75 für eine Fahrzeug-zu-Fahrzeug (V2V)-Kommunikation, Kommunikation mit einem intelligenten Autobahnsystem oder Kommunikation mit einem anderen zusätzlichen Fahrzeugsystem übermittelt werden.
Der Trainingsprozess 160 beinhaltet das Sammeln einer Vielzahl von Trainingsbildern 161, die eine oder eine Vielzahl von Kameras verwenden, die ähnlich wie die ersten, zweiten, dritten und n-ten Kameras 22, 24, 26, 28, die hierin beschrieben sind, konfiguriert werden können. Die Trainingsbilder 161 sind Bilddateien, die Bilder der Fahrfläche 70 beinhalten, die einen einzigen Oberflächenzustand aufweisen, der im Aussehen homogen ist. Die Oberflächenbedingungen können eine trockene Fahrfläche, eine nasse Fahrfläche, eine schneebedeckte Oberfläche usw. beinhalten. Die Trainingsbilder 161 werden Schritten unterzogen, die die Vorverarbeitung 162, die Merkmalsextraktion 164 und die Klassifikatorkonstruktion 166 beinhalten, um eine Fahrbahnoberflächen-Musterdatenbank 170 zu erzeugen. Der Vorverarbeitungsschritt 162 beinhaltet Schritte zum Entfernen und Extrahieren von einem oder mehreren Bereichen von Interesse, die repräsentativ für den jeweiligen Oberflächenzustand sind und diesem entsprechen. Es werden Datendateien erfasst, die extrahierte Teile der Bilddateien sind, die von der Kamera 21 aufgenommen und aufgezeichnet wurden. Der Merkmalsextraktionsschritt 164 beinhaltet das Ausführen von statistischen Analysen usw. an den Daten, die in den extrahierten Abschnitten der Bilddateien enthalten sind, um Muster in den Daten zu identifizieren, die mit dem jeweiligen Oberflächenzustand korrelieren. Die Ergebnisse des Merkmalsextraktionsschritts 164 werden in den Klassifikatorkonstruktionsschritt 166 eingegeben, der einen Klassifikator 168 erzeugt, der dem jeweiligen Oberflächenzustand zugeordnet ist, der in einer Fahrbahnoberflächen-Musterdatenbank 170 erfasst werden kann. Die Fahrbahnoberflächen-Musterdatenbank 170 wird im Fahrzeug als Kalibrierungsdatei gespeichert oder an einer entfernten Stelle zur Abfrage durch das Fahrzeug gespeichert.
4 veranschaulicht bildhaft eine erste Ausführungsform von Bildern, die dem Fahrflächen-Identifikationsprozess 100 zugeordnet sind, der mit Bezug auf 2 und 3 beschrieben ist und auf dem Fahrzeug 10 ausgeführt wird, das unter Bezugnahme auf 1 beschrieben ist. Der Fahrflächen-Identifikationsprozess 100 beinhaltet das Kompilieren der zusammengesetzten Bilddatendatei durch Extrahieren, Zuschneiden, Drehen und Komprimieren von Abschnitten von Bildern, die die von der Vielzahl von fahrzeugeigenen Kameras aufgenommenen Fahrflächen beinhalten. Wie dargestellt, wird das zusammengesetzte Bild durch Element 430 angezeigt und beinhaltet Bilder einer Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtfeldern der Vielzahl von Kameras verbunden sind, die die Fahrfläche beinhalten und aus einer Vielzahl von gleichzeitig erfassten Bildern erzeugt werden können, die die verschiedenen Sichtfelder erfassen. Die Fahrfläche in 4 befindet sich in einem trockenen Zustand. Ein erstes Bild 422 kann von einer der Kameras mit einem vorderen Sichtfeld erfasst werden, ein zweites Bild 424 kann von einer der Kameras mit einem rückwärtigen Sichtfeld erfasst werden, ein drittes Bild 426 kann von einer der Kameras 21 mit einem linken Sichtfeld erfasst werden, und ein viertes Bild 428 kann von einer der Kameras 21 mit einem rechten Sichtfeld erfasst werden.
Die gleichzeitig erfassten ersten, zweiten, dritten und vierten Bilder 422, 424, 426 und 428 können zugeschnitten, gedreht, skaliert und in das zusammengesetzte Bild 430 zusammengefügt werden, das eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 vollständig umgibt. Das Zuschneiden beinhaltet das Entfernen von Teilen des jeweiligen Bildes, die nicht die Fahrfläche beinhalten, beispielsweise das Entfernen eines entgegenkommenden Fahrzeugs aus dem vorderen Sichtfeld, das vom ersten Bild 422 erfasst werden kann, oder das Entfernen eines anderen Fahrzeugs aus dem hinteren Sichtfeld, das vom zweiten Bild 424 erfasst werden kann. Drehen beinhaltet die Änderung der Ausrichtung des jeweiligen Bildes, wie etwa eine 900-Drehung des vierten Bildes 428, das das rechte Sichtfeld darstellt, gegen den Uhrzeigersinn, und eine 900-Drehung des dritten Bildes 426, das das linke Sichtfeld darstellt im Uhrzeigersinn. Die Skalierung kann das Komprimieren oder Erweitern eines oder mehrerer der ersten, zweiten, dritten und vierten Bilder 422, 424, 426 und 428 beinhalten. Das Zusammenfügen beinhaltet das Koppeln der resultierenden Bilder, die als erstes, zweites, drittes und viertes Bild 422', 424', 426' und 428' dargestellt sind, die auf eine Weise zugeschnitten, gedreht und/oder skaliert werden können, die eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 umgibt, das wie im zusammengesetzten Bild 430 dargestellt mit einer Ortskurve 410 dargestellt ist. Die Verfahren des Zuschneidens, Drehens und Skalieren zum Bilden der ersten, zweiten, dritten und vierten Bilder 422', 424', 426' und 428', die in das zusammengesetzte Bild 430 kompiliert werden, werden auf jeweiligen Datendateien für das erste, zweite, dritte und vierte Bild 422, 424, 426 und 428 ausgeführt und können das Entfernen von Auswahlpixeln, das Mitteln von Pixeln und andere Formen der Pixeldatenmanipulation beinhalten.
4 zeigt die Fahrfläche 70 in einem trockenen Zustand und das dritte Bild 426 hat eine geringe Luminanz und/oder Helligkeit aufgenommen, die durch einen Schatten verursacht worden sein können. Unter bestimmten Bedingungen kann das dritte Bild 426 falsch interpretiert werden, wenn sich die Fahrfläche 70 in einem nassen Zustand befindet. Der Bildanalyseschritt 180 des Fahrflächen-Identifikationsprozesses 100, der mit Bezug auf 2 und 3 beschrieben ist, kann jedoch vorteilhafterweise ausgeführt werden, um die zusammengesetzte Bilddatendatei zu bewerten, die dem zusammengesetzten Bild 430 zugeordnet ist, um in Echtzeit zu bestimmen, dass der Fahrflächenzustand 190 tatsächlich ein trockener Zustand ist, indem er das erste, zweite, dritte und vierte Bild 422', 424', 426' und 428' auswertet.
5 veranschaulicht bildhaft eine zweite Ausführungsform von Bildern, die mit dem Fahrflächen-Identifikationsprozess 100 verbunden sind, der mit Bezug auf 2 und 3 beschrieben ist und auf dem Fahrzeug 10 ausgeführt wird, das unter Bezugnahme auf 1 beschrieben ist. Der Fahrflächen-Identifikationsprozess 100 beinhaltet das Kompilieren der zusammengesetzten Bilddatendatei durch Extrahieren, Zuschneiden, Drehen und Komprimieren von Abschnitten von Bildern, die die von der Vielzahl von fahrzeugeigenen Kameras aufgenommenen Fahrflächen beinhalten. Wie dargestellt, wird das zusammengesetzte Bild durch Element 530 angezeigt und beinhaltet eine Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtfeldern der Vielzahl von Kameras verbunden sind, die die Fahrfläche beinhalten und aus einer Vielzahl von gleichzeitig erfassten Bildern erzeugt werden können, die die verschiedenen Sichtfelder erfassen. Die Fahrfläche in 5 befindet sich in einem nassen Zustand.
Ein erstes Bild 522 kann von einer der Kameras mit einem vorderen Sichtfeld erfasst werden, ein zweites Bild 524 kann von einer der Kameras mit einem rückwärtigen Sichtfeld erfasst werden, ein drittes Bild 526 kann von einer der Kameras 21 mit einem linken Sichtfeld erfasst werden, und ein viertes Bild 528 kann von einer der Kameras 21 mit einem rechten Sichtfeld erfasst werden.
Die gleichzeitig erfassten ersten, zweiten, dritten und vierten Bilder 522, 524, 526 und 528 können zugeschnitten, gedreht, skaliert und in das zusammengesetzte Bild 530 zusammengefügt werden, das eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 umgibt. Das Zusammenfügen beinhaltet das Koppeln der resultierenden Bilder, die als erstes, zweites, drittes und viertes Bild 522', 524', 526' und 528' dargestellt sind, die auf eine Weise zugeschnitten, gedreht und/oder skaliert werden können, die eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 umgibt, das wie im zusammengesetzten Bild 530 dargestellt mit einer Ortskurve 510 dargestellt ist. Die Verfahren des Zuschneidens, Drehens und Skalieren zum Bilden der ersten, zweiten, dritten und vierten Bilder 522', 524', 526' und 528', die in das zusammengesetzte Bild 530 kompiliert werden, werden auf jeweiligen Datendateien für das erste, zweite, dritte und vierte Bild 522, 524, 526 und 528 ausgeführt und können das Entfernen von Auswahlpixeln, das Mitteln von Pixeln und andere Formen der Pixeldatenmanipulation beinhalten.
5 zeigt die Fahrfläche 70 in einem nassen Zustand und das dritte Bild 526 hat eine hohe Luminanz und/oder Helligkeit, die durch Lichtunterschiede verursacht worden sein können. Unter bestimmten Bedingungen kann das dritte Bild 526 falsch interpretiert werden, wenn die Fahrfläche 70 eine schneebedeckte Oberfläche ist. Der Bildanalyseschritt 180 des Fahrflächen-Identifikationsprozesses 100, der mit Bezug auf 2 und 3 beschrieben ist, kann jedoch vorteilhafterweise ausgeführt werden, um die zusammengesetzte Bilddatendatei zu bewerten, die dem zusammengesetzten Bild 530 zugeordnet ist, um in Echtzeit zu bestimmen, dass der Fahrflächenzustand 190 tatsächlich ein nasser Zustand ist, indem er das erste, zweite, dritte und vierte Bild 522', 524', 526' und 528' auswertet.
6 veranschaulicht bildhaft eine dritte Ausführungsform von Bildern, die dem Fahrflächen-Identifikationsprozess 100 zugeordnet sind, der mit Bezug auf 2 und 3 beschrieben ist und auf dem Fahrzeug 10 ausgeführt wird, das unter Bezugnahme auf 1 beschrieben ist. Der Fahrflächen-Identifikationsprozess 100 beinhaltet das Kompilieren der zusammengesetzten Bilddatendatei durch Extrahieren, Zuschneiden, Drehen und Komprimieren von Abschnitten von Bildern, die die von der Vielzahl von fahrzeugeigenen Kameras aufgenommenen Fahrflächen beinhalten. Wie dargestellt, wird das zusammengesetzte Bild durch Element 630 angezeigt und beinhaltet eine Vielzahl von Bereichen von Interesse, die mit Abschnitten von Sichtfeldern der Vielzahl von Kameras verbunden sind, die die Fahrfläche beinhalten und aus einer Vielzahl von gleichzeitig erfassten Bildern erzeugt werden können, die die verschiedenen Sichtfelder erfassen. Die Fahrfläche in 6 befindet sich in einem schneebedeckten Zustand. Ein erstes Bild 622 kann von einer der Kameras 21 mit einem vorderen Sichtfeld erfasst werden, ein zweites Bild 624 kann von einer der Kameras 21 mit einem rückwärtigen Sichtfeld erfasst werden, ein drittes Bild 626 kann von einer der Kameras 21 mit einem linken Sichtfeld erfasst werden, und ein viertes Bild 628 kann von einer der Kameras 21 mit einem rechten Sichtfeld erfasst werden.
Die gleichzeitig erfassten ersten, zweiten, dritten und vierten Bilder 622, 624, 626 und 628 können zugeschnitten, gedreht, skaliert und in das zusammengesetzte Bild 630 zusammengefügt werden, das eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 umgibt. Das Zusammenfügen beinhaltet das Koppeln der resultierenden Bilder, die als erstes, zweites, drittes und viertes Bild 622', 624', 626' und 628' dargestellt sind, die auf eine Weise zugeschnitten, gedreht und/oder skaliert werden können, die eine Ansicht der Fahrfläche 70 darstellt, die das Fahrzeug 10 umgibt, das wie im zusammengesetzten Bild 630 dargestellt mit einer Ortskurve 610 dargestellt ist. Die Verfahren des Zuschneidens, Drehens, Skalierens und Zusammenfügens der ersten, zweiten, dritten und vierten Bilder 622', 624', 626' und 628' in das zusammengesetzte Bild 630, werden auf jeweiligen Datendateien für das erste, zweite, dritte und vierte Bild 622, 624, 626 und 628 ausgeführt und können das Entfernen von Auswahlpixeln, das Mitteln von Pixeln und andere Formen der Pixeldatenmanipulation beinhalten.
6 zeigt die Fahrfläche 70 in einem schneebedeckten Zustand. Das dritte Bild 626 hat ein geringes Maß an Luminanz und/oder Helligkeit, die durch Beleuchtung oder andere Unterschiede verursacht worden sein können. Unter bestimmten Bedingungen kann das dritte Bild 626 falsch interpretiert werden, wenn die Fahrfläche 70 eine trockene Oberfläche ist. Der Bildanalyseschritt 180 des Fahrflächen-Identifikationsprozesses 100, der mit Bezug auf 2 und 3 beschrieben ist, kann jedoch vorteilhafterweise ausgeführt werden, um die zusammengesetzte Bilddatendatei zu bewerten, die dem zusammengesetzten Bild 630 zugeordnet ist, um in Echtzeit zu bestimmen, dass der Fahrflächenzustand 190 tatsächlich ein schneebedeckter Zustand ist, indem er das erste, zweite, dritte und vierte Bild 622', 624', 626' und 628' auswertet. Wenn das Fahrzeug auf frischem Schnee fährt, zeigt das vordere Kamerabild, d. h. das erste Bild 622 keine Reifenspuren und weist ein geringes Helligkeitsniveau auf. Es kann als trockene Oberfläche klassifiziert werden. Aber zwei Seitenbilder, d. h. zweite und dritte Bilder 624 und 626 und das rückwärtige Bild 628 zeigen die vom Fahrzeug erzeugten Reifenspuren. Das Kombinieren von vier Bildern zeigt ein neues Muster, das auf Neuschnee vorhanden ist, was beim Erkennen von Neuschnee unterstützt.
7 veranschaulicht bildhaft eine Ausführungsform von Bildern, die einer alternativen Ausführungsform des Fahrflächen-Identifikationsprozesses 100 zugeordnet sind, der mit Bezug auf 2 und 3 beschrieben ist und auf dem Fahrzeug 10 ausgeführt wird, das unter Bezugnahme auf 1 beschrieben ist. Dies beinhaltet ein Originalbild 720 von einer der fahrzeugeigenen Kameras 21, das so positioniert ist, dass es ein Sichtfeld aufweist, das einen Abschnitt beinhaltet, der vor dem Fahrzeug 10 liegt. Das Originalbild 720 beinhaltet eine Fahrfläche 722, eine Umgebung 724 und einen Teil des Himmels 726 vor dem Fahrzeug 10. Der Himmel 726 gibt einen Hinweis auf die Umgebungsbeleuchtung. Die alternative Ausführungsform des Fahrflächen-Identifikationsprozesses 100 beinhaltet das Kompilieren der zusammengesetzten Bilddatendatei durch Extrahieren, Zuschneiden, Drehen und Komprimieren von Abschnitten von Bildern, die die Fahrfläche enthalten, wie sie von einer der fahrzeugeigenen Kameras, insbesondere derjenigen der Kameras mit einem vorderen Sichtfeld, aufgenommen werden. Wie dargestellt, wird das zusammengesetzte Bild durch das Element 730 angezeigt und beinhaltet einen interessierenden Bereich, der dem vorderen Sichtfeld der Vorwärtskamera zugeordnet ist, der die Fahrfläche und die Umgebungsbeleuchtung beinhaltet. Die Fahrfläche befindet sich in einem trockenen Zustand. Das Originalbild 720 kann von der Kamera mit dem vorderen Sichtfeld erfasst werden.
Das zusammengesetzte Bild 730 beinhaltet ein erstes Bild 720' und ein zweites Bild 732. Das erste Bild 720' kann durch Zuschneiden und/oder Skalieren des ersten Originalbildes 720 erzeugt werden, sodass ein interessierender Bereich die Fahrfläche 722' beinhaltet, die in dem vorderen Sichtfeld erfasst wird, die Umgebung 724' und den Himmel 726' zum Auswerten der Umgebungsbeleuchtung, die Abschnitte des Originalbildes 720 sind, die dem Zuschneiden, der Datenkomprimierung und anderen Extraktionstechniken unterzogen wurden. In einer Ausführungsform können Teile des ersten Bildes 720, die Fahrzeuge, Geländeabschnitte und andere Nicht-Fahrflächenabschnitte in dem vorderen Sichtfeld beinhalten, entfernt werden, um das zweite Bild 732 zu erzeugen. Das zweite Bild 732 kann durch Zuschneiden und Skalieren des ersten Originalbildes 720 erzeugt werden, sodass ein interessierender Bereich nur die Fahrfläche in dem vorderen Sichtfeld beinhaltet, das unmittelbar vor dem Fahrzeug 10 liegt, z. B. innerhalb eines vordefinierten Fahrweges, beispielsweise bei 25 Fuß von der Vorderseite des Fahrzeugs 10. Dies beinhaltet das Entfernen von Teilen des ersten Bildes 720, die Fahrzeuge, Geländeabschnitte und andere Nicht-Fahrflächenabschnitte beinhalten.
Das zusammengesetzte Bild 730 zeigt eine Ansicht der Fahrfläche 70 vor dem Fahrzeug 10. Der Bildanalyseschritt 180 des Fahrflächen-Identifikationsprozesses 100, der mit Bezug auf 2 und 3 beschrieben ist, kann vorteilhafterweise ausgeführt werden, um die zusammengesetzte Bilddatendatei zu bewerten, die dem zusammengesetzten Bild 730 zugeordnet ist, um in Echtzeit den Fahrflächenzustand 190 durch Auswerten der ersten und zweiten Bilder 720' und 732 zu bestimmen.
In einer Ausführungsform kann das Originalbild 720 dem hierin beschriebenen Bildanalyseverfahren 150 unterzogen werden. Somit liefert der Himmelabschnitt 726 einen Hinweis auf die Umgebungsbeleuchtung, die in die entsprechende Straßenbilddarstellung integriert werden kann, was die Notwendigkeit eines Tagesmodells und eines Nachtmodells und eine Eingabe von einem Umgebungsbeleuchtungssensor überflüssig macht. Die Erkennung wird weiter verbessert, indem eine Analyse aus der Umgebung 724 verwendet wird, z. B. das Vorhandensein von Schnee auf der Straße basierend auf dem Vorhandensein von Schnee in der Umgebung, das Erkennen eines nassen Straßenzustands und das Erkennen von Umgebungsobjekten auf der Straße. Wiederum kann das Bildanalyseverfahren 150 auf einer Bildverarbeitung basieren, die einen handgefertigten Merkmalsanalyseansatz beinhaltet, der das manuelle Extrahieren von Merkmalen und das anschließende Training von Klassifikatoren basierend auf maschinellem Lernen einschließen kann. Alternativ vereinheitlicht ein tiefer Lernansatz den Merkmalsextraktionsprozess und den Klassifizierungsschritt durch mehrere Schichten eines neuronalen Netzwerks. Während des Trainingsprozesses werden die Parameter des neuronalen Netzwerks gelernt, und dann wird das Echtzeit-Bild in Echtzeit in das trainierte neuronale Netzwerk eingespeist.
Das augenblickliche Aussehen der Fahrfläche 70 kann aufgrund von Wetterbedingungen bei verschiedenen Perspektiven eine gewisse Gleichförmigkeit aufweisen. Das Kombinieren der Kamerabilder an den verschiedenen Sichtfeldern in einer Ansicht der Fahrfläche 70, die das Fahrzeug 10 umgibt, kann eine vollständigere Perspektive der Fahrfläche 70 bereitstellen als ein Bild von einer einzigen Kamera, das durch lokales Rauschen wie Schatten und reflektiertes Licht beeinflusst werden kann. Darüber hinaus können Bilder aus dem Sichtfeld von Seitenansichts- und Rückfahrkameras zusätzlich zu denjenigen, die nur von einer Frontsichtkamera erzeugt werden, weitere Funktionen bieten. Als solches bietet das zusammengesetzte Bild ein vollständigeres Bild der gesamten Straßenzustandsumgebung, das dazu dient, Straßenrauschen zu lindern, das von einer einzelnen Kamera (wie dem Fahrzeugschatten) erfasst wird. Es wird auch ein verbessertes Bildanalyseergebnis ermöglicht, einschließlich das Lernen von Merkmalen und Merkmalklassifizierung, da vier unabhängige lokale Bilder relevant werden und für ein besseres Lernen von Merkmalen korreliert werden. Des Weiteren ermöglicht die zusammengesetzte Bildszene eine Kontextrelevanz zwischen einzelnen Bildszenen für ein verbessertes Lernen und Klassifizieren von Merkmalen. Die zusammengesetzte Bildanalyse kann die Datenverarbeitung und Algorithmusentwicklung vereinfachen, da Datenbeschriftung und -training in einem Prozess statt in vier weiteren Prozessen durchgeführt werden können und ein einziger Algorithmus-Framework anstelle von vier weiteren Algorithmen mit der Entwicklung eines zusätzlichen Fusionsalgorithmus angewendet werden kann. Wenn bei einer Ausführungsform des Fahrzeugs 10 mit einer autonomen Funktionalität implementiert, können die Ergebnisse des Fahrflächen-Identifikationsprozesses 100 von der autonomen Steuerung 65 verwendet werden, um autonom Fahrzeugbremsen zu betätigen, um die Kondenswasserbildung auf Fahrzeugbremsen zu mindern. Darüber hinaus können die Ergebnisse des Fahrflächen-Identifikationsprozesses 100 von der autonomen Steuerung 65 verwendet werden, um autonom ein Traktionssteuerungssystem zur Minderung der Kondenswasserbildung an Fahrzeugbremsen zu betätigen. Darüber hinaus können die Ergebnisse des Fahrflächen-Identifikationsprozesses 100 über ein drahtloses Kommunikationssystem kommuniziert werden, um andere Fahrzeuge über den Oberflächenzustand zu warnen. Darüber hinaus können die Ergebnisse des Fahrflächen-Identifikationsprozesses 100 von der autonomen Steuerung 65 und der MMS-Vorrichtung 60 verwendet werden, um einen Fahrer auf eine potentiell reduzierte Traktion zwischen Fahrzeugreifen und der Fahrfläche aufmerksam zu machen und einen Fahrer des Fahrzeugs vor einer Verwendung von automatisierten Funktionen, wie beispielsweise Geschwindigkeitsregelung, aufmerksam zu machen.
Die Blockdiagramme in den Flussdiagrammen veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedener Ausführungsformen der vorliegenden Offenbarung. In dieser Hinsicht kann jeder Block in den Blockdiagrammen ein Modul, ein Segment oder einen Teil eines Codes darstellen, der eine oder mehrere ausführbare Befehle zum Implementieren der spezifizierten logischen Funktion(en) beinhaltet. Es wird auch darauf hingewiesen, dass jeder Block der Blockdiagramme und/oder Flussdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammdarstellungen durch dedizierte Funktionen Hardware-basierte Systeme, welche die spezifizierten Funktionen oder Maßnahmen durchführen, oder Kombinationen von dedizierten Funktionen Hardware- und Computeranweisungen implementiert werden können. Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert sein, das einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung steuern kann, um in einer bestimmten Art und Weise zu funktionieren, sodass die in dem computerlesbaren Medium gespeicherten Befehle einen Herstellungsartikel erzeugen, einschließlich Anweisungsmitteln, die die Funktion/Vorgang, der in dem Flussdiagramm und/oder Blockdiagrammblock oder Blöcken angegeben ist, implementieren.
Während die ausführliche Beschreibung und die Zeichnungen oder Figuren die vorliegenden Lehren unterstützen und beschreiben, wird der Umfang der vorliegenden Lehren jedoch einzig und allein durch die Ansprüche definiert. Während einige der besten Ausführungsformen und anderen Arten zur Ausführung der vorliegenden Lehren ausführlich beschrieben wurden, sind verschiedene alternative Konstruktionen und Ausführungsformen zur Umsetzung der vorliegenden Lehren, die in den hinzugefügten Ansprüchen definiert sind, möglich.

Claims

Verfahren zum Bewerten einer Fahrfläche für ein Fahrzeug, das Verfahren umfassend: das Erfassen einer Vielzahl von Bildern, die einer Vielzahl von Sichtfeldern der jeweiligen Kameras zugeordnet sind, über eine Vielzahl von fahrzeugeigenen Kameras, worin mindestens ein Teil jedes der Sichtfelder die Fahrfläche beinhaltet; Identifizieren entsprechender interessierender Bereiche für die Bilder, worin jeder der interessierenden Bereiche dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet; Extrahieren von Abschnitten der Bilder, worin jeder extrahierte Abschnitt des jeweiligen Bildes dem interessierenden Bereich im Abschnitt des Sichtfeldes der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet; das Kompilieren der extrahierten Abschnitte der Bilder in eine zusammengesetzte Bilddatendatei; das Ausführen einer Bildanalyse der zusammengesetzten Bilddatendatei über eine Steuerung; Bestimmen eines Fahrflächenzustands basierend auf der Bildanalyse der zusammengesetzten Bilddatendatei; und Kommunizieren des Fahrflächenzustands an eine fahrzeugeigene Steuerung.
Verfahren nach Anspruch 1, worin die zusammengesetzte Bilddatendatei ein zusammengesetztes Bild umfasst, das die Fahrfläche beinhaltet, die das Fahrzeug umgibt.
Verfahren nach Anspruch 2, worin das zusammengesetzte Bild, das die Fahroberfläche beinhaltet, die das Fahrzeug umgibt, einen ersten Abschnitt beinhaltet, der der Fahrfläche vor dem Fahrzeug zugeordnet ist, einen zweiten Abschnitt, der der Fahrfläche hinter dem Fahrzeug zugeordnet ist, einen dritten Abschnitt, der der Fahrfläche an einer linken Seite des Fahrzeugs zugeordnet ist, und einen vierten Abschnitt, der der Fahrfläche an einer rechten Seite des Fahrzeugs zugeordnet ist.
Verfahren nach Anspruch 1, worin das Bestimmen des Fahrflächenzustands das Bestimmen eines trockenen Zustands, eines nassen Zustands, eines vereisten Zustands und eines schneebedeckten Zustands umfasst.
Verfahren nach Anspruch 1, worin das Bestimmen des Fahrflächenzustands basierend auf der Bildanalyse der zusammengesetzten Bilddaten Folgendes umfasst: Vergleichen von Ergebnissen der Bildanalyse der zusammengesetzten Bilddatendatei mit einer Vielzahl von Oberflächenzuständen, die in einer Fahrbahnoberflächen-Musterdatenbank erfasst werden; und Klassifizieren des Fahrflächenzustands über die Steuerung basierend auf den verglichenen Ergebnissen der Bildanalyse.
Verfahren zum Bewerten einer Fahrfläche für ein Fahrzeug, das Verfahren umfassend: das Erfassen eines Bildes, das einem Sichtfeld der Kamera zugeordnet ist, über eine fahrzeugeigene Kamera, worin das Sichtfeld die Fahrfläche und eine Umgebung beinhaltet; Identifizieren einer Vielzahl von interessierenden Bereichen für das Bild, worin die interessierenden Bereiche einem Abschnitt des Sichtfelds der Kamera zugeordnet sind, der die Fahrfläche und die Umgebung vor dem Fahrzeug beinhaltet; das Ausführen einer Bildanalyse des Bildes über eine Steuerung; Bestimmen eines Fahrflächenzustands basierend auf der Bildanalyse des Bildes; und das Kommunizieren des Fahrflächenzustands an eine fahrzeugeigene Steuerung.
Verfahren nach Anspruch 6, ferner umfassend: das Extrahieren von Abschnitten des Bildes, worin einer der Abschnitte des Bildes dem interessierenden Bereich im Abschnitt des Sichtfeldes der Kamera zugeordnet ist, der die Fahrfläche beinhaltet, und worin einer der Abschnitte des Bildes die Umgebung beinhaltet; das Kompilieren der extrahierten Teile des Bildes in eine zusammengesetzte Bilddatendatei; Ausführen einer Bildanalyse der zusammengesetzten Bilddatendatei über die Steuerung; und das Ermitteln des Fahrflächenzustands basierend auf der Bildanalyse der zusammengesetzten Bilddatendatei.
Verfahren nach Anspruch 6, worin das Ausführen der Bildanalyse des Bildes das Verwenden einer tiefen Lernanalyse zum Bewerten des Bildes umfasst.
Fahrzeug, das auf einer Fahrfläche angeordnet ist, umfassend: ein Sichtsystem, einschließlich: eine Vielzahl von fahrzeugeigenen Kameras, die angeordnet sind, um eine entsprechende Vielzahl von Sichtfeldern zu überwachen, die das Fahrzeug umgeben, eine erste Steuerung, die operativ mit den fahrzeugeigenen Kameras verbunden ist und mit einer zweiten Steuerung kommuniziert, wobei die erste Steuerung einen ersten Befehlssatz beinhaltet, wobei der erste Befehlssatz ausführbar ist zum: Erfassen einer Vielzahl von Bildern, die einer Vielzahl von Sichtfeldern der jeweiligen Kameras zugeordnet sind, über die fahrzeugeigenen Kameras, worin mindestens ein Teil jedes der Sichtfelder die Fahrfläche beinhaltet; Identifizieren entsprechender interessierender Bereiche für die Bilder, worin jeder der interessierenden Bereiche dem Abschnitt des Sichtfelds der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet; Extrahieren von Abschnitten der Bilder, worin jeder extrahierte Abschnitt des jeweiligen Bildes dem interessierenden Bereich im Abschnitt des Sichtfeldes der jeweiligen Kamera zugeordnet ist, der die Fahrfläche beinhaltet; Kompilieren der extrahierten Abschnitte der Bilder in eine zusammengesetzte Bilddatendatei; Ausführen einer Bildanalyse der zusammengesetzten Bilddatendatei; Bestimmen eines Fahrflächenzustands basierend auf der Bildanalyse der zusammengesetzten Bilddatendatei; und das Kommunizieren des Fahrflächenzustands an die zweite Steuerung.
Fahrzeug nach Anspruch 9, worin die zweite Steuerung operativ mit einer Vorrichtung verbunden ist, die zum Ausführen einer Fahrzeugfunktion konfiguriert ist, wobei die zweite Steuerung einen zweiten Befehlssatz beinhaltet, wobei der zweite Befehlssatz ausführbar ist zum: Überwachen des von der ersten Steuerung übertragenen Fahrflächenzustands; und Steuern der Vorrichtung, die konfiguriert ist, um die Fahrzeugfunktion basierend auf dem Fahrflächenzustand auszuführen.