DE102019103341A1

DE102019103341A1 - Es sind systeme, verfahren und vorrichtungen zur verbesserten oberflächenzustandserfassung basierend auf bildszenen und umgebungslichtanalyse vorgesehen

Info

Publication number: DE102019103341A1
Application number: DE102019103341.1A
Authority: DE
Inventors: Qingrong Zhao; Mohsen Khali; Jinsong Wang; Bakhtiar B. Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-02-14
Filing date: 2019-02-11
Publication date: 2019-08-14
Also published as: US10678255B2; CN110163074A; CN110163074B; US20190250630A1

Abstract

Es sind Systeme, Verfahren und Vorrichtungen zum Erfassen von Oberflächenzuständen vorgesehen, die Folgendes beinhalten: einen Satz von einer Vielzahl von Interessenbereichen (ROIs); und einen Prozessor, der zum Empfangen der Bildszene konfiguriert ist, um: mindestens einen ersten und einen zweiten ROI aus dem Satz von der Vielzahl von ROIs der Bildszene zu extrahieren; den ersten ROI einem Oberhorizontbereich zuzuordnen und den zweiten ROI einem Oberflächenbereich zuzuordnen; den ersten ROI und den zweiten ROI parallel für einen Zustand in Bezug auf eine Umgebungsbeleuchtung im ersten ROI und für die Wirkung in Bezug auf die Umgebungsbeleuchtung im zweiten ROI zu analysieren; und aus den ersten ROI-Funktionen den Zustand der Umgebungsbeleuchtung zu extrahieren und aus den zweiten ROI-Funktionen die Wirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich zu extrahieren.

Description

TECHNISCHES GEBIET
Das technische Gebiet bezieht sich im Allgemeinen auf die Bildverarbeitung, und insbesondere auf Systeme, Verfahren und Vorrichtungen zur Oberflächenzustandserfassung basierend auf der Erfassung einer gesamten Bildszene und der Integration der Umgebungslichtanalyse zum Verbessern der Erfassung einer Vielzahl von Oberflächenzuständen, die in einem Interessensbereich (ROI) des gesamten Bildes erfasst wurden, um die Fahrzeugleistung und -sicherheit in Verbindung mit dem jeweiligen Oberflächenzustand zu verbessern.
EINLEITUNG
Die Bilder des Fahrbahnoberflächenzustands können unter verschiedenen Lichtverhältnissen variieren, und diese Variation kann Hindernisse beim genauen Erfassen oder Versuchen, einen bestimmten Fahrbahnoberflächenzustand zu erfassen, darstellen. Eine Umgebungslichtzustandsanalyse basierend auf dem Erfassen einer gesamten Bildszene, die sowohl Oberflächen- als auch Informationen zum Fahrbahnhorizont enthält, kann sich als nützlich erweisen, um das Erfassen des Fahrbahnzustands zu verbessern. Das heißt, durch das Analysieren von Kamerabildern, die von ganzen Szenen über ein Fahrzeug projiziert werden, die Oberflächenbereiche sowie umliegende Bereiche der oberen Horizontbereiche einschließlich, aber nicht beschränkt auf den Himmel, Bäume und Seitenflächenbereiche beinhalten; die Auswirkungen von Projektionen einschließlich Schatten und Beleuchtung aus der Umgebung auf die Oberflächenbereiche können auch zusammen mit der Analyse der besonderen Oberflächenbedingungen zum besseren Identifizieren von bestimmten Oberflächenzuständen analysiert werden. So können beispielsweise Sonnenlicht oder Schatten, die auf eine Fülle von Fahrbahnbedingungen projiziert werden, einschließlich vereisten, nassen, trockenen, nicht vereisten, schneebedeckten usw. Fahrbahnbeschaffenheiten, in aufgenommenen Kamerabildern analysiert werden, indem die Umgebungslichtanalyse der gesamten aufgenommenen Szene verwendet wird.
Im Allgemeinen wurde jedoch keine andere Bildszene als die Analyse der Fahrbahnoberfläche und des Umgebungslichtzustands in die Fahrbahnoberfläche integriert, oder in diesem Fall keine Erfassung und Analyse des Fahrbahnzustands; auch wenn diese Szenen- und Umgebungslichtbedingungen in manchen Fällen häufig mit der Änderung des Fahrbahnoberflächenzustands der aufgenommenen Bilder korrelieren. Daher kann in Anbetracht dieser Korrelation mit einer Änderung, die in Bildern des Fahrbahnzustands auftritt, eine verbesserte Fahrbahnzustandserkennung realisierbar sein oder zu Ergebnissen für Fahrbahnzustandserkennungen basierend auf erfassten Bildszenen unter Einbeziehung der Umgebungslichtzustandsanalyse führen, als dies derzeit für die Fahrbahnzustandserkennung verfügbar ist. Dies kann insbesondere beim Erfassen von vereisten, trockenen, nassen und schneebedeckten Fahrbahnbeschaffenheiten der Fall sein, da sich bei eisigen, trockenen, nassen und schneebedeckten Fahrbahnoberflächen oft signifikante Unterschiede in den Beleuchtungsbedingungen zeigen, die sich daraus ergeben, dass eine in die Fahrbahnoberflächenzustandserfassung integrierte Umgebungslichtzustandsanalyse beim Erkennen von Fahrbahnoberflächenzuständen basierend auf einer Bildszene das Gleichgewicht beeinträchtigen oder mildern kann, was zu besseren Ergebnissen bei der Fahrbahnoberflächenzustandserfassung führt.
Ein autonom oder halb-autonom unterstütztes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit wenig oder keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug oder halb-autonomes Fahrzeug tastet seine Umgebung mithilfe von einer oder mehreren Erfassungsvorrichtungen, wie beispielsweise Radar, Lidar, Bildsensoren und dergleichen ab. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren. Die Fähigkeiten der Umgebungsabtastung eines autonomen sowie eines halbautonomen oder in diesem Fall eines herkömmlichen fahrerunterstützten Fahrzeugs würden durch eine Fahrbahnzustandserkennung basierend auf Bildszenen und Umgebungslichtanalysen verbessert. Das heißt, die Fähigkeiten einer verbesserten Umgebungsabtastung sind für alle Arten von Fahrzeugen von Vorteil, die derzeit oder zukünftig eingesetzt werden, und sie sind auch für Nicht-Fahrzeuganwendungen anwendbar. So beispielsweise mit der Verwendung von Kameras, die an Kreuzungen montiert sind und Straßenszenen beobachten und Fahrbahnbeschaffenheiten erfassen, die den betrachteten Kameraszenen zugeordnet sind.
Dementsprechend ist es wünschenswert, die Umgebungslichtzustandsanalyse basierend auf einer Bildszene in das Oberflächenzustandserkennungssystem, -verfahren und - Vorrichtung für ein Fahrzeug zu integrieren. Darüber hinaus ist es wünschenswert, Systeme, Verfahren und Vorrichtungen zur Oberflächenzustandserkennung basierend auf einer Bildszenen- und Umgebungslichtzustandsanalyse für autonome, halbautonome und herkömmliche Fahrzeuge vorzusehen. Ebenso ist es wünschenswert, eine derartige Oberflächenzustandsanalyse für nicht-fahrzeuggebundene Anwendungen vorzusehen. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Es sind Systeme, Verfahren und Vorrichtungen zum Erfassen von Oberflächenzuständen vorgesehen.
In einer Ausführungsform ist ein Oberflächenerfassungssystem zum Erfassen von Oberflächenzuständen vorgesehen. Das Oberflächenerfassungssystem beinhaltet: eine von einer Kamera aufgenommene Bildszene, worin die Bildszene beinhaltet: einen Satz von einer Vielzahl von Interessenbereichen (ROIs); und einen Prozessor, der zum Empfangen der Bildszene konfiguriert ist, um: mindestens einen ersten und einen zweiten ROI aus dem Satz von der Vielzahl von ROIs der Bildszene zu extrahieren; den ersten ROI einem Oberhorizontbereich zuzuordnen und den zweiten ROI einem Oberflächenbereich zuzuordnen; den ersten ROI und den zweiten ROI parallel für einen Zustand in Bezug auf eine Umgebungsbeleuchtung im ersten ROI und für die Wirkung in Bezug auf die Umgebungsbeleuchtung im zweiten ROI zu analysieren; und aus den ersten ROI-Funktionen den Zustand der Umgebungsbeleuchtung zu extrahieren und aus den zweiten ROI-Funktionen die Wirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich zu extrahieren.
Das Oberflächenerfassungssystem beinhaltet ferner: das Analysieren des zweiten ROI, um Merkmale der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu extrahieren, die mit Eigenschaften des ersten ROI der Umgebungslichtbedingungen basierend auf einer Vielzahl von Bildattributen übereinstimmen, worin die extrahierten Merkmale Folgendes beinhalten: einen gemeinsamen Satz von Merkmalen für beide ROIs. Die Bildattribute beinhalten: einen Satz von einer oder mehreren Texturen, eine Helligkeit sowie eine Farbinformation. Das Oberflächenerfassungssystem beinhaltet ferner: das Erzeugen eines oder mehrerer gemeinsamer Merkmalssätze aus beiden ROIs durch Kombinieren jedes gemeinsamen Merkmalssatzes mit einem oder mehreren der einzelnen Bildattribute. Das Oberflächenerfassungssystem beinhaltet ferner: das Klassifizieren jedes der gemeinsamen Merkmale durch einen Klassifizierer auf einen bestimmten Oberflächentyp. Das Oberflächenerfassungssystem beinhaltet ferner: ein autonomes, halbautonomes oder nicht autonomes Fahrzeugsystem oder Nicht-Fahrzeuganwendungen. Der Prozessor ist konfiguriert, um: bezüglich der Pixelwerte der ersten ROI-Merkmale den Zustand der Umgebungsbeleuchtung und Schwellenwerte bezüglich der Pixelwerte der zweiten ROI-Merkmale die Wirkung der Umgebungsbeleuchtung auf den Oberflächenbereich zu bestimmen.
In weiteren Ausführungsformen ist ein Verfahren zum Erfassen von Oberflächenzuständen vorgesehen. Das Verfahren beinhaltet: das Aufnehmen einer Bildszene durch eine Kamera, worin die Bildszene Folgendes beinhaltet: einen Satz von einer Vielzahl von Interessensbereichen (ROIs); Extrahieren von mindestens einem ersten und einem zweiten ROI aus dem Satz der Vielzahl von ROIs der Bildszene durch einen dem Fahrzeug zugeordneten Prozessor; Zuordnen des ersten ROI zu einem Bereich über dem Horizont durch den Prozessor und Zuordnen des zweiten ROI zu einem Oberflächenbereich; Analysieren des ersten ROI und des zweiten ROI durch den Prozessor parallel für einen Zustand, der sich auf eine Umgebungsbeleuchtung im ersten ROI bezieht, und für eine Wirkung, die sich auf die Umgebungsbeleuchtung im zweiten ROI bezieht; und Extrahieren von Merkmalen des Umgebungslichtzustands aus den ersten ROI-Merkmalen durch den Prozessor und Extrahieren von Merkmalen der Auswirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich aus dem zweiten ROI.
Das Verfahren beinhaltet ferner: ein autonomes, halbautonomes, nicht autonomes Ansteuerverfahren oder eine Nicht-Fahrverwendung. Das Verfahren beinhaltet ferner: das Ergreifen einer Maßnahme durch den Prozessor basierend auf dem Merkmal des Oberflächenzustands oder der Wirkung auf die Oberfläche in Verbindung mit der Fahrzeugsteuerung. Das Verfahren beinhaltet ferner: das Ergreifen einer Maßnahme des Prozessors basierend auf dem Oberflächenzustand oder der Wirkung auf die Oberfläche zum Senden von Benachrichtigungen zum Melden eines bestimmten Oberflächenzustands oder einer bestimmten Wirkung auf die Oberfläche. Das Verfahren beinhaltet ferner: das Analysieren des zweiten ROI durch den Prozessor, um Merkmale der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu extrahieren, die mit Eigenschaften des ersten ROI der Umgebungslichtbedingungen basierend auf einer Vielzahl von Bildattributen übereinstimmen, worin die extrahierten Merkmale Folgendes beinhalten: einen gemeinsamen Satz von Merkmalen für beide ROIs. Die Bildattribute beinhalten: einen Satz von einer oder mehreren Texturen, eine Helligkeit sowie eine Farbinformation. Das Verfahren beinhaltet ferner: das Erzeugen eines oder mehrerer gemeinsamer Merkmalssätze aus beiden ROIs durch den Prozessor durch Kombinieren jedes gemeinsamen Merkmalssatzes mit einem oder mehreren der einzelnen Bildattribute. Das Verfahren beinhaltet ferner: das Analysieren des zweiten ROI, um Merkmale der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu extrahieren, die mit Merkmalen des ersten ROI der Umgebungslichtauswirkungen basierend auf einer Vielzahl von Bildattributen übereinstimmen, worin die extrahierten Merkmale Folgendes beinhalten: einen gemeinsamen Satz von Merkmalen für beide ROIs.
In noch einer weitere Ausführungsform ist eine Oberflächenerfassungsvorrichtung vorgesehen. Die Oberflächenerfassungsvorrichtung beinhaltet: eine Kamera zum Erzeugen von Bildern, worin die Bilder Folgendes beinhalten: Interessensbereiche (ROI); ein Prozessormodul, das zum Empfangen der Bilder konfiguriert ist, um: mindestens einen ersten und einen zweiten ROI aus dem Satz von der Vielzahl von ROIs der Bildszene zu extrahieren; den ersten ROI einem Oberhorizontbereich zuzuordnen und den zweiten ROI einem Oberflächenbereich zuzuordnen; den ersten ROI und den zweiten ROI parallel für einen Zustand in Bezug auf eine Umgebungsbeleuchtung im ersten ROI und für die Wirkung in Bezug auf die Umgebungsbeleuchtung im zweiten ROI zu analysieren; und aus den ersten ROI-Funktionen den Zustand der Umgebungsbeleuchtung zu extrahieren und aus den zweiten ROI-Funktionen die Wirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich zu extrahieren.
Die Vorrichtung beinhaltet ferner: eine autonome, eine halbautonome oder eine herkömmliche Antriebsvorrichtung. Die Vorrichtung beinhaltet ferner: eine Cloud-verbundene Vorrichtung zum Senden von Nachrichten zu Oberflächenzuständen an Netzwerke von Drittanbietern. Die Vorrichtung beinhaltet ferner: der Prozessor ist konfiguriert, um: bezüglich der Pixelwerte der ersten ROI-Merkmale den Zustand der Umgebungsbeleuchtung und Schwellenwerte bezüglich der Pixelwerte der zweiten ROI-Merkmale die Wirkung der Umgebungsbeleuchtung auf den Oberflächenbereich zu bestimmen. Die Vorrichtung beinhaltet ferner: der Prozessor ist konfiguriert, um: den zweiten ROI zum Extrahieren von Merkmalen der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu analysieren, die mit Merkmalen des ersten ROI der Auswirkungen der Umgebungsbeleuchtung basierend auf einer Vielzahl von Bildattributen übereinstimmen, worin die extrahierten Merkmale Folgendes beinhalten: einen gemeinsamen Merkmalssatz für beide ROIs; einen oder mehrere gemeinsame Merkmalssätze aus beiden ROIs durch Kombinieren jedes gemeinsamen Merkmalssatzes mit einem oder mehreren von jedem Bildattribut zu erzeugen; und die einzelnen gemeinsamen Merkmalssätze durch einen Klassifizierer für einen bestimmten Oberflächentyp zu klassifizieren.
Es wird darauf hingewiesen, dass das Verfahren in verschiedenen Ausführungsformen Schritte enthält, die den Funktionen einer oder mehrerer der verschiedenen Ausführungsformen des vorstehend beschriebenen Oberflächenzustandserkennungssystems und der Vorrichtung entsprechen.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein Fahrzeug mit einem Fahrbahnoberflächenerfassungssystem gemäß verschiedenen Ausführungsformen veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen oder halbautonomen Fahrzeugen gemäß verschiedenen Ausführungsformen veranschaulicht.
3 ist ein Datenflussdiagramm, das ein autonomes oder halbautonomes Antriebssystem veranschaulicht, das ein Fahrbahnerfassungssystem in einem autonomen oder halbautonomen Fahrzeug gemäß verschiedenen Ausführungsformen beinhaltet;
4 ist ein Diagramm, das die Montage von Kameras für ein Fahrzeug für das Fahrbahnoberflächenerfassungssystem gemäß verschiedenen Ausführungsformen veranschaulicht;
5 ist ein Diagramm, das ein Fahrbahnoberflächenerfassungssystem unter Einbeziehung der Umgebungslichtanalyse gemäß verschiedenen Ausführungsformen veranschaulicht;
Die 6A und 6B sind Diagramme, die ein Offline-Bildtraining in Verbindung mit dem Fahrbahnoberflächenerfassungssystem unter Einbeziehung der Umgebungslichtanalyse gemäß verschiedenen Ausführungsformen veranschaulichen;
7 veranschaulicht Bilder von Interessensbereichen oberhalb des Fahrbahnhorizonts und der Fahrbahn der gesamten Bildszene des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen;
8 veranschaulicht Bilder von Interessensbereichen des Himmels des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen;
9 veranschaulicht Bilder von Auswirkungen von Sonnenlicht, das bei der Analyse von Interessensbereichen des Fahrbahnoberflächenerfassungssystems auf eine Fahrbahnoberfläche projiziert wird, wobei die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen berücksichtigt wird;
Die 10A, 10B und 10C veranschaulichen Bilder der gesamten Szene, einschließlich der nassen Oberfläche und der Auswirkungen von Schatten, die auf die Oberfläche reflektiert werden, sowie der Umgebung der gesamten Szene in bestimmten Interessensbereichen, die vom Fahrbahnoberflächenerfassungssystem analysiert werden, das die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen beinhaltet;
Die 11A, 11B, 11C, 11D, 11E und 11F veranschaulichen Bilder einer gesamten Bildszene, einschließlich einer trockenen Oberfläche, und die Auswirkungen von Schatten, Sonnenlicht, sonnigem Himmel, klarem blauem Himmel, Bäumen von bestimmten Interessensbereichen, welche die gesamte Bildszene ergeben, die mittels des Fahrbahnoberflächenerfassungssystems analysiert wurde, das die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen beinhaltet; und
12 ist ein Flussdiagramm, das die Schritte eines Flussdiagramms veranschaulicht, das die Schritte einer Umgebungslichtanalyse mittels eines Fahrbahnoberflächenerfassungsverfahrens gemäß einer Ausführungsform veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen beinhalten, einschließlich und ohne Einschränkung: eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Der Begriff „autonom“ bedeutet, dass das Fahrzeug die Bewegung ohne menschliches Eingreifen, oder halbautomatisch, d. h. mit einigen menschlichen Interaktionen während der Bewegung des Fahrzeugs durchführt.
Obwohl sich die teileweise Beschreibung auf autonome oder halbautonome Fahrzeuge bezieht, ist davon auszugehen, dass die beschriebenen Funktionalitäten auch auf nichtautonome Fahrzeuge und für weitere Nicht-Fahrzeuganwendungen anwendbar sein können.
Weiterhin sollten Verweise auf den „Fahrbahn“-oberflächenzustand nicht als einschränkend ausgelegt werden und können für alle „Oberflächen“-Zustände, einschließlich Nicht-Fahrbahnoberflächen, Gehwege, Gras, Gummi, Zement, Fliesen usw. gleichermaßen anwendbar sein. Darüber hinaus beinhaltet der Bereich über dem Fahrbahnhorizont jeden Bereich über der Oberfläche, einschließlich des Himmelsbereichs. Mit anderen Worten, Verweise auf Himmelsbereiche oder Bereiche über dem Fahrbahnhorizont sollten zumindest so ausgelegt werden, dass sie alle Umgebungen mit Ausnahme der Oberflächenbereiche einer bestimmten Oberfläche beinhalten.
Um einen hohen Automatisierungsgrad zu erreichen, werden Fahrzeuge häufig mit einer zunehmenden Anzahl von verschiedenen Arten von Vorrichtungen zum Analysieren der Umgebung um das Fahrzeug herum ausgestattet, wie zum Beispiel Kameras oder andere Bildgebungsvorrichtungen, die Bilder der Umgebung aufnehmen, um Merkmale innerhalb der Umgebung zu überwachen oder zu erfassen und dergleichen. In der Praxis befinden sich die verschiedenen bordeigenen Vorrichtungen an verschiedenen Stellen an Bord des Fahrzeugs und laufen typischerweise mit unterschiedlichen Abtast- oder Auffrischraten, was dazu führt, dass unterschiedliche Datentypen und Parameter, die unterschiedlichen Zeitpunkten entsprechen, aus verschiedenen Blickwinkeln oder Perspektiven erfasst werden, was insbesondere beim Ausführen von Bildverarbeitungsanwendungen immer wieder zu Anomalien oder Abweichungen führt.
Wie angegeben, wurde ein Umgebungslichtzustand, insbesondere in Verbindung mit den Auswirkungen auf die Fahrbahnoberflächenbilder, im Allgemeinen nicht in die Analyse des Fahrbahnoberflächenzustands einbezogen, auch wenn diese Umgebungslichtverhältnisse in vielen Fällen mit Veränderungen der aufgenommenen Oberflächenbilder korrelieren. Daher kann in Anbetracht dieser aufkommenden Korrelation des Umgebungslichts beim Analysieren ganzer Szenenbilder eine verbesserte Erfassung bereitgestellt werden, als sie derzeit in der aktuellen Umgebung verfügbar ist. Darüber hinaus weisen die unterschiedlichen Umgebungslichtverhältnisse bei einer derartigen verbesserten Analyse, insbesondere in Bezug auf Oberflächenbilddarstellungen, unterschiedliche RGB-Darstellungen in aufgenommenen Kamerabildern auf. So reflektieren beispielsweise die Himmelsabschnitte eines aufgenommenen Kamerabildes Umgebungslichtinformationen auf unterschiedliche Weise. Die Auswirkungen der Himmelreflexion können in den verschiedenen Beispielen wie folgt dargestellt werden: bei klaren Himmelsabschnitten können die reflektierten klaren Himmelsabschnitte zu blauen gesättigten Pixeln einer hohen Intensität führen; bei sonnigen Himmelsabschnitten können die reflektierten sonnigen Himmelsabschnitte sehr hohe Intensitäten für alle Farben aufweisen; bei Himmelabschnitten mit dunklen Wolken können die durch die dunkle Wolke reflektierten Himmelabschnitte blaue dominante ungesättigte Pixel aufweisen; und bei grünen Bäumen innerhalb des reflektierten Himmelabschnitts können die Baumabschnitte des reflektierten Himmels grüne dominante Pixel aufweisen.
Die Umgebungslichtverhältnisse können auch erhebliche Auswirkungen auf die Bilddarstellung der aufgenommenen Kamerabilder in Bezug auf reflektierte Bereiche der Fahrbahnoberfläche aufweisen. Das heißt, die Schatten auf den Fahrbahnoberflächen können Pixelinformationen mit unterschiedlicher Intensität der aufgenommenen Kamerabilder darstellen. So können beispielsweise Schatten auf Schnee und trockenen Fahrbahnen zu schwach intensiven Cyan-dominanten (d. h. grünen und blauen) Pixeln führen. Wenn Schatten auf nassen und trockenen Fahrbahnen auftreten, können Intensitäten mit einer geringen Intensität gelb-dominanter (d. h. roter und grüner) Pixel in den aufgenommenen Kamerabildern dargestellt werden. Schließlich können bei Sonneneinstrahlung auf der Fahrbahnoberfläche Intensitäten von gelben, gesättigten, hochintensiven Pixeln in den aufgenommenen Kamerabildern dargestellt werden. Folglich kann die Einbeziehung von Umgebungslichteffekten auf Fahrbahnoberflächen in die Bildanalyse zusätzliche Informationen bereitstellen, die zum Erfassen des Fahrbahnzustands nützlich sind.
Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen Systeme und Verfahren vor, die das Erfassen des Fahrbahnzustands in der Sensorhardware von Kraftfahrzeugen ermöglichen, wenn Einschränkungen der Verarbeitungsmöglichkeiten berücksichtigt werden müssen und wenn aufgenommene Bilder einer Analyse der Umgebungslichtverhältnisse unterzogen werden, um weiterhin eine robuste und praktische Lösung zu erhalten. So ist beispielsweise die Verfügbarkeit von Hardwarebeschleunigern in Automobilqualität für Hardwaresensoren bestenfalls begrenzt, und daher werden Hardwarebeschleuniger, die größtenteils in Fahrzeugsensoren verwendet werden, aus dem Verbrauchermarkt abgeleitet. Daher muss der erforderliche Analysegrad zum Erfassen des Fahrbahnzustands mit verbraucherfreundlicher oder preiswerter Sensorhardware erreicht werden.
Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen Systeme und Verfahren vor, die es ermöglichen, den Zustand der Fahrbahnoberfläche zu erfassen und die Umgebungslichtanalyse in ausreichend praktischen Ansätzen zur Verwendung mit Nutzfahrzeugen, die eine bestimmte oder angemessene Prozessorleistung verwenden oder erfordern, die im Bereich des auf dem Konsumfahrzeugmarkt verwendeten Prozessors liegt. Das heißt, dass die Algorithmen zum Unterstützen der Umgebungslichterkennungsanalyse sollten keine übermäßige Rechenleistung erfordern, die nicht allgemein in Fahrzeugen zu finden ist, sondern die Umgebungseinschränkungen erkennen, die sich aus den Verarbeitungskapazitäten von Fahrzeugprozessorsystemen ergeben, einschließlich beispielsweise Einschränkungen beim Stromverbrauch, Verarbeitungsgeschwindigkeiten usw. sowie eine leichte und effiziente Rechenlösung bieten.
Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen Systeme und Verfahren vor, die eine Fahrbahnzustandserfassung und Umgebungslichtanalyse ermöglichen, die robuster gegenüber den Lichtverhältnissen ist als herkömmliche Ansätze, die mit Bildverarbeitungssystemen verwendet werden, und die im Vergleich zu anderen Abtast- oder Erfassungsansätzen keine übermäßig teure Hardware erfordern. Darüber hinaus sollten sich diese Systeme die Anwendungen zum Einrichten von Fahrzeugkameras teilen, die bereits von anderen Standardfunktionsanwendungen im Fahrzeug verwendet werden. So ermöglicht beispielsweise diese gemeinsame Nutzung die Integration der erweiterten Erfassungsanwendung unter Einbeziehung der Umgebungslichtverhältnisse in Altsysteme von Fahrzeugen, die die Umgebungslichterkennungsanalyse nicht, nicht effizient oder nur eingeschränkt in die Bilderfassungsanalyse integrieren.
Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen Systeme und Verfahren vor, die es ermöglichen, den Zustand der Fahrbahnoberfläche als Teil einer Methodik oder eines Rahmens zu erfassen, der es den durch die offenbarten algorithmischen Lösungen ermöglicht, rutschige Straßenverhältnisse durch die Analyse der aufgenommenen Kamerabilder zu erkennen.
Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen Systeme und Verfahren vor, die das Erfassen des Fahrbahnzustands ermöglichen und verbesserte Benachrichtigungen, Warnhinweise sowie automatisierte oder unterstützte Benutzerkontrollen während der Fahrt ermöglichen, um den Fahrzeugbetrieb zu verbessern. Das heißt, um die Robustheit und Leistungsfähigkeit der aktiven Sicherheit, der Fahrerassistenzsteuerungssysteme und der Gesamtfahrzeugstabilität durch den präziseren Betrieb autonomer und halbautonomer Routenplanungsfunktionen durch das verbesserte Erfassen von Zuständen auf bestimmten Fahrzeugwegen und geeignete Steuerungseinstellungen für Zustände auf diesen Wegen zu erhöhen.
Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
In einigen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Fahrbahnoberflächenerfassungssystem mit Umgebungslichtanalyse 200 ist in das Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Die vorliegende Beschreibung konzentriert sich auf eine exemplarische Anwendung in autonomen Fahrzeuganwendungen. Es sollte jedoch verstanden werden, dass das hierin beschriebene Fahrbahnoberflächenerfassungssystem mit Umgebungslichtanalyse 200 zur Verwendung in herkömmlichen und teilautonomen Kraftfahrzeugen vorgesehen ist, einschließlich Fahrerassistenzsystemen, die zum Beispiel Fahrspurwahrnehmungsinformationen nutzen, wie beispielsweise Spurhaltewarnsysteme und Spurhalteassistenzsysteme.
Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Getriebesystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Drehzahlverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radare, Lidare, globale Positionierungssysteme, optische Kameras 140a-140n, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. In den Ausführungsformen beinhalten die Sensorvorrichtungen 40a-40n eine oder mehrere Kameras zum Erhalten von Bildern mit einer bestimmten Bildrate. Die eine oder die mehreren Kameras sind am Fahrzeug 10 montiert und zum Aufnehmen von Bildern einer Außenumgebung des Fahrzeugs 10 (z. B. eine Folge von Bildern in Form eines Videos) angeordnet.
Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw. (nicht nummeriert) beinhalten, sind jedoch nicht auf diese beschränkt.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Karten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Karten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet eine redundante Computerarchitektur des mindestens einen Prozessors 44 und eines Prozessors 45, wobei der Prozessor 44 als primärer Prozessor und der Prozessor 45 als Backup-Prozessor betrachtet werden kann. Der Prozessor 44 und der Prozessor 45 sind mit mindestens einer computerlesbaren Speichervorrichtung oder einem Medium 46 gekoppelt. Der Prozessor 44 und der Prozessor 45 können eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (HW-Beschleuniger) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Mikroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während die Prozessoren 44, 45 ausgeschaltet sind. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese durch den Prozessor 44 und den Prozessor 45 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellgliedsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen und unter Bezugnahme auf 4 sind eine oder mehrere Anweisungen der Steuerung 34 im Fahrbahnoberflächenerfassungssystem mit Umgebungslichtanalyse 200 verkörpert und, wenn sie durch die Prozessoren 44, 45 ausgeführt werden, konfiguriert, um Eingangsdaten und Eingangsparameterdaten zu empfangen sowie Ausgangsdaten und Ausgangsparameterdaten zur Verwendung durch eine automatisierte Funktion des Fahrzeugs 10 zu erzeugen.
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Drahtlosträgersystems 60 kann ein zweites Drahtlosträgersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Drahtlosträgersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Der hierin beschriebene Gegenstand des Fahrbahnoberflächenerfassungssystems 200 mit Umgebungslichtanalyse ist nicht nur auf autonome Antriebssysteme, Vorrichtungen und Anwendungen anwendbar, sondern auch auf andere Antriebssysteme mit einem oder mehreren automatisierten Merkmalen, die computergestützte Fähigkeiten nutzen. Weiterhin ist das Fahrbahnoberflächenerfassungssystem 200 mit Umgebungslichtanalyse in anderen Systemen, Vorrichtungen und Anwendungen als dem Automobilbereich betreibbar, um Informationen aus der Umgebungslichtanalyse in Bildern zu erfassen.
Gemäß einer exemplarischen autonomen Fahranwendung implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. den Prozessoren 44, 45 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen exemplarischen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie vorstehend kurz erwähnt, kann das Fahrbahnoberflächenerfassungssystem 200, das Umgebungslichtanalyse von 1 (und 5) beinhaltet, in das ADS 70 in autonomen Fahrsystemen und Anwendungen integriert werden, beispielsweise als Teil des Fahrbahnoberflächenerfassungssystems 200, das die Umgebungslichtanalyse beinhaltet, um die Fahrzeugsteuerung bei rutschigen Oberflächenzuständen wie Schnee und Eis und Nässe zu verbessern. Das Fahrbahnoberflächenerfassungssystem 200, das die Umgebungslichtanalyse beinhaltet, ist konfiguriert, um Parameterdaten zur Verwendung in verschiedenen möglichen automatisierten Steuermodulen basierend auf der Merkmalserkennung, wie beispielsweise der Klassifizierung und Lokalisierung von Bildmerkmalen, auszugeben. In einigen Ausführungsformen beinhalten die erfassten Bildmerkmale Parameterdaten für die Wegplanung und Fahrzeugsteuerung von Straßenmerkmalsparameterdaten (wie beispielsweise Straßenbegrenzungen und Straßenmarkierungen einschließlich Straßenbegrenzungsschildern und Ampeln) Fahrspurparameterdaten (wie Fahrspurbegrenzungen und Fahrbahnmarkierungen) und Umgebungsobjektparameterdaten (einschließlich Fußgängern, anderen Fahrzeugen, Gebäuden usw.). Derartige erkannten Bildmerkmalsparameterdaten können vom Leitsystem 78 verwendet werden, um eine Trajektorie für das Fahrzeug 10 zu bestimmen. Das Fahrzeugsteuerungssystem 80 arbeitet mit dem Stellgliedsystem 30 zusammen, um eine derartige Trajektorie zu durchlaufen.
In verschiedenen exemplarischen Ausführungsformen können Wi-Fi, WiMAX- oder Bluetooth-verbundene Kameras und intelligente Vorrichtungen in Verbindung mit dem Senden zusätzlicher Bilder an das Fahrbahnoberflächenerfassungssystem mit Umgebungslichtanalyse 200 zur Verwendung beim Erfassen von Fahrbahnoberflächenzustände verwenden. So kann beispielsweise ein Beifahrer oder Fahrer, der eine App eines Smartphones verwendet, den Zustand der Fahrbahnoberfläche mit eingebetteten GPS-Tags aus der Ferne erfassen, um diese über IP-Konnektivität an das Fahrzeugverarbeitungssystem zum Erfassen des Fahrbahnzustands zu senden.
In verschiedenen exemplarischen Ausführungsformen können Informationen des Fahrbahnoberflächenerfassungssystems mit Umgebungslichtanalyse über das Cloud-Netzwerk mit anderen Nutzern geteilt, an Datenbanken von Drittanbietern weitergegeben, für weitere Analysen aggregiert, an Karten- und verkehrsbezogene Anwendungen von Drittanbietern bereitgestellt, an soziale Netzwerkanwendungen bereitgestellt und an staatliche Verkehrsinstandhaltungs- und Supporteinrichtungen übermittelt werden. Diese Informationen können beispielsweise an Cloud-Sharing-Verkehrsanwendungen wie WAZE®, GOOGLE® MAPS und INRIX® gesendet werden, um sie in den Bereichen Auto-Intelligenz, Routenplanung, Routenberichterstattung und anderen Anwendungen einzusetzen. Darüber hinaus kann das automatisierte Kennzeichnen von Informationen (z. B. zu den Kopfdatenpaketen) von analysierten Bildern und das Hinzufügen verschiedener Taxonomien und Klassifizierungen, die sich auf die Ergebnisse des Fahrbahnoberflächenerfassungssystems mit Umgebungslichtanalyse beziehen, zur Verwendung und zum Austausch zusätzlicher Informationen durchgeführt werden. So können beispielsweise aufgenommene Bilder bestimmter Fahrbahnoberflächen oder Szenen über die Netzwerk-Cloud mit Beschreibungen des Fahrbahnzustands im aufgenommenen Bild gesendet werden.
4 veranschaulicht exemplarisch die Montage von Kameras für ein Fahrzeug für das Fahrbahnoberflächenerfassungssystem gemäß verschiedenen Ausführungsformen. In 4 ist eine Kamerakonfiguration 400 von Kameras dargestellt, die an verschiedenen Stellen an einem Fahrzeug montiert sind. Die Kamerakonfiguration 400 beinhaltet eine Frontkamera 405, Seitenkameras 410 und eine Rückfahrkamera 415. Zusätzliche Kameras (nicht dargestellt) können an den vorderen/hinteren Stoßfängern oder dem Rückspiegel hinter der Windschutzscheibe montiert oder integriert werden. Die Seitenkamera kann in die Seitenspiegel des Fahrzeugs montiert oder integriert werden. In dieser speziellen Kamerakonfiguration 400 können Bilder von Bildszenen um das Fahrzeug herum aufgenommen werden, einschließlich beispielsweise der Fahrbahnoberfläche und Bilder über dem Horizont des Fahrbahnhorizontbereichs. Das heißt, die Frontkamera 400 kann eine Bildszene aufnehmen, die eine Frontansicht der Fahrbahn vor dem Fahrzeug beinhaltet, die auch die Fahrbahnoberfläche, einen Bereich über dem Fahrbahnhorizont und Bereiche an den Fahrbahnrändern beinhalten kann. Ebenso würden die anderen Kameras der Seitenkameras 410 und der Rückfahrkamera 415 ähnlich umgebungsbedingte Bilder in Richtung der Kamera aufnehmen. Die Aufnahmen von Szenenbildern können zur weiteren Verarbeitungsanalyse unter Umgebungslichtbedingungen an das Fahrbahnoberflächenerfassungssystem gesendet werden.
5 veranschaulicht Fahrbahnerfassungssystem mit Umgebungslichtanalyse gemäß verschiedenen Ausführungsformen. Insbesondere zeigt 5 ein Fahrbahnoberflächenerfassungssystem 400 im Detail unter fortgesetzter Bezugnahme auf die 1 bis 4. 5 ist ein Rahmen für die Umgebungslichtanalyse, der ein Merkmalsextraktionsmodul 505 mit Prozessoren von unterschiedlichen Modulen beinhaltet, die zum Analysieren von Aspekten der Umgebungsbeleuchtung unter Bedingungen, Auswirkungen auf die Fahrbahnoberfläche und zur Präsentation der Bildanalyse beitragen. Das heißt, das Merkmalsextraktionsmodul beinhaltet ein Umgebungslichtzustandsmodul 507 zum Analysieren der Umgebungslichtbedingungen, ein Umgebungslichteffektmodul 509 zum Analysieren der Umgebungslichtauswirkungen auf Fahrbahnoberflächen und ein Gesamtfahrbahnpräsentationsmodul 511 zum Analysieren der Gesamtfahrbahnoberflächenpräsentation. Kamerabilder 520, die Rohdaten zum Empfangen von Kamerabildern von Bilderfassungsvorrichtungen eines Fahrzeugs beinhalten können. In einer exemplarischen Ausführungsform empfängt die eingesetzte Rohrleitungsarchitektur Kamerabilder 520 von Bildsensoren (nicht dargestellt) zur Vorverarbeitung durch ein Vorverarbeitungsmodul 515 zur Rauschunterdrückung, Bildreprojektion, Verkleinerung, usw. Nach dieser ersten Vorverarbeitung des Kamerabildes wird vom ROI-Extraktionsmodul 512 ein Interessensbereich (ROI) des Kamerabildes identifiziert.
Obwohl die exemplarische Ausführungsform zwei ROIs einer Fahrbahnoberfläche und eines Himmels beschreibt, ist davon auszugehen, dass es sich hierbei nicht um eine vollständige Liste von ROIs handelt und die Liste der ROIs abhängig von Standorten, Wetterbedingungen, Umgebung und anderen Attributen, die in Kamerabildern zu finden sind, oder von den Anforderungen an die Auflösungsgenauigkeit für die spezifischen Anwendungen erweitert werden kann. In diesem Fall extrahiert oder bestimmt das ROI-Extraktionsmodul 512 zwei ROIs zur weiteren Verarbeitung. Der erste ROI kann einen oberen Bildbereich des Kamerabildes des Himmelsbereichs für die Wetter- und Umgebungslichtzustandsanalyse durch das Umgebungslichtzustandsanalysemodul 507 beinhalten. Der zweite ROI kann einen unteren Bildbereich beinhalten, der den Fahrbahnoberflächenbereich zum Analysieren der Auswirkungen der Umgebungsbeleuchtung auf die Fahrbahnoberfläche durch das Umgebungslichteffektanalysemodul 509 beinhaltet. Der Merkmalsexextraktionsprozess kann als eine Trennung, Segmentierung, Teilung oder Trennung von Abschnitten des Kamerabildes betrachtet werden. Das heißt, es ist vorgesehen, dass eine Reihe von Prozessen eingesetzt werden können, um den ROI zu definieren, einschließlich von Verarbeitungen, die auf das Trennen von Abschnitten und Teilen des Kamerabildes, das Segmentieren von Abschnitten und Teilen des Kamerabildes, das Trennen von Abschnitten und Teilen des Kamerabildes sowie das Trennen von Abschnitten und Teilen des Kamerabildes ausgerichtet sind. In einer exemplarischen Ausführungsform kann es beispielsweise gewünscht sein, den Fahrbahnzustand auf verschiedenen Fahrspuren (in der Fahrspur, der linken Fahrspur, der rechten Fahrspur) zu überwachen; in diesen Fällen ist es erforderlich, den Fahrbahnbereich weiter in drei ROIs zu unterteilen, die den linken Fahrbahnbereich, den mittleren Fahrbahnbereich und den rechten Fahrbahnbereich umfassen, ebenso wie für den Himmelsbereich. Durch diese Segmentierung ist es möglich, den Fahrbahnzustand auf verschiedenen Fahrspuren zu untersuchen und zu ermitteln, wie jede Fahrspur mit dem Interessensbereich oberhalb des Fahrbahnhorizonts verbunden ist.
Die 6A und 6B veranschaulichen das Offline-Training von Bildern und die Integration mit den von den Kameras empfangenen Echtzeitbildern in das Fahrbahnoberflächenerfassungssystem mit einer Umgebungslichtanalyse. 6a beinhaltet ein Eingabebild 605 einer Szene, die von einer Kamera aufgenommen wurde, die an dem in Echtzeit empfangenen Fahrzeug montiert ist, die Vorverarbeitung 610 des Bildes, gefolgt vom Extrahieren des ROI 615 der jeweiligen aufgenommenen Bildszene 611 in Teilen 616 oberhalb des Fahrbahnhorizontbereichs und der Fahrbahnoberfläche. Anschließend erfolgt das Durchführen der Merkmalsextraktion 620 des Umgebungslichtzustands und der Szenenfunktionsberechnung 625, der Umgebungslicht- und Szeneneffekte bei der Merkmalsextraktion 630 der Fahrbahnoberfläche und der gesamten Merkmalsextraktion 635 der Fahrbahnoberfläche. Anschließend erfolgt das Bestimmen einer Liste von Merkmalen 640 und das Klassifizieren der Merkmale gemäß dem Klassifikator 645. Der Klassifikator 645 wird offline zum Durchführen der Klassifizierung der Bilder erhalten. In 6B beginnt das Offline-Klassifikationstraining zunächst mit einem Trainingssatz 655 von Bildern. Prozesse, die sich auf die Vorverarbeitung 600 beziehen, ähnlich der Echtzeit-Vorverarbeitung 610 (von 6A), werden auf eine Trainingsszene 661 des Trainingssatzes 655 von Bildern angewendet. Anschließend wird der folgende Schritt des Extrahierens des ROI 665 der Trainingsszene 661 der Teile 666 des vorstehenden Fahrbahnbereichs und des Fahrbahnoberflächenbereichs durchgeführt. Eine ähnliche Offline-Merkmalsextraktion 670 wird wie bei der Echtzeit-Merkmalsextraktion des Umgebungslichtzustands und der Szenenmerkmalsberechnung 675, der Umgebungslicht- und Szeneneffekte beim Extrahieren von Fahrbahnoberflächenmerkmalen 680 und der gesamten Merkmalsextraktion 685 der Fahrbahnoberflächendarstellung. Danach wird eine Liste der relevanten Merkmale 690 bestimmt und ein Schritt eines Klassifikatormodells zum Erlernen der Parameter 695 durchgeführt. Das heißt, ein Klassifikator mit bekannten Parametern 696 wird verwendet, um die Echtzeitklassifizierung 645 der Bilder durchzuführen. Daher ist der Klassifikator 645 mit einer bekannten Konfiguration von Klassifizierungsparametern ausgestattet, die durch geänderte Mehrzeiten ergänzt wird, wenn mehr Bilder in Echtzeit klassifiziert werden. Das Offline-Modell des Klassifikatormodells zum Parameterlernen 695 kann auch mit den Echtzeit-Updates in den Klassifikatorparametern synchronisiert werden und verfügt somit über intelligente Lernfunktionen.
7 veranschaulicht Bilder von Interessensbereichen oberhalb des Fahrbahnhorizonts und der Fahrbahnoberfläche der gesamten Bildszene des Fahrbahnoberflächenerfassungssystems mit Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen. 7 veranschaulicht Bilder von Interessensbereichen des Himmels und der Fahrbahn des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse, wobei der ROI aus dem Extraktionsmodul 512 einen Fahrbahnoberflächenbereich und über dem Horizont des Fahrbahnbereichs (d. h. einen Himmelsbereich) beinhalten kann. 7 veranschaulicht das Bild 700 der beiden Interessensbereiche oberhalb des Horizonts des Straßenbereichs 710 für die Wetter- und Umgebungslichtanalyse und den Fahrbahnbereich 715 für die Fahrbahnoberflächen- und Umgebungslichtanalyse. Der ROI 720 zeigt den/die separaten, segmentierten, geteilten oder getrennten Abschnitte des Bildes 700, die den Himmel für die Umgebungslichtzustandsanalyse enthalten, und der ROI 725 zeigt den/die separaten, segmentierten, geteilten, geteilten oder getrennten Abschnitte des Bildes 700, die die Fahrbahnoberfläche für die Fahrbahnoberflächenanalyse enthalten.
Zurückkommend auf 5 empfängt das Merkmalsmodul 525 Informationen über Merkmale oder markante Merkmale, die durch das Analysieren des Merkmalsextraktionsmoduls und der Submodulanalyse extrahiert wurden. Das Klassifikatormodul 530 wiederum klassifiziert den Fahrbahnzustand in Bezug auf die Merkmale des Merkmalsmoduls 525 und bestimmt eine Einstufung des Fahrbahnzustands.
Das Umgebungslichtzustandsanalysemodul 507 des Merkmalsextraktionsmoduls 505 führt eine mehrstufige Analyse von folgendem durch: Empfangen von roten, grünen, blauen (RGB) Darstellungen bestimmter dominanter Farbkomponenten des ROI, das Analysieren der Möglichkeit oder das Bestimmen, ob eine oder mindestens ein Typ des Umgebungslichtzustands vorliegt, durch das Analysieren einer dominanten Farbkomponente. So kann beispielsweise das Analysieren von dominanten Farbkomponenten Aspekte des Prozentsatzes von dominanten Farbkomponenten über den gesamten ROI durch eine binäre Umwandlung mit vorgegebenen Schwellenwerten basierend auf einer Datenanalyse beinhalten. Obwohl die Datenanalyse das Ausführen von Bestimmungen basierend auf Schwellenwerten beschreibt, kann die alternative Datenanalyse ebenfalls anwendbar oder integriert sein. So können beispielsweise Werkzeuge zur Datenanalyse basierend auf der Farbfrequenz, k-Mittelwert-Clustering und Vorlagenabgleich ebenfalls integriert oder in Verbindung mit der beschriebenen, vorgegebenen, schwellwertbasierten Datenanalyse verwendet werden.
8 veranschaulicht Bilder von Interessensbereichen des Himmels des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. In 8 ist das Umgebungslichtzustandsanalysemodul 807 des Merkmalsextraktionsmoduls 805 (von 4) zum Analysieren 800 des Umgebungslichtzustands dargestellt. In einem exemplarischen Beispiel wird eine Analyse 800 eines Prozentsatzes von Pixeln mit hoher Intensität, die einen bestimmten Schwellenwert erreichen, beschrieben. Der ROI eines RGB-Farbbildes 810 eines oberhalb des Horizonts des Fahrbahnbereichs (d. h. Himmelsbereich) wird in Matrizen einer R-Bildmatrix 811, einer G-Bildmatrix 812, einer B-Bildmatrix 813 segmentiert. Ein Schwellenvergleichs wird von den Prozessoren des Umgebungszustandsanalysemoduls 507 (von 5) für jede der RGB-Bildmatrizen angewendet, wobei die Schwellenwertvergleichsfunktion 820 min(I_R(i,j), I_G(i,j), I_B(i,j)) > thr^h für eine bestimmte binäre Bildmatrix 815 mit I_Bi(i,j) = 1 ist, um das RGB-Farbbild 810 in ein Binärbild 830 umzuwandeln. Das zu extrahierende Merkmal kann durch einen Prozentsatz an weißen Pixeln bestimmt werden, welcher der Anzahl der weißen Pixel entspricht, dividiert durch die Anzahl aller Pixel des ROI. Das Binärbild 830 des Himmelsbereichs wird als Ergebnis des Schwellenwertvergleichs 820 dargestellt. In einer exemplarischen Ausführungsform werden weiße Pixel bei Umgebungslichtbedingungen bei sonnigem Himmel wahrscheinlich einen signifikanten oder erheblichen Prozentsatz von Abschnitten ausmachen oder Bereiche oder Regionen im ROI oder, in diesem Fall, im gesamten Kamerabild belegen. In der in 8 veranschaulichten exemplarischen Ausführungsform beträgt der durch die Umgebungslichtanalyse bestimmte Prozentsatz für den Zustand eines sonnigen Himmels in der Größenordnung von 27 % oder etwa einem Viertel der Fläche des gesamten Himmelsbereichs, der durch den Bereich 835 im Binärbild 830 dargestellt wird. Darüber hinaus ist die prozentuale Belegung der weißen Pixel im Binärbild 830 deutlicher sichtbar und leichter zu definieren als im RGB-Farbbild 810.
Zurückkommend auf 5 kann das Umgebungslichtzustandsanalysemodul 507 des Merkmalsextraktionsmoduls 505 in 5 Schwellenwerte zum Analysieren anderer Arten von zu extrahierender Himmelsbeleuchtung basierend auf der Datenanalyse der Binärbildumwandlung (umgewandeltes Binärbild 830 als Beispiel in 8) festlegen. In verschiedenen exemplarischen Ausführungsformen basieren die Merkmale und der Farbcharakter von Himmelsdarstellungen auf unterschiedlichen Schwellwertbedingungen. Bei Bildern mit sonnigem Himmel, mit einem Farbcharakter von sehr hoher Intensität für alle Farben mit thr^h = 250, wäre der Schwellenwert min(I_R, I_G, I_B) > thr^h und helle Pixel werden im Binärbild in weiße Pixel umgewandelt. Bei Bildern mit klarem Himmel, mit einem Farbcharakter aus blau gesättigten Pixeln mit hoher Intensität mit Sättigungsgrad s(*) = 1,2 und thr^h = 200, wäre die Schwellenwertbedingung I_B > s * max(I_R, I_G) und I_B > thr^h, wobei blau gesättigte hochintensive Pixel im Binärbild in weiße Pixel umgewandelt werden. Bei Bildern mit stark bewölktem Himmel mit einem Farbcharakter aus blau-dominanten Pixeln, die nicht mit s = 1,2 gesättigt sind, ist die Schwellenwertbedingung max(I_R, I_G) < I_B < s * max(I_R, I_G). Bei Bildern mit grün bedecktem Himmel besteht der Farbcharakter aus grün-dominanten Pixeln mit einer Schwellenwertbedingung von I_G > max(I_R, I_B). Für jede Art von Himmelsdarstellung und Bild wird ein Prozentsatz der weißen Pixel durch die Pixelanzahl des gesamten Binärbildes dividiert, um den Prozentsatz der weißen Pixel zu bestimmen. Die für alle aufgeführten Himmelsarten bestimmten oder extrahierten Prozentsätze von Pixeln werden dann im Merkmalsmodul 525 für die Fahrbahnzustandsklassifizierung im Klassifikatormodul 535 extrahiert oder als herausragende Merkmale zugeordnet.
9 veranschaulicht Bilder von Sonnenlichteffekten, die bei der Analyse von Interessensbereichen der Fahrbahn des Fahrbahnoberflächenerfassungssystems auf eine trockene Oberfläche projiziert werden, wobei die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen berücksichtigt wird. 9 zeigt Bilder von Interessensbereichen der Fahrbahn des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. In 9 sind die Umgebungslichteffekte des Fahrbahnoberflächenanalysemoduls 509 des Merkmalsextraktionsmoduls 505 (von 5) zum Analysieren der Umgebungslichteffekte auf Fahrbahnoberflächen dargestellt. In einem exemplarischen Beispiel kann die Auswirkung der Umgebungsbeleuchtung auf die Fahrbahnoberfläche auch durch die zuvor beschriebene dominante Farbkomponentenanalyse untersucht werden. Ähnlich wie bei der bisherigen Analyse durch das Umgebungslichtzustandsmodul 507 (von 5) wird der Prozentsatz der dominanten Farbkomponenten über den gesamten ROI-Bildbereich (in diesem Fall aber auf der Fahrbahn) durch einen Binärbildumwandlungsprozess berechnet.
In einer exemplarischen Ausführungsform der Erfassung des Sonnenlichteffekts auf einer Fahrbahnoberfläche werden die Auswirkungen der Umgebungsbeleuchtung des Fahrbahnoberflächenanalysemoduls 509 (von 5) durch die Analyse 900 als Prozentsatz der gelb gesättigten hochintensiven Pixel (mit thr^h = 200 und s = 1,2 *) ausgewertet. Es wird eine Analyse 900 des Prozentsatzes der gelb gesättigten Pixel mit hoher Intensität beschrieben, die einen bestimmten Schwellenwert erreichen. Der ROI eines RGB-Farbbildes 910 eines Fahrbahnoberflächenbereichs wird in Matrizen einer R-Bildmatrix 911, einer G-Bildmatrix 912, einer B-Bildmatrix 913 segmentiert. Ein Schwellenvergleich wird von den Prozessoren des Umgebungslichteffekt-Fahrbahnoberflächenanalysemoduls 509 (von 5) für jede der RGB-Bildmatrizen angewendet, wobei die Schwellenwertvergleichsfunktion 920 min(I_R, I_G) > s * I_B & min(I_R, I_G) > thr^h für eine bestimmte binäre Bildmatrix 915 mit I_Bi (i, j) = 1 ist, um das RGB-Farbbild 910 in ein Binärbild 930 umzuwandeln. Das zu extrahierende Merkmal kann durch einen Prozentsatz an weißen Pixeln bestimmt werden, welcher der Anzahl der weißen Pixel entspricht, dividiert durch die Anzahl aller Pixel des ROI. Das Binärbild 930 des Fahrbahnoberflächenbereichs wird als Ergebnis des Schwellenwertvergleichs 920 dargestellt. In einer exemplarischen Ausführungsform stellen bei Umgebungslichtwirkungen auf der Fahrbahnoberfläche an einem sonnigen Tag gelb gesättigte Lichtintensitätspixel (die im Binärbild 930 weiß gefärbte Pixel sind) wahrscheinlich einen signifikanten oder erheblichen Prozentsatz von Abschnitten dar oder belegen Bereiche oder Regionen im ROI oder, in diesem Fall, im gesamten Kamerabild. In der in 9 veranschaulichten exemplarischen Ausführungsform beträgt der durch die Umgebungslichtanalyse zur Auswirkung auf die Fahrbahnoberfläche bestimmte Prozentsatz für den Sonnentag etwa 30 % oder etwa ein Drittel der gesamten Fahrbahnoberfläche, die durch den Bereich 935 im Binärbild 930 dargestellt wird. Darüber hinaus ist die prozentuale Belegung der weißen Pixel im Binärbild 930 deutlicher sichtbar und leichter zu definieren als im RGB-Farbbild 910.
Zurückkommend zu 5, können die Umgebungslichtauswirkungen auf das Fahrbahnoberflächenanalysemodul 509 des Merkmalsextraktionsmodul 505 in 5, Schwellenwertbedingungen zum Analysieren anderer Arten von zu extrahierenden Fahrbahnoberflächen basierend auf der Datenanalyse der Binärbildumwandlung (umgewandeltes Binärbild 930 als Beispiel in 9) festlegen. In verschiedenen exemplarischen Ausführungsformen basieren die Merkmale und der Farbcharakter von Fahrbahnoberflächendarstellungen auf unterschiedlichen Schwellwertbedingungen. Bei Bildern mit einem Schatten auf Schnee und trockenen Fahrbahnoberflächen (mit heller Farbe) ist der Farbcharakter ein niedrigintensives Cyan-dominantes (grün kombiniert mit blau) Pixel mit thr^l = 100 mit einer Schwellenwertbedingung von thr^l > min(I_G , I_B) > I_R. Bei Bildern eines Schattens auf nassen und trockenen Fahrbahnoberflächen (mit dunklerer Farbe) mit einem Farbcharakter von schwach intensiven gelb-dominanten (rot kombiniert mit grünen) Pixeln mit thr^l = 100 ist die Schwellenwertbedingung thr^l > min(I_R , I_G) > I_B. Bei Bildern mit Sonnenlicht auf der Fahrbahnoberfläche ist der Farbcharakter ein gelb gesättigtes Pixel hoher Intensität mit thr^h = 100 x N wenn N = 2 ... und s = N, wenn N = 1,2... die Schwellenwertbedingung min(I_R, I_G) > s * I_B und min(I_R, I_G) > thr^h ist.
Bei Bildern mit verschiedenen anderen Einflüssen von Umgebungslicht auf die Fahrbahnoberfläche können andere oder unterschiedliche Farbmerkmale verwendet oder in Kombination verwendet werden, um die Fahrbahnoberflächenerkennung der Umgebungslichtwirkungen zu verbessern. Das heißt, in exemplarischen Ausführungsformen sind andere Farbmerkmale wie folgt dargestellt: ${thr}_{R}^{l} < I_{R} < t h r_{R}^{h}, {thr}_{G}^{l} < I_{G} < t h r_{G}^{h}, {thr}_{B}^{l} < I_{B} < t h r_{B}^{h}$
mit verschiedenen exemplarischen Beispielen, wie beispielsweise dunkle Pixel aufgrund einer nassen Oberfläche: I_R < 64, I_G < 64, I_B < 64; mit hellen Pixeln aufgrund von Sonnenlicht, das direkt auf einer nassen Oberfläche reflektiert wird I_R > 220, I_G > 220, I_B > 220; und mit normalerweise trockener Oberfläche oder Sonnenlicht, das auf einer nassen Oberfläche 100 < I_R < 165, 100 < I_G < 165, 100 < I_B < 165reflektiert wird. Es ist zu berücksichtigen, dass die Werte oder spezifischen Zahlen für die Farbmerkmale nicht fest sind und basierend auf den Bilderzeugungsmerkmalen eines bestimmten Kameratyps oder Modells, das verwendet wird, abstimmbar oder konfigurierbar sind. Das heißt, verschiedene Arten von Kameras und Modellen können unterschiedliche Werte von Farbmerkmalen aufweisen oder gewährleisten, da unterschiedliche Farbgrade im Zusammenhang mit bestimmten Kameratypen oder Modellen stehen. Für jede Art von Lichteffekt auf der Fahrbahnoberfläche wird ein Prozentsatz der weißen Pixel durch die Pixelanzahl des gesamten Binärbildes dividiert, um den Prozentsatz der weißen Pixel zu bestimmen. Die für alle aufgeführten Umgebungslichteffekte auf der Fahrbahnoberfläche bestimmten oder extrahierten Prozentsätze von Pixeln werden dann im Merkmalsmodul 525 für die Fahrbahnzustandsklassifizierung im Klassifikatormodul 535 extrahiert oder als herausragende Merkmale zugeordnet.
In verschiedenen Ausführungsformen können exemplarische Merkmale zur Oberflächenklassifizierung durch das Klassifikatormodul 535 für Merkmale zum Bewerten der Umgebungsbeleuchtung (basierend auf weißen Pixeln des binären Himmelbildes, für Merkmale zum Bewerten der Lichtwirkung auf die Fahrbahnoberfläche (basierend auf weißen Pixeln des binären Oberflächenbildes) und für Merkmale zum Bewerten der gesamten Fahrbahnoberflächendarstellung klassifiziert werden. So können beispielsweise für Merkmale zum Bewerten der Umgebungsbeleuchtung (basierend auf weißen Pixeln des binären Himmelsbildes) für verschiedene Himmelsauswertungen und nachfolgende Fahrbahnoberflächenklassifikationen wie folgt lauten: auf den Prozentsatz der hochintensiven blauen/roten/grünen Pixel in Bezug auf den Himmelsbereich für eine Bewertung bei sonnigem Himmel; auf den Prozentsatz der blauen gesättigten hochintensiven Pixel in Bezug auf den Himmelsbereich für eine Bewertung bei klarem Himmel; auf den Prozentsatz der blau-dominanten Pixel, die in Bezug auf den Himmelsbereich für eine Bewertung bei dunklen Wolken nicht gesättigt sind; und auf den Prozentsatz der grünen Pixel in Bezug auf den Himmelsbereich für eine Bewertung der Grünbaumabdeckung usw. Für Merkmale zum Bewerten der Lichteinwirkung auf die Fahrbahnoberfläche (basierend auf weißen Pixeln des binären Oberflächenbildes) können die Klassifizierungen wie folgt lauten: auf den Prozentsatz der niedrigintensiven Cyan-dominanten (grün kombiniert mit blau) Pixel über dem Fahrbahnoberflächenbereich zur Schattenanalyse auf Schnee und trockenen Oberflächen; auf den Prozentsatz der niedrigintensiven gelb-dominanten (rot kombiniert mit grün) Pixel über dem Fahrbahnoberflächenbereich zur Schattenanalyse auf nassen und trockenen Oberflächen; auf den Prozentsatz der gelb gesättigten hochintensiven Pixel über dem Fahrbahnoberflächenbereich zur Sonnenlichtwirkung und andere. Für Merkmale zum Bewerten der Gesamtdarstellung der Fahrbahnoberfläche können die Klassifizierungen wie folgt lauten: auf dem Mittelwert der Oberflächenintensitäten, auf der Varianz der Oberflächenintensitäten, auf dem durchschnittlichen Farbton, der Intensität und Helligkeit und anderen.
Die 10A, 10B und 10C veranschaulichen Bilder der gesamten aufgenommenen Szene und der Auswirkungen von Schatten, die auf die Oberfläche reflektiert werden, sowie der Umgebung der gesamten Szene in bestimmten Interessensbereichen, die vom Fahrbahnoberflächenerfassungssystem analysiert werden, das die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen beinhaltet. 10A veranschaulicht Bilder von Interessensbereichen (ROI) der nassen Oberfläche des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 10A zeigt eine nasse Fahrbahnoberfläche des ROI 800 mit Himmelhelligkeit und grünen Bäumen, die auf der Oberfläche 805 reflektiert werden. Ein Prozentsatz 815 von 19 % an grünen Bäumen, der auf der Oberfläche eines Binärbildes im ROI 810 reflektiert wird.
10B veranschaulicht Bilder von Interessensbereichen der nassen Oberfläche des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 10B zeigt eine nasse Fahrbahnoberfläche des ROI 900 mit 16 % Himmel 910 in einem Binärbild.
10C veranschaulicht Bilder von Interessensbereichen der nassen Oberfläche des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 10C zeigt eine nasse Fahrbahnoberfläche des ROI 1000 mit 32 % Bäumen 1010 in einem Binärbild.
Die 11A, 11B, 11C, 11D, 11E und 11F veranschaulichen Bilder einer gesamten Bildszene und die Auswirkungen von Schatten, Sonnenlicht, sonnigem Himmel, klarem blauem Himmel, Bäumen von bestimmten Interessensbereichen, welche die gesamte Bildszene ergeben, die mittels des Fahrbahnoberflächenerfassungssystems analysiert wurde, das die Umgebungslichtanalyse aus den 1-6 gemäß verschiedenen Ausführungsformen einbezieht. 11A veranschaulicht eine gesamte Bildszene, die aus Bildern von Interessensbereichen der trockenen Fahrbahnoberfläche des Fahrbahnoberflächenerfassungssystems besteht, das eine Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen beinhaltet. 11B zeigt ein Bild 1100 einer trockenen Fahrbahnoberfläche, wobei 62 % Schatten 1115 im Binärbild 1110 zu sehen sind, und 11C zeigt 30 % Sonnenlicht 1125 im Binärbild 1120.
11D veranschaulicht Bilder von Interessensbereichen des sonnigen Himmels des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 11D zeigt ein Binärbild 1200 einer trockenen Fahrbahnoberfläche mit 27 % sonnigem Himmel 1210.
11E veranschaulicht Bilder von Interessensbereichen des klaren blauen Himmels des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 11E zeigt ein Binärbild 1300 einer trockenen Fahrbahnoberfläche mit 20 % klarem blauem Himmel 1310.
11F veranschaulicht Bilder von Interessensbereichen der Bäume des Fahrbahnoberflächenerfassungssystems unter Einbeziehung der Umgebungslichtanalyse aus den 1-6 gemäß den verschiedenen Ausführungsformen. 11F zeigt ein Binärbild 1400 einer trockenen Fahrbahnoberfläche mit 15 % Bäumen 1410.
12 ist ein Flussdiagramm, das die Schritte einer Umgebungslichtanalyse mittels eines Fahrbahnoberflächenerfassungsverfahrens gemäß einer Ausführungsform veranschaulicht. In 12 veranschaulicht der Prozess 1200 die Aufgaben eines Fahrbahnoberflächenerfassungssystems mit Umgebungslichtanalyse gemäß verschiedenen Ausführungsformen. Insbesondere zeigt 12 einen Prozessschritt des Fahrbahnoberflächenerfassungssystems 500 von 5 im Detail unter fortgesetzter Bezugnahme auf die 1 bis 6. 5 ist ein Rahmen für die Umgebungslichtanalyse, der ein Merkmalsextraktionsmodul 505 mit Prozessoren von unterschiedlichen Modulen beinhaltet, die zum Analysieren von Aspekten der Umgebungsbeleuchtung unter Bedingungen, Auswirkungen auf die Fahrbahnoberfläche und zur Präsentation der Bildanalyse beitragen.
Bei 1210 werden Aufgaben zum Empfangen von Kamerabildern von Bilderfassungsvorrichtungen eines Fahrzeugs zur Merkmalsextraktion empfangen. Anschließend bei 1220, die Aufgaben zur Vorverarbeitung der Kamerabilder durch Rauschunterdrückung, Bildnachprojektion, Downsizing, usw. Nach dieser ersten Vorverarbeitung des Kamerabildes werden bei 1230 Aufgaben zum Identifizieren eines Interessensbereichs (ROI) des Kamerabildes durch das ROI-Extraktionsmodul ausgeführt. Die Aufgaben 1230 zur ROI-Extraktion beziehen sich auf die Aufteilung von Kamerabildern in ROIs einer Fahrbahnoberfläche und eines über dem Fahrbahnhorizont (d. h. einschließlich anderer Umgebungen eines Himmels, Bäume, usw.). So kann beispielsweise die ROI-Extraktionsaufgabe 1230 zwei ROIs zur weiteren Verarbeitung extrahieren oder bestimmen. Der erste ROI kann einen oberen Bildbereich des Kamerabildes des Himmelsbereichs für die Wetter- und Umgebungslichtzustandsanalyse durch das Umgebungslichtzustandsanalysemodul 507 (von 5) beinhalten. Der zweite ROI kann einen unteren Bildbereich beinhalten, der den Fahrbahnoberflächenbereich zum Analysieren der Auswirkungen der Umgebungsbeleuchtung auf die Fahrbahnoberfläche durch das Umgebungslichteffektanalysemodul 509 (von 5) beinhaltet. Aufgaben in Bezug auf den Extraktionsprozess können als Trennung, Segmentierung, Teilung oder Trennung von Abschnitten des Kamerabildes betrachtet werden. Das heißt, es ist vorgesehen, dass eine Reihe von Prozessaufgaben eingesetzt werden können, um den ROI zu definieren, einschließlich von Verarbeitungen, die auf das Trennen von Abschnitten und Teilen des Kamerabildes, das Segmentieren von Abschnitten und Teilen des Kamerabildes, das Trennen von Abschnitten und Teilen des Kamerabildes sowie das Trennen von Abschnitten oder Teilen des Kamerabildes ausgerichtet sind.
Anschließend werden bei 1240 Aufgaben in Bezug auf die Merkmalsextraktion durch Prozessschritte des Merkmalsextraktionsmoduls 505 (von 5) ausgeführt, um durch den ROI den geeigneten Fluss zu bestimmen, für den die Umgebungslichtanalyse zum Ausführen der Umgebungslichtanalyse, die Umgebungslichteffekte der Fahrbahnoberflächenanalyse und die Analyse der gesamten Fahrbahnoberflächendarstellung empfangen wurde. Wenn der Durchfluss beispielsweise zu 1245 übergeht, können Aufgaben in Bezug auf Prozessschritte des Umgebungslichtzustandsmoduls 507 (von 5) zum Analysieren der Umgebungslichtbedingungen ausgeführt werden. Wenn der Fluss zu 1250 übergeht, können Aufgaben in Bezug auf ein Umgebungslichteffektmodul 509 (von 5) zum Analysieren von Umgebungslichtwirkungen auf Fahrbahnoberflächen ausgeführt werden, und wenn der Fluss zu 1260 übergeht, können Aufgaben in Bezug auf das Gesamtfahrbahndarstellungsmodul 511 (von 5) zum Analysieren der Gesamtfahrbahnoberflächendarstellung ausgeführt werden.
Anschließend geht der Fluss zu 1265 für Aufgaben in Bezug auf Prozessschritte des Merkmalsmoduls 525 (von 5) über, um Informationen über Merkmale oder markante Merkmale zu verarbeiten, die durch das Analysieren des Merkmalsextraktionsmoduls und der Submodulanalyse extrahiert wurden. Anschließend werden bei 1270 Aufgaben in Bezug auf Prozessschritte des Klassifikatormoduls 530 (von 5) ausgeführt, um die Fahrbahnoberflächenzustände in Bezug auf die Merkmale des Merkmalsmoduls zu klassifizieren und eine Unterteilung des Fahrbahnzustands zu bestimmen.
Diese architektonische Konfiguration, die im Prozess von exemplarischen Ausführungsformen der vorliegenden Offenbarung verwendet wird, ist eine parallele Architektur zur Analyse des ROI, jedoch können andere Architekturen verwendet werden. Das heißt, es kann eine serielle Verarbeitung der Bilddaten erfolgen oder auch eine Kombination aus einer teilparallelen und einer teil seriellen Pipeline-Architektur ist möglich. Wenn beispielsweise Bestimmungen oder voreingestellte Konfigurationen von ROIs oder positionierten Kameras verwendet werden können, kann die serielle Verarbeitung ausgewählter Umgebungslichtbedingungen oder Auswirkungen von Fahrbahnoberflächen verwendet werden.
Schließlich werden bei 1275 Aufgaben zum Anzeigen oder Senden der Ergebnisse der Umgebungslichtanalyse ausgeführt. So können beispielsweise die Ergebnisse an Dritte übermittelt oder dem Benutzer angezeigt oder zum Steuern und Konfigurieren der Fahrzeugeinstellung während des Betriebs in Echtzeit verwendet werden.
Wie hierin in der Spezifikation und in den Patentansprüchen verwendet, sollte der Ausdruck „mindestens eine“ in Bezug auf eine Liste von einem oder mehreren Elementen so verstanden werden, dass mindestens ein Element bezeichnet wird, das aus einem oder mehreren der Elemente in der Liste der Elemente ausgewählt ist, jedoch nicht notwendigerweise mindestens eines von jedem einzelnen Element, das speziell in der Liste der Elemente aufgeführt ist, und keine Kombinationen von Elementen in der Liste der Elemente ausschließt. Diese Definition erlaubt es auch, dass optional andere Elemente als die speziell in der Liste der Elemente, auf die sich der Ausdruck „mindestens eine“ bezieht, vorhanden sein können, unabhängig davon, ob sie mit den speziell identifizierten Elementen in Beziehung stehen oder nicht. Somit kann sich als nicht einschränkendes Beispiel „mindestens eines von A oder B“ (oder gleichwertig, „mindestens eines von A oder B“ oder gleichwertig „mindestens eines von A und/oder B“) in einer Ausführungsform auf mindestens ein, gegebenenfalls mehr als ein A ohne B beziehen (und optional andere Elemente als B beinhalten); in einer anderen Ausführungsform, zu mindestens einer, die gegebenenfalls mehr als ein B, ohne A vorhanden ist (und optional andere Elemente als A beinhaltet); in einer weiteren Ausführungsform, zu mindestens der einen, die optional mehr als ein A beinhaltet, und zu mindestens einer, die optional mehr als ein B beinhaltet (und optional andere Elemente beinhaltet); usw.
Sowohl in den Patentansprüchen als auch in der vorstehenden Spezifikation sind alle Übergangsformulierungen wie „umfassen“, „beinhaltend“, „tragend“, „aufweisend“, „enthaltend“, „einschließen“, „halten“ und dergleichen, als offen zu verstehen, d. h. einschließlich, jedoch nicht beschränkt darauf. Nur die Übergangsformulierungen „bestehend aus“ und „im Wesentlichen bestehend aus“ werden als geschlossene bzw. halbgeschlossene Übergangsformulierungen bezeichnet.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Variationen gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Oberflächenerfassungssystem zum Erfassen von Oberflächenzuständen, umfassend: eine von einer Kamera aufgenommene Bildszene, worin die Bildszene Folgendes umfasst: einen Satz von einer Vielzahl von Interessensbereichen (ROIs); und einen Prozessor, der zum Empfangen der Bildszene konfiguriert ist, um: mindestens einen ersten und einen zweiten ROI aus dem Satz der Vielzahl von ROIs der Bildszene zu extrahieren; den ersten ROI einem Bereich oberhalb des Horizonts zuzuordnen und den zweiten ROI einem Oberflächenbereich zuzuordnen; den ersten ROI und den zweiten ROI parallel für einen Zustand in Bezug auf eine Umgebungsbeleuchtung im ersten ROI und für eine Wirkung in Bezug auf die Umgebungsbeleuchtung im zweiten ROI zu analysieren; und aus den ersten ROI-Merkmalen den Zustand der Umgebungsbeleuchtung zu extrahieren und aus den zweiten ROI-Merkmalen die Wirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich zu extrahieren.
Oberflächenerfassungssystem nach Anspruch 1, weiterhin umfassend: Analysieren des zweiten ROI, um Merkmale der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu extrahieren, gemeinsam mit Merkmalen des ersten ROI der Umgebungslichtbedingungen basierend auf einer Vielzahl von Bildattributen, worin die extrahierten Merkmale Folgendes umfassen: einen gemeinsamen Merkmalssatz für beide ROIs.
Oberflächenerfassungssystem nach Anspruch 2, worin die Bildattribute umfassen: einen Satz von einer oder mehreren Texturen, eine Helligkeit sowie eine Farbinformation.
Oberflächenerfassungssystem nach Anspruch 3, weiterhin umfassend: Erzeugen eines oder mehrerer gemeinsamer Merkmalssätze aus beiden ROIs durch den Prozessor durch Kombinieren jedes gemeinsamen Merkmalssatzes mit einem oder mehreren der einzelnen Bildattribute.
Oberflächenerfassungssystem nach Anspruch 4, weiterhin umfassend: Klassifizieren jedes der gemeinsamen Merkmale durch einen Klassifizierer auf einen bestimmten Oberflächentyp.
Das Oberflächenerfassungssystem nach Anspruch 1, weiterhin umfassend: ein autonomes, halbautonomes oder nicht autonomes Fahrzeugsystem oder Nicht-Fahrzeuganwendungen.
Oberflächenerfassungssystem nach Anspruch 1, worin der Prozessor konfiguriert ist zum: Bestimmen von Merkmalen des Umgebungslichtzustands durch Schwellenwerte, die sich auf Werte von Pixeln des ersten ROI beziehen, und durch Schwellenwerte, die sich auf Werte von Pixeln des zweiten ROI beziehen, der Merkmale der Auswirkung der Umgebungsbeleuchtung auf den Oberflächenbereich.
Oberflächenerfassungsvorrichtung, umfassend: eine Kamera zum Erzeugen von Bildern, worin die Bilder umfassen: den Interessensbereich (ROI); ein Prozessormodul, das zum Empfangen der Bilder konfiguriert ist, um: mindestens einen ersten und einen zweiten ROI aus dem Satz der Vielzahl von ROIs der Bildszene zu extrahieren; den ersten ROI einem Bereich oberhalb des Horizonts zuzuordnen und den zweiten ROI einem Oberflächenbereich zuzuordnen; den ersten ROI und den zweiten ROI parallel für einen Zustand in Bezug auf eine Umgebungsbeleuchtung im ersten ROI und für eine Wirkung in Bezug auf die Umgebungsbeleuchtung im zweiten ROI zu analysieren; und aus den ersten ROI-Merkmalen den Zustand der Umgebungsbeleuchtung zu extrahieren und aus den zweiten ROI-Merkmalen die Wirkung der Umgebungsbeleuchtung auf einen Oberflächenbereich zu extrahieren.
Vorrichtung nach Anspruch 8, ferner umfassend: den Prozessor, der konfiguriert ist zum: Bestimmen von Merkmalen des Umgebungslichtzustands durch Schwellenwerte, die sich auf Werte von Pixeln des ersten ROI beziehen, und durch Schwellenwerte, die sich auf Werte von Pixeln des zweiten ROI beziehen, der Merkmale der Auswirkung der Umgebungsbeleuchtung auf den Oberflächenbereich.
Vorrichtung nach Anspruch 8, ferner umfassend: den Prozessor, der konfiguriert ist zum: Analysieren des zweiten ROI, um Merkmale der Auswirkungen der Umgebungsbeleuchtung auf den Oberflächenbereich zu extrahieren, gemeinsam mit Merkmalen des ersten ROI der Umgebungslichtbedingungen basierend auf einer Vielzahl von Bildattributen, worin die extrahierten Merkmale Folgendes umfassen: einen gemeinsamen Merkmalssatz für beide ROIs; Erzeugen eines oder mehrerer gemeinsamer Merkmalssätze aus beiden ROIs durch Kombinieren jedes gemeinsamen Merkmalssatzes mit einem oder mehreren der einzelnen Bildattribute; und Klassifizieren jedes der gemeinsamen Merkmale durch einen Klassifikator für einen bestimmten Oberflächentyp.