DE102021103777A1

DE102021103777A1 - Strassenmarkierungserkennung

Info

Publication number: DE102021103777A1
Application number: DE102021103777.8A
Authority: DE
Inventors: Jon Speigle; David Michael Herman; Kyle B. Sorensen
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-02-24
Filing date: 2021-02-17
Publication date: 2021-08-26
Also published as: US11367292B2; US20210264169A1; CN113297895A

Abstract

Die Offenbarung stellt eine Straßenmarkierungserkennung bereit. Ein Verarbeitungssystem umfasst einen Prozessor und einen Speicher. Der Speicher speichert Anweisungen, die durch den Prozessor ausführbar sind, um ein polarimetrisches Bild von einem polarimetrischen Kamerasensor zu empfangen und einen Straßenbelag in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung zu identifizieren. Der Speicher speichert Anweisungen, um bei Identifizieren von Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag in dem polarimetrischen Bild auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, die identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild zu entfernen, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden, und um ein Straßenmerkmal, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes zu identifizieren.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit verschiedenen Sensoren ausgestattet sein, um Objekte in einem das Fahrzeug umgebenden Bereich zu erkennen. Fahrzeugcomputer können verschiedene Fahrzeugvorgänge auf Grundlage von Daten, die von den Sensoren empfangen werden, steuern. Verschiedene Arten von Sensoren können durch Umgebungsbedingungen um das Fahrzeug herum beeinträchtigt werden. Wetterbedingungen wie Regen können Sensordaten beeinträchtigen. Ein Fahrzeugsensor, wie etwa ein Kamerasensor, erkennt zum Beispiel auf einer nassen Straße möglicherweise keine Markierungen und/oder anderen Objekte.
KURZDARSTELLUNG
Hierin ist ein Verarbeitungssystem offenbart, das einen Prozessor und einen Speicher umfasst. Der Speicher speichert Anweisungen, die durch den Prozessor ausgeführt werden können, um ein polarimetrisches Bild von einem polarimetrischen Kamerasensor zu empfangen, um einen Straßenbelag in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung zu identifizieren, um bei Identifizieren von Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag in dem polarimetrischen Bild auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, die identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild zu entfernen, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden, und um ein Straßenmerkmal, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes zu identifizieren.
Die Anweisungen zum Identifizieren des Straßenbelags können Anweisungen zum Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag darstellt, auf Grundlage der Fahrzeugposition, der Fahrzeugstellung und der Ausrichtung der Kamera beinhalten.
Die Anweisungen können ferner Anweisungen beinhalten, um die Intensität einer Vielzahl von Pixeln in dem empfangenen Bild zu bestimmen, um ein Histogramm des empfangenen Bildes auf Grundlage der bestimmten Intensitäten zu berechnen, um auf Grundlage des berechneten Histogramms des empfangenen Bildes zu bestimmen, ob das empfangene Bild übersättigt oder untersättigt ist, und um bei Bestimmen, dass eine von einer Übersättigung und einer Untersättigung in dem empfangenen polarimetrischen Bild vorhanden ist, einen Kameraparameter zu modifizieren und ein zweites polarimetrisches Bild auf Grundlage des modifizierten Kameraparameters zu empfangen.
Die Anweisungen zum Modifizieren des Kameraparameters können Anweisungen beinhalten, um eine Belichtungszeit der Kamera zu verlängern, wenn bestimmt wird, dass das empfangene Bild untersättigt ist.
Die Anweisungen zum Modifizieren des Kameraparameters können Anweisungen beinhalten, um eine Belichtungszeit der Kamera zu verkürzen, wenn bestimmt wird, dass das empfangene Bild übersättigt ist.
Die Anweisungen können ferner Anweisungen beinhalten, um den Straßenbelag in dem empfangenen Bild ferner auf Grundlage von Kartendaten zu identifizieren.
Die Straßenmerkmale können mindestens eine von einer durchgehenden einfachen Linie, einer durchgehenden doppelten Linie, einer einfachen gestrichelten Linie und einer Fußgängermarkierung beinhalten.
Die Anweisungen können ferner Anweisungen beinhalten, um bei Bestimmen, dass ein Rauschverhältnis des aktualisierten Bildes einen Schwellenwert überschreitet, (i) das empfangene polarimetrische Bild zu ignorieren, (ii) ein zweites polarimetrisches Bild zu empfangen und (iii) das Straßenmerkmal auf Grundlage eines aktualisierten zweiten polarimetrischen Bildes zu identifizieren.
Die Anweisungen können ferner Anweisungen beinhalten, um gebrochenes Licht von dem Straßenbelag durch Entfernen der empfangenen Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild und Identifizieren des Straßenmerkmals auf Grundlage von gebrochenem Licht, das in dem aktualisierten polarimetrischen Bild dargestellt ist, zu bestimmen.
Die Anweisungen können ferner Anweisungen beinhalten, um einen Stokes-Parameter des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Lichts bei einer Vielzahl von Polarisationsgraden zu bestimmen, um einen Grad der linearen Polarisation des Bildes auf Grundlage der bestimmten Stokes-Parameter zu bestimmen und um das reflektierte Licht auf Grundlage des bestimmten Grads der linearen Polarisation zu bestimmen.
Die Anweisungen zum Bestimmen des reflektierten Lichts können Anweisungen beinhalten, um s-Wellen-Komponenten und p-Wellen-Komponenten des polarimetrischen Bildes zu bestimmen.
Die Anweisungen können ferner Anweisungen beinhalten, um das Fahrzeug auf Grundlage des erkannten Straßenmerkmals zu betätigen.
Die Anweisungen können ferner Anweisungen beinhalten, um einen nassen Bereich auf dem Straßenbelag auf Grundlage von identifizierten Reflexionen von polarisiertem Licht zu erkennen und um Bildpixel, die dem erkannten nassen Bereich entsprechen, zu aktualisieren.
Ferner ist hierin ein Verfahren offenbart, das Folgendes umfasst: Empfangen eines polarimetrischen Bildes von einem polarimetrischen Kamerasensor, Identifizieren eines Straßenbelags in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung, wenn in dem polarimetrischen Bild Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, identifiziert werden, Entfernen der identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden, und Identifizieren eines Straßenmerkmals, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes.
Das Verfahren kann ferner Identifizieren des Straßenbelags durch Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag darstellt, auf Grundlage der Fahrzeugposition, der Fahrzeugstellung und der Ausrichtung der Kamera beinhalten.
Das Verfahren kann ferner Identifizieren des Straßenbelags in dem empfangenen Bild ferner auf Grundlage von Kartendaten beinhalten.
Die Straßenmerkmale können mindestens eine von einer durchgehenden einfachen Linie, einer durchgehenden doppelten Linie, einer einfachen gestrichelten Linie und einer Fußgängermarkierung beinhalten.
Das Verfahren kann ferner Bestimmen von gebrochenem Licht von dem Straßenbelag durch Entfernen der empfangenen Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild und Identifizieren des Straßenmerkmals auf Grundlage von gebrochenem Licht, das in dem aktualisierten polarimetrischen Bild dargestellt ist, beinhalten.
Das Verfahren kann ferner Bestimmen eines Stokes-Parameters des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Licht bei einer Vielzahl von Polarisationsgraden, Bestimmen eines Grads der linearen Polarisation des Bildes auf Grundlage der bestimmten Stokes-Parameter und Bestimmen des reflektierten Lichts auf Grundlage des bestimmten Grads der linearen Polarisation beinhalten.
Das Verfahren kann ferner Erkennen eines nassen Bereichs auf dem Straßenbelag auf Grundlage von identifizierten Reflexionen von polarisiertem Licht und Aktualisieren von Bildpixeln, die dem erkannten nassen Bereich entsprechen, beinhalten.
Ferner ist eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Außerdem ist ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst.
Weiterhin ist ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem durch einen Computerprozessor ausführbare Anweisungen gespeichert sind, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Figurenliste

1 zeigt ein Fahrzeug mit einem oder mehreren polarimetrischen Kamerasensoren.
2 ist ein Diagramm, das den beispielhaften Kamerasensor der 1 zeigt, der eine Erfassungsvorrichtung für ein polarisierendes Bild zur Erkennung der Polarisation des empfangenen Lichts beinhaltet.
3A-3B veranschaulichen ein Ablaufdiagramm eines beispielhaften Prozesses zum Erkennen von Straßenmerkmalen und Betreiben eines Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Hierin offenbart sind Verbesserungen an Sensoren, wie etwa Bildsensoren, einschließlich verbesserter Techniken zum Erkennen von Straßenmerkmalen, wie etwa Fahrspurmarkierungen auf einem nassen oder vereisten Straßenbelag. Eine Wasserschicht auf dem Straßenbelag kann das Rücksignal von dem Straßenbelag ändern und die Genauigkeit der Erkennung von Straßenmerkmalen reduzieren. Durch Entfernen (oder Ignorieren) von Reflexion, die durch Wasser auf dem Straßenbelag verursacht wird, kann die Straßenmarkierungserkennung verbessert werden. Ein Fahrzeugcomputer, der dazu programmiert ist, Straßenmerkmale, wie etwa Fahrspurmarkierungen, auf Grundlage von Bilddaten zu erkennen, kann eine beeinträchtigte oder mangelnde Fähigkeit zum Erkennen von Straßenmerkmalen auf einem nassen oder vereisten Straßenbelag aufweisen. Vorteilhafterweise kann ein Fahrzeugverarbeitungssystem dazu konfiguriert sein, ein polarimetrisches Bild von einem polarimetrischen Kamerasensor, z. B. einem nach vorn gerichteten Fahrzeugkamerasensor, zu empfangen und einen Straßenbelag in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung zu identifizieren. Das System kann dann in dem polarimetrischen Bild Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag (oder Wasser auf dem Straßenbelag) auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, identifizieren. Das Verarbeitungssystem kann ferner nach dem Identifizieren der Reflexionen des polarisierten Lichts die identifizierten Reflexionen des polarisierten Lichts aus dem polarimetrischen Bild entfernen, wodurch ein aktualisiertes polarimetrisches Bild erzeugt wird. Das Verarbeitungssystem kann ein Straßenmerkmal, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes identifizieren. Das Fahrzeugverarbeitungssystem kann dazu programmiert sein, einen Fahrzeugaktor, z. B. einen Lenkaktor, zu betätigen, um das Fahrzeug in einer Fahrspur zu halten, was andernfalls aufgrund fehlender Fahrspurerkennung auf einer nassen oder vereisten Straße teilweise beeinträchtigt sein kann. In einem Beispiel kann das Verarbeitungssystem dazu programmiert sein, den Straßenbelag in dem empfangenen Bild auf Grundlage der Fahrzeugposition, der Ausrichtung des Kamerasensors, einer Fahrzeugstellung und möglicherweise auch empfangener Kartendaten zu identifizieren.
1 veranschaulicht ein Fahrzeug 100. Das Fahrzeug 100 kann auf vielfältige Weise mit Leistung versorgt werden, z. B. mit einem Elektromotor und/oder einem Verbrennungsmotor. Das Fahrzeug 100 kann ein Landfahrzeug, wie etwa ein Auto, Lkw usw. sein. Ein Fahrzeug 100 kann ein Verarbeitungssystem 110, (einen) Aktor(en) 120, (einen) Sensor(en) 130 und eine Mensch-Maschine-Schnittstelle (human-machine interface - HMI) 140 beinhalten. Das Fahrzeug 100 kann einen Referenzpunkt 150, z. B. einen geometrischen Mittelpunkt (d. h. einen Punkt, an dem sich eine Längsachse und eine Querachse der Karosserie des Fahrzeugs 100 schneiden) oder einen anderen festgelegten Punkt aufweisen.
1 veranschaulicht ferner einen Straßenbelag 170. Ein Straßenbelag 170 kann eine geteerte Fläche und/oder eine unbefestigter Straßenbelag sein. Fahrzeuge 100, Fahrräder usw. können auf einem Straßenbelag 170 fahren. Verschiedene Arten von Straßenmerkmalen, wie etwa eine Fahrspurmarkierung 180, können auf einen Straßenbelag 170 gemalt und/oder anderweitig daran befestigt oder angebracht sein. Eine Fahrspurmarkierung 180 (oder Straßenmarkierung 180) kann zum Beispiel eine durchgehende einfache Linie, eine durchgehende doppelte Linie, eine einfache gestrichelte Linie, eine Fußgängermarkierung und/oder Abbiegepfeile, wie etwa Rechts- oder Linksabbiegepfeile, die auf einen Straßenbelag 170 gemalt sind, beinhalten.
Das Verarbeitungssystem 110 ist ein Satz aus einer oder mehreren elektronischen Komponenten in dem Fahrzeug 100, die erste Daten als Eingabe heranziehen und zweite Daten als Ausgabe auf Grundlage der Verarbeitung der ersten Daten bereitstellen. Das Verarbeitungssystem 110 beinhaltet einen Fahrzeugcomputer 111, d. h. eine der elektronischen Komponenten ist ein Fahrzeugcomputer, und kann auch andere elektronische Komponenten, wie etwa elektronische Steuermodule (electronic control module - ECU) oder dergleichen sowie eine oder mehrere dedizierte elektronische Schaltungen 112 beinhalten, d. h. Hardware, wie etwa ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), ein System-on-Chip (SOC) usw. Der Computer 111 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Der Speicher beinhaltet eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Computer 111 zum Durchführen verschiedener Vorgänge, einschließlich der hierin offenbarten, ausgeführt werden können. Eine dedizierte elektronische Schaltung 112 ist eine integrierte Schaltung, die für eine konkrete Verwendung entwickelt wurde, im Gegensatz zu einer Universalvorrichtung. In einem Beispiel beinhaltet eine dedizierte elektronische Schaltung 112 eine ASIC, die für einen konkreten Vorgang hergestellt wird, z. B. eine ASIC zum Berechnen eines Histogramms von empfangenen Bildern eines Sensors 130. In einem weiteren Beispiel beinhaltet eine dedizierte elektronische Schaltung 112 ein FPGA, bei dem es sich um eine integrierte Schaltung handelt, die so hergestellt ist, dass sie durch einen Kunden konfiguriert werden kann. Typischerweise wird eine Hardware-Beschreibungssprache, wie etwa VHDL (Hardware-Beschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit), in der elektronischen Designautomatisierung verwendet, um digitale und Mischsignal-Systeme, wie etwa FPGA und ASIC, zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage von VHDL-Programmierung hergestellt, die vor der Herstellung bereitgestellt wird, wohingegen logische Komponenten innerhalb eines FPGA auf Grundlage von VHDL-Programmierung konfiguriert sein können, z. B. in einem Speicher gespeichert sind, der elektrisch mit der FPGA-Schaltung verbunden ist. In einigen Beispielen kann eine Kombination aus Prozessor(en), ASIC(s) und/oder FPGA-Schaltungen in einer Chipbaugruppe beinhaltet sein.
Im Kontext dieser Schrift kann eine Aussage, dass das Verarbeitungssystem 110 dazu programmiert ist, eine Anweisung oder Funktion auszuführen, bedeuten, dass ein Universalcomputer 110 oder eine ECU (d. h. mit einer Universal-CPU) dazu programmiert ist, um Programmanweisungen auszuführen. Zusätzlich oder alternativ kann das Verarbeitungssystem 110, das dazu programmiert ist, eine Anweisung oder Funktion auszuführen, bedeuten, dass eine elektronische Schaltung 112 einen Vorgang durchführt, der auf Grundlage einer Programmierung in Hardware-Beschreibungssprache, wie etwa VHDL, spezifiziert ist, wie vorstehend erörtert. Ferner kann das Verarbeitungssystem 110 dazu programmiert sein, eine Reihe oder einen Satz von Schritten auszuführen, wobei ein erster Schritt oder erste Schritte durch einen ersten Computer oder eine elektronische Schaltung 111, 112 ausgeführt werden und ein zweiter Schritt oder zweite Schritte durch einen zweiten Computer oder eine zweite elektronische Schaltung ausgeführt werden 111, 112.
In einem Beispiel kann eine dedizierte Hardware des Verarbeitungssystems 110 empfangene Bilddaten von einem Bildsensor verarbeiten und einen Polarisationswinkel und/oder einen Polarisationsgrad jedes Bildpixels berechnen, wohingegen ein Prozessor des Verarbeitungssystems 110 dazu programmiert sein kann, Daten von der dedizierten Hardware zu empfangen und das Fahrzeug 100 durch Betätigen von Aktoren 120 des Fahrzeugs 100 zu navigieren.
Das Verarbeitungssystem 110 kann das Fahrzeug 100 in einem autonomen Modus, einem halbautonomen Modus oder einem nicht autonomen Modus betreiben. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 100 durch das Verarbeitungssystem 110 gesteuert wird; in einem halbautonomen Modus steuert das Verarbeitungssystem 110 eines oder zwei von Antrieb, Bremsung und Lenkung der Fahrzeuge 100; in einem nicht autonomen Modus steuert ein Bediener oder Insasse, d. h. einer von dem einen oder den mehreren Insassen, Antrieb, Bremsung und Lenkung des Fahrzeugs 100. In einem nicht autonomen Modus kann das Verarbeitungssystem 110 dazu programmiert sein, Fahrspurmarkierungen 180 zu erkennen. Das Verarbeitungssystem 110 kann unter Verwendung herkömmlicher Techniken programmiert sein, um eine Fahrspurabweichungswarnung auszugeben, wenn bestimmt wird, dass das Fahrzeug 100 eine aktuelle Fahrspur verlässt.
In einigen Beispielen kann ein Insasse des Fahrzeugs 100 in einem autonomen Modus Informationen von einer HMI 140 des Fahrzeugs 100 empfangen, die den Insassen anweist, eine Kontrolle über den Antrieb, die Bremsung und/oder die Lenkung des Fahrzeugs 100 wiederzuerlangen, wenn festgelegte Bedingungen erkannt werden, z. B. beim Erkennen eines Versagens in einem oder mehreren Sensoren 130 des Fahrzeugs 100, ein Straßenmerkmal, wie etwa eine Fahrspurmarkierung 180, zu erkennen.
Das Verarbeitungssystem 110 kann Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuern der Geschwindigkeit und/oder Beschleunigung des Fahrzeugs 100 durch Steuern von einem oder mehreren von einem Verbrennungsmotor, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenbeleuchtung usw. des Fahrzeugs 100 zu betreiben, sowie um zu bestimmen, ob und wann das Verarbeitungssystem 110 derartige Vorgänge anstelle eines menschlichen Bedieners steuern soll. Zusätzlich kann das Verarbeitungssystem 110 dazu programmiert sein, zu bestimmen, ob und wann ein menschlicher Fahrzeugführer derartige Vorgänge steuern soll. Zum Beispiel kann das Verarbeitungssystem 110 bestimmen, dass im nicht autonomen Modus ein menschlicher Bediener die Antriebs-, Lenk- und Bremsvorgänge steuern soll.
Das Verarbeitungssystem 110 kann mehr als einen Prozessor, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug zum Überwachen und/oder Steuern verschiedener Fahrzeugsteuerungen, z. B. einer Antriebsstrangsteuerung, einer Bremssteuerung, einer Lenkungssteuerung usw., beinhaltet sind, beinhalten oder kommunikativ daran gekoppelt sein, z. B. über einen Kommunikationsbus des Fahrzeugs 100, wie er nachstehend ausführlicher beschrieben wird. Das Verarbeitungssystem 110 ist allgemein zur Kommunikation in einem Fahrzeugkommunikationsnetz angeordnet, das einen Bus in dem Fahrzeug beinhalten kann, wie etwa ein Controller Area Network (CAN) oder dergleichen, und/oder andere drahtgebundene und/oder drahtlose Mechanismen.
Über das Netzwerk des Fahrzeugs 100 kann das Verarbeitungssystem 110 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. einem Aktor 120, einer HMI 140 usw., empfangen. Alternativ oder zusätzlich kann in den Fällen, in denen das Verarbeitungssystem 110 mehrere Vorrichtungen umfasst, das Kommunikationsnetzwerk des Fahrzeugs 100 für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als das Verarbeitungssystem 110 dargestellt sind. Wie nachfolgend ausführlicher erörtert, können verschiedene elektronische Steuerungen und/oder Sensoren 130 dem Verarbeitungssystem 110 Daten über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Die Aktoren 120 des Fahrzeugs 100 sind über Schaltungen, Chips oder andere elektronische und/oder mechanische Komponenten umgesetzt, die verschiedene Fahrzeugteilsysteme gemäß geeigneten Steuersignalen, wie bekannt, betätigen können. Die Aktoren 120 können verwendet werden, um Systeme der Fahrzeuge 100 zu steuern, wie etwa Bremsung, Beschleunigung und/oder Lenkung der Fahrzeuge 100.
Die Sensoren 130 des Fahrzeugs 100 können vielfältige Vorrichtungen beinhalten, von denen bekannt ist, dass sie Daten über den Fahrzeugkommunikationsbus bereitstellen. 1 zeigt einen beispielhaften Kamerasensor 130. Beispielsweise können die Sensoren 130 einen oder mehrere Kamerasensoren 130, Radar-, Infrarot- und/oder LiDAR-Sensoren 130 beinhalten, die im Fahrzeug 100 und/oder am Fahrzeug 100 angeordnet sind und Daten bereitstellen, die zumindest einen Teil des Innen- und Außenbereichs des Fahrzeugs 100 abdecken. Die Daten können durch das Verarbeitungssystem 110 über eine geeignete Schnittstelle empfangen werden. Ein Kamerasensor 130, der im und/oder am Fahrzeug 100 angeordnet ist, kann Objektdaten bereitstellen, die relative Positionen, Größen und Formen von Objekten beinhalten, wie etwa andere das Fahrzeug 100 umgebende Fahrzeuge und/oder Position von Merkmalen der Straße 170, z. B. Fahrspurmarkierung(en) 180. Das Verarbeitungssystem 110 eines Fahrzeugs 100 kann die Objektdaten und/oder Positionsdaten der Fahrspurmarkierung 180 empfangen und das Fahrzeug 100 zumindest teilweise auf Grundlage der empfangenen Daten des Sensors 130 in einem autonomen und/oder halbautonomen Modus betreiben.
Die Objektdaten und/oder die Position der Merkmale des Straßenbelags 170, wie etwa Fahrspurmarkierungen 180, können in Bezug auf ein Koordinatensystem 160 festgelegt sein. Das Koordinatensystem 160 kann ein kartesisches Koordinatensystem mit einem Ursprungspunkt sein, z. B. gemäß Paaren von Breiten- und Längengraden in dem Koordinatensystem des GPS (Global Positioning System) festgelegt sein. Eine Position oder Positionen, d. h. Positionskoordinaten, eines Straßenmerkmals, wie etwa einer Fahrspurmarkierung 180, können durch (i) eine mathematische Funktion und/oder (ii) einen Satz einzelner Punkte, der durch einen Satz von Koordinaten festgelegt ist, festgelegt sein. Zum Beispiel könnte eine mathematische Funktion, die einen Satz von durch eine Fahrspurmarkierung 180 definierten Positionen beschreibt, Y = a + bX + cX² sein, wobei X, Y Längs- und Querpositionskoordinaten in Bezug auf ein Koordinatensystem 160 darstellen. Somit könnte die vorstehende Funktion eine Krümmung beschreiben, zum Beispiel einer Fahrspurmarkierung 180 auf dem Straßenbelag 170. In einem weiteren Beispiel könnten Positionskoordinaten einer Vielzahl von Punkten auf der Fahrspurmarkierung 180 bereitgestellt sein; die Fahrspurmarkierung 180 könnte durch Interpolieren zwischen bereitgestellten Punkten vollständiger beschrieben oder angenähert werden.
Im vorliegenden Kontext ist eine Ausrichtung eines Kamerasensors 130 eine imaginäre Linie, die durch den Kamerasensor 130 im Sichtfeld 135 des Kamerasensors 130 verläuft, z. B. eine Achse eines Objektivs des Kamerasensors 130. Die Ausrichtung kann in Bezug auf das 3D-Koordinatensystem 160 bereitgestellt sein, wie gerade beschrieben.
Eine Stellung des Fahrzeugs 100 ist eine Kombination aus Rollen, Nicken und Gieren des Fahrzeugs 100, die in Bezug auf ein Koordinatensystem, z. B. das Koordinatensystem 160, festgelegt ist. Eine Stellung eines Fahrzeugs 100 kann sich auf Grundlage von Beschleunigung, Verlangsamung, Lenkung, Bremsung und/oder Beladebedingung des Fahrzeugs 100 ändern. Wenn ein Kamerasensor 130 an einem Fahrzeug 100 angebracht ist, z. B. an einer vorderen Windschutzscheibe, die zur Fahrbahn blickt, dann kann sich eine Ausrichtung des Kamerasensors 130 des Fahrzeugs 100 ändern, wenn sich die Stellung des Fahrzeugs 100 ändert.
Das Verarbeitungssystem 110 des Fahrzeugs 100 kann Positionsdaten des Fahrzeugs 100 von einem Positionssensor 130 des Fahrzeugs 100, z. B. einem GPS-Sensor 130, empfangen. Die Positionskoordinaten des Fahrzeugs 100 beinhalten Längengrad, Breitengrad und Höhe eines Referenzpunkts 150 des Fahrzeugs 100 in Bezug auf ein Koordinatensystem 160, z. B. ein GPS -Koordinatensystem.
Im vorliegenden Kontext legen Kartendaten Positionskoordinaten des Straßenbelags 170, von Gebäuden und/oder anderen stationären physischen Objekten, wie etwa Verkehrszeichen, Brücken usw. fest. Eine Karte mit hoher Auflösung (High Definition - HD) kann dreidimensionale (3D) Positionskoordinaten von Punkten auf Flächen, wie etwa Außenflächen von Gebäuden, Brücken, Leitplanken usw., und/oder Punkten auf einem Straßenbelag 170, Vegetation usw. spezifizieren
Die 3D-Positionskoordinaten können in einem kartesischen 3D-Koordinatensystem 160 mit einem Ursprungspunkt festgelegt sein, wie vorstehend beschrieben. Zum Beispiel können Positionskoordinaten eines Punkts auf dem Straßenbelag 170 durch X-, Y- und Z-Koordinaten festgelegt sein. X- und Y-Koordinaten, d. h. horizontale Koordinaten, können Koordinaten des globalen Positionsbestimmungssystems (GPS) (d. h. Breiten- und Längengradkoordinaten) oder dergleichen sein, wohingegen eine Z-Koordinate eine vertikale Komponente für eine Position, d. h. eine Höhe (oder Höhenlage) eines Punkts von einer x-Achse, die eine festgelegte vertikale Position darstellt, festlegen kann, z. B. einen Meeresspiegel, einen Bodenniveau usw. Eine 3D-Karte kann auf Grundlage von Daten generiert werden, die von einem LiDAR-Sensor 130 empfangen werden, der einen Bereich mit Lichtstrahlen abtastet und Reflexionen der ausgesendeten Lichtstrahlen von Außenflächen der Objekte empfängt. Im vorliegenden Kontext ist ein Bereich ein 3D-Volumen über dem Boden, wobei eine Unterseite die Bodenfläche berührt und sich eine Oberseite über der Bodenfläche, z. B. bei 50 Metern von der Bodenfläche entfernt, befindet. Somit kann eine derartige 3D-Karte Positionskoordinaten der Punkte auf Außenflächen von Objekten beinhalten.
Ein Verarbeitungssystem 110 des Fahrzeugs 100 kann dazu programmiert sein, das Fahrzeug 100 auf Grundlage von Objektdaten, die von einem Objekterkennungssensor 130 des Fahrzeugs 100 empfangen werden, wie etwa einem LiDAR-Sensor 130, der 3D-Positionskoordinaten von Punkten auf Flächen um das Fahrzeug 100 herum bereitstellt, und der empfangenen HD-Kartendaten zu lokalisieren. Eine Lokalisierung beinhaltet im vorliegenden Kontext das Bestimmen der Positionskoordinaten des Fahrzeugs 100 und der Stellung des Fahrzeugs 100.
Das Fahrzeug 100 kann eine HMI 140 beinhalten, die dazu konfiguriert ist, von einem Verarbeitungssystem 110 des Fahrzeugs 100 empfangene Informationen anzuzeigen und/oder Informationen, die z. B. durch einen Insassen des Fahrzeugs 100 eingegeben wurden, an ein Verarbeitungssystem 110 des Fahrzeugs 100 zu senden. Daher kann sich eine HMI 140 im Innenraum des Fahrzeugs 100 befinden. In einem Beispiel kann das Verarbeitungssystem 110 Informationen ausgeben, die einen ausgewählten Betriebsmodus des Fahrzeugs 100 angeben, z. B. den autonomen Modus.
Die Polarisation von Licht (oder einem Lichtstrahl) kann mit einem Polarisationsgrad und einer Polarisationsrichtung festgelegt sein. Zusätzlich oder alternativ kann eine Polarisation von Licht durch Stokes-Parameter festgelegt sein, die eine Intensität I, einen Polarisationsgrad und Formparameter einer Polarisationsellipse beinhalten. Eine Verteilung von Lichtwellen, die gleichmäßig in mehr als einer Richtung schwingen, wird als unpolarisiertes Licht bezeichnet. Polarisierte Lichtwellen sind Lichtwellen, bei denen die Schwingungen ganz oder teilweise in einer einzigen Ebene auftreten. Der Prozess des Umwandelns von unpolarisiertem Licht in polarisiertes Licht ist als Polarisation bekannt. Die Polarisationsrichtung ist als eine Richtung parallel zu einem elektromagnetischen Feld der Lichtwelle definiert. Eine Polarisationsrichtung (d. h. eine Richtung der Schwingung) kann mit einem Winkel zwischen 0 und 360 Grad festgelegt sein. Unpolarisiertes Licht beinhaltet viele Lichtwellen (oder Strahlen) mit zufälligen Polarisationsrichtungen, z. B. Sonnenlicht, Mondlicht, fluoreszierendes Licht, Fahrzeugscheinwerfer usw. Licht, das von einem nassen Bereich, z. B. einem nassen Straßenbelag 170, reflektiert wird, kann polarisierte Lichtwellen beinhalten, wie nachstehend erörtert.
Licht kann durch Hindurchtreten durch einen Polarisationsfilter oder ein anderes polarisierendes Material polarisiert werden. Ein Polarisationsgrad ist eine Größe, die verwendet wird, um den Abschnitt einer elektromagnetischen Welle zu beschreiben, der polarisiert ist. Eine perfekt polarisierte Welle weist einen Grad der Polarisierung (oder Polarisationsgrad) von 100 % auf (d. h. Lichtwellen sind auf eine Richtung beschränkt), wohingegen eine unpolarisierte Welle einen Polarisationsgrad von 0 % aufweist (d. h. keine Einschränkung in Bezug auf eine Richtung der Schwingung einer Lichtwelle). Zum Beispiel ist bekannt, dass Laserlichtemission vollständig polarisiert ist. Eine teilweise polarisierte Welle kann durch eine Kombination aus polarisierten und unpolarisierten Komponenten dargestellt sein und somit einen Polarisationsgrad zwischen 0 und 100 % aufweisen. Ein Polarisationsgrad wird als ein Bruchteil einer Gesamtleistung berechnet, die durch die polarisierte Komponente der Lichtwelle übertragen wird.
Ein polarimetrisches Bild ist im vorliegenden Kontext ein Bild, das von einem polarimetrischen Kamerasensor 130 empfangen wird. Ein polarimetrischer Kamerasensor 130 ist eine Digitalkamera, die optische und/oder elektronische Komponenten beinhaltet, z. B. eine Bilderfassungsvorrichtung 200, wie in 2 gezeigt, die dazu konfiguriert ist, polarisiertes Licht zu filtern und die Polarisation des empfangenen Lichts zu erkennen. Andere Filterverfahren können ebenfalls möglich sein, um polarisierte Bilddaten zu erzeugen. Ein polarimetrischer Kamerasensor 130 kann einen Polarisationsgrad des empfangenen Lichts in verschiedenen Polarisationsrichtungen bestimmen. Licht weist physikalische Eigenschaften auf, wie etwa Helligkeit (oder Amplitude), Farbe (oder Wellenlänge), Polarisationsrichtung und einen Polarisationsgrad. Zum Beispiel kann unpolarisiertes Licht eine Ausbreitung von Lichtwellen aufweisen, die gleichmäßig in verschiedene Richtungen verteilt ist (d. h. unterschiedliche Richtungen aufweist), was zu einem „niedrigen“ Polarisationsgrad (d. h. unter einem festgelegten Schwellenwert) führt, und vollständig polarisiertes Licht kann Lichtwellen beinhalten, die eine Richtung aufweisen, was zu einem „hohen“ Polarisationsgrad (d. h. über einem festgelegten Schwellenwert) führt. Im vorliegenden Kontext kann ein „niedriger“ Polarisationsgrad 0 % bis 10 % betragen und kann ein „hoher“ Polarisationsgrad als 90 % bis 100 % definiert sein. Jede dieser physikalischen Eigenschaften kann durch einen polarimetrischen Kamerasensor 130 bestimmt werden. Ein polarimetrischer Kamerasensor 130, der z. B. ein polarisiertes Filterarrays (PFA) verwendet, ist eine Bildgebungsvorrichtung, die in der Lage ist, den Polarisationszustand von Licht als Momentaufnahme zu analysieren. Die polarimetrischen Kamerasensoren 130 zeigen räumliche Schwankungen, d. h. Uneinheitlichkeit, in ihrer Reaktion aufgrund von optischen Unvollkommenheiten, die während des Nanofabrikationsprozesses hervorgerufen werden. Eine Kalibrierung wird durch rechnergestützte Bildgebungsalgorithmen durchgeführt, um die Daten auf radiometrische und polarimetrische Fehler zu korrigieren.
2 zeigt einen beispielhaften polarisierenden Kamerasensor 130. Ein polarisierender Kamerasensor 130 beinhaltet typischerweise ein Objektiv (nicht gezeigt), das empfangenes Licht auf eine Bilderfassungsvorrichtung 200 fokussiert. Eine polarisierende Bilderfassungsvorrichtung 200, wie etwa ein CCD- oder CMOS-Sensor. Die polarisierende Bilderfassungsvorrichtung 200 ist eine optoelektronische Komponente, die Licht in elektrische Signale umwandelt. Bilddaten, die von einer Bilderfassungsvorrichtung 200 ausgegeben werden, beinhalten typischerweise eine Vielzahl von Pixeln, z. B. 1 Megapixel. Die Bilderfassungsvorrichtung 200 kann eine Vielzahl von einzelnen optoelektronischen Komponenten 210 beinhalten, wobei jede ein elektrisches Signal für jedes Bildpixel generiert. Bilddaten, die durch die Bilderfassungsvorrichtung 200 für jedes Bildpixel generiert werden, können auf Bildattributen basieren, die eine Polarisationsrichtung (oder -achse), einen Polarisationsgrad, eine Intensität und/oder einen Farbraum beinhalten.
Um detektiertes polarisiertes Licht zu filtern, kann ein polarisierendes Material, z. B. in Form einer Folie, auf die Bilderfassungsvorrichtung 200 gelegt werden und/oder in der Bilderfassungsvorrichtung 200 beinhaltet sein. Um zum Beispiel eine polarisierende Folie zu erzeugen, können winzige Jodchininsulfatkristallite, die in der gleichen Richtung ausgerichtet sind, in einer transparenten Polymerfolie eingebettet sein, um eine Migration und Neuausrichtung der Kristalle zu verhindern. Als ein weiteres Beispiel kann ein polarisiertes Filterarray (PFA) verwendet werden, um polarisierende Folien herzustellen. PFA können Metalldrahtgitter-Mikrostrukturen, Flüssigkristalle, eine Wellenplattenanordnung aus Quarzglas und/oder intrinsisch polarisationsempfindliche Detektoren beinhalten. Wie in 2 gezeigt, kann das polarisierende Material an jeder optoelektronischen Komponente 210 so konfiguriert sein, dass Licht mit einer spezifischen Polarisationsrichtung, z. B. 0 (null), 45, 90, 270 Grad, durch die polarisierenden Folie hindurchtritt. In einem Beispiel generiert jede optoelektronische Komponente 210 Bilddaten, die einem oder mehreren Bildpixeln entsprechen. In einem Beispiel können die optoelektronischen Komponenten 210 der Bilderfassungsvorrichtung 200 derart angeordnet sein, dass jeder Satz von 2x2 optoelektronischen Komponenten 210 eine von mit 0 (null), 45, 90 und 270 Grad polarisierenden Folien beinhaltet. Ein polarimetrisches Bild wird dann unter Verwendung bekannter Demosaicking-Techniken erzeugt, wie nachstehend erörtert. Zusätzlich oder alternativ können andere Techniken verwendet werden, wie etwa ein drehender Filter, ein elektrooptischer Filter usw.
Ein empfangenes Bild beinhaltet typischerweise Rauschen. Rauschpegel können je nach Umgebungslichtbedingungen und/oder Kameraparametern wie Belichtungszeit, Verstärkung usw. variieren. Eine Menge an Rauschen in einem Bild wird typischerweise als „Rauschverhältnis“ oder „Signal-Rausch-Verhältnis“ (signal-to-noise ratio - SNR) angegeben. Das Signal-Rausch-Verhältnis ist ein Maß zum Angeben eines gewünschten Signals im Vergleich zu einem Rauschpegel in den empfangenen Daten. Das SNR wird als ein Verhältnis der Signalleistung zu einer Rauschleistung angegeben, häufig ausgedrückt in Dezibel (dB). Ein Verhältnis von mehr als 1:1 (mehr als 0 dB) weist auf mehr Signal als Rauschen hin. Die Parameter des Kamerasensors 130 (oder Kameraparameter) beinhalten Parameter wie etwa (i) Belichtungszeit, d. h. eine Zeitdauer, in der die optoelektronischen Bildgebungskomponente(n) 210 auf Grundlage der eingestellten Verschlusszeit Licht ausgesetzt sind, (ii) eine Kameraverstärkung, die eine Amplifizierung eines von der Bilderfassungsvorrichtung 200 empfangenen Bildsignals steuert. Ein Kamerasensor 130 kann einen Bildsignalprozessor (ISP) beinhalten, der Bilddaten von dem Bildgebungssensor 200 empfängt und Demosaicking, Rauschreduzierung, Einstellen der Belichtungszeit, Autofokus, automatischen Weißabgleich, Verstärkungssteuerung (z. B. automatische Verstärkungssteuerung) usw. durchführt.
Wie vorstehend erörtert, kann jede der optoelektronischen Komponenten 210 der Bilderfassungsvorrichtung 200 Licht detektieren, das eine spezifische Polarisationsrichtung aufweist. Zum Beispiel kann eine optoelektronische Komponente 210 Licht mit einer Polarisationsrichtung von 90 Grad detektieren. Das Verarbeitungssystem 110 kann dazu programmiert sein, ein Bild auf Grundlage von Ausgaben der optoelektronischen Komponenten 210 zu generieren. Dieser Prozess wird typischerweise als „Demosaicking“ bezeichnet. In einem Demosaicking-Prozess kann das Verarbeitungssystem 110 die von jedem der 2x2 benachbarten optoelektronischen Sensoren 210 empfangenen Bilddaten kombinieren und den Polarisationsgrad, die Intensität I und die Polarisationsrichtung des empfangenen Lichts für den Satz von 4 (vier) optoelektronischen Komponenten 210 berechnen, z. B. unter Annahme eines Polarisationsgrads von 45 Grad für den Teil des Bildes, der von der optoelektronischen Komponente 210 empfangen wird, die eine 90-Grad-Polarisationsfolie aufweist. Mit anderen Worten kann in Anbetracht der relativ kleinen Größe von Pixeln angenommen werden, dass Licht, das an einem Pixel auf einer 90-Grad-Polarisationsfolie empfangen wird, eine gleiche 45-Grad-Polarisationskomponente aufweist wie Licht, das an einem benachbarten Pixel empfangen wird, d. h. innerhalb eines gleichen Satzes von vier optoelektronische Komponenten 210. Das Bild, das durch das Demosaicking erzeugt wird, kann als das Demosaicking-Bild bezeichnet werden.
Das Verarbeitungssystem 110 kann dazu programmiert sein, eine Intensität, eine Polarisationsrichtung und einen Polarisationsgrad, z. B. für jedes Bildpixel, auf Grundlage von Daten zu bestimmen, die von dem Kamerasensor 130 empfangen werden. Das Verarbeitungssystem 110 kann dazu programmiert sein, eine Polarisationskarte auf Grundlage der empfangenen Bilddaten zu generieren. Das Verarbeitungssystem 110 kann einen Satz aus Intensität (z. B. in Candela angegeben), einer Polarisationsrichtung (z. B. 0 bis 360 Grad) und einem Polarisationsgrad (z. B. 0 bis 100 %) für jedes Pixel des Bildes bestimmen.

Zum Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, eine Polarisationskarte zu generieren, die einen Satz von Polarisationsdaten für jedes Pixel des Bildes beinhaltet, wie in Tabelle 1 gezeigt. Somit kann die Polarisationskarte angeben, ob polarisiertes Licht mit jeder der vier Polarisationsrichtungen detektiert wird, und einen Polarisationsgrad für jede der Polarisationsrichtungen angeben. Tabelle 1

Daten	Beschreibung
Luminanz oder Intensität	Angegeben in Candela (cd) oder einem Prozentsatz von 0 (null) % (vollständig dunkel) bis 100 % (vollständig hell).
0 (null) Grad Polarisations grad	Ein Polarisationsgrad von Licht bei der Polarisationsrichtung von 0 (null) Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
45-Grad-Polarisation	Ein Polarisationsgrad von Licht bei der Polarisationsrichtung von 45 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
90-Grad-Polarisation	Ein Polarisationsgrad von Licht bei der Polarisationsrichtung von 90 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
270-Grad-Polarisation	Ein Polarisationsgrad von Licht bei der Polarisationsrichtung von 270 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.

Das Verarbeitungssystem 110 kann dazu programmiert sein, die Polarisationskarte auf Grundlage von Bilddaten zu generieren, die von der Bilderfassungsvorrichtung 200 des Kamerasensors 130 empfangen werden. Zusätzlich oder alternativ kann der Kamerasensor 130 elektronische Komponenten beinhalten, die die Polarisationskarte generieren und die Polarisationskartendaten an das Verarbeitungssystem 110 ausgeben. Somit kann das Verarbeitungssystem 110 Polarisationsdaten, z. B. wie durch Tabelle 1 veranschaulicht, für jedes Pixel oder jeden Satz von Pixeln von dem polarimetrischen Kamerasensor 130 empfangen.
Die Lichtintensität (oder Luminanz) I ist ein Maß für die wellenlängengewichtete Leistung, die durch eine Lichtquelle in einer konkreten Richtung pro Raumwinkeleinheit emittiert wird, basierend auf der Luminanzfunktion, einem standardisierten Modell der Empfindlichkeit des menschlichen Auges. Eine Maßeinheit für die Lichtintensität I ist Candela (cd). Eine Lichtintensität I kann alternativ oder zusätzlich in einer Spanne von 0 (null) bis 100 % auf Grundlage von Daten, die von einem Kamerasensor 130 des Fahrzeugs 100 empfangen werden, festgelegt sein. Eine Intensität I von Licht, das durch den Kamerasensor 130 empfangen wird, kann individuell auf Grundlage einer Ausgabe von jedem einer Vielzahl von Polarisationsfiltern festgelegt sein. Zum Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, für jedes Bildpixel bei jeder einer Vielzahl von Polarisationsintensitäten I(0°), I(45°), I(90°), I(135°) zu bestimmen. Zum Beispiel ist eine Intensität I(45°) eine Intensität von Licht, das empfangen wird, nachdem es durch einen 45-Grad-Polarisationsfilter hindurchgetreten ist. Mit anderen Worten gibt eine Intensität I(45°) eine Intensität eines Teils des Lichts an, das an einem jeweiligen Pixel empfangen wird, das eine Polarisation von 45 Grad aufweist. Eine Gesamtintensität I_gesamt gibt eine Intensität von unpolarisiertem Licht und polarisiertem Licht in einer beliebigen Polarisationsrichtung an, die an dem Kamerasensor 130 empfangen wird.
Ein Lichtstrahl, der auf eine Fläche trifft, z.B. einen Straßenbelag 170 kann absorbiert, gestreut (oder gebrochen) und/oder reflektiert werden. Streuung und Reflexion sind wohlbekannte Konzepte. Bei gestreuter Lichtreflexion handelt es sich um Reflexion von Licht oder anderen Wellen oder Partikeln von einer Fläche 170 derart, dass ein Lichtstrahl, der auf die Fläche 170 einfällt, in vielen Winkeln gestreut wird, anstatt nur in einem Winkel, wie im Fall der spiegelnden Reflexion. Viele gebräuchliche Materialien, z. B. Beton, Asphalt usw., zeigen eine Mischung aus spiegelnder und gestreuter Reflexion. Ein Licht, das auf eine Fläche 170 trifft, die nass, z. B. ein nasser Bereich 195 eines Straßenbelags 170, und/oder vereist ist, wird im Wesentlichen reflektiert (d. h. mehr reflektiert als gestreut im Vergleich zu einer gleichen Fläche in trockenem Zustand, die Licht eher streuen als reflektieren würde). Eine Reflexion von einem nassen Bereich 195 wird häufig als eine spiegelähnliche Reflexion beschrieben, bei der das einfallende Licht in eine einzelne abgehende Richtung reflektiert wird. Typischerweise ist reflektiertes Licht von einer Wasserpfütze 190 eines Straßenbelags 170 polarisiert, wohingegen Streulicht von einem trockenen Bereich des Straßenbelags 170 im Wesentlichen unpolarisiert ist. Wie nachstehend erörtert, wird dieser Unterschied verwendet, um eine Erkennung von Straßenmerkmalen auf dem Straßenbelag 170, der durch die Wasserpfütze 190 bedeckt ist, zu verbessern.
Eine Gesamtlichtintensität I_gesamt, die durch ein Pixel eines polarimetrischen Bildes dargestellt ist, kann polarisierte und unpolarisierte Lichtintensitäten beinhalten, z. B. Lichtintensität I_gesamt (m, n) an einem Pixel m, n (d. h. Koordinaten m, n,, die eine Position des jeweiligen Pixels in dem Bild, z. B. in einem Pixelkoordinatensystem, das einen Ursprung in einer unteren linken Ecke des Bildes aufweist, darstellen). Somit kann eine Gesamtintensität I_gesamt eines Pixels als eine Summe einer empfangenen polarisierten Lichtintensität I_R und einer empfangenen gestreuten (oder unpolarisierten) Lichtintensität I_D angegeben sein, wie in Gleichung (1) gezeigt. $I_{total} = I_{D} + I_{R}$
Eine statistische Verteilung der Intensität I_gesamt von Bildpixeln kann durch ein Histogramm angegeben werden. Ein Histogramm, wie es herkömmlicherweise verstanden wird, ist eine statistische Darstellung der Intensität I_gesamt von Pixeln eines Bildes. Mit anderen Worten zeigt ein Histogramm eine Menge unterschiedlicher konkreter Intensitäten I_gesamt die in einem Bild gefunden werden, z. B. Intensitäten in einem Bereich von 0 (null) % bis 100 %. Zum Beispiel kann ein ISP dazu konfiguriert sein, ein Histogramm eines Bildes zu berechnen. Zusätzlich oder alternativ kann ein Verarbeitungssystem 110 dazu programmiert sein, ein Bildhistogramm zu berechnen.
Ein Bild mit einem Bereich hoher Dynamik (High Dynamic Range - HDR) bedeutet, dass ein Bild ausreichende Details (z. B. eine statistische Varianz von Intensitäten, die einen Schwellenwert überschreiten) von hellen und dunklen Bereichen aufweist, was für Bildverarbeitungsalgorithmen vorteilhaft ist. Zum Beispiel kann bestimmt werden, dass ein Bild einen Bereich mit hoher Dynamik aufweist, wenn eine Differenz zwischen einer minimalen Intensität Imin und einer maximalen Intensität Imax von Pixeln in dem Bild einen Schwellenwert, z. B. 50 %, überschreitet. Die Differenz zwischen der minimalen und der maximalen Intensität Imin, Imax eines Bildes kann auf Umgebungslichtbedingungen und/oder Parametern des Kamerasensors 130, wie etwa der Belichtungszeit usw., basieren. Im Kontext der Bildgebung wird die Farbsättigung gemeinhin verwendet, um eine Intensität eines Bildes zu beschreiben. Ein „übersättigtes“ Bild weist eine durchschnittliche oder mittlere Intensität auf, die einen Übersättigungsschwellenwert, z. B. 80 %, überschreitet. Ein „untersättigtes“ Bild weist eine durchschnittliche oder mittlere Intensität auf, die geringer als ein Untersättigungsschwellenwert, z. B. 30 %, ist. Eine mittlere oder durchschnittliche Intensität wird auf Grundlage der Intensität I jedes der Bilder bestimmt. Die Schwellenwerte für Übersättigung und Untersättigung können auf Grundlage empirischer Verfahren bestimmt werden. Mit anderen Worten können die Schwellenwerte auf Grundlage von Ergebnissen der Bildverarbeitung bestimmt werden, bei der die Untersättigung und/oder Übersättigung zu einem Mangel an Erkennung von Straßenmerkmalen, wie etwa Fahrspurmarkierungen 180, führt.
Ein Verarbeitungssystem 110 kann dazu programmiert sein, eine Lichtintensität I einer Vielzahl von Pixeln in einem empfangenen Bild zu bestimmen, ein Histogramm des empfangenen Bildes auf Grundlage der berechneten Intensitäten I zu berechnen und auf Grundlage des berechneten Histogramms des empfangenen Bildes zu bestimmen, ob das empfangene Bild übersättigt oder untersättigt ist. Das Verarbeitungssystem 110 kann dazu programmiert sein, bei Bestimmen von Übersättigung und Untersättigung in dem empfangenen polarimetrischen Bild einen Kameraparameter zu modifizieren und ein weiteres polarimetrisches Bild zu empfangen, nachdem der Kameraparameter modifiziert wurde. Wie vorstehend erörtert, kann der Kameraparameter eine Belichtungszeit, eine Kameraverstärkung usw. sein.
In einem Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, einen Kameraparameter durch Verlängern der Belichtungszeit der Kamera zu modifizieren, wenn bestimmt wird, dass das empfangene Bild untersättigt ist. Das Verarbeitungssystem 110 kann dazu programmiert sein, den Kameraparameter durch Verkürzen der Belichtungszeit der Kamera zu modifizieren, wenn bestimmt wird, dass das empfangene Bild übersättigt ist. In einem Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, die Kameraparameter zu modifizieren, bis ein empfangenes Bild weder übersättigt noch untersättigt ist. Zusätzlich oder alternativ kann ein ISP dazu konfiguriert sein, eine derartige Modifikation von Kameraparametern unter Verwendung von automatischer Belichtung, automatischer Verstärkungssteuerung usw. durchzuführen.
Unter Bezugnahme auf die Gleichungen (2)-(3) können ein Reflexionsindex einer p-Welle Rp und ein Reflexionsindex einer s-Welle R_s für das reflektierte Licht gemäß der Fresnel-Formel bestimmt werden. Eine p-Welle ist eine Lichtwelle mit einem elektrischen Feld mit einer Richtung parallel zu einer Einfallsebene (eine imaginäre Ebene senkrecht zu einer Fläche des Bildgebungssensors 200, wobei sich die Lichtwelle innerhalb der imaginären Ebene befindet). Eine s-Welle ist eine Lichtwelle mit einem elektrischen Feld, das senkrecht zur Einfallsebene ausgerichtet ist. θ₁ stellt einen Reflexionswinkel von Licht dar, der ein gleicher Winkel wie ein Einfallswinkel ist. θ₂ ist ein Brechungswinkel (nicht gezeigt). Ein Brechungswinkel θ₂ kann auf Grundlage des Reflexionswinkels θ₁ und eines Brechungsindex n des Mediums bestimmt werden. In diesem Kontext kann der Brechungsindex n ein idealer Brechungsindex von 1,33 für Wasser in der Wasserpfütze 190 auf dem Straßenbelag 170 sein. $R_{s} = \frac{s i n^{2} (θ_{1} - θ_{2})}{s i n^{2} (θ_{1} + θ_{2})}$
$R_{p} = \frac{t a n^{2} (θ_{1} - θ_{2})}{t a n^{2} (θ_{1} + θ_{2})}$
I_Rs stellt eine Intensität der s-Welle des empfangenen Lichts dar und I_Rp stellt eine Intensität der p-Wellenkomponente des empfangenen Lichts dar. Zusätzlich ist anzumerken, dass die Komponenten I_Rs und I_Rp auch von Brechungsindizes von Luft und reflektierender Flächenschicht, z. B. Wasserpfütze, und dem Reflexionswinkel θ₁ abhängig sind. Diese Werte können auf Grundlage der Gleichungen (2)-(3) gemäß p-Wellen- und s-Wellen-Unterschieden bestimmt werden.
Unter Verwendung der grundlegenden Definition des Polarisationsgrads, um die Beziehungen zwischen I_gesamt und I_R zu analysieren, kann die folgende Beziehung entwickelt werden. Ein Grad der linearen Polarisation Pgesamt des am Kamerasensor 130 empfangenen Lichts kann dann z. B. unter Verwendung von Gleichung (4) bestimmt werden. Ferner kann ein Polarisationsgrad von reflektiertem Licht unter Verwendung von Gleichung (5) bestimmt werden. $P_{gesamt} = \frac{I_{gesamt} \cdot s - I_{gesamt} \cdot p}{I_{gesamt} \cdot s + I_{gesamt} \cdot p} = \frac{(I_{Rs} + I_{Ds}) - (I_{Rp} + I_{Dp})}{I_{gesamt}}$
$P_{R} = \frac{I_{Rs} - I_{Rp}}{I_{R}}$
Eine Intensität von Streulicht I_D kann dann z. B. gemäß Gleichung (6) berechnet werden. Ein Verarbeitungssystem 110 des Fahrzeugs 100 kann dazu programmiert sein, die gestreute Intensität I_D unter Verwendung von Gleichung (6) auf Grundlage der Intensitäten I(0°), I(45°), I(90°), I(135°), dem Grad der linearen Polarisation Pgesamt und einem Polarisationsgrad des reflektierten Lichts P_R zu berechnen. In dem Beispiel aus dem zitierten Artikel kann der Polarisationsgrad des reflektierten Lichts P_R aus den simulierten Polarisationseigenschaften von reflektiertem und gebrochenem Licht erhalten werden, wenn der Brechungsindex von Luft und Wasser bekannt ist. Darüber hinaus ist P_R von dem Reflexionswinkel abhängig, der auf Grundlage von Fahrzeugsensoren (z. B. Fahrzeugneigung) und/oder gespeicherten Daten (z. B. Kartendaten, die eine Straßenneigung angeben) für jedes Pixel bei Kenntnis der Objektivoptik (z. B. Verwendung einer Kameraprojektionsmatrix) geschätzt werden kann. Im vorliegenden Kontext ist eine Kameramatrix oder (Kamera-) Projektionsmatrix eine 3 × 4-Matrix, die die Zuordnung von 3D-Punkten in der realen Welt zu 2D-Punkten in einem Bild beschreibt. Somit kann das Verarbeitungssystem 110 gemäß Gleichung (6) dazu programmiert sein, Stokes-Parameter des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Lichts bei einer Vielzahl von Polarisationsgraden zu bestimmen, um einen Grad der linearen Polarisation des Lichts zu bestimmen und um das reflektierte Licht auf Grundlage des bestimmten Grads der linearen Polarisation zu bestimmen. Das Verarbeitungssystem 110 kann dazu programmiert sein, das reflektierte Licht in dem empfangenen Bild durch Bestimmen von s-Wellen-Komponenten und p-Wellen-Komponenten des polarimetrischen Bildes zu bestimmen. $I_{D} = I_{gesamt} \cdot (1 - \frac{P_{gesamt}}{P_{R}}) = (I (0 °) + I (90 °)) \cdot (1 - \frac{\sqrt{{(I (0 °) - (90 °))}^{2} + {(I (45 °) - I (135 °))}^{2}}}{(I (0 °) + I (90 °)) \cdot P_{R}})$
Wie vorstehend erörtert, kann das Verarbeitungssystem 110 dazu programmiert sein, Straßenmerkmale, wie etwa Fahrspurmarkierungen 180, auf Grundlage von Bilddaten zu erkennen, die von einem Kamerasensor 130 empfangen werden. Ferner kann, wie vorstehend erörtert, Licht, das auf einen nassen oder vereisten Straßenbelag 170 trifft, im Wesentlichen reflektiert anstatt gestreut werden. Wenn Licht, das von einer Stelle auf dem Straßenbelag 170 empfangen wird, im Wesentlichen reflektiert wird, kann die Erkennung von Straßenmerkmalen, wie etwa Fahrspurmarkierungen 180, beeinträchtigt sein. Unter Bezugnahme auf 1 kann ein Verarbeitungssystem 110 des Fahrzeugs 100 dazu programmiert sein, ein polarimetrisches Bild von einem polarimetrischen Kamerasensor 130 zu empfangen, um einen Straßenbelag 170 in dem empfangenen Bild auf Grundlage einer Position des Fahrzeugs 100, einer Ausrichtung des Kamerasensors 130 und einer Stellung des Fahrzeugs 100 zu identifizieren. Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, den Straßenbelag 170 in dem empfangenen Bild auf Grundlage der Position des Fahrzeugs 100, der Ausrichtung des Kamerasensors 130, der Stellung des Fahrzeugs 100 und empfangener Kartendaten zu identifizieren. Das Verarbeitungssystem 110 kann dazu programmiert sein, in dem polarimetrischen Bild Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag 170 auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, zu identifizieren. Bei Identifizieren von Reflexionen des polarisierten Lichts kann das Verarbeitungssystem 110 dann die identifizierten Reflexionen des polarisierten Lichts aus dem polarimetrischen Bild entfernen, wodurch ein aktualisiertes polarimetrisches Bild generiert wird. Das Verarbeitungssystem 110 kann dann ein Straßenmerkmal, das eine Fahrspurmarkierung 180 beinhaltet, anhand des aktualisierten polarimetrischen Bildes identifizieren.
Wie vorstehend erörtert, kann das Verarbeitungssystem 110 dazu programmiert sein, die Stellung und die Position des Fahrzeugs 100 auf Grundlage von HD-Kartendaten, den empfangenen Daten des Sensors 130, z. B. dem LiDAR-Sensor 130, dem Kamerasensor 130 usw., zu bestimmen. Das Verarbeitungssystem 110 kann die Position des Fahrzeugs 100 ferner auf Grundlage von Daten, die von einem GPS-Sensor 130 des Fahrzeugs 100 empfangen werden, bestimmen. Die HD-Kartendaten beinhalten Positionskoordinaten von Punkten auf dem Straßenbelag 170. Somit kann das Verarbeitungssystem 110 auf Grundlage der bestimmten Stellung des Fahrzeugs 100, der Position des Fahrzeugs 100, der HD-Kartendaten jeweilige Positionen von Punkten auf dem Straßenbelag 170 innerhalb eines das Fahrzeug 100 umgebenden Bereichs, z. B. innerhalb eines Radius von 100 Metern um das Fahrzeug 100 herum, schätzen. Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, den Straßenbelag 170 in dem empfangenen Bild unter Verwendung von Bildverarbeitungstechniken zu erkennen. Somit kann das Verarbeitungssystem 110 zumindest in einigen Beispielen dazu programmiert sein, Positionskoordinaten von Punkten auf dem Straßenbelag 170 auf Grundlage der Position des Fahrzeugs 100, der Stellung des Fahrzeugs 100, des erkannten Straßenbelags 170 unter Verwendung von Bildverarbeitungstechniken, z. B. projektive Transformationstechniken, zu bestimmen.
Auf Grundlage der optischen Eigenschaften des Kamerasensors 130, z. B. Brennpunkt, Sichtfeld 135 usw., kann das Verarbeitungssystem 110 Positionskoordinaten von Punkten auf Flächen (z. B. Straße, Landschaft, Schilder, Gebäude usw.), die in dem empfangenen Bild des Kamerasensors 130 dargestellt sind, bestimmen. Mit anderen Worten kann das Verarbeitungssystem 110 in einem w durch h-Pixelbild bestimmen, dass ein Pixel an Position (a, b) in Bezug auf z. B. die linke untere Ecke des Bildes einem Punkt auf dem Straßenbelag 170 mit Positionskoordinaten x, y, z in Bezug auf das Koordinatensystem 160 entspricht. Die Verarbeitungsvorrichtung 110 kann dazu programmiert sein, den Straßenbelag 170 in dem Bild durch Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag 170 darstellt, auf Grundlage der Position des Fahrzeugs 100, der Stellung des Fahrzeugs 100 und der Ausrichtung des Kamerasensors 130 zu identifizieren. Das Verarbeitungssystem 110 kann dazu programmiert sein, Positionskoordinaten eines Punkts in der realen Welt, der einem Pixel in dem Bild entspricht, auf Grundlage herkömmlicher Techniken oder Faktoren zu bestimmen, z. B. durch die Ausrichtung des Kamerasensors 130, die Stellung des Fahrzeugs 100 und die Daten des Sensors 130 unter Verwendung herkömmlicher geometrischer Techniken. In einem Beispiel kann das Verarbeitungssystem 110 auf Grundlage von HD-Kartendaten, die Begrenzungen des Straßenbelags 170 festlegen, bestimmen, ob sich der jeweilige Punkt auf dem Straßenbelag 170 befindet. Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, auf Grundlage von Bildverarbeitungstechniken, die den Straßenbelag 170 in dem empfangenen Bild erkennen, zu bestimmen, ob sich der jeweilige Punkt auf dem Straßenbelag 170 befindet.
Das Verarbeitungssystem 110 kann dazu programmiert sein, gestreutes (oder gebrochenes) Licht von dem Straßenbelag 170 zu bestimmen, indem das empfangene reflektierte Licht aus dem polarimetrischen Bild entfernt wird. Das Verarbeitungssystem 110 kann dann das Straßenmerkmal, z. B. die Fahrspurmarkierung 180, auf Grundlage von gebrochenem Licht identifizieren, das in dem aktualisierten polarimetrischen Bild dargestellt ist (d. h. Bild nach Entfernen des identifizierten reflektierten Lichts).
Wie vorstehend erörtert, kann das Verarbeitungssystem 110 dazu programmiert sein, eine Vielzahl von Bildpixeln zu identifizieren, die dem erkannten Straßenbelag 170 entspricht. Das Verarbeitungssystem 110 kann dazu programmiert sein, unter Verwendung von Gleichung (6) eine Intensität I_D des Streulichts für jedes der identifizierten Vielzahl von Bildpixeln zu bestimmen.
Das Verarbeitungssystem 110 kann dazu programmiert sein, das empfangene Bild zu aktualisieren, indem ein Demosaicking-Bild auf Grundlage der identifizierten Reflexionen von polarisiertem Licht erzeugt wird, während die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert (oder entfernt) werden. Das Verarbeitungssystem 110 kann dazu programmiert sein, die Reflexionen von polarisiertem Licht aus einem Teil des Bildes, der dem Straßenbelag 170 entspricht, auf Grundlage der berechneten Intensität I_D des Streulichts zu entfernen. Zum Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, eine Lichtintensität jedes der identifizierten Vielzahl von Pixeln, die dem Straßenbelag 170 entspricht, von der gemessenen Gesamtlichtintensität I_gesamt (einschließlich sowohl reflektiertem als auch gestreutem Licht) zu der Intensität I_D des Streulichts zu ändern. Somit weist das generierte Demosaicking-Bild keine Reflexionen von polarisiertem Licht auf.
In noch einem weiteren Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, zu bestimmen, dass ein Bereich auf dem Straßenbelag 170 nass ist, wenn bestimmt wird, dass z.B. ein Verhältnis der reflektierten Lichtintensität I_R zur Gesamtlichtintensität I_gesamt einer Vielzahl von Bildpixeln, die dem Bereich entspricht, einen Schwellenwert, z. B. 70 %, überschreitet. Beispielsweise wird einem Straßenpixel mit großer Intensität des reflektierten polarisierten Lichts I_R ein anderer Polarisationswinkel zugewiesen als einem Straßenpixel mit geringer Intensität des reflektierten Lichts. Pixel, die nassen Bereichen zugeordnet sind, können identifiziert werden, da sie einen anderen Polarisationswinkel aufweisen können als Pixel, die anderen Abschnitten der Straße 170 zugeordnet sind, die keine polarisierten Reflexionen mit hoher Intensität aufweisen. Das Verarbeitungssystem 110 kann dazu programmiert sein, nasse Bereiche, wie etwa den Straßenbelag 170, auf Grundlage der Reflexionen von polarisiertem Licht zu erkennen und nur Bildpixel zu aktualisieren, die den erkannten nassen Bereichen auf dem Straßenbelag 170 entsprechen. Somit kann in diesem Beispiel das Verarbeitungssystem 110 effizienter zum Erkennen der Straßenmerkmale in nassen Bereichen arbeiten, da das Verarbeitungssystem 110 nur Bildpixel aktualisiert, die dem nassen Bereich des Straßenbelags 170 entsprechen, anstatt die Bildpixel zu aktualisieren, die dem gesamten Straßenbelag 170 entsprechen. Das Verarbeitungssystem 110 kann dazu programmiert sein, Polarisationswinkel jedes Pixels des empfangenen Bildes zu erkennen. Zum Beispiel bestimmt eine größte Komponente der Gesamtintensität den einem Pixel zugewiesenen Polarisationswinkel. Pixel, die nassen Bereichen zugeordnet sind, können identifiziert werden, da sie einen anderen Polarisationswinkel aufweisen können als Pixel, die anderen Abschnitten der Straße 170 zugeordnet sind, die keine polarisierten Reflexionen mit hoher Intensität aufweisen. Somit kann das Verarbeitungssystem 110 dazu programmiert sein, nasse Bereiche einer Straße 170 auf Grundlage des für jedes Pixel des Bildes bestimmten Polarisationswinkels zu identifizieren. Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, vorherzusagen, ob eine Fahrspurmarkierung 180 durch ein zweites Fahrzeug (z. B. ein Fahrzeug, das nicht mit dem hierin offenbarten Verfahren ausgestattet ist, das die Fahrspurmarkierung 180 in einem nassen Bereich nicht erkennen kann) bemerkt werden kann. Das Verarbeitungssystem 110 kann ein Manöver des zweiten Fahrzeugs 100 schätzen, wenn vorhergesagt wird, dass das zweite Fahrzeug die Fahrspurmarkierung 180 in dem nassen Bereich nicht erkennt, z. B. ein unerwartetes Verlassen der Fahrspur aufgrund des Nichterkennens der Fahrspurmarkierung 180. Somit kann das Verarbeitungssystem 110 des Fahrzeugs 100 dazu programmiert sein, eine Handlung durchzuführen, z. B. den Abstand zum zweiten Fahrzeug durch Reduzieren der Geschwindigkeit erhöhen, einen Spurwechsel usw., wenn ein unerwartetes Manöver des zweiten Fahrzeugs vorhergesagt wird.
Das Verarbeitungssystem 110 kann dazu programmiert sein, (ein) Straßenmerkmal(e) unter Verwendung des aktualisierten Bildes zu erkennen und dann das Fahrzeug 100 auf Grundlage von erkannten Straßenmerkmalen zu betätigen. Das Verarbeitungssystem 110 kann dazu programmiert sein, den Antrieb, die Lenkung und/oder Bremsung eines Fahrzeugs 100 auf Grundlage des erkannten Straßenmerkmals zu betätigen. Zum Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, die Lenkung des Fahrzeugs 100 zu betätigen, um das Fahrzeug 100 auf Grundlage der erkannten Fahrspurmarkierungen 180 auf einer Fahrspur zu halten.
Wie vorstehend erörtert, kann das Verarbeitungssystem 110 dazu programmiert sein, ein Signal-Rausch-Verhältnis eines Bildes, z. B. des aktualisierten polarimetrischen Bildes, zu bestimmen. In einem Beispiel kann das Verarbeitungssystem 110, wenn bestimmt wird, dass das Signal-Rausch-Verhältnis des aktualisierten polarimetrischen Bildes geringer als ein Schwellenwert ist, z. B. 20 dB (d. h. das Rauschen einen Schwellenwert überschreitet, der die Erkennung von Straßenmerkmalen beeinträchtigen kann), dazu programmiert sein, mehrere zusätzliche polarimetrische Bilder zu empfangen und jedes der empfangenen polarimetrischen Bilder zu aktualisieren (wie vorstehend erörtert). Ferner kann das Verarbeitungssystem 110 dazu programmiert sein, dann eine durchschnittliche Lichtintensität I_gesamt für jedes Pixel zu berechnen, indem eine durchschnittliche Lichtintensität auf Grundlage der Lichtintensität des entsprechenden Pixels in jedem der mehreren empfangenen Bilder berechnet wird. Mit anderen Worten kann eine „gleitender Durchschnitt“ der Lichtintensität I_gesamt über mehrere aktuelle Bilder verwendet werden, um Straßenmerkmale zu erkennen, anstatt ein einzelnes Bild zu verwenden. Diese Technik kann durch Bildrauschen verursachte Probleme reduzieren.
Die 3A-3B sind ein Ablaufdiagramm eines beispielhaften Prozesses 300 zum Erkennen von Straßenmerkmalen und Betreiben eines Fahrzeugs 100 auf Grundlage von erkannten Straßenmerkmalen. Ein Verarbeitungssystem 110 des Fahrzeugs 100 kann dazu programmiert sein, Blöcke des Prozesses 300 auszuführen. Wie vorstehend erörtert, kann ein Verarbeitungssystem 110 eine Kombination aus Prozessor(en) und dedizierte Hardwarekomponente(n) beinhalten. In einem Beispiel kann eine dedizierte Hardware, z. B. ein FPGA, dazu konfiguriert sein, einige Blöcke des Prozesses 300 auszuführen, während ein Prozessor dazu programmiert sein kann, einige andere Blöcke des Prozesses 300 auszuführen. Zusätzlich oder alternativ kann ein Vorgang eines Blocks des Prozesses 300 durch eine Kombination aus einem Prozessor und einer dedizierten Hardware, die in dem Verarbeitungssystem 110 beinhaltet sind, durchgeführt werden.
Unter Bezugnahme auf 3A beginnt der Prozess 300 in einem Block 310, in dem das Verarbeitungssystem 110 Kartendaten empfängt. Das Verarbeitungssystem 110 kann dazu programmiert sein, HD-Kartendaten, einschließlich 3D-Positionskoordinaten von Punkten auf Flächen eines Gebiets, z. B. einer Stadt, einer Nachbarschaft, eines Staates usw., von einem entfernten Computer, z. B. einem Cloud-Computer, zu empfangen. Alternativ kann der Prozess 300, wie vorstehend erörtert, mit dem Block 315 beginnen, sodass dem Prozess 300 der Block 310fehlen kann.
Als Nächstes empfängt das Verarbeitungssystem 110 in einem Block 310 Daten von den Sensoren 130 des Fahrzeugs 100. Das Verarbeitungssystem 110 kann dazu programmiert sein, polarimetrische Bilddaten von einem oder mehreren polarimetrischen Kamerasensoren 130 zu empfangen, die auf einen Außenbereich des Fahrzeugs 100 gerichtet sind, z. B. nach vorn gerichtet und/oder nach hinten gerichtet sind Das Verarbeitungssystem 110 kann dazu programmiert sein, das Fahrzeug 100 auf Grundlage der empfangenen Kartendaten und Daten des Sensors 130 des Fahrzeugs 100 zu lokalisieren (d. h. Bestimmen von Positionskoordinaten des Fahrzeugs 100 und einer Stellung des Fahrzeugs 100). Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, das Fahrzeug 100 auf Grundlage der Stellung des Fahrzeugs 100, der Position des Fahrzeugs 100 und der von den polarimetrischen Kamerasensoren 130 empfangenen Daten zu lokalisieren.
Als Nächstes identifiziert das Verarbeitungssystem 110 in einem Block 320 den Straßenbelag 170 in dem empfangenen polarimetrischen Bild. Das Verarbeitungssystem 110 kann dazu programmiert sein, Pixel in dem empfangenen Bild zu identifizieren, die dem Punkt auf dem Straßenbelag 170 entsprechen. Das Verarbeitungssystem 110 kann Punkte auf dem Straßenbelag auf Grundlage der Position des Fahrzeugs 100 und der Stellung des Fahrzeugs 100 unter Verwendung von Bildverarbeitungstechniken, z. B. projektiver Transformation, identifizieren. Zusätzlich oder alternativ kann das Verarbeitungssystem 110 dazu programmiert sein, Punkte auf dem Straßenbelag 170 auf Grundlage der empfangenen Kartendaten, z. B. HD-Kartendaten, der Stellung des Fahrzeugs 100 und der Position des Fahrzeugs 100 zu identifizieren.
Als nächstes bestimmt das Verarbeitungssystem 110 in einem Entscheidungsblock 325, ob das empfangene Bild (i) übersättigt oder untersättigt ist oder (ii) weder übersättigt noch untersättigt ist. Das Verarbeitungssystem 110 kann dazu programmiert sein, ein Histogramm des empfangenen Bildes zu berechnen und auf Grundlage des bestimmten Histogramms zu bestimmen, ob das Bild übersättigt oder untersättigt ist. Wenn das Verarbeitungssystem 110 bestimmt, dass das empfangene polarimetrische Bild entweder übersättigt oder untersättigt ist, kehrt der Prozess 300 zu dem Block 315 zurück; andernfalls geht der Prozess 300 zu einem Block 330 über.
Als Nächstes aktualisiert das Verarbeitungssystem 110 in einem Block 330 das empfangene polarimetrische Bild. Das Verarbeitungssystem 110 kann dazu programmiert sein, das polarimetrische Bild durch Entfernen der Reflexionen von polarisiertem Licht in dem empfangenen polarimetrischen Bild zu aktualisieren. Wie vorstehend erörtert, kann das Verarbeitungssystem 110 dazu programmiert sein, die Reflexionen von polarisiertem Licht aus einer Vielzahl von Pixeln des Bildes zu entfernen, z. B. Pixel, die dem Straßenbelag entsprechen, und dann ein aktualisiertes Bild durch Demosaicking der aktualisierten Bildpixel zu generieren.
Unter Bezugnahme auf 3B bestimmt das Verarbeitungssystem 110 als Nächstes im Entscheidungsblock 340, ob ein Rauschpegel in dem Bild einen festgelegten Schwellenwert überschreitet, z. B. auf Grundlage eines berechneten Signal-Rausch-Verhältnisses. Wenn das Verarbeitungssystem 110 bestimmt, dass der Rauschpegel den festgelegten Schwellenwert überschreitet, dann geht der Prozess 300 zu einem Block 345 über; andernfalls geht der Prozess 300 zu einem Block 355 über.
In dem Block 345 empfängt das Verarbeitungssystem 110 ein oder mehrere zusätzliche polarimetrische Bilder von dem polarimetrischen Kamerasensor 130. Das Verarbeitungssystem 110 kann dazu programmiert sein, die zusätzlich empfangenen Bilder zu aktualisieren, wie vorstehend erörtert, indem Reflexionen von polarisiertem Licht aus jedem der zusätzlich empfangenen Bilder entfernt werden.
Nach dem Block 345 berechnet das Verarbeitungssystem 110 in einem Block 350 einen Durchschnitt mehrerer empfangener und aktualisierter Bilder. Das Verarbeitungssystem 110 kann dazu programmiert sein, eine durchschnittliche Lichtintensität I_gesamt für jedes Pixel zu berechnen, indem eine durchschnittliche Lichtintensität auf Grundlage der Lichtintensität des entsprechenden Pixels in jedem der mehreren empfangenen Bilder berechnet wird.
Als Nächstes wendet das Verarbeitungssystem 110 in Block 355, der zusätzlich aus dem Entscheidungsblock 340 erreicht werden kann, einen Algorithmus zur Erkennung von Straßenmerkmalen, z. B. einen Algorithmus zur Erkennung einer Fahrspurmarkierung, auf die aktualisierten Bilddaten an. Das Verarbeitungssystem 110 kann dazu programmiert sein, Straßenmerkmale auf dem Straßenbelag 170 unter Verwendung von Bildverarbeitungstechniken zu erkennen. Das Verarbeitungssystem 110 kann Positionskoordinaten von Fahrspurmarkierungen 180 in Bezug auf das Koordinatensystem 160 bestimmen.
Als nächstes bestimmt das Verarbeitungssystem 110 in einem Entscheidungsblock 360, ob ein Straßenmerkmal, z. B. eine Fahrspurmarkierung 180, erkannt wird. Falls das Verarbeitungssystem 110 bestimmt, dass ein Straßenmerkmal, wie etwa eine Fahrspurmarkierung 180 erkannt wird, geht der Prozess 300 zu einem Block 365 über; anderenfalls endet der Prozess 300 oder kehrt alternativ zu Block 310 zurück, auch wenn dies in den 3A-3B nicht gezeigt ist.
In dem Block 365 veranlasst das Verarbeitungssystem 110 eine Handlung auf Grundlage des erkannten Straßenmerkmals. Zum Beispiel kann das Verarbeitungssystem 110 dazu programmiert sein, einen Lenkaktor 120 des Fahrzeugs 100 zu betätigen, um ein Fahrzeug 100 auf Grundlage der erkannten Fahrspurmarkierung 180, z. B. an einer linken und/oder rechten Seite der Fahrspur, auf einer Fahrspur zu halten. Im Anschluss an den Block 365 endet der Prozess 300 oder kehrt alternativ zum Block 310 zurück, auch wenn dies in den 3A-3B nicht gezeigt ist.
Rechenvorrichtungen, wie sie in dieser Schrift erörtert werden, beinhalten im Allgemeinen jeweils Anweisungen, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend identifizierten, und zum Ausführen vorstehend beschriebener Blöcke oder Schritte von Prozessen ausgeführt werden können. Computerausführbare Anweisungen können aus Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -technologien erstellt worden sind, einschließlich unter anderem, entweder allein oder in Kombination, Intercal, Java™, C, C++, Visual Basic, Java Script, Perl, Phython, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hierin beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in der Rechenvorrichtung ist allgemein eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und sonstige Dauerspeicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. sollte es sich verstehen, dass, obwohl die Schritte derartiger Prozesse usw. als in einer bestimmten geordneten Sequenz erfolgend beschrieben worden sind, die beschriebenen Schritte bei der Ausführung derartiger Prozesse in einer Reihenfolge durchgeführt werden könnten, bei der es sich nicht um die in dieser Schrift beschriebene Reihenfolge handelt. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt werden können, dass andere Schritte hinzugefügt oder dass bestimmte, in dieser Schrift beschriebene Schritte ausgelassen werden können. Mit anderen Worten sind die Beschreibungen von Systemen und/oder Prozessen in dieser Schrift zu Zwecken der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keineswegs dahingehend ausgelegt werden, dass sie den offenbarten Gegenstand einschränken.
Dementsprechend versteht es sich, dass die vorliegende Offenbarung, einschließlich der vorstehenden Beschreibung und der beigefügten Figuren und nachfolgenden Patentansprüche, veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, sollten dem Fachmann nach der Lektüre der vorstehenden Beschreibung ersichtlich sein. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorangehende Beschreibung bestimmt werden, sondern stattdessen unter Bezugnahme auf Ansprüche, die hier beigefügt sind und/oder in einer hierauf basierenden, nicht vorläufigen Patentanmeldung enthalten sind, gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu welchen derartige Ansprüche berechtigen. Es ist davon auszugehen und beabsichtigt, dass es zukünftige Entwicklungen im in dieser Schrift erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass der offenbarte Gegenstand modifiziert und variiert werden kann.
Gemäß der vorliegenden Erfindung wird ein Verarbeitungssystem bereitgestellt, das einen Prozessor und einen Speicher aufweist, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausgeführt werden können, um: ein polarimetrisches Bild von einem polarimetrischen Kamerasensor zu empfangen; einen Straßenbelag in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung zu identifizieren; bei Identifizieren von Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag in dem polarimetrischen Bild auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, die identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild zu entfernen, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden; und ein Straßenmerkmal, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Identifizieren des Straßenbelags Anweisungen zum Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag darstellt, auf Grundlage der Fahrzeugposition, der Fahrzeugstellung und der Ausrichtung der Kamera.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um: die Intensität einer Vielzahl von Pixeln in dem empfangenen Bild zu bestimmen; ein Histogramm des empfangenen Bildes auf Grundlage der bestimmten Intensitäten zu berechnen; auf Grundlage des berechneten Histogramms des empfangenen Bildes zu bestimmen, ob das empfangene Bild übersättigt oder untersättigt ist; und bei Bestimmen, dass eine von einer Übersättigung und einer Untersättigung in dem empfangenen polarimetrischen Bild vorhanden ist, einen Kameraparameter zu modifizieren und ein zweites polarimetrisches Bild auf Grundlage des modifizierten Kameraparameters zu empfangen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Modifizieren des Kameraparameters Anweisungen, um eine Belichtungszeit der Kamera zu verlängern, wenn bestimmt wird, dass das empfangene Bild untersättigt ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Modifizieren des Kameraparameters Anweisungen, um eine Belichtungszeit der Kamera zu verkürzen, wenn bestimmt wird, dass das empfangene Bild übersättigt ist.
Gemäß einer Ausführungsform basieren die Anweisungen zum Identifizieren des Straßenbelags in dem empfangenen Bild ferner auf Kartendaten.
Gemäß einer Ausführungsform beinhalten die Straßenmerkmale mindestens eine von einer durchgehenden einfachen Linie, einer durchgehenden doppelten Linie, einer einfachen gestrichelten Linie und einer Fußgängermarkierung.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um beiBestimmen, dass ein Rauschverhältnis des aktualisierten Bildes einen Schwellenwert überschreitet, (i) das empfangene polarimetrische Bild zu ignorieren, (ii) ein zweites polarimetrisches Bild zu empfangen und (iii) das Straßenmerkmal auf Grundlage eines aktualisierten zweiten polarimetrischen Bildes zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um gebrochenes Licht von dem Straßenbelag durch Entfernen der empfangenen Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild und Identifizieren des Straßenmerkmals auf Grundlage von gebrochenem Licht, das in dem aktualisierten polarimetrischen Bild dargestellt ist, zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um: einen Stokes-Parameter des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Lichts bei einer Vielzahl von Polarisationsgraden zu bestimmen; einen Grad der linearen Polarisation des Bildes auf Grundlage der bestimmten Stokes-Parameter zu bestimmen; und das reflektierte Licht auf Grundlage des bestimmten Grads der linearen Polarisation zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Bestimmen des reflektierten Lichts Anweisungen, um s-Wellen-Komponenten und p-Wellen-Komponenten des polarimetrischen Bildes zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um das Fahrzeug auf Grundlage des erkannten Straßenmerkmals zu betätigen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um einen nassen Bereich auf dem Straßenbelag auf Grundlage von identifizierten Reflexionen von polarisiertem Licht zu erkennen und um Bildpixel, die dem erkannten nassen Bereich entsprechen, zu aktualisieren.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Empfangen eines polarimetrischen Bildes von einem polarimetrischen Kamerasensor; Identifizieren eines Straßenbelags in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung; wenn in dem polarimetrischen Bild Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, identifiziert werden, Entfernen der identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden; und Identifizieren eines Straßenmerkmals, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes.
In einem Aspekt der Erfindung beinhaltet das Verfahren Identifizieren des Straßenbelags durch Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag darstellt, auf Grundlage der Fahrzeugposition, der Fahrzeugstellung und der Ausrichtung der Kamera.
In einem Aspekt der Erfindung beinhaltet das Verfahren Identifizieren des Straßenbelags in dem empfangenen Bild ferner auf Grundlage von Kartendaten.
In einem Aspekt der Erfindung beinhalten die Straßenmerkmale mindestens eine von einer durchgehenden einfachen Linie, einer durchgehenden doppelten Linie, einer einfachen gestrichelten Linie und einer Fußgängermarkierung.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen von gebrochenem Licht von dem Straßenbelag durch Entfernen der empfangenen Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild und Identifizieren des Straßenmerkmals auf Grundlage von gebrochenem Licht, das in dem aktualisierten polarimetrischen Bild dargestellt ist.
In einem Aspekt der Erfindung beinhaltet das Verfahren: Bestimmen eines Stokes-Parameters des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Licht bei einer Vielzahl von Polarisationsgraden; Bestimmen eines Grads der linearen Polarisation des Bildes auf Grundlage der bestimmten Stokes-Parameter; und Bestimmen des reflektierten Lichts auf Grundlage des bestimmten Grads der linearen Polarisation.
In einem Aspekt der Erfindung beinhaltet das Verfahren Erkennen eines nassen Bereichs auf dem Straßenbelag auf Grundlage von identifizierten Reflexionen von polarisiertem Licht und Aktualisieren von Bildpixeln, die dem erkannten nassen Bereich entsprechen.

Claims

Verfahren, das Folgendes umfasst: Empfangen eines polarimetrischen Bildes von einem polarimetrischen Kamerasensor; Identifizieren eines Straßenbelags in dem empfangenen Bild auf Grundlage einer Fahrzeugposition, einer Ausrichtung des Kamerasensors und einer Fahrzeugstellung; wenn in dem polarimetrischen Bild Reflexionen von polarisiertem Licht von dem identifizierten Straßenbelag auf Grundlage einer Polarisationsrichtung und eines Polarisationsgrads, die aus dem polarimetrischen Bild bestimmt werden, identifiziert werden, Entfernen der identifizierten Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild, wodurch ein aktualisiertes polarimetrisches Bild generiert wird, was ein Generieren eines Demosaicking-Bildes auf Grundlage der identifizierten Reflexionen von polarisiertem Licht beinhaltet, wobei die identifizierten Reflexionen von polarisiertem Licht beim Demosaicking ignoriert werden; und Identifizieren eines Straßenmerkmals, das eine Fahrspurmarkierung beinhaltet, auf Grundlage des aktualisierten polarimetrischen Bildes.
Verfahren nach Anspruch 1, wobei das Identifizieren des Straßenbelags ferner Identifizieren einer Vielzahl von Pixeln in dem empfangenen Bild, die den Straßenbelag darstellt, auf Grundlage der Fahrzeugposition, der Fahrzeugstellung und der Ausrichtung der Kamera beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen der Intensität einer Vielzahl von Pixeln in dem empfangenen Bild; Berechnen eines Histogramms des empfangenen Bildes auf Grundlage der bestimmten Intensitäten; Bestimmen auf Grundlage des berechneten Histogramms des empfangenen Bildes, ob das empfangene Bild übersättigt oder untersättigt ist; und wenn bestimmt wird, dass eine von einer Übersättigung und Untersättigung in dem empfangenen polarimetrischen Bild vorhanden ist, Modifizieren eines Kameraparameters und Empfangen eines zweiten polarimetrischen Bildes auf Grundlage des modifizierten Kameraparameters.
Verfahren nach Anspruch 3, wobei das Modifizieren des Kameraparameters ferner Verlängern einer Belichtungszeit der Kamera beinhaltet, wenn bestimmt wird, dass das empfangene Bild untersättigt ist.
Verfahren nach Anspruch 3, wobei das Modifizieren des Kameraparameters ferner Verkürzen einer Belichtungszeit der Kamera beinhaltet, wenn bestimmt wird, dass das empfangene Bild übersättigt ist.
Verfahren nach Anspruch 1, ferner umfassend Identifizieren des Straßenbelags in dem empfangenen Bild ferner auf Grundlage von Kartendaten.
Verfahren nach Anspruch 1, wobei die Straßenmerkmale mindestens eine von einer durchgehenden einfachen Linie, einer durchgehenden doppelten Linie, einer einfachen gestrichelten Linie und einer Fußgängermarkierung beinhalten.
Verfahren nach Anspruch 1, ferner umfassend, wenn bestimmt wird, dass ein Rauschverhältnis des aktualisierten Bildes einen Schwellenwert überschreitet, (i) Ignorieren des empfangenen polarimetrischen Bildes, (ii) Empfangen eines zweiten polarimetrischen Bildes und (iii) Identifizieren des Straßenmerkmals auf Grundlage eines aktualisierten zweiten polarimetrischen Bildes.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen von gebrochenem Licht von dem Straßenbelag durch Entfernen der empfangenen Reflexionen von polarisiertem Licht aus dem polarimetrischen Bild und Identifizieren des Straßenmerkmals auf Grundlage von gebrochenem Licht, das in dem aktualisierten polarimetrischen Bild dargestellt ist.
Verfahren nach Anspruch 9, ferner umfassend: Bestimmen eines Stokes-Parameters des polarimetrischen Bildes auf Grundlage von Intensitätsniveaus des empfangenen Lichts bei einer Vielzahl von Polarisationsgraden; Bestimmen eines Grads der linearen Polarisation des Bildes auf Grundlage der bestimmten Stokes-Parameter; und Bestimmen des reflektierten Lichts auf Grundlage des bestimmten Grads der linearen Polarisation.
Verfahren nach Anspruch 9, wobei das Bestimmen des reflektierten Lichts ferner Bestimmen von s-Wellen-Komponenten und p-Wellen-Komponenten des polarimetrischen Bildes beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend Betätigen des Fahrzeugs auf Grundlage des erkannten Straßenmerkmals.
Verfahren nach Anspruch 1, ferner umfassend Erkennen eines nassen Bereichs auf dem Straßenbelag auf Grundlage von identifizierten Reflexionen von polarisiertem Licht und Aktualisieren von Bildpixeln, die dem erkannten nassen Bereich entsprechen.
Rechenvorrichtung, die dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-13 auszuführen.
Computerprogrammprodukt, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausführbar sind, um das Verfahren nach einem der Ansprüche 1-13 auszuführen.