DE102019214628A1

DE102019214628A1 - Validierung von Umfelderfassung mittels Satelitenbildern und SAR-Radardaten

Info

Publication number: DE102019214628A1
Application number: DE102019214628.7A
Authority: DE
Inventors: Florian Maile; Daniel Fafula; Mihai COANDA; Jannik Metzner
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2021-03-25

Abstract

Verfahren, umfassend ein Validieren (84) erster Objektinformationen (55) und/oder Klassifizierungsinformationen (56) aus einer Erkennung (81; 52) des statischen Umfeldes eines Fahrzeugs (10) mittels zweiter Objektinformationen (78) und/oder Klassifizierungsinformationen (77) aus einer satellitenbasierten Umgebungserkennung (82; 75).

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft das technische Gebiet der Fahrzeugsensorik, insbesondere für autonome oder teilautonome Fahrzeuge.
TECHNISCHER HINTERGRUND
Autonome oder teilautonome Fahrzeuge weisen Sensoren wie beispielsweise Kameras, Radar- und Lidar-Sensoren auf, die das Umfeld des Fahrzeugs sensorisch erfassen und deren Daten in einer Steuereinheit mittels geeigneter Software ausgewertet werden. Auf Grundlage der durch diese Datenverarbeitung gewonnenen Informationen kann eine Steuereinheit über entsprechende Aktuatoren Brems-, Geschwindigkeits-, Abstands-, Kompensations- und/oder Ausweichregelungen selbsttätig auslösen und durchführen.
Für leistungsstarke Fahrassistenzsysteme und autonome Fahrzeuge ist eine präzise Umfelderkennung wichtig. Zu diesem Zweck besitzen moderne Fahrzeuge eine Vielzahl von Sensoren, zum Beispiel Radar, Lidar- oder Kamera-Sensoren, die ihre Messwerte in Form einer Punktwolke liefern. Aus den von den Sensoren bereitgestellten Punktwolken gilt es, zuverlässige Informationen über mögliche Objekte im Fahrpfad oder auf Kollisionskurs zum eigenen Fahrzeug zu erhalten.
Daneben ist es wichtig, dass das autonome Fahrzeug selbstständig die zu befahrende Straße bzw. Fahrbahn zuverlässig erkennt. Die vorliegende Erfindung stellt eine Vorrichtung zur Verfügung, mit deren Hilfe die Straßen- bzw. Fahrbahnverlaufserkennung eines autonom fahrenden Fahrzeugs verbessert werden kann.
Hierbei ist es wichtig, dass die auf diese Weise gewonnen Straßenerkennungsdaten mit Hilfe einer Referenzdiagnostik validiert werden, da eine fehlerhafte Straßenerkennung bei einem teil- oder vollautonomen Fahrzeug hohe Sachschäden verursachen und Menschenleben gefährden kann.
Aus diesem Grund wird im Stand der Technik häufig ein Referenzsensorsystem in einem Fahrzeug verbaut, sodass das Fahrzeug gleich zwei Sensorsysteme zur Stra-ßenerkennung mit sich führen muss. Dies führt zu deutlich erhöhten Produktionskosten eines solchen Fahrzeugs, da solche Hochauflösenden Sensoren teuer in der Produktion und aufwendig in der Herstellung sind.
Diese Probleme werden durch das Verfahren nach Anspruch 1 und die Vorrichtung nach Anspruch 10 vermieden. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung.
Die Ausführungsbeispiele zeigen ein Verfahren, umfassend ein Validieren erster Objektinformationen und/oder Klassifizierungsinformationen aus einer Erkennung des statischen Umfeldes eines Fahrzeugs mittels zweiter Objektinformationen und/oder Klassifizierungsinformationen aus einer satellitenbasierten Umgebungserkennung.
Der Vorteil des vorgeschlagenen satellitenbasierten Verfahrens besteht darin, dass die Standardausgaben der statischen Umgebungswahrnehmung ohne Verwendung eines im Fahrzeug verbauten Referenzsensors wie eines hochauflösenden Lidar-Sensors (z.B. Velodyne HDL-64E) validiert werden können. Das Sammeln von Validierungsdaten mit einem zentralen, satellitenbasierten Referenzsensor statt mit einer Vielzahl von in einem Fahrzeug verbauten Referenzsensoren ist weniger zeitaufwändig und kostengünstiger. Darüber hinaus kann die Nachbearbeitung der Referenzdaten vereinfacht werden, um die zur Validierung verwendeten Signale (z. B. Polygone von Straßengrenzen, Klassifizierungsraster) zu berechnen. Dadurch kann eine höhere/bessere Verfügbarkeit von Validierungsdaten für Static-Enviroment-Perception (SEP) erreicht werden.
Vorzugsweise umfasst das Verfahren ein Speichern der zweiten Objektinformationen und/oder Klassifizierungsinformationen als Referenzdaten in einer Datenbank (83).
Durch das Speichern der Referenzdaten in einer Datenbank kann eine Validierung einer statischen Umfelderkennung (Straßenerkennung, etc.), die basierend auf Radar-, Lidar-, Kamera- oder anderen Sensordaten erhoben wurde, mittels Vergleichs mit Referenzdaten aus einer zentralen Datenbank effizient gelöst werden.
Das Verfahren kann ferner ein Erzeugen einer akkumulierten Rasterkarte aus Sensordaten des Fahrzeugs umfassen, um daraus die ersten Objektinformationen und/oder Klassifizierungsinformationen abzuleiten. Bei der akkumulierten Rasterkarte kann es sich beispielsweise um eine Rasterkarte mit Belegungswahrscheinlichkeiten und/oder eine Evidential Grid Map handeln. Die oben genannte Datenbank wird beispielsweise mit Objektinformationen (Straßenerkennungsdaten, etc.) gefüllt, die durch die Fusion von hochaufgelösten Satellitenbildern und SAR-Daten gewonnen werden.
Das Verfahren kann ferner ein Erzeugen eines fusionierten Bildes aus einem Satellitenbild im sichtbaren Wellenlängenbereich und einem SAR-Radarbild umfassen, um daraus die zweiten Objektinformationen und/oder Klassifizierungsinformationen abzuleiten.
Das Verfahren kann ferner eine Objekterkennung und Klassifizierung umfassen, um die ersten Objektinformationen und/oder Klassifizierungsinformationen zu erhalten. Bei den zweiten Objektinformationen kann es sich beispielsweise um Informationen über den Ort, die räumliche Ausdehnung von Objekten wie Straßenbegrenzungen (Leitpfosten, Leitplanken, Randsteine, Bankett, Grasnarben, Bäume und dergleichen), Straßenschildern, Straßenmarkierungen (Mittelstreifen, Seitenstreifen, etc.) und dergleichen handeln. Bei der Objekterkennung und Klassifizierung (75) kann es sich beispielsweise um eine Technik der Static-Enviroment-Perception (SEP) und/oder Techniken der „Static-Environment-Classification“ (SEC) handeln. Die Aufgabe der „Static-Environment-Perception“ (SEP) bzw. der Static-Environment-Classification (SEC) sind zum Beispiel die Bestimmung und Klassifizierung von Straßenbegrenzern oder die Klassifizierung statischer Objekte (z.B. Straße, Haus, Baum, usw.) Diese Verfahren, die in einem Fahrzeug Anwendung finden können, werden mittels den zweiten Objektinformationen und/oder Klassifizierungsinformationen als Referenzdaten validiert. Das in den Ausführungsbeispielen dargestellte Verfahren nutzt hierfür eine zusätzliche Informationsquelle, die die Verfügbarkeit von Validierungsdaten für die Ergebnisse eines SEP/SEC-Verfahrens erhöht.
Das Verfahren kann ferner eine Objekterkennung und Klassifizierung umfassen, um die zweiten Objektinformationen und/oder Klassifizierungsinformationen zu erhalten. Bei den ersten Objektinformationen kann es sich beispielsweise um Informationen über den Ort, die räumliche Ausdehnung von Objekten wie Straßenbegrenzungen (Leitpfosten, Leitplanken, Randsteine, Bankett, Grasnarben, Bäume und dergleichen), Straßenschildern, Straßenmarkierungen (Mittelstreifen, Seitenstreifen, etc.) und dergleichen handeln. Diese Objekterkennung und Klassifizierung kann auf den gleichen oder ähnlichen Techniken beruhen, wie sie in der Objekterkennung und Klassifizierung auf Grundlage der Fahrzeugdaten herangezogen werden. Beispielsweise können bekannte SEP/SEC-Techniken genutzt werden.
Das Validieren der ersten Objektinformationen und/oder Klassifizierungsinformationen mittels der zweiten Objektinformationen und/oder Klassifizierungsinformationen kann ferner ein Vergleichen der ersten Objektinformationen und/oder Klassifizierungsinformationen mit den zweiten Objektinformationen und/oder Klassifizierungsinformationen umfassen.
Das Validieren der ersten Objektinformationen und/oder Klassifizierungsinformationen mittels der zweiten Objektinformationen und/oder Klassifizierungsinformationen kann ferner die Durchführung eines Assoziierungsalgorithmus umfassen. Dadurch können Quellobjekte mit Zielobjekten assoziiert werden, die mit gewisser Wahrscheinlichkeit dasselbe reale Objekt betreffen.
Das Validieren der ersten Objektinformationen und/oder Klassifizierungsinformationen mittels der zweiten Objektinformationen und/oder Klassifizierungsinformationen kann ferner ein Bestimmen eines Objektabstands assoziierter Objekte umfassen. Auf Grundlage des Objektabstands kann eine Wahrscheinlichkeit dafür abgeleitet werden, dass zwei assoziierte Objekte tatsächlich dasselbe reale Objekt betreffen.
Das Validieren der ersten Objektinformationen und/oder Klassifizierungsinformationen mittels der zweiten Objektinformationen und/oder Klassifizierungsinformationen kann ferner ein Vergleichen von Klassifizierungsinformationen assoziierter Objekte umfassen. So können sichere Klassifizierungsaussagen getroffen werden.
Die Ausführungsbeispiele zeigen auch eine Vorrichtung, umfassend einen Prozessor, der dazu ausgelegt ist, die hier beschriebenen Verfahren durchzuführen. Bei der Vorrichtung kann es sich beispielsweise um eine Steuereinheit ECU bzw. eine Sensorverarbeitungseinheit handeln.
Die Ausführungsbeispiele betreffen auch ein Computerprogramm, umfassend Instruktionen, die einen Prozessor dazu veranlassen, die hier beschriebenen Verfahren durchzuführen.
Figurenliste
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.

1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
2 zeigt schematisch eine beispielhafte Konfiguration eines Steuergeräts für autonomes Fahren zeigt.
3 zeigt einen beispielhaften Umfeldsensor 26, hier insbesondere einen Radarsensor.
Die 4a, b, c zeigen die Gewinnung einer zweidimensionalen Rasterkarte aus Detektionsereignissen eines Radarsensors.
5a zeigt beispielhaft eine während einer Testfahrt gewonnene akkumulierte Rasterkarte, welche die Umgebung des Fahrzeugs aus der Vogelperspektive.
5b zeigt schematisch eine beispielhafte Technologie der Static-Enviroment-Perception (SEP).
6 zeigt schematisch das Zusammenspiel zwischen fahrzeuginternen Techniken der Static-Enviroment-Perception (SEP) und satellitengestützter Umfelderkennung.
7 zeigt schematisch einen Straßenerkennungsprozess aus einem zusammengefügten Bild aus Satellitenbild und SAR-Radardaten zur Gewinnung von Referenzdaten.
8 zeigt schematisch einen erfindungsgemäßen Prozess zur Validierung von Straßenerkennungsdaten mithilfe von in einer Validierungsdatenbank gespeicherten Daten, die aus einem aus Satellitenbild und SAR-Radardaten zusammengefügten Bild gewonnen wurden.
9a und 9b zeigen Beispiele für Belegungswahrscheinlichkeiten aus akkumulierten Rasterkarten im Vergleich mit fotografischen Luftbildern.

Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der folgenden Figuren beschrieben.
1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 28 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 28 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (Controller Area Network), ein LIN-Bus (Local Interconnect Network), ein LAN-Bus (Local Area Network), ein MOST-Bus und/oder ein FlexRay-Bus oder dergleichen sein.
In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.
Die Steuereinheiten 12, 14, 16 und 18 können ferner von den oben genannten Fahrzeugsubsystemen Fahrzeugbetriebsparameter empfangen, die diese mittels einem oder mehreren Fahrzeugsensoren erfassen. Fahrzeugsensoren sind vorzugsweise solche Sensoren, die einen Zustand des Fahrzeugs oder einen Zustand von Fahrzeugteilen erfassen, insbesondere deren Bewegungszustand. Die Sensoren können einen Fahrgeschwindigkeitssensor, einen Gierraten-Sensor, einen Beschleunigungssensor, einen Lenkradwinkelsensor, einen Fahrzeuglastsensor, Temperatursensoren, Drucksensoren und dergleichen umfassen. Beispielsweise können auch Sensoren entlang der Bremsleitung angeordnet sein, um Signale auszugeben, die den Bremsflüssigkeitsdruck an verschiedenen Stellen entlang der hydraulischen Bremsleitung anzeigen. Andere Sensoren in der Nähe des Rades können vorgesehen sein, welche die Radgeschwindigkeit und den Bremsdruck erfassen, der am Rad aufgebracht wird.
Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 24 (GNSS-Einheit). Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen.
Das Fahrzeug 10 umfasst ferner ein oder mehrere Sensoren, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 26 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, Ultraschall-Sensoren oder dergleichen. Die Umfeldsensoren 26 können innerhalb des Fahrzeugs oder außerhalb des Fahrzeugs (z. B. an der Außenseite des Fahrzeugs) angeordnet sein. Beispielsweise kann eine Kamera in einem vorderen Bereich des Fahrzeugs 10 zur Aufnahme von Bildern eines vor dem Fahrzeug befindlichen Bereichs vorgesehen sein.
Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 22 (ECU 4), die in der Lage ist auf Grundlage von Sensordaten, die von den Umweltsensoren 20 in Form einer Punktwolke bereitgestellt werden, eine Rasterkarte mit Belegungswahrscheinlichkeiten zu bestimmen.
Das Fahrzeug 1 umfasst ferner eine Steuereinheit für autonomes Fahren 18 (ECU 5). Die Steuereinheit für autonomes Fahren 18 ist dazu ausgelegt, das Fahrzeug 1 so zu steuern, dass dieses ganz oder teilweise ohne Einfluss eines menschlichen Fahrers im Straßenverkehr agieren kann. Wenn steuerungsseitig oder fahrerseitig ein Betriebszustand für das autonome Fahren aktiviert ist, bestimmt die Steuereinheit für autonomes Fahren 18, auf Grundlage von zur Verfügung stehenden Daten über eine vorgegebene Fahrtstrecke, von den Umweltsensoren 20 aufgenommenen Umgebungsdaten bzw. den von der Sensorverarbeitungseinheit 22 bereitgestellten verarbeiteten Daten, sowie von mittels den Fahrzeugsensoren erfassten Fahrzeugbetriebsparametern, die der Steuereinheit 18 von den Steuereinheiten 12, 14 und 16 zugeleitet werden, Parameter für den autonomen Betrieb des Fahrzeugs (beispielsweise Soll-Geschwindigkeit, Soll-Moment, Abstand zum Vorausfahrzeug, Abstand zum Fahrbahnrand, Lenkvorgang und dergleichen).
Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 27 (HMI = Human-Machine-Interface), die es einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Diese Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform, und eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.
Das Fahrzeug 10 umfasst ferner eine Funkschnittstelle, hier beispielsweise eine LTE/UMTS-Schnittstelle 25. Diese Funkschnittstelle erlaubt es dem Fahrzeug, mit externen Diensten zu kommunizieren, wie beispielsweise einem Navigationsdienst und hier insbesondere mit einem Validierungsdienst (siehe 8) zu kommunizieren, der zur Validierung von Straßenerkennungsdaten mithilfe von in einer Validierungsdatenbank (83 in 8) gespeicherten Daten dient. Die Datenbankschnittstelle kann zum Beispiel eine Netzwerkkarte mit einer WLAN-Antenne, oder eine Schaltung mit Antenne zur Kommunikation über Funk oder zur Laserkommunikation sein.
2a zeigt ein Blockdiagramm, das eine beispielhafte Konfiguration einer Steuereinheit für autonomes Fahren 18 (ECU 5) darstellt. Bei der Steuereinheit für autonomes Fahren 18 kann es sich beispielsweise um ein Steuergerät (Electronic Control Unit ECU oder Electronic Control Module ECM) handeln. Die Steuereinheit für autonomes Fahren 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt. Der Prozessor der Steuereinheit für autonomes Fahren 18 ist beispielsweise dazu ausgelegt, beim Fahren je nach geplantem Fahrmanöver, basierend auf den Informationen des sensorbasierten Umfeldmodells, eine optimale Fahrposition (beispielsweise Folgeabstand oder Lateralversatz zu einem Vorausfahrzeug oder dergleichen) unter Berücksichtigung des zulässigen Fahrspurbereichs zu berechnen. Die errechnete optimale Fahrposition wird zur Steuerung von Aktuatoren der Fahrzeugsubsysteme 12, 14 und 16, beispielsweise von Brems-, Antriebs- und/oder Lenkaktuatoren, verwendet. Die Steuereinheit für autonomes Fahren 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Steuereinheit für autonomes Fahren 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (Hard Disk Drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (Solid State Drive: SSD) umfassen. Die Steuereinheit für autonomes Fahren 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann.
2b zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 22. Alle Bestandteile der Sensorverarbeitungseinheit 22 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 22 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47 (ASIC oder auch FPGA). Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln. Der integrierte Schaltkreis 47 ist derart konfiguriert, dass es Sensordaten in Form einer Punktwolke in eine Belegungsrasterkarte für das Sichtfeld des Sensors überführt. Die Sensorverarbeitungseinheit 22 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 22 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 22 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (Hard Disk Drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (Solid State Drive: SSD) umfassen. Die Sensorverarbeitungseinheit 22 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann.
3 zeigt einen beispielhaften Umfeldsensor 26, hier insbesondere einen Radarsensor. Der Radarsensor 26 ist ein Erkennungs- und Ortungsgerät auf der Basis elektromagnetischer Wellen im Radiofrequenzbereich. Der Radarsensor sendet ein Signal als gebündelte elektromagnetische Welle aus (Primärsignal) und empfängt die von Objekten reflektierten Echos (Sekundärsignal). Über daraus erhaltene Informationen wie beispielsweise Laufzeitunterschiede werden Informationen über Detektionsereignisse („Zielpunkte“) P₁(r₁, φ₁, θ₁, v₁, I₁), P₂(r₂, φ₂, θ₂, v₂, I₂), P₃(r₃, φ₃, θ₃, v₃, I₃) ... , P_i(r_i, φ_i, θ_i, v_i, I_i) gewonnen, wie beispielsweise Azimutwinkel φ_i und Elevationswinkel θ_i, welche die Richtung zum Zielpunkt beschreiben, die Entfernung r_i zum Zielpunkt, die Radialgeschwindigkeit v_i, welche die Relativbewegung zwischen Radarsensor 26 und Zielpunkt P_i beschreibt, sowie ggf. weiter Signale I_i wie beispielsweise SNR (Signal-to-Noise Ratio), RCS (Radar Cross Section), Leistung, oder dergleichen. Die Relativbewegung kann beispielsweise durch den Doppler-Effekt aus der Verschiebung der Frequenz des reflektierten Signals berechnet werden. Durch Aneinanderreihen einzelner Messungen kann ggf. die Wegstrecke und die Absolutgeschwindigkeit eines Zielpunktes P_i ermittelt werden. Indem eine große Menge an Zielpunkten P_i (genannt „Punktwolke“) in ihrer Gesamtheit ausgewertet werden, können Zielpunkte P_i als zu einem eindeutigen Objekt zugehörig identifiziert werden (Clustering-Verfahren), Konturen von Objekten erkannt werden und bei ausreichender Auflösung des Radarsensors 26 Bilder der Objekte gewonnen werden.
Die 4a, b, c zeigen die Gewinnung einer zweidimensionalen Rasterkarte aus Detektionsereignissen eines Radarsensors. In 4a liegt ein Sichtbereich 31 eines Radarsensors vor dem Fahrzeug 1, auf dem der Radarsensor installiert ist. Im Sichtbereich 31 des Radarsensors befindet sich ein Objekt 32. Die am Objekt 32 reflektierten Radarwellen erzeugen im Radarsensor Detektionsereignisse, welche der Radarsensor in Form von Zielpunkten P_i ausgibt. Die Gesamtheit der auf diese Weise detektierten Detektionsereignisse liegen in Form einer Punktwolke vor, welche in einer Auswerteeinheit beim Sensor (oder auch extern) ausgewertet werden kann. 4b zeigt eine zweidimensionale Rasterkarte 33 (auch kurz „Grid“ genannt), welche so ausgelegt ist, dass sie den Sichtbereich 31 des Radarsensors kartesisch in Zellen gliedert. Durch die dem Fachmann bekannte Transformation der Ortskoordinaten aus dem Polarkoordinatensystem des Radarsensors in das kartesische Koordinatensystem der Rasterkarte 33 kann jeder Zielpunkt P_i eindeutig einer Zelle der Rasterkarte zugeordnet werden. In 4c sind jene Zellen, in denen jeweils mindestens ein Zielpunkt P_i enthalten ist, schraffiert dargestellt, wogegen jene Zellen, denen keine Zielpunkte P_i zugeordnet werden können, schraffiert dargestellt sind.
In eine derartige Rasterkarte werden sämtliche Sensordaten, hauptsächlich Punkwolken eingetragen. Mittels bekannter Techniken der Sensorfusion können in eine derartige Rasterkarte die Detektionsereignisse und daraus abgeleiteten Informationen mehrerer Umgebungssensoren eingeordnet werden. Dabei kann es sich auch um die Detektionsereignisse von Sensoren unterschiedlicher Sensortypen handeln, beispielsweise Radarsensoren, Lidar-Sensoren, Ultraschall oder dergleichen. Sind die Sensoren um das Fahrzeug verteilt, kann solch eine Rasterkarte die Umgebung rund um das Fahrzeug abbilden.
Durch Unterscheidung statischer und dynamischer Ziele kann die statische Umgebung des Fahrzeugs 1 erkannt werden. Auf diese Weise, und/oder durch Heranziehen von Informationen über die Eigenbewegung des Fahrzeugs 1 (auch „Ego-Bewegung“ genannt), wie beispielsweise der Fahrzeuggeschwindigkeit und der Fahrzeugposition (siehe GNSS 24 in 1) können die Informationen der Rasterkarte 33 aus den 4a, b, c in eine akkumulierte Rasterkarte eingetragen werden. Das Fahrzeug 1 bewegt sich auf dieser akkumulierten Rasterkarte und die neue Position des Fahrzeugs 1 wird kontinuierlich neu berechnet. Die Sensordaten werden in jedem Messzyklus mit einer kompensierten Fahrzeugposition in die akkumulierte Rasterkarte eingetragen. Mit diesem Ansatz können Sensordaten über die Zeit akkumuliert und statistisch (im Bezug zu einem „globalen“ Koordinatensystem) erfasst und ausgewertet werden. Beispielsweise kann eine sog. Belegungskarte oder „Evidential-Grid Map“ erzeugt werden, also einer akkumulierten Rasterkarte, die eine Beschreibung der Umgebung, wie sie mit einem Lidar-, Radar- oder Kamerasensor oder durch Kombination der Daten solcher Sensoren im Auto wahrgenommen wird. Die Rasterkarte kann durch das Aufsummieren von Detektionen (oder anderen Informationen wie der Belegungswahrscheinlichkeit) der verschiedenen Sensortechnologien über die Zeit erstellt werden, beispielsweise mittels eines inversen Sensormodells, das die Ermittlung von Belegungswahrscheinlichkeiten für die Zellen der Rasterkarte ermöglicht.
5a zeigt beispielhaft eine während einer Testfahrt gewonnene akkumulierte Rasterkarte, welche die Umgebung des Fahrzeugs aus der Vogelperspektive zeigt. Die Rasterkarte zeigt eine beispielhafte akkumulierte Punktwolke, die mit mehreren hochauflösende Radarsensoren erfasst wurde. Die akkumulierte Rasterkarte deckt ein Gebiet von 400m auf der x-Achse und 200m auf der y-Achse ab und hat eine Auflösung von beispielsweise 20 cm x 20 cm (die Beschriftung der Rasterkarte der 5 entspricht Zellen und nicht Metern und entspricht somit der Auflösung der Rasterkarte). Die Rasterkarte kann durch die akkumulierten Messungen beliebig groß gewählt werden. Insbesondere ist der durch die Akkumulation gewonnene Bereich vor und hinter dem Ego-Fahrzeug groß genug, um den Straßenverlauf schätzen zu können. Durch ein geeignetes Verfahren zur Straßenerkennung, wie es dem Fachmann bekannt ist, beispielsweise Techniken der Static-Enviroment-Perception (SEP), können den Punkten der Punktwolke ihre Entsprechungen in der Realwelt, wie beispielsweise der approximierte Straßenverlauf, zugeordnet werden (siehe gestrichelte Pfeile und entsprechende Beschriftung).
5b zeigt schematisch eine beispielhafte Technologie der Static-Enviroment-Perception (SEP). Die Static-Enviroment-Perception (SEP) umfasst den Schritt 51, der Akkumulation der Daten (Radar, Lidar, Kamera), den Schritt 52 der Extraktion von statischen Objekten wie Straßenbegrenzung (Leitpfosten, Leitplanken, Randsteine, Bankett, Grasnarben, Bäume und dergleichen), Straßenschilder, Straßenmarkierungen (Mittelstreifen, Seitenstreifen, etc.) und dergleichen inkl. Klassifizierung und den Schritt 53 des Tracking der extrahierten statischen Objekte. Diese Techniken sind dem Fachmann bekannt und beispielsweise in Li et al (2019), Static Environment Perception Based on High-Resolution Automotive Radars, oder vergleichbaren Schriften beschrieben. Dem Fachmann bekannte Verfahren der semantischen Segmentierung oder computergestützten Klassifizierung können verwendet werden, um die statische Umgebung zu klassifizieren (z.B. nach Objektart, wie Straßenbegrenzer oder Straßenschild, etc., und ggf. nach Objektunterklassen wie beispielsweise Leitpfosten, Leitplanken, Randsteine im Falle der Straßenbegrenzer bzw. nach Schildtypen im Falle der Straßenschilder). Diese Algorithmen können auf Machine-Learning oder auf klassischen Regeln basierenden Bildverarbeitungsalgorithmen basieren, die auf die Rasterkarten (Evidential, Belegung, usw.) oder auf die Daten einer zusätzlichen Kamera angewendet werden. Mittels einer Ausgabeschnittstelle 54 werden die extrahierten Objekte 55 und die Klassifizierungen 56 ausgegeben.
Auf Grundlage der extrahierten Objekte (Straßenbegrenzung, Straßenschilder, Straßenmarkierungen, etc.) kann insbesondere mittels bekannter Verfahren eine polynomiale Abschätzung des Straßenverlaufs, beispielsweise der Mittellinie und/oder des linken und rechten Fahrbahnrandes gewonnen werden und in die Rasterkarte eingezeichnet werden (vgl. 5a). Die Straßengrenzen des tatsächlichen Szenarios können beispielsweise unter Verwendung verschiedener bekannter Verfahren wie Machine-Learning, Linienanpassung usw. (siehe auch Straßenbegrenzermodell 81 der 8) geschätzt werden, die auf die verschiedenen Rasterkarten angewendet werden (Evidential, Belegung, usw.). Beispielsweise ist bei Verwendung einer Lidar-Gitterkarte die Straßengrenze gut sichtbar, wie dies in Fig. x1a, rechtes Bild gezeigt ist.
6 zeigt schematisch das Zusammenspiel zwischen fahrzeuginternen Techniken der Static-Enviroment-Perception (SEP) und satellitengestützter Umfelderkennung. Ein Fahrzeug 10 fährt auf einer Straße 60, die von einigen Fahrbahnbegrenzern 61 begrenzt wird. In diesem Beispiel handelt es sich bei den Fahrbahnbegrenzern 61 um Laternen, es kann sich jedoch auch um Zäune, Leitpfosten, Leitplanken oder ähnliches handeln. Das Fahrzeug 10 ist mit ein oder mehreren Umfeldsensoren 26 ausgestattet, die ein Blickfeld 62 aufweisen. Diese Sensoren erlauben es dem Fahrzeug 10 den Straßenverlauf der Straße 60 zu bestimmen. Ein Satellit 64 befindet sich hoch über dem Fahrzeug 10 und der Straße 60. Der Satellit 64 ist mindestens mit einer Kamera zur Anfertigung von hochauflösenden Bildern und mit einem Synthetischen Apertur-Radar-System (SAR) ausgestattet. Das Blickfeld des Satelliten 63 ist hierbei so, dass das Blickfeld des Fahrzeugs 62 ganz oder teilweise im Blickfeld des Satelliten 63 liegt. Der Satellit 64 übermittelt seine Bilddaten an eine Validierungsdatenbank 83, die an einem beliebigen Ort auf der Erde positioniert ist und nicht notwendigerweise in der Nähe des Fahrzeugs 10 platziert sein muss. Durch Zusammenfügen (Fusion) des Satellitenbildes und der SAR-Radardaten wird ein hochauflösendes Referenzbild angefertigt, innerhalb dessen Straßenverläufe mittels der oben unter Bezug auf 5 bekannten Verfahren bestimmt werden, die im Folgenden als Straßenverlaufs-Referenzdaten bezeichnet werden. Hierfür können Informationen, die auf hochauflösenden Satellitenbildern und SAR-Bildern (Synthetic Aperture Radar) basieren, mit Referenzpunkten auf der Erde (für SAR) fusioniert werden, wie dies in Zusammenhang mit 7 unten genauer beschrieben ist. Das Ergebnis der Fusion ist eine hochauflösende Karte mit hoher Genauigkeit (Zentimetergenauigkeit). Basierend auf der hochgenauen Karte können Merkmale wie Straßenbegrenzungen und Fahrbahnmarkierungen extrahiert werden. Darüber hinaus können die statischen Objekte wie Häuser, Bäume und Straßen mit modernsten Methoden wie klassischem regelbasiertem Computer Vision oder fortgeschritteneren Techniken des maschinellen Lernens klassifiziert werden.
Die auf diese Weise gewonnen Straßenverlaufs-Referenzdaten werden in der Validierungsdatenbank 83 gespeichert und können auf verschiedene Weise genutzt werden. Mit Hilfe eines Validierungsalgorithmus (siehe 84 in 8 unten) wird beispielsweise das Übereinstimmen von dem im Fahrzeug 10 bestimmten Straßenverlauf und dem Referenzdatenstraßenverlauf bestimmt. Dies umfasst beispielsweise ein effizientes und skalierbares Generieren einer großen Menge an Referenzdaten für eine Algorith menvalid ieru ng.
Auch können, wie in 6 gezeigt, die Referenzdaten an das Fahrzeug 10 übermittelt werden, um eine Echtzeit-Validierung der Static-Enviroment-Perception (SEP) im Fahrzeug vorzunehmen. Dies erlaubt beispielsweise die Validierung des im Fahrzeug 10 bestimmten Straßenverlaufs. Insbesondere ist es möglich, eine HD-Karte basierend auf extrahierten Objekten wie Straßenbegrenzungen, etc. zu erzeugen, die rein aus SAR/Satellitenbildern gewonnen wurden, wie dies in 7 gezeigt ist.
7 zeigt schematisch einen Straßenerkennungsprozess basierend auf einer Fusion eines Satellitenbildes mit SAR-Radardaten zur Gewinnung von Straßenverlaufs-Referenzdaten. Der Straßenerkennungsprozess läuft beispielsweise auf einem Computer ab, der ein Satellitenbild und ein SAR-Bild von einem Satelliten (64 in 6) empfängt und das Ergebnis des Straßenerkennungsprozesses in einer Validierungsdatenbank (83 in 6) speichert. Ein vom Satelliten empfangenes SAR-Bild (visuelle Repräsentation der SAR-Radardaten) 71 und ein vom Satelliten empfangenes hochaufgelöstes Satellitenbild (Foto im sichtbaren Wellenlängenbereich) 72 werden in einem Schritt 73 fusioniert (zusammengeführt). Hierfür kann der Fachmann auf bekannte Techniken zur Fusionierung von SAR-Bildern mit hochaufgelösten Bildern zurückgreifen, wie sie beispielsweise beschrieben sind in Kyo Seo et al, (2018). Fusion of SAR and Multispectral Images Using Random Forest Regression for Change Detection. ISPRS International Journal of Geo-Information. 7. 401, und in der Diplomarbeit von Türmer, Sebastian. (2009). Automatic Registration of High Resolution SAR and Optical Satellite Imagery in Urban Areas, Technische Universität München. In einem Schritt 75 wird auf Grundlage des fusionierten Bildes eine Objekterkennung (Merkmalserkennung) und -klassifizierung durchgeführt, um statische Objekte 78 wie Straßenbegrenzungen (Leitpfosten, Leitplanken, Randsteine, Bankett, Grasnarben, Bäume und dergleichen), Straßenschilder, Straßenmarkierungen (Mittelstreifen, Seitenstreifen, etc.) und dergleichen zu erkennen und zu klassifizieren. Durch ein geeignetes Verfahren zur Straßenerkennung, wie es dem Fachmann bekannt ist, kann ferner beispielsweise eine polynomiale Abschätzung des Straßenverlaufs, insbesondere der Mittellinie und/oder des linken und rechten Fahrbahnrandes gewonnen werden. Die Straßengrenzen des Szenarios können beispielsweise unter Verwendung verschiedener bekannter Verfahren wie Machine-Learning, Linienanpassung usw. geschätzt werden, die auf das fusionierte Bild angewendet werden. Auf diese Weise kann eine Straßenverlaufsbestimmung auf dem fusionierten Bild durchgeführt werden, um Straßenverlaufsinformationen 79 zu erhalten. Dem Fachmann bekannte Verfahren der semantischen Segmentierung oder computergestützten Klassifizierung können verwendet werden, um die Umgebung im Sichtfeld des Satelliten zu klassifizieren. Diese Algorithmen können auf Machine-Learning oder auf klassischen Regelbasierten Bildverarbeitungsalgorithmen beruhen, die auf das fusionierte Bild angewendet werden, um Klassifizierungsinformationen 77 zu erhalten. Die ermittelten Objektinformationen 78 (Positionen, Polynome, Linienmarkierungen, oder dergleichen) und die Klassifizierungsinformationen 77 werden in einem Schritt 76 mittels einer Ausgabeschnittstelle an ein weiteres, externes System übergeben, hier eine Validierungsdatenbank (83 in 6).
8 zeigt schematisch einen erfindungsgemäßen Prozess zur Validierung von Straßenerkennungsdaten mithilfe von in einer Validierungsdatenbank gespeicherten Daten, die aus einem aus Satellitenbild und SAR-Radardaten fusionierten Bild gewonnen wurden. Der Prozess wird beispielsweise auf einem Prozessor (41 in 1) einer ECU für Sensordatenverarbeitung (40 in 1) ausgeführt. Wie unter Schritt 73 der 7 beschrieben, wird aus dem Zusammenführen eines Satellitenbildes und von SAR-Radardaten ein Referenzbild erstellt, auf dem statische Objekte, wie Straßenbegrenzungen (Leitpfosten, Leitplanken, Randsteine, Bankett, Grasnarben, Bäume und dergleichen), Straßenschilder, Straßenmarkierungen (Mittelstreifen, Seitenstreifen, etc.) erkannt und klassifiziert werden (Schritt 75 der 7) und als Straßenverlaufs-Referenzdaten in einer Validierungsdatenbank 83 gespeichert werden. Ein Verfahren, das beispielsweise innerhalb eines Fahrzeugs 10 ausgeführt wird implementiert zudem eine Technik der Static-Enviroment-Perception (SEP) 81, wie es in Zusammenhang mit 5b oben beschrieben wurde, und das auf den Daten von einem oder mehreren Sensoren ausgeführt wird, die auf dem Fahrzeug 10 befestigt sind. Die Static-Enviroment-Perception (SEP) 81 wird ebenfalls verwendet, um statische Objekte, wie Straßenbegrenzungen, Straßenschilder, Straßenmarkierungen in der Umgebung zu lokalisieren und zu erkennen (Klassifizierung), wie dies oben unter Bezug auf 5b näher beschrieben wurde. Die Ergebnisse des Static-Enviroment-Perception (SEP) 81 werden mittels eines Validierungsalgorithmus 84 mit den Referenzdaten der Validierungsdatenbank 83 verglichen, sodass eine Einschätzung der Validität des im Fahrzeug abgelaufenen Erkennungsprozesses ausgegeben werden kann. Die beiden wichtigsten Ergebnisse, die mit diesem Validierungsalgorithmus 84 validiert werden, sind die Orte der statischen Objekte und die Klassifizierung der statischen Umgebung. Die Validierung der Orte der statischen Objekte kann durch dem Fachmann bekannte Assoziierungsalgorithmen erfolgen, wie beispielsweise dem Kuhn-Munkres-Algorithmus, oder Techniken der Nächste-Nachbarn-Klassifikation, z.B. k-Nearest-Neighbour-Algorithmen. Dabei werden die beiden gegebenen Gruppen von Objekten als „Quellen“ und „Ziele“ bezeichnet, zwischen denen eine eineindeutige Zuordnung herzustellen ist, d. h. jeder Quelle wird höchstens ein Ziel und jedem Ziel höchstens eine Quelle zugeordnet. Nach der Zuordnung der Objekte kann mit einem Abstandsmaß der Ort der statischen Objekte validiert werden. Je näher die assoziierten Objekte zueinander liegen, desto eher kann davon ausgegangen werden, dass es sich wirklich um dasselbe Objekt handelt.
Nach erfolgter Assoziierung können die den assoziierten Objekten zugeordneten Klassifizierungsinformationen verglichen werden. Haben beispielsweise eine Quelle und ein Ziel identische Klassifizierungsinformationen, so kann davon ausgegangen werden, dass die Klassifizierung korrekt erfolgt ist. Stehen für ein Objekt keine Klassifizierungsinformationen (56 in 5b) aus der fahrzeuginternen Objekterkennung zu Verfügung, weil beispielsweise die Objektklassifizierung versagt hat, so können Klassifizierungsinformationen (77 in 7) aus der fusionierten Satellitenkarte übernommen werden. Stehen für ein Objekt sowohl Klassifizierungsinformationen (56 in 5b) aus der fahrzeuginternen Objekterkennung als auch Klassifizierungsinformationen (77 in 7) aus der fusionierten Satellitenkarte zur Verfügung, so kann aufgrund zugeordneter Konfidenzwerte jene Klassifizierungsinformationen ausgewählt werden, welche die höheren Konfidenzwerte aufweisen.
Basierend auf dem vorgeschlagenen Verfahren steht eine Vielzahl von Validierungsdaten für die Ausgaben der Static-Enviroment-Perception (SEP) zur Verfügung. Jeder Datensatz eines Fahrzeugs, der zuvor aufgezeichnet wurde, kann mit dem vorgeschlagenen Verfahren validiert werden. Das Ergebnis des Validierungsprozesses 84 kann beispielsweise verwendet werden, um weitere Entscheidungen im Fahrzeug auszulösen, zum Beispiel könnte ein autonomes Fahrzeug Konfidenzwerte für die Straßenverlaufserkennung gemäß dem Validierungsergebnis anpassen, oder beispielsweise warnen, dass keine zuverlässige Straßenerkennung möglich ist, sollte dies der Validierungsalgorithmus ergeben. Das Verfahren kann somit durch den Validierungsprozess die Ergebnisse der SEP, wie z. B. Bestimmung der Straßenbegrenzer und Klassifizierung der statischen Umgebung verbessern und auch erhöhen. Ferner kann eine Berechnung von Key-Performance-Indizes (KPIs) wie einer Confusion-Matrix oder einem Root-Mean-Square-Error (RMSE) erfolgen.
Das vorgeschlagene Verfahren könnte unter Verwendung zusätzlicher Validierungsmerkmale erweitert werden, die unter Verwendung der Fusion von SAR und Satellitenbild extrahiert werden. Der Validierungsalgorithmus kann automatisch ausgeführt werden, wenn ein neuer Datensatz mit dem verfügbaren Validierungsdatensatz auf einen Messserver hochgeladen wird (basierend auf der Fusion von SAR- und Satellitenbildern). Die Validierungsdatenbank kann jedes Mal aktualisiert werden, wenn neue Daten eines Satelliten mit zusätzlichen anderen Informationsquellen verfügbar sind.
9a zeigt beispielhaft das Ergebnis eines Straßenerkennungsprozesses, der in einem Fahrzeug stattfindet, wie dies in Bezug auf 5 oben näher beschrieben wurde. 9a zeigt auf der rechten Seite ein Luftbild eines Straßenverlaufes. Auf der linken Seite findet sich eine Visualisierung einer akkumulierten Rasterkarte. Ein Vergleich zeigt, dass sich Strukturen des Luftbildes, insbesondere Straßengrenzen in der akkumulierten Rasterkarte erkennen lassen, wie durch die Pfeile angedeutet ist.
9b zeigt eine Überlagerung eines Luftbildes eines Straßenverlaufs mit den Informationen der akkumulierten Rasterkarte. Wieder symbolisieren helle Bereiche Zellen mit hoher Belegungswahrscheinlichkeit. Die hellen Bereiche lassen Strukturen wie eine erkannte Straßenbegrenzung (z.B. Hauswände, Zäune, Bordsteine, Bepflanzung, Leitpfosten, usw.) erkennen. Der Vergleich mit dem überlagerten Luftbild zeigt, dass sich Strukturen des Luftbildes, insbesondere Straßengrenzen in der akkumulierten Rasterkarte erkennen lassen.
Bezugszeichenliste

10: Fahrzeug
12: ECU 1 Bremssystem
14: ECU 2 Antriebsstrang
16: ECU 3 Lenksystem
18: ECU 5 autonomes Fahren
22: ECU 4 Sensorverarbeitung
24: GNSS
25: Datenbankschnittstelle
26: Umfeldsensoren
27: HMI
31: Sichtbereich des Sensors
32: anderes Fahrzeug
P_i: Punkte (Detektionen)
33: Rasterkarte
34: Zelle der Rasterkarte mit hoher Belegungswahrscheinlichkeit
35: Zelle der Rasterkarte mit niedriger Belegungswahrscheinlichkeit
41: CPU
42: RAM
43: ROM
45: CAN-IF
44: Speichereinheit
46: internes Kommunikationsnetzwerk
47: Applikationsspezifischer Schaltkreis
51: Akkumulation der Daten
52: Extraktion von Objekten und Klassifizierung der Objekte
53: Tracking der extrahierten Objekte
54: Ausgabeschnittstelle
55: Objekte (Straßenbegrenzungen, Straßenschilder, Straßenmarkierungen)
56: Klassifizierung
60: Straße
61: Straßenbegrenzer
62: Sichtbereich Sensorik Fahrzeug
63: Sichtbereich Sensorik Satellit
64: Satellit
71: Hochaufgelöstes SAR-Bild
72: Hoch aufgelöstes Satellitenbild (sichtbares Licht)
73: Fusion
75: Merkmalserkennung und Klassifizierung
76: Ausgabeschnittstelle
77: Klassifizierungen
78: Objektinformationen (Straßenbegrenzungen, Straßenschilder, Straßenmarkierungen)
81: Static-Environment-Perception (SEP)
82: Fusioniertes Referenzbild
83: Validierungsdatenbank
84: Validierungsalgorithmus

Claims

Verfahren, umfassend ein Validieren (84) erster Objektinformationen (55) und/oder Klassifizierungsinformationen (56) aus einer Erkennung (81; 52) des statischen Umfeldes eines Fahrzeugs (10) mittels zweiter Objektinformationen (78) und/oder Klassifizierungsinformationen (77) aus einer satellitenbasierten Umgebungserkennung (82; 75).
Verfahren nach Anspruch 1, ferner umfassend ein Speichern der zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) als Referenzdaten in einer Datenbank (83).
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend ein Erzeugen (73) eines fusionierten Bildes aus einem Satellitenbild im sichtbaren Wellenlängenbereich und einem Synthetischer-Apertur-Radarbild, um daraus die zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) abzuleiten.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend ein Erzeugen (73) einer akkumulierten Rasterkarte aus Sensordaten des Fahrzeugs (10), um daraus die ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) abzuleiten.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend eine Objekterkennung und Klassifizierung (75), um die zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) zu erhalten und eine Objekterkennung und Klassifizierung (81; 52), um die ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) zu erhalten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Validieren (84) der ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) mittels der zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) ein Vergleichen der ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) mit den zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Validieren (84) der ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) mittels der zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) die Durchführung eines Assoziierungsalgorithmus umfasst.
Verfahren nach Anspruch 7, wobei das Validieren (84) der ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) mittels der zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) ein Bestimmen eines Objektabstands assoziierter Objekte umfasst.
Verfahren nach Anspruch 7 oder 8, wobei das Validieren (84) der ersten Objektinformationen (55) und/oder Klassifizierungsinformationen (56) mittels der zweiten Objektinformationen (78) und/oder Klassifizierungsinformationen (77) ein Vergleichen von Klassifizierungsinformationen assoziierter Objekte umfasst.
Vorrichtung, umfassend einen Prozessor (41), der dazu ausgelegt ist, das Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.