DE102019216304A1

DE102019216304A1 - Fusion von Wärmebildern mit Daten von 3D-Sensoren

Info

Publication number: DE102019216304A1
Application number: DE102019216304.1A
Authority: DE
Inventors: Daniel Fafula; Jannik Metzner; Florian Maile
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2021-04-29

Abstract

Sensorfusionseinheit, umfassend einen Prozessor, der dazu ausgelegt ist, Pixeldaten (904) einer Wärmebildkamera mit Sensordaten (P1, P2, P3) eines 3D-Sensors zu fusionieren, um fusionierte Wärmeinformationen zu erhalten.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft das technische Gebiet der Fahrzeugsensorik und deren Datenauswertung, insbesondere für autonome oder teilautonome Fahrzeuge.
TECHNISCHER HINTERGRUND
Bei automatisierten oder teilautomatisierten Fahrzeugen werden verschiedene Sensoren und Algorithmen angewendet um statische und dynamische Objekte zu erkennen. Viele Algorithmen basieren auf Sensorfusionen und statistischen Verfahren.
Für leistungsstarke Fahrassistenzsysteme und autonome Fahrzeuge ist dabei eine präzise Umfelderkennung wichtig. Zu diesem Zweck besitzen moderne Fahrzeuge eine Vielzahl von Sensoren, zum Beispiel Radar, oder Lidar-Sensoren, die ihre Messwerte in Form einer Punktwolke liefern. Aus den von den Sensoren bereitgestellten Punktwolken gilt es, zuverlässige Informationen über mögliche Objekte im Fahrpfad oder auf Kollisionskurs zum eigenen Fahrzeug zu erhalten. Schlussendlich können diese Informationen für Objekterkennung und Klassifizierung verwendet werden.
Vor diesem Hintergrund ist die Aufgabe der Erfindung, eine verbesserte Umfelderkennung zu ermöglichen. Diese Aufgabe wird durch die Sensorfusionseinheit nach Anspruch 1, sowie durch das entsprechende Verfahren der Sensorfusion nach Anspruch 10 gelöst. Weitere Merkmale der Erfindung ergeben sich aus den Unteransprüchen.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Ausführungsbeispiele zeigen eine Sensorfusionseinheit, umfassend einen Prozessor, der dazu ausgelegt ist, Pixeldaten einer Wärmebildkamera mit Sensordaten eines 3D-Sensors zu fusionieren, um fusionierte Wärmeinformationen zu erhalten.
Auf diese Weise können weitere Sensoren für Fahrassistenzsysteme und autonome Fahrzeuge wie Infrarotsensoren zur Umfelderkennung herangezogen werden. Infrarotsensoren wurden in der Vergangenheit oftmals nur in militärischen Anwendungsbereichen verwendet. Auf Grund fallender Preise dieser Technologie sind Infrarotsensoren mittlerweile vermehrt zu finden, zum Beispiel bei Drohnen oder als kostengünstige Embedded Chips mit einer geringen Bildauflösung.
Die Sensorfusionseinheit ist bevorzugt als eine ECU in einem Kraftfahrzeug realisiert. Alternativ kann die Verarbeitung der Sensordaten aber auch von einem Clouddienst übernommen werden, so dass die Sensorfusionseinheit als Clouddienst realisiert wird, der Informationen von ein oder mehreren Fahrzeugen entgegennehmen, um fusionierte Wärmeinformationen zu erzeugen.
Bei dem Prozessor kann es sich beispielsweise um eine programmierbare CPU, einen anwendungsspezifischen integrierten Schaltkreis (z.B. ASIC oder auch FPGA), verteilte CPUs oder anwendungsspezifischen integrierten Schaltkreis, eine Cloud-Verarbeitung oder dergleichen handeln.
Bei der Wärmebildkamera kann es sich beispielsweise um eine Infrarotkamera oder dergleichen handeln.
Bei dem 3D-Sensor kann es sich um jegliche Sensortechnologie handeln, die auch Tiefeninformationen (Entfernungsinformationen) liefert, wie beispielsweise Lidar, Radar, Ultraschall, oder dergleichen.
Die Daten des 3D-Sensors können beispielsweise als Punktwolke erfasst werden. Dies hat den Vorteil, dass 3D-Sensoren, wie beispielsweise Radarsensoren und Lidarsensoren ihre Messdaten üblicherweise als Punktwolke ausgeben, so dass die Sensorfusionseinheit diese Daten direkt verarbeiten kann.
Der Prozessor ist beispielsweise dazu ausgelegt, die Punkte der Punktwolke auf eine imaginäre Bildebene der Wärmebildkamera zu projizieren, um projizierte Punkte zu erhalten. Auf diese Weise kann ein Fusionieren der Pixeldaten der Wärmebildkamera mit den Sensordaten des 3D-Sensors erfolgen.
Ferner ist der Prozessor beispielsweise dazu ausgelegt, für einen Punkt der Punktwolke einen Sehstrahl der Wärmebildkamera mit der imaginären Bildebene zu schneiden, um die projizierten Punkte zu erhalten. Dies hat den Vorteil, dass auf Grundlage der projizierten Punkte die Punkte der Punktwolke den Pixeldaten zugeordnet werden können, um die fusionierte Wärmeinformationen zu erzeugen.
Ferner ist der Prozessor beispielsweise dazu ausgelegt, einem jeweiligen Punkt der projizierten Punkte ein entsprechendes Pixel der Pixeldaten zuzuordnen, um die fusionierte Wärmeinformationen zu erzeugen.
Ferner ist der Prozessor beispielsweise dazu ausgelegt, die Punkte der Punktwolke auf eine akkumulierte Rasterkarte abzubilden. Auf diese Weise wird eine Abbildung der Umgebung erhalten, auf deren Grundlage Fahrzeugassistenzsysteme und beispielsweise autonome oder teilautonome Fahrzeuge Entscheidungen über anstehende Fahrmanöver treffen können. Eine Rasterkarte kann beispielsweise eine beliebige Karte seine, welche in Raster eingeteilt ist. Vorzugsweise handelt es sich bei der Rasterkarte um eine akkumulierte Belegungskarte wobei diese zum Beispiel Informationen wie, maximale Höhe eines Objektes, gewichtete Intensität, Anzahl der Detektionen oder Belegungswahrscheinlichkeit abspeichern kann.
Ferner ist der Prozessor beispielsweise dazu ausgelegt, das Fusionieren der Pixeldaten der Wärmebildkamera mit den Sensordaten des 3D-Sensors in mehreren Zeitschritten durchzuführen, und die jeweils erhaltenen fusionierten Wärmeinformationen unter Kompensation einer Eigenbewegung des 3D-Sensors in die akkumulierte Rasterkarte einzutragen. Auf diese Weise werden die Umfeldinformationen während der Fahr akkumuliert.
Bei dem 3D-Sensor kann es beispielsweise um einen Lidarsensor, ein Radarsensor oder ein Ultraschallsensor oder dergleichen handeln.
Ferner ist der Prozessor beispielsweise dazu ausgelegt, eine Merkmalserkennung anhand der fusionierten Wärmeinformationen durchzuführen. Auf diese Weise können beispielsweise Objekte mit charakteristischen Wärmeinformationen wie zum Beispiel Tiere/Personen, parkende Fahrzeuge, Fahrbahnen oder Schnee. besser identifiziert werden.
Die Ausführungsbeispiele zeigen auch ein Kraftfahrzeug mit einer Wärmebildkamera und einem 3D-Sensor, sowie mit einer Sensorfusionseinheit, die dazu ausgelegt ist, Pixeldaten der Wärmebildkamera mit den Sensordaten des 3D-Sensors zu fusionieren, um fusionierte Wärmeinformationen zu erhalten.
Die Ausführungsbeispiele zeigen auch ein Verfahren, bei dem Pixeldaten einer Wärmebildkamera mit Sensordaten eines 3D-Sensors fusioniert werden, um fusionierte Wärmeinformationen zu erhalten. Das Verfahren kann insbesondere als computerimplementiertes Verfahren realisiert sein.
Figurenliste
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.

1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
2 zeigt schematisch eine beispielhafte Konfiguration eines Steuergeräts für autonomes Fahren zeigt.
3 zeigt eine Unterteilung des Raums hinter einem Fahrzeug mit Hilfe von Rasterzellen in eine Rasterkarte.
4 zeigt mögliche Attribute einer Rasterkarte aus 2.
5 zeigt schematisch ein Infrarotpixelbild einer Person, wie es mit einer Wärmebildkamera erhalten wird.
6 zeigt schematisch ein Fahrzeug und die Sichtbereiche von zum Fahrzeug gehörendem Kamerasensor, Lidarsensor und Radarsensor.
7 zeigt schematisch die Projektion von Punkten der Punktewolke auf Punkte des Infrarotpixelbildes und eine Projektion in eine 2D Rasterkarte.
8 zeigt die Projektion von Punkten der Punktwolke auf Punkte des Infrarotpixelbildes.
9 zeigt ein Flussdiagramm über die Sensorfusion von Infrarot-/Kameradaten mit Lidar-/Radardaten.
10 zeigt ein Kamerabild (RGB Kamera) aus einem Fahrzeug heraus. Das Bild zeigt eine Straße auf der ein Fahrradfahrer ein parkendes Auto passiert.
11 zeigt das Resultat eines Machine-Learning Mustererkennungsalgorithmus, angewandt auf das Bild aus 10.
12 zeigt ein Lidarbild der gleichen Szene wie das Bild aus 10 aufgenommen mit einem Lidarsensor.
13 zeigt das Lidarbild aus 12 fusioniert mit dem Kamerabild aus 10.

Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren detaillierter beschrieben.
1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 1 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 1 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 28 miteinander kommunizieren. Das Fahrzeugkommunikationsnetzwerk 28 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein, oder eine Kombination solcher Technologien einsetzen.
In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 1 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 1 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 1 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.
Die Steuereinheiten 12, 14, 16 und 18 können ferner von den oben genannten Fahrzeugsubsystemen Fahrzeugbetriebsparameter empfangen, die diese mittels einem oder mehreren Fahrzeugsensoren erfassen. Fahrzeugsensoren sind vorzugsweise solche Sensoren, die einen Zustand des Fahrzeugs oder einen Zustand von Fahrzeugteilen erfassen, insbesondere deren Bewegungszustand. Die Sensoren können einen Fahrgeschwindigkeitssensor, einen Gierraten-Sensor, einen Beschleunigungssensor, einen Lenkradwinkelsensor, einen Fahrzeuglastsensor, Temperatursensoren, Drucksensoren und dergleichen umfassen. Beispielsweise können auch Sensoren entlang der Bremsleitung angeordnet sein, um Signale auszugeben, die den Bremsflüssigkeitsdruck an verschiedenen Stellen entlang der hydraulischen Bremsleitung anzeigen. Andere Sensoren in der Nähe des Rades können vorgesehen sein, welche die Radgeschwindigkeit und den Bremsdruck erfassen, der am Rad aufgebracht wird.
Die Fahrzeugsensorik des Fahrzeugs 1 umfasst darüber hinaus eine Satellitennavigationseinheit 24 (GNSS-Einheit). Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen.
Das Fahrzeug 1 umfasst ferner ein oder mehrere Sensoren, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 26 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, Ultraschall-Sensoren oder dergleichen. Die Umfeldsensoren 26 können innerhalb des Fahrzeugs oder außerhalb des Fahrzeugs (z. B. an der Außenseite des Fahrzeugs) angeordnet sein. Beispielsweise kann eine Kamera in einem vorderen Bereich des Fahrzeugs 1 zur Aufnahme von Bildern eines vor dem Fahrzeug befindlichen Umfeldbereichs vorgesehen sein.
Das Fahrzeug 1 umfasst ferner eine Sensorverarbeitungseinheit 22 (ECU 4), die in der Lage ist, auf Grundlage von Sensordaten, die von den Umweltsensoren 20 in Form einer Punktwolke bereitgestellt werden, eine Rasterkarte mit Belegungswahrscheinlichkeiten zu bestimmen.
Das Fahrzeug 1 umfasst ferner eine Steuereinheit für autonomes Fahren 18 (ECU 5). Die Steuereinheit für autonomes Fahren 18 ist dazu ausgelegt, das Fahrzeug 1 so zu steuern, dass dieses ganz oder teilweise ohne Einfluss eines menschlichen Fahrers im Straßenverkehr agieren kann. Wenn steuerungsseitig oder fahrerseitig ein Betriebszustand für das autonome Fahren aktiviert ist, bestimmt die Steuereinheit für autonomes Fahren 18, auf Grundlage von zur Verfügung stehenden Daten über eine vorgegebene Fahrtstrecke, von den Umweltsensoren 20 aufgenommenen Umgebungsdaten bzw. den von der Sensorverarbeitungseinheit 22 bereitgestellten verarbeiteten Daten, sowie von mittels den Fahrzeugsensoren erfassten Fahrzeugbetriebsparametern, die der Steuereinheit 18 von den Steuereinheiten 12, 14 und 16 zugeleitet werden, Parameter für den autonomen Betrieb des Fahrzeugs (beispielsweise Soll-Geschwindigkeit, Soll-Moment, Abstand zum Vorausfahrzeug, Abstand zum Fahrbahnrand, Lenkvorgang und dergleichen).
Das Fahrzeug 1 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die es einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Diese Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform, und eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.
2a zeigt ein Blockdiagramm, das eine beispielhafte Konfiguration einer Steuereinheit für autonomes Fahren 18 (ECU 5) darstellt. Bei der Steuereinheit für autonomes Fahren 18 kann es sich beispielsweise um ein Steuergerät (electronic control unit ECU oder Electronic Control Module ECM) handeln. Die Steuereinheit für autonomes Fahren 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt. Der Prozessor der Steuereinheit für autonomes Fahren 18 ist beispielsweise dazu ausgelegt, beim Fahren je nach geplantem Fahrmanöver, basierend auf den Informationen des sensorbasierten Umfeldmodells, eine optimale Fahrposition (beispielsweise Folgeabstand oder Lateralversatz zu einem Vorausfahrzeug oder dergleichen) unter Berücksichtigung des zulässigen Fahrspurbereichs zu berechnen. Die errechnete optimale Fahrposition wird zur Steuerung von Aktuatoren der Fahrzeugsubsysteme 12, 14 und 16, beispielsweise von Brems-, Antriebs- und/oder Lenkaktuatoren, verwendet. Die Steuereinheit für autonomes Fahren 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Steuereinheit für autonomes Fahren 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Steuereinheit für autonomes Fahren 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann.
2b zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 22. Alle Bestandteile der Sensorverarbeitungseinheit 22 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 22 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47 (ASIC oder auch FPGA). Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln. Der integrierte Schaltkreis 47 ist derart konfiguriert, dass er Sensordaten in Form einer Punktwolke in eine Belegungsrasterkarte für das Sichtfeld des Sensors überführt. Die Sensorverarbeitungseinheit 22 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 22 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 22 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 22 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann.
3 zeigt einen beispielhaften Umfeldsensor 26, hier insbesondere einen Radarsensor. Der Radarsensor 26 ist ein Erkennungs- und Ortungsgerät auf der Basis elektromagnetischer Wellen im Radiofrequenzbereich. Der Radarsensor sendet ein Signal als gebündelte elektromagnetische Welle aus (Primärsignal) und empfängt die von Objekten reflektierten Echos (Sekundärsignal). Über daraus erhaltene Informationen wie beispielsweise Laufzeitunterschiede werden Informationen über Detektionsereignisse („Zielpunkte“) P₁(r₁, φ₁, θ₁, ν₁, I₁), P₂(r₂, (φ₂, θ₂, ν₂, I₂), P₃ (r₃, (φ₃, θ₃, ν₃, I₃) ... , P_i(r_i, φ_i, θ_i, ν_i, I_i) gewonnen, wie beispielsweise Azimutwinkel φ_i und Elevationswinkel θ_i, welche die Richtung zum Zielpunkt beschreiben, die Entfernung r_i zum Zielpunkt, die Radialgeschwindigkeit ν_i und die Lateralgeschwindigkeit I_i, welche die Relativbewegung zwischen Radarsensor 26 und Zielpunkt P_i beschreiben. Die Relativbewegung kann beispielsweise durch den Doppler-Effekt aus der Verschiebung der Frequenz des reflektierten Signals berechnet werden. Durch Aneinanderreihen einzelner Messungen kann ggf. die Wegstrecke und die Absolutgeschwindigkeit eines Zielpunktes P_i ermittelt werden. Indem eine große Menge an Zielpunkten P_i (genannt „Punktwolke“) in ihrer Gesamtheit ausgewertet werden, können Zielpunkte P_i als zu einem eindeutigen Objekt zugehörig identifiziert werden (Clustering-Verfahren), Konturen von Objekten erkannt werden und bei ausreichender Auflösung des Radarsensors 26 Bilder der Objekte gewonnen werden.
Die 4a, b, c zeigen die Gewinnung einer zweidimensionalen Rasterkarte aus Detektionsereignissen eines Radarsensors. In 4a liegt ein Sichtbereich 31 eines Radarsensors vor dem Fahrzeug 1, auf dem der Radarsensor installiert ist. Im Sichtbereich 31 des Radarsensors befindet sich ein Objekt 32. Die am Objekt 32 reflektierten Radarwellen erzeugen im Radarsensor Detektionsereignisse, welche der Radarsensor in Form von Zielpunkten P_i ausgibt. Die Gesamtheit der auf diese Weise detektierten Detektionsereignisse liegen in Form einer Punktwolke vor, welche in einer Auswerteeinheit beim Sensor (oder auch extern) ausgewertet werden kann. 4b zeigt eine zweidimensionale Rasterkarte 33 (auch kurz „Grid“ genannt), welche so ausgelegt ist, dass sie den Sichtbereich 31 des Radarsensors kartesisch in Zellen gliedert. Durch die dem Fachmann bekannte Transformation der Ortskoordinaten aus dem Polarkoordinatensystem des Radarsensors in das kartesische Koordinatensystem der Rasterkarte 33 kann jeder Zielpunkt P_i eindeutig einer Zelle der Rasterkarte zugeordnet werden. In 4c sind jene Zellen, in denen jeweils mindestens ein Zielpunkt P_i enthalten ist, schraffiert dargestellt, wogegen jene Zellen, denen keine Zielpunkte P_i zugeordnet werden können, ohne Schraffur dargestellt sind.
In eine derartige Rasterkarte werden sämtliche Sensordaten, hauptsächlich Punkwolken eingetragen. Mittels bekannter Techniken der Sensorfusion können in eine derartige Rasterkarte die Detektionsereignisse und daraus abgeleiteten Informationen mehrerer Umgebungssensoren eingeordnet werden. Dabei kann es sich auch um die Detektionsereignisse von Sensoren unterschiedlicher Sensortypen handeln, beispielsweise Radarsensoren, Lidarsensoren, Ultraschall oder dergleichen. Sind die Sensoren um das Fahrzeug verteilt, kann solch eine Rasterkarte die Umgebung rund um das Fahrzeug abbilden.
Durch Unterscheidung statischer und dynamischer Ziele kann die statische Umgebung des Fahrzeugs 1 erkannt werden. Auf diese Weise, und/oder durch Heranziehen von Informationen über die Eigenbewegung des Fahrzeugs 1 (auch „Ego-Bewegung“ genannt), wie beispielsweise der Fahrzeuggeschwindigkeit und der Fahrzeugposition (siehe GNSS 24 in 1) können die Informationen der Rasterkarte 33 aus den 4a, b, c in eine akkumulierte Rasterkarte eingetragen werden. Das Fahrzeug 1 bewegt sich auf dieser akkumulierten Rasterkarte und die neue Position des Fahrzeugs 1 wird kontinuierlich neu berechnet. Die Sensordaten werden in jedem Messzyklus mit einer kompensierten Fahrzeugposition in die akkumulierte Rasterkarte eingetragen. Mit diesem Ansatz können Sensordaten über die Zeit akkumuliert und statistisch (im Bezug zu einem „globalen“ Koordinatensystem) erfasst und ausgewertet werden.
5 zeigt schematisch ein beispielhaftes Wärmebild 501 einer Person 502, wie es mit einer Wärmebildkamera erhalten wird. Die Extremitäten der Person 501 liegen im Temperaturbereich von 36.0 °C. Der Kopf der Person 501 liegen im Temperaturbereich von 37.0 °C und der Rumpf der Person 501 liegen im Temperaturbereich von 37.5 °C. Eine Wärmebildkamera (auch „Thermografie“-, „Thermal“-, oder „Infrarotkamera“ genannt, oder im militärischen Bereich auch „Forward Looking Infrared“ (FLIR) genannt) ist ein bildgebendes Gerät ähnlich einer herkömmlichen Kamera (RGB) welches jedoch Infrarotstrahlung empfängt. Die Infrarotstrahlung liegt im Wellenlängenbereich von ca. 0,7 µm bis 1000 µm. Wärmebildkameras nutzen allerdings aufgrund der typischen Emissionswellenlängen in der Nähe der Umgebungstemperatur den Spektralbereich von ca. 3,5 bis 15 µm (mittleres und langwelliges Infrarot). Dieser Bereich ist auch für die Messung und bildliche Darstellung von Temperaturen im Umgebungstemperaturbereich geeignet, wenn der Emissionsgrad bekannt ist. Dieser streut allerdings materialabhängig sehr zwischen 0,012 und 0,98 und entsprechend ungenau kann die Temperaturzuordnung ausfallen.
6 zeigt schematisch ein Fahrzeug und den Sichtbereich 601 eines Infrarotsensors (oder Kamerasensor), den Sichtbereich 602 eines Lidarsensors 602 und den Sichtbereich 603 eines Radarsensors. Der Sichtbereich 601 des Infrarotsensor, der Sichtbereich 602 des Lidarsensors und der Sichtbereich 603 des Radarsensors überlappen sich zu weiten Teilen. Der bildgebende Sensor innerhalb der Kamera bzw. der Infrarotkamera stellt visuelle Informationen zur Verfügung (zum Beispiel Farbe oder Temperatur eines Gegenstandes). Mit Hilfe eines Sensors, der eine Punktwolke liefert, wie beispielsweise eines Radar- oder Lidarsensor, ist es möglich die dreidimensionale Gestalt, Position oder Abstände eines Objektes sehr genau zu bestimmen.
7 zeigt schematisch das Erfassen eines 2D-Infrarotpixelbildes (z.B. mit einer Wärmebildkamera) und das Erfassen einer 3D-Punktewolke (zum Beispiel 3D-Sensor, Lidar oder Radar). Innerhalb eines Sichtfeldes 601 der Wärmebildkamera werden zwei Fahrzeuge 2 und 3 erfasst und auf dem 2D-Infrarotpixelbildes 904 abgebildet, wobei Fahrzeug 2 weiter von Fahrzeug 1 entfernt ist als Fahrzeug 3 und deswegen in seinen Abmessungen kleiner abgebildet wird. Auf dem Fahrzeug 1 ist des Weiteren ein Lidarsensor montiert, welcher eine 3D-Punktwolke P1, P2, P3 der Umgebung liefert. Das Sichtfeld des Lidarsensors erfasst die Fahrzeuge 2 und 3 ebenfalls, so dass die vom Lidarsensor gelieferte 3D-Punktewolke P1, P2, P3 solche Punkte P2, P3 umfasst, die den Fahrzeugen 2 und 3 zugeordnet werden können.
Die Informationen des 2D-Infrarotpixelbildes und die Punktwolke des Lidarsensors werden mittels einer Technik der Sehstrahlprojektion miteinander fusioniert, wie dies in 8 unten genauer beschrieben wird. Jeder mit einem Punkt P1, P2, P3 der Punktwolke verknüpfte Sehstrahl 905, 906, 907 der Wärmebildkamera („fusionierter 3D-Strahl“), welcher die Wärmeinformationen enthält, ordnet die Wärmeinformationen im 2D-Infrarotpixelbild 904 den 3D-Informationen der Punktewolke P1, P2, P3 des Lidarsensors zu. Die mit den Wärmeinformationen versehene Punktwolke P1, P2, P3 wird mit den bekannten Mitteln („inverses Sensormodell“ zur Ermittlung der entsprechenden Punkten P_{1_WK}, P_{2_WK} und P_{3_WK}) in eine zweidimensionale akkumulierte Rasterkarte) eingetragen, wie dies in 7 durch die vertikalen gestrichelten Linien angedeutet ist und wie dies in den 4b und 4c genauer beschrieben ist, um daraus eine mit den Wärmeinformationen versehene akkumulierte Rasterkarte 801 (im Folgenden „Wärmekarte“) zu erhalten. Die Wärmeinformationen können in die akkumulierte Rasterkarte 801 als Metainformationen in den Zellen gespeichert werden.
Es ist auch möglich die fusionierten Daten statt in einer zweidimensionalen akkumulierte Rasterkarte 801 in einer 3D Wärmekarte darzustellen ohne die Information der z-Komponente zu verlieren, wobei diese Darstellung allerdings speicherintensiver sein kann. Die Erhebung von 3D-Punktewolken (Lidardaten) und Infrarotdaten als auch deren Fusion und Eintragung der fusionierten Daten in die fusionierte Rasterkarte wird, wie oben unter Bezug auf die 4c beschrieben, während der Fahrt des Fahrzeugs 1 in jedem Zeitschritt wiederholt wobei eine Kompensation der Eigenbewegung des Fahrzeugs 1 miteinbezogen wird (Egokompensation). Dadurch wird eine akkumulierte Wärmebildkarte der Umgebung erstellt. Diese Akkumulation von fusionierten Daten über Zeitschritte hinweg kann auch als statische Rasterkarten-Ansatz bezeichnet werden.
In 8 ist die Erzeugung der fusionierten Wärmeinformationen durch Projektion der 3D-Punktewolke auf das Infrarotpixelbild genauer gezeigt. Die Wärmekarte 801 wird innerhalb eines globalen Koordinatensystems x_global, y_global, z_global (zum Beispiel das WGS84, „World Geodetic System 1984“) vermessen. Unter Kenntnis der Position 902 der Wärmebildkamera im globalen Koordinatensystem, der Ausrichtung z_kamera der Wärmebildkamera im globalen Koordinatensystem und dem aus dem Kameraaufbau bekannten Abstand ||r|| der imaginären Bildebene der Wärmebildkamera vom Bildsensor (Position 902) der Wärmebildkamera werden die Pixelinformationen aus dem lokalen Kamerakoordinatensystem x_kamera, y_kamera, z_kamera (x_kamera, y_kamera: Pixelraum des erfassten 2D-Infrarotpixelbildes, z_kamera: Ausrichtung der Kamera im globalen Koordinatensystem) der Wärmebildkamera in das globale Koordinatensystem projiziert, um das imaginäre 2D-Infrarotpixelbild 904 im globalen Koordinatensystem zu erhalten. Die Sehstrahlen 905, 906 und 907 projizieren die Punkte P₁, P₂ und P₃ der Punktewolke des Lidarsensors auf die imaginäre Bildebene der Wärmebildkamera, auf der sich das imaginäre 2D-Infrarotpixelbild 904 befindet.
Die Sehstrahlen entspringen im Projektionszentrum 902, welches der Position der Wärmebildkamera im globalen Koordinatensystem entspricht. Die Punkte P₁, P₂ und P₃ der Punktwolke des Lidarsensors wurden in einem lokalen Koordinatensystem des Lidarsensors erfasst (nicht in 8 gezeigt) und in das globale Kamerakoordinatensystem 901 transformiert. Das imaginäre Infrarotpixelbild 904 liegt in einer imaginären Bildebene vor dem Projektionszentrum 902. Der Vektor r, der den Abstand der imaginären Bildebene vom Kamerazentrum 902 beschreibt, verläuft vom Ursprung des Kamerakoordinatensystems bzw. dem Projektionszentrum 902, parallel zur z-Achse z_kamera, zum Mittelpunkt des Infrarotpixelbildes 904 in der imaginären Bildebene. Der Länge des r Vektors ist ||r||. Das 2D-Infrarotpixelbild 904 in der imaginären Bildebene hat Seitenlänge a und b und eine Auflösung von Z_a x Z_b Pixel. Diese Parameter sind aus dem Aufbau der Wärmebildkamera bekannt. Die Transformation der Punkte P₁, P₂ und P₃ vom Koordinatensystem des Lidarsensors in das globale Koordinatensystem kann unter Kenntnis der Position und Ausrichtung des Lidarsensors mit den dem Fachmann bekannten Methoden der Koordinatentransformation durchgeführt werden.
Die Projektionspunkte P̃₁, P̃₂ und P̃₃, welche die Projektionen der Punkte P₁, P₂ und P₃ in die imaginäre Bildebene des Infrarotpixelbildes 904 bezeichnen, werden berechnet. Anhand des Punktes P₁ wird dies im Folgenden beschrieben. Der Punkt P₁ hat die Koordinatendarstellung P₁=(p_1,x, p_1,y, p_1,z). Mit Hilfe des Strahlensatzes gelangt man zu den Koordinaten des Projektionspunktes P̃₁, i.e. P̃₁=(llrll*p_1,x/ p_1,z,llrll*p_1,y/ p_1,z,||r||).
Zur vereinfachten Darstellung der Projektion eines Punktes aus dem 3D-Raum auf einen Punkt in der imaginären Bildebene, werden im Folgenden alle Punkte in sogenannten „homogenen Koordinaten“ im Kamerakoordinatensystem der Wärmebildkamera dargestellt. In homogenen Koordinaten hat der Projektionspunkt P̃₁ die Koordinaten P̃₁=(llrll*p_1,x,llrll*p_1,y,llrll*p_1,z, p_1,z) und der Punkt P₁ hat die Koordinaten P₁=( p_1,x, p_1,y, p_1,z,1).
Innerhalb der homogenen Koordinaten erhält man den Projektionspunkt P̃₁ durch die Multiplikation des Punktes P₁ mit einer Projektionsmatrix A, $\underline{{\tilde{P}}_{1}} = [\begin{matrix} | | r | | & * & p1,x \\ | | r | | & * & p1,y \\ | | r | | & * & p1,z \\ p_{1, z} \end{matrix}] = [\begin{matrix} | | r | | & 0 & 0 & 0 \\ 0 & | | r | | & 0 & 0 \\ 0 & 0 & | | r | | & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] * [\begin{matrix} p1,x \\ p1,y \\ p1,z \\ 1 \end{matrix}] = A * \underline{P_{1}}$
$d . h . \underline{{\tilde{P}}_{1}} = A * \underline{P_{1}} .$
Mit, dem Fachmann bekannten, Transformationen kann ein Vektor aus homogenen Koordinaten zurücktransformiert werden in beispielsweise kartesische Koordinaten. Unter Kenntnis der Koordinaten der Projektionspunkte P̃₁, P̃₂ und P̃₃ (bzw. P₁, P̃₂ und P̃₃) wird den Punkten P̃₁, P̃₂ und P̃₃ der Punktwolke des Lidarsensors genau je ein Pixel, und damit eine Wärmeinformation, im Infrarotpixelbild 904 zugeordnet, soweit sich der entsprechende Punkt der Punktwolke im Sichtbereich (601 in 7) der Wärmebildkamera befindet.
Auf Grund der Konstruktion des Kamerakoordinatensystems haben alle Pixel die gleiche z-Komponente und zur Auffindung des entsprechenden Pixels benötigt man nur die x- und y-Komponente der Projektionspunkte. Der Mittelpunkt des Infrarotpixelbildes hat die Koordinaten (0,0, ||r||).
Die Pixel sind einer Array-Struktur („Pixelraster“) durchnummeriert wodurch jeder Pixel durch ein Tupel (N_x,N_y) charakterisiert ist. Das Array beginnt links oben mit dem Pixel (0,0) und enden mit dem letzten Pixel (Z_a,Z_b) rechts unten, wobei das Infrarotpixelbild eine Auflösung von Z_a × Z_b hat. Für den Projektionspunkt P̃₁=(p̃_1,x,p̃_1,y, llrll) berechnet sich die Pixelnummer in x-Richtung N_x beispielsweise durch die Formel $N_{x} = ⌊ ({\tilde{p}}_{1, x} - \frac{b}{2}) * \frac{b}{Z_{b}} ⌋,$
wobei [·] bedeutet, dass auf die nächste ganze Zahl abgerundet wird.
Für den Projektionspunkte P̃₁=(p̃_1,x, p̃_1,y, ||r||) berechnet sich die Pixelnummer in y-Richtung N_y entsprechend durch die Formel $N_{y} = ⌊ ({\tilde{p}}_{1, y} - \frac{a}{2}) * \frac{a}{Z_{a}} ⌋ .$
Sofern das Tupel (N_x,N_y) im erfassten Pixelraum der Wärmebildkamera liegt, d.h. für das Tupel (N_x,N_y) ein Pixel mit Wärmeinformationen vorliegt (und damit der Punkt der Punktewolke im Sichtfeld der Wärmebildkamera liegt), wird dadurch jedem Punkt P₁, P₂ und P₃ der Punktewolke die jeweilige Wärmebildinformation (Pixelwert) des Infrarotpixelbildes zugeordnet, bzw. - äquivalent betrachtet - es wird jeder Wärmebildinformation (Pixelwert) ein Punkt der Punktewolke Punkte P₁, P₂ und P₃ des Lidarsensors im Raum zugeordnet.
Anschließend werden die Koordinaten der mit Wärmeinformationen versehenen Punkte P₁, P₂ und P₃ mit, dem Fachmann bekannten, Methoden der Koordinatentransformation aus dem Kamerakoordinatensystem der Wärmebildkamera in das globale Koordinatensystem 903 (x_global,y_global,z_global) transformiert.
Da im Rahmen dieser Erfindung die Rohdaten des Lidarsensors mit den Rohdaten des Infrarotsensors fusioniert, wird auch von einer Low-Level Sensorfusion gesprochen.
Nachdem die Low-Level Sensorfusion durchgeführt wurde, kann beispielsweise mit der Hilfe von Deep-Learning Algorithmen zur Klassifizierung von Objekten, eine Objekterkennung mit Hilfe der Wärmedaten durchgeführt werden. Die Klassifizierung beruht dabei auf den Pixeldaten der Wärmebildkamera. Es kann mit Hilfe der fusionierten Karte bestimmt werden, wo im Raum sich das klassifizierte Objekt tatsächlich genau befindet was für autonomes oder teilautonomes Fahren sehr hilfreich ist.
Zur Merkmalserkennung bzw. Gegenstandserkennung werden insbesondere Gegenstände herangezogen, welche ein dezidiertes Temperaturprofil aufweisen, zum Beispiel Tiere/Personen, parkende Fahrzeuge, Fahrbahnen oder Schnee.
Beim Erstellen der Rasterkarten wie in 4a-c beschrieben werden die Ungenauigkeiten des Lidarsensors als auch des Infrarotsensors berücksichtigt und durch statische Verfahren minimiert. Beispielsweise sind die Lidardaten mit Ungenauigkeiten behaftet, das heißt es bleibt eine statische Unsicherheit ob sich eine Detektion genau an dem detektieren Ort befindet oder an einem abweichenden Ort in der Nähe. Hier kann von einer Aufenthaltswahrscheinlichkeit, sowohl in radialer Richtung als auch in azimutaler Richtung um die gemessene Detektion herum, ausgegangen werden welche durch eine Standardnormalverteilung beschrieben ist. Dieser statischen Unsicherheit wird durch Anwendung des, dem Fachmann bekannten, Inversen Sensor Modells Rechnung getragen und minimiert. Die Infrarotkamera (oder RGB-Kamera) hat beispielsweise nur eine geringe Auflösung zum Beispiel 640*480 Pixel. Dadurch entstehen Unschärfe und Unsicherheit insbesondere bei weiter entfernten Objekten. Diese Unschärfe und Unsicherheit kann durch statisches, dem Fachmann bekannte, Verfahren Rechnung getragen werden. Unter Berücksichtigung Ungenauigkeit der Sensoren wird die Rasterkarte erstellt in welche dann wie oben beschrieben die fusionierten Daten eingetragen werden.
9 zeigt ein Flussdiagramm eines Prozesses der Sensorfusion von Infrarot-/Kameradaten mit 3D-Daten (z.B. Lidar oder Radar). Bei Schritt 701 wird ein 2D-Infrarotpixelbild der Umgebung im lokalen Kamerakoordinatensystem der Wärmebildkamera erfasst. Bei Schritt 702 wird ein imaginäres Infrarotpixelbild auf der imaginären Bildebene im globalen Koordinatensystem auf Grundlage des 2D-Infrarotpixelbildes und Parametern (Position, Ausrichtung, Auflösung, etc) der Wärmebildkamera erzeugt.
Bei Schritt 703 wird eine 3D-Punktwolke mit einem 3D Sensor im Koordinatensystem des 3D-Sensors erfasst. Bei Schritt 704 wird die 3D-Punktwolke auf Grundlage von Parametern (Position, Ausrichtung, etc) des 3D-Sensors in das globale Kamerakoordinatensystem transformiert. Bei Schritt 705 wird die 3D-Punktwolke auf die imaginäre Bildebene projiziert, um projizierte Punkte zu erhalten. Bei Schritt 706, wird jedem Punkt der projizierten Punktewolke einen Pixelwert zugeordnet, um fusionierte Wärmeinformationen zu erhalten. Bei Schritt 707 werden die fusionierten Wärmeinformationen unter Kompensation der Eigenbewegung in eine akkumulierte Rasterkarte eingetragen. Bei Schritt 708 wird eine Merkmalserkennung mit Hilfe der akkumulierte Rasterkarte mit Wärmeinformationen (Wärmekarte) durchgeführt. Die Schritte 705 bis 708 werden in jedem Zeitschritt wiederholt, um die Daten der akkumulierten Rasterkarte zu akkumulieren.
10 zeigt ein Kamerabild (RGB Kamera) aus einem Fahrzeug heraus. Das Bild zeigt eine Straße auf der ein Fahrradfahrer ein parkendes Auto passiert.
11 zeigt das Resultat eines Machine-Learning Mustererkennungsalgorithmus, angewandt auf das Bild aus 10. Gegenstände welche der Machine-Learning Mustererkennungsalgorithmus als der derselben Kategorie zugehörig einstuft, werden mit derselben Farbe markiert. Zum Beispiel sind alle Bäume oder die Straße mit jeweils einer Farbe eingefärbt.
12 zeigt ein Lidarbild der gleichen Szene wie das Bild aus 10 aufgenommen mit einem Lidarsensor. Am unteren Bildrand ist die Front des Fahrzeugs zu sehen aus welchem heraus das Lidarbild aufgezeichnet wurde.
13 zeigt das Lidarbild aus 12 fusioniert mit dem Kamerabild aus 10. Auf das fusioniert Bild ist ein Machine-Learning Mustererkennungsalgorithmus, wie zum Beispiel in 11 beschrieben, angewandt. Dabei kann sind jeweils Gegenstände derselben Kategorie (zum Beispiel Straßen oder Bäume) vom Machine-Learning Mustererkennungsalgorithmus erkannt und mit derselben Farbe eingefärbt. Da die vom Machine-Learning Mustererkennungsalgorithmus erkannten Gegenstände nun im fusionierten Lidarbild auch mit exakten räumlichen Positionen verknüpft sind, kann diese Information zum Beispiel zum autonomen oder teilautonomen Fahren herangezogen werden.
Ferner wurde in den Ausführungsformen die Umfeldwahrnehmung auf Grundlage einer Projektion auf eine 2D-Belegungskarte mit (Radialinformationen und Azimutal-Informationen) vorgenommen. Die Erfindung kann gleichermaßen aber auch auf anderen Kartentypen basieren, beispielsweise 3D-Rasterkarten, in denen zusätzlich noch beispielsweise eine Elevationsinformation erfasst wird.
Ferner wurde in den Ausführungsformen als bildgebendes Verfahren vor allem Infrarotkamera oder RBG-Kamera beschrieben. Weitere mögliche Informationen welche durch das bildgebende Verfahren als Pixelinformation gewonnen werden können, sind zum Beispiel der Optical Flow.
Ferner wurde in den Ausführungsformen Punktwolke auf Grund von 3D Sensoren in der Regel mit Lidar- oder Radarsensoren beschrieben. Die Erfindung kann gleichermaßen auch mit Punktwolken welchen von Ultraschallsensor erzeugt wurden ausgeführt werden.
Des Weiteren, können für jeden Sensortyp ein oder mehrere Sensoreinheiten im Sensorsystem vorgesehen werden (Multisensor und Single-Sensor-Systeme). Die Daten welche innerhalb eines Multisensorsystems, zum Beispiel rund um das Fahrzeug herum, erhoben werden, können innerhalb einer akkumulierte Rasterkarte (siehe auch 4a-c) verarbeitet werden.
Ferner wurde in den Ausführungsformen als mögliche Merkmale welche von der Merkmalserkennung erkannt werden Tiere/Personen, parkende Fahrzeuge, Fahrbahnen oder Schnee genannt. Die Erfindung kann gleichermaßen auf der Erkennung anderer Merkmale und Anwendungsgebiet angewandt werden zum Beispiel im Gebiet der Landwirtschaft innerhalb der Feldbearbeitung oder auf die Erkennung von Traktoren oder Lastkraftwagen.
Bezugszeichenliste

1,2,3: Kraftfahrzeug
12: ECU 1 Bremssystem
14: ECU 2 Antriebsstrang
16: ECU 3 Lenksystem
18: ECU 5 autonomes Fahren
24: GNSS
26: Sensor
28: HMI
31: den Sichtbereich des Radarsensors
Pi: Zielpunkt/ Detektion
32: Objekt
33: Rasterkarte
34: als belegt markiertes Feld in der Rasterkarte
35: als nicht belegt markiertes Feld in der Rasterkarte
40: ECU 4 Sensorverarbeitung
41: CPU
42: RAM
43: ROM
44: Speichereinheit
45: CAN-IF
46: internes Kommunikationsnetzwerk
47: Integrierter Schaltkreiss
501: Infrarotpixelbild/ Wärmebild
502: Person
601: Sichtbereich eines Kamerasensors
602: Sichtbereich eines Lidarsensors
603: Sichtbereich eines Radarsensors
801: fusionierte 2D Rasterkarte

Claims

Sensorfusionseinheit, umfassend einen Prozessor, der dazu ausgelegt ist, Pixeldaten (904) einer Wärmebildkamera mit Sensordaten (P₁, P₂, P̃₃) eines 3D-Sensors zu fusionieren, um fusionierte Wärmeinformationen zu erhalten.
Sensorfusionseinheit nach Anspruch 1, wobei die Daten des 3D-Sensors als Punktwolke (P₁, P₂, P₃) erfasst werden.
Sensorfusionseinheit nach Anspruch 2, wobei der Prozessor dazu ausgelegt ist, die Punkte der Punktwolke (P₁, P₂, P₃) auf eine imaginäre Bildebene der Wärmebildkamera zu projizieren, um projizierte Punkte (P̃₁, P̃₂ und P̃₃) zu erhalten.
Sensorfusionseinheit nach Anspruch 3, wobei der Prozessor dazu ausgelegt, für einen Punkt der Punktwolke (P₁, P₂, P₃) einen Sehstrahl (905, 906, 907) der Wärmebildkamera mit der imaginären Bildebene zu schneiden, um die projizierten Punkte (P̃₁, P̃₂ und P̃₃) zu erhalten.
Sensorfusionseinheit nach Anspruch 4, wobei der Prozessor dazu ausgelegt ist, einem jeweiligen Punkt der projizierten Punkte (P̃₁, P̃₂ und P̃₃) ein entsprechendes Pixel der Pixeldaten (904) zuzuordnen, um die fusionierte Wärmeinformationen zu erzeugen.
Sensorfusionseinheit nach einem der Ansprüche 2 bis 5, wobei der Prozessor dazu ausgelegt ist, die Punkte der Punktwolke (P₁, P₂, P₃) auf eine akkumulierte Rasterkarte (801, 33) abzubilden.
Sensorfusionseinheit nach Anspruch 6, wobei der Prozessor dazu ausgelegt, das Fusionieren der Pixeldaten der Wärmebildkamera mit den Sensordaten des 3D-Sensors in mehreren Zeitschritten durchzuführen, und die jeweils erhaltenen fusionierten Wärmeinformationen unter Kompensation einer Eigenbewegung des 3D-Sensors in die akkumulierte Rasterkarte (801, 33) einzutragen.
Sensorfusionseinheit nach einem der vorangehenden Ansprüche, wobei der 3D-Sensor ein Lidarsensor, ein Radarsensor oder ein Ultraschallsensor ist.
Sensorfusionseinheit nach einem der vorangehenden Ansprüche, wobei der Prozessor dazu ausgelegt ist, eine Merkmalserkennung anhand der fusionierten Wärmeinformationen durchzuführen.
Verfahren, bei dem Pixeldaten (904) einer Wärmebildkamera mit Sensordaten (P₁, P₂, P₃) eines 3D-Sensors fusioniert werden, um fusionierte Wärmeinformationen zu erhalten.