DE102018220024B3 - Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren - Google Patents

Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren Download PDF

Info

Publication number
DE102018220024B3
DE102018220024B3 DE102018220024.6A DE102018220024A DE102018220024B3 DE 102018220024 B3 DE102018220024 B3 DE 102018220024B3 DE 102018220024 A DE102018220024 A DE 102018220024A DE 102018220024 B3 DE102018220024 B3 DE 102018220024B3
Authority
DE
Germany
Prior art keywords
sensor data
sensor
sensors
data
hypothesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018220024.6A
Other languages
English (en)
Inventor
Patrick Glässer
René Waldmann
Ionut Damian
Daniel Brüsehof
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102018220024.6A priority Critical patent/DE102018220024B3/de
Application granted granted Critical
Publication of DE102018220024B3 publication Critical patent/DE102018220024B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Fusion von Sensordaten von mehreren Sensoren betreffend mehrere Zeitpunkte. Zunächst wird eine erste Objekthypothese (OH1) separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten ermittelt. Dabei beziehen die jeweiligen Sensordaten sich jeweils auf einen einzigen Sensor sowie auf einen von mehreren ersten Zeitpunkten. In einem weiteren Schritt wird eine zweite Objekthypothese (OH2) für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten und von historischen Sensordaten des jeweiligen Sensors oder mehrerer Sensoren betreffend einen Zeitpunkt vor dem ersten Zeitpunkt ermittelt. Dabei werden die historischen Sensordaten (14) auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert. In einem weiteren Schritt werden die erste Objekthypothese (OH1) mit der zweiten Objekthypothese (OH2) fusioniert (38). Basierend auf einem Ergebnis des Fusionierens (38) wird ein Korrektursignal (22) zum Korrigieren (40) weiterer Objekthypothesen und/oder weiterer Sensordaten erzeugt.

Description

  • Gegenwärtig besitzen moderne Fahrzeuge bereits heute eine Vielzahl von Sensoren für verschiedene Level-2-Assistenzsysteme. Für Level-3+ Systeme wird die Anzahl der benötigten Sensoren vermutlich weiter steigen. Meistens wird ein Grad des autonomen Fahrens anhand mehrerer Stufen beziehungsweise Levels klassifiziert. Level 0 bedeutet beispielsweise, dass ein Fahrer sämtliche Tätigkeiten beim Manövrieren des Kraftfahrzeugs selber ausführt. Level 5 hingegen stellt eine Vollautomatisierung beziehungsweise ein vollständiges autonomes Fahren dar. Bei Level 5 wäre kein Fahrer mehr erforderlich. Ein Fahrer wäre höchstens für das Festlegen des Ziels und zum Starten des Systems an sich erforderlich. Level 3+ stellt eine weitere Entwicklung im Vergleich zu Level-2-Systemen dar. Dabei wird es aus Sicherheitsgründen redundante Sichtbereiche beziehungsweise Sensoren geben, welche von den mehreren Sensoren mit unterschiedlichen Messprinzipien abgedeckt werden.
  • Dabei spielen Kamerasensoren, Radar- und Laserscanner eine wichtige Rolle. Insbesondere ist davon auszugehen, dass in kritischen Bereichen mindestens ein Kamerasensor und ein 3D-Sensor wie zum Beispiel ein Laserscanner oder Radarsensor mit Elevationsmessung vorhanden sind.
  • Die Offenlegungsschrift DE 10 2009 006 113 A1 beschreibt eine Vorrichtung und ein Verfahren zur Sensorfusion mit dynamischen Objekten. Es wird ein Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs mit mindestens einer ersten Sensoreinrichtung und mindestens einer zweiten Sensoreinrichtung sowie eine Auswerteeinrichtung vorgeschlagen. Die Sensoreinrichtungen stellen Informationen über in einem Umfeld des Fahrzeugs erkannte Objekte in Form von Sensorobjekten bereit. Die Sensorobjekte umfassen als Attribut mindestens eine Existenzwahrscheinlichkeit des repräsentierten Objekts. Die Sensorobjekte, welche von der mindestens einen Sensoreinrichtung und von der mindestens einen zweiten Sensoreinrichtung erkannt sind, werden einer Objektfusion unterzogen, wobei Fusionsobjekte erzeugt werden.
  • Die Offenlegungsschrift DE 10 2015 107 392 A1 beschreibt ein Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten. Bei diesem Verfahren wird ein Objekt in einer Umgebung eines Kraftfahrzeugs erfasst. Während eines aktuellen Detektionszyklus werden durch eine Steuereinrichtung Sensordaten von wenigstens zwei Sensoren eines Fahrerassistenzsystems empfangen. Diese Sensordaten beschreiben das Objekt. Die jeweiligen empfangenen Sensordaten werden mit Hilfe der Steuereinrichtung fusioniert und anhand der fusionierten Sensordaten wird das Objekt in der Umgebung erfasst.
  • Die Offenlegungsschrift DE 10 2017 126 877 A1 beschreibt eine automatisierte Copilot-Steuerung für autonome Fahrzeuge. Ein Steuersystem für ein autonomes Fahrzeug enthält mindestens eine Steuerung. Die Steuerung ist so programmiert, dass erste Sensorwerte von einer ersten Gruppe von Sensoren empfangen werden, eine erste Sensor-Fusionsausgabe basierend auf den ersten Sensorwerten bereitzustellen, wobei die erste Sensor-Fusionsausgabe einen ersten erfassten Zustand eines detektierten Objekts erhält. Die Steuerung ist des Weiteren derart programmiert, dass zweite Sensorwerte von einer zweiten Gruppe von Sensoren empfangen werden und eine zweite Sensor-Fusionsausgabe basierend auf den zweiten Sensorwerten bereitgestellt wird. Dabei enthält die zweite Sensor-Fusionsausgabe einen zweiten erfassten Zustand des detektierten Objekts.
  • Es ist Aufgabe der Erfindung, die Fusion unterschiedlicher Sensordaten zu verbessern. Insbesondere soll eine schnellere beziehungsweise zuverlässigere Sensordatenfusion beziehungsweise Datenauswertung ermöglicht werden.
  • Die Aufgabe wird mithilfe der unabhängigen Patentansprüche dieser Anmeldung gelöst. Sinnvolle Weiterbildungen sowie alternative Ausgestaltungen ergeben sich aus den Unteransprüchen, der Beschreibung und der Figuren.
  • Klassische Fahrassistenzsysteme weisen häufig ein sogenanntes Objekttracking auf. Dabei werden Objekthypothesen aufgesetzt, welche durch neue Sensormessungen bestätigt und aktualisiert werden. Eine Objekthypothese kann als eine Hypothese betreffend das Objekt bedeuten. Diese Hypothese beziehungsweise Objekthypothese kann als eine Aussage betreffend einen Zustand des Objekts verstanden werden. Der Zustand kann eine räumliche Position, Ausrichtung und/oder dynamischen Parameter des Objekts umfassen. Als dynamischer Parameter kommt beispielsweise eine Geschwindigkeit sowie ein Geschwindigkeitsvektor in Betracht. Das Objekt kann insbesondere ein Gegenstand in einer Umgebung des Fahrassistenzsystems beziehungsweise ein Kraftfahrzeug sein. Die Umgebung kann einen vorgegebenen Abstand zum Kraftfahrzeug bedeuten. Die Hypothese ist in der Regel eine in Form einer logischen Aussage formulierte Annahme. Diese Annahme wird meistens für möglich beziehungsweise sogar sehr wahrscheinlich gehalten. Jedoch ist bei einer Hypothese diese Annahme noch nicht vollständig bewiesen beziehungsweise verifiziert. Die Objekthypothese ist insbesondere anhand der Messungen beziehungsweise Sensordaten überprüfbar. Damit kann die Objekthypothese entweder bewiesen oder widerlegt werden. Beispielsweise kann eine erste Messung einer Umgebung des Kraftfahrzeugs mithilfe eines Laserscanners einen ersten vagen Umriss eines Baums ergeben. Die Annahme, dass dieser erste Umriss einen Baum darstellen könnte, wäre die Objekthypothese. Infolge weiterer Messungen durch den Laserscanner oder mithilfe weiterer anderer Sensoren kann diese Objekthypothese bestätigt beziehungsweise verifiziert oder widerlegt werden. So kann beispielsweise eine weitere Messung zusätzliche Daten liefern, welche die Objekthypothese stützen. Die zusätzlichen Daten würden sich in diesem Fall in das Bild beziehungsweise die Annahme des Baums als Objekthypothese einfügen. Wäre in diesem Fall als Objekthypothese ein Wildtier angenommen worden, so würde in diesem Fall die Objekthypothese rasch widerlegt werden.
  • Häufig wird ein sogenannter „Prädiktor-Korrektor-Filter“ benutzt wie zum Beispiel ein Kalman-Filter. Wenn zum Beispiel neue Sensordaten vorhanden sind beziehungsweise eine neue Messung durchgeführt wird, können alle Objekte auf den Messzeitpunkt der neuen Messung mithilfe eines Dynamikmodells prädiziert werden. Prädizieren hat dabei insbesondere die Bedeutung von Prognostizieren beziehungsweise Vorhersagen. Anschließend wird meistens versucht, die Messung zu einem existierenden Objekt zuzuordnen. Das Objekt kann grundsätzlich jeder Gegenstand in der Umgebung des jeweiligen Sensors sein. Dabei wird der Begriff „Umgebung des Kraftfahrzeug“ meistens mit einem Schwellenwert oder Grenzwert verknüpft. Dieser Grenzwert kann zum Beispiel 100 Meter sein. Objekte, deren Entfernung zum Kraftfahrzeug größer als der Grenzwert ist, würden demnach nicht zur Umgebung des Kraftfahrzeugs zählen. Ist der Sensor im Kraftfahrzeug verbaut, so sind insbesondere alle das Kraftfahrzeug umgebenden Objekte oder Gegenstände angesprochen. Somit können Verkehrszeichen, Verkehrsschilder, Fahrbahnmarkierungen, Bordsteinkanten, andere Fahrzeuge, Fußgänger sowie weitere Objekte jeweils als eigenständiges Objekt auftreten. Insbesondere wird häufig basierend auf jeder einzelnen Messung eine neue Objekthypothese erstellt. Eine zeitliche Abfolge mehrerer Objekthypothesen zu einem Objekt nennt man häufig auch Objekttrack. Ein Objekttrack kann somit mehrere Objekthypothesen beinhalten, wobei diese Objekthypothesen sich auf unterschiedliche Zeitpunkte beziehen. Falls eine neue Messung einem existierenden Objekt zugeordnet werden kann, wird in der Regel der neue Track aktualisiert. Falls dies scheitert, wird meistens eine neue Objekthypothese beziehungsweise ein neuer Track aufgesetzt.
  • Anmelderseitig sind derzeit unterschiedliche Ansätze bekannt, wie dieses Problem minimiert werden kann. Vielen Konzepten ist der sogenannte Superpositionssensor gemein. Anmelderseitig ist bekannt, dass zur Sensordatenfusion eine frühzeitige Fusion von Bild- und Tiefeninformationen mithilfe eines Superpositionssensors möglich ist. Dieser Superpositionssensor kann als ein virtueller Sensor betrachtet werden. Er ist nicht gegenständlicher Natur, sondern vereint Sensordaten unterschiedlicher Sensoren. Mithilfe von Deep-Convolutional-Neuronal-Networks (DNNs) können die Pixel der Kamerabilder semantisch segmentiert werden und ein optischer Fluss gebildet werden. Damit kann das Problem der asynchronen Datenströme umgangen werden, indem durch Prädiktion und Interpolation des Kamerabilds unterschiedliche Datenströme auf eine frühere Messpunktebene synchronisiert werden. Der Superpositionssensor kann mithilfe dieser Erfindung weiterentwickelt werden. Dies wird kann insbesondere dadurch ermöglicht werden, indem der Superpositionssensor als weitere Datenquelle der Sensordatenfusion hinzugefügt wird.
  • Bei bisherigen Methoden zur Sensordatenfusion kann ein dynamischer Zustand nicht immer gut geschätzt werden. Je nach Messung und Trackzustand ist ein kartesischer Geschwindigkeitsvektor häufig unbekannt. Eine Beschleunigung kann beispielsweise nur durch eine längere Beobachtung geschätzt werden. Dies kann zu großen Fehlern im Prädiktionsschritt führen. In diesem Fall kann eine zu geringe Datenbasis vorliegen. Stochastische Ausreißer können bei einer zu geringen Datenbasis unrealistische Ergebnisse produzieren.
  • Diese zu geringe Datenbasis kann den Prädiktionsfehler sogar verstärken, wenn sich das Objekt entgegen dem dazu zugrundeliegenden Dynamikmodell verhält. Wird beispielsweise ein Kraftfahrzeug abrupt abgebremst, so ändern sich die Relativabstände zu den anderen Objekten beziehungsweise deren Relativgeschwindigkeiten im Vergleich zum Kraftfahrzeug sehr rasch in kurzer Zeit. Dies bedeutet insbesondere, dass eine völlig neue Situation eintreten kann, welche nicht dem bisherigen Dynamikmodell entspricht. Eine auf diesem Dynamikmodell basierende Prädiktion kann somit stark mit Fehlern behaftet sein.
  • Zwischen unterschiedlichen Sensoren gibt es häufig systematische Messfehler. Ein Laserscanner zum Beispiel nimmt besonders gut stark reflektierende Oberflächen wahr. Somit kann er beispielsweise Nummernschilder und Reflektoren sehr gut erkennen, während hingegen schwarz lackierte Autos für den Laserscanner tendenziell schwer erkennbar sind. Radarsensoren nehmen metallische Objekte mit einem großen Radarquerschnitt relativ gut wahr. Dies ist beispielsweise bei einem Differenzial eines Lastkraftwagens oder bei geknickten Blechen der Fall. Hierbei werden von einem Objekt unterschiedliche Punkte gemessen, welche gegebenenfalls weit voneinander entfernt liegen, jedoch zu dem gleichen Objekt gehören.
  • Die Trennschärfe von einigen Sensoren insbesondere bei Radarsensoren ist zum Teil nicht gut genug, sodass hier das Mehrdeutigkeitsproblem weiter verschärft werden kann.
  • Diese inkorrekte Behandlung von Mehrdeutigkeiten kann zu sogenannten Fehlassoziationen beziehungsweise fehlerhaften Auswertungen führen. Dies bedeutet, dass Objekttracks mit falschen Messdaten assoziiert und aktualisiert werden können. Dies kann sehr unangenehme Folgen haben. Beispielsweise können in den entsprechenden Dynamikmodellen statische Randbebauungen schlagartig dynamisch werden. Sie können beispielsweise eine Quergeschwindigkeit erhalten und scheinen in dem Bereich eines Fahrschlauchs des Kraftfahrzeugs zu wandern. Ein Pilotsystem würde in diesem Fall zum Beispiel schlagartig ein Objekt erkennen, welches ein Hindernis für das Kraftfahrzeug darstellt. In diesem Fall könnte das Pilotsystem eine Notfallbremsung einleiten. Dies bedeutet, dass in einer solchen Situation eine Notbremsung auf ein „Geisterobjekt“ erfolgt. Ein Geisterobjekt ist insbesondere ein Objekt, welches physikalisch nicht vorhanden ist, jedoch aufgrund fehlerhafter Messdaten oder einer fehlerhaften Auswertung von dem Pilotsystem angenommen wird. Des Weiteren kann eine Randbebauung wie zum Beispiel ein absenkbarer Sperrpfosten zu einem dynamisch nahen Objekt zugeordnet werden. In diesem Fehlerszenario würde der absenkbare Sperrpfosten nicht als statisches Objekt, sondern als ein dynamisches Objekt eingestuft werden. Damit können fehlerhafte Messdaten beziehungsweise eine fehlerhafte Auswertung dazu führen, dass der absenkbare Sperrpfosten rechtzeitig als Hindernis erkannt wird. Somit ist eine Kollision mit dem absenkbaren Sperrpfosten nicht mehr ausgeschlossen.
  • Die Erfindung sieht ein Verfahren zur Fusion von Sensordaten von mehreren Sensoren betreffend mehrere Zeitpunkte durch Ausführen folgender Verfahrensschritte vor. Zum Ausführen des Verfahrens kann insbesondere ein neuronales Netz zum Einsatz kommen. Insbesondere kann das neuronale Netz einzelne Verfahrensschritte oder alle Verfahrensschritte ausführen. In einem Schritt a) wird eine erste Objekthypothese separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten ermittelt. Die Sensordaten in Schritt a) können bevorzugt Rohdaten sein. Rohdaten sind insbesondere unverarbeitete Sensordaten. Jeder einzelne Sensor kann separat Rohdaten bereitstellen oder erzeugen. Dabei beziehen sich die jeweiligen Sensordaten jeweils auf einen einzigen Sensor sowie auf jeweils einen von mehreren ersten Zeitpunkten. Die ersten Zeitpunkte können als momentane oder gegenwärtige Zeitpunkte aufgefasst werden. Die erste Objekthypothese bedeutet insbesondere eine erste Hypothese betreffend ein Objekt. Dabei können insbesondere aus Messdaten, Sensordaten beziehungsweise einem Datensatz Aussagen oder Annahmen zu umgebenden Objekten erstellt werden. In vielen Fällen kommen unterschiedliche Sensoren zum Einsatz. Diese können insbesondere eine unterschiedliche Messfrequenz aufweisen. Für die Generierung der Objekthypothese können unterschiedliche Arten von Sensordaten verarbeitet werden, beispielsweise Punktwolken, Pixel, Stixel, Merkmale oder Signale.
  • Die erste Objekthypothese kann separat für jeden einzelnen Sensor ermittelt werden. Dies bedeutet insbesondere, dass die Daten der jeweiligen Sensoren zum Ermitteln der ersten Objekthypothese bevorzugt separat ausgelesen und/oder verarbeitet werden können. Beispielsweise werden aus den Daten einer Kamera eine „Kamera-Hypothese“ und aus den Daten des Radarsensors eine „Radar-Hypothese“ ermittelt. Diese beiden beispielhaft genannten Objekthypothesen wären zwei erste Objekthypothesen. Insbesondere wird ein aktueller Datensatz beziehungsweise eine aktuelle Messung einem Zeitpunkt zugeordnet. Derjenige Zeitpunkt, der Messdaten für die erste Objekthypothese liefert, wird als erster Zeitpunkt bezeichnet. Da die erste Objekthypothese in der Regel die aktuellste Messung beinhaltet, kann der erste Zeitpunkt auch als aktueller, momentaner oder gegenwärtiger Zeitpunkt bezeichnet werden.
  • In einem Schritt b) wird eine zweite Objekthypothese für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten und von historischen Sensordaten zumindest des einzelnen jeweiligen Sensor oder mehrerer Sensoren betreffend einen Zeitraum vor dem ersten Zeitpunkt ermittelt. Die jeweiligen Sensordaten können Rohdaten sein. Die historischen Sensordaten können Sensordaten von mehreren Sensoren, bevorzugt auch von unterschiedlichen Sensoren beinhalten. Die historischen Sensordaten können bereits vorverarbeitet sein. Die historischen Sensordaten können in einer Umfelddatenbank hinterlegt sein, auf welche das neuronale Netz zugreifen kann. Somit wird insbesondere in dieser Anmeldung von den jeweiligen Sensordaten und den historischen Sensordaten unterschieden. Dabei werden die historischen Sensordaten auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert. Die historischen Sensordaten können bevorzugt aus Objekttracks generiert werden oder von den Objekttracks stammen beziehungsweise abgeleitet werden. Ein Objekttrack wird insbesondere als Objekthypothese bezeichnet, welche über mehrere Zeitschritte oder Zeitpunkte beobachtet wird. Somit beinhaltet der Objekttrack vorzugsweise mehrere Objekthypothesen zu mehreren Zeitpunkten. Dabei beziehen sich die jeweiligen Objekthypothesen bevorzugt auf dasselbe Objekt. Damit kann eine Kombination aus erster und zweiter Objekthypothese als Objekttrack aufgefasst werden. Der Objekttrack basiert demnach insbesondere auf Sensordaten zu verschiedenen Zeitpunkten zu demselben Objekt. Die Sensordaten können dabei von einem einzigen Sensor oder verschiedenen Sensoren stammen.
  • Es ist möglich, dass die zweite Objekthypothese sinngemäß wie die erste Objekthypothese ermittelt werden kann. Somit kann die Auswertung der historischen Sensordaten beziehungsweise das dazugehörige Ermitteln der zweiten Objekthypothese separat für jeden einzelnen Sensor erfolgen. Dies kann bedeuten, dass zum Ermitteln der zweiten Objekthypothese ausschließlich historische Sensordaten desjenigen einzelnen Sensors verwendet werden, welche zum Ermitteln der ersten Objekthypothese eingesetzt wurden. In diesem Fall würden die erste Objekthypothese und zweite Objekthypothese auf Sensordaten desselben Sensors beruhen. Insbesondere können die historischen Sensordaten hinsichtlich des Sensortyps aufgeteilt sein. Dies kann insbesondere bedeuten, dass beispielsweise vergangene Kameradaten ausschließlich mit aktuellen Kameradaten verknüpft werden. Somit können die historischen Sensordaten hinsichtlich des Sensortyps unterteilt werden und die historischen Sensordaten können in Abhängigkeit von dem Sensortyp den jeweiligen Sensordaten zugeordnet werden. Es ist denkbar, auch alle verfügbaren historischen Sensordaten für Schritt b) zu nutzen.
  • Alternativ kann es vorgesehen sein, dass historische Sensordaten unterschiedlicher Sensoren für das Ermitteln der zweiten Objekthypothese herangezogen werden. In diesem Fall könnten beispielsweise Sensordaten von der Kamera mit Sensordaten des Radarsensors kombiniert werden. Dies kann als eine Art „Prefusion“ oder „Vor-Fusion“ aufgefasst werden, bei der Sensordaten unterschiedlicher Sensoren oder Sensortypen verschmolzen oder vereinigt werden. Ein Beispiel dazu wäre ein Zusammenfügen zweier Datensätze, welche von unterschiedlichen Sensoren generiert werden. Beispielsweise kann ein Lidar-Sensor einen ersten Datensatz erzeugen und ein Radarsensor einen zweiten Datensatz. Der Radarsensor zum Beispiel ist für eine Detektion von metallischen Oberflächen besser geeignet als der Lidar-Sensor. Andererseits ist der Lidar-Sensor oft besser geeignet, andere Objekte, wie zum Beispiel einen Baum oder Busch zu erkennen. Somit können diese beiden Sensoren unterschiedliche Datensätze generieren, welche jeweils ihren eignen Schwerpunkt bezüglich der Erfassung von Objekten beziehungsweise sensorspezifischen Vorteil haben können. Mithilfe der Sensorfusion dieser Anmeldung kann aus diesen beiden Datensätzen ein neuer dritter Datensatz erzeugt werden, der einen umfassenderen Datensatz, den dritten Datensatz, der Umgebung liefern kann. In diesem dritten Datensatz wären sowohl die Leitplanke als auch der Baum enthalten. Die jeweiligen Datensätze können beispielsweise als Punktwolken angenommen werden.
  • Da unterschiedliche Sensoren oft nicht synchron messen, fallen die Messzeitpunkte des Lidar-Sensors mit den Messzeitpunkten des Radarsensors auseinander. Deshalb können zum aktuellen Zeitpunkt die Messdaten eines dieser beiden Sensoren auf den Messzeitpunkt des anderen Sensors prädiziert werden. Damit können die beiden Datensätze sinnvoll miteinander fusioniert beziehungsweise verschmolzen werden. Man kann sagen, dass die „historischen“ Zeitpunkte des jeweiligen Sensors (Radarsensor oder Lidar-Sensor) der historischen Sensordaten auf die ersten Zeitpunkte prädiziert werden. Dies kann zum Beispiel mithilfe einer Prognosekurve erfolgen, die auf den historischen Sensordaten basiert und in die Zukunft zum ersten Zeitpunkt berechnet beziehungsweise geschätzt oder ermittelt wird. Bei einer Ermittlung der zweiten Objekthypothese werden die dazugehörigen Daten auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert. Somit können die historischen Sensordaten auf den jeweiligen Zeitpunkt des dazugehörigen Sensors prädiziert werden.
  • In einem Schritt c) wird die erste Objekthypothese mit der zweiten Objekthypothese fusioniert. Anders ausgedrückt können beide Objekthypothesen fusioniert werden. Dazu können im Vorfeld als Zwischenschritt die den Objekthypothesen jeweils zugrundeliegenden Sensordaten miteinander assoziiert werden. Mit assoziieren ist insbesondere ein Erstellen oder Finden einer Korrelation zwischen den Datensätzen gemeint. Insbesondere kann ermittelt werden, welche Datensätze fusioniert werden sollen. Dabei ist vor allem ein „sinnvolles“ Fusionieren gemeint. Es sollen Sensordaten beziehungsweise Datensätze miteinander fusioniert werden, welche sich eignen vorhandene Sensordaten derart zu ergänzen, sodass das Objekt schneller oder zuverlässiger klassifiziert werden kann. Diese Korrelation kann zum Beispiel das neuronale Netz erkennen oder ermitteln. Somit kann das Fusionieren das Assoziieren beinhalten. Darüber hinaus kann Fusionieren nicht nur ein Aneinanderreihen oder Verschmelzen von Sensordaten bedeuten, sondern zusätzlich auch eine weitere Verarbeitung der neuen fusionierten Sensordaten umfassen. Dies bedeutet insbesondere, dass die erste Objekthypothese mit der zweiten Objekthypothese fusioniert wird.
  • Fusionieren kann in diesem Zusammenhang ein Vereinigen, Verknüpfen, Zusammenführen, Verbinden oder Verschmelzen der Sensordaten bezüglich der jeweiligen Objekthypothesen bedeuten. Ebenfalls kann mit Fusionieren ein logisches Verknüpfen von Sensordaten oder Objekthypothesen gemeint sein. Dabei kann das neuronale Netz logische Zusammenhänge erkennen und die Sensordaten entsprechend miteinander fusionieren. Somit kann Fusionieren sinngemäß ähnliches bedeuten wie das Berücksichtigen unterschiedlicher historischer Sensordaten zum Ermitteln der zweiten Objekthypothese. Sensordaten von unterschiedlichen Zeitpunkten und/oder Sensordaten unterschiedlicher Sensoren können zusammengefügt, vereinigt oder verschmolzen werden. Daraus kann ein neuer „fusionierter“ Datensatz oder neue fusionierte Sensordaten entstehen, der sowohl Sensordaten für die erste Objekthypothese als auch für die zweite Objekthypothese enthält. Dieser fusionierte Datensatz kann für ein Vergleichen oder Überprüfen der ersten und/oder zweiten Objekthypothese verwendet werden. Aus dem fusionierten Datensatz kann eine neue Objekthypothese, eine „fusionierte Objekthypothese“ beziehungsweise dritte Objekthypothese gebildet werden. Diese kombinierte Objekthypothese kann mit der ersten und/oder zweiten Objekthypothese verglichen beziehungsweise gegenübergestellt werden.
  • Das Assoziieren oder Fusionieren können somit auch als ein inhaltliches oder semantisches Vergleichen der ersten mit der zweiten Objekthypothese aufgefasst werden. Damit kann eine inhaltliche Aussage der ersten Objekthypothese mithilfe der Sensordaten für die zweite Objekthypothese überprüft werden. Bei Bedarf kann dazu ein entsprechender Vergleich mit Schwellenwerten erfolgen. Somit können das Assoziieren beziehungsweise das Fusionieren ein Vergleichen oder Gegenüberstellen der jeweiligen Objekthypothesen bedeuten.
  • Somit können beim Assoziieren oder Fusionieren die Sensordaten, welche zur ersten Objekthypothese geführt haben, mit den Messdaten, die zur zweiten Objekthypothese geführt haben, verknüpft, vereinigt beziehungsweise zusammengeführt werden. Dabei kann Fusionieren nicht nur eine einfache Summation von Sensordaten bedeuten, sondern beim Fusionieren können die jeweiligen Sensordaten gewichtet und gewertet werden. Dies kann insbesondere durch das neuronale Netz geschehen. Beispielsweise kann das neuronale Netz einen Algorithmus aufweisen, mithilfe dessen das neuronale Netz die Sensordaten der ersten Objekthypothese mit den Sensordaten der zweiten Objekthypothese verknüpft und überprüft, ob die erste Objekthypothese sich bestätigt. Somit kann das Fusionieren auch als ein erweitertes Fusionieren von Sensordaten angesehen werden. Dieses erweiterte Fusionieren basiert dabei insbesondere auf Sensordaten betreffend die ersten Zeitpunkte und historische Sensordaten. Dies kann insbesondere dazu genutzt werden, um die einzelnen Objekthypothesen zu überprüfen. So kann überprüft werden, ob die erste Objekthypothese sich bestätigt oder ob die auf den historischen Sensordaten basierende zweite Objekthypothese richtig ist.
  • Die Sensordaten können insbesondere als Rohdaten ausgebildet sein. Rohdaten sind insbesondere direkt vom jeweiligen Sensor gemessene Daten oder Informationen, welche noch keiner weiteren oder nur minimaler Vorverarbeitung zugeführt wurden. Beim Assoziieren oder Fusionieren können die erste und zweite Objekthypothese miteinander verknüpft beziehungsweise deren zugrundeliegenden Sensordaten vereinigt werden. Aus diesem Verknüpften kann eine neue Objekthypothese generiert werden. Dieses Verknüpfen oder Aneinanderreihen von mehreren Objekthypothesen kann als erweiterte Datenbasis für weitere Objekthypothesen genutzt werden. Meistens werden dabei Sensordaten verschiedener Zeitpunkte berücksichtigt.
  • Man bezeichnet diese Art der Verknüpfung von Objekthypothesen oft auch als Objekttracks. Eine Objekthypothese, welche über mehrere Zeitpunkte oder Zeitschritte beobachtet wurde, kann man als Objekttrack bezeichnen. Dies gilt auch für mehrere Objekthypothesen. Vorzugsweise beziehen sich alle Objekthypothesen eines Objekttracks auf dasselbe Objekt. Das Fusionieren kann demnach als Verfahrensschritt aufgefasst werden, bei dem aus der ersten und zweiten Objekthypothese ein Objekttrack mit dem fusionierten Datensatz gebildet wird. Das Fusionieren kann als Vorstufe oder Zwischenschritt die Assoziation aufweisen. Die Assoziation kann man als eine logische Verknüpfung von Sensordaten oder Objekthypothesen auffassen. Das Fusionieren kann ferner ein Verarbeiten oder Auswerten der Sensordaten bezüglich der ersten und zweiten Objekthypothese beinhalten. Ein solches Auswerten kann zum Beispiel eine Mittelwertbildung sein. Der Objekttrack kann im nachfolgenden Verfahrensschritt generiert beziehungsweise aktualisiert werden. Somit können Objekttracks Sensordaten von mehreren Objekthypothesen zu verschiedenen Zeitpunkten aufweisen. Im Idealfall bestätigen sich jeweils die inhaltlichen Aussagen der Sensordaten, welche die Objekthypothesen repräsentieren. Dazu können die aus den jeweiligen Sensordaten resultierenden Objekthypothesen miteinander inhaltlich beziehungsweise sinngemäß verglichen werden. Das neuronale Netz kann feststellen, welche Sensordaten berücksichtigt werden sollten und welche beim Fusionieren außen vor bleiben sollen. Dazu kann das neuronale Netz die jeweiligen Sensordaten unterschiedlich gewichten.
  • In einem Schritt d) wird ein Korrektursignal zum Korrigieren weiterer Objekthypothesen und/oder weiterer Sensordaten in Abhängigkeit von einem Ergebnis des Fusionierens erzeugt. Das Fusionieren der beiden Objekthypothesen kann insbesondere ein Abwägen beziehungsweise Abgleichen der aktuellen Sensordaten mit den historischen Sensordaten beinhalten. Dies kann auch Teil des Assoziierens als Teil des Fusionierens geschehen. Dabei kann insbesondere das neuronale Netz bewerten, ob neue Sensordaten ursprüngliche Objekthypothesen bestätigen oder nicht. Je nach Ergebnis des Fusionierens kann ein unterschiedliches Korrektursignal erzeugt werden.
  • Dieses Korrektursignal dient insbesondere dazu, zukünftige Objekthypothesen beziehungsweise zukünftige Sensordaten zu korrigieren. Diejenigen Sensordaten, welche sich momentan in einer Auswertung befinden, werden bevorzugt nicht geändert oder modifiziert. Dies würde eine rasche Auswertung nur unnötig verzögern. In den meisten Fällen ist es besser, diese Korrektur bei zukünftigen Sensordaten beziehungsweise zukünftigen Objekthypothesen einfließen zu lassen.
  • Mit diesem Verfahren wird insbesondere ein Mittelweg zwischen der klassischen Fusion und dem Superpositionssensor vorgeschlagen. Es wird versucht, durch eine Fusion der Sensordaten auf Rohdatenebene die Stärken der einzelnen Sensoren zu kombinieren und deren Schwächen zu kompensieren. Dazu können klassische und erprobte Verarbeitungsansätze auf den Umgang mit rohen Messpunkten erweitert werden, um interne redundante Verarbeitungspfade zu erstellen. Zugleich können die genannten Probleme der klassischen Ansätze umgangen werden. Die Sensordaten können somit insbesondere als Rohdaten vorliegen. Dies bedeutet, dass die Sensordaten noch keiner weiteren Auswertung zugeführt wurden.
  • Die Sensordaten können sich auf unterschiedliche Sensoren beziehen. Diese unterschiedlichen Sensoren können in einer Sensoreinrichtung vorhanden sein. Die Sensoreinrichtung kann mehrere Sensoren und unterschiedliche Sensoren beinhalten. Die Sensoreinrichtung kann beispielsweise einen Lidarsensor, eine Kamera, einen Radarsensor, einen Ultraschallsensor sowie als virtuellen Sensor den Superpositionssensor aufweisen. Aufgrund der Flexibilität des dargebotenen Verfahrens ist es problemlos möglich, den Superpositionssensor als weitere Datenquelle hinzuzufügen. Insbesondere kann das separate Ermitteln der jeweiligen ersten Objekthypothesen eine raschere Auswertung ermöglichen als im Vergleich zu bisherigen Methoden der Sensordatenfusion. Dies ergibt sich insbesondere daraus, dass aufgrund des separaten Ermittelns der ersten Objekthypothese die jeweiligen Sensordaten unverzüglich der Sensordatenfusion beziehungsweise Auswertung zugeführt werden. Damit muss nicht auf „langsamere Sensoren“ gewartet werden. Sensordaten aus vorigen Zeitpunkten liegen mittels der historischen Sensordaten in der Regel bereits vor und diese historischen Sensordaten können sensorübergreifend genutzt werden. So kann eine rasche Auswertung mit einer geringeren Auswertezeit erreicht werden, was für Pilotsysteme entscheidend sein kann.
  • Somit kann für jeden einzelnen Sensor eine jeweilige erste Objekthypothese beziehungsweise zweite Objekthypothese ermittelt werden. Dies bedeutet beispielsweise, dass die Sensordaten des Radarsensors eine eigene Grundlage für die Objekthypothese liefern können im Vergleich zu einem Ultraschallsensor. Die Sensordaten des Ultraschallsensors stellen insbesondere eine weitere Grundlage für eine weitere Objekthypothese dar. Somit können die Sensordaten der unterschiedlichen Sensoren jeweils zu einer eigenen Objekthypothese führen. Dies kann deswegen sehr vorteilhaft sein, da unterschiedliche Sensoren meistens eine unterschiedliche Messfrequenz aufweisen. Beispielsweise kann ein Lidarsensor eine höhere Messfrequenz aufweisen als ein Ultraschallsensor. Dies bedeutet, dass der Lidarsensor schneller neue Messdaten liefert als der Ultraschallsensor. Damit können mithilfe der Daten des Lidarsensors rascher die jeweiligen ersten Objekthypothesen erstellt werden. Es würde die Auswertung zu sehr in die Länge ziehen, wenn auf Messdaten anderer langsamerer Sensoren gewartet werden müsste. Aus diesem Grund ist es sehr vorteilhaft, wenn die ersten Objekthypothesen sich zunächst auf einen einzigen Sensor beziehen. Vereinzelt kann es vorgesehen sein, dass die ersten Objekthypothesen sich auf mehrere dafür jedoch baugleiche Sensoren beziehen. So kann beispielsweise eine erste Objekthypothese sich auf Daten von zwei identischen Ultraschallsensoren beziehen.
  • Es ist vorgesehen, dass in Abhängigkeit von dem Korrektursignal die historischen Sensordaten korrigiert werden. Hat sich beispielsweise betreffend die historischen Sensordaten ein systematischer Fehler eingeschlichen und wird dieser Fehler beispielsweise zu einem späteren Zeitpunkt erkannt, so können diese historischen Sensordaten entsprechend korrigiert werden. Dadurch können präzisere beziehungsweise genauere Objekthypothesen erstellt werden. Bevorzugt werden mithilfe des Korrektursignals ausschließlich die historischen Sensordaten korrigiert. Damit kann vermieden werden, dass eine aktuelle Auswertung der Sensordaten unnötig verzögert wird. Gerade im Bereich des autonomen Fahrens ist es sehr wichtig, Sensordaten rasch auszuwerten. Rasch bedeutet in diesem Zusammenhang ein Zeitbereich, der deutlich unter einer Sekunde bleibt.
  • Eine weitere Ausgestaltung sieht vor, dass für das Fusionieren der ersten mit der zweiten Objekthypothese eine semantische und/oder euklidische Distanz jeweils von Sensordaten eines einzelnen Sensors zum entsprechenden ersten Zeitpunkt zu den dazugehörigen historischen Sensordaten des jeweiligen einzelnen Sensors ermittelt wird. Der einzelne Sensor kann ein einziger Sensor von den mehreren Sensoren sein. Eine semantische Distanz kann insbesondere bedeuten, inwiefern sich eine inhaltliche Aussage der betreffenden Objekthypothese verändert. Die euklidische Distanz von Sensordaten kann insbesondere eine räumliche Distanz beziehungsweise einen räumlichen Abstand bedeuten, der anhand der Sensordaten zum ersten Zeitpunkt und früheren Zeitpunkten ermittelt wird. Wird aus Sensordaten eine semantische Distanz oder ein semantischer Inhalt generiert, so kann auch von einer Art Objektwahrnehmung gesprochen werden. Eine Objektwahrnehmung kann eine Objekterkennung sowie die Position und Ausrichtung des Objekts beinhalten. Darüber hinaus können mit dem Begriff Objektwahrnehmung alle relevanten Eigenschaften des Objekts angesprochen sein, um das Objekt umfassend in seinem Kontext wahrnehmen zu können. Mit Objektwahrnehmung können alle Prozesse zur Identifizierung und Erkennung von Objekten sowie deren Einordnung in ihren Kontext beziehungsweise in ihr Objektumfeld verstanden werden. Somit kann die Objektwahrnehmung auch die Bewegung des Objekts, dynamische Parameter des Objekts sowie an das Objekt angrenzende Objekte beinhalten. Insbesondere können bezüglich der dynamischen Parameter ein Roll-, Nick- und Gierwinkel angesprochen sein. Mithilfe der semantischen und/oder euklidischen Distanz der Sensordaten kann rasch festgestellt werden, ob eine aufgestellte Objekthypothese sich bewahrheitet. Dies kann zu einer rascheren Auswertung auch bezüglich des einzelnen Sensors führen.
  • Eine weitere Ausgestaltung sieht vor, dass für das Ermitteln der ersten und zweiten Objekthypothese eine Segmentierung der Sensordaten, eine Extraktion einer Bodenebene, ein Clustering von Radar-Reflexionen und/oder eine Zuordnung von Messpunkten zu einem Objekt durchgeführt werden. Dabei können die Rohdaten der Sensoren zuerst zustandslos vorverarbeitet werden. Dies bedeutet, dass sich die Messpunkte und die Geometrie der umgebenden Objekte direkt aus den Rohdaten ergeben können. Eine Segmentierung der Sensordaten kommt insbesondere bei Punktwolken zum Einsatz. Dabei können insbesondere inhaltlich zusammenhängende Regionen durch Zusammenfassung benachbarter Messpunkte (z.B. Pixel, Voxel, Reflektionen) erstellt werden. So kann beispielsweise ein stark zusammengehörendes Cluster von Punkten zu einem Kraftfahrzeug zugeordnet werden, während ein länglicher Verlauf von Punkten zu einer Leitplanke zugeordnet werden kann. Eine solche Segmentierung würde auch eine Extraktion der Bodenebene erleichtern. Anschließend können die jeweiligen Messpunkte effizienter zu dem Objekt zugeordnet werden. Insbesondere kann diese Ausgestaltung eine Kombination dieser Mittel vorsehen, um eine effiziente und rasche Auswertung der Sensordaten zu ermöglichen.
  • Eine weitere Ausgestaltung sieht vor, dass zum Ermitteln der zweiten Objekthypothese Sensordaten von mehreren Sensoren fusioniert werden. Eine Fusion der Sensordaten für die erste Objekthypothese wird aber meistens aus Gründen der Auswerteeffizienz nicht vollzogen. Bei den historischen Sensordaten liegt jedoch eine andere Situation vor. Hier können Sensordaten von mehreren Sensoren ohne Zeitverlust fusioniert werden. Eine verzögerte Bereitstellung der historischen Sensordaten hat zunächst keine direkten negativen Auswirkungen auf eine aktuelle Datenauswertung. Somit kann eine solidere beziehungsweise aussagekräftigere Datenbasis für die zweite Objekthypothese geschaffen werden. Diese solidere Datenbasis kann den Prozess des Fusionierens und somit das Verfahren zur Datenfusion beschleunigen und verbessern. Dazu kann ferner vorgesehen sein, dass die Sensordaten der mehreren Sensoren auf einen gemeinsamen ersten Zeitpunkt prädiziert werden.
  • Eine weitere Ausgestaltung sieht ein Verfahren vor, wobei zum Ermitteln der ersten und/oder zweiten Objekthypothese mithilfe der Sensordaten eine Geometrie, Kontur, Position, Ausrichtung eines Objekts, dessen Bewegung, Bewegungsrichtung und/oder weitere angrenzende Objekte ermittelt werden. Werden all die genannten Aspekte ermittelt, so kann von einer Objektwahrnehmung gesprochen werden. Damit kann eine detaillierte Informationsbasis für zukünftige Objekthypothesen erzeugt werden. Insbesondere können unmittelbar angrenzende Objekte an das Objekt ermittelt werden. So kann beispielsweise festgestellt werden, ob ein anderes Kraftfahrzeug sich auf derselben Fahrbahn bewegt als das eigene Kraftfahrzeug. Dies wäre zum Beispiel dann nicht der Fall, wenn das eigene Kraftfahrzeug unter einer Brücke durchfährt und das andere Kraftfahrzeug sich auf der Brücke befindet. In diesem Fall ist es nicht nur wichtig, das andere Kraftfahrzeug als Kraftfahrzeug zu erkennen, sondern darüber hinaus auch die Tatsache zu erkennen, dass sich dieses andere Kraftfahrzeug eben nicht auf der eigenen Fahrbahn befindet. Diese Tatsache hat den entscheidenden Informationsgehalt, dass eine Kollision mit dem anderen Kraftfahrzeug nicht zu befürchten ist. Würde dieser Umstand nicht erkannt werden, so könnte bei einer fehlerhaften Auswertung im schlimmsten Fall die Notbremsung durch ein Pilotsystem eingeleitet werden. Dies könnte deswegen geschehen, da eine fehlerhafte Auswertung das Kraftfahrzeug zwar an sich korrekt erkennt, jedoch den Umstand der unterschiedlichen Fahrbahnen nicht erkennt. Anhand dieses Beispiels lässt sich gut erkennen, warum es vorteilhaft sein kann, die Objekthypothesen auf eine zuverlässige und solide Datenbasis zu stellen. Dieses Beispiel zeigt, dass es wichtig und vorteilhaft ist, nicht nur die Objekte an sich, sondern darüber hinaus auch angrenzende Objekte zu erkennen und die angrenzenden Objekte in eine umfassende Objektwahrnehmung einfließen zu lassen.
  • Eine weitere Ausgestaltung sieht vor, dass die Sensordaten von den jeweiligen ersten Zeitpunkten zu den historischen Sensordaten hinzugefügt werden. Dadurch können die historischen Sensordaten aktualisiert werden. Somit kann verhindert werden, dass die historischen Sensordaten zu alte Sensordaten beinhalten. Beispielsweise kann vorgesehen sein, dass die historischen Sensordaten maximal wenige Sekunden alt sein dürfen. In diesem Fall würden zum Beispiel alle Sensordaten, die älter als fünf Sekunden sind, automatisch gelöscht werden. Anstelle der fünf Sekunden kann auch ein anderes vorgegebenes Zeitfenster gewählt werden. Somit wird in diesem Fall gewährleistet, dass die historischen Sensordaten maximal fünf Sekunden alt sind. Dadurch, dass auch die historischen Sensordaten eine gewisse Aktualität aufweisen, kann eine zuverlässigere und effektivere Erstellung von Objekthypothesen erfolgen. Dies betrifft analog auch das Erstellen der dazugehörigen Objekttracks.
  • Eine weitere Ausgestaltung sieht vor, dass zum Ermitteln der zweiten Objekthypothese historische Sensordaten verwendet werden, welche Messungen zu mehreren Zeitpunkten vor dem ersten Zeitpunkt beinhalten. Die im vorigen Beispiel genannten Vorteile gelten sinngemäß und analog für diese Ausgestaltung.
  • Eine weitere Ausgestaltung sieht vor, dass das Ergebnis des Fusionierens mithilfe einer vorgegebenen Auswertung betreffend den einzelnen Sensor validiert wird. Die vorgegebene Auswertung kann insbesondere eine externe, sensoreigene beziehungsweise herstellerseitige Auswertung des einzelnen Sensors sein. Viele Sensoren weisen einen eigenen Mikrocontroller oder einen eigenen Mikrochip auf, der eine Auswertung der Sensordaten vornimmt. Bei dieser Ausgestaltung wird diese vorgegebene Auswertung benutzt, um die Sensordaten beziehungsweise die Objekthypothesen zu validieren. Somit können die von den Sensoren intern berechneten und gelieferten Objekthypothesen sowie Objekttracks zusätzlich verwendet werden, um die Ergebnisse der multimodalen Rohdatenfusion zu validieren und abzusichern. Somit kann die vorgegebene Auswertung betreffend den einzelnen Sensor als dritte Objekthypothese aufgefasst werden. Somit kann das Assoziieren oder Fusionieren nicht nur die erste und zweite Objekthypothese beinhalten, sondern darüber hinaus ebenfalls die dritte Objekthypothese berücksichtigen. Die dritte Objekthypothese wird dabei insbesondere anhand der vorgegebenen Auswertung erzeugt beziehungsweise ebenfalls direkt vorgegeben. Somit kann insgesamt eine interne dreifache Redundanz bezüglich der Objekthypothesen erzeugt werden, die zu einer höheren Sicherheit bei der Sensordatenfusion führt. Das Ermitteln der ersten Objekthypothese kann parallel zu dem Ermitteln der zweiten Objekthypothese und der dritten Objekthypothese stattfinden. Somit kann die Auswertung beschleunigt werden und Totzeiten können minimiert werden. Dadurch kann es gelingen, die Sensordatenfusion binnen 80 Millisekunden abzuschließen. In vielen Fällen wird bisher eine höhere Zeitspanne, nämlich mindestens 150 Millisekunden, dafür veranschlagt. Bei dieser Ausgestaltung kann ebenfalls ein Assoziieren oder Fusionieren stattfinden. Dies kann ein Auswerten einer gemeinsamen Datenbasis bedeuten. Dabei können zu den Sensordaten für die erste und zweite Objekthypothese die Daten aus der vorgegebenen Auswertung beziehungsweise eine vorgegebene Objekthypothese hinzutreten und so die gemeinsame Datenbasis formen. Darauf basierend kann eine gemeinsame Objekthypothese gebildet werden.
  • Eine weitere Ausgestaltung sieht vor, dass wenigstens Sensordaten eines Sensors der mehreren Sensoren zusätzlich oder ausschließlich für ein Validieren des Ergebnisses des Fusionierens verwendet werden. Dies bedeutet, dass ein einzelner Sensor ausschließlich zum Validieren des Ergebnisses des Fusionierens verwendet werden kann. Es ist auch möglich, den Sensor zum Validieren in Abhängigkeit von einer Verkehrssituation zu ermitteln. Dieser Sensor kann als Validierungssensor bezeichnet werden. Insbesondere ist es möglich, den Validierungssensor situationsspezifisch auszuwählen. Damit kann der Validierungssensor je nach Verkehrssituation und/oder situationsspezifischer Anforderungen ein unterschiedlicher Sensor sein. Somit kann der Validierungssensor ein dynamisch wechselnder Sensor sein. Bei einem Einparken beispielsweise könnte der Ultraschallsensor als Validierungssensor vorgesehen sein. Bei einer Autobahnfahrt könnte der Lidarsensor als Validierungssensor vorgesehen sein. Eine Verkehrssituation beschreibt beispielsweise einen Fahrbahnverlauf, einen Zustand der Fahrbahn, eine Sichtweite für einen Fahrer, eine Verkehrsdichte in der Umgebung des Kraftfahrzeugs, eine Anwesenheit umgebender Kraftfahrzeuge, sowie weitere verkehrsrelevante Informationen wie zum Beispiel Geschwindigkeitsbegrenzungen und so weiter. All diese Parameter können zu einer unterschiedlichen Bewertung der Verkehrssituation führen. Insbesondere können die Verkehrssituationen in unterschiedliche Klassen eingeteilt werden. Dabei wird vorzugsweise versucht, lediglich verkehrsrelevante Umstände zu berücksichtigen. So kann beispielsweise eine Geradeausfahrt auf einer Landstraße zu der gleichen Verkehrssituation führen wie eine Geradeausfahrt in vergleichbarer Situation an einem anderen Ort. Das neuronale Netz kann dabei die verkehrsrelevanten Parameter und Umstände erkennen und lediglich diese Parameter und Umstände zum Bewerten der Verkehrssituation berücksichtigen. Damit kann in Abhängigkeit von der jeweiligen Verkehrssituation derjenige der mehreren Sensoren ausgewählt werden, welcher die beste beziehungsweise solideste Datenbasis zum Validieren bereitstellen kann. Somit kann die Sensordatenfusion noch weiter verbessert werden.
  • Die Erfindung betrifft ebenfalls ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einer der vorhergehenden Ausgestaltungen auszuführen. Ebenfalls betrifft diese Erfindung einen computerlesbaren Datenträger, auf dem das Computerprogrammprodukt gespeichert ist.
  • Zu der Erfindung gehört auch die Recheneinheit für das Kraftfahrzeug. Die Recheneinheit kann eine Prozessoreinrichtung aufweisen. Die Prozessoreinrichtung kann für ein neuronales Netz ausgelegt oder optimiert sein. Die Prozessoreinrichtung oder das neuronale Netz können dazu eingerichtet sein, eine Ausgestaltung des erfindungsgemäßen Verfahrens durchzuführen.
  • Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Die Erfindung stellt ebenfalls eine Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren betreffend mehrere Zeitpunkte bereit. Mit Fusionsvorrichtung ist insbesondere eine Vorrichtung gemeint, welche Sensordaten fusioniert beziehungsweise sinnvoll kombiniert. Die Fusionsvorrichtung weist eine Eingangseinheit zum Empfangen von Sensordaten der mehreren Sensoren auf. Sie weist ebenfalls eine Recheneinheit auf, welche ausgestaltet ist, eine erste Objekthypothese separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten zu ermitteln, wobei die jeweiligen Sensordaten sich jeweils auf einen einzigen Sensor sowie jeweils einen von mehreren ersten Zeitpunkten beziehen. Des Weiteren ist die Recheneinheit ausgestaltet, eine zweite Objekthypothese für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten und von historischen Sensordaten zumindest des einzelnen jeweiligen Sensors oder mehrerer Sensoren betreffend einen Zeitraum vor dem ersten Zeitpunkt zu ermitteln, wobei die historischen Sensordaten auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert werden. Die Recheneinheit ist ausgestaltet, die erste Objekthypothese mit der zweiten Objekthypothese zu fusionieren. Somit kann die Recheneinheit mehrere Objekthypothesen fusionieren. Zusätzlich kann die Recheneinheit zusätzlich zuvor die entsprechenden Datensätze miteinander assoziieren. Ferner ist die Recheneinheit dazu ausgestaltet, ein Korrektursignal in Abhängigkeit von einem Ergebnis des Fusionierens zu erzeugen. Die Fusionsvorrichtung weist darüber hinaus eine Ausgabeeinheit zum Bereitstellen des Korrektursignals und/oder fusionierter Sensordaten auf. Die in den vorangegangenen Ausgestaltungen erwähnten Beispiele, Ausführungen und Vorteile gelten sinngemäß und analog für die Fusionsvorrichtung.
  • Darüber hinaus betrifft die Erfindung eine Sensoreinrichtung mit mehreren Sensoren und mit der Fusionsvorrichtung, wobei die Sensoreinrichtung ausgestaltet ist, Sensordaten von einer Umgebung der Sensoreinrichtung für die Recheneinheit bereitzustellen. Die Sensoreinrichtung kann mehrere Sensoren aufweisen. Diese Sensoren können dabei unterschiedliche Sensoren sein. Die Sensoreinrichtung kann einen Lidarsensor, eine Kamera, einen Radarsensor, einen Ultraschallsensor sowie weitere Sensoren aufweisen. Ebenfalls kann die Sensoreinrichtung einen Superpositionssensor als virtuellen Sensor umfassen. Damit können die Objekthypothesen auf eine solide Datenbasis gestellt werden. Die unterschiedlichen Sensordaten werden bevorzugt mithilfe der historischen Sensordaten berücksichtigt. Mithilfe der historischen Sensordaten kann so eine Sensorquernutzung ermöglicht werden. Diese Sensorquernutzung bezieht sich dabei vorzugsweise ausschließlich auf die historischen Sensordaten und somit auf die zweite Objekthypothese. Hinsichtlich der ersten Objekthypothese werden die jeweiligen Sensordaten der einzelnen Sensoren bevorzugt separat ausgewertet und führen somit zu eigenständigen ersten Objekthypothesen. Auch hier gelten die vorgenannten Beispiele und Vorteile sinngemäß für die Fusionsvorrichtung und die Validierung.
  • Die Erfindung stellt ebenfalls ein Kraftfahrzeug mit der Sensoreinrichtung bereit. Mithilfe der dargestellten Sensordatenfusion kann eine schnellere Auswertung der Daten hinsichtlich der Objekthypothesen erreicht werden. Es ist angestrebt, die bisherige Auswertezeit deutlich zu verkürzen. Damit kann ein Beitrag geleistet werden, autonome Kraftfahrzeuge für Level 3 zu entwickeln. Auch hier gelten die genannten Vorteile und Beispiele sinngemäß beziehungsweise analog.
  • Die Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert. Dabei zeigt:
  • Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
  • Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
  • Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben.
    • 1 ein schematisches Ablaufdiagramm wichtiger Verfahrensschritte;
    • 2 ein Kraftfahrzeug mit einer Fusionsvorrichtung sowie dazugehöriger Sensoreinrichtung;
    • 3 ein beispielhaftes Signalflussdiagramm;
    • 4 verschiedene Strategien der Zuordnung eines Sensors als Validierungssensor;
    dabei ist zu berücksichtigen, dass die in den Figuren genannten Beispiele die Erfindung nur beispielhaft erläutern. In den Figuren erwähnte Abläufe stellen keine Einschränkung der Erfindung dar.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
  • 1 zeigt einen möglichen Ablauf der Sensordatenfusion. In einem ersten Schritt ST1 wird eine erste Objekthypothese OH1 separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten ermittelt. Diese Sensordaten liegen meist als Rohdaten vor. Dabei werden vorzugsweise die jeweiligen Sensordaten separat ausgewertet. Dies führt dazu, dass jeder einzelne Sensor eine erste eigene Objekthypothese OH1 liefert. Da mehrere Sensoren eine eigene erste Objekthypothese OH1 liefern, beziehen sich die jeweiligen ersten Objekthypothesen OH1 auf unterschiedliche Zeitpunkte. All diese Zeitpunkte werden dabei als erste Zeitpunkte bezeichnet.
  • In einem zweiten Schritt ST2 wird eine zweite Objekthypothese OH2 für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten und von historischen Sensordaten 14 mindestens eines, mehrerer oder aller Sensoren betreffend einen Zeitraum vor dem ersten Zeitpunkt ermittelt.
  • In einem dritten Schritt ST3 werden die erste Objekthypothese OH1 mit der zweiten Objekthypothese OH2 fusioniert 38. Damit kann die erste Objekthypothese OH1 gegenüber der zweiten Objekthypothese OH2 abgeglichen beziehungsweise die beiden Datensätze der Objekthypothesen miteinander vereinigt, verschmolzen oder verknüpft werden. Dies dient insbesondere zum Überprüfen der Objekthypothesen. Dabei kann die erste Objekthypothese OH1 gegenüber der zweiten Objekthypothese OH2 überprüft werden beziehungsweise umgekehrt.
  • In einem vierten Schritt ST4 wird ein Korrektursignal 22 in Abhängigkeit von einem Ergebnis des Fusionierens 38 durch die Korrektur 40 erzeugt. Dies dient vor allem zum Korrigieren 40 weiterer Objekthypothesen und/oder weiterer Sensordaten aus einer Datenbank. Diese Datenbank kann als Umfelddatenbank bezeichnet werden. Die Umfelddatenbank beinhaltet dabei insbesondere die historischen Sensordaten 14, welche sich auf vergangene Zeitpunkte beziehen.
  • 2 zeigt beispielhaft ein Kraftfahrzeug 10. Dieses Kraftfahrzeug 10 kann als Kraftwagen ausgeführt sein. Das Kraftfahrzeug 10 weist eine Fusionsvorrichtung 18 auf, die mehrere Komponenten beinhaltet. Zur Fusionsvorrichtung 18 gehören eine Eingangseinheit 13, eine Recheneinheit 16 sowie eine Ausgabeeinheit 20. Eine Sensoreinrichtung 12 beinhaltet im Beispiel von 2 einen ersten Sensor S1, einen zweiten Sensor S2 und einen dritten Sensor S3. Zusätzlich weist das Kraftfahrzeug 10 einen Datenspeicher auf, der historische Sensordaten 14 beinhaltet. Die Sensoreinrichtung 12 sowie der Datenspeicher können ihre Sensordaten beziehungsweise Messwerte an die Eingangseinheit 13 übermitteln. Somit fließen über die Eingangseinheit Sensordaten betreffend die erste Objekthypothese OH1 und Sensordaten betreffend die zweite Objekthypothese OH2 ein. Die Recheneinheit 16 kann insbesondere das Assoziieren sowie zusätzlich das Fusionieren 38 dieser beiden Datenströme durchführen. Das Ergebnis dieses Fusionierens 38 führt zu einem Korrektursignal 22 und somit zum Korrigieren 40 weiterer Objekthypothesen und/oder weiterer Sensordaten. Die Ausgabeeinheit 20 kann zum einen fusionierte Sensordaten 24 als auch das Korrektursignal 22 als Ergebnis bereitstellen. Das Korrektursignal 22 dient insbesondere dazu, die Sensordaten der Sensoreinrichtung 12 der Umfelddatenbank für zukünftige Messungen zu korrigieren. Dies betrifft in analoger Weise die historischen Sensordaten 14. Die Sensoreinrichtung 12 ist insbesondere dazu ausgelegt, umgebende Objekte des Kraftfahrzeugs 10 zu erkennen. In 2 sind beispielhaft drei unterschiedliche Objekte gezeigt. Rechts diagonal zu dem Kraftfahrzeug 10 sind ein Baum 28, ein Fußgänger 26 sowie eine Bordsteinkante 29 gezeigt. Diese drei Objekte können von der Sensoreinrichtung 12 wahrgenommen werden. Mithilfe des dargestellten Verfahrens können die durch die Sensoreinrichtung 12 erhobenen Daten robuster fusioniert und verarbeitet werden, und führt zu schnelleren Aufschaltzeiten von Objekttracks. Dies kann dabei helfen, die unterschiedlichen Objekte rascher sowie korrekter zu erkennen.
  • 3 zeigt beispielhaft ein mögliches Signalflussdiagramm der Sensordatenfusion. Im oberen Bereich der 3 sind eingangsseitig fünf verschiedene Sensoren dargestellt. Neben dem ersten Sensor S1, dem zweiten Sensor S2 und dem dritten Sensor S3 zeigt 3 ebenfalls einen vierten Sensor S4 sowie einen virtuellen fünften Sensor S5. Der erste Sensor S1 sei im Fall der 3 ein Lidarsensor, der zweite Sensor S2 eine Kamera, der dritte Sensor S3 ein Radarsensor, der vierte Sensor S4 ein Ultraschallsensor und der fünfte Sensor S5 sei ein Superpositionssensor. Die Sensordatenfusion kann von diesen unterschiedlichen Sensoren Daten in Form von Messpunkten 34 und Geometrien 32 eines Objekts erhalten. Die Sensordaten dieser unterschiedlichen Sensoren werden hinsichtlich der Geometrie 32 und verschiedener Messpunkte 34 ausgewertet. Dies erfolgt insbesondere durch die Recheneinheit 16. Dabei erzeugt die Recheneinheit 16 insbesondere für jeden einzelnen Sensor eine eigene erste Objekthypothese OH1 und wird zur Korrektur 40 eines Objekttracks verwendet. Damit kann die Recheneinheit 16 den Schritt des Fusionierens ausführen. Diese Objekthypothesen stehen in Relation zu den rohen Sensordaten. Diese rohen Sensordaten sind die Grundlage der Bildung der Objekthypothesen. Dies betrifft sowohl die erste Objekthypothese OH1 als auch die zweite Objekthypothese OH2.
  • Die Recheneinheit 16 erhält beispielsweise Sensordaten des ersten Sensors S1, des Lidar-Sensors, in Form einer Punktwolke. In analoger Weise übermittelt der zweite Sensor S2, die Kamera, ebenfalls eine erste Objekthypothese OH1 sowie die Geometrie 32 und entsprechende Messpunkte 34 in Form einer definierten Geometriedatenstruktur. Die Messpunkte 34 können bei einem Kamerabild als Pixel auftreten, während hingegen bei dem Lidar-Sensor Voxel und Punktwolken vorliegen können. Ein vorteilhafter Aspekt ergibt sich durch eine bevorzugte Sensorquernutzung beim Ermitteln der zweiten Objekthypothese OH2. Dabei werden vorzugsweise Sensordaten von unterschiedlichen Sensoren herangezogen.
    Die Recheneinheit 16 führt die Sensordaten betreffend die ersten Zeitpunkte der Bildung der ersten Objekthypothese OH1 zu. Diese Daten werden ebenfalls zur Bildung der zweiten Objekthypothese OH2 verwendet. Darüber hinaus werden bei dem Ermitteln der zweiten Objekthypothese OH2 ebenfalls die historischen Sensordaten 14 berücksichtigt. Diese historischen Sensordaten 14 werden mithilfe einer Prädiktion 36 auf die jeweiligen ersten Zeitpunkte prädiziert. Dies bedeutet beispielsweise, dass Ultraschallsignale aus den historischen Sensordaten 14 zu dem dazugehörigen ersten Zeitpunkt des Ultraschallsensors nach vorne berechnet werden. Diese historischen Sensordaten 14 bilden zusammen mit den Daten des jeweiligen Sensors eine Datenbasis zum Ermitteln der zweiten Objekthypothese OH2. Diese Strukturierung beziehungsweise dieser Signalfluss gibt der Recheneinheit 16 stets einen Einblick auf den Entstehungsprozess der einzelnen Objekthypothesen.
  • Somit können systematische Fehler der einzelnen Sensoren identifiziert werden. Im Vergleich mit den gesamten Sensordaten des Sensorsets der Sensoreinrichtung 12 können diese systematischen Fehler durch entsprechende Plausibilisierung eliminiert werden. Dies wird vorzugsweise mithilfe der Recheneinheit 16 realisiert, die beispielsweise ein neuronales Netz, heuristische Algorithmen oder probabilistische Assoziationsverfahren aufweist. Dieses neuronale Netz kann als rekursives neuronales Netz ausgeführt sein. Demzufolge kann das neuronale Netz nicht nur auf Daten der unmittelbar zurückliegenden Schicht zugreifen, sondern darüber hinaus auch auf Daten von weiter zurückliegenden Schichten.
  • Die Sensordaten beziehungsweise deren Rohdaten werden zunächst auf zwei unterschiedliche Arten vorverarbeitet. Typische Vorverarbeitungsschritte sind dabei eine Segmentierung von 3D-Punktwolken, eine Bodenebeneextraktion und ein Clustering von Radarreflexionen. In diesem ersten Schritt ST1 werden für die Verarbeitung nur Informationen aus der momentanen aktuellen Messung herangezogen. Parallel dazu findet der zweite Schritt ST2 statt. Dieser zweite Schritt ST2 sieht eine Vorverarbeitung der Sensordaten unter Berücksichtigung der Messhistorie vor. Dafür wird der aktuelle Zustand der Umfelddatenbank herangezogen, welche die historischen Sensordaten 14 beinhaltet. Mithilfe einer Eigenbewegungsinformation werden die historischen Sensordaten 14 auf den aktuellen Zeitpunkt prädiziert. Somit ist es möglich, mithilfe der historischen Sensordaten 14 sowie mittels Informationen anderer Sensoren eine genauere und präzisere Vorverarbeitung zu erreichen. Beispielsweise können damit Punktwolkensegmente, die aus der Verarbeitung von Laserdaten entstanden sind, mithilfe eines aktuellen Kamerabildes klassifiziert werden. Daraus kann die zweite Objekthypothese OH2 generiert werden. Die Sensordaten bezüglich der ersten Objekthypothese OH1 und zweiten Objekthypothese OH2 werden der Fusionsvorrichtung 18 zugeführt. Insbesondere können die Ergebnisse des Ermittelns der jeweiligen Objekthypothesen für die Assoziation und das Fusionieren 38 verwendet werden.
  • Das Assoziieren und Fusionieren 38 wird dabei vornehmlich durch die Recheneinheit 16 ausgeführt. Dabei ist das Assoziieren meist ein Teil des Fusionierens 38. Das Ziel dieses Fusionierens 38 ist es, die eindimensionale Sichtweise des ersten Schritts ST1 um Informationen von anderen Sensoren sowie um Informationen zu früheren Zeitschritten zu erweitern. Der erste Schritt ST1 beinhaltet lediglich die Sensordaten zum ersten Zeitpunkt beziehungsweise zum aktuellen Zeitpunkt. Diese Informationsbasis kann mithilfe des zweiten Schritts ST2, also dem zweiten Verarbeitungspfad, erweitert werden. Im zweiten Schritt ST2 fließen zusätzlich Informationen von anderen Sensoren sowie Informationen von früheren Zeitschritten ein. Dies liegt daran, da im zweiten Schritt ST2 die historischen und sensorübergreifenden Sensordaten 14 eingesetzt werden. Dadurch können gleichzeitig auch mögliche Prädiktionsfehler älterer Zustände durch eine neue Sichtweise auf die Umgebung abgefangen werden. Dies bedeutet, dass fehlerhafte Daten in den historischen Sensordaten 14 korrigiert werden können.
  • Nach dem Fusionieren 38 beziehungsweise der Sensordatenfusion ist die Korrektur 40 vorgesehen. Die Korrektur 40 basiert dabei auf einem Ergebnis des Fusionierens 38. Beim Fusionieren 38 werden die Informationen der beiden Verarbeitungspfade aus dem ersten und zweiten Schritt zusammengeführt und sinnvoll miteinander verknüpft. Dies führt zu einer umfangreicheren beziehungsweise solideren Datenbasis, die es erlaubt, die beiden Objekthypothesen miteinander zu vergleichen. Dabei stellt das Assoziieren beziehungsweise Fusionieren 38 eher ein inhaltliches Vergleichen als ein einfaches Vergleichen von Schwellenwerten dar, jedoch kann ein Vergleich mit Schwellenwerten möglich sein. Nach der Korrektur 40 ist insbesondere eine Validierung 42 vorgesehen. In diese Validierung 42 fließt eine vorgegebene Auswertung 30 der jeweiligen einzelnen Sensoren ein. Diese vorgegebene Auswertung 30 wird dabei in der Regel direkt vom jeweiligen Sensor bereitgestellt und kann von der Recheneinheit 16 ausgelesen werden. In der Regel ist dies eine sensorinterne, vom Hersteller bereitgestellte Auswertung der Sensordaten. Damit werden zusätzlich die von den jeweiligen Sensoren intern berechneten und gelieferten Objekthypothesen sowie Objekttracks verwendet, um die Ergebnisse der Sensordatenfusion zu validieren und abzusichern. Somit steht insgesamt eine dreifache Redundanz zur Verfügung, die zu einer höheren Sicherheit bei der Sensordatenfusion führen kann. 3 zeigt beispielhaft, dass der erste Sensor S1 nicht nur zum Ermitteln der ersten oder zweiten Objekthypothesen verwendet wird, sondern darüber hinaus auch oder stattdessen für die Validierung 42 eingesetzt werden kann.
  • Bezüglich des Einsatzes der jeweiligen Sensoren für die Validierung 42 ergeben sich unterschiedliche Zuordnungsstrategien. 4 zeigt beispielhaft zwei unterschiedliche Möglichkeiten, wie die ersten drei Sensoren zur Fusion beziehungsweise zur Validierung 42 verwendet werden können. Bei der Option A werden zunächst die Daten des ersten und zweiten Sensors mithilfe der Fusionsvorrichtung 18 fusioniert. Im Beispiel A dient der dritte Sensor S3 als reiner Validierungssensor, während im Beispiel B alle Sensoren zur Validierung 42 beitragen. Die durchgezogenen Linien repräsentieren in 4 die Rohdaten der Sensoren, die gestrichelten Linien, die der Fusionsvorrichtung 18 oder die Validierung 42 zugeführt werden, repräsentieren die Objekttracks. In den Beispielen A und B von 4 werden die Objekttracks ausschließlich zum Validieren 42 eingesetzt. Nach dem Validieren 42 wird ein validiertes Objekt ausgegeben. Dies deutet jeweils der gestrichelte Pfeil nach dem Validieren 42 an.
  • Die Daten des dritten Sensors S3, hier die Objekttracks, werden im Beispiel A zum Validieren 42 der fusionierten Sensordaten 24 aus den Sensoren S1 und S2 verwendet. Im Beispiel B dagegen werden die Rohdaten aller drei Sensoren durch die Fusionsvorrichtung 18 fusioniert und eventuell zuvor assoziiert. Das Ergebnis dieser Sensordatenfusion wird mithilfe der externen Objekttracks, den vorgegebenen Objekthypothesen oder Objekttracks aller drei Sensoren validiert. Sowohl im Beispiel A als auch im Beispiel B wird nach dem Validieren 42 ein validiertes Objekt als Ergebnis ausgegeben. Insbesondere kann es von der jeweiligen Verkehrssituation abhängig sein, ob das Beispiel A oder das Beispiel B zum Validieren 42 eingesetzt wird.
  • Die Ergebnisse werden insbesondere in einer hoch-dynamischen, mehrschichtigen Umfelddatenbank gespeichert. Die Umfelddatenbank wird dabei als Quelle der historischen Daten 14 angesehen. Dadurch werden die historischen Sensordaten 14 generiert. Diese Daten beinhalten sowohl modellfreie als auch modellbehaftete Ansichten der Umgebung. Diese Ansichten können in entsprechende Objekthypothesen umgewandelt werden. Beispielsweise repräsentieren in diesem Kontext Punktwolken modellfreie und Objekte mit deren Dynamikzuständen modellbehaftete Informationen. In dieser Datenbank, welche die historischen Sensordaten 14 beinhalten, werden statische und dynamische Objekte, deren dreidimensionale Konturen in Form von Punktewolken und 3D-Freirauminformationen in verschiedenen Schichten verwaltet. Durch die konsistente Abbildung der verschiedenen Schichten in einer einzigen Datenbank werden Wahrnehmungskonflikte robust erkannt und behandelt. Jede Schicht kann die Umgebung unterschiedlich abbilden, jedoch sind dabei alle Schichten zueinander konsistent. Die 3D-Punkte werden in einer Diskretisierungskarte, einer sogenannten Shape-Schicht, gespeichert, korrigiert und akkumuliert. Diese Punkte stehen in einer kontinuierlichen Relation zu den dazugehörigen Objekten aus der Objektschicht. Eine Freirauminformation und Straßenhöhenverlauf werden mithilfe einer Belegungskarte sowohl in der horizontalen als auch vertikalen Ebene geschätzt.
  • Mit dem vorgeschlagenen Konzept für die Sensordatenfusion mit interner Redundanz gelingt es, die Schwächen klassischer Ansätze zu umgehen. Damit kann eine hochpräzise Umfeldwahrnehmung für autonomes Fahren ermöglicht werden. Insbesondere können derzeitige Auswertezeiten von 150 Millisekunden auf etwa 80 Millisekunden reduziert werden. Dies kann dabei helfen, autonomes Fahren im Bereich von Level 3 robuster zu machen. Das Zusammenspiel von bereits erprobten Fusionsansätzen und das Einbeziehen der Rohdaten der Sensoren erlauben eine robustere Modellierung der Umwelt und eine größere Toleranz gegenüber systematischen Fehlern der Sensoren.
  • Dabei ist dieser Ansatz kompatibel mit aktuellen Standards bei der Einführung und Wartung von Software in Serienprojekten. Durch die Fusion auf Rohdatenebene wird versucht, die Stärken der einzelnen Sensoren zu kombinieren und deren Schwächen zu kompensieren. Insbesondere werden zur Bildung der ersten Objekthypothese OH1 die jeweiligen Sensordaten separat ausgewertet. Betreffend die zweite Objekthypothese OH2 können vergangene Sensordaten die historischen Sensordaten 14 zusätzlich berücksichtigt werden. Bezüglich der historischen Sensordaten 14 kann ebenfalls eine Sensorquernutzung erfolgen. Dies bedeutet, dass zum Ermitteln der zweiten Objekthypothese OH2 Sensordaten unterschiedlicher Sensoren zum Einsatz kommen können. Dazu werden klassische und erprobte Verarbeitungsansätze auf den Umgang mit rohen Messdaten erweitert, um interne redundante Verarbeitungspfade zu erstellen. Das Ermitteln der ersten Objekthypothese OH1 und das Ermitteln der zweiten Objekthypothese OH2 stellen jeweils einen eigenen Verarbeitungspfad dar. Das Einbeziehen der vorgegebenen Auswertung 30 stellt den dritten Verarbeitungsweg dar. Damit können die Probleme von klassischen Ansätzen umgangen werden. Zusätzlich ist die vorgestellte Sensordatenfusion sehr flexibel und es ist jederzeit problemlos möglich, den Superpositionssensor als weitere Datenquelle hinzuzufügen. Somit können die Vorteile des Superpositionssensors in diese Fusionsvorrichtung 18 mit einfließen.

Claims (13)

  1. Verfahren zur Fusion von Sensordaten von mehreren Sensoren betreffend mehrere Zeitpunkte, durch Ausführen folgender Verfahrensschritte: a) Ermitteln einer ersten Objekthypothese (OH1) separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten, wobei die jeweiligen Sensordaten sich jeweils auf einen einzigen Sensor sowie jeweils einen von mehreren ersten Zeitpunkten beziehen, b) Ermitteln einer zweiten Objekthypothese (OH2) für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten und von historischen Sensordaten (14) zumindest des einzelnen jeweiligen Sensors oder mehrerer Sensoren betreffend einen Zeitraum vor dem ersten Zeitpunkt, wobei die historischen Sensordaten (14) auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert werden (36), c) Fusionieren (38) der ersten Objekthypothese (OH1) mit der zweiten Objekthypothese (OH2), d) Erzeugen eines Korrektursignals (22) zum Korrigieren (40) weiterer Objekthypothesen und/oder weiterer Sensordaten in Abhängigkeit von einem Ergebnis des Fusionierens (38), wobei in Abhängigkeit von dem Korrektursignal (22) die historischen Sensordaten (14) korrigiert werden (40).
  2. Verfahren nach Anspruch 1, wobei für das Fusionieren (38) der ersten mit der zweiten Objekthypothese (OH1, OH2) eine semantische und/oder euklidische Distanz jeweils von Sensordaten eines einzelnen Sensors zum entsprechenden ersten Zeitpunkt zu den dazugehörigen historischen Sensordaten (14) des jeweiligen einzelnen Sensors ermittelt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei für das Ermitteln der ersten und zweiten Objekthypothese (OH2) eine Segmentierung der Sensordaten, eine Extraktion einer Bodenebene und/oder eine Zuordnung von Messpunkten (34) zu einem Objekt durchgeführt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Ermitteln der ersten und/oder zweiten Objekthypothese (OH2) mithilfe der Sensordaten eine Geometrie (32), Kontur, Position, Ausrichtung eines Objekts, dessen Bewegung, Bewegungsrichtung und/oder weitere angrenzende Objekte ermittelt werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensordaten von den jeweiligen ersten Zeitpunkten zu den historischen Sensordaten (14) hinzugefügt werden.
  6. Verfahren nach Anspruch 5, wobei zum Ermitteln der zweiten Objekthypothese (OH2) historische Sensordaten (14) verwendet werden, welche Messungen zu mehreren Zeitpunkten vor dem ersten Zeitpunkt beinhalten.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnis des Fusionierens (38) mithilfe einer vorgegebenen Auswertung (30) betreffend den einzelnen Sensor validiert wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens Sensordaten eines Sensors der mehreren Sensoren zusätzlich oder ausschließlich für ein Validieren (42) des Ergebnisses des Fusionierens (38) verwendet werden.
  9. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen.
  10. Computerlesbarer Datenträger, auf dem das Computerprogrammprodukt nach Anspruch 9 gespeichert ist.
  11. Fusionsvorrichtung (18) zum Fusionieren von Sensordaten von mehreren Sensoren betreffend mehrere Zeitpunkte, mit - einer Eingangseinheit (13) zum Empfangen von Sensordaten der mehreren Sensoren, - einer Recheneinheit (16), welche ausgestaltet ist, - eine erste Objekthypothese (OH1) separat für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von jeweiligen Sensordaten zu ermitteln, wobei die jeweiligen Sensordaten sich jeweils auf einen einzigen Sensor sowie jeweils einen von mehreren ersten Zeitpunkten beziehen, - eine zweite Objekthypothese (OH2) für jeden einzelnen Sensor der mehreren Sensoren in Abhängigkeit von den jeweiligen Sensordaten und von historischen Sensordaten (14) zumindest des einzelnen jeweiligen Sensors oder mehrerer Sensoren betreffend einen Zeitraum vor dem ersten Zeitpunkt zu ermitteln, wobei die historischen Sensordaten (14) auf den jeweiligen ersten Zeitpunkt des dazugehörigen Sensors prädiziert werden, - die erste Objekthypothese (OH1) mit der zweiten Objekthypothese (OH2) zu fusionieren (38), - ein Korrektursignal (22) in Abhängigkeit von einem Ergebnis des Fusionierens (38) zu erzeugen (40), und - die historischen Sensordaten (14) in Abhängigkeit von dem Korrektursignal (22) zu korrigieren (40) und mit - einer Ausgabeeinheit (20) zum Bereitstellen des Korrektursignals (22) und/oder fusionierter Sensordaten (24).
  12. Sensoreinrichtung (12) mit mehreren Sensoren und mit der Fusionsvorrichtung (18) nach Anspruch 11, wobei die Sensoreinrichtung (12) ausgestaltet ist, Sensordaten von einer Umgebung der Sensoreinrichtung (12) für die Recheneinheit (16) bereitzustellen.
  13. Kraftfahrzeug (10) mit einer Sensoreinrichtung (12) nach Anspruch 12.
DE102018220024.6A 2018-11-22 2018-11-22 Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren Active DE102018220024B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018220024.6A DE102018220024B3 (de) 2018-11-22 2018-11-22 Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018220024.6A DE102018220024B3 (de) 2018-11-22 2018-11-22 Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren

Publications (1)

Publication Number Publication Date
DE102018220024B3 true DE102018220024B3 (de) 2020-03-12

Family

ID=69621013

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018220024.6A Active DE102018220024B3 (de) 2018-11-22 2018-11-22 Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren

Country Status (1)

Country Link
DE (1) DE102018220024B3 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019123483A1 (de) * 2019-09-02 2021-03-04 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
CN113362395A (zh) * 2021-06-15 2021-09-07 上海追势科技有限公司 一种基于传感器融合的环境感知方法
WO2021190922A1 (de) * 2020-03-24 2021-09-30 Zf Friedrichshafen Ag Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems
DE102020119954A1 (de) 2020-07-29 2022-02-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen einer Belegungsgitterkarte für zumindest ein statisches Objekt, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102020210816A1 (de) 2020-08-27 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem
DE102022117279A1 (de) 2022-07-12 2024-01-18 Valeo Schalter Und Sensoren Gmbh Verfahren und Fahrunterstützungssystem zum sequentiellen Verarbeiten von sequentiell bereitgestellten Sätzen von Sensorinformationen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009006113A1 (de) * 2008-03-03 2009-09-10 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017126877A1 (de) * 2016-11-17 2018-05-17 Gm Global Technology Operations, Llc Automatisierte Copilot-Steuerung für autonome Fahrzeuge
DE102018101505A1 (de) * 2017-01-31 2018-08-02 GM Global Technology Operations LLC Effizientes situationsbewusstsein von wahrnehmungsströmen in autonomen fahrsystemen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009006113A1 (de) * 2008-03-03 2009-09-10 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017126877A1 (de) * 2016-11-17 2018-05-17 Gm Global Technology Operations, Llc Automatisierte Copilot-Steuerung für autonome Fahrzeuge
DE102018101505A1 (de) * 2017-01-31 2018-08-02 GM Global Technology Operations LLC Effizientes situationsbewusstsein von wahrnehmungsströmen in autonomen fahrsystemen

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019123483A1 (de) * 2019-09-02 2021-03-04 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102019123483B4 (de) 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
WO2021190922A1 (de) * 2020-03-24 2021-09-30 Zf Friedrichshafen Ag Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems
DE102020119954A1 (de) 2020-07-29 2022-02-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen einer Belegungsgitterkarte für zumindest ein statisches Objekt, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102020210816A1 (de) 2020-08-27 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem
CN113362395A (zh) * 2021-06-15 2021-09-07 上海追势科技有限公司 一种基于传感器融合的环境感知方法
DE102022117279A1 (de) 2022-07-12 2024-01-18 Valeo Schalter Und Sensoren Gmbh Verfahren und Fahrunterstützungssystem zum sequentiellen Verarbeiten von sequentiell bereitgestellten Sätzen von Sensorinformationen

Similar Documents

Publication Publication Date Title
DE102018220024B3 (de) Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
DE102018218220A1 (de) Steuergerät für ein Fahrzeug
WO2016188523A1 (de) Verfahren zur schätzung von fahrstreifen
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102018127990A1 (de) Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE102019123483B4 (de) Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
DE102017212513A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
DE102016220450A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Abschätzung einer Kollisionswahrscheinlichkeit zwischen einem Fortbewegungsmittel und einem Umgebungsobjekt
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE112021000482T5 (de) Erkennung von fremdkörpern in einem fahrzeugweg
DE102017205245A1 (de) Freibereichsfusion für Fahrerassistenzsysteme
DE102016202317A1 (de) Verfahren zum steuern von fahrzeugfunktionen durch ein fahrerassistenzsystem, fahrerassistenzsystem und fahrzeug
DE102022103324A1 (de) System und Verfahren zur Erkennung von Inkonsistenzen in Wahrnehmungssystemen von automatisierten Fahrzeugen.
DE102022000849A1 (de) Verfahren zur Erzeugung einer Umgebungsrepräsentation für ein Fahrzeug
DE102014204933A1 (de) Verfahren und eine Vorrichtung zur Erzeugung eines Segmentierungs-Layers
DE102021207609A1 (de) Verfahren zur Kennzeichnung eines Bewegungsweges
WO2021078335A1 (de) Verfahren zur erfassung eines zielobjekts
DE102022207736B3 (de) Verfahren zur Bestimmung des rückwärtigen Verlaufs einer Straßengrenze eines Fahrzeuges sowie Assistenzsystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final