DE102022212266A1 - Maschinell gelernte Verkehrssituations-Vervollständigung - Google Patents

Maschinell gelernte Verkehrssituations-Vervollständigung Download PDF

Info

Publication number
DE102022212266A1
DE102022212266A1 DE102022212266.6A DE102022212266A DE102022212266A1 DE 102022212266 A1 DE102022212266 A1 DE 102022212266A1 DE 102022212266 A DE102022212266 A DE 102022212266A DE 102022212266 A1 DE102022212266 A1 DE 102022212266A1
Authority
DE
Germany
Prior art keywords
model
algorithm
road users
data set
trajectories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022212266.6A
Other languages
English (en)
Inventor
Sebastian Frank
Christoph Thiem
Ulrich Eberle
Nico Weber
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto Sas Fr
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Priority to DE102022212266.6A priority Critical patent/DE102022212266A1/de
Priority to PCT/EP2023/080306 priority patent/WO2024104775A1/de
Publication of DE102022212266A1 publication Critical patent/DE102022212266A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen eines Modells für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch unvollständig erfassten Verkehrssituation, aufweisend die Schritte: Bereitstellen (S1) eines vollständigen Datensatzes über eine Verkehrssituation, umfassend die Trajektorien eines Ego- Fahrzeugs (1) und aller weiterer Verkehrsteilnehmer (3); Reduzieren (S2) des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer (3); Erzeugen (S3) des Modells durch maschinelles Lernen mit Eingangsgrößen aus dem reduzierten Datensatz und Ausgangsgrößen des Modells aus dem vollständigen Datensatz, sodass das Modell dazu ausgelegt wird, aus einem unvollständigen Datensatz einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer (3) zu erzeugen; hierbei wird das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt.

Description

  • Die Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, sowie ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation.
  • Zur Steuerung von automatisierten Fahrzeugen bzw. zur Ausführung eines Fahrerassistenzsystems eines manuell geführten Fahrzeugs erfolgt typischerweise eine Prädiktion des Verhaltens anderer Verkehrsteilnehmer, insbesondere in Bezug auf ihre Trajektorien - im Sinne der Aktion und der Reaktion der Verkehrsteilnehmer. Zum Zwecke der Prädiktion werden typischerweise relevante Szenarien betrachtet, die zum Beispiel in einer Birds-Eye-View-Simulation (eine Simulation mit Informationen aus der Vogelperspektive) dazu genutzt werden, Verkehrsumgebungen mit agierenden und reagierenden Verkehrsteilnehmern zu modellieren. Idealerweise dienen als Grundlage dieser Verkehrsumgebungsmodelle vollständige Beschreibungen von Szenarien, deren Informationen zum Beispiel durch den Einsatz von Drohnen zur Verkehrsüberwachung gewonnen werden. In der Regel liegen solche Daten aus der Vogelperspektive, gewonnen beispielsweise durch den Einsatz unbemannter Luftfahrzeuge oder anderer stationärer Verkehrsüberwachungssysteme, im regulären Betrieb eines Fahrzeugs jedoch nicht vor. Es muss in all diesen Fällen auf die alternative Möglichkeit ausgewichen werden, Daten aus jeweiliger Ego-Perspektive eines Fahrzeugs während seines Betriebs im Verkehrsgeschehen zu verwenden - dies wird auch als Shadowing bezeichnet. Diese Daten können jedoch per se nicht unmodifiziert für eine vollständige Kenntnis der Umgebung genügen, da mit den Sensoren der Fahrzeuge nicht alle Informationen wie aus der Vogelperspektive erkannt werden können (zum Beispiel durch Verdeckungen von Verkehrsteilnehmern oder durch eine eingeschränkte Perspektive).
  • Aufgabe der Erfindung ist es deshalb, eine Nutzbarmachung von unvollständigen Verkehrsdaten, die insbesondere aus der Egoperspektive eines Verkehrsteilnehmers erfasst wurden (nach dem sogenannten individuellen Shadowing), zuverlässig durch Vervollständigung zu ermöglichen.
  • Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
  • Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte:
    • - Bereitstellen eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs und die Trajektorien aller weiterer Verkehrsteilnehmer der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst;
    • - Reduzieren des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz;
    • - Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrö-ßen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer zu erzeugen; hierbei wird das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt.
  • Das Modell oder der Algorithmus, der nach dem erfindungsgemäßen Verfahren erzeugt wird, dient - wenn fertig erzeugt - zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs erfassten Verkehrssituation. Ob ein Modell oder ein Algorithmus verwendet wird, ist Auslegungsfrage. Während für ein Modell ein künstliches neuronales Netz verwendet werden kann, können auch weitere Schätzer angewendet werden, wie zum Beispiel ein Hidden Markov Modell, bei welchem die unvollständigen Daten als Emissionen des Systems betrachtet werden. Im Gegensatz zu solchen Modellen ist ein Algorithmus eine sequenzielle Abfolge von Instruktionen. Beispielsweise ist ein Kalman-Filter ein Algorithmus, und kein Modell. Modell und Algorithmus unterscheiden sich zwar in den oben genannten Punkten, sind jedoch funktionell gleichwertig, um ein System bereitzustellen, das sich zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines (Ego-)Fahrzeugs erfassten Verkehrssituation eignet.
  • Die Verkehrssituation umfasst dabei zumindest die Trajektorien des betrachteten Fahrzeugs, auch zu bezeichnen als Ego- Fahrzeug, als auch der weiteren Verkehrsteilnehmer.
  • Der Begriff der Trajektorie ist jedoch auch dann gerechtfertigt, wenn sich das Ego- Fahrzeug oder die weiteren Verkehrsteilnehmer nicht bewegen, da der Begriff der Trajektorie eine Bahnkurve mit Zeitinformation angibt, und demnach auch eine statische Position durch eine Bahnkurve mit Zeitinformation beschrieben werden kann.
  • Der vollständige Datensatz beschreibt demnach eine Verkehrssituation, in welcher sich sowohl das Ego- Fahrzeug als auch die weiteren Verkehrsteilnehmer befinden. Das Ego-Fahrzeug ist das betrachtete Fahrzeug, das in Analogie zur Trainingsphase das fertig trainierte Modell bzw. den fertig ausgelegten Algorithmus für die Vervollständigung von Daten über die sensorisch aus seiner Egoperspektive erfassten Daten in seinem regulären Betrieb anwenden könnte. Hierbei ist es nicht notwendig, dass im vollständigen Datensatz das Ego-Fahrzeug bereits ein solches Modell bzw. ein solcher Algorithmus vorgesehen ist, denn der vollständige Datensatz dient nur zum Training eines solchen Modells bzw. Algorithmus, und das System zum Ausführen des fertigen Modells bzw. Algorithmus ist für den späteren regulären Betrieb eines Fahrzeugs vorgesehen und im vollständigen Datensatz noch nicht notwendigerweise funktional enthalten.
  • Das Ego-Fahrzeug im vollständigen Datensatz definiert jedoch in seiner Rolle die Ego-Perspektive, nach der die Daten des vollständigen Datensatzes oder des bereits reduzierten Datensatzes zu richten sind, als wären die Daten sensorisch aus dieser Ego-Perspektive erfasst worden. Dabei kann es notwendig werden, dass der reduzierte Datensatz so aufbereitet wird, als wären die Daten aus dem jeweiligen Datensatz aus einer Egoperspektive des Fahrzeugs mit dem System zur Ausführung des Modells bzw. des Algorithmus erfasst worden; dann spielt es keine Rolle, ob zunächst der vollständige Datensatz so transformiert wird (wenn er es noch nicht bereit ist), als wäre er sensorisch aus der Ego-Perspektive dieses betrachteten Ego- Fahrzeugs ermittelt worden, oder ob zuerst der vollständige Datensatz entsprechend reduziert wird, und der reduzierte Datensatz so transformiert wird (wenn er es noch nicht bereits ist), als wäre er sensorisch aus der Ego-Perspektive dieses betrachteten Ego-Fahrzeugs ermittelt worden.
  • Das oben Gesagte kann insbesondere dann zutreffen, wenn der vollständige Datensatz in seiner ursprünglichen Form Informationen aus der Vogelperspektive umfasst. Mögliche Trainingsdatensätze aus Drohnenperspektive wären z.B. der HighD-Datensatz („HighD Dataset“ von www.highd-dataset.com) oder im urbanen Raum der InD-Datensatz („inD Dataset“ von www.ind-dataset.com). Durch die Vollständigkeit der Daten ist eine sogenannte „Ground-Truth“ verfügbar. Eine solche Vogelperspektive kann jedoch nicht durch eigene Sensoren des Ego- Fahrzeugs aus der Egoperspektive ermittelt werden. Es kann dann eine Transformation vorzunehmen sein, die die Daten auf die Sensorsicht des Ego-Fahrzeugs referenziert. Dies dient zur Konsistenzwahrung, sodass beim Training des Modells bzw. des Algorithmus Eingangsdaten mit vergleichbarem Bezug und vergleichbaren Sichtweisen verwendet werden, wie im späteren Betrieb des Fahrzeugs bei der Anwendung des fertig trainierten Modells bzw. fertig ausgelegten Algorithmus.
  • Eine Transformation in die Egoperspektive des Ego- Fahrzeugs ist jedoch nicht notwendig, wenn sowohl zum Training des Modells bzw. zur Auslegung des Algorithmus sowie auch während des späteren Betriebs des fertig trainierten Modells bzw. des fertig ausgelegten Algorithmus bereits interpretierte Sensordaten im jeweiligen Datensatz verwendet werden, beispielsweise ermittelte Trajektorien von für die Sensoren des Ego- Fahrzeugs erkennbare weitere Verkehrsteilnehmer. In diesem Fall ist in den Eingangsdaten des Modells bzw. des Algorithmus keine Information mehr über die Perspektive enthalten, mit der die weiteren Verkehrsteilnehmer erfasst worden sind. Es ist vielmehr die Perspektive aufgelöst und zu Informationen über das Verkehrsgeschehen abstrahiert.
  • Das Reduzieren des vollständigen Datensatzes um einen oder mehrere der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz erfolgt bevorzugt nur insoweit, dass immer zumindest ein weiterer Verkehrsteilnehmer im reduzierten Datensatz übrigbleibt, um eine Datengrundlage zur Schätzung des Verhaltens weiterer Teilnehmer zu ermöglichen, auf Basis des Verhaltens dieses einen weiteren Verkehrsteilnehmers.
  • Das Erzeugen des Modells bzw. des Algorithmus erfolgt durch maschinelles Lernen. Im Falle von künstlichen neuronalen Netzen kann dies durch die sogenannte „back propagation“ erfolgen. Insbesondere ist das maschinelle Lernen in einer Form des überwachten Lernens durchgeführt. Beim Erzeugen des Modells bzw. des Algorithmus werden im Falle eines künstlichen neuronalen Netzes die Parameter (Gewichte) - und in seltenen komplexen Fällen optional zusätzlich die Struktur des künstlichen neuronalen Netzes wie die Anzahl der Ebenen (sogenannte „Layer“) - angepasst. Unabhängig davon, ob ein Modell oder ein anpassbarer Algorithmus verwendet wird, ist stets eine Voraussetzung der Erzeugung, dass Eingangsdaten vorgegeben werden und zu den Eingangsdaten zugehörige Ausgangsdaten ebenfalls vorgegeben werden, und die Übertragung durch das Modell bzw. den Algorithmus insbesondere iterativ angepasst wird, bis das Modell bzw. der Algorithmus selbstständig auf lediglich die Eingangsdaten hin zu Ausgangsdaten gelangt, die den vorgegebenen entsprechen. Ist dieser Zustand erreicht, ist das fertig trainierte Modell bzw. der fertig ausgelegte Algorithmus in der Lage, mit aktuellen Eingangsdaten aus der Realität entsprechende Ausgangsdaten zu ermitteln, die bestimmungsgemäß der Realität entsprechen mögen, in diesem Fall eine korrekte Vervollständigung von Daten über weitere Verkehrsteilnehmer.
  • Bevorzugt erfolgt das maschinelle Lernen mit den vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz so, dass Daten des vollständigen Datensatzes verwendet werden, die im reduzierten Datensatz nicht vorhanden sind. Insbesondere umfassen die vorgegebenen Ausgangsgrößen sämtliche Daten des vollständigen Datensatzes.
  • Bevorzugt ist das Modell bzw. der Algorithmus auch dazu in der Lage, zu erkennen, ob sämtliche relevanten Akteure des Szenarios im Datensatz vorliegen. Zusätzlich hierzu kann der reduzierte Datensatz, und insbesondere ein auf mehrere Weisen reduzierter vollständiger Datensatz, für weitere Zwecke dienen, insbesondere Training, Validierung und Tests von den erhaltenen Modellen und Algorithmen. Weiterhin kann vorgesehen sein, dass im Begriff des „Modells“ eine Vielzahl von Teilmodellen inbegriffen ist, indem beispielsweise für jeden geschätzten weiteren Verkehrsteilnehmer und dessen Trajektorien ein eigenes abgrenzbares Teilmodell ausgeführt wird. Die Vielzahl dieser Teilmodelle wird jedoch unter dem oben und im Folgenden gebrauchten Begriff des „Modells“ verstanden. Ähnliches gilt für den Algorithmus.
  • Das maschinelle Lernen nutzt dabei insbesondere implizit bekannte Situationen und Muster aus, wie beispielsweise die Reaktion eines sensorisch für das Ego- Fahrzeug beobachtbaren weiteren Verkehrsteilnehmers auf einen dritten Verkehrsteilnehmer, der jedoch sensorisch für das Ego- Fahrzeug nicht erkennbar ist. Eine solche Reaktion kann beispielsweise ein Ausweichen sein, ein Vorfahrt-Gewähren, oder Ähnliches. Aus der Reaktion des weiteren Verkehrsteilnehmers, welcher sensorisch erfasst wird, kann somit auf die Anwesenheit und die Trajektorie des dritten weiteren Verkehrsteilnehmers geschlossen werden - dies entspricht der Vervollständigung des Datensatzes, welcher im vorliegenden Beispiel zunächst unvollständig ist und zunächst nur den sensorisch für das Ego-Fahrzeug beobachtbaren weiteren Verkehrsteilnehmer umfasst.
  • Wenn das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird, kann dabei einerseits in jeder Wiederholung derselbe vollständige Datensatz zum Vorgeben der Ausgangsdaten verwendet werden, oder andererseits auch der vollständige Datensatz ausgewechselt werden, um eine neue Datenbasis für eine weitere Vielzahl reduzierter Datensätze zu bieten.
  • Der Begriff „plausibel“ wird hierbei verwendet, da das Modell bzw. der Algorithmus die Verkehrssituation auf eine realistische Weise vervollständigen soll, sodass eine rekonstruierte Verkehrssituation mit Vervollständigung zu dem gleichen Datensatz des aufzeichnenden Fahrzeuges führen würde. Trotzdem kann sich die real aufgezeichnete Situation von der rekonstruierten unterscheiden. Ein reales Ego- Fahrzeug würde zum Beispiel die Fahrt bei kreuzendem Verkehr verlangsamen, unabhängig davon, ob es sich bei dem kreuzenden Verkehr um einen LKW oder ein Fahrrad handelt.
  • Es ist daher eine vorteilhafte Wirkung der Erfindung, dass ein Modell bzw. ein Algorithmus bereitgestellt wird, der es ermöglicht, unvollständig erfasste Daten über eine Verkehrssituation plausibel zu vervollständigen. Es wird demnach die sogenannte „Ground-Truth“ aus individuellen Shadowing-Aufzeichnungen rekonstruiert, ohne dass hierfür eine stationäre Verkehrsüberwachung notwendig wäre - vielmehr werden aus bereits vorhandenen Daten zusätzliche Informationen zur Schätzung nicht sensorisch erfasster Realität gewonnen.
  • Gemäß einer vorteilhaften Ausführungsform wird eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen.
  • Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Modell bzw. der Algorithmus eine Plausibilitätskontrolle, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird.
  • Gemäß einer weiteren vorteilhaften Ausführungsform sind im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert.
  • Das prinzipielle Vorgehen beim Training des Modells bzw. Auslegen des Algorithmus ist, dass zu jedem Verkehrsteilnehmer auf Basis von einem oder mehreren Modellen eine oder mehrere plausible Trajektorien geschätzt werden. Weicht ein Verkehrsteilnehmer von diesen Trajektorien ab, verhält sich also auffällig bzw. unplausibel, wird diese Abweichung durch das Zufügen weiterer Verkehrsteilnehmer versucht in ein plausibles Verhalten zu überführen.
  • Da es prinzipiell dafür unendlich viele Möglichkeiten gibt, werden beim Hinzufügen von Verkehrsteilnehmern verschiedene Punkte beachtet: Zieht ein Fahrzeug plötzlich nach links und anschließend wieder zurück in die Mitte des Fahrstreifens, wird ein Verkehrsteilnehmer z.B. Fußgänger, der auf die Straße läuft, eher auf die rechte Seite des Fahrzeugs per Schätzung platziert.
  • Gemäß einer weiteren vorteilhaften Ausführungsform wird das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer an Orten per Schätzung platziert werden, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen.
  • Gemäß einer weiteren vorteilhaften Ausführungsform werden beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer entfernt, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen.
  • Ein weiterer Aspekt der Erfindung betrifft ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation Trajektorien der weiteren Verkehrsteilnehmer umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego-Fahrzeugs enthalten sind.
  • Gemäß einer weiteren vorteilhaften Ausführungsform ist das System für ein erstes Ego-Fahrzeug und dazu ausgeführt, durch Datenfusion von einem zweiten Ego- Fahrzeug übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego- Fahrzeugs zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren.
  • Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben.
  • Bevorzugt werden die jeweiligen vervollständigten Daten mit einem Wert der jeweiligen berechneten Wahrscheinlichkeit dafür versehen.
  • Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteilnehmer die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer umfassen.
  • Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
  • Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
  • Es zeigen:
    • 1: Ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung.
    • 2: Ein System für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung.
  • Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
  • 1 zeigt ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation. Die Schritte des Verfahrens umfassen:
    • - Bereitstellen S1 eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs 1 und die Trajektorien aller weiterer Verkehrsteilnehmer 3 der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst;
    • - Reduzieren S2 des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer 3 zu einem reduzierten Datensatz;
    • - Erzeugen S3 des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrö-ßen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer 3 zu erzeugen;
  • 2 zeigt ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation im Einsatz. Das System basiert auf den Ergebnissen des Verfahrens der 1 und ist beinhaltet das Ausführen eines Modells, wobei für die Ausführung des Modells Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs 1 basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer 3 umfassen, die unvollständig sein können. Das Ego- Fahrzeug 1 weist hierbei eine Vielzahl von Sensoren auf, wie Lidar, Radar, Ultraschall- Abstandssensoren, Stereokameras, etc.; einerseits weisen die Sensoren alle endliche Reichweiten auf, andererseits sind in manchen Situationen, wie die in der 2 gezeigte, durch Verdeckungen von Bäumen, Gebäuden und Ähnliches andere Verkehrsteilnehmer 3 im näheren Umfeld des Ego- Fahrzeugs 1 nicht sensorisch erfassbar. Die in der 2 dargestellten weiteren Verkehrsteilnehmer 3 sind beide relevant für das Ego- Fahrzeug 1, um das gezeigte Szenario an einer Kreuzung beurteilen zu können und über ein Entscheidungsfindungsmodul entsprechende Fahrmanöver vorzugeben zu können. Da jedoch der sensorische Erfassungsradius R begrenzt ist, wird nur der rechte untere weitere Verkehrsteilnehmer 3 erfasst, jedoch nicht der sich von oben nähernde weitere Verkehrsteilnehmer 3. Dieser liegt außerhalb des Radius R und wird außerdem durch ein Gebäude an der Kreuzung verdeckt. Der sich von dem rechten Straßenast nähernde weitere Verkehrsteilnehmer 3 wird jedoch sensorisch vom Ego- Fahrzeug 1 erfasst, sodass dessen Trajektorie unmittelbar aus den Sensordaten des Ego- Fahrzeugs 1 ermittelt werden kann. Aus dieser des sich von rechts nähernden weiteren Verkehrsteilnehmer 3 ausgeführten Trajektorie wird demnach vom Ego-Fahrzeug 1 erkannt, dass sich dieser weitere Verkehrsteilnehmer 3 in Reaktion auf etwas verändert verhält, nämlich dieser abbremst und langsam an den aus seiner Sicht von rechts einbiegenden Straßenast annähert. Das nach 1 trainierte Modell für einen jeweiligen Verkehrsteilnehmer wird mit den Daten einer digitalen Karte, der Positionsbestimmung des Ego- Fahrzeugs 1 und der bestimmten Position des rechten sensorisch erfassten weiteren Verkehrsteilnehmers 3 abgeglichen, und der Systemausgang dieses Modells erzeugt per Schätzung einen zusätzlichen weiteren Verkehrsteilnehmer 3, der nicht sensorisch erfassbar für das Ego- Fahrzeug 1 ist. Dieser per Schätzung ermittelte und hinzugefügte weitere Verkehrsteilnehmer 3 entspricht in der 2 dem sich von oben nähernden weiteren Verkehrsteilnehmer 3, dessen Existenz mit einer gewissen Wahrscheinlichkeit für das Ego- Fahrzeug 1 fortan angenommen wird. Die Trajektorie des weiteren Verkehrsteilnehmers 3 ist demnach insoweit für das Ego- Fahrzeug 1 bekannt, als dass in den Ausgangsdaten des Modells beinhaltet ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 in der aus Sicht des Ego- Fahrzeugs 1 oberen Straße befindet, mit Fahrtrichtung nach unten, sodass dieser zusätzliche weitere Verkehrsteilnehmer 3 in einer Vorfahrtsituation für den sensorisch erfassbaren weiteren Verkehrsteilnehmer 3 auftaucht und damit zu rechnen ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 von oben in einem relevanten Bereich um das Ego- Fahrzeug 1 in Kürze befinden wird. Es entstehen an diesem Punkt Alternativen einer Bifurkation - beide Alternativen werden hierbei vom Modell ausgegeben und in ein Entscheidungsmodul des Ego- Fahrzeugs 1 zur Bestimmung des weiteren eigenen Verhaltens überführt.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
  • Bezugszeichenliste
    • 1
    Ego- Fahrzeug
    3
    Verkehrsteilnehmer
    S1
    Bereitstellen
    S2
    Reduzieren
    S3
    Erzeugen
    R
    sensorischer Erfassungsradius

Claims (10)

  1. Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte: - Bereitstellen (S1) eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs (1) und die Trajektorien aller weiterer Verkehrsteilnehmer (3) der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst; - Reduzieren (S2) des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer (3) zu einem reduzierten Datensatz; - Erzeugen (S3) des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus einem unvollständigen Datensatz durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer (3) zu erzeugen; wobei das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird.
  2. Verfahren nach Anspruch 1, wobei eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Modell bzw. der Algorithmus eine Plausibilitätskontrolle umfasst, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug (1) sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer (3) bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers (3) von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers (3) vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer (3) erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird.
  4. Verfahren nach Anspruch 3, wobei im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert sind.
  5. Verfahren nach einem der Ansprüche 3 bis 4, wobei das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt wird, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer (3) an Orten virtuell platziert werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer (3) entfernt werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen.
  7. System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs (1) basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer (3) umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation Trajektorien der weiteren Verkehrsteilnehmer (3) umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego- Fahrzeugs (1) enthalten sind.
  8. System nach Anspruch 7, wobei das System für ein erstes Ego- Fahrzeug (1) ist und dazu ausgeführt ist, durch Datenfusion von einem zweiten Ego- Fahrzeug (1) übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego-Fahrzeugs (1) zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren.
  9. System nach einem der Ansprüche 7 bis 8, wobei das System dazu ausgeführt ist, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben.
  10. System nach Anspruch 9, wobei das System dazu ausgeführt ist, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer (3) ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer (3) plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteilnehmer (3) die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer (3) und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer (3) umfassen.
DE102022212266.6A 2022-11-17 2022-11-17 Maschinell gelernte Verkehrssituations-Vervollständigung Pending DE102022212266A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022212266.6A DE102022212266A1 (de) 2022-11-17 2022-11-17 Maschinell gelernte Verkehrssituations-Vervollständigung
PCT/EP2023/080306 WO2024104775A1 (de) 2022-11-17 2023-10-31 Maschinell gelernte verkehrssituations-vervollständigung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022212266.6A DE102022212266A1 (de) 2022-11-17 2022-11-17 Maschinell gelernte Verkehrssituations-Vervollständigung

Publications (1)

Publication Number Publication Date
DE102022212266A1 true DE102022212266A1 (de) 2024-05-23

Family

ID=88695417

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022212266.6A Pending DE102022212266A1 (de) 2022-11-17 2022-11-17 Maschinell gelernte Verkehrssituations-Vervollständigung

Country Status (2)

Country Link
DE (1) DE102022212266A1 (de)
WO (1) WO2024104775A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014203805A1 (de) 2014-03-03 2015-09-03 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zur Erkennung eines sensorisch nicht erfassbaren Kollisionspartners
DE102017212277B3 (de) 2017-07-18 2018-09-06 Robert Bosch Gmbh Gefahrerkennung bei beabsichtigtem Spurwechsel
DE102020004341A1 (de) 2020-07-20 2020-11-19 Daimler Ag Verfahren zum automatischen Queren eines Kreuzungsbereichs mit einem Fahrzeug
DE102021003286A1 (de) 2021-06-25 2022-01-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
US11816901B2 (en) * 2020-03-04 2023-11-14 Nec Corporation Multi-agent trajectory prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014203805A1 (de) 2014-03-03 2015-09-03 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zur Erkennung eines sensorisch nicht erfassbaren Kollisionspartners
DE102017212277B3 (de) 2017-07-18 2018-09-06 Robert Bosch Gmbh Gefahrerkennung bei beabsichtigtem Spurwechsel
DE102020004341A1 (de) 2020-07-20 2020-11-19 Daimler Ag Verfahren zum automatischen Queren eines Kreuzungsbereichs mit einem Fahrzeug
DE102021003286A1 (de) 2021-06-25 2022-01-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RWTH Aachen Universität: HighD - The highway drone dataset. 17-11-2022. S. 1-6. URL: https://www.highd-dataset.com/ [abgerufen am 2023-01-16].
RWTH Aachen Universität: inD - The intersection drone dataset. 17-11-2022. S. 1-5. URL: https://www.ind-dataset.com/ [abgerufen am 2023-01-16].

Also Published As

Publication number Publication date
WO2024104775A1 (de) 2024-05-23

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
DE102019121717A1 (de) Interaktionsbewusste entscheidungsfindung
EP3543985A1 (de) Simulieren verschiedener verkehrssituationen für ein testfahrzeug
DE102016212700A1 (de) Verfahren und System zur Steuerung eines Fahrzeugs
WO2018197083A1 (de) Verfahren, computerprogrammprodukt, computer-lesbares medium, steuergerät und fahrzeug umfassen das steuergerät zum bestimmen eines kollektiven manövers von wenigstens zwei fahrzeugen
DE102007053501A1 (de) Verfahren zur Entwicklung und/oder zum Testen wenigstens eines Sicherheits- und/oder Fahrerassistenzsystems für ein Kraftfahrzeug und Simulationsumgebung
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102017006338B4 (de) Verfahren zum effizienten Validieren und der sicheren Applikation von autonomen und teilautonomen Fahrzeugen
EP4052178A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102019105359A1 (de) Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens und einem selbstlernenden Entscheider
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102019219241A1 (de) Verfahren zum Erstellen eines Verkehrsteilnehmeralgorithmus zur Computersimulation von Verkehrsteilnehmern, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
DE102021004426A1 (de) Verfahren zum Trainieren einer autonomen Fahrfunktion
DE102020202540A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
AT524822B1 (de) Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
EP3748454B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102020201931A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Verfahren zur Optimierung eines Verkehrsflusses in einer Region, Computerprogrammprodukt sowie Kraftfahrzeug
DE102022212266A1 (de) Maschinell gelernte Verkehrssituations-Vervollständigung
DE102019101613A1 (de) Simulieren verschiedener Verkehrssituationen für ein Testfahrzeug
AT524932B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
DE102018216719A1 (de) Schlüsselbildbasierter autonomer Fahrzeugbetrieb
DE112020006532T5 (de) Computersystem und verfahren mit ende-zu-ende modellierung für einen simulierten verkehrsagenten in einer simulationsumgebung
DE102020104267A1 (de) Computerimplementiertes Regelungs- oder Folgeregelungsverfahren oder Optimierungsverfahren zur Absicherung von Steuerungsalgorithmen einer Regelung und/oder Regelungsalgorithmen
DE102019128115B4 (de) Fahrzeugmodell für Längsdynamik

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR