DE102023000357B3 - Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung - Google Patents

Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung Download PDF

Info

Publication number
DE102023000357B3
DE102023000357B3 DE102023000357.3A DE102023000357A DE102023000357B3 DE 102023000357 B3 DE102023000357 B3 DE 102023000357B3 DE 102023000357 A DE102023000357 A DE 102023000357A DE 102023000357 B3 DE102023000357 B3 DE 102023000357B3
Authority
DE
Germany
Prior art keywords
computing device
electronic computing
data
test data
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023000357.3A
Other languages
English (en)
Inventor
Zafer Kayatas
Pascal Bestle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102023000357.3A priority Critical patent/DE102023000357B3/de
Priority to PCT/EP2024/050743 priority patent/WO2024165266A1/de
Application granted granted Critical
Publication of DE102023000357B3 publication Critical patent/DE102023000357B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3696Methods or tools to render software testable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen von Testdaten (30) für eine Simulation eines Assistenzsystems (12) eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs (10) mittels einer elektronischen Recheneinrichtung (14), mit den Schritten: Vorgeben von real erfassten Trajektoriendaten (36) von zumindest einer Fahrsituation für den zumindest teilweise assistierten Fahrbetrieb des Kraftfahrzeugs (10); (S1), Extrahieren von Trainingstrajektorien aus den Trajektoriendaten (36) mittels der elektronischen Recheneinrichtung (14); (S2), Trainieren von einem variablen Autoencoder (22) der elektronischen Recheneinrichtung (14) mit den extrahierten Trainingstrajektorien; (S3, S4), Erzeugen von potentiellen Testdaten (30) für die Simulation mittels des trainierten variablen Autoencoders (22); (S5), Vergleichen der real erfassten Trajektoriendaten (36) mit den potentiellen Testdaten (30) mittels der elektronischen Recheneinrichtung (14); (S6) und Identifizieren von Testdaten (30) in Abhängigkeit von dem Vergleich für die Simulation (S7). Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine elektronische Recheneinrichtung (14).

Description

  • Die Erfindung betrifft ein Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs mittels einer elektronischen Recheneinrichtung. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine elektronische Recheneinrichtung.
  • Aus dem Stand der Technik ist bereits das automatisierte beziehungsweise assistierte Fahren von Kraftfahrzeugen bekannt. Zu den Beweggründen gehören die Verbesserung der Sicherheit, die effizientere Nutzung von Ressourcen sowie die Steigerung des Komforts. Der Sicherheitsnachweis für fortschrittliche Fahrerassistenzsysteme, welche das hochautomatisierte Fahren, stellt neue Herausforderungen für die Validierung und Prüfung dar, da der bisher übliche Ansatz, der sich in erster Linie auf reale Testfahrdaten konzentriert, das Abfahren von unzumutbar großen Strecken erfordern würde. Will man beispielsweise ein System zur Notbremsung testen, wenn ein anderes Fahrzeug auf einer Autobahn unerwartet die Spur wechselt, müssen die Entwickler für ein solches System viel Zeit aufwenden, um genügend solcher Situationen auf der Straße aufzuzeichnen. Die aufgezeichneten Situationen werden dann zum Testen des Fahrerassistenzsystems verwendet. Darüber hinaus ergeben sich neue Herausforderungen, wie die Übernahmesituation zwischen dem System und dem menschlichen Fahrer.
  • Angesichts dieser Ausführungen hat sich die Simulation als ein vielversprechendes Instrument für die Validierung von Fahrerassistenzsystemen erwiesen. Mit anderen Worten, die Simulation ermöglicht es, eine Reihe von Trajektorien der umgebenden Fahrzeuge auf der Grundlage einer begrenzten Anzahl von realen Trajektorien zu generieren, die während der Testfahrten aufgezeichnet wurden. Dabei werden reale sicherheitsrelevante Fahrsituationen, insbesondere aus der Gesamtheit der aufgezeichneten Daten der Testfahrten, ausgewählt und auf ihre Kritikalität hin bewertet. Anschließend werden solche Situationen simuliert. Unter Simulation wird hierbei die Generierung eines Satzes von Trajektorien eines oder mehrerer benachbarter Fahrzeuge verstanden, die den bei Testfahrten aufgezeichneten realen Trajektorien nahekommen, aber einen größeren Satz möglicher Trajektorien darstellen. Die Aussagekraft der Ergebnisse hängt stark davon ab, wie realistisch die simulierten Testfälle reale Verkehrssituationen abbilden können.
  • Die US 2022 / 0 100 635 A1 beschreibt dabei eine Validierung von autonomer Steuerungssoftware für den autonomen Betrieb eines Kraftfahrzeugs. Zum Beispiel wird die autonome Steuerungssoftware durch ein Fahrszenario geführt, um ein Ergebnis für die autonome Steuerungssoftware zu beobachten. Ein Validierungsmodell wird mehrere Male durch das Fahrszenario geführt, um ein Ergebnis für das Modell für jedes der mehreren Male zu beobachten. Ob die Software das Fahrszenario verstanden hat, wird anhand der Tatsache bestimmt, ob das Ergebnis für die Software anzeigt, dass ein virtuelles Fahrzeug, das von der Software gesteuert wird, während der einzelnen Zeit mit einem anderen Objektiv kollidiert ist. Ob das Validierungsmodell das Fahrszenario verstanden hat, wird auf der Grundlage bestimmt, ob das Ergebnis für das Modell anzeigt, dass ein virtuelles Fahrzeug unter Kontrolle des Modells mit einem anderen Objekt in einem der mehreren Zeitpunkte kollidiert ist. Die Software wird auf Grundlage der Feststellungen validiert.
  • DE 10 2020 113 611 A1 betrifft ein Verfahren und ein Sicherheitssystem zum Absichern einer automatisierten Fahrfunktion sowie ein entsprechendes Kraftfahrzeug. Bei dem Verfahren wird eine zeitliche Sequenz von Daten, die von einem Assistenzsystem des Kraftfahrzeugs für die automatisierte Fahrzeugfunktion verwendet werden, erfasst. Basierend auf der erfassten Sequenz von Daten wird eine automatische Vorhersage darüber gemacht, ob das Assistenzsystem innerhalb einer vorgegebenen Zeitspanne die Fahrzeugfunktion ausüben kann. Falls dies voraussichtlich nicht der Fall ist, wird automatisch ein entsprechender Hinweis für eine Bedienperson des Kraftfahrzeugs ausgegeben.
  • DE 10 2020 205 315 A1 beschreibt ein Verfahren und eine Vorrichtung zur Identifikation kritischer Fahrsituationen beim Betreiben eines autonomen Fahrzeugs. Der Prozess umfasst die Identifikation einer kritischen Fahrsituation während des Betriebs des autonomen Fahrzeugs, das Anfordern und Beschaffen von Daten von einem Backend-Server, die ähnlich zur kritischen Fahrsituation sind, seitens eines intelligenten Assistenten und die Verwendung der ähnlichen Daten zum Trainieren des automatischen Fahrsystems des autonomen Fahrzeugs.
  • DE 10 2018 222 264 A1 beschreibt ein Verfahren zur Datenvorhersage basierend auf einem Eingabedatum mittels eines Verfahrens des maschinellen Lernens, wobei parallel zu der Datenvorhersage das Eingangsdatum mittels eines Autoencoders zu einem Decoderdatum rekonstruiert wird, wobei ein Distanzkriterium in Abhängigkeit von dem Eingangsdatum und dem Decoderdatum ermittelt wird, wobei das Distanzkriterium ein Plausibilitätsmaß für die Datenvorhersage repräsentiert.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine elektronische Recheneinrichtung zu schaffen, mittels welchen ein verbessertes Erzeugen von Testdaten für die elektronische Recheneinrichtung realisiert werden kann.
  • Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine elektronische Recheneinrichtung gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs mittels einer elektronischen Recheneinrichtung. Es erfolgt das Vorgeben von real erfassten Trajektoriendaten von zumindest einer Fahrsituation für den zumindest teilweise assistierten Fahrbetrieb des Kraftfahrzeugs. Es werden Trainingstrajektorien aus den real eingefahrenen Trajektoriendaten mittels der elektronischen Recheneinrichtung extrahiert. Es wird ein variabler Autoencoder der elektronischen Recheneinrichtung mit den extrahierten Trainingstrajektorien trainiert. Es erfolgt das Erzeugen von potentiellen Testdaten für die Simulation mittels des trainierten variablen Autoencoders. Es werden die real erfassten Trajektoriendaten mit den potentiellen Testdaten mittels der elektronischen Recheneinrichtung verglichen und es erfolgt ein Identifizieren von Testdaten in Abhängigkeit von dem Vergleich für die Simulation.
  • Insbesondere wird somit ein neuartiger, auf künstlicher Intelligenz basierender Ansatz zur Erzeugung realistischer Fahrszenarien für die simulative Validierung von Assistenzsystemen vorgeschlagen. Dies erhöht sowohl die Qualität der simulativen Validierung durch realitätsgetreue Testfälle und reduziert die hohe Komplexität und den Aufwand zur mathematischen Modellierung von Fahrszenarien wird dabei ebenfalls reduziert. Insbesondere ist somit vorgesehen, dass anstelle von mathematischen Modellen und physikalischen Parametern ein mit realen Fahrdaten trainiertes KI-Modell, insbesondere der variable Autoencoder, zur Generierung von Fahrszenarien für die simulative Validierung eingesetzt wird. Dabei ist die Erfindung nicht auf die Entwicklung eines entsprechenden Modells für die künstliche Intelligenz beschränkt, sondern fasst den kompletten Workflow von der Vorverarbeitung von Rohmessdaten bis zur Integration der neu generierten Daten mittels des künstlichen Intelligenz-Modells in die gesamte Simulationsumgebung mit ein.
  • Insbesondere kann dabei vorgesehen sein, dass die potentiellen Testdaten und/oder die Testdaten derart erzeugt werden, dass mit diesen eine Ansteuerung einer Funktionseinrichtung des Assistenzsystems ermöglicht wird. Beispielsweise kann als Funktionseinrichtung eine Beschleunigungseinrichtung, eine Bremseinrichtung, eine Querbeschleunigungseinrichtung beziehungsweise Lenkeinrichtung angesehen werden. Ferner kann insbesondere auch vorgesehen sein, dass auf Basis der erzeugten Testdaten eine Ansteuerung einer Funktionseinrichtung des Assistenzsystems durchgeführt wird.
  • Insbesondere können somit die generierten Daten (Testdaten) als „Funktionsdaten“ für die Steuerung einer technischen Vorrichtung, insbesondere des Assistenzsystems, angesehen werden können, wenn diese speziell für die Zwecke ihrer beabsichtigten technischen Verwendung angepasst werden. Insbesondere kann somit auf Basis der tatsächlich generierten Testdaten eine Ansteuerung des Assistenzsystems, insbesondere entsprechende Parameter der erzeugten Trajektorie, genutzt werden, um somit eine entsprechende Auswirkung auf das Assistenzsystem, insbesondere auf ein Fahren des Kraftfahrzeugs, durchzuführen. Beispielsweise kann das Fahrerassistenzsystem zum Regeln einer Geschwindigkeit, einer Beschleunigung, eines Bremssystems oder auch als Lenkrad ausgebildet sein.
  • Weiterhin vorteilhaft ist, dass mittels eines Klassifikators der elektronischen Recheneinrichtung die Testdaten extrahiert werden. Um insbesondere genügend Daten für das Training für den Autoencoder zu haben, werden Messreihen von Testfahrten verwendet, aus denen beispielsweise mit einer Sliding-Window-Methode aufeinanderfolgende Sequenzen extrahiert werden, die dann vorverarbeitet werden können. Insbesondere wird dann ein sogenannter Klassifikator verwendet, um sicherheitsrelevante Situationen zu erkennen und diese für die Bildung einer Trainingsmenge auszuschneiden. Für das Training des Klassifikators werden markierte/gelabelte Daten verwendet, die sicherheitsrelevante Situationen darstellen. Das Training kann mit realen historischen Daten, also den real eingefahrenen Trajektoriendaten, oder mit simulierten Daten durchgeführt werden. Im Endeffekt wird der Klassifikator mit den lateralen Positionstrajektorien trainiert, um die sicherheitskritischen Situationen zu erkennen und die trajektorienrelevanten Objekte, insbesondere die, die sicherheitsrelevante Szenarien verursachen, mit ihren Trajektorien auszuschneiden.
  • Weiterhin vorteilhaft ist, wenn Trajektoriendaten gefiltert werden, sodass ein unphysikalisches Verhalten von zumindest einem Verkehrsteilnehmer in den real erfassten Trajektoriendaten entfernt wird. Dabei können beispielsweise Objekte in den Trajektoriendaten mit kurzer Existenzdauer als Geisterobjekt identifiziert und herausgefiltert werden. Ferner kann vorgesehen sein, dass die real erfassten Trajektoriendaten mit den potentiellen Testdaten qualitativ und quantitativ verglichen werden. Insbesondere hängt somit die Qualität der erzeugten Daten stark von der Qualität der Daten ab, die für das Training des Autoencoders verwendet werden. Eine umfassende Vorverarbeitung der Daten ist daher die Grundlage für eine gute Leistung bei der Erzeugung neuer Daten für die Simulation. Die Vorverarbeitung bezieht sich auf alle Transformationen der Rohdaten. Ausgangspunkt ist beispielsweise die Auswahl geeigneter Messsignale, um die Bewegungen der in der Messung enthaltenen Objekte zu charakterisieren. L-Formen, die auf der Analyse von Sensordaten basieren, werden verwendet, um die Bewegung der Verkehrsobjekte relativ zum Ego-Fahrzeug, insbesondere des Kraftfahrzeugs, welches mit den entsprechenden Sensoren ausgestattet ist, zu identifizieren.
  • Eine Kaskade verschiedener Filter, zum Beispiel Min-Max-Filter, Savitzky-Golay-Filter, wird dann verwendet, um die Messdaten zu glätten und unphysikalisches Verhalten, zum Beispiel durch Signalsprünge, zu entfernen. Darüber hinaus werden Messabschnitte mit einer geringen Dichte von verfügbaren Messungen und damit größere Unsicherheit ignoriert und Objekte mit nur kurzer Existenzdauer als Geisterobjekte identifiziert und herausgefiltert.
  • Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wie die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen.
  • Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.
  • Ferner betrifft die Erfindung auch eine elektronische Recheneinrichtung zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, mit zumindest einem variablen Autoencoder, wobei die elektronische Recheneinrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der elektronischen Recheneinrichtung durchgeführt.
  • Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauelemente auf, um entsprechende Verfahrensschritte durchführen zu können.
  • Vorteilhafte Ausgestaltungen des Verfahrens sind als vorteilhafte Ausgestaltungsformen der elektronischen Recheneinrichtung anzusehen. Die elektronische Recheneinrichtung weist beispielsweise hierzu gegenständliche Merkmale auf, um entsprechende Verfahrensschritte durchführen zu können.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Dabei zeigen:
    • 1 eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Assistenzsystems mit einer Ausführungsform einer elektronischen Recheneinrichtung;
    • 2 ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens;
    • 3 ein schematisches Blockschaltbild gemäß einer Ausführungsform eines variablen Autoencoders;
    • 4 eine schematische Draufsicht auf ein Szenario mit einer Ausführungsform eines Kraftfahrzeugs; und
    • 5 ein schematisches Diagramm für eine Datenanalyse.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • 1 zeigt eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs 10. Das Kraftfahrzeug 10 ist zumindest teilweise assistiert betrieben. Das Kraftfahrzeug 10 kann auch vollassistiert betrieben sein. Hierzu weist das Kraftfahrzeug 10 insbesondere ein Assistenzsystem 12 auf. Das Assistenzsystem 12 weist insbesondere eine elektronische Recheneinrichtung 14 auf.
  • Insbesondere ist in einer Umgebung 16 des Kraftfahrzeugs 10 ein Objekt ausgebildet, welches im Folgenden insbesondere als weiteres Kraftfahrzeug 18 dargestellt ist. Das weitere Kraftfahrzeug 18 weist eine Trajektorie 20 auf, welche beispielsweise auf die Spur des Kraftfahrzeugs 10 verläuft. Hierbei könnte es sich um eine sicherheitskritische Situation, beispielsweise um Notbremssituationen handeln, in welcher das Assistenzsystem 12 entsprechend zu reagieren hat, wenn das Kraftfahrzeug 10 in dem zumindest teilweise assistierten Fahrbetrieb ist.
  • 2 zeigt ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens. In einem ersten Schritt S1 werden real erfasste Trajektoriendaten 36 (s. 5), beispielsweise die Trajektoriendaten 20, des Objekts messtechnisch erfasst. In einem zweiten Schritt S2 erfolgt die Extraktion von Sequenzen der Messungen. In einem dritten Schritt S3 erfolgt das Vorverarbeiten der Messsignale, insbesondere die Identifikation von unphysikalischem Verhalten und sogenannten Geisterobjekten. In einem vierten Schritt S4 erfolgt die Klassifikation der Objekte, insbesondere mittels eines Klassifikators, welcher mit gelabelten Simulationsdaten antrainiert. Es erfolgt dann in einem fünften Schritt S5 die Datenerzeugung mit dem variablen Autoencoder 22 (3) für die spezifische Objektklasse. Hierzu kann zusätzlich vorgesehen sein, dass in einem sechsten Schritt S6 eine qualitative und quantitative Bewertung der entsprechenden Daten stattfindet, beispielsweise mit einer Hyperparameteroptimierung. In einem siebten Schritt S7 wird dann wiederum die Integration in die existierende Simulation durchgeführt. Im achten Schritt S8 erfolgt dann die Simulation der generierten Testdaten und insbesondere auch deren sicherheitskritische Evaluation.
  • 3 zeigt ein schematisches Blockschaltbild gemäß einer Ausführungsform eines variablen Autoencoders 22. Der variable Autoencoder 22 weist zumindest einen Encoder 24 sowie einen Decoder 26 auf, wobei sowohl der Encoder 24 als auch der Decoder 26 als gefaltetes neuronales Netzwerk ausgebildet sein können. Ferner ist ein sogenannter latenter Raum 28 gezeigt. Im Encoder 24 werden insbesondere multivariate Daten von Zeitserien verarbeitet, und im Decoder 26 erfolgt eine Rekonstruktion 34. Auf Basis der Rekonstruktion 34 und des latenten Raums 28 können die Testdaten 30 erzeugt werden.
  • Insbesondere zeigt die 3 den variablen Autoencoder 22, welcher als grundlegende Architektur des künstlichen neuronalen Netzes zur Erzeugung der Testdaten 30 verwendet wird. Der Autoencoder 22 besteht dabei aus zwei wesentlichen Teilen, insbesondere dem Encoder 24 und dem Decoder 26. Diese werden darauf trainiert, die Eingabedaten zu replizieren, indem die Eingabe in einem niedrigdimensionalen latenten Raum 28 transformiert wird, was insbesondere dem Encoderteil entspricht, und die Eingabe aus diesem latenten Raum 28 rekonstruiert wird, was insbesondere dem Decoderteil entspricht. Der Kodierer eines variablen Autoencoders 22 unterscheidet sich von dem eines regulären Autoencoders dadurch, dass er die Eingabedaten als eine multivariate latente Verteilung abbilden kann. Anschließend wird eine Stichprobe aus dieser Verteilung gezogen und durch den Decoder 26 geleitet, der eine realitätsgetreue Rekonstruktion 34 der Eingabedaten erstellt. Die neuen Daten können dabei generiert werden, indem zufällig gezogene Kodierungen durch den Decoder 26 geleitet werden.
  • Für das generative Modell sind mehrdimensionale Zeitreihen 32 vorgesehen, die aufgrund der zeitlichen Abhängigkeiten innerhalb der Signale eine besonders Herausforderung darstellen. Die Verwendung von gefalteten neuronalen Netzwerken, die üblicherweise bei Bilddaten verwendet werden, hat sich als vielversprechend erwiesen, um diese besondere Herausforderung zu bewältigen. Alternativ können beispielsweise auch tiefe neuronale Netze oder auch rekurrente neuronale Netzwerke verwendet werden. Eine Optimierung der Architektur des Netzes und des Lernprozesses erfolgt durch eine HyperparameterOptimierung in Form einer Gittersuche.
  • Um die Leistung des Autoencoders 22 zu bewerten, insbesondere wie realistisch die generierten synthetischen Daten sind, werden sowohl qualitative als auch quantitative Techniken zur Validierung eingesetzt. Bislang gibt es kein Standardverfahren zur Bewertung der Leistung generativer neuronaler Netze bei der Verwendung von Zeitreihensignalen als Eingangsdaten. Um eine differenzierte und umfassende Bewertung vornehmen zu können, werden verschiedene Eigenschaften der Daten berücksichtigt und mit Hilfe ausgewählter Metriken, die speziell für diese technischen Anwendungen konzipiert sind, qualifiziert.
  • Die Gesamtverteilung neuer Datenpunkte für jedes Merkmal unter Vernachlässigung des zeitlichen Aspekts der Daten und einer Kerndichteschätzung werden verwendet, um zu untersuchen, ob die generierten Daten die Gesamtheit der Eingabedaten abdecken.
  • Eine weitere Metrik, insbesondere Autokorrelation, berücksichtigt den zeitlichen Aspekt. Mit der Autokorrelation wird untersucht, ob die generierten Daten die zeitlichen Abhängigkeiten der Testdaten 30 abbilden. Im Einzelnen ist die Autokorrelation eine Korrelation eines Signals mit einer verzögerten Version seiner selbst. Sie misst die Beziehung zwischen dem aktuellen Wert des Signals und seinen Ursprungswerten.
  • Ferner kann auch eine Metrik namens MiVo (Mean of incoming Variance of outgoing) verwendet werden. Diese basiert auf Abstandsmaßen unter Verwendung der nächsten Nachbarn für alle Trainingsproben sowie für alle generierten Proben. MiVo ermöglicht nicht nur eine Bewertung, wie realistisch die generierten Daten sind, sondern auch, wie vielfältig sie sind. Für ein bestimmtes Szenario generierte Testdaten 30 werden dann für die Prüfung der Reaktion des Assistenzsystems 12 auf dieses Szenario verwendet.
  • 4 zeigt eine schematische Draufsicht auf ein Szenario mit einer Ausführungsform des Kraftfahrzeugs 10. Insbesondere ist eine L-Form basierend auf der Analyse von Sensordaten von einem Sensor 40 beziehungsweise eine Vielzahl von Sensoren 40 gezeigt. Aufgrund des eingeschränkten Sichtfelds nimmt ein Sensor 40 die umliegenden weiteren Kraftfahrzeuge 38 als Rückseite und eine der Seitenflächen wahr (je nachdem, welche Seite das umliegende Fahrzeug dem Sensor während des Manövers zugewandt war). Das wahrgenommene Bild erinnert an den Buchstaben L, und wird als L-Form 40 bezeichnet. L-Formen 40, die auf der Analyse von Sensordaten basieren, werden verwendet, um die Bewegung der Verkehrsobjekte relativ zum Ego-Fahrzeug, insbesondere des Kraftfahrzeugs 10, welches mit den entsprechenden Sensoren 40 ausgestattet ist, zu identifizieren.
  • 5 ein schematisches Diagramm für eine Datenanalyse. Insbesondere zeigt die 5 beispielsweise ein Fahrspurwechselmanöver. Auf der X-Achse ist die Zeit t in [s] aufgetragen und auf der Y-Achse eine laterale Distanz d in [m]. Die real erfassten Trajektoriendaten 36 sind mit einer gestrichelten Linie dargestellt und die Testdaten 30 mit einer durchgezogenen Linie. Die Trajektorien der benachbarten Kraftfahrzeuge sind in Relation zu dem Kraftfahrzeug 10 dargestellt.
  • Insbesondere kann eine Verteilung der Punkte des Trainingsdatensatzes mit der Verteilung der Trajektorienpunkte des generierten Satzes verglichen werden. Diese sind dabei ähnlich, aber nicht. Die Ausläufer gehören zu den sicherheitsrelevanten Szenarien, die einem realistischen Verhalten benachbarter Kraftfahrzeuge entsprechen, das jedoch bei realen Testfahrten nicht erfasst wurde.

Claims (10)

  1. Verfahren zum Erzeugen von Testdaten (30) für eine Simulation eines Assistenzsystems (12) eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs (10) mittels einer elektronischen Recheneinrichtung (14), mit den Schritten: - Vorgeben von real erfassten Trajektoriendaten (36) von zumindest einer Fahrsituation für den zumindest teilweise assistierten Fahrbetrieb des Kraftfahrzeugs (10); (S1) - Extrahieren von Trainingstrajektorien aus den Trajektoriendaten (36) mittels der elektronischen Recheneinrichtung (14); (S2) - Trainieren von einem variablen Autoencoder (22) der elektronischen Recheneinrichtung (14) mit den extrahierten Trainingstrajektorien; (S3, S4) - Erzeugen von potentiellen Testdaten (30) für die Simulation mittels des trainierten variablen Autoencoders (22); (S5) - Vergleichen der real erfassten Trajektoriendaten (36) mit den potentiellen Testdaten (30) mittels der elektronischen Recheneinrichtung (14); (S6) und - Identifizieren von Testdaten (30) in Abhängigkeit von dem Vergleich für die Simulation. (S7)
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die potentiellen Testdaten (30) und/oder die Testdaten (30) derart erzeugt werden, dass mit diesen eine Ansteuerung einer Funktionseinrichtung des Assistenzsystems (12) ermöglicht wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass wobei auf Basis der erzeugten Testdaten (30) eine Ansteuerung einer Funktionseinrichtung des Assistenzsystems (12) durchgeführt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels eines Klassifikators der elektronischen Recheneinrichtung (14) die Trainingstrajektorien extrahiert werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Trajektoriendaten (36) gefiltert werden, so dass ein unphysikalisches Verhalten von zumindest einem Objekt (18) in den real erfassten Trajektoriendaten (36) entfernt wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass Objekte (18) in den Trajektoriendaten (36) mit nur kurzer Existenzdauer als Geisterobjekte identifiziert und herausgefiltert werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die real erfassten Trajektoriendaten (36) mit den potentiellen Testdaten (30) qualitativ und quantitativ verglichen werden.
  8. Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung (14) dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (14) abgearbeitet werden, ein Verfahren nach einem der vorhergehenden Ansprüche 1 bis 7 durchzuführen.
  9. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 8.
  10. Elektronische Recheneinrichtung (14) zum Erzeugen von Testdaten (30) für eine Simulation eines Assistenzsystems (12) eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs (10), mit zumindest einem variablen Autoencoder (22), wobei die elektronische Recheneinrichtung (14) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 7 ausgebildet ist.
DE102023000357.3A 2023-02-06 2023-02-06 Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung Active DE102023000357B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102023000357.3A DE102023000357B3 (de) 2023-02-06 2023-02-06 Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
PCT/EP2024/050743 WO2024165266A1 (de) 2023-02-06 2024-01-14 Verfahren zum erzeugen von testdaten für eine simulation eines assistenzsystems eines zumindest teilweise assistiert betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie elektronische recheneinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023000357.3A DE102023000357B3 (de) 2023-02-06 2023-02-06 Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung

Publications (1)

Publication Number Publication Date
DE102023000357B3 true DE102023000357B3 (de) 2024-06-06

Family

ID=89661118

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023000357.3A Active DE102023000357B3 (de) 2023-02-06 2023-02-06 Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung

Country Status (2)

Country Link
DE (1) DE102023000357B3 (de)
WO (1) WO2024165266A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018222264A1 (de) 2018-12-19 2020-06-25 Robert Bosch Gmbh Verfahren, Computerprogramm, maschinenlesbares Speichermedium sowie Vorrichtung zur Datenvorhersage
DE102020205315A1 (de) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
DE102020113611A1 (de) 2020-05-20 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Sicherheitssystem zum Absichern einer automatisierten Fahrzeugfunktion und Kraftfahrzeug
US20220100635A1 (en) 2018-01-08 2022-03-31 Waymo Llc Software validation for autonomous vehicles

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220266859A1 (en) * 2021-02-24 2022-08-25 Zoox, Inc. Simulated agents based on driving log data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220100635A1 (en) 2018-01-08 2022-03-31 Waymo Llc Software validation for autonomous vehicles
DE102018222264A1 (de) 2018-12-19 2020-06-25 Robert Bosch Gmbh Verfahren, Computerprogramm, maschinenlesbares Speichermedium sowie Vorrichtung zur Datenvorhersage
DE102020205315A1 (de) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
DE102020113611A1 (de) 2020-05-20 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Sicherheitssystem zum Absichern einer automatisierten Fahrzeugfunktion und Kraftfahrzeug

Also Published As

Publication number Publication date
WO2024165266A1 (de) 2024-08-15

Similar Documents

Publication Publication Date Title
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
EP3393875B1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
DE102019124018A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
DE102021100149A1 (de) Computerimplementiertes Verfahren zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien
DE102006000916B3 (de) Vorrichtung und Verfahren zum bewerten eines dynamischen Systems
EP3622451A1 (de) Produktreifebestimmung eines technischen systems und insbesondere eines autonom fahrenden fahrzeugs
DE102023000357B3 (de) Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
AT523850A4 (de) Computergestütztes Verfahren und Vorrichtung zur wahrscheinlichkeitsbasierten Geschwindigkeitsprognose für Fahrzeuge
WO2023099066A1 (de) Simulation zur validierung einer automatisierenden fahrfunktion für ein fahrzeug
DE102020205962B3 (de) Vorrichtung und Verfahren zum Betreiben eines Prüfstands
EP4105811A1 (de) Computerimplementiertes verfahren zum szenariobasierten testen und/oder homologation von zu testenden zumindest teilweise autonomen fahrfunktionen durch key performance indicators (kpi)
DE102021110083A1 (de) Trainieren eines künstlichen neuronalen Netzwerks zum Testen einer automatischen Fahrfunktion eines Fahrzeugs
DE102020005467A1 (de) Verfahren zum Verfügbarmachen von anonymisierten, ADAS relevanten Fahrzeugdaten
DE102019218476A1 (de) Vorrichtung und Verfahren zum Messen, Simulieren, Labeln und zur Bewertung von Komponenten und Systemen von Fahrzeugen
DE102023203633A1 (de) Hybrid-Verkehrssimulation mit Agentenmodellen zum Test teleoperierter Fahrzeuge
DE102023201784A1 (de) Adaptive realdatenbasierte Simulation eines zentralisiert koordinierten Verkehrsraums
DE102022203370A1 (de) Vorrichtung und Verfahren zum Verändern eines technischen Systems oder eines technischen Ablaufs
DE102023102523A1 (de) Verfahren zum effizienten szenariobasierten Testen eines automatisierten Fahrsystems
WO2024115027A1 (de) Filmbasierte szenariengenerierung für fahrfunktionstests
WO2023247589A1 (de) Verfahren zum evaluieren eines sensormodells, verfahren zum trainieren eines erkennungsalgorithmus und sensorsystem
DE102023202130A1 (de) Universelle Transformation von Verkehrsszenariendaten in Simulationseingangsdaten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division