DE102022129009A1 - Verfahren zum Testen von automatisierten Fahrzeugfunktionen - Google Patents

Abstract

Durch die Erfindung können die Daten verschiedenster funktionaler und logischer Szenarien (alle beschrieben durch Embeddings und Trajektorien) zur Erstellung eines Metamodells kombiniert werden. Das entsprechende Metamodell kann somit auch den Ausgang funktionaler und logischer Szenarien, für die es noch keine Daten gibt, prädizieren. Da die KPIs erst aus den prädizierten Trajektorien abgeleitet werden, können auch KPIs prädiziert werden, die während der Tests nicht direkt aufgezeichnet wurden. Es muss kein neues Metamodell trainiert werden. Da in typischen Projekten zur Entwicklung automatisierter Fahrzeuge hunderte bis tausende funktionale und logische Szenarien betrachtet werden, lassen sich durch die Erfindung Testaufwände wesentlich reduzieren. Es müssen nicht für jedes logische Szenario Daten gesammelt werden, sondern es können bspw. selten auftretende Szenarien rein auf den Beobachtungen relevanter Szenarien prädiziert werden. Aus einem Satz von Basis-Daten können demnach viele weitere Szenarien prädiziert werden. Z.B. auch solche die spät in der Entwicklung oder nach abgeschlossener Entwicklung hinzukommen; Es müssen nicht notwendigerweise neue Daten eingefahren werden.

Description

• Die Erfindung betrifft ein Verfahren zum Testen von automatisierten Fahr- bzw. Fahrzeugfunktionen, wie Fahrerassistenzsystemen bzw. deren Funktionen.
• Stand der Technik
• Es existieren diverse Techniken zum Optimieren von Tests für automatisierte Fahrzeuge. Dazu gehören z. B. die in den Dokumenten DE 10 2019 124 018 A1 und DE 10 2020 120 141 A1 beschriebenen Verfahren. Es existieren weiterhin Verfahren zum Testen automatisierter Fahrfunktionen, die konkrete Testszenarien effizient und aussagekräftig testen (siehe z. B. die unveröffentlichte Patentanmeldung DE 10 2022 107 338.6 ). Letzteres Dokument beschreibt die Verwendung einer performanten und skalierbaren Testumgebung zur Ermittlung einer szenariospezifischen Gefährdungsausprägung, wobei die Testumgebung mittels eines Metamodells modelliert wird. Dabei kann es sich um ein trainiertes Klassifikations- oder Regressionsmodell handeln.
• Diesen und weiteren in der Patent- und Forschungsliteratur beschriebenen Verfahren ist gemeinsam, dass Tests immer für genau ein logisches (Test-)Szenario optimiert werden, also bestimmte Eingangsgrößen, wie Geschwindigkeiten, Abstände, etc. definiert sind, die durch einen einzelnen Vektor x beschrieben werden können. Weiterhin werden bestimmte Key Performance Indikatoren (KPIs) betrachtet, z. B. der minimale Abstand im Verlauf des Szenarios oder die minimale Zeit bis zur Kollision (TTC - Time to Collision).
• Entsprechend ist an den existierenden Verfahren nachteilig, dass sie nicht zum Testen mehrerer logischer Szenarien angewendet werden können. Selbst wenn ein logisches Szenario, das über einen Vektor x₁ parametriert wird, vollständig charakterisiert ist, können keine Aussagen über weitere logische Szenarien, die durch andere Vektoren x₂, x₃,...,x_n beschrieben werden, getroffen werden. Auch kann ein Metamodell, das auf die Prädiktion eines KPI y₁ trainiert wurde, kein KPI y₂ prädizieren. Mit anderen Worten repräsentiert jedes Szenario unterschiedliche Umgebungen mit unterschiedlichen Eingangsparametern und anderen zu bewertenden KPIs. Ein trainiertes Metamodell mit I Eingangs- und 0 Ausgabeparametern erfordert dieselben Eingaben, um neue Vorhersagen zu treffen. Das Trainieren eines Metamodells führt zu einem Mapping (Abbilddung, Zuordnung) der spezifischen Eingangsparameter auf spezifische Ausgangsparameter. Daher kann ein auf ein Szenario angelerntes Metamodell nicht dazu verwendet werden, den Ausgang eines anderen Szenarios mit verschiedenen Eingangs- und Ausgangsparametern vorherzusagen. Für jedes logische Szenario und jedes KPI müssen daher Daten gesammelt werden und ein neues Metamodell trainiert werden. Bereits trainierte Metamodelle können nicht auf andere Szenarien übertragen werden.
• Aufgabe der Erfindung
• Die Aufgabe vorliegender Erfindung ist es, ein verbessertes Verfahren zum Testen von automatisierten Fahrzeugen zur Verfügung zu stellen. Eine weitere Aufgabe vorliegender Erfindung ist es, ein Verfahren zum Testen von automatisierten Fahrzeugen zur Verfügung zu stellen, das über mehrere Testszenarien valide Prädiktionen mit unabhängigen Bewertungen (Kennzahlen) ermöglicht, ohne komplett für jedes Szenario neu trainiert werden zu müssen.
• Darstellung und Vorteile der Erfindung
• Die Aufgabe wird durch ein Verfahren zum Testen automatisierter Fahrfunktionen entsprechend den Maßnahmen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
• Das Problem der Übertragung eines Modells auf verschiedene Szenarien wird dadurch gelöst, dass ein Modell erstellt wird, welches zum Testen verschiedener Szenarien verwendet werden kann. Das Modell wird so aufgebaut, dass es Gemeinsamkeiten der zu testenden Szenarien umfasst. Dies können einzelne Trajektorien beteiligter Verkehrsteilnehmer oder konkrete Ausprägungen der Umgebung sein. Anstatt ein Modell für die Beziehung von Eingangsparameter und KPIs zu erstellen, wird ein neues Modell erstellt, welches in der Lage ist, die Trajektorie eines Ego-Fahrzeugs unabhängig von Eingangsparametern des vorliegenden Szenarios zu prädizieren. Dieses Modell wird mittels Methoden des maschinellen Lernens trainiert.
• Dazu wird das üblicherweise verwendete Regressionsmodell durch ein Bewegungsvorhersagemodell ersetzt, welches zukünftige Trajektorien des automatisierten Fahrzeugs vorhersagt. Techniken der Bewegungsprädiktion werden beispielsweise während des Betriebs automatisierter Fahrzeuge eingesetzt. Dabei müssen verschiedenste Umgebungssituationen repräsentierbar sein und die Trajektorien vieler Fahrzeuge in der Umgebung prädiziert werden. Die Eingangsparameter eines klassischen Regressionsmodells reichen dabei nicht zur Vorhersage der Trajektorien aus. Es werden daher alternative Repräsentationen der Parameter erstellt, die eine große Anzahl möglicher Szenarien abdecken und als Eingangsdaten für das Bewegungsvorhersagemodell verwendet werden können.
• Diese Repräsentationen werden maschinenlesbar als Vektoren mit relativ niedriger Dimension erstellt. Die Repräsentationen, auch Embeddings oder Einbettungen genannt, übersetzen hochdimensionale Vektoren, die die Verkehrssituation repräsentieren, in einen relativ niedrigdimensionalen Raum. Darüber hinaus können gerasterte oder vektorbasierte Darstellungen als mögliche Embeddings zur Bewegungsprädiktion und Bewegungsplanung genutzt werden.
• Die Ausgabe bzw. das Ergebnis des Bewegungsvorhersagemodells ist eine prädizierte Trajektorie des untersuchten Fahrzeugs mit automatisierter Fahrfunktion (Ego-Fahrzeug). Diese Trajektorie kann auch für unbekannte Szenarien prädiziert werden. Aus der Trajektorie wird anschließend unter Berücksichtigung der gesamten Umgebungsinformationen (andere Verkehrsteilnehmer, Karteninformationen, Hindernisse etc.) die Bewertung der Kritikalität des Szenarios ermittelt, vorzugsweise anhand definierter KPI. Die KPIs sind damit nicht mehr unmittelbar mit dem Modell verbunden. Die Trajektorien stehen nun zwischen dem Modell und den KPIs.
• Jedes sich bewegende Element in einem Fahrszenario besitzt über die verschiedenen Zeitschritte seinen eigenen Pfad. In Abhängigkeit der gewählten Repräsentation kann dieser Pfad dargestellt werden. Wird beispielsweise eine Repräsentation mit Rastergraphik gewählt, kann der Pfad als farbige Linie für jedes Element dargestellt werden. Eine vektorbasierte Repräsentation speichert demgegenüber die Start- und Endposition jedes Zeitschrittes. Da die Trajektorien entsprechend der gewählten Repräsentation ausgegeben werden, bleibt das Abbilden der Eingangs- auf die Ausgangsparameter ohne weiteres möglich.
• Der erste Schritt des erfindungsgemäßen Verfahrens zum Testen automatisierter Fahrfunktionen ist das Erzeugen einer simulierten Umgebung zum Darstellen verschiedener Szenarien. Dazu wird ein funktionales Szenario definiert. Dies erfolgt in natürlicher Sprache, z. B. „Ego-Fahrzeug folgt einem anderen Fahrzeug auf der rechten Spur einer Autobahn mit einer Geschwindigkeit von 120 km/h“. Dann werden die Eingangsparameter definiert und deren Wertebereich festgelegt, sodass das logische Szenario beschrieben wird, z. B. Spurbreite [2,40...4] m, Kurvenradius [0,6...0,9] km oder Abstand [10... 30] m.
• Daraus können im nächsten Schritt des erfindungsgemäßen Verfahrens N konkrete Szenarien anhand konkreter Ausprägungen der Parameter aus dem jeweiligen Wertebereich extrahiert werden. Dies erfolgt möglichst repräsentativ über den gesamten Parameterraum, vorzugsweise anhand einer Sobol-Sequenz. Damit können quasi-zufällige Parameterkombinationen erzeugt werden, die den gesamten Parameterraum gleichmäßig abdecken.
• Die Eingangsparameter können eine Startposition, eine Geschwindigkeit oder eine Bewegungsrichtung der beweglichen Verkehrsteilnehmer (inklusive des Ego-Fahrzeuges) beinhalten. Die Eingangsparameter können außerdem eine Länge, eine Breite oder einen Kurvenradius der zu befahrenden Straße beinhalten. Weiterhin können die Eingangsparameter Steuerparameter der zu testenden Fahrzeugfunktion, beispielsweise die maximal zulässige Beschleunigung/Verzögerung beinhalten.
• Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt das Simulieren der N extrahierten Szenarien mit vorgegebener Sequenzlänge und vorgegebenem Sequenztakt. Jedes der N extrahierten Szenarien wird auch als Testfall bezeichnet. Jeder Testfall wird z. B. über eine Dauer von 10 s (Länge Simulationssequenz) mit einer Auflösung von 0,1 s (Simulationstakt) simuliert. Bei Auftreten einer Kollision kann die Simulation unterbrochen bzw. abgebrochen werden. Jede Simulation wird entsprechend der folgenden Schritte durchgeführt. Zunächst werden die Umgebung und alle Verkehrsteilnehmer initialisiert, also die Startposition und Initialgeschwindigkeit festgelegt. Schließlich wird die Simulation gestartet. Dabei ist das Verhalten der beweglichen Verkehrsteilnehmer (außer Ego-Fahrzeug bzw. die zu untersuchende Fahrfunktion) i.d.R. vorgegeben, z.B. aus historischen Daten oder anhand vorgegebener Verhaltens- und Bremsprofile. Das Verhalten des Ego-Fahrzeugs hingegen ergibt sich in der Simulation basierend auf Reglern, die die Bewegung des Fahrzeugs in Längs- und Querrichtung (longitudinal und lateral) bestimmen. Die Reglerparameter definieren das Verhalten der automatisierten Fahrfunktion (des Ego-Fahrzeugs), beispielsweise anhand der minimalen und maximalen Beschleunigung für die longitudinale Bewegung und des maximalen Lenkwinkels für die laterale Bewegung.
• Im nächsten Schritt des erfindungsgemäßen Verfahrens werden die simulierten Szenarien als vektorisierte Repräsentationen ausgegeben. Diese umfassen die Straßenlinien, die Trajektorien aller Verkehrsteilnehmer, statische Hindernisse etc. Die Simulationsdaten in Repräsentationen (Embeddings, Einbettungen) zu speichern ist eine effektive Lösung, wenn die Daten später zum Trainieren des Bewegungsvorhersagemodells verwendet werden. Diese Embeddings können als gerasterte oder vektorisierte Repräsentationen dargestellt werden. Gerasterte Repräsentationen sind z. B. Rastergrafiken. Dabei können die Trajektorien beweglicher Verkehrsteilnehmer und die Straßeninformationen aus der Vogelperspektive gerendert werden. Vektorisierte bzw. Vektor-basierte Repräsentationen repräsentieren oder approximieren die Straßenmerkmale sowie die Trajektorien der beweglichen Verkehrsteilnehmer mittels Vektoren. Dies ist besonders vorteilhaft, wenn die Dimension des Vektors relativ niedrig ist und dadurch die Berechnung im Vergleich zu der derzeit oft verwendeten gerasterten Repräsentation effizienter durchgeführt werden kann.
• In einem nächsten Schritt des erfindungsgemäßen Verfahrens werden die vektorisierten Repräsentationen in Beobachtungswerte und Vorhersagewerte zerlegt. Beobachtungswerte bzw. Beobachtungsdaten sind die Eingangswerte, die das zu trainierende Modell erhält. Dazu zählen die Karteninformationen, genauer die Vektoren der Straßenlinien, sämtliche Trajektorien der umgebenden beweglichen Verkehrsteilnehmer sowie die Ausgangsposition des Ego-Fahrzeugs. Die Vorhersagewerte beinhalten die der Ausgangsposition folgende Trajektorie des Ego-Fahrzeugs entsprechend der Simulation der N Szenarien. Das Zerlegen der Repräsentationen in Beobachtungs- und Vorhersagewerte ermöglicht ein Maskieren der Vorhersagewerte, sodass zum Trainieren lediglich die Beobachtungswerte zur Verfügung stehen.
• In einer besonders bevorzugten Ausführungsform werden die Beobachtungswerte beim Zerlegen entsprechend einer Tensorvorgabe aufgefüllt. Die multilineare Abbildung einer bestimmten Anzahl Vektoren auf einen Vektor, der eine universelle Eigenschaft erfüllt, wird auch als Tensor bezeichnet. Hier wird der Tensor unter anderem durch die Anzahl der Umgebungsmerkmale, der Verkehrsteilnehmer und der Länge der Simulationssequenz gebildet. Treten Simulationen auf, die aufgrund einer simulierten Kollision nicht die komplette Sequenzlänge aufweisen, werden diese Szenarien mit Platzhalterwerten (z. B. Nullen) aufgefüllt. Der Umgang mit diesen Platzhalterwerten muss im zu trainierenden Modell beachtet werden. Dazu kann ebenfalls ein Maskieren verwendet werden, bei dem der Tensor mit Nullen und Einsen gefüllt wird, um dem Modell mitzuteilen, welcher Teil des Tensors beachtet (Einsen) oder ignoriert (Nullen) werden soll.
• Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt das Trainieren eines Bewegungsvorhersagemodells mittels der Beobachtungswerte, also mittels der maskierten Repräsentationen. Jedes funktionale Szenario wird durch beispielsweise 10.000 konkrete Szenarien simuliert. Diese konkreten Szenarien werden zu ca. 80% als Trainingsdaten verwendet. 20% der Daten dienen als Testdaten zur Bewertung der Modellgüte. Während des Trainierens werden dem Bewegungsmodell die Beobachtungsdaten zugeführt und das Bewegungsmodell sagt die Trajektorie des Ego-Fahrzeugs vorher. Ziel ist die Reduzierung der Abweichung zwischen vorhergesagter Trajektorie und der simulierten Trajektorie. Nach mehreren Trainingsperioden konvergieren diese Trajektorien bis zum Erreichen einer gewünschten Güte des Modells und das Bewegungsvorhersagemodell kann zur Vorhersage des Verhaltens des Ego-Fahrzeugs in bisher ungesehenen, also neuen Repräsentationen verwendet werden.
• Schließlich erfolgt im erfindungsgemäßen Verfahren das Bewerten einer automatisierten Fahrfunktion über eine Vielzahl von Szenarien hinweg unter Verwendung des trainierten Bewegungsvorhersagemodells. Dazu werden dem Bewegungsvorhersagemodell bisher nicht verwendete Szenarien (Testfälle) zugeführt. Anhand der Vorhersagen des Modells kann dann die Kritikalität der Szenarien bewertet werden. Dies erfolgt bevorzugt anhand über die gesamte Sequenzlänge hinweg ermittelter sicherheitsrelevanter Kennzahlen. Dazu werden die Kennzahlen zu jedem Zeitschritt (Sequenztakt) für die vom Bewegungsvorhersagemodell vorhergesagten Trajektorien berechnet. Bspw. können mittels des erfindungsgemäßen Bewegungsvorhersagemodells distanz-basierte sicherheitsrelevante Kennzahlen, wie der kürzeste Begegnungsabstand des Ego-Fahrzeugs relativ zu einem weiteren Verkehrsteilnehmer (DCE - distance to closest encounter) oder der Abstand zur Fahrbahnmittelline (D2TL - distance to target line) berechnet werden. Diese Kennzahlen, auch KPIs (key performance indicators) genannt, sind ein Maß für die Güte der automatisierten Fahrfunktion.
• Das erfindungsgemäße Verfahren leistet dabei einen enormen Beitrag zur Steigerung der Effizienz von Testmethoden automatisierter Fahrfunktionen. Grundsätzlich ist das Erzeugen von Simulationsdaten sehr aufwändig, genauso wie das Trainieren von Modellen mittels maschineller Lernverfahren anhand dieser Simulationsdaten. Noch aufwändiger ist das Aufbereiten realer (Verkehrs-)Daten, das sogenannte Labeling, zur Verwendung als Trainingsdaten. Bisher musste dieser Aufwand für jedes Szenario einzeln betrieben werden. Für jeden unterschiedlichen Testfall mussten also Trainingsdaten erzeugt, das Modell anhand dieser spezifischen Trainingsdaten trainiert und dann die Vorhersagen des Modells zur Bewertung der automatisierten Fahrfunktion verwendet werden. Durch die Verwendung von Repräsentationen, besonders vorteilhaft durch die Verwendung vektorisierter Repräsentationen, können Bewegungsmodelle szenarienunabhängig trainiert werden. Dadurch können automatisierte Fahrfunktionen nicht nur mittels verschiedener Ausprägungen eines Szenarios, sondern auch mittels verwandter Szenarien oder Kombinationen mehrerer Szenarien getestet werden. Ist beispielsweise das Modell mit den Szenarien „Kurvenfahrt“ und „Annähern an ein vorausfahrendes Fahrzeug“ angelernt, kann es auch zum Testen des Szenarios „Annähern an ein vorausfahrendes Fahrzeug in einer Kurve“ verwendet werden.
• Durch die Erfindung können also Daten verschiedenster funktionaler und logischer Szenarien (alle beschrieben durch Embeddings und Trajektorien) zur Erstellung eines Metamodells kombiniert werden. Das entsprechende Metamodell kann somit auch den Ausgang funktionaler und logischer Szenarien, für die es noch keine Daten gibt, prädizieren. Da die KPIs erst aus den prädizierten Trajektorien abgeleitet werden, können auch KPIs prädiziert werden, die während der Tests nicht direkt aufgezeichnet wurden. Es muss kein neues Metamodell trainiert werden. Da in typischen Projekten zur Entwicklung automatisierter Fahrzeuge hunderte bis tausende funktionale und logische Szenarien betrachtet werden, lassen sich durch die Erfindung Testaufwände wesentlich reduzieren. Es müssen nicht für jedes logische Szenario Daten gesammelt werden, sondern es können bspw. selten auftretende Szenarien rein auf den Beobachtungen relevanter Szenarien prädiziert werden, die aus einem Satz von Basis-Daten angelernt werden können. Kommen spät in der Entwicklung oder nach abgeschlossener Entwicklung neue KPIs hinzu, ändern sich gesetzliche Anforderungen, sodass bereits absolvierte Tests neu bewertet werden müssen oder wurden KPIs ursprünglich fehlerhaft ermittelt, können existierende Daten entsprechend der neuen KPIs bewertet werden. Dieser Vorteil kommt auch zum Tragen, wenn z. B. ursprünglich KPIs fehlerhaft ermittelt wurden und der Algorithmus dann korrigiert wird. Es ist keine Wiederholung von Tests erforderlich, um neue/korrigierte KPIs zu ermitteln.
• Ausführungsbeispiel
• Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung des Ausführungsbeispiels.
• Hierbei zeigen:
• 1 eine schematische Darstellung der Simulation,
• 2 eine schematische Darstellung verschiedener logischer Szenarien,
• 3 eine schematische Darstellung der vektorisierten Repräsentationen,
• 4 ein bekanntes Testverfahren und
• 5 ein erfindungsgemäßes Testverfahren.
• 1 zeigt die schematische Umsetzung einer Szenariensimulation am Beispiel des Szenarios „Ego-Fahrzeug 6 folgt einem Ziel-Verkehrsteilnehmer 7 auf einer geraden Straße“ (zur Szenariodarstellung siehe auch 2 und 3). Bezugszeichen 1 stellt die Eingangsparameter der Simulation dar, die sich aus dem Zustand 2 der beteiligten Verkehrsteilnehmer, den Straßenmerkmalen 3 und den Reglerparametern 4 zusammensetzen und schließlich im Simulationslauf 5 verwendet werden, um aus dem logischen Szenario eine Vielzahl konkreter Szenarien zu erzeugen.
• Das Fahrzeugverhalten wird dabei aus einer Längs- und einer Querbewegungskomponente zusammengesetzt. Jede Bewegungskomponente wird anhand der Reglerparameter 4 simuliert, wie dem Lenkwinkel, der zulässigen Abweichung von der Spurmittellinie, der Fahrzeuggeschwindigkeit und vielen mehr. Die Position 9 des Ego-Fahrzeugs 6 wird dabei beispielsweise alle 0,1 s aktualisiert und als Punkt auf der Straßenkarte dargestellt (siehe auch 2). Die Verbindung jedes Punktes über einen Vektor ergibt dann die Trajektorie 8 des Ego-Fahrzeugs 6 (siehe auch 3). Für Folgeszenarien spielen darüber hinaus noch das Verhalten des Zielfahrzeugs 7 (Geschwindigkeit, Beschleunigung/Verzögerung) sowie der gewünschte Abstand zum Zielfahrzeug 7 eine wichtige Rolle.
• Bei der Erzeugung von Straßen müssen mehrere Regeln beachtet werden. So kann jede Spur eine Mindestbreite von 3,50 m aufweisen. Auch der minimale Kurvenradius ist zu berücksichtigen. Dieser kann aus einer Vielzahl von Szenenparametern berechnet werden, z. B. der Geschwindigkeit, der Querbeschleunigung, den vorliegenden Reibungskoeffizienten, der Straßenüberhöhung und vielen mehr. All diese Parameter stehen zur Generierung eines logischen Szenarios bereit. Damit lassen sich unterschiedliche Straßen- und Wetterbedingungen generieren.
• 2 zeigt die Startbedingungen der Simulation der drei logischen Szenarien „Ego-Fahrzeug folgt Zielfahrzeug auf gerader Straße“ (links), „Spurhalten des Ego-Fahrzeugs auf gekrümmter Straße“ (Mitte) und „Ego-Fahrzeug folgt Zielfahrzeug auf gekrümmter Straße“ (rechts). Im ersten logischen Szenario sind beispielsweise die Parameter Zeitlücke (Δt) und Differenzgeschwindigkeit (Δv) zwischen Ego-Fahrzeug 6 und Zielfahrzeug 7 sowie Beschleunigung des Zielfahrzeugs 7 (a) relevante Parameter zum Genieren konkreter Szenarien. Beim Spurhalten auf einer gekrümmten Straße spielen der Krümmungsradius (κ) und die Ego-Geschwindigkeit (v) eine wichtige Rolle. Auf Basis entsprechender Tests kann der Abstand (p_err) der aktuellen Position 9 des Ego-Fahrzeugs 6 zur Fahrbahnbegrenzung zu jedem Zeitpunkt t bestimmt werden. Ziel des erfindungsgemäßen Testverfahrens ist das Trainieren eines Metamodells 13 mit konkreten Ausprägungen der ersten beiden Szenarien, um das Metamodell 13 anschließend für das Vorhersagen der Ego-Trajektorien im dritten Szenario verwenden zu können, ohne dass Daten des dritten Szenarios für das Trainieren generiert werden müssen. In diesem werden die Parameter der ersten beiden Szenarien (explizite Parameter Δt, Δv, a und implizite Parameter κ) kombiniert, um bspw. zu prüfen, wie Längs- und Querregelung interagieren.
• 3 zeigt die vektorisierte Trajektorie 8 des Ego-Fahrzeugs 6 für die drei Szenarien aus 2, die aus den Simulationsergebnissen gewonnen werden. Jeder Vektor gibt die Differenz der Position des Ego-Fahrzeugs 6 zum Zeitpunkt t im Vergleich zum Zeitpunkt t - 1 wieder. Damit werden sowohl die Position, die Bewegungsrichtung als auch der zurückgelegte Weg und damit die Geschwindigkeit und Beschleunigung des Ego-Fahrzeugs 6 definiert.
• 4 zeigt ein Testverfahren, welches für jedes logische Szenario neu durchlaufen werden muss (interner Stand der Technik). Zunächst wird eine Testumgebung 14 definiert, die das logisches Szenario umfasst. Die Testumgebung 14 wird durch das Testobjekt 15, also das Ego-Fahrzeug bzw. die automatisierte Fahrfunktion und ein konkretes Szenario 16 bestimmt, welches auch das Verhalten aller Verkehrsteilnehmer bis auf das Ego beschreibt. Das konkrete Szenario 16 ergibt sich aus einer konkreten Auswahl von Testparametern, deren Wertebereiche im logischen Testszenario abgegrenzt sind. So kann beispielsweise eine Folgefahrt (logisches Szenario) im Geschwindigkeitsbereich von 30 km/h bis 120 km/h stattfinden. Ein konkretes Szenario ergibt sich beispielsweise als eine Folgefahrt bei 80 km/h. Weitere Eingangsparameter können die Spurbreite, der Kurvenradius oder der Abstand zum vorausfahrenden Zielfahrzeug sein.
• Die veränderlichen Eingangsparameter 12, auch explizite Parameter genannt, die die konkrete Testumgebung 14 parametrisieren, werden nun einem Metamodell 13 zugeführt. Daneben gibt es i.d.R. weitere Rahmenbedingungen 11 (implizite Parameter), z. B. die Straßengeometrie, die über die verschiedenen konkreten Szenarien 16 unverändert bleiben und dem Metamodell nicht zu geführt werden. Die Eingangsparameter 12 können dabei als Vektoren vorgegeben werden.
• Die abgeleiteten konkreten Szenarien werden zum Training eines Metamodells 13 verwendet. Das Metamodell 13 kann beispielsweise als Regressionsmodell ausgestaltet sein und mittels Random-Forest-Verfahren trainiert werden. Gleichzeitig werden aus der Simulation der Vielzahl konkreter Testumgebungen 14 Kennzahlen (KPIs 18) berechnet. Diese können beispielsweise eine minimale Zeit bis zur Kollision (TTC - time to collision) repräsentieren. Diese KPIs 18 werden dem Metamodell 13 gemeinsam mit den expliziten Eingangsparametern 12 der konkreten Szenarien 16 als Trainingsdaten zugeführt. Dies geschieht so lange, bis das Metamodell 13 eine festgelegte Güte erreicht, beispielsweise indem die Abweichung zwischen den aus der Simulation erhaltenen KPIs mit den vom Metamodell vorhergesagten KPIs unter ein vorgegebenes Maß fällt (Minimierung mittlere quadratische Abweichung). Die Bewertung der Güte erfolgt anhand erzeugter/simulierter Testdaten, die noch nicht zum Trainieren des Metamodells 13 verwendet wurden.
• Das Testverfahren wählt nun gezielt kritische Ausprägungen der aus dem trainierten Metamodell abgeleiteten KPIs 18 anhand von Suchkriterien 19 aus, beispielsweise eine minimale Zeit bis zur Kollision, die unter 0,2 s liegt. Die Parameter, die zu dieser kritischen TTC führen, werden nun gezielt als neue Eingangsparameter 12 gewählt, mithilfe derer konkrete Szenarien 16 parametriert und ausgeführt werden. Auf diese Art können kritische Parameterräume feingranular untersucht werden. Daraus können wiederum Anpassungen der automatisierten Fahrfunktion abgeleitet werden, die als Teil der Handlungsparameter des Ego-Fahrzeugs 15, optimiert werden. Im Ergebnis kann das Testverfahren die automatisierte Fahrfunktion zeit- und kostensparend testen, ohne dass bereits ein sehr teurer Prototyp auf realen Straßen getestet werden muss.
• Das Testverfahren nach 4 ist für jedes logische Szenario einzeln durchzuführen. Um den hohen Aufwand der Erzeugung der Trainingsdaten und des Trainierens des Metamodells 13 signifikant zu reduzieren, schlägt das erfindungsgemäße Verfahren (5) vor, die Simulationsparametrierungen 12 der konkret ausgestalteten Testumgebungen 14 nicht unmittelbar zum Trainieren des Metamodells 13 zu verwenden, sondern in Form von vektorisierten Repräsentationen 20 auszugeben. Diese enthalten alle Umgebungsmerkmale (Straßenmerkmale, Trajektorien der weiteren Verkehrsteilnehmer). Als Beobachtungswerte dienen die Trajektorien des Egos 17, die sich durch die Reaktion der automatisierten Fahrfunktion bzw. des Egos ergeben. Dies ermöglicht das Trainieren des Metamodells 13 über eine Vielzahl verschiedener logischer Szenarien hinweg.
• Wenn das Metamodell 13 die gewünschte Güte aufweist, können die KPIs 18 aus den simulierten Aufzeichnungen 17, also den prädizierten Trajektorien und aufgezeichneten Simulationsverläufen, bestimmt werden. Anschließend werden kritische Ausprägungen der KPIs 18 anhand von Suchkriterien 19 identifiziert. Ein Suchkriterium 19 kann beispielsweise eine TTC < 0,2 s sein, also die Unterschreitung eines zeitlich dimensionierten Sicherheitsabstandes, die eine Kollision wahrscheinlich macht. Dadurch ergeben sich kritische Testfälle, die im Detail untersucht werden können. Dies erfolgt durch feingranulare Parametrisierung der Testumgebung 14 sowie der expliziten Eingangsparameter 12.
• Im Ergebnis werden Vorhersagen für Szenarien ermöglicht, die sich nicht in den Trainingsbedingungen wiederfinden. Das Metamodell 13 wird also in die Lage versetzt, Kombinationen unabhängiger logischer Szenarien vorherzusagen, die es während des Trainings nicht gesehen hat.
• Die Embeddings 20 des erfindungsgemäßen Verfahrens enthalten Informationen in Form der Rahmenbedingungen 11, die früheren Modellen nicht zugeführt wurden. Diese werden zwar für jedes konkrete Szenario unverändert zugeführt, also nicht wie die expliziten Eingangsparameter 12, die die veränderlichen Trainingsdaten repräsentieren. Das Model lernt damit nicht nur das Verhalten der automatisierten Fahrfunktion vorherzusagen, sondern auch die Bedeutung der Rahmenbedingungen 11, die sich erst über mehrere konkrete Szenarien hinweg verändern. Die Kombination der Zuführung veränderlicher Trainingsdaten (Eingangsparameter 12) und der Zuführung der über ein konkretes Szenario unveränderlichen Umgebungsmerkmale (Rahmenbedingungen 11) ermöglicht bei der Verwendung von Trainingsdaten mehrerer konkreter oder logischer Szenarien das Bilden eines generalisierten Modells. Erfolgt das Training über eine definierte Anzahl von Basisszenarien, kann das Modell anschließend für eine Vielzahl von Szenarien verwendet werden, die sich von den Basisszenarien unterscheiden. In der aktuellen Zeit, in der die Zyklen der Fahrzeugentwicklung immer kürzer werden und gleichzeitig die Anforderungen an die Sicherheit der automatisierten Fahrfunktionen steigen, bewirkt das erfindungsgemäße Testverfahren ein ressourceneffizientes Testen automatisierter Fahrfunktionen.
• Bezugszeichenliste

1

Inputparameter

2

Zustand bewegliche Verkehrsteilnehmer

3

Straßenmerkmale

4

Reglerparameter

5

Simulation

6

Ego-Fahrzeug

7

Zielfahrzeug

8

vektorisierte Trajektorie Ego-Fahrzeug

9

Fahrzeugposition zum Zeitpunkt t

11

Rahmenbedingungen

12

Eingangsparameter

13

Metamodell

14

Testumgebung

15

Testobjekt

16

konkretes Szenario

17

Trajektorien und aufgezeichnete Daten

18

KPIs

19

Suchkriterien

20

Repräsentationen

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102019124018 A1 [0002]
• DE 102020120141 A1 [0002]
• DE 1020221073386 [0002]

Claims (7)

1. Verfahren zum Testen automatisierter Fahrfunktionen mit folgenden Schritten: - Erzeugen einer Simulationsumgebung zum Darstellen verschiedener Szenarien, - Extrahieren von N Szenarien für die Simulationsumgebung aus einem vorgegebenen Parameterraum von Eingangsparametern, - Simulieren der N Szenarien mit vorgegebener Sequenzlänge und vorgegebenem Sequenztakt, - Ausgeben der simulierten Szenarien als vektorisierte Repräsentationen, - Zerlegen der vektorisierten Repräsentationen in Beobachtungswerte und Vorhersagewerte, - Trainieren eines Bewegungsvorhersagemodells mittels der Beobachtungswerte, - Bewerten einer automatisierten Fahrfunktion über eine Vielzahl von Szenarien hinweg unter Verwendung des trainierten Bewegungsvorhersagemodells.
2. Verfahren zum Testen automatisierter Fahrfunktionen nach Anspruch 1, wobei die Eingangsparameter eine Startposition, eine Geschwindigkeit oder eine Bewegungsrichtung weiterer Verkehrsteilnehmer beinhalten.
3. Verfahren zum Testen automatisierter Fahrfunktionen nach einem der vorhergehenden Ansprüche, wobei die Eingangsparameter eine Länge, eine Breite oder einen Kurvenradius der Straße beinhalten.
4. Verfahren zum Testen automatisierter Fahrfunktionen nach einem der vorhergehenden Ansprüche, wobei die Eingangsparameter Steuerparameter der zu testenden Fahrzeugfunktion beinhalten.
5. Verfahren zum Testen automatisierter Fahrfunktionen nach einem der vorhergehenden Ansprüche, wobei die N Szenarien derart simuliert werden, dass zuerst die Straßenmerkmale erstellt werden, anschließend bewegliche Verkehrsteilnehmer initialisiert werden und schließlich die Simulation mittels lateraler und longitudinaler Regler durchgeführt wird.
6. Verfahren zum Testen automatisierter Fahrfunktionen nach einem der vorhergehenden Ansprüche, wobei die Beobachtungswerte beim Zerlegen der vektorisierten Repräsentationen entsprechend einer Tensorvorgabe aufgefüllt werden.
7. Verfahren zum Testen automatisierter Fahrfunktionen nach einem der vorhergehenden Ansprüche, wobei das Bewerten der automatisierten Fahrfunktion anhand der Ermittlung sicherheitsrelevanter Kennzahlen über die gesamte Sequenzlänge hinweg erfolgt.

Images