DE102022116562B3

DE102022116562B3 - Verfahren und System zur Ermittlung eines Worst-Case-Fahrzeuges

Info

Publication number: DE102022116562B3
Application number: DE102022116562.0A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-07-04
Filing date: 2022-07-04
Publication date: 2023-11-23
Anticipated expiration: 2042-07-05
Also published as: CN117347065A; US20240001945A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Ermittlung eines Worst-Case-Fahrzeugs für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), bei dem das ADAS/ADS sowohl in einer virtuellen Umgebung (141) als auch in einer realen Umgebung ausführbar ist, bei dem ein Fahrzeugpool mehrere reale Fahrzeuge umfasst, wobei folgenden Schritte ausgeführt werden:• Hinterlegen eines jeweiligen Fahrzeugmodells, welches von jeweiligen Szenarioparametern (132) beschrieben wird;• Hinterlegen jeweiliger Test-Szenarien (110), für welche das ADAS/ADS in der virtuellen Umgebung (141) mit dem jeweiligen Fahrzeug (143) getestet wird;• Hinterlegen von Bewertungskriterien (133), mit denen eine jeweilige Performanz (151) des ADAS/ADS bei einer jeweiligen Testfahrt (102) bewertet wird;• Virtuelle Testfahrt für alle Fahrzeuge des Fahrzeugpools, wobei Ergebnisse (105) der Bewertungskriterien (133) zur jeweiligen Testfahrt (102) aufgezeichnet werden;• Auswerten (111) aller Ergebnisse, wobei durch das Fahrzeug mit dem schlechtesten Ergebnis das Worst-Case-Fahrzeug identifiziert wird;• Auswahl des dem Worst-Case-Fahrzeug entsprechenden realen Fahrzeuges des Fahrzeugpools, wobei mittels mindestens einer realen Testfahrt mit diesem Fahrzeug das ADAS/ADS validiert wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammproduckt zur Ermittlung eines Worst-Case-Fahrzeuges für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS).
Zur Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) bei Fahrzeugen im Straßenverkehr oder bei Prototypenfahrzeugen auf Prüfgeländen wird oft ein sogenanntes Worst-Case-Fahrzeug gewählt. Dieses Fahrzeug zeigt für alle Fahrzeugderivate einer Typreihe diejenigen kritischen Eigenschaften, welche es für die ADAS/ADS-Validierung bei Fahrzeugen dieser Typreihe zu berücksichtigen gilt, bzw. weist zumindest die meisten der in dieser Typreihe möglicherweise auftretenden Schwierigkeiten auf.
Die Druckschrift DE 10 2018 119 397 A1 offenbart ein Verfahren zur Simulation von Verkehr für eine automatisch mit Fahrzeugen befahrbare Umgebung. Zusätzlich wird ein Verfahren zur Ermittlung von Kennwerten für die automatisch mit Fahrzeugen zu befahrende Umgebung erörtert.
In der europäischen Druckschrift EP 3 621 052 A1 wird ein Verfahren zur Analyse des Fahrverhaltens von Kraftfahrzeugen beschrieben, wobei die Konturen und die Trajektorie eines Kraftfahrzeugs erfasst werden. Darauf basierend wird ein Fahrzeugmodell zur späteren Simulation des Kraftfahrzeugs in einer Simulationsumgebung erstellt.
Die Druckschrift DE 10 2019 102 205 A1 offenbart ein Szenario-basiertes Verfahren zur Validierung eines autonomen Fahrbetriebs eines Kraftfahrzeugs. Hierzu werden neben realen Sensordatensätzen auch in einer virtuellen Umgebung gewonnene synthetische Datensätze herangezogen.
Die Druckschrift DE 10 2018 215 329 A1 offenbart ein Simulationsverfahren zum Testen eines Fahrprogrammes zum wenigstens teilweisen autonomen Führen eines Testfahrzeuges, wobei eine virtuelle Umgebung erzeugt wird, in der das Verhalten des Testfahrzeugs getestet werden kann.
Die Druckschrift DE 10 2017 009 971 A1 betrifft ein Verfahren zum Testen eines Fahrassistenzsystems mit synthetisierten Szenarien in einer virtuellen Umgebung, wobei zur Anpassung der Testabdeckung besonders auch worst-case-Szenarien berücksichtigt werden.
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Identifizierung eines für die ADAS/ADS-Validierung besonders geeigneten Fahrzeugs zur Verfügung zu stellen, welches alle oder zumindest die meisten für die ADAS/ADS-Validierung kritischen Eigenschaften von Fahrzeugen eines Fahrzeugpools auf sich vereint. Der Fahrzeugpool umfasst dabei ein Grundmodel einer Typreihe und alle möglichen Derivate mit jeweiligen Ausstattungsmöglichkeiten. Ferner soll ein System bereitgestellt werden, auf welchem das Verfahren zur Ausführung kommt.
Zur Lösung der voranstehend genannten Aufgabe wird ein Verfahren zur Ermittlung eines Worst-Case-Fahrzeugs aus einem Fahrzeugpool für eine Validierung eines Fahrerassistenzsystems (englisch „advanced driver assistance system“, abgekürzt ADAS) und/oder eines automatisierten Fahrsystems (englisch „automated driving system“, abgekürzt ADS) vorgeschlagen, bei dem das ADAS/ADS sowohl in einer virtuellen Umgebung als auch in einer realen Umgebung ausführbar ist. Der Fahrzeugpool umfasst mehrere reale Fahrzeuge, wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter auf die virtuelle Umgebung abbildbar ist. Folgende Schritte werden ausgeführt:

• Hinterlegen eines jeweiligen Fahrzeugmodels, welches von jeweiligen Szenarioparametern beschrieben wird;
• Hinterlegen jeweiliger Test-Szenarien, für welche das ADAS/ADS in der virtuellen Umgebung mit dem jeweiligen Fahrzeug getestet wird;
• Hinterlegen von Bewertungskriterien, mit denen eine jeweilige Performanz des ADAS/ADS bei einer jeweiligen Testfahrt bewertet wird;
• Virtuelle Testfahrt für alle Fahrzeuge des Fahrzeugpools, wobei Ergebnisse der Bewertungskriterien zur jeweiligen Testfahrt aufgezeichnet werden;
• Auswerten aller Ergebnisse, wobei durch das Fahrzeug mit dem schlechtesten Ergebnis das Worst-Case-Fahrzeug identifiziert wird;
• Auswahl des dem Worst-Case-Fahrzeug entsprechenden realen Fahrzeuges des Fahrzeugpools, wobei mittels mindestens einer realen Testfahrt mit diesem Fahrzeug das ADAS/ADS validiert wird.

Durch das erfindungsgemäße Verfahren, welches das sogenannte Worst-Case-Fahrzeug für eine ganze Typreihe bereitstellt, wird vorteilhaft vermieden, erst alle Fahrzeuge der Typreihe durchtesten zu müssen, um Erkenntnisse bspw. zu Verbesserungen bei dem zu validierenden ADAS/ADS zu gewinnen. Damit wird ein Test-Aufwand bedeutend reduziert und das Validierungsverfahren für eine jeweilige ADAS/ADS-Version wesentlich effizienter gestaltet.
Es ist denkbar, durch zusätzlich virtuelle und/oder reale Testfahrten mit allen Fahrzeugen des Fahrzeugpools nachzuweisen, dass durch das Worst-Case-Fahrzeug alle oder zumindest die meisten die Performanz des ADAS/ADS beeinflussenden Eigenschaften der Fahrzeuge des Fahrzeugpools aufgewiesen werden.
Die Performanz des ADAS/ADS ist bspw. durch eine jeweilige Güte bei einer Erfüllung einer Fahraufgabe gegeben, so bspw. ein jeweiliger minimaler Abstand zu einem vorausfahrenden Fahrzeug, innerhalb dessen das ADAS/ADS das von ihm gesteuerte Fahrzeug zum Stillstand bringen kann. Ein weiteres Beispiel ist ein bei einem Verzögerungsszenario auftretender maximaler Wert einer (negativen) Beschleunigung. Je geringer dieser Wert ausfällt, desto höher ist der von Fahrzeuginsassen empfundene Fahrkomfort und damit umso besser die Performanz des ADAS/ADS.
In einer Ausführungsform des erfindungsgemäßen Verfahrens wird eine Übertragbarkeit der Bewertungsergebnisse für die Performanz des ADAS/ADS am Worst-Case-Fahrzeug auf alle weiteren Fahrzeuge des Fahrzeugpools durch zusätzliche virtuelle Testfahrten überprüft. Damit kann nachgewiesen werden, dass die mit dem erfindungsgemäß ermittelten Worst-Case-Fahrzeug erzielten Bewertungsergebnisse für den gesamten Fahrzeugpool stehen. Es ist denkbar, einmalig - als sogenanntes Proof-of-Principle - reale Testfahrten mit allen Fahrzeugen des Fahrzeugpools zur Beweisführung der Übertragbarkeit der beim Worst-Case-Fahrzeug erzielten Ergebnisse auf den Fahrzeugpool durchzuführen, und weitere ADAS/ADS-Versionen erfindungsgemäß nur mit dem Worst-Case-Fahrzeug zu validieren.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens werden die jeweiligen ein jeweiliges Fahrzeugmodell beschreibenden Szenarioparameter unterschiedlichen Fahrzeugderivaten und/oder Ausstattungsvarianten zugeordnet. Als Beispiele sind hier unterschiedliche Motorisierung, Spezifikation der Bremsen, bspw. Keramikbremse, oder ein jeweilig verbautes Radar für einen Abstandsautomaten zu nennen.
In einer noch weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird mindestens ein Szenario zum Testen des ADAS/ADS in der virtuellen Umgebung aus folgender Liste gewählt: Notbremsung an Stauende in Abhängigkeit verschiedener Anfangsgeschwindigkeiten.
In einer fortgesetzt noch weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird mindestens ein Bewertungskriterium aus folgender Liste gewählt: Zeitdauer bei Vollbremsung bis Stillstand, Minimale Zeitdauer bis Aufprall.
Ferner wird ein System zur Ermittlung eines Worst-Case-Fahrzeugs aus einem Fahrzeugpool für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) beansprucht, bei dem das ADAS/ADS sowohl in einer virtuellen Umgebung als auch in einer realen Umgebung ausführbar ist. Der Fahrzeugpool umfasst mehrere reale Fahrzeuge, wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter auf die virtuelle Umgebung abbildbar ist. Das System ist dazu konfiguriert, folgende Schritte auszuführen:

In einer Ausgestaltung des erfindungsgemäßen Systems ist das System zusätzlich dazu konfiguriert, eine Übertragbarkeit der Bewertungsergebnisse für die Performanz des ADAS/ADS am Worst-Case-Fahrzeug auf alle weiteren Fahrzeuge des Fahrzeugpools durch zusätzliche virtuelle Testfahrten zu überprüfen.
In einer weiteren Ausgestaltung des erfindungsgemäßen Systems sind die jeweiligen ein jeweiliges Fahrzeugmodell beschreibenden Szenarioparameter unterschiedlichen Fahrzeugderivaten und/oder Ausstattungsvarianten zugeordnet.
In einer noch weiteren Ausgestaltung des erfindungsgemäßen Systems ist mindestens ein Szenario zum Testen des ADAS/ADS in der virtuellen Umgebung aus folgender Liste gewählt: Notbremsung an Stauende in Abhängigkeit verschiedener Anfangsgeschwindigkeiten.
In einer fortgesetzt noch weiteren Ausgestaltung des erfindungsgemäßen Systems ist mindestens ein Bewertungskriterium aus folgender Liste gewählt: Zeitdauer bei Vollbremsung bis Stillstand, Minimale Zeitdauer bis Aufprall.
Ferner wird ein Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem ein zur Ermittlung eines Worst-Case-Fahrzeugs für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) ausführbarer Programmcode gespeichert ist, vorgeschlagen, wobei das ADAS/ADS sowohl in einer virtuellen Umgebung als auch in einer realen Umgebung ausführbar ist, wobei ein Fahrzeugpool mehrere reale Fahrzeuge umfasst, und wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter auf die virtuelle Umgebung abbildbar ist. Bei Ausführung auf einer Recheneinheit veranlasst der Programmcode die Recheneinheit dazu, die folgenden Schritte durchzuführen:

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
1 zeigt ein Blockdiagramm zu einer Ausgestaltung des erfindungsgemäßen Systems.
In 1 wird ein Blockdiagramm 100 zu einer Ausgestaltung des erfindungsgemäßen Systems gezeigt. Das Blockdiagramm 100 stellt eine Ablaufstruktur für eine Szenario-basierte Simulationsumgebung dar, mit welcher ein ADAS/ADS validiert wird. Hierzu erstellt ein Testagent 120 einen jeweiligen Testfall, welcher durch eine Testagentenstrategie 121 vorgegeben wird. Die Testagentenstrategie variiert dabei Szenario-Parameter dergestalt, dass die verschiedenen Fahrzeugderivate bzw. Fahrzeugkonfigurationen in relevanten konkreten Szenarien getestet werden können. Zur Validierung des ADAS/ADS wird bspw. als Testfall eine Anfahrt an ein Stauende betrachtet. Die erforderlichen Informationen hierzu entnimmt der Testagent 120 einer Kalibrierungsparameterdatenbank 131, einer Szenariendatenbank 132, und einer Bewertungsdatenbank 133. So werden bspw. in der Bewertungsdatenbank 133 sogenannte Kritikalitätsmetriken hinterlegt, mit denen eine Performanz des ADAS/ADS in den jeweiligen Testfällen quantifiziert werden kann, bspw. Zeitdauer bis Fahrzeugstillstand oder minimale Zeitdauer bis zu einem Aufprall. Ein jeweilig erstellter Testfall wird in einer dynamischen Test-Datenbank 110 gespeichert, auf welcher auch nach Simulation des jeweiligen Testfalls die dabei erzielten Ergebnisse bzw. deren Visualisierung 111 abgelegt werden. Zur Simulation des jeweiligen Testfalls 102 wird dieser an eine Simulationseinheit 140 übergeben. Die Simulationseinheit 140 umfasst mehrere Modelle, wie bspw. ein Umgebungsmodell 141, ein Fahrermodell 142, und ein Fahrzeugmodell 143. Hierdurch werden für die Simulation, in welcher dann das ADAS/ADS agiert, spezifische Eigenschaften, bspw. des jeweiligen Fahrzeugmodells 143, bereitgestellt und stehen über X-in-the-Loop-Simulationsalgorithmen 145 einer Simulationsfunktion 149 (englisch „system under test“, abgekürzt SUT) zur Verfügung. Die Simulationsergebnisse 104 werden von einer Bewertungseinheit 150 hinsichtlich Performanz 151 und Simulationsqualität bewertet und als ein Bewertungsergebnis 105 an den Testagenten 120 übermittelt. Anschließend lässt sich über die Ergebnisvisualisierung 111 vergleichen, auf welchem Fahrzeug folgend den in der Bewertungsdatenbank 133 hinterlegten Kritikalitätsmetriken das ADAS/ADS am schlechtesten abgeschnitten hat. Dieses Fahrzeug ist damit als Worst-Case-Fahrzeug identifiziert und wird zur Verwendung in realen Tests ausgewählt. Mit diesem Fahrzeug wird dann eine reale Testfahrt zur Validierung des ADAS/ADS durchgeführt.
Bezugszeichenliste

100: Blockdiagramm System
102: Testfall
104: Simulationsergebnisse
105: Bewertungsergebnisse
110: Dynamische Test-Datenbank
111: Ergebnisvisualisierung
120: Testagent
121: Testagentenstrategie
131: Kalibrierungsparameterdatenbank
132: Szenariendatenbank
133: Bewertungsdatenbank
140: Simulationseinheit
141: Umgebungsmodell
142: Fahrermodell
143: Fahrzeugmodell
145: X-in-the-loop-Einbindung
149: Simulationsfunktion
150: Bewertungseinheit
151: Bewertung der Performanz
152: Bewertung der Simulationsqualität

Claims

Verfahren zur Ermittlung eines Worst-Case-Fahrzeugs für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS), bei dem das ADAS/ADS sowohl in einer virtuellen Umgebung (141) als auch in einer realen Umgebung ausführbar ist, bei dem ein Fahrzeugpool mehrere reale Fahrzeuge umfasst, wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter (132) auf die virtuelle Umgebung (141) abbildbar ist, und wobei folgende Schritte ausgeführt werden: • Hinterlegen eines jeweiligen Fahrzeugmodells, welches von jeweiligen Szenarioparametern (132) beschrieben wird; • Hinterlegen jeweiliger Test-Szenarien (110), für welche das ADAS/ADS in der virtuellen Umgebung (141) mit dem jeweiligen Fahrzeug (143) getestet wird; • Hinterlegen von Bewertungskriterien (133), mit denen eine jeweilige Performanz (151) des ADAS/ADS bei einer jeweiligen Testfahrt (102) bewertet wird; • Virtuelle Testfahrt für alle Fahrzeuge des Fahrzeugpools, wobei Ergebnisse (105) der Bewertungskriterien (133) zur jeweiligen Testfahrt (102) aufgezeichnet werden; • Auswerten (111) aller Ergebnisse, wobei durch das Fahrzeug mit dem schlechtesten Ergebnis das Worst-Case-Fahrzeug identifiziert wird; • Auswahl des dem Worst-Case-Fahrzeug entsprechenden realen Fahrzeuges des Fahrzeugpools, wobei mittels mindestens einer realen Testfahrt mit diesem Fahrzeug das ADAS/ADS validiert wird.
Verfahren nach Anspruch 1, wobei eine Übertragbarkeit der Bewertungsergebnisse (105) für die Performanz (151) des ADAS/ADS am Worst-Case-Fahrzeug auf alle weiteren Fahrzeuge des Fahrzeugpools durch zusätzliche virtuelle Testfahrten (102) überprüft wird.
Verfahren nach einem der voranstehenden Ansprüche, wobei die jeweiligen ein jeweiliges Fahrzeugmodell beschreibenden Szenarioparameter (132) unterschiedlichen Fahrzeugderivaten und/oder Ausstattungsvarianten zugeordnet werden.
Verfahren nach einem der voranstehenden Ansprüche, wobei mindestens ein Szenario zum Testen des ADAS/ADS in der virtuellen Umgebung (141) aus folgender Liste gewählt wird: Notbremsung an Stauende in Abhängigkeit verschiedener Anfangsgeschwindigkeiten.
Verfahren nach einem der voranstehenden Ansprüche, wobei mindestens ein Bewertungskriterium (133) aus folgender Liste gewählt wird: Zeitdauer bei Vollbremsung bis Stillstand, Minimale Zeitdauer bis Aufprall.
System zur Ermittlung eines Worst-Case-Fahrzeugs für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für einen Fahrzeugpool, bei dem das System eine Recheneinheit und ein Computerprogrammprodukt umfasst, wobei das Computerprogrammprodukt dazu ausgebildet ist, in einer virtuellen Umgebung (141) das ADAS/ADS mit einem virtuellen Fahrzeug auszuführen, wobei das ADAS/ADS auch in einer realen Umgebung ausführbar ist, wobei der Fahrzeugpool mehrere reale Fahrzeuge umfasst, wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter (132) auf die virtuelle Umgebung (141) abbildbar ist, und wobei das System dazu konfiguriert ist, folgende Schritte auszuführen: • Hinterlegen eines jeweiligen Fahrzeugmodels, welches von jeweiligen Szenarioparametern (132) beschrieben wird; • Hinterlegen jeweiliger Test-Szenarien (110), für welche das ADAS/ADS in der virtuellen Umgebung (141) mit dem jeweiligen Fahrzeug (143) getestet wird; • Hinterlegen von Bewertungskriterien (133), mit denen eine jeweilige Performanz (151) des ADAS/ADS bei einer jeweiligen Testfahrt (102) bewertet wird; • Virtuelle Testfahrt für alle Fahrzeuge des Fahrzeugpools, wobei Ergebnisse (105) der Bewertungskriterien (133) zur jeweiligen Testfahrt (102) aufgezeichnet werden; • Auswerten (111) aller Ergebnisse, wobei durch das Fahrzeug mit dem schlechtesten Ergebnis das Worst-Case-Fahrzeug identifiziert wird; • Auswahl des dem Worst-Case-Fahrzeug entsprechenden realen Fahrzeuges des Fahrzeugpools, wobei mittels mindestens einer realen Testfahrt mit diesem Fahrzeug das ADAS/ADS validiert wird.
System nach Anspruch 6, welches zusätzlich dazu konfiguriert ist, eine Übertragbarkeit der Bewertungsergebnisse (105) für die Performanz (151) des ADAS/ADS am Worst-Case-Fahrzeug auf alle weiteren Fahrzeuge des Fahrzeugpools durch zusätzliche virtuelle Testfahrten (102) zu überprüfen.
System nach einem der Ansprüche 6 oder 7, wobei die jeweiligen ein jeweiliges Fahrzeugmodell beschreibenden Szenarioparameter (132) unterschiedlichen Fahrzeugderivaten und/oder Ausstattungsvarianten zugeordnet sind.
System nach einem der Ansprüche 6 bis 8, wobei mindestens ein Szenario zum Testen des ADAS/ADS in der virtuellen Umgebung (141) aus folgender Liste gewählt ist: Notbremsung an Stauende in Abhängigkeit verschiedener Anfangsgeschwindigkeiten.
System nach einem der Ansprüche 6 bis 9, wobei mindestens ein Bewertungskriterium (133) aus folgender Liste gewählt ist: Zeitdauer bei Vollbremsung bis Stillstand, Minimale Zeitdauer bis Aufprall.
Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem ein zur Ermittlung eines Worst-Case-Fahrzeugs für eine Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) ausführbarer Programmcode gespeichert ist, wobei das ADAS/ADS sowohl in einer virtuellen Umgebung (141) als auch in einer realen Umgebung ausführbar ist, wobei ein Fahrzeugpool mehrere reale Fahrzeuge umfasst, wobei jedes reale Fahrzeug des Fahrzeugpools mittels Szenarioparameter (132) auf die virtuelle Umgebung (141) abbildbar ist, und wobei der Programmcode, bei Ausführung auf einer Recheneinheit, die Recheneinheit dazu veranlasst, die folgenden Schritte durchzuführen: • Hinterlegen eines jeweiligen Fahrzeugmodels, welches von jeweiligen Szenarioparametern (132) beschrieben wird; • Hinterlegen jeweiliger Test-Szenarien (110), für welche das ADAS/ADS in der virtuellen Umgebung (141) mit dem jeweiligen Fahrzeug (143) getestet wird; • Hinterlegen von Bewertungskriterien (133), mit denen eine jeweilige Performanz (151) des ADAS/ADS bei einer jeweiligen Testfahrt (102) bewertet wird; • Virtuelle Testfahrt für alle Fahrzeuge des Fahrzeugpools, wobei Ergebnisse (105) der Bewertungskriterien (133) zur jeweiligen Testfahrt (102) aufgezeichnet werden; • Auswerten (111) aller Ergebnisse, wobei durch das Fahrzeug mit dem schlechtesten Ergebnis das Worst-Case-Fahrzeug Identifiziert wird; • Auswahl des dem Worst-Case-Fahrzeug entsprechenden realen Fahrzeuges des Fahrzeugpools, wobei mittels mindestens einer realen Testfahrt mit diesem Fahrzeug das ADAS/ADS validiert wird.