DE102023102523A1

DE102023102523A1 - Procedure for efficient scenario-based testing of an automated driving system

Info

Publication number: DE102023102523A1
Application number: DE102023102523.6A
Authority: DE
Inventors: Felix Manuel Reisgys
Original assignee: Daimler Truck AG
Current assignee: Daimler Truck Holding AG
Priority date: 2023-02-02
Filing date: 2023-02-02
Publication date: 2023-04-06

Abstract

Verfahren zum effizienten szenariobasierten Testen eines automatisierten Fahrsystems, bei welchem aus einer Datenbank logischer Szenarien mehrere konkrete Szenarien generiert werden und für jedes konkrete Szenario das zu testende System in mindestens einer zuvor definierten X-in-the-Loop (XiL)-Umgebung getestet wird, wobei aus den Testdaten und Testergebnissen Cluster aggregiert werden, aus denen je ein repräsentatives Szenario selektiert wird, welches hinsichtlich seiner Glaubwürdigkeit bewertet wird. Bei einem Verfahren, durch welches der Anteil von realen Tests des automatisierten Fahrsystems auf einem Testgelände reduziert wird, wird ein Sampling-Algorithmus zur Generierung konkreter Szenarien aus dem logischen Szenario erstellt, wobei die XiL-Tests in der effizientesten verbleibenden XiL-Umgebung durchgeführt werden.Method for efficient scenario-based testing of an automated driving system, in which several specific scenarios are generated from a database of logical scenarios and for each specific scenario the system to be tested is tested in at least one previously defined X-in-the-Loop (XiL) environment, whereby clusters are aggregated from the test data and test results, from which a representative scenario is selected, which is evaluated with regard to its credibility. In a procedure that reduces the proportion of real tests of the automated driving system on a proving ground, a sampling algorithm is created to generate concrete scenarios from the logical scenario, with the XiL tests being performed in the most efficient remaining XiL environment.

Description

Die Erfindung betrifft ein Verfahren zum effizienten szenariobasierten Testen eines automatisierten Fahrsystems, bei welchem aus einer Datenbank logischer Szenarien mehrere konkrete Szenarien generiert werden und für jedes konkrete Szenario das zu testende System in mindestens einer zuvor definierten X-in-the-Loop (XiL)-Umgebung getestet wird, wobei aus den Testdaten und Testergebnissen Cluster aggregiert werden, aus denen je ein repräsentatives Szenario selektiert wird, welches hinsichtlich seiner Glaubwürdigkeit bewertet wird.The invention relates to a method for efficient, scenario-based testing of an automated driving system, in which a number of specific scenarios are generated from a database of logical scenarios and the system to be tested is tested in at least one previously defined X-in-the-Loop (XiL) for each specific scenario. Environment is tested, whereby clusters are aggregated from the test data and test results, from which a representative scenario is selected, which is evaluated in terms of its credibility.

Aus der US 2020/0250363 A1 ist eine Testsimulation für ein autonom fahrendes Fahrzeug bekannt, welches ein real zu testendes Testsystem und ein simuliertes System umfasst, mittels welchem eine Vielzahl von Werten für einen ausgewählten Parameter simuliert werden, um Werte für die Parameter zu ermitteln, für die das zu testende System das gewünschte Verhalten zeigt und für die es kein gewünschtes Verhalten zeigtFrom the U.S. 2020/0250363 A1 a test simulation for an autonomously driving vehicle is known, which comprises a real test system to be tested and a simulated system, by means of which a large number of values for a selected parameter are simulated in order to determine values for the parameters for which the system to be tested has the exhibits desired behavior and for which it exhibits no desired behavior

Die WO 2021/189011 A1 zeigt virtuelle Umgebungsszenarien und Beobachter für autonome Maschinenanwendungen. Ein Szenario wird mit Hilfe des Verhaltens der autonomen Maschine in der virtuellen Umgebung definiert. Mittels des Beobachters werden die Performance und Genauigkeit der Maschine getestet. Das System berechnet, basierend auf den erzeugten virtuellen Szenarien, einer Abdeckung verschiedener Elemente und führt die Ergebnisse zu dem System zur Erzeugung zusätzlicher Abdeckung zurück, bei welchen die Abdeckung bzw. die Genauigkeit der bestimmten Elemente unter einem gewünschten Niveau liegen.The WO 2021/189011 A1 shows virtual environment scenarios and observers for autonomous machine applications. A scenario is defined using the behavior of the autonomous machine in the virtual environment. The performance and accuracy of the machine are tested by means of the observer. The system calculates, based on the created virtual scenarios, a coverage of various elements and feeds back the results to the system for generating additional coverage where the coverage or the accuracy of the certain elements is below a desired level.

Aufgabe der Erfindung ist es, ein Verfahren für ein effizienten szenariobasierten Testen eines automatisierten Fahrsystems zu dessen Validierung anzugeben, durch welches der relative Anteil von realen Tests des automatisierten Fahrsystems auf einem Prüfgelände reduziert wird, während die Testtiefe und -abdeckung erhöht wird.The object of the invention is to specify a method for efficient scenario-based testing of an automated driving system for its validation, by which the relative proportion of real tests of the automated driving system on a proving ground is reduced, while the test depth and coverage is increased.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject matter of the dependent claims. Further features, possible applications and advantages of the invention result from the following description and the explanation of exemplary embodiments of the invention which are illustrated in the figures.

Die Aufgabe wird mit dem Gegenstand des Patentanspruchs 1 gelöst.The object is achieved with the subject matter of patent claim 1.

Bei dem eingangs beschriebenen Verfahren zum effizienten szenariobasierten Testen eines automatisierten Fahrsystems, bei welchem aus einer Datenbank logischer Szenarien mehrere konkrete Szenarien generiert werden und für jedes konkrete Szenario das zu testende System in mindestens einer zuvor definierten X-in-the-Loop (XiL)-Umgebung getestet wird, wobei aus den Testdaten und Testergebnissen Cluster aggregiert werden, aus denen je ein repräsentatives Szenario selektiert wird, welches hinsichtlich seiner Glaubwürdigkeit bewertet wird, wird ein Sampling-Algorithmus zur Ableitung konkreter Szenarien aus dem logischen Szenario angewendet wobei die XiL-Tests in der effizientesten verbleibenden XiL-Umgebung durchgeführt werden. Durch die Erhöhung der Testtiefe in XiL-Umgebungen wird der relative Anteil von realen Tests im Prüfgelände reduziert. Gleichzeitig wird der Parameterraum eines logischen Szenarios in allen Testumgebungen, wie XiL und Prüfgelände, möglichst effizient abgedeckt. Unter XiL (X-in-the-Loop) sollen im weiteren virtuelle Testumgebungen wie Software-in-the-Loop (SiL) oder Hardware-in-the-Loop (HiL), verstanden werden. Bei dem logischen Szenario soll es sich um eine formale Szenario-Beschreibung handeln, die Szenario-Parameterbereiche in einem Zustandsraum bereitstellt, um Entitäten und ihre Beziehungen, wie beispielsweise Geschwindigkeit v und Entfernung s, zu beschreiben. Dabei ist es möglich, auch Verteilungen und Abhängigkeiten für die Parameter, wie beispielsweise v1 >v2, zu definieren. Durch die Verwendung des Stichprobenalgorithmus werden konkrete Szenarien aus dem ausgewählten logischen Szenario abgeleitet.In the method described above for efficient scenario-based testing of an automated driving system, in which several specific scenarios are generated from a database of logical scenarios and for each specific scenario the system to be tested is defined in at least one previously defined X-in-the-Loop (XiL) environment is tested, with clusters being aggregated from the test data and test results, from which a representative scenario is selected, which is evaluated with regard to its credibility, a sampling algorithm is used to derive concrete scenarios from the logical scenario, with the XiL tests in be carried out in the most efficient remaining XiL environment. By increasing the test depth in XiL environments, the relative proportion of real tests in the proving ground is reduced. At the same time, the parameter space of a logical scenario is covered as efficiently as possible in all test environments, such as XiL and proving grounds. XiL (X-in-the-Loop) should be understood to mean virtual test environments such as Software-in-the-Loop (SiL) or Hardware-in-the-Loop (HiL). The logical scenario is intended to be a formal scenario description that provides scenario parameter ranges in a state space to describe entities and their relationships, such as velocity v and distance s. It is also possible to define distributions and dependencies for the parameters, such as v1 > v2. By using the sampling algorithm, concrete scenarios are derived from the selected logical scenario.

Vorteilhafterweise erfolgt bei der Definition der XiL-Umgebungen eine Auswahl aus Simulationsmodellen und/oder Simulationswerkzeugen und/oder Hardware, wobei die XiL-Umgebung hinsichtlich der zu erwartenden Zuverlässigkeit der Simulationsmodelle differenziert wird. Dabei werden erforderliche Rechenkosten und die erwartete Konfidenz des Simulationsmodells differenziert aufeinander abgestimmt. Die minimalen Rechenkosten werden von einer SiL-Umgebung erreicht, die die effizienteste XiL-Umgebung darstellt.Advantageously, when defining the XiL environments, a selection is made from simulation models and/or simulation tools and/or hardware, with the XiL environment being differentiated with regard to the reliability of the simulation models to be expected. The necessary calculation costs and the expected confidence of the simulation model are coordinated in a differentiated manner. The minimum computational cost is achieved by a SiL environment, which is the most efficient XiL environment.

In einer Ausgestaltung werden im Falle einer Verwendung eines iterativen Sampling-Algorithmus wiederholt konkrete Szenarien aus dem logischen Szenario abgeleitet. Dabei lassen sich frühere Simulationsergebnisse verwenden. Jedes konkrete Szenario enthält dabei einen eindeutigen Satz von Parameterwerten.In one embodiment, if an iterative sampling algorithm is used, concrete scenarios are repeatedly derived from the logical scenario. Previous simulation results can be used here. Each concrete scenario contains a unique set of parameter values.

In einer Ausführungsform werden in Abhängigkeit des zu testenden Systems und dem logischem Szenario Metriken und Pass/Fail-Kriterien aus zuvor aufgezeichneten Testdaten erstellt, mittels welchen die Testauswertung und/oder die Glaubwürdigkeitsbewertung jedes repräsentativen Clusters durchgeführt wird. Die Metriken stellen dabei zeitabhängige oder zeitunabhängige Variablen dar, die aus messbaren XiL-Ergebnissen abgeleitet werden, um die Leistung des Systems zu bewerten. Pass/Fail-Kriterien sind dagegen binäre Variablen, die aus Metriken abgeleitet werden, um die Systemleistung zu bewerten.In one embodiment, depending on the system to be tested and the logical scenario, metrics and pass/fail criteria are created from previously recorded test data, by means of which the test evaluation and/or the credibility assessment of each representative cluster is carried out. The metrics represent time-dependent or time-independent variables that are derived from measurable XiL results to evaluate the performance of the system. Pass/fail criteria, on the other hand, are binary variables derived from metrics to evaluate system performance.

Es ist von Vorteil, wenn die XiL-Ergebnisse aller konkreten Szenarien eines in einer entsprechenden XiL-Umgebung als glaubwürdig eingestuften (angenommenen) Clusters weiterverarbeitet werden. Dadurch wird die Glaubwürdigkeit und somit Übertragbarkeit von XiL-Testergebnissen der konkreten Szenarien des jeweiligen Clusters auf im Prüfgelände durchgeführte Testergebnisse gewährleistet.It is advantageous if the XiL results of all concrete scenarios of a cluster that is (assumed) classified as credible in a corresponding XiL environment are further processed. This ensures the credibility and thus transferability of XiL test results of the specific scenarios of the respective cluster to test results carried out on the proving ground.

In einer weiteren Ausgestaltung werden von als nicht glaubwürdig eingestuften (abgelehnten) Clustern alle konkreten Szenarien des jeweiligen Clusters in der effizientesten verbleibenden XiL-Umgebung erneut getestet. Dadurch wird die Glaubwürdigkeit anderer XiL-Ergebnisse sichergestellt.In a further embodiment, clusters classified as not credible (rejected) retest all concrete scenarios of the respective cluster in the most efficient remaining XiL environment. This ensures the credibility of other XiL results.

In einer weiteren Variante werden nach Abschluss der Testung alle konkreten Szenarien, deren XiL-Ergebnisse in allen XiL-Umgebungen abgelehnt wurden, im Prüfgelände erneut getestet. Dadurch werden auch für die abgelehnten Szenarien glaubwürdige Testergebnisse sichergestellt.In a further variant, after the test has been completed, all concrete scenarios whose XiL results were rejected in all XiL environments are tested again on the test site. This also ensures credible test results for the rejected scenarios.

In einer weiteren Ausführungsform werden bei Vorliegen der Glaubwürdigkeit des Clusters alle akzeptierten Testergebnisse unter Berücksichtigung weiterer Geländetests zu einem Gesamttestergebnis für das jeweilige logische Szenario aggregiert.In a further embodiment, if the cluster is credible, all accepted test results are aggregated into an overall test result for the respective logical scenario, taking into account further field tests.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details result from the following description, in which at least one exemplary embodiment is described in detail-if necessary with reference to the drawing. Described and/or illustrated features can form the subject of the invention on their own or in any meaningful combination, possibly also independently of the claims, and in particular can also be the subject of one or more separate applications. Identical, similar and/or functionally identical parts are provided with the same reference symbols.

Es zeigen:

1 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
2 ein Ausführungsbeispiel für ein System zur Durchführung des erfindungsgemäßen Verfahrens.

Show it:

1 an embodiment of the method according to the invention,
2 an exemplary embodiment of a system for carrying out the method according to the invention.

In 1 ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum effizienten szenariobasierten Test eines automatisierten Fahrsystems dargestellt. Im Block 100 wird das zu testende System (SUT) definiert. Ziel dieses Schrittes ist es, zu spezifizieren, welcher Teil der Software getestet werden soll. Dazu werden Informationen zur Struktur des ausführbaren Softwarecodes und Ziele des Softwaretests eingegeben. Als Ergebnis werden eine SUT-Definition und eine SUT-Schnittstellendefinition erhalten.In 1 an exemplary embodiment of the method according to the invention for efficient, scenario-based testing of an automated driving system is shown. In block 100 the system under test (SUT) is defined. The goal of this step is to specify which part of the software is to be tested. For this purpose, information on the structure of the executable software code and the goals of the software test are entered. As a result, an SUT definition and an SUT interface definition are obtained.

Aus diesen Definitionen wird im Block 110 ein logisches Szenario aus einer Datenbank ausgewählt. Dabei handelt es sich um eine formelle Szenariobeschreibung, die Szenario-parameterbereiche in einem Zustandsraum bereitstellt, um Entitäten und ihre Beziehungen, beispielsweise Geschwindigkeiten des Fahrzeuges und Entfernungen, darzustellen. Optional ist es auch möglich, Verteilungen und Abhängigkeiten für Parameter zu definieren, wie z.B. Geschwindigkeiten v1 > v2. Eingangsgrößen für diese Auswahl stellen die Ziele des Softwaretests und die SUT-Definition dar.From these definitions, in block 110 a logical scenario is selected from a database. This is a formal scenario description that provides scenario parameter ranges in a state space to represent entities and their relationships, such as vehicle speeds and distances. Optionally, it is also possible to define distributions and dependencies for parameters, such as velocities v1 > v2. Input variables for this selection are the goals of the software test and the SUT definition.

Im Block 120 werden parallel dazu Metriken und Pass/Fail-Kriterien definiert. Unter Metriken sollen im weiteren zeitabhängige oder zeitunabhängige Variablen verstanden werden, die aus messbaren XiL-Ausgaben abgeleitet werden, um die SUT-Leistung zu bewerten. Aus den Metriken werden binäre Variablen, die sogenannten Pass/Fail-Kriterien, abgeleitet, um die SUT-Leistung zu bewerten.In block 120, metrics and pass/fail criteria are defined in parallel. Metrics shall further be understood as time-dependent or time-independent variables, which are derived from measurable XiL outputs in order to evaluate the SUT performance. Binary variables called pass/fail criteria are derived from the metrics to assess SUT performance.

Eine Definition von XiL-Umgebungen erfolgt ebenfalls parallel zu Block 110, 120 im Block 130. Die Auswahl von XiL-Umgebungen besteht aus Ressourcen wie Simulationsmodellen, Simulationswerkzeugen und Hardware und muss darauf abgestimmt werden. XiL-Umgebungen müssen hinsichtlich der erforderlichen Rechenkosten (Ausführungszeit pro Szenario) und der erwarteten Zuverlässigkeit des Simulationsmodells (Realismus des Simulationsmodells) differenziert werden. Die minimalen Rechenkosten müssen von einer SiL-Umgebung erreicht werden, die die effizienteste XiL-Umgebung darstellt. Spezifikationen für die Testausführungen werden in Abhängigkeit von der SiL-Umgebung formuliert. Eingangsgrößen für die Definition der SiL-Umgebung sind Sensormodelle, Umfeldsimulationen, Fahrzeugmodelle und Restbussimulationen (bspw. Funktionsmodelle und/oder simulierte Netzwerkkommunikationen), Simulationswerkzeuge, Simulationsrechner, Hardwarebeispiels und sonstige HiL-Hardware. Als Ergebnis der Definition wird eine SiL-Umgebung und mindestens eine weitere XiL-Umgebung sowie eine Spezifikation für die Testausführung ausgegeben.XiL environments are also defined in parallel to blocks 110, 120 in block 130. The selection of XiL environments consists of resources such as simulation models, simulation tools and hardware and must be coordinated with them. XiL environments must be differentiated in terms of the required computational costs (execution time per scenario) and the expected reliability of the simulation model (realism of the simulation model). The minimum computational cost must be achieved by a SiL environment, which is the most efficient XiL environment. Specifications for the test executions are formulated depending on the SiL environment. Input variables for the definition of the SiL environment are sensor models, environment simulations, vehicle models and residual bus simulations (e.g. function models and/or simulated network communications), simulation tools, simulation computers, hardware examples and other HiL hardware. As a result of the definition, a SiL environment and at least one other XiL environment as well as a specification for the test execution are issued.

Ausgehend von dem im Block 110 ausgewählten logischen Szenario werden im Block 140 konkrete Szenarien generiert. Unter einem konkreten Szenario soll eine formale Szenariobeschreibung verstanden werden, welche auf dem logischen Szenario mit expliziten Szenarioparameterwerten basiert (beispielsweise v1= 10m/s). Dazu wird ein Stichprobenalgorithmus genutzt, um sicherzustellen, dass eine T-weise Abdeckung erreicht wird, um konkrete Szenarien aus dem ausgewählten logischen Szenario abzuleiten. Die T-weise Abdeckung stellt dabei jede mögliche Parameterwertkombination von Testparametern dar, die in mindestens einer Stichprobe des Testsatzes existiert. Jedes konkrete Szenario enthält einen eindeutigen Satz von Parameterwerten. Alternativ zu einem Stichprobenalgorithmus für T-weise Abdeckung besteht die Möglichkeit, einen iterativen Stichprobenalgorithmus unter Berücksichtigung früherer Simulationsergebnisse zu verwenden. Unter Einbeziehung der formalen Beschreibung des logischen Szenarios, Parameterverteilungen, Parametereinschränkungen, Strichprobenalgorithmus und einer optionalen Berücksichtigung von Ergebnissen früherer Testfälle wird eine Liste der Parameterwerte konkreter Szenarien erstellt, sodass Szenariodateien im Zielformat der Simulationsumgebung erstellt werden.Based on the logical scenario selected in block 110, concrete scenarios are generated in block 140. A concrete scenario should be understood as a formal scenario description, which is based on the logical scenario with explicit scenario parameter values (e.g. v1= 10m/s). To do this, a sampling algorithm is used to ensure T-wise coverage is achieved in order to derive concrete scenarios from the selected logical scenario. The T-wise coverage represents every possible parameter value combination of test parameters that exists in at least one sample of the test set. Each concrete scenario contains a unique set of parameter values. As an alternative to a sampling algorithm for T-wise coverage, it is possible to use an iterative sampling algorithm that takes previous simulation results into account. Taking into account the formal description of the logical scenario, parameter distributions, parameter constraints, sampling algorithm and an optional consideration of results from previous test cases, a list of parameter values of concrete scenarios is created so that scenario files are created in the target format of the simulation environment.

Im Block 150 werden unter Zuhilfenahme der im Block 130 definierten XiL-Umgebungen und der im Block 140 erzeugten konkreten Szenarien XiL-Tests ausgeführt. Die von dem Stichprobenalgorithmus generierten konkreten Szenarien werden in der bezüglich Ausführungszeit pro Szenario effizientesten verbleibenden XiL-Umgebung ausgeführt. In der ersten Iteration ist dies die im Block 130 definierte SiL-Umgebung, während in nachfolgenden Iterationen andere XiL-Umgebungen verwendet werden. Spezifikationen für die Testausführung werden während der Laufzeit des Tests geprüft. Eingangsdaten stellen dabei die XiL-Umgebung, Werkzeuge zur Testautomatisierung, Spezifikationen zur Testausführung und Szenariodateien im Zielformat der Simulationsergebnisse dar, aus welchen Testdaten, wie Trajektorien, SUT-Kommunikation, Szenarioparameter, Videos u.ä., aufgezeichnet werden, die zur Auswertung der XiL-Tests an den Block 160 weitergeleitet werden. Da der Testfall sich aus einem Szenario, Metriken, Pass/Fail-Kriterien, die zuvor für aufgezeichnete Testdaten definiert wurden, und einer Spezifikation für die Testausführung zusammensetzt, werden die im Block 120 definierten Metriken und Pass/Fail-Kriterien ebenfalls dem Block 160 zugeführt. Die XiL-Testergebnisse für jedes konkrete Szenario werden in einer Datenbank aufgezeichnet und zusätzlich zum Block 140 zurückgeführt, sofern es sich um einen iterativen Stichprobenalgorithmus handelt.In block 150, XiL tests are carried out with the aid of the XiL environments defined in block 130 and the concrete scenarios generated in block 140. The concrete scenarios generated by the sampling algorithm are executed in the most efficient remaining XiL environment in terms of execution time per scenario. In the first iteration, this is the SiL environment defined in block 130, while in subsequent iterations other XiL environments are used. Test execution specifications are checked during test runtime. Input data represent the XiL environment, tools for test automation, specifications for test execution and scenario files in the target format of the simulation results, from which test data such as trajectories, SUT communication, scenario parameters, videos, etc. are recorded, which are used to evaluate the XiL - Tests are routed to block 160. Because the test case is composed of a scenario, metrics, pass/fail criteria previously defined for recorded test data, and a test execution specification, the metrics and pass/fail criteria defined in block 120 are also fed to block 160 . The XiL test results for each particular scenario are recorded in a database and also fed back to block 140 if it is an iterative sampling algorithm.

Nachdem alle Szenarios erzeugt und getestet sind, werden im Block 170 konkrete Szenarien geclustert. Dabei werden Testdaten und Testergebnisse verwendet, um konkrete Szenarien in Szenarioclustern mit Hilfe eines Szenarioähnlichkeitsmaßes zu aggregieren. Nach dem Clustering wird für jedes Szenario ein repräsentatives Cluster für eine im Block 180 durchzuführende Glaubwürdigkeitsbewertung ausgewählt. Dabei wird eine separate Glaubwürdigkeitsargumentation jeweils für ein repräsentatives Szenario jedes Clusters in der jeweiligen XiL-Umgebung durchgeführt. Es wird davon ausgegangen, dass ein Simulationsmodell glaubwürdig ist, wenn es aus Sicht eines potenziellen Nutzers eine ausreichende Konfidenz hat. Die Konfidenz stellt dabei ein Maß dafür dar, inwiefern ein Simulationsmodell und daraus abgeleitete Informationen für Entscheidungen verwendet werden können. Ziel ist es, die Übertragbarkeit von XiL-Ergebnissen auf reale Testergebnisse zu bewerten. Die Glaubwürdigkeit des repräsentativen Szenarios induziert die Glaubwürdigkeit des zugehörigen Szenarioclusters. Die Glaubwürdigkeitsargumentation definiert eine sogenannte minimal erforderliche Konfidenzstufe für das jeweilige konkrete Szenario. Die Konfidenzstufe stellt dabei ein Maß für die Konfidenz der XiL-Umgebung dar.After all scenarios are created and tested, in block 170 concrete scenarios are clustered. Test data and test results are used to aggregate specific scenarios into scenario clusters using a scenario similarity measure. After clustering, a representative cluster is selected for a credibility assessment to be performed at block 180 for each scenario. A separate credibility argument is carried out for a representative scenario of each cluster in the respective XiL environment. A simulation model is deemed to be credible if it has sufficient confidence from the point of view of a potential user. The confidence represents a measure of the extent to which a simulation model and the information derived from it can be used for decisions. The aim is to evaluate the transferability of XiL results to real test results. The credibility of the representative scenario induces the credibility of the associated scenario cluster. The credibility argument defines a so-called minimum required confidence level for the respective concrete scenario. The confidence level is a measure of the confidence in the XiL environment.

Die XiL-Testergebnisse für Cluster, die als glaubwürdig eingestuft wurden, werden im Block 190 akzeptiert und in nachfolgenden Bewertungsschritten verwendet. Dabei werden zur Akzeptanz die XiL-Testergebnisse individuell für jedes konkrete Szenario, die XiL-Konfidenz für jedes Cluster und die XiL-Glaubwürdigkeit für jedes Cluster eingegeben. Die XiL-Testergebnisse, die als unglaubwürdig eingestuft wurden, werden im Block 200 abgelehnt und müssen in einer anderen XiL-Umgebung getestet werden In diesem Fall werden die Blöcke 150, 160, 170 und 190 in der nächsteffizientesten XiL-Umgebung wiederholt. Dies kann im Vergleich zu früheren Iterationen zu anderen Clustern führen. Wenn ein Cluster in allen verfügbaren XiL-Umgebungen als unglaubwürdig eingestuft wurde, können XiL-Testergebnisse nicht in nachfolgenden Evaluierungsschritten verwendet werden.The XiL test results for clusters judged to be credible are accepted at block 190 and used in subsequent scoring steps. For acceptance, the XiL test results are entered individually for each concrete scenario, the XiL confidence for each cluster and the XiL credibility for each cluster. The XiL test results that have been determined to be implausible are rejected in block 200 and must be tested in a different XiL environment. In this case, blocks 150, 160, 170 and 190 are repeated in the next most efficient XiL environment. This may result in different clusters compared to previous iterations. If a cluster is found to be implausible in all available XiL environments, XiL test results cannot be used in subsequent evaluation steps.

Diese Szenarien müssen im Block 210 im Prüfgelände getestet werden. Dazu werden im Block 200 Szenariobeschreibungen für Prüfgeländetests bereitgestellt. Im Prüfgeländetest werden Testergebnisse individuell für jedes konkrete Szenario ausgegeben. Falls ein Szenario nicht auf dem Prüfgelände getestet werden kann, liegt kein Testergebnis vor.These scenarios must be tested in block 210 in the proving ground. For this purpose, scenario descriptions for proving ground tests are provided in block 200. In the proving ground test, test results are issued individually for each specific scenario. If a scenario cannot be tested on the proving ground, there is no test result.

Alle Ergebnisse werden im Block 220 aggregiert. Dies basiert auf allen akzeptierten XiL-Testergebnissen und den Ergebnissen der Prüfgeländetests. Diese Testergebnisse werden zu einem Gesamttestergebnis für das jeweilige logische Szenario zusammengefasst.All results are aggregated in block 220. This is based on all accepted XiL test results and proving ground test results. These test results become one Overall test result summarized for each logical scenario.

Ein Ausführungsbeispiel für ein System zur Durchführung des erfindungsgemäßen Verfahrens ist in 2 gezeigt, welches eine Systemarchitektur eines zu testenden automatisierten Fahrsystems sowie dessen Integration in einer XiL-Umgebung für die Validierung automatisierter Fahrsysteme darstellt, um das in 1 gezeigte Verfahren durchzuführen. Das automatisierte Fahrsystem kann sowohl als ADAS (Advanced Driver Assistence System) als auch als ADS (Automated Driving System) ausgeprägt sein und ist auf entsprechenden Steuergeräten (ECUs, Electronic Control Units) integriert. Die ADAS/AD-ECUs 1 sind einerseits mit Sensoren 3 und andererseits mit anderen Steuergeräten 5 des Fahrzeuges verbunden, welche die Aktuatoren 7 des Fahrzeuges 9 ansteuern und somit Einfluss auf die Umgebung 11 des Fahrzeuges 9 nehmen. Die ADAS/AD-ECUs 1 steuern mit den anderen Steuergeräten 5 die Aktuatoren 7 und bilden somit eine Bewegungssteuerung 13 des Fahrzeuges 9.An exemplary embodiment of a system for carrying out the method according to the invention is 2 shown, which represents a system architecture of an automated driving system to be tested and its integration in a XiL environment for the validation of automated driving systems in order to 1 carry out the procedures shown. The automated driving system can take the form of both ADAS (Advanced Driver Assistance System) and ADS (Automated Driving System) and is integrated into the corresponding control devices (ECUs, Electronic Control Units). The ADAS/AD-ECUs 1 are connected on the one hand to sensors 3 and on the other hand to other control units 5 of the vehicle, which control the actuators 7 of the vehicle 9 and thus influence the environment 11 of the vehicle 9 . The ADAS/AD-ECUs 1 control the actuators 7 with the other control units 5 and thus form a movement controller 13 of the vehicle 9.

Die ADAS/AD-ECUs 1 umfassen dazu ein Auswerte- und Voraussagemodul 17, ein Planungsmodul 19 und eine Steuergerätehardware 21. In einem Sensorfusionsmodul 23 werden die von den Sensoren 3 gelieferten Daten zusammengefasst, die in einem Modul 25 zur Sensordatenverarbeitung und in einer Sensorhardware 27 bereitgestellt werden. Die Sensoren 3 sind weiterhin optional mit einer Ortsbestimmungseinheit 29 verbunden, welche die Umgebung 11 des Fahrzeuges 9 überwacht. Dazu umfasst die Ortsbestimmungseinheit 29 ein Fahrzeuglokalisierungsmodul 31 und eine digitale Karte 33 der Umgebung. Die von der Ortsbestimmungseinheit 29 bereitgestellten Daten werden den ADAS/AD-ECUs 1 zur Bewegungssteuerung 13 zugeführt.For this purpose, the ADAS/AD-ECUs 1 comprise an evaluation and prediction module 17, a planning module 19 and control unit hardware 21. The data supplied by the sensors 3 are combined in a sensor fusion module 23, which are stored in a module 25 for sensor data processing and in sensor hardware 27 to be provided. The sensors 3 are also optionally connected to a location determination unit 29 which monitors the surroundings 11 of the vehicle 9 . For this purpose, the location determination unit 29 includes a vehicle localization module 31 and a digital map 33 of the area. The data provided by the location determination unit 29 are supplied to the ADAS/AD-ECUs 1 for the movement controller 13 .

Darüber hinaus ist die Umgebung 11 zum wechselseitigen Austausch mit einem Simulationsmodul 35 zur Steuerung und Auswertung der Szenarien des im vorhergehend erläuterten Verfahrens verbunden, an welchem als Eingangsgrößen auch die aktuellen Werte der Aktuatoren 13 des Fahrzeuges 9 bereitgestellt werden. Das Modul 35 kann seine Testergebnisse an ein optionales Fahrermodul 37 ausgeben, welches auch von dem Steuergeräten 5 und dem Fahrzeug 9 mit Daten versorgt wird.In addition, the environment 11 is connected to a simulation module 35 for mutual exchange to control and evaluate the scenarios of the method explained above, at which the current values of the actuators 13 of the vehicle 9 are also provided as input variables. The module 35 can output its test results to an optional driver module 37 which is also supplied with data by the control units 5 and the vehicle 9 .

BezugszeichenlisteReference List

11: ADAS/AD-ECUsADAS/AD ECUs
33: Sensorensensors
55: Steuergerätecontrol units
77: Aktuatorenactuators
99: Fahrzeugvehicle
1111: Fahrzeugumgebungvehicle environment
1313: Bewegungssteuerungmotion control
1717: Auswerte- und VoraussagemodulEvaluation and prediction module
1919: Planungsmodulplanning module
2121: SteuergerätehardwareECU hardware
2323: Sensorfusionsmodulsensor fusion module
2525: Modul zur SensordatenverarbeitungModule for sensor data processing
2727: Sensorhardwaresensor hardware
2929: Ortbestimmungseinheitlocation determination unit
3131: Fahrzeuglokalisierungsmodulvehicle location module
3333: digitale Kartedigital map
3535: Simulationsmodulsimulation module
3737: Fahrermoduldriver module

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 20200250363 A1 [0002]
WO 2021189011 A1 [0003]

Claims

Method for efficient scenario-based testing of an automated driving system, in which several specific scenarios are generated from a database of logical scenarios and for each specific scenario the system to be tested is tested in at least one previously defined X-in-the-Loop (XiL) environment, whereby clusters are aggregated from the test data and test results, from which a representative scenario is selected, which is evaluated with regard to its credibility. characterized in that a sampling algorithm for generating concrete scenarios from the logical scenario is created, with the XiL tests being carried out in the most efficient remaining XiL environment.

procedure after claim 1 , characterized in that when defining the XiL environments, a selection is made from simulation models and/or simulation tools and/or hardware, with the XiL environment being differentiated with regard to the reliability of the simulation model to be expected.

procedure after claim 1 or 2 , characterized in that concrete scenarios are repeatedly derived from the logical scenario when using an iterative sampling algorithm.

Method according to at least one of the preceding claims, characterized in that depending on the system to be tested and the logical scenario, metrics and criteria for a pass/fail evaluation are created from previously recorded test data, by means of which the test evaluation and/or the credibility evaluation of each representative cluster is performed.

Method according to at least one of the preceding claims, characterized in that the XiL results of all concrete scenarios of a cluster classified as credible in a corresponding XiL environment are processed further.

Method according to at least one of the preceding claims, characterized in that when the XiL results are rejected, specific scenarios of the respective cluster are tested in the most efficient remaining XiL environment.

Method according to at least one of the preceding claims, characterized in that after the testing has been completed, the specific scenarios whose XiL results were rejected in all XiL environments are tested in the test site.

Method according to at least one of the preceding claims, characterized in that if the cluster is credible, all accepted test results are aggregated into an overall test result for the respective logical scenario, taking into account further field tests.