DE102019124018A1

DE102019124018A1 - Method for optimizing tests of control systems for automated vehicle dynamics systems

Info

Publication number: DE102019124018A1
Application number: DE102019124018.2A
Authority: DE
Inventors: Mike Hartrumpf; Mike Kohlhoff; David Seidel
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2019-09-06
Filing date: 2019-09-06
Publication date: 2021-03-11

Abstract

Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, bei dem relevante Parameter und relevante Systemantworten definiert werden, quasi-zufällige Parameterkombinationen der relevanten Parameter und Systemantworten erzeugt werden, ein Modell in Abhängigkeit der erzeugten Parameterkombinationen und Systemantworten erstellt und trainiert wird, die von dem Modell erzeugten relevanten Systemantworten des Modells analysiert werden, der Parameterraum auf einen Teilbereich in Abhängigkeit der analysierten Systemantworten eingegrenzt wird, in diesem Teilbereich neue Parameterkombinationen mit größerer Dichte erzeugt werden, die letzten drei Schritte solange wiederholt werden, bis ein Konfidenzniveau des Modells in dem Teilbereich ein vorgegebenes Konfidenzmodell erreicht.

Method for optimizing tests of control systems for automated vehicle dynamics systems, in which relevant parameters and relevant system responses are defined, quasi-random parameter combinations of the relevant parameters and system responses are generated, a model is created and trained as a function of the generated parameter combinations and system responses, which is generated by the Relevant system responses generated by the model are analyzed, the parameter space is limited to a sub-area depending on the analyzed system responses, new parameter combinations with greater density are generated in this sub-area, the last three steps are repeated until the model has a confidence level in the sub-area given confidence model reached.

Description

Beschreibungdescription

Die Erfindung betrifft ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, insbesondere zum Optimieren der Auswahl von Testparametern und effizienteres Durchführen von Tests über große Parameterräume.The invention relates to a method for optimizing tests of control systems for automated vehicle dynamics systems, in particular for optimizing the selection of test parameters and carrying out tests more efficiently over large parameter spaces.

Stand der TechnikState of the art

Im Rahmen der Entwicklung komplexer Fahrerassistenzsysteme steigt die Anzahl der zu untersuchenden Parameter und Testszenarien stetig an. Selbst moderne Methoden und Technologien, wie computergestützte Simulationen, können die notwendigen Ressourcen für eine vollumfängliche Untersuchung von Systemen nicht mit Sicherheit bereitstellen. Zum aktuellen Stand gibt es zum Testen der genannten Systeme, im Folgenden Testsysteme genannt, unterschiedliche Herangehensweisen.As part of the development of complex driver assistance systems, the number of parameters and test scenarios to be examined is constantly increasing. Even modern methods and technologies, such as computer-aided simulations, cannot with certainty provide the necessary resources for a comprehensive investigation of systems. At the current status, there are different approaches to testing the systems mentioned, hereinafter referred to as test systems.

Vor der Überprüfung des Testsystems werden üblicherweise die einzubeziehenden Parameter definiert. Diese beschreiben die Umstände, Einflussfaktoren und Rahmenbedingungen für einen Test. Es können systeminterne und -externe Parameter gewählt werden, mit denen ein Test durchgeführt wird. Die Überprüfung des Testsystems auf Übereinstimmung mit den definierten Anforderungen kann mittels Qualifizierung, Verifizierung oder Validierung erfolgen.Before checking the test system, the parameters to be included are usually defined. These describe the circumstances, influencing factors and framework conditions for a test. System-internal and system-external parameters can be selected with which a test is carried out. The test system can be checked for compliance with the defined requirements by means of qualification, verification or validation.

Anhand der identifizierten Parameter wird ein Parameterraum aufgespannt, dessen Dimensionen der Anzahl der gewählten Parameter entspricht. Innerhalb des Parameterraumes werden verschiedene Parametereinstellungen bzw. Parameterausprägungen getestet. Dabei kommen unterschiedliche Parameterkombinationen zum Einsatz, bei denen mehrere oder alle Parameter mit jeweils unterschiedlichen Ausprägungen variiert und/oder kombiniert werden.On the basis of the identified parameters, a parameter space is set up, the dimensions of which correspond to the number of selected parameters. Various parameter settings or parameter characteristics are tested within the parameter space. Different parameter combinations are used in which several or all parameters are varied and / or combined with different characteristics.

Im Ergebnis der Tests werden in Abhängigkeit der getesteten Parameterkombinationen Testdaten erzeugt. Die Tests an sich können auf unterschiedliche Arten erfolgen. Tests können an virtuellen Testsystemen, z. B. Simulationen, und an realen Testsystemen, z. B. Fahrzeugen, durchgeführt werden. Dazwischen existieren eine Vielzahl an Tests, bei denen Teile des Testsystems virtuell und andere Teile real sind. Auf Basis der erzeugten Testdaten werden Erkenntnisse über das zu testende Testsystem gewonnen, die mit entsprechendem Fachwissen verknüpft zu Optimierungen führen.As a result of the tests, test data are generated as a function of the tested parameter combinations. The tests themselves can be done in different ways. Tests can be carried out on virtual test systems, e.g. B. simulations, and on real test systems, e.g. B. vehicles are carried out. In between there are a large number of tests in which parts of the test system are virtual and other parts are real. On the basis of the test data generated, knowledge about the test system to be tested is obtained, which, combined with the corresponding specialist knowledge, leads to optimization.

Die Aussagekraft der Testdaten und damit der Tests hängt davon ab, wie die für das Testen verwendeten Parameterkombinationen erzeugt werden. Dabei spielen unter anderem die Anzahl, die Ausprägungen, die Kombinationen und die Verteilung der Parameter im Parameterraum eine Rolle.The significance of the test data and thus the tests depends on how the parameter combinations used for testing are generated. Among other things, the number, the characteristics, the combinations and the distribution of the parameters in the parameter space play a role.

Bei der vollfaktoriellen Versuchsplanung wird jede mögliche Parameterkombination getestet. Bei kontinuierlichen Parametern müssen dabei feste Parameterausprägungen als Untermenge aller möglichen Einstellungen gewählt werden. Je nach Anzahl der Parameterausprägungen erhöht sich die Gesamtanzahl an zu testenden Parameterkombinationen. Der Parameterraum wird entlang eines Rasters getestet. Die gewonnenen Testdaten können anschließend direkt für Auswertungen bzw. Erkenntnisgewinn genutzt werden. Abhängig von der Parameteranzahl und der Rasterdichte kann es zu Kombinationszahlen kommen, bei denen es aufgrund ihrer Menge nicht möglich ist, alle Tests durchzuführen. Aus diesem Grund werden teilweise die Parameterräume verkleinert oder gezielt Untermengen der vollfaktoriellen Parameterkombinationen gewählt. Deren Auswahl bzw. Einschränkung erfolgt willkürlich. Kritische Bereiche können aufgrund der komplexen Zusammenhänge nicht hinreichend sicher identifiziert und damit möglicherweise übersehen werden.In the full factorial design of experiments, every possible combination of parameters is tested. In the case of continuous parameters, fixed parameter values must be selected as a subset of all possible settings. Depending on the number of parameter characteristics, the total number of parameter combinations to be tested increases. The parameter space is tested along a grid. The test data obtained can then be used directly for evaluations or for gaining knowledge. Depending on the number of parameters and the grid density, there may be combination numbers for which it is not possible to carry out all tests due to their quantity. For this reason, the parameter spaces are partially reduced or subsets of the fully factorial parameter combinations are selected in a targeted manner. Their selection or restriction is arbitrary. Due to the complex interrelationships, critical areas cannot be identified with sufficient certainty and thus possibly overlooked.

Bei der statistischen Modellierung der Parameterkombinationen liegen den Parameterkombinationen Wahrscheinlichkeitsverteilungen zugrunde, z. B. eine Normalverteilung, und es wird angenommen, dass eine bestimmte Parameterkombination am häufigsten auftritt. Anschließend werden die restlichen Tests um die Parameterkombination mit der größten Auftretenswahrscheinlichkeit mit abnehmender Dichte verteilt. Die gewonnenen Testdaten werden anschließend direkt für die entsprechenden Auswertungen genutzt.In the statistical modeling of the parameter combinations, the parameter combinations are based on probability distributions, e.g. B. a normal distribution, and it is assumed that a certain combination of parameters occurs most frequently. The remaining tests are then distributed around the parameter combination with the greatest probability of occurrence with decreasing density. The test data obtained are then used directly for the corresponding evaluations.

Es sind weiterhin Simulationsmethoden mit Rückmeldung bekannt. Anhand des Ergebnisses eines Tests wird entschieden, welche Parameterkombination als nächstes simuliert wird. Ziel ist es, lokale und/oder globale Maxima oder Minima, sowie Systemgrenzen aufzudecken. Diese Vorgehensweise bietet einige Nachteile. Vor allem beim Ansatz der vollfaktoriellen Simulation steigt die Versuchsanzahl exponentiell mit der Anzahl der Parameter an. Eine erfolgreiche Simulation kann nur unter Einsatz hoher Ressourcen und Zeit erfolgen. Bei Nichtbeachtung der System antworten wird die Simulation nach einem im Vorhinein festgelegten Plan durchgeführt. Damit ist es möglich, dass in kritischen Bereichen des Parameterraums nicht ausreichend Messdaten aufgenommen werden. Bei der Simulation mit Rückmeldung erfolgt zwar eine dynamische Versuchsplanung, sollten jedoch mehrere Minima oder Maxima vorliegen, werden diese von einfachen Simulationen regelmäßig nicht gefunden, da diese üblicherweise auf das Auffinden eines Extremwertes ausgelegt sind. Komplizierte Simulationen mit Rückmeldung sind zwar unter Umständen in der Lage, mehrere Extrema parallel zu lokalisieren, weisen dann aber wieder einen hohen Ressourcenverbrauch auf.Simulation methods with feedback are also known. The result of a test is used to decide which parameter combination is to be simulated next. The aim is to uncover local and / or global maxima or minima as well as system boundaries. There are several disadvantages to this approach. Especially with the full factorial simulation approach, the number of tests increases exponentially with the number of parameters. A successful simulation can only be carried out with the use of high resources and time. If the system responses are not observed, the simulation will be carried out according to a plan defined in advance. It is therefore possible that insufficient measurement data are recorded in critical areas of the parameter space. In the case of the simulation with feedback, dynamic test planning takes place, but if there are several minima or maxima, these are usually not found by simple simulations, since these usually rely on the finding of an extreme value are designed. Complicated simulations with feedback may be able to localize several extremes in parallel, but then again show a high consumption of resources.

Die WO 2015 067 649 A1 betrifft eine virtuelle Testoptimierung für Fahrerassistenzsysteme (FAS). Dabei wir ein Testszenario, definiert durch Testparameter, im realen Fahrversuch und/oder virtuell durchlaufen. Zur Erstellung eines zweiten Tests wird der erste Test abgeändert, um den Testparameter innerhalb eines kritischen Bereichs zu verschieben. Nachteilig ist, dass die Parametervariation, die zu einem kritischen Fahrverhalten führt, willkürlich, zumindest a priori festgelegt wurde oder sich zufällig aus einem Test ergibt. Eine systematische Eingrenzung kritischer Bereiche, in denen die Aktivierung eines FAS provoziert wird, erfolgt nicht.The WO 2015 067 649 A1 relates to a virtual test optimization for driver assistance systems (ADAS). We run through a test scenario, defined by test parameters, in real driving tests and / or virtually. To create a second test, the first test is modified to move the test parameter within a critical range. It is disadvantageous that the parameter variation that leads to critical driving behavior was determined arbitrarily, at least a priori, or results from a test at random. There is no systematic delimitation of critical areas in which the activation of a FAS is provoked.

Aufgabe der ErfindungObject of the invention

Demgegenüber ist es die Aufgabe der Erfindung, das Generieren und Durchführen von Tests für Regelsysteme für automatisierte Fahrdynamiksysteme zu verbessern. Insbesondere sollen Tests bei global gleichbleibender Konfidenz sowie bei lokal höheren Konfidenzen einen insgesamt geringeren Ressourcenaufwand als im Stand der Technik aufweisen sowie eine Reduzierung der Testzeit und des Testaufwandes ermöglichen.In contrast, it is the object of the invention to improve the generation and implementation of tests for control systems for automated vehicle dynamics systems. In particular, tests with globally constant confidence and with locally higher confidences should have an overall lower resource expenditure than in the prior art and enable a reduction in the test time and the test expenditure.

Darstellung und Vorteile der ErfindungPresentation and advantages of the invention

Die Aufgabe wird durch ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme entsprechend den Maßnahmen des unabhängigen Anspruch 1 gelöst.The object is achieved by a method for optimizing tests of control systems for automated vehicle dynamics systems in accordance with the measures of independent claim 1.

Automatisierte Fahrdynamiksysteme sind Systeme zum Regeln von Komponenten zur Fahrzeugsteuerung, wie Antrieb, Verzögerung oder Lenkung, die nicht unmittelbar vom Fahrzeugführer bedient werden, sondern automatisch oder autonom von dedizierten Steuereinheiten aktiviert und betätigt werden. Diese Fahrdynamiksysteme können als Fahrerassistenzsysteme für spezifische Fahrsituationen ausgelegt sein. Beispiele für derartige Fahrerassistenzsysteme sind das Antiblockiersystem (ABS), das Elektronische Stabilitätsprogram (ESP), der Abstandstempomat (Automatic Cruise Control ACC), der Notbremsassistent (Automatic Emergency Breaking AEB) oder auch der Spurhalteassistent (Lane Keep Assist LKA). Diese Funktionen werden als Automations-Level 1 oder 2 angesehen, die die Fahrzeugbedienung unterstützen oder eben Teilaufgaben der Fahrzeugführung übernehmen. Automatisierte Fahrdynamiksysteme können auch dem Automatisierungs-Level 3 (Bedienungsautomatisierung bzw. bedingte Automation) und höher zugeordnet sein, bei denen das Fahrzeug vorübergehend oder dauerhaft eigenständig Aufgaben übernimmt. Letzteres umfasst die Integration mehrerer Systeme, die jeweils Teilaufgaben übernehmen, und im Gesamtsystem das Fahrzeug hoch automatisiert bis hin zu autonom führen.Automated driving dynamics systems are systems for regulating components for vehicle control, such as drive, deceleration or steering, which are not operated directly by the vehicle driver, but are activated and operated automatically or autonomously by dedicated control units. These driving dynamics systems can be designed as driver assistance systems for specific driving situations. Examples of such driver assistance systems are the anti-lock braking system (ABS), the electronic stability program (ESP), the cruise control system (Automatic Cruise Control ACC), the emergency braking assistant (Automatic Emergency Breaking AEB) or the lane keeping assistant (Lane Keep Assist LKA). These functions are viewed as automation level 1 or 2, which support vehicle operation or take on partial vehicle control tasks. Automated driving dynamics systems can also be assigned to automation level 3 (operating automation or conditional automation) and higher, in which the vehicle temporarily or permanently takes on tasks independently. The latter includes the integration of several systems, each of which takes on partial tasks and, in the overall system, guides the vehicle in a highly automated or even autonomous manner.

Im ersten Schritt des erfindungsgemäßen Verfahrens erfolgt das Definieren relevanter Parameter und relevanter Systemantworten des zu testenden Regelsystems. Das zu testende Regelsystem ist das Testsystem. Die relevanten Parameter bilden dabei den Parameterraum, wobei dessen Dimensionen von der Anzahl der Parameter abhängen. Die variablen Parameter und die zu protokollierenden Systemantworten bzw. spezifischen Beobachtungsgrößen, auch Key Performance Indicators (KPI) genannt, sind in erster Linie von der Ausgestaltung des Testsystems selbst, also der hard- und softwaretechnischen Gestaltung, von dessen Funktionsumfang, also dem eigentlichen Regelungsziel des Fahrdynamiksystems, und der Umgebung, in der das Regelsystem verwendet werden soll, abhängig. Weiterhin hängen sie aber auch von den Testzielen, dem Grad der Abstraktion des zu testenden Regelsystems sowie dessen Systemgrenzen ab. Das Definieren der Parameter und System antworten ist neben weiteren Festlegungen Teil der ursprünglichen Versuchsplanung. Die KPIs können dabei klassische unfallrelevante Kennzahlen, wie Zeit bis zum Aufprall, oder auch komfortbezogene Antworten des Systems, wie maximale Querbeschleunigungen, sein.In the first step of the method according to the invention, relevant parameters and relevant system responses of the control system to be tested are defined. The control system to be tested is the test system. The relevant parameters form the parameter space, the dimensions of which depend on the number of parameters. The variable parameters and the system responses to be logged or specific observation variables, also known as key performance indicators (KPI), are primarily dependent on the design of the test system itself, i.e. the hardware and software design, its functional scope, i.e. the actual control objective of the Driving dynamics system, and the environment in which the control system is to be used, depending. Furthermore, they also depend on the test objectives, the degree of abstraction of the control system to be tested and its system limits. Defining the parameters and system responses is part of the original test planning, along with other specifications. The KPIs can be classic accident-relevant indicators, such as time to impact, or comfort-related responses from the system, such as maximum lateral acceleration.

Im nächsten Schritt, der dem Beginn einer ersten Iteration entsprechen kann, erfolgt das Erzeugen quasi-zufälliger Parameterkombinationen der relevanten Parameter über dem Parameterraum. Jeder definierte Parameter kann unterschiedlich ausgeprägt sein, beispielsweise als Boolesche Variable, die nur wenige Zustände annehmen kann, über diskrete nominal oder ordinal skalierte Variablen, hin zu stetigen Verteilungen. Dazu zählen verschiedene Arten von Wahrscheinlichkeitsverteilungen, zum Beispiel die diskrete Gleichverteilung oder die Normalverteilung. Eine Kombination beider Arten für einzelne Parameter kann ebenfalls sinnvoll sein. Die Auswahl der Verteilungsart erfolgt im Zusammenhang mit dem Testziel oder der gewünschten Repräsentativität der Realität. So eignet sich die diskrete Gleichverteilung für Untersuchungen im gesamten Wertebereich der Parameter. Unter anderem lässt sich die Leistungsfähigkeit einer Funktion im gesamten Anwendungsbereich, wie z. B. der geforderten Umgebung bzw. Szenarien, analysieren und bewerten. Ebenfalls lassen sich so verschiedene Funktions- und Systemausprägungen oder Grenzen der Systemleistungsfähigkeit, wie Sensortoleranzen oder physikalische Limitierungen, bewerten. Schließlich können auch auf realen Fahrdaten und Messaufnahmen basierende realitätsnahe Wahrscheinlichkeitsverteilungen für die Parameter bestimmt werden.In the next step, which can correspond to the beginning of a first iteration, the generation of quasi-random parameter combinations of the relevant parameters takes place over the parameter space. Each defined parameter can have different characteristics, for example as a Boolean variable that can only assume a few states, via discrete nominally or ordinally scaled variables, to continuous distributions. These include different types of probability distributions, for example the discrete uniform distribution or the normal distribution. A combination of both types for individual parameters can also be useful. The type of distribution is selected in connection with the test objective or the desired representativeness of reality. The discrete uniform distribution is suitable for examinations in the entire value range of the parameters. Among other things, the performance of a function in the entire area of application, such as B. the required environment or scenarios, analyze and evaluate. Different functional and system characteristics or limits of the system performance, such as sensor tolerances or physical limitations, can also be assessed. Finally, realistic probability distributions based on real driving data and measurement recordings can also be determined for the parameters.

Quasi-zufällig bedeutet, dass die Verteilung der Parameterausprägungen über den Parameterraum nicht durch einen wirklichen Zufallsmechanismus, wie einer festgelegten Wahrscheinlichkeitsverteilung, erfolgt. Die Anzahl und Dichte der Testpunkte kann dabei je nach Systemkomplexität und Testziel, gegebenenfalls unter Nutzung bekannter DoE-Methoden (Design of Experiments - Statistische Versuchsplanung), angepasst werden. Nach der Berechnung der quasi-zufälligen Parameterkombinationen können diese anhand unterschiedlicher Metriken auf ihre Konfidenz bzw. Güte überprüft werden und besitzen im Vergleich zur vollfaktoriellen Versuchsplanung einen deutlich reduzierten Umfang. Sie decken jedoch weiterhin den gesamten Parameterraum ab.Quasi-random means that the distribution of the parameter values over the parameter space does not take place by a real random mechanism, such as a fixed probability distribution. The number and density of the test points can be adjusted depending on the system complexity and test objective, if necessary using known DoE methods (Design of Experiments - statistical test planning). After the calculation of the quasi-random parameter combinations, these can be checked for their confidence or quality using different metrics and have a significantly reduced scope compared to full factorial test planning. However, they still cover the entire parameter space.

Im nächsten Schritt erfolgt das Erzeugen von Systemantworten des zu testenden Regelsystems, also des Testsystems, als Antwort auf die quasi-zufällig erzeugten Parameterkombinationen. Das Testsystem selbst kann von einer modellierten Konzeptidee über eine zu testende Software, eine zu testende Einzelkomponente, eine zu testende Baugruppe bis hin zu einem zu testenden Fahrzeug jede Ausgestaltung eines Regelsystems für automatisierte Fahrdynamiksysteme entlang des gesamten Entwicklungsprozesses darstellen. Das Testsystem kann mithilfe bekannter Concept-, Software-, Hardware-, oder Model-in-the-Loop-Methoden (CiL, SiL, HiL, MiL) modelliert oder ein zu testendes Gesamtsystem sein. Im Falle einer Modellierung ist diese so einfach wie möglich zu gestalten, sodass die System antworten effizient erzeugt werden können. So können einfache, vorzugsweise bereits Vorhandene (Teil-)Modelle genauso verwendet werden wie einfache deterministische Software-Codes unter Weglassen physikalischer Hintergründe. Im Falle eines zu testenden Gesamtsystems kann die Erzeugung der Systemantworten auch mittels Testfahrten auf einem Prüfstand oder in der realen Welt erfolgen. Schließlich sind auch Kombinationen modellierter und real erzeugter Systemantworten des Testsystems denkbar.In the next step, the system responses of the control system to be tested, that is to say of the test system, are generated in response to the quasi-randomly generated parameter combinations. The test system itself can represent any configuration of a control system for automated vehicle dynamics systems along the entire development process, from a modeled concept idea to software to be tested, an individual component to be tested, an assembly to be tested to a vehicle to be tested. The test system can be modeled using known concept, software, hardware or model-in-the-loop methods (CiL, SiL, HiL, MiL) or it can be an overall system to be tested. In the case of modeling, this should be made as simple as possible so that the system responses can be generated efficiently. In this way, simple, preferably already existing (partial) models can be used in the same way as simple deterministic software codes, omitting physical backgrounds. In the case of an overall system to be tested, the system responses can also be generated by means of test drives on a test bench or in the real world. Finally, combinations of modeled and actually generated system responses of the test system are also conceivable.

Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt das Erstellen und Trainieren eines Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen und der korrespondierenden Systemantworten des zu testenden Regelsystems, also des Testsystems. Bei dem Prädiktionsmodell kann es sich um ein statistisches Modell handeln, dass im Rahmen von maschinellem Lernen von Algorithmen aufgebaut wird, beispielsweise in Form eines künstlichen neuronalen Netzes. Vorteilhafterweise kann damit das Systemverhalten in einem trainierten Modell abgebildet werden und es können die Systemreaktionen für beliebige, unbekannte Parameterkombinationen geschätzt werden. Bei der Erstellung des Prädiktionsmodells können Kontrollmechanismen eingesetzt werden, die es ermöglichen, die Konfidenz des Prädiktionsmodells zu berechnen.In the next step of the method according to the invention, a prediction model is created and trained as a function of the quasi-randomly generated parameter combinations and the corresponding system responses of the control system to be tested, that is to say of the test system. The prediction model can be a statistical model that is built up by algorithms within the framework of machine learning, for example in the form of an artificial neural network. The system behavior can thus advantageously be mapped in a trained model and the system reactions can be estimated for any unknown parameter combinations. When creating the prediction model, control mechanisms can be used which make it possible to calculate the confidence of the prediction model.

Im nächsten Schritt findet das Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen statt. Die Parameterkombinationen sind dabei mit der ursprünglichen Dichte über den gesamten Parameterraum verteilt. Die Vorhersagen des Prädiktionsmodells, also die System antworten bzw. KPIs, werden bezüglich ihrer Kritikalität ausgewertet, beispielsweise mittels Vergleichen mit vorgegebenen Schwellenwerten, anhand hoher Gradienten zwischen benachbarten System antworten oder anhand unerwartetem Systemverhalten, wie Verletzung der Funktions- oder Testziele. Es werden Rückschlüsse auf die korrespondierenden Parameter gezogen und entsprechend wenigstens ein kritischer Bereich, auch Region of Interest (ROI) genannt, im Parameterraum identifiziert.In the next step, the relevant system responses of the prediction model are generated and analyzed as a function of the quasi-randomly generated parameter combinations. The parameter combinations are distributed over the entire parameter space with the original density. The predictions of the prediction model, i.e. the system responses or KPIs, are evaluated with regard to their criticality, for example by means of comparisons with predefined threshold values, responses based on high gradients between neighboring systems or based on unexpected system behavior, such as violation of the functional or test objectives. Conclusions are drawn about the corresponding parameters and at least one critical area, also called region of interest (ROI), is identified in the parameter space.

Im nächsten Schritt erfolgt das Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells. Die Parameterausprägungen werden auf einen Bereich um den identifizierten kritischen Bereich herum begrenzt. Dies geschieht für jeden Parameter der Parameterkombination individuell. Im Ergebnis entsteht ein begrenzter Teilbereich des Parameterraums. Der Bereich um den kritischen Bereich kann dabei über eine prozentuale oder absolute Abweichung im Vorfeld der Versuchsplanung für alle Parameter oder parameterindividuell festgelegt werden. Theoretisch kann die Güte des Prädiktionsmodells von Beginn an über den gesamten Parameterraum bereits eine geforderte Güte aufweisen. Auch ist es theoretisch denkbar, dass keine kritischen Bereiche existieren. Praktisch werden diese Fälle beim derzeitigen Komplexitätsgrad der Fahrdynamiksysteme nicht eintreten. Das erfindungsgemäße Verfahren könnte dann an dieser Stelle abgebrochen werden. Diese Fälle werden nicht weiter betrachtet.In the next step, the parameter space is limited to at least one sub-area as a function of the analyzed system responses of the prediction model. The parameter values are limited to an area around the identified critical area. This is done individually for each parameter of the parameter combination. The result is a limited sub-area of the parameter space. The area around the critical area can be determined via a percentage or absolute deviation in advance of the test planning for all parameters or individually for each parameter. Theoretically, the quality of the prediction model can already have a required quality over the entire parameter space from the start. It is also theoretically conceivable that no critical areas exist. In practice, these cases will not occur with the current level of complexity of the vehicle dynamics systems. The method according to the invention could then be terminated at this point. These cases are not considered further.

Im nächsten Schritt erfolgt das quasi-zufällige Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte im Vergleich zur ursprünglichen Verteilungsdichte. Innerhalb des Teilbereichs können die gleichen oder unterschiedliche Kriterien zum Erzeugen der Parameterkombination zum Einsatz kommen wie bei der Erzeugung der Parameterkombinationen über den gesamten Parameterraum hinweg.The next step is the quasi-random generation of new parameter combinations in the at least one sub-area with a greater density compared to the original distribution density. The same or different criteria for generating the parameter combination can be used within the sub-area as when generating the parameter combinations across the entire parameter space.

Im nächsten Schritt erfolgt das Wiederholen der vorhergehenden drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte. Mit jedem Wiederholungs- bzw. Iterationsschritt erfolgt eine Eingrenzung auf wenigstens einen weiteren Teilbereich sowie anschließend eine Erhöhung der Dichte der Parameterkombinationen in diesen kritischen Teilbereichen, also nur dort, wo es tatsächlich Test- bzw. Anpassungsbedarf gibt. Als Ausgangspunkt für jeden weiteren Wiederholungs- bzw. Iterationsschritt wird der oder die zuvor eingegrenzten Teilbereiche verwendet und nicht der ursprüngliche gesamte Parameterraum vor der Wiederholung.The next step is the repetition of the previous three steps, generating and analyzing the relevant system responses of the prediction model as a function of the quasi-randomly generated parameter combinations, limiting the parameter space to at least one sub-area in Dependency of the analyzed system responses of the prediction model as well as quasi-random generation of new parameter combinations in the at least one sub-area with greater density. With each repetition or iteration step, there is a limitation to at least one further sub-area and then an increase in the density of the parameter combinations in these critical sub-areas, i.e. only where there is actually a need for testing or adjustment. As a starting point for each further repetition or iteration step, the previously delimited partial area or areas is used and not the original entire parameter space before the repetition.

Als nächstes erfolgt das Ermitteln des Konfidenzniveaus des Prädiktionsmodells nach jeder Wiederholung des Schrittes quasi-zufälliges Erzeugen neuer Parameterkombinationen mit größerer Dichte für jeden in dieser Wiederholung eingegrenzten Teilbereich. Das Konfidenzniveau eines trainierten Modells zu bestimmen, ist grundsätzlich bekannt. So kann beispielsweise anhand bekannter Ein- und Ausgangskombinationen eine Kreuzvalidierung durchgeführt werden. Bei geeigneter Ausgestaltung können einige Modelle, z. B. einige Neuronale Netzwerke, ihre eigene Anpassungsgüte ausgeben und damit schätzen, wie gut das Modell den Zusammenhang zwischen Eingangsgrößen und den darauf basierten Antworten wiedergibt.The next step is the determination of the confidence level of the prediction model after each repetition of the step of quasi-random generation of new parameter combinations with greater density for each sub-area delimited in this repetition. It is generally known to determine the confidence level of a trained model. For example, a cross-validation can be carried out using known input and output combinations. With a suitable design, some models, e.g. For example, some neural networks output their own goodness of fit and thus estimate how well the model reproduces the relationship between input variables and the responses based on them.

Als nächstes erfolgt das Beenden des Wiederholens der drei Schritte Erzeugen und Analysieren der relevanten Systemantworten des Prädiktionsmodells in Abhängigkeit der quasi-zufällig erzeugten Parameterkombinationen, Eingrenzen des Parameterraums auf wenigstens einen Teilbereich in Abhängigkeit der analysierten Systemantworten des Prädiktionsmodells sowie quasi-zufälliges Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte für den wenigstens einen eingrenzten Teilbereich, dessen ermitteltes Konfidenzniveaus des Prädiktionsmodells ein vorgegebenes Konfidenzniveau erreicht oder übersteigt. Die Ermittlung des Konfidenzniveaus nach jeder Eingrenzung des Parameterraums auf einen Teilbereich ermöglicht es, mehrere unterschiedliche lokale Konfidenzen bzw. Güten zu schätzen und damit auch die lokale Verdichtung der Parameterkombinationen innerhalb der kritischen Teilbereiche auf ein entsprechendes Niveau zu heben, die Iteration also solange zu durchlaufen, bis das geforderte Konfidenzniveau für jeden der Teilbereiche erreicht ist. Dies verbessert vorteilhafterweise weiter die Anpassbarkeit des erfindungsgemäßen Verfahrens an die jeweilige Entwicklungsstufe, da je nach Entwicklungsstufe unterschiedliche Konfidenzniveaus vorgegeben werden können. Mit anderen Worten werden die Schritte solange wiederholt bzw. iteriert, bis alle kritischen Bereiche hinreichend genau bestimmt sind. Das Kriterium für die hinreichende Genauigkeit ist das Konfidenzniveau des Prädiktionsmodells in dem jeweils eingegrenzten Teilbereich.The next step is to end the repetition of the three steps of generating and analyzing the relevant system responses of the prediction model as a function of the quasi-randomly generated parameter combinations, limiting the parameter space to at least one sub-area as a function of the analyzed system responses of the prediction model and quasi-randomly generating new parameter combinations in the at least one sub-area with greater density for the at least one delimited sub-area whose determined confidence level of the prediction model reaches or exceeds a predetermined confidence level. The determination of the confidence level after each delimitation of the parameter space to a sub-area makes it possible to estimate several different local confidences or qualities and thus also to raise the local compression of the parameter combinations within the critical sub-areas to a corresponding level, i.e. to run through the iteration as long as until the required confidence level is reached for each of the sub-areas. This advantageously further improves the adaptability of the method according to the invention to the respective development stage, since different confidence levels can be specified depending on the development stage. In other words, the steps are repeated or iterated until all critical areas are determined with sufficient accuracy. The criterion for sufficient accuracy is the confidence level of the prediction model in the respectively delimited sub-area.

Schließlich werden optimierte Parameterkombinationen zum Testen von Regelsystemen für automatisierte Fahrdynamiksysteme erhalten. Optimiert, genauer ressourcenoptimiert bedeutet, dass lokal verdichtete Bereiche einer global geringen Dichte gegenüberstehen, die den insgesamten Ressourceneinsatz im Vergleich zum Stand der Technik um Größenordnungen reduziert. Im Ergebnis stehen also Parameterkombinationen zur Verfügung, die an den kritischen Stellen hinreichend dicht verteilt sind. Diese können dann in (weiteren) Tests der automatisierten Fahrdynamiksysteme verwendet werden, z.B. bei Testfahrten oder aufwändigen Hardware-in-the-Loop (HiL)-Tests aber auch bei Software- oder Modell-in-the-Loop-Tests (SiL, MiL). Mit fortschreitender Entwicklungsstufe der Fahrerassistenz- bzw. Fahrdynamiksysteme werden auch aufgrund erhöhter Komplexität der beteiligten Parameter (Sensoreingänge, Situationsvariablen, beteiligte Funktionen) komplexere Parameterkombinationen und damit komplexere Tests benötigt. Das erfindungsgemäße Verfahren bietet den Vorteil, optimierte Parameterkombinationen für jede Entwicklungsstufe zur Verfügung zu stellen. Vorteilhafterweise könnte das Simulieren von System antworten einer höheren Entwicklungsstufe wenigstens teilweise durch das Prädiktionsmodells der vorhergehenden Stufe ausgeführt werden. Darüber hinaus können als kritisch eingegrenzte Teilbereiche auch ohne anschließende Tests vor allem in frühen Entwicklungs- oder Funktionsauslegungsphasen bereits kritische Schwachstellen des automatisierten Fahrdynamiksystems aufdecken, deren frühzeitige Abstellung wesentliche Ressourcen für nachträgliche Anpassungen spart.Finally, optimized parameter combinations for testing control systems for automated vehicle dynamics systems are obtained. Optimized, more precisely resource-optimized, means that locally compressed areas face a globally low density, which reduces the overall use of resources by orders of magnitude compared to the state of the art. As a result, combinations of parameters are available that are sufficiently densely distributed at the critical points. These can then be used in (further) tests of the automated vehicle dynamics systems, e.g. in test drives or complex hardware-in-the-loop (HiL) tests, but also in software or model-in-the-loop tests (SiL, MiL ). As the development stage of driver assistance or vehicle dynamics systems progresses, more complex parameter combinations and thus more complex tests are required due to the increased complexity of the parameters involved (sensor inputs, situation variables, functions involved). The method according to the invention offers the advantage of providing optimized parameter combinations for each development stage. Advantageously, the simulation of system responses of a higher level of development could be carried out at least in part by the prediction model of the previous level. In addition, critical weaknesses in the automated vehicle dynamics system can be identified as critical weaknesses in the automated vehicle dynamics system even without subsequent tests, especially in the early development or functional design phases, the early removal of which saves significant resources for subsequent adjustments.

Ein maßgeblicher Vorteil des erfindungsgemäßen Verfahrens ist das effiziente Abbilden großer Parameterräume mit einer geringen Anzahl von zu testenden Parameterkombinationen, die dafür lokal eine hohe Dichte aufweisen können. Dabei können besonders vorteilhaft auch mehrere Extreme, also mehrere kritische Bereiche aufgefunden werden, die einzeln oder parallel analysiert werden können. Ein weiterer Vorteil ist das einfache Erzeugen von anfänglichen System antworten des Testsystems zu den Parameterkombinationen aufgrund der quasi-zufälligen Verteilung der Parameterkombinationen. Diese ermöglicht gerade wegen der geringen Startdichte ein schnelles, ressourcenschonendes Generieren von Testdaten für das Prädiktionsmodell. Außerdem ist das Testsystem in den meisten Fällen bereits vorhanden oder kann aus Modellbausteinen zusammengesetzt werden. Dadurch ist eine hinreichend genaue Startkombination von Systemein- und -ausgängen erzeugbar, die das Trainieren des Prädiktionsmodells zum Schätzen von Systemreaktionen für beliebige, unbekannte Parameterkombinationen ermöglicht. Vor allem die Kombination aus dem Trainieren eines Prädiktionsmodells mit einfach erzeugten Daten und der anschließend iterativen Fokussierung auf kritische Bereiche bewirkt eine deutliche Effizienzsteigerung in der Testfalloptimierung bei gleichzeitiger Anwendbarkeit über die gesamte Entwicklungskette von der Konzepterstellung bis zur Serienabsicherung.A decisive advantage of the method according to the invention is the efficient mapping of large parameter spaces with a small number of parameter combinations to be tested, which for this purpose can have a high local density. Several extremes, that is to say several critical areas, which can be analyzed individually or in parallel, can also be found particularly advantageously. Another advantage is the simple generation of initial system responses by the test system to the parameter combinations due to the quasi-random distribution of the parameter combinations. Because of the low start density, this enables test data for the prediction model to be generated quickly and in a way that conserves resources. In addition, in most cases the test system is already available or can be assembled from model modules. As a result, a sufficiently precise start combination of system inputs and outputs can be generated, which enables the prediction model to be trained for estimating system reactions allows any, unknown parameter combinations. Above all, the combination of training a prediction model with simply generated data and the subsequent iterative focus on critical areas results in a significant increase in efficiency in test case optimization while at the same time being applicable across the entire development chain from concept creation to series validation.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden nach jedem quasi-zufälligen Erzeugen neuer Parameterkombinationen in dem wenigstens einen Teilbereich mit größerer Dichte die relevanten Systemantworten des Prädiktionsmodells dieser neuen Parameterkombinationen erzeugt und mit den neuen Parameterkombinationen zum weiteren Trainieren des Prädiktionsmodells verwendet. Dies ermöglicht vorteilhafterweise je nach Anwendungsfall oder Validierungsziel ein weiteres Training, das genauer und/oder zielgerichteter auf konkrete Bereiche des Parameterraums fokussiert erfolgen kann.In an advantageous embodiment of the method according to the invention, after each quasi-random generation of new parameter combinations in the at least one sub-area with greater density, the relevant system responses of the prediction model of these new parameter combinations are generated and used with the new parameter combinations for further training of the prediction model. Depending on the application or validation goal, this advantageously enables further training that can be carried out more precisely and / or more specifically focused on specific areas of the parameter space.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird das Konfidenzniveau des Prädiktionsmodells nach jedem Trainingsschritt für den gesamten Parameterraum ermittelt und das Trainieren des Prädiktionsmodells bei Erreichen eines vorgegebenen Konfidenzniveaus beendet. Dies verbessert vorteilhafterweise weiter die Anpassbarkeit des erfindungsgemäßen Verfahrens an die jeweilige Entwicklungsstufe, das Validierungsziel und/oder den konkreten Anwendungsfall, da dort jeweils unterschiedliche Konfidenzen vorgegeben sein können. Darüber hinaus können Rechnerkapazitäten für das weitere Trainieren über ein nicht benötigtes Genauigkeitslevel hinaus gespart werden.In an advantageous embodiment of the method according to the invention, the confidence level of the prediction model is determined after each training step for the entire parameter space and the training of the prediction model is ended when a predetermined confidence level is reached. This advantageously further improves the adaptability of the method according to the invention to the respective development stage, the validation goal and / or the specific application, since different confidences can be specified there in each case. In addition, computer capacities can be saved for further training beyond an accuracy level that is not required.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Modellieren des Testsystems auf Basis eines Funktionsmodells, eines Systemmodells und eines Umgebungsmodells des Regelsystems für automatisierte Fahrdynamiksysteme. Das Funktionsmodell modelliert dabei die Funktion des automatisierten Fahrdynamiksystems, also dessen eigentlichen Zweck. Das Systemmodell modelliert, wie der Zweck umgesetzt werden soll, inklusive beteiligter Sensoren, Prozessoren und Aktoren sowie die Kommunikation dieser Elemente untereinander. Das Umgebungsmodell modelliert, wo das umgesetzt werden soll, also in welchen Szenarien. Ganz besonders vorteilhaft ist dabei, dass diese Bausteine auch unabhängig voneinander an das zu testende Fahrdynamiksystem angepasst werden sollen. So können die gleichen Funktionen in unterschiedlichen Systemen getestet werden, ohne ein neues Funktionsmodell zu erstellen. Die einzelnen Bausteine können also wiederverwendet werden. Gleiches gilt für verschiedene Umgebungen bzw. Szenarien. Weiterhin ist die Aufteilung in diese drei Bausteine einerseits sehr einfach zu modellieren und andererseits besonders realitätsnah. Somit ist dieser Ansatz besonders ressourcenschonend.In an advantageous embodiment of the method according to the invention, the test system is modeled on the basis of a functional model, a system model and an environment model of the control system for automated vehicle dynamics systems. The functional model models the function of the automated vehicle dynamics system, i.e. its actual purpose. The system model models how the purpose is to be implemented, including the sensors, processors and actuators involved, as well as the communication between these elements. The environment model models where this should be implemented, i.e. in which scenarios. It is particularly advantageous that these modules should also be adapted to the vehicle dynamics system to be tested independently of one another. In this way, the same functions can be tested in different systems without creating a new function model. The individual building blocks can therefore be reused. The same applies to different environments or scenarios. Furthermore, the division into these three components is very easy to model on the one hand and particularly realistic on the other. This approach is therefore particularly resource-efficient.

Die vorgesehene Funktion lässt sich beispielsweise mit einer szenenbasierten Funktionsentwicklung mithilfe von Szenarien vereinfachen, wodurch bereits ein Teil der Umgebung definiert sein kann. Außerdem sind relevante Systemeigenschaften und Umgebungsvariablen festzulegen. Die Umgebung beinhaltet neben allgemeinen Anforderungen, wie Wetterbedingungen, auch identifizierte Szenarien, die das Gesamtsystem handhaben können soll. Die Szenarien sind definiert durch Straßen- und Infrastrukturelemente sowie Objekte mit spezifischer Startsituation und verschiedenen Aktionen im zeitlichen Verlauf. Die drei zu modellierenden Elemente können entsprechend der Zielsetzung in ihrer Komplexität stark variieren. So lässt sich zum Beispiel in der Systemmodellierung ein perfektes Systemverhalten, wie ein idealer Sensor darstellen, insofern die Einflüsse dieser drei Elemente explizit in der Analyse ausgeschlossen werden sollen. Oder es werden komplexe Sensorcharakteristika abgebildet, wenn der Fokus auf deren Einfluss liegt. Die initiale Erzeugungsmethode kann alternativ oder zusätzlich auch anhand realer Fahrzeugdaten und/oder mittels einfacher deterministischer Software-Codes unter Weglassen physikalischer Hintergründe erstellt und durchgeführt werden. Die Komplexität der Modellierung des Testsystems kann von der jeweiligen Entwicklungsphase abhängig sein und nimmt im Zuge der Weiterentwicklung der Konzeptphase über diverse Serienentwicklungsphasen hin zur Serienfreigabe und Serienüberwachung, bezogen sowohl auf die einzelne Funktion als auch das Gesamtfahrzeug, üblicherweise zu. Vorteilhafterweise kann dadurch eine dem jeweiligen Entwicklungsstand angemessene Modellierung des zu testenden Regelungssystems schnell und einfach erstellt werden. Funktions- und Systemcharakteristika sowie Szenariospezifikationen lassen sich durch Parameter beschreiben, wie zum Beispiel Toleranzen von Sensoren oder Geschwindigkeiten anderer Objekte in den Szenarien. Die Variation der einzelnen Parameter und deren Kombination führen zu spezifischen Szenarien mit festgelegtem Funktionsverhalten und bestimmter Systemleistungsfähigkeit.The intended function can be simplified, for example, with a scene-based function development with the aid of scenarios, whereby part of the environment can already be defined. In addition, relevant system properties and environment variables must be specified. In addition to general requirements such as weather conditions, the environment also includes identified scenarios that the overall system should be able to handle. The scenarios are defined by road and infrastructure elements as well as objects with a specific starting situation and various actions over time. The three elements to be modeled can vary widely in their complexity depending on the objective. In system modeling, for example, perfect system behavior can be represented, such as an ideal sensor, insofar as the influences of these three elements are to be explicitly excluded in the analysis. Or complex sensor characteristics are mapped if the focus is on their influence. As an alternative or in addition, the initial generation method can also be created and carried out using real vehicle data and / or using simple deterministic software codes, omitting physical backgrounds. The complexity of the modeling of the test system can depend on the respective development phase and usually increases in the course of the further development of the concept phase through various series development phases to series approval and series monitoring, based on both the individual function and the entire vehicle. In this way, a modeling of the control system to be tested that is appropriate to the respective development status can advantageously be created quickly and easily. Function and system characteristics as well as scenario specifications can be described by parameters, such as tolerances of sensors or speeds of other objects in the scenarios. The variation of the individual parameters and their combination lead to specific scenarios with defined functional behavior and certain system performance.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Analysieren der relevanten Systemantworten des Prädiktionsmodells durch Vergleich der Systemantworten des Prädiktionsmodells mit vorgegebenen Schwellenwerten, durch Vergleich der System antworten des Prädiktionsmodells mit vordefinierten System antworten, die außerhalb der Systemgrenzen oder des Testziels liegen und/oder durch Vergleich eines anhand der System antworten des Prädiktionsmodells ermittelten Konfidenzniveaus mit einem vorgegebenen Konfidenzniveau, wobei von den derart identifizierten System antworten des Prädiktionsmodells ein Rückschluss auf die ursächliche Parameterkombination gezogen wird. Systemantworten des Prädiktionsmodells lassen sich als quantitative Größen, wie Abstand zum vorausfahrenden Fahrzeug oder Bremsweg, als qualitative Größen, wie Auffahrunfall hat stattgefunden, zählbar und/oder skalierbar ausdrücken. Entsprechend lassen sich diese System antworten mit vorgegebenen Zahlenbereichen oder qualitativen Aussagen vergleichen und auf das Vorliegen einer kritischen Antwort schließen. Die gleiche Schlussfolgerung kann aufgrund eines nicht erreichten Konfidenzniveaus der Systemantwort des Prädiktionsmodells oder bei Verlassen der Systemgrenzen, beispielsweise der festgelegten Funktion, bzw. bei Verletzung der Testziele gezogen werden. In diesen Fällen werden die für die jeweiligen Systemantworten des Prädiktionsmodells ursächlichen Parameterkombinationen identifiziert. Im nächsten Schritt des erfindungsgemäßen Verfahrens findet dann die Eingrenzung auf einen Teilbereich um diese identifizierten Parameterkombinationen statt.In an advantageous embodiment of the method according to the invention, the relevant system responses of the prediction model are analyzed by comparing the system responses of the prediction model with predefined threshold values, by comparing the system responses of the prediction model with predefined system responses that are outside the system limits or the test target and / or by comparison one based on the system responses of the prediction model determined confidence levels with a predetermined confidence level, with a conclusion about the causal parameter combination being drawn from the system responses of the prediction model identified in this way. System responses of the prediction model can be expressed as quantitative variables, such as the distance to the vehicle in front or braking distance, as qualitative variables, such as a rear-end collision, in a countable and / or scalable manner. Correspondingly, these system responses can be compared with given number ranges or qualitative statements and conclusions can be drawn about the existence of a critical response. The same conclusion can be drawn on the basis of a failure level of the system response of the prediction model or when leaving the system limits, for example the defined function, or when the test objectives are violated. In these cases, the parameter combinations causing the respective system responses of the prediction model are identified. In the next step of the method according to the invention, the delimitation to a partial area around these identified parameter combinations then takes place.

Ein Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei die Vorrichtung als Recheneinheit ausgebildet ist, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen. Es versteht sich, dass jeder Schritt des erfindungsgemäßen Verfahrens auf derselben oder auf unterschiedlichen, in Kommunikationsverbindung stehenden Recheneinheiten, wie Computern, ausgeführt werden können. Diese Recheneinheiten können lokal angeordnet oder global verteilt angeordnet sein. Die Recheneinheit kann Teil eines stationären oder transportablen Computers sein. Jede Recheneinheit weist einen eigenen oder gemeinsam mit anderen Recheneinheiten genutzten Speicher sowie wenigstens einen Prozessor auf.One aspect of the present invention relates to a device for optimizing tests of control systems for automated vehicle dynamics systems, the device being designed as a computing unit in order to carry out all the steps of a method according to one of Claims 1 to 6. It goes without saying that each step of the method according to the invention can be carried out on the same or on different computing units, such as computers, which are in communication. These computing units can be arranged locally or distributed globally. The processing unit can be part of a stationary or transportable computer. Each processing unit has its own memory or memory that is used jointly with other processing units, as well as at least one processor.

Ein Aspekt der Erfindung betrifft ein Computerprogramm zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei das Computerprogramm eine Recheneinheit dazu veranlasst, alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen, wenn es auf der Recheneinheit ausgeführt wird. Die Recheneinheit weist einen eigenen oder gemeinsam mit anderen Recheneinheiten genutzten Speicher sowie wenigstens einen Prozessor auf. Dabei ist eines der angegebenen Verfahren in Form des Computerprogramms in dem Speicher hinterlegt und der Prozessor zur Ausführung des Verfahrens vorgesehen, wenn das Computerprogramm aus dem Speicher in den Prozessor geladen ist.One aspect of the invention relates to a computer program for optimizing tests of control systems for automated vehicle dynamics systems, the computer program causing a computing unit to carry out all the steps of a method according to one of claims 1 to 6 when it is carried out on the computing unit. The processing unit has its own memory or memory that is used jointly with other processing units and at least one processor. One of the specified methods is stored in the memory in the form of the computer program and the processor is provided for executing the method when the computer program is loaded from the memory into the processor.

Die Erfindung betrifft weiterhin ein computerlesbares Speichermedium, auf dem ein Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist. Computerlesbare Speichermedien, auch als maschinenlesbare Speichermedien bezeichnet, sind an sich bekannt und können als Magnetspeicher (Disketten), optische Speicher (CD), Flashspeicher (USB-Stick), Festwertspeicher (ROM) oder vieles mehr ausgebildet sein.The invention further relates to a computer-readable storage medium on which a computer program according to the present invention is stored. Computer-readable storage media, also referred to as machine-readable storage media, are known per se and can be designed as magnetic storage (floppy disks), optical storage (CD), flash storage (USB stick), read-only storage (ROM) or much more.

Die Erfindung betrifft außerdem einen Programmcode mit Verarbeitungsanweisungen zum Erstellen eines auf einem Computer ablauffähigen Computerprogramms gemäß der vorliegenden Erfindung, wobei der Programmcode das Computerprogramm ergibt, wenn der Programmcode gemäß den Verarbeitungsanweisungen in ein ablauffähiges Computerprogramm umgewandelt wird.The invention also relates to a program code with processing instructions for creating a computer program executable on a computer according to the present invention, the program code producing the computer program when the program code is converted into an executable computer program according to the processing instructions.

Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt, wobei das Computerprogrammprodukt ein computerlesbares Speichermedium gemäß der vorliegenden Erfindung und ein auf dem computerlesbaren Speichermedium gespeichertes Computerprogramm gemäß der vorliegenden Erfindung mit einem Programmcode gemäß der vorliegenden Erfindung aufweist, wobei der Programmcode zum Ausführen eines Verfahrens gemäß der vorliegenden Erfindung geeignet ist, wenn das Computerprogramm auf einem Computer ausgeführt wird.The invention also relates to a computer program product, the computer program product having a computer-readable storage medium according to the present invention and a computer program stored on the computer-readable storage medium according to the present invention with a program code according to the present invention, the program code for executing a method according to the present invention is suitable when the computer program is executed on a computer.

FigurenlisteFigure list

Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung unter Bezugnahme auf die schematisch dargestellten Zeichnungen. Diese dienen lediglich zum Verständnis der Erfindung und haben keinerlei limitierende Wirkung auf den Erfindungsgegenstand, wie er in den Patentansprüchen dargelegt ist.Further features, possible applications and advantages of the invention emerge from the following description of exemplary embodiments of the invention with reference to the drawings shown schematically. These serve only to understand the invention and have no limiting effect on the subject matter of the invention as set out in the claims.

Hierbei zeigen:

1a-c eine Gegenüberstellung verschiedener Dichteverteilungen von Parameterkombinationen eines zweidimensionalen Parameterraums;
2a-c eine Abfolge von Iterationen zur Eingrenzung von Teilbereichen des Parameterraums;
3 eine vorhergesagte minimale Zeit bis zum Aufprall (Time To Collision - TTC) in Abhängigkeit des initialen Abstandes (Zeitlücke) und der Verzögerung des Zielfahrzeugs.

Here show:

1a-c a comparison of different density distributions of parameter combinations of a two-dimensional parameter space;
2a-c a sequence of iterations for delimiting partial areas of the parameter space;
3 a predicted minimum time to collision (TTC) depending on the initial distance (time gap) and the deceleration of the target vehicle.

1a zeigt anhand einer lediglich beispielhaften zweidimensionalen Darstellung eine äquidistante und 1b eine quasi-zufällige Verteilung von Parameterkombinationen über den gesamten Parameterraum. Beide dargestellten Verteilungen spiegeln dabei nicht das wahre Verhältnis der jeweiligen Anzahlen der Parameterkombinationen wider, sondern dienen lediglich der Verdeutlichung, dass es sich bei 1b um nicht gleichmäßig bzw. äquidistant verteilte sowie um eine im Vergleich zu 1a signifikant geringere Anzahl, mithin eine signifikant geringere Dichte an Parameterkombinationen handelt. In 1a ist eine (grobe) Grenze 11 gezeigt, die die innerhalb dieser liegenden kritischen Parameterkombinationen 10 von den außerhalb liegenden trennt. Ob eine Parameterkombination kritisch ist, resultiert aus der zu dieser Parameterkombination korrespondierenden Systemantwort. Ist diese kritisch, beispielsweise aufgrund der Unterschreitung eines kritischen Schwellenwertes, wie die Zeit bis zum Aufprall, oder aufgrund einer negativen Systemantwort, wie Auftreffen auf ein Hindernis, so ergibt dies eine kritische Parameterkombination. Im Vergleich dazu sind die Parameterkombinationen außerhalb der Grenze 11 liegenden Bereiche 12 unkritisch, weil deren korrespondierenden System antworten unkritisch sind. 1a shows on the basis of a merely exemplary two-dimensional representation a equidistant and 1b a quasi-random distribution of parameter combinations over the entire parameter space. Both distributions shown do not reflect the true ratio of the respective numbers of parameter combinations, but merely serve to make it clear that it is 1b around not evenly or equidistantly distributed as well as around one in comparison to 1a significantly lower number, therefore a significantly lower density of parameter combinations. In 1a is a (rough) limit 11 shown which are within these critical parameter combinations 10 separates from those lying outside. Whether a parameter combination is critical results from the system response corresponding to this parameter combination. If this is critical, for example because the value falls below a critical threshold value, such as the time to impact, or because of a negative system response, such as hitting an obstacle, this results in a critical combination of parameters. In comparison, the parameter combinations are outside the limit 11 lying areas 12th uncritical because their corresponding system answers are uncritical.

Die Dichte der Parameterkombinationen in 1b ist nicht ausreichend, um auf Grundlage der Modellprädiktion eine hinreichend genaue Aussage darüber zu treffen, welche konkreten Parameter in welcher Ausprägung für die Kritikalität der Systemantwort ursächlich sind. Demnach können auch noch keine sinnvollen Abstellmaßnahmen abgeleitet werden. Daher wird der Parameterraum um die kritischen Parameter herum eingegrenzt und in diesem zusätzliche, quasi-zufällige Parameterkombinationen mit höherer Dichte erzeugt. Zu diesen zusätzlichen Parameterkombinationen 14 (1c) wird wiederum die Systemantwort prädiziert, die kritisch oder unkritisch sein kann und auf die korrespondierende Parameterkombination zurückgespiegelt wird. Auf diese Weise erfolgt mit jedem Iterationsschritt eine detailliertere Abgrenzung 15 von kritischen und unkritischen Parameterkombinationen. Dies ermöglicht konkrete Aussagen zu den Ursachen der kritischen System antworten. Im Ergebnis können unterschiedliche kritische Teilbereiche identifiziert werden. Die dort vorliegende Dichte an Parameterkombinationen ist größer als die ursprüngliche Dichte und kann sogar lokal höher sein als im Vergleich zur äquidistanten Verteilung nach 1a. Weil die im Vergleich zu den kritischen Teilbereichen deutlich umfangreicheren unkritischen Bereiche 13 eine sehr geringe Dichte zu testender Parameterkombinationen aufweisen, ist der Testaufwand mithilfe des erfindungsgemäßen Verfahrens um Größenordnungen geringer als bei herkömmlichen Verfahren mit gleichem Konfidenzniveau (z.B. vollfaktorielle Versuche).The density of the parameter combinations in 1b is not sufficient to make a sufficiently precise statement on the basis of the model prediction about which specific parameters and in which form are responsible for the criticality of the system response. Accordingly, no meaningful corrective measures can yet be derived. The parameter space is therefore limited around the critical parameters and additional, quasi-random parameter combinations with a higher density are generated in this space. About these additional parameter combinations 14th ( 1c ) the system response is again predicted, which can be critical or uncritical and is reflected back to the corresponding parameter combination. In this way, a more detailed delimitation occurs with each iteration step 15th of critical and non-critical parameter combinations. This enables concrete statements to be made about the causes of the critical system responses. As a result, different critical sub-areas can be identified. The density of parameter combinations present there is greater than the original density and can even be locally higher than in comparison to the equidistant distribution according to 1a . Because the uncritical areas are much more extensive than the critical sub-areas 13th have a very low density of parameter combinations to be tested, the test effort with the aid of the method according to the invention is orders of magnitude lower than with conventional methods with the same confidence level (eg full factorial tests).

2a-c verdeutlicht die lokale Verdichtung der Parameterkombinationen. 2a zeigt eine quasi-zufällige Verteilung von Parameterkombinationen 20 nach der ersten Iteration (Kreise), die die neben den ursprünglich quasi-zufällig erzeugten Parameterkombinationen auch die daraufhin durch das Testsystem erzeugten Systemantworten enthält. Es sind noch keine lokalen Verdichtungen zu erkennen. Diese sind in 2b zu erkennen. Die dort gezeigten Parameterkombinationen 21 (Dreiecke) nach der zweiten Iteration, also nach der Erzeugung von Systemantworten durch das Prädiktionsmodell, verdeutlichen eine Verdichtung der Parameterkombinationen in den (nicht dargestellten) kritischen Bereichen mit lokal erhöhter Dichte. Nach der dritten Iteration ist eine weitere Eingrenzung der lokal erhöhten Verdichtung anhand der Parameterkombinationen 22 (Sterne) zu sehen. 2a-c illustrates the local compression of the parameter combinations. 2a shows a quasi-random distribution of parameter combinations 20th after the first iteration (circles) which, in addition to the originally quasi-randomly generated parameter combinations, also contains the system responses generated by the test system. No local densities can yet be seen. These are in 2 B to recognize. The parameter combinations shown there 21 (Triangles) after the second iteration, i.e. after the generation of system responses by the prediction model, illustrate a compression of the parameter combinations in the (not shown) critical areas with locally increased density. After the third iteration, the locally increased compression is further narrowed down using the parameter combinations 22nd (Stars) to see.

Die Erfindung wird nun am konkreten Beispiel eines Regelsystems für den Längsabstand eines Ego-Fahrzeugs zum vorausfahrenden Fahrzeug, auch Zielfahrzeug genannt, erläutert. In diesem beispielhaften Szenario folgt das Ego-Fahrzeug dem Zielfahrzeug mit einem als Zeitlücke Δt ausgedrückten Abstand. Das Zielfahrzeug beginnt mit einer (negativen) Beschleunigung aco auf eine Endgeschwindigkeit zu verzögern. Das gewählte Szenario veranschaulicht einen typischen Anwendungsfall auf einer Autobahn, bei dem der Verkehrsfluss durch eine Baustelle, das Auffahren auf ein Stauende oder eine Unfallsituation gestört ist. Das Ego-Fahrzeug ist ausgestattet mit einer Anzahl Sensoren zur Objekterkennung und dem Längsabstand-Regelsystem, welches eine Kombination aus Abstandstempomat (ACC) mit einer maximalen Verzögerung von -3 m/s² und Notbremssystem (AEB) mit einer maximalen Verzögerung von -8 m/s² ist. Das Ego-Fahrzeug reagiert auf die Dynamik des Zielfahrzeugs, um einen sicheren Abstand zu halten. Das System und die Funktion des Längsabstands-Regelsystems des Ego-Fahrzeugs wurde auf Basis von konzeptionellen Modellen simuliert. Als relevante Systemantwort bzw. KPI (Key Performance Indicator) wird die Zeit bis zum Aufprall, also die Time To Collision (TTC) definiert. Als sicherheitskritische Schwelle wurde eine TTC von 2 s gewählt.The invention will now be explained using the specific example of a control system for the longitudinal distance of an ego vehicle to the vehicle traveling in front, also called the target vehicle. In this exemplary scenario, the ego vehicle follows the target vehicle with a distance expressed as a time gap Δt. The target vehicle begins to decelerate to a final speed with a (negative) acceleration aco. The selected scenario illustrates a typical application on a freeway, in which the flow of traffic through a construction site, the approach of the end of a traffic jam or an accident situation is disturbed. The ego vehicle is equipped with a number of sensors for object recognition and the longitudinal distance control system, which is a combination of distance cruise control (ACC) with a maximum deceleration of -3 m / s ² and emergency braking system (AEB) with a maximum deceleration of -8 m / s is ² . The ego vehicle reacts to the dynamics of the target vehicle in order to keep a safe distance. The system and the function of the longitudinal distance control system of the ego vehicle was simulated on the basis of conceptual models. The time to impact, i.e. the Time To Collision (TTC), is defined as the relevant system response or KPI (Key Performance Indicator). A TTC of 2 s was selected as the safety-critical threshold.

Der Parameterraum weist aufgrund von fünf relevanten Parametern entsprechend fünf Dimensionen auf, nämlich die Ego-Geschwindigkeit v_Ego, die initiale (Szenariobeginn) Zeitlücke Δt, die (negative) Beschleunigung des Zielfahrzeugs aco, die initiale (Szenariobeginn) Geschwindigkeit des Zielfahrzeugs v_CO,start sowie die finale (Szenarioende) Geschwindigkeit des Zielfahrzeugs a_CO,final. Aus diesem Parameterraum wurden beispielsweise mittels Methoden der statistischen Versuchsplanung, auch Design of Experiments (DoE) genannt, 1920 quasi-zufällige Parameterkombinationen erzeugt. Diese wurden der Simulation des Testsystems zugeführt, wodurch für jede Parameterkombination eine korrespondierende TTC erzeugt wurde. Anschließend wurden diese simulierten TTCs und die entsprechenden Eingabeparameter zum Trainieren eines Modells zur Vorhersage der Zeit bis zum Aufprall genutzt. 3 zeigt nun eine beispielhafte 2D-Darstellung des 5D-TTC-Vorhersagemodells. Im Gegensatz zu den 1a-c und 2a-c sind nicht der Parameterraum, also nicht die Eingangsgrößen des Vorhersagemodells, sondern die Systemantworten, also die Ausgangsgrößen, dargestellt. Auf der vertikalen Achse ist die initiale Zeitlücke Δt in s und auf der horizontalen Achse ist die (negative) Beschleunigung des Zielfahrzeugs aco in m/s² abgetragen. Der Diagrammbereich zeigt die Verteilung der vorhergesagten TTC in s als Niveaumengen, also der Mengen aller prädizierten TTC, denen die gleiche TTC zugeordnet ist. Die Niveaumengen sind durch Isolinien bzw. Niveaulinien 30 dargestellt. Im vorliegenden Szenario fahren beide Fahrzeuge mit einer Anfangsgeschwindigkeit von 120 km/h mit den vertikal abgetragenen initialen Zeitlücken, wenn das Zielfahrzeug mit den horizontal abgetragenen Verzögerungen aco auf eine Endgeschwindigkeit von 20 km/h verzögert.The parameter space has five dimensions due to five relevant parameters, namely the ego speed v _Ego , the initial (scenario start) time gap Δt, the (negative) acceleration of the target vehicle aco, the initial (scenario start) speed of the target vehicle v _{CO, start} as well as the final (scenario end) speed of the target vehicle a _{CO, final} . From this parameter space, for example, using methods of statistical test planning, also called Design of Experiments (DoE), in 1920 quasi-random parameter combinations were generated. These became the Simulation of the test system supplied, whereby a corresponding TTC was generated for each parameter combination. These simulated TTCs and the corresponding input parameters were then used to train a model to predict the time to impact. 3 now shows an exemplary 2D representation of the 5D TTC prediction model. In contrast to the 1a-c and 2a-c it is not the parameter space, i.e. not the input variables of the prediction model, but the system responses, i.e. the output variables, that are shown. The initial time gap Δt in s is plotted on the vertical axis and the (negative) acceleration of the target vehicle aco in m / s ^{2 is} plotted on the horizontal axis. The diagram area shows the distribution of the predicted TTC in s as level quantities, i.e. the quantities of all predicted TTC to which the same TTC is assigned. The level sets are indicated by isolines or level lines 30th shown. In the present scenario, both vehicles drive at an initial speed of 120 km / h with the vertically mapped initial time gaps when the target vehicle decelerates with the horizontally mapped decelerations aco to a final speed of 20 km / h.

Kritische Bereiche wurden anhand der sicherheitskritischen Schwelle von 2 s zuzüglich eines Sicherheitsaufschlags von 0,5 s abgegrenzt. Der Sicherheitsaufschlag (Offset) wird dabei aus dem mittleren absoluten Fehler des Vorhersagemodells abgeleitet. Dabei wurden zunächst zwei kritische Bereiche 33 und 34 aufgefunden, die mit den gestrichelten kritischen Niveaulinien 31 und 32 abgegrenzt und jeweils schraffiert dargestellt sind. Wenn die initiale Zeitlücke Δt gering ist und die Verzögerung des Zielfahrzeuges sehr hoch, so ist eine kritische Zeit bis zum Aufprall durchaus zu erwarten (kritischer Bereich 33). Der kritische Bereich 34 wäre demgegenüber wahrscheinlich nur mit einer vollfaktoriellen Versuchsplanung aufzufinden gewesen. Rückschauend betrachtet könnte für diesen zweiten kritischen Bereich 34 möglicherweise der Übergang zwischen ACC und AEB ursächlich sein.Critical areas were delimited using the safety-critical threshold of 2 s plus a safety margin of 0.5 s. The safety margin (offset) is derived from the mean absolute error of the forecast model. There were initially two critical areas 33 and 34 found those with the dashed critical level lines 31 and 32 are delimited and shown hatched. If the initial time gap Δt is small and the deceleration of the target vehicle is very high, then a critical time until the impact is to be expected (critical area 33 ). The critical area 34 In contrast, it would probably only have been found with a full factorial test planning. Looking back, this could be the second critical area 34 the transition between ACC and AEB may be the cause.

Die Fehlerwahrscheinlichkeit der Vorhersage über dem gesamten Parameterraum, also das Konfidenzniveau des Prädiktionsmodells, liegt unterhalb der vorgegebenen Zielmarke. Die erste Iteration, die neben den ursprünglich quasi-zufällig erzeugten Parameterkombinationen auch die System antworten des hier simulierten Testsystems enthält, ist hinreichend genau, um die kritischen Bereiche der TTC zu identifizieren und auf deren Basis Teilbereiche (ROIs) der zugrundeliegenden Parameterkombinationen einzugrenzen. Anschließend erfolgt ein erneutes Erzeugen quasi-zufälliger Parameterkombinationen in den Teilbereichen mit im Gegensatz zu den ursprünglichen Parameterkombinationen erhöhter Dichte.The error probability of the prediction over the entire parameter space, i.e. the confidence level of the prediction model, is below the specified target mark. The first iteration, which, in addition to the originally quasi-randomly generated parameter combinations, also contains the system responses of the test system simulated here, is sufficiently precise to identify the critical areas of the TTC and, on the basis of these, to limit subareas (ROIs) of the underlying parameter combinations. Subsequently, a new generation of quasi-random parameter combinations takes place in the sub-areas with an increased density in contrast to the original parameter combinations.

Aufwändige Versuche mit 38.400 äquidistant über den Parameterraum verteilten Parameterkombinationen, die einer vollfaktoriellen Versuchsplanung nahe kommen, haben ein Bestimmtheitsmaß allein der ersten Iteration des Vorhersagemodells in Höhe von R²=95% ergeben. Demnach reicht eine reduzierte Datenmenge von 5% der annähernd vollfaktoriellen Datenmenge aus, um eine für diesen Anwendungsfall ausreichende Güte zum Verwenden der Daten zum Trainieren des Prädiktionsmodells zu erreichen. Je nach Anwendungsfall oder Testziel kann eine höhere oder niedrigere Konfidenz gefordert sein. Das Eingrenzen der Teilbereiche des Parameterraums ermöglicht die weitere lokale Erhöhung der Vorhersagekonfidenz, ohne sehr große und aufwändig zu verrechnende Datenmengen zu verarbeiten.Complex tests with 38,400 parameter combinations equidistantly distributed over the parameter space, which come close to a full factorial test planning, have resulted in a coefficient of determination for the first iteration of the prediction model alone of R ² = 95%. Accordingly, a reduced data volume of 5% of the approximately fully factorial data volume is sufficient to achieve a quality sufficient for this application for using the data to train the prediction model. Depending on the use case or test objective, a higher or lower confidence may be required. The delimitation of the sub-areas of the parameter space enables the further local increase in the prediction confidence without processing very large and complex amounts of data.

BezugszeichenlisteList of reference symbols

1010: kritische Parameterkombinationencritical parameter combinations
1111: grobe Grenze kritischer Teilbereichrough limit of critical sub-area
1212th: unkritischer Bereichuncritical area
1313th: unkritischer Bereichuncritical area
1414th: zusätzliche Parameterkombinationenadditional parameter combinations
1515th: detaillierte Abgrenzung kritischer Teilbereichdetailed delimitation of critical sub-areas
2020th: Parameterkombinationen nach erster IterationParameter combinations after the first iteration
2121: Parameterkombinationen nach zweiter IterationParameter combinations after the second iteration
2222nd: Parameterkombinationen nach dritter IterationParameter combinations after the third iteration
3030th: Niveaulinie TTCTTC level line
3131: kritische Niveaulinie TTCcritical level line TTC
3232: kritische Niveaulinie TTCcritical level line TTC
3333: kritischer Bereichcritical area
3434: kritischer Bereichcritical area

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

WO 2015067649 A1 [0010]

Claims

Method for optimizing tests of control systems for automated vehicle dynamics systems, comprising the following steps: - Define relevant parameters and relevant system responses of the control system to be tested, - Generation of quasi-random parameter combinations of the relevant parameters, - Generating system responses from the control system to be tested as a response to the quasi-randomly generated parameter combinations, - Creation and training of a prediction model as a function of the quasi-randomly generated parameter combinations and the system responses of the control system to be tested, - Generation and analysis of the relevant system responses of the prediction model as a function of the quasi-randomly generated parameter combinations, - Limiting the parameter space to at least one sub-area depending on the analyzed system responses of the prediction model, - Quasi-random generation of new parameter combinations in the at least one sub-area with greater density, - Repeating the previous three steps Generating and analyzing the relevant system responses of the prediction model as a function of the quasi-randomly generated parameter combinations, limiting the parameter space to at least one sub-area as a function of the analyzed system responses of the prediction model and quasi-randomly generating new parameter combinations in the at least one Partial area with greater density, - Determination of the confidence level of the prediction model after each repetition of the step of quasi-random generation of new parameter combinations with greater density for each sub-area delimited in this repetition, - Ending the repetition of the three steps generating and analyzing the relevant system responses of the prediction model as a function of the quasi-randomly generated parameter combinations, limiting the parameter space to at least one sub-area depending on the analyzed system responses of the prediction model and quasi-randomly generating new parameter combinations in the at least one sub-area with a greater density for the at least one delimited sub-area whose determined confidence level of the prediction model reaches a predetermined confidence level.

Method for optimizing tests of control systems for automated vehicle dynamics systems according to Claim 1 After each quasi-random generation of new parameter combinations in the at least one sub-area with greater density, the relevant system responses of the prediction model of these new parameter combinations are generated and used with the new parameter combinations for further training of the prediction model.

Method for optimizing tests of control systems for automated vehicle dynamics systems according to one of the preceding claims, wherein the confidence level of the prediction model is determined after each training step for the entire parameter space and the training of the prediction model is ended when a predetermined confidence level is reached.

Method for optimizing tests of control systems for automated vehicle dynamics systems according to one of the preceding claims, wherein the modeling of the test system takes place on the basis of a function model, a system model and an environment model of the control system for automated vehicle dynamics systems.

Method for optimizing tests of control systems for automated vehicle dynamics systems according to one of the preceding claims, wherein the analysis of the relevant system responses of the prediction model by comparing the system responses with predetermined threshold values, by comparing the system responses with predefined system responses that are outside the system limits or the validation target and / or by comparing a confidence level determined on the basis of the system responses with a predetermined confidence level, with a conclusion being drawn about the causal parameter combination from the system responses identified in this way.

Device for optimizing tests of control systems for automated vehicle dynamics systems, the device being designed as a computing unit to carry out all steps of a method according to one of the Claims 1 to 6th to execute.

Computer program for optimizing tests of control systems for automated vehicle dynamics systems, the computer program causing a computing unit to carry out all steps of a method according to one of the Claims 1 to 6th when it is executed on the computing unit.

Computer-readable storage medium, characterized in that a computer program is based on the computer-readable storage medium Claim 8 is stored.

Program code with processing instructions for creating a computer program that can run on a computer, characterized in that the program code follows the computer program Claim 8 results when the Program code is converted into an executable computer program in accordance with the processing instructions.

Computer program product, characterized in that the computer program product is a computer-readable storage medium Claim 9 and a computer program stored on the computer readable storage medium according to Claim 8 with a program code Claim 10 having, the program code for carrying out a method according to one of the Claims 1 to 6th is suitable when the computer program is executed on a computer.