DE102019209554A1

DE102019209554A1 - Verfahren zum Testen der Robustheit eines simulierbaren technischen Systems, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung sowie ein technisches System

Info

Publication number: DE102019209554A1
Application number: DE102019209554.2A
Authority: DE
Inventors: Thomas Grosser; Matthias Woehrle
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2020-12-31

Abstract

Verfahren zum Testen der Robustheit eines simulierbaren technischen Systems aufweisend mindestens eine metamorphische Relation auf eine Eigenschaft des technischen Systems mit den Schritten:- Simulieren des technischen Systems in Abhängigkeit von einem Testszenario und einer Testkonfiguration für ein Simulationsergebnis, wobei die Testkonfiguration mittels einer metamorphischen Relation auf mindestens eine Eigenschaft des technischen Systems aus einer validen Testkonfiguration für das technische System abgeleitet ist;- Bewerten des Simulationsergebnisses;- Bestimmen der Robustheit des technischen Systems in Abhängigkeit von dem bewerteten Simulationsergebnis.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Testen der Robustheit eines simulierbaren technischen Systems, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung sowie ein technisches System, welches mittels des Verfahrens der vorliegenden Erfindung hergestellt ist.
Ein bevorzugtes Anwendungsgebiet der vorliegenden Erfindung liegt im Bereich der Fahrerassistenzsysteme, insbesondere im Bereich des zumindest teilweise automatisierten Fahrens.
Zumindest teilweise automatisiertes Fahren meint, das Steuern eines Fahrzeugs, bei dem zumindest Teile der oder die gesamte Fahraufgabe von zumindest einem Fahrzeugsystem übernommen werden. Wird die gesamte Fahraufgabe übernommen so spricht man von einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug. Das Fahrzeug fährt automatisiert, indem es beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer oder Hindernisse über bspw. entsprechende Umfeldsensorik selbständig erkennt und die entsprechenden Steuerbefehle zumindest teilweise im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch der Fahrverlauf des Fahrzeugs entsprechend beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug nicht mehr an der Fahraufgabe beteiligt.
Mit dem Wechsel von Fahrerassistenzsystemen, die die volle Aufmerksamkeit des Fahrers voraussetzen, sog. Level 1 und 2 Fahrerassistenzsystemen, stufenweise hin zum vollautomatisieren Fahren, sog. Level 3 - 5 Fahrerassistenzsysteme, entstehen fundamentale Fragestellungen hinsichtlich der Systemsicherheit. Insbesondere der Einsatz von tiefen künstlichen neuronalen Netzen (Deep Neural Networks; DNN) für sicherheitsrelevante Aufgaben, wie bspw. das Erkennen und Klassifizieren von Objekten, erzeugt vollständig neue Probleme hinsichtlich der Systemsicherheit.
Unter Fahrzeugen werden hierbei Land-, Luft- und Raum- und Wasserfahrzeuge, insbesondere PKWs, LKWs, Busse, Shuttle, Zweiräder, Boote, Flugzeuge, Helikopter und Drohnen verstanden.
Stand der Technik
Aus der US 2010/0299651 A1 ist ein System und ein Verfahren zum Testen der Robustheit eines Simulationsmodels eines cyber-physikalischen Systems bekannt. Das Modell umfasst eine Menge an symbolischen Simulationswegen für ein Simulationsmodell eines kontinuierlichen Zeitsystems, das auf einer diskreten Zeitsimulation von gegebenen Eingaben basiert.
Automatisierte Tests sind typischerweise anforderungsbasiert. Zu jedem möglichen Test muss das erwartete Ergebnis spezifiziert werden. Dies ist oft schwierig zu spezifizieren, bzw. „eng“ zu spezifizieren (falls man zu „weit“ spezifiziert bekommt man eine höhere Falsch-negativ-Rate.
Automatisierte Robustheitstests setzen bisher auf einfache Kriterien. Im Bereich Security werden z. B. Programmabstürze als Kriterium genutzt, die in diesem Falle eine relevante Fehlerklasse darstellen. Basierend auf diesem Kriterium können nun Robustheits- bzw. Fuzzing-Tests durchgeführt werden die eine große Abdeckung erreichen.
Für funktionale Fragen in sicherheitskritischen Systemen, z. B. im Bereich der Fahrerassistenzsysteme , insbesondere beim automatisierten Fahren, sind einerseits Robustheitstests wichtig, um eine große Abdeckung des Systemzustands zu erreichen, andererseits sind Programmabstürze hier nicht ausreichend, um Fehler zu identifizieren.
Zudem sind „globale Spezifikationen“, die aber auch das Verhalten „eng“ spezifizieren sehr aufwändig zu beschreiben und für einen automatisierten Test zu formalisieren.
Dies ist speziell bei simulationsbasierten Tests von solchen Systemen relevant, da in der Simulation viele Eingangs- und Parametrisierungsgrößen variiert werden können, für die vorab ein genauer Zusammenhang nicht immer bekannt ist. Diese Systeme werden oft anhand verschiedener Key Performance Indicators (KPls) bewertet. Die KPls sind typischerweise sehr kontextabhängig und daher nicht generell ableitbar.
Wenn jedoch das relevante Testszenario gegeben ist und das daraus resultierende KPI verfügbar ist, sind Veränderungen von Größen der Testkonfiguration oft vernachlässigbar bzw. deren Einfluss nachvollziehbar. Die Überprüfung der Invarianz der Systems bei Veränderung der Testkonfiguration ist ein wichtiger Bestand des Robustheitstests.
Offenbarung der Erfindung
Vor diesem Hintergrund schafft die vorliegende Erfindung ein Verfahren zum Testen der Robustheit eines simulierbaren technischen Systems. Das technische System weist mindestens eine metamorphische Relation auf eine seiner Eigenschaften auf.
Das Verfahren umfasst einen Schritt des Simulierens des technischen Systems in Abhängigkeit von einem Testszenario und einer Testkonfiguration für ein Simulationsergebnis.
Ferner umfasst das Verfahren einen Schritt des Bewertens des Simulationsergebnisses.
Ferner umfasst das Verfahren einen Schritt des Bestimmens der Robustheit des technischen Systems in Abhängigkeit von dem bewerteten Simulationsergebnis.
Die Erfindung basiert auf der Erkenntnis, dass sich die Testkonfiguration zum Simulieren mittels einer metamorphischen Relation auf mindestens eine Eigenschaft des technischen Systems aus einer validen Testkonfiguration für das technische System / Steuerungssystem leiten lässt.
Die Erfindung verbessert Robustheitstests für technische System basierend auf Simulationen.
Unter einem technischen System wird vorliegend ein technischer Verbund aus Komponenten bestehend aus Software, bspw. Erfassungs-, Verarbeitungs-, Steuerungssoftware und/oder Hardware, bspw. Sensoren oder Aktoren verstanden.
Als simulierbar gilt ein technisches System im Rahmen der vorliegenden Erfindung dann, wenn das technische System im Ganzen oder zumindest in Teilen, genauer die zentralen Aspekte des technischen Systems, mittels eines Simulationsmodells repräsentiert werden kann.
Unter einer metamorphischen Relation wird vorliegend ein Zusammenhang zwischen einer Eigenschaft des zu testenden technischen Systems in einer ersten Ausprägung und der Eigenschaft in einer zweiten Ausprägung in Bezug auf die Simulationsergebnisse für das technische System mit der Eigenschaft in der jeweiligen Ausprägung verstanden.
Mathematisch lässt sich die metamorphische Relation wie nachstehend angegebenen beschreiben.
Eine metamorphische Relation ist im Wesentlichen invariant, wenn gilt: $M R : f_{s} (C_{s}^{1}) \approx f_{s} (C_{s}^{2}),$
wobei fs die simulierte Funktionalität unter dem Testszenario S ist und $C_{s}^{i}$
die i-te Testkonfiguration für das Testszenario S ist.
Eine metamorphische Relation ist im äquivariant, wenn gilt: $M R : \tilde{g} (f_{s} (C_{s}^{1})) \approx f_{s} (g (C_{s}^{1})),$
wobei g, g̃ Ableitungen des Szenarios bzw. des Simulationsergebnisses sind.
Eine metamorphische Relation führt zu einer Anomalie, wenn gilt: $A R : f_{s} (C_{s}^{1}) f_{s} (C_{s}^{2}) > > 10^{x} .$
Metaphorische Relationen eignen sich besonders, wenn konkrete Simulationsergebnisse nicht voraussehbar sind, wenn aber die Auswirkung bzw. der Effekt einer Eingabe- oder Parameteränderung voraussehbar bzw. zumindest abschätzbar ist.
Ein einfaches Beispiel für eine metaphorische Relation lässt sich im Zusammenhang mit der Approximation der Funktion sin(x) (Sinus von X) verdeutlichen.
Wenn nicht bekannt ist, ob eine konkrete Simulation einer Approximation von sin(x) korrekt ist, so lässt sich dennoch durch die Änderung des Eingabeparameters von x auf x + 2π bestimmen, ob die Approximation der Sinusfunktion korrekt ist, da bei dieser Änderung des Eingabeparameters das Ergebnis im Wesentlichen gleichbleiben sollte.
Bezog auf die bevorzugte Anwendungsdomäne der vorliegenden Erfindung bedeutet dies. Das bei einem gegebenen Szenario S bspw. bei einer Fahrzeugfolgefahrt mittels eines Adaptive Cruise Control (ACC) Systems bei einem sogenannten Einscherszenario (Cut-in Scenario) ein bestimmtes KPI, bspw. die Time-to-Collision (TTC), d.h. die abgeschätzte Zeit für eine bevorstehende Kollision, simulativ bestimmt werden kann.
Wenn für eine bestimmte Testkonfiguration ein vorgegebenes KPI erreicht werden kann. Bspw. ein TTC von 0,5 s. Dann basiert die vorliegende Erfindung auf der Erkenntnis, dass die Robustheit des simulierbaren technischen Systems, mithin des ACC Systems, dadurch getestet werden kann, dass Eingaben- bzw. Parameter der Simulation verändert werden, die keine oder nur minimale Auswirkungen auf das KPI haben sollten.
So bspw. die Änderung der Wetterverhältnisse von Sonne zu Regen oder die Anpassung des Einscherenden Fahrzeugs von normaler Fahrweise zu aggressiver Fahrweise.
Ferner könnten in die Simulation irrelevante Aspekte eingefügt werden, die ebenfalls nicht zu einer signifikanten Änderung des KPI der Ausgangstestkonfiguration führen sollte.
Solche Aspekte könnte bspw. das Hinzufügen einer (weiteren) linken Spur, das Hinzufügen von Verkehrszeichen (Tempolimits, Überholverbote), das Hinzufügen von unbeteiligten weiteren Verkehrsteilnehmern, Veränderung der Lichtverhältnisse etc. sein.
Unter einem Testszenario werden vorliegend die Vorgaben an die Simulation verstanden, die einen dynamischen Einfluss auf die Simulation haben.
Unter einer Testkonfiguration werden vorliegend die Vorgaben an die Simulation verstanden, zu Beginn der Simulation bzw. vor Beginn des jeweiligen Simulationslaufs vorgegeben sind. Darunter fallen bspw. statische Parameter udgl.
Unter einer validen Testkonfiguration wird vorliegend eine Testkonfiguration verstanden, die zu einem Simulationsergebnis führt, das einen erfolgreichen Simulationsdurchlauf kennzeichnet. Diese Testkonfigurationen werden auch „Goldstandard“ oder „Goldene Referenzen“ genannt.
Vorteilhaft an der vorliegenden Erfindung ist damit, dass anstelle einer - meist nicht-vorhandenen bzw. extrem aufwändig zu erstellenden - globalen Spezifikation nur eine relative Spezifikation zum Szenario benötigt wird.
Dadurch lassen sich auf einfache Art und Weise Testkonfigurationen erstellen, die in ihrer Gesamtheit zu einer höheren Robustheit des technischen Systems führen.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung wird im Schritt des Bewertens für das Simulationsergebnis in Abhängigkeit von dem Simulationsergebnis der validen Testkonfiguration bewertet.
Diese Ausführungsform birgt den Vorteil, dass das Simulationsergebnis der validen Testkonfiguration einen erfolgreichen Simulationsdurchlauf kennzeichnet und somit in einfacher Art und Weise das aktuelle Simulationsergebnis in Relation zu dem validen Simulationsergebnis bewertet werden kann. Dadurch kann auf einfache Art und Weise ein Maß für die Abweichung zu einem erfolgreichen Durchlauf ermittelt werden.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung erfolgt die Bewertung in Abhängigkeit von einem Grenzwert für eine Abweichung des Simulationsergebnisses von dem Simulationsergebnis der validen Testkonfiguration erfolgt.
Unter einem Grenzwert für eine Abweichung kann vorliegend eine Toleranz verstanden werden. Der Grenzwert richtet sich dabei nach der Repräsentation bzw. Dimension des Simulationsergebnisses. Somit kann es sich bei dem Grenzwert auch um einen Wertekorridor (Schlauch) oder eine Einhüllende handeln.
Diese Ausführungsform birgt den Vorteil, dass durch Vorgabe des Grenzwertes bzw. der Toleranz ein Maß für eine akzeptierbare Abweichung des Simulationsergebnisses bei Anwendung der von der validen Testkonfiguration abgeleiteten Testkonfiguration vorgegeben werden kann. Dadurch kann auf einfache Art und Weise festgestellt werden, ob das Simulationsergebnis bei Anwendung der abgeleiteten Testkonfiguration in den Rahmen der metamorphischen Relation fällt und damit ebenfalls einen erfolgreichen Simulationsdurchlauf kennzeichnet.
Nach einer Ausführungsform des Verfahrens gemäß vorliegenden Erfindung weist das Verfahren einen Schritt des Ableitens der Testkonfiguration vor dem Schritt des Simulierens auf, In dem Schritt des Ableitens wird die Testkonfiguration mittels der metamorphischen Relation auf mindestens eine Eigenschaft des technischen Systems abgeleitet. Diese Ausführungsform ist dadurch gekennzeichnet, dass die Ableitung beschränkt innerhalb von mindestens einer vorgegebenen Grenze erfolgt.
Nach dieser Ausführungsform kann sichergestellt werden, dass die abgeleitete Testkonfiguration innerhalb von gültigen Grenzen für das zu testende technische System liegt. Damit wird verhindert, dass das technische System unter einer Testkonfiguration getestet wird, für das das technische System oder der Test bzw. die Simulation nicht ausgelegt sind.
Bspw. kann dadurch verhindert werden, dass real nicht auftretende oder höchst unwahrscheinliche Bedingungen nicht getestet werden.
Dies schafft ein ressourcenschonendes Verfahren zum Testen der Robustheit eines technischen Systems.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung, die eingerichtet ist, alle Schritte des Verfahren gemäß der vorliegenden Erfindung auszuführen.
Ein besonderer Aspekt der vorliegenden Erfindung ist ein technisches System, welches mittels des Verfahrens gemäß der vorliegenden Erfindung erstellt ist.
Die Erstellung eines technischen Systems umfasst neben der Herstellung an sich auch das Testen des technischen Systems. Somit stellt das Verfahren zum Testen der Robustheit eines technischen Systems gemäß der vorliegenden Erfindung einen integralen Bestandteil des Erstellens des technischen Systems dar. Technische Systeme, die nach ihrer Herstellung oder im Rahmen ihrer Herstellung oder im Vorfeld ihrer Herstellung durch Simulation mittels eines Verfahrens zum Testen der Robustheit eines technischen Systems robust und damit sicher und zuverlässig erstellt wurden, genießen demnach den Schutz der vorliegenden Erfindung.
Nachstehend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen erläutert.
Es zeigen:

1 ein Blockdiagramm einer Simulationsumgebung;
2 ein Ablaufdiagramm eines Verfahrens für einen Robustheitstest für ein technisches System;
3 ein Ablaufdiagramm einer Ausführungsform des Verfahrens der vorliegenden Erfindung.

1 zeigt ein Blockdiagramm einer Simulationsumgebung 1, die ein Testszenario S unter einer Testkonfiguration C ausführen kann. Das Testszenario S ist der dynamische Teil der Simulation. Die Testkonfiguration C beschreibt den statischen Teil.
Im Bereich der Fahrerassistenzsysteme kann es sich bei dem Testszenario S bspw. um eine Folgefahrt hinter einem Fahrzeug handeln. Die Testkonfiguration C kann dann bspw. mittels Parameter den initialen Abstand und die initiale Geschwindigkeit für die Simulation des Testszenarios beschreiben.
Mittels des Simulators 10 kann das vorgegebene Testszenario S unter der vorgegeben Testkonfiguration C simuliert werden. Die Simulationsergebnisse K können sog. Key Performance Indikator (KPI) K sein.
Das Simulationsergebnis K wird einer Testbewertung 11 zugeführt, die das Simulationsergebnis K auswertet und auf ein Testergebnis R abbildet. In einem einfachen Fall kann das Testergebnis binär ausfallen und lediglich angeben, ob der Simulationsdurchlauf erfolgreich (passed) oder nicht erfolgreich (failed) war.
Denkbar sind stärker abgestufte Testergebnisse R.
Eine globale Spezifikation von Testszenario S und Testkonfiguration C ist aufgrund der vielen potentiellen Einflussgrößen schwierig zu bestimmen. Liegt ein bestimmtes Testszenario S vor und gibt es dazu bestimmte KPI K, ist es jedoch einfacher die relative Änderung des KPI K abhängig von der Änderung der Testkonfiguration C zu bestimmen.
In einem einfachen Fall bleibt das KPI K im Wesentlichen gleich, d.h. die Änderung der Testkonfiguration C hat lokal keinen Effekt.
2 zeigt ein Ablaufdiagramm 200 einer Ausführungsform eines Robustheitstests für ein technisches System.
Der dargestellte Robustheitstest basiert auf Simulation des technischen Systems. In Schritt 201 wird ein Durchlauf der Simulation unter einem Testszenario S und einer ersten Testkonfiguration $C_{s}^{1}$
durchgeführt.
In Schritt 202 wird das Simulationsergebnis K bewertet. Wenn die Simulation erfolgreich ist, kann die Testkonfiguration $C_{s}^{1}$
als valide Testkonfiguration (Goldener Standard) angesehen werden und damit als Ausgangskonfiguration für die Ableitung weiterer Testkonfigurationen $C_{s}^{i}$
dienen.
In Schritt 203 werden gültige Eingabe- und Parameteränderungen bestimmt. Diese dienen dazu metamorphische Relationen zu bestimmen, die innerhalb des Raums liegen.
Ferner kann die Bestimmung gültiger Eingabe- und Parameteränderungen sukzessive erweitert werden, um so von ersten gültigen Simulationsdurchläufen den zu simulierenden Raum sukzessive ausweiten und dadurch eine stetig steigende Robustheit des zu testenden technischen Systems feststellen zu können.
In Schritt 204 werden die (mutmaßlichen) Effekte der Eingabe- und Parameteränderungen auf die Simulationsergebnisse beschrieben.
Die Resultate der Schritte 203 und 204 stellen dann die metamorphischen Relationen dar.
In Schritt 205 werden einer, bevorzugt mehrere Simulationsdurchläufe mit jeweils geänderten und von dem Goldenen Standard abgeleiteten Testkonfigurationen $C_{s}^{i}$
durchgeführt.
In Schritt 206 wird ausgehend von den zuvor erstellten bzw. definierten metamorphischen Relationen in Abhängigkeit von den Simulationsergebnissen R_i der Simulationsdurchläuft die Robustheit des getesteten bzw. simulierten technischen Systems bestimmt.
Nach der Bestimmung der Robustheit können im Wesentlichen drei weiterführende Schritt durchgeführt werden.
Als erstes könnte die Robustheit des getesteten Systems als ausreichend bestimmt werden. In diesem Fall wäre das in 2 dargestellte Verfahren mit Schritt 206 beendet.
In einer ersten Alternative a könnten im Rahmen der Bewertung der Robustheit neue Erkenntnisse hinsichtlich der gültigen Eingabe- und Parameteränderungen entstanden sein. In diesem Fall geht das Verfahren bei Schritt 203 weiter. Dort können die neuen Erkenntnisse zur Bestimmung der gültigen Eingabe- und Parameteränderungen eingebracht werden.
In einer zweiten Alternative b könnten im Rahmen der Bewertung der Robustheit neue Erkenntnisse hinsichtlich der Effekte der Eingabe- und Parameteränderungen entstanden sein. In diesem Fall geht das Verfahren bei Schritt 204 weiter. Dort können die neuen Erkenntnis zur Anpassungen, Verbesserung oder Ergänzung der Beschreibung der Effekte der Eingabe- und Parameteränderungen herangezogen werden, um die metamorphischen Relationen zu verbessern. Bspw. können Toleranzen für die erwarteten Simulationsergebnisse angepasst werden.
3 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens 300 der vorliegenden Erfindung.
Der Schritt 301 wird gemäß einer Ausführungsform des Verfahrens 300 der vorliegenden Erfindung optional ausgeführt. Aus diesem Grund ist der Schritt gestrichelt dargestellt. In Schritt 302 wird eine Testkonfiguration $C_{s}^{i}$
mittels einer metamorphischen Relation MR auf mindestens eine Eigenschaft des technischen Systems aus einer validen Testkonfiguration $C_{s}^{1}$
für das technische System abgeleitet. Diese Ableitung findet beschränkt innerhalb von mindestens einer vorgegebenen Grenze (bspw. einem Schlauch oder eine Einhüllenden, je nach Dimension der jeweiligen Eigenschaft des technischen Systems).
In Schritt 302 wird das technische Systems in Abhängigkeit von einem Testszenario S und einer Testkonfiguration $C_{s}^{i}$
für ein Simulationsergebnis R simuliert. Die Testkonfiguration $C_{s}^{i}$
wird dabei mittels einer metamorphischen Relation MR auf mindestens eine Eigenschaft des technischen Systems aus einer validen Testkonfiguration $C_{s}^{1}$
für das technische System abgeleitet.
In Schritt 303 wird das des Simulationsergebnisses R bewertet.
In Schritt 304 wird die Robustheit des technischen Systems in Abhängigkeit von dem bewerteten Simulationsergebnis bewertet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2010/0299651 A1 [0006]

Claims

Verfahren (300) zum Testen der Robustheit eines simulierbaren technischen Systems aufweisend mindestens eine metamorphische Relation (MR) auf eine Eigenschaft des technischen Systems mit den Schritten: - Simulieren (302) des technischen Systems in Abhängigkeit von einem Testszenario (S) und einer Testkonfiguration $(C_{s}^{i})$
für ein Simulationsergebnis (R), wobei die Testkonfiguration $(C_{s}^{i})$
mittels der metamorphischen Relation (MR) auf mindestens eine Eigenschaft des technischen Systems aus einer validen Testkonfiguration $(C_{s}^{1})$
für das technische System abgeleitet ist; - Bewerten (303) des Simulationsergebnisses (R); - Bestimmen (304) der Robustheit des technischen Systems in Abhängigkeit von dem bewerteten Simulationsergebnis (R).
Verfahren (300) nach Anspruch 1, wobei im Schritt des Bewertens für das Simulationsergebnis (R) in Abhängigkeit von dem Simulationsergebnis (R) der validen Testkonfiguration $(C_{s}^{1})$
bewertet wird.
Verfahren (300) nach Anspruch 2, wobei die Bewertung in Abhängigkeit von einem Grenzwert für eine Abweichung des Simulationsergebnisses (R) von dem Simulationsergebnis der validen Testkonfiguration $(C_{s}^{1})$
erfolgt.
Verfahren (300) nach einem der vorhergehenden Ansprüche, mit einem Schritt des Ableitens (301) der Testkonfiguration $(C_{s}^{i})$
vor dem Schritt des Simulierens (302), wobei im Schritt des Ableitens (301) die Testkonfiguration $(C_{s}^{i})$
mittels der metamorphischen Relation (MR) auf mindestens eine Eigenschaft des technischen Systems abgeleitet wird, wobei die Ableitung beschränkt innerhalb von mindestens einer vorgegebenen Grenze erfolgt.
Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens (300) nach einem der Ansprüche 1 bis 4 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 5 gespeichert ist.
Vorrichtung, die eingerichtet ist, alle Schritte des Verfahren (300) nach einem der Ansprüche 1 bis 4 auszuführen.
Technisches System, welches mittels des Verfahrens (300) nach einem der Ansprüche 1 bis 4 erstellt ist.