DE102020215136A1

DE102020215136A1 - Verfahren zur automatisierten Bewertung eines Simulationsmodells

Info

Publication number: DE102020215136A1
Application number: DE102020215136.9A
Authority: DE
Inventors: Rene Zapf; Johannes Von Keler; Stephan Rhode; Patrick Hoffmann; Michael Schmitt
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2022-06-02
Also published as: CN114580139A; US20220171901A1

Abstract

Die Erfindung betrifft ein Verfahren zur automatisierten Bewertung, insbesondere Validierung, eines Simulationsmodells, das zum Simulieren von Messwerten einer Größe, die durch einen festen Parameter (Y) und einen variierenden Parameter (t) definiert ist, dient, wobei mittels des Simulationsmodells mehrere Simulationswerte (F) für die Größe ermittelt werden, wobei mehrere, zugehörige Referenzwerte (Sn) für die Größe ermittelt werden, wobei für jeden von mehreren Werten (t0) des variierenden Parameters (t) jeweils ein Modellformfehler (d, d+, d-) als Abweichung zwischen dem Simulationswert zu diesem Wert des variierenden Parameters (t) und dem Referenzwert zu diesem Wert des variierenden Parameters (t) bestimmt wird, und wobei anhand der Modellformfehler für die mehreren Werte des variierenden Parameters (t) eine Funktion des Modellformfehlers in Abhängigkeit von dem variierenden Parameter (t) bestimmt und für die Bewertung, insbesondere Validierung, des Simulationsmodells verwendet wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur automatisierten Bewertung, insbesondere Validierung, eines Simulationsmodells sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.
Hintergrund der Erfindung
Um festzustellen, ob ein Simulationsmodell das modellierte System ausreichend gut darstellen kann, oder um z.B. die momentane Qualität eines Simulationsmodells zu beurteilen werden solche Simulationsmodelle bewertet oder validiert. Hierbei werden üblicherweise Referenzwerte, z.B. reale Messungen, mit Ergebnissen des Simulationsmodells verglichen und die Abweichungen überprüft.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zur automatisierten Bewertung eines Simulationsmodells sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beschäftigt sich mit der automatisierten Bewertung, insbesondere auch Validierung, eines Simulationsmodells. Ein solches Simulationsmodell dient dabei insbesondere zum Simulieren von Messwerten einer Größe, die durch (mindestens) einen festen Parameter und (mindestens) einen variierenden Parameter definiert ist. Als der variierende Parameter kommt dabei insbesondere die Zeit in Betracht, sodass es sich bei der Größe um einen zeitlichen Verlauf z.B. eines Signals handeln kann. Ein Beispiel hierfür ist ein zeitlicher Verlauf einer Fahrzeuggierrate z.B. während einer Kurvenfahrt des Fahrzeugs. Durch das Simulieren von Messwerten müssen keine realen Messungen vorgenommen werden. Ein relevanter Punkt hierbei ist aber, dass das für die Simulation verwendete Simulationsmodell - dieses beschreibt z.B. auch die physikalischen Eigenschaften des Fahrzeugs - hinreichend gut ist. Hierzu muss ein Simulationsmodell bewertet oder validiert werden.
Im Fall einer skalaren Größe (nur ein fester, aber kein variierender Parameter), z.B. der Temperatur einer bestimmten Komponente in einer bestimmten Situation, kann mittels einer sog. Flächenvalidierungsmetrik (engl.: „Area Validation Metric“) eine Bewertung oder Validierung erfolgen. Eine solche kann für den Vergleich von zwei kumulierten Verteilungsfunktionen (CDFs) bzw. Wahrscheinlichkeitsboxen (p-Boxes, hierbei handelt es sich um eine Darstellmöglichkeit für eine Schar von CDFs) verwendet werden. Diese kumulierten Verteilungsfunktionen bzw. Wahrscheinlichkeitsboxen können aus Simulationen oder Messungen einer Größe (z.B. Temperatur oder Druck) unter Berücksichtigung von epistemischen und aleatorischen Parametern gebildet werden.
Das Simulationsmodell besitzt Modellparameter (z.B. elektrischer Widerstand, mechanische Reibkoeffizienten oder Schaltzeitpunkte). Diese Parameter sind entweder fest oder variierend. Variierende Parameter werden insbesondere in aleatorische und epistemische Parameter unterteilt. Hinzu kommen auch Lastfälle (oder Lastkollektive) oder auch Simulationsinputs. Diese können z.B. das Folgen einer gewünschten Fahrzeugtrajektorie oder ein Kraft- und Momentenverlauf sein. Diese Inputs können sich über die Zeit verändern bzw. variieren.
Häufig ist jedoch nicht ein einzelner (skalarer) Wert von Interesse, sondern der Verlauf über der Zeit (z.B. wie sich der Druck im Hinblick auf eine Temperaturvariation über der Zeit verhält) oder die Lage verschiedener Punkte (inklusive Unsicherheiten) zueinander, z.B. im Kontext einer Radarsensormodellierung, die als Vektor vorliegen. Allgemein kann also von einer Größe gesprochen werden, die durch einen festen Parameter und einen variierenden Parameter definiert ist. Der variierende Parameter kann z.B. die Zeit sein, sodass sich der erwähnte zeitliche Verlauf ergibt. Es versteht sich, dass die Größe außerdem durch weitere feste und/oder variierende Parameter definiert sein kann.
Vor diesem Hintergrund wird vorgeschlagen, dass mittels des Simulationsmodells (das es zu Bewerten oder Validieren gilt) mehrere Simulationswerte für die Größe ermittelt werden, und dass mehrere, zugehörige Referenzwerte für die Größe ermittelt werden. Die Referenzwerte werden hierbei insbesondere mittels realer Messungen ermittelt. Sowohl simulierte Daten, also die Simulationswerte, als auch die Referenzwerte liegen üblicherweise nicht als diskrete Werte vor, sondern als statistische Verteilungen, da verschiedene Unsicherheiten berücksichtigt werden müssen. Beispielsweise können zur Gewinnung eines bestimmten Referenzwerts mehrere gleichwertige Messungen vorgenommen werden, so dass als Ergebnis ein Referenzwert mit entsprechend eingegrenzten Messunsicherheiten gebildet werden kann, der als Verteilungsfunktion darstellbar ist. Ebenso fließen bei der Simulation von Werten verschiedene Unsicherheiten in den resultierenden Simulationswert ein, die sich beispielsweise aus den Eingangswerten ergeben. Insbesondere soll aber z.B. auch die Simulation gezielt solche Unsicherheiten abbilden, wie sie bei realen Messungen entstehen würden.
Für das Beispiel des zeitlichen Verlaufs der Größe können die Referenzwerte also z.B. durch mehrere Messungen eines zeitlichen Verlaufs der betreffenden Größe ermittelt werden. Hier können aber z.B. nicht nur Wiederholungsmessungen relevant sein, sondern auch z.B. Prüflinge aus verschiedenen Chargen. Die Verläufe werden dabei voneinander mehr oder weniger abweichen, was letztlich als mit Unsicherheiten behaftete Referenzwerte (oder ein mit Unsicherheiten behafteter Referenzverlauf) angesehen werden kann. Hiermit gleichbedeutend wäre z.B. eine Schar von gemessenen Verläufen, die sich um einen bestimmten Wert häufen. Ebenso können die Simulationswerte als eine Kurvenschar angesehen werden, da epistemische und aleatorische Unsicherheiten in der Simulation mitbetrachtet werden.
Für jeden von mehreren Werten des variierenden Parameters - also z.B. zu jedem von mehreren Zeitpunkten - wird dann jeweils ein Modellformfehler als Abweichung zwischen dem Simulationswert zu diesem Wert des variierenden Parameters (z.B. zu diesem Zeitpunkt) und dem Referenzwert zu diesem Wert des variierenden Parameters bestimmt. Insbesondere kann die Abweichung der mit Unsicherheiten modellierten Simulationswerte von den mit Messunsicherheiten (oder anderen Fehlern) belegten Referenzwerten als Modellformfehler (oder Modellfehler) bezeichnet werden.
Für jeden einzelnen Wert des variierenden Parameters, also z.B. zu jedem Zeitpunkt, kann also ein Modellformfehler bestimmt werden, wie dies z.B. für skalare Größen der Fall ist. Der Modellformfehler (für jeden Wert des variierenden Parameters) wird hierbei insbesondere mittels der schon erwähnten Flächenvalidierungsmetrik bestimmt, bei der die Abweichung zwischen dem Simulationswert und dem Referenzwert positive und negative Abweichungen umfasst. Ebenso kann aber eine sog. modifizierte Flächenvalidierungsmetrik verwendet werden, bei der die Abweichung zwischen dem Simulationswert und dem Referenzwert individuell für positive und negative Abweichungen bestimmt wird.
Das Wissen, ob die Simulation die Referenzdaten unter- oder überschätzt, verbessert die Berechnung des Modell(-form)fehlers. Nach der Validierung wird dem Modell der Modellformfehler in Form einer Unsicherheit mitgegeben. Das bedeutet konkret, dass die Aussage der Simulation unschärfer wird. Die modifizierte Flächenvalidierungsmetrik liefert tendenziell kleinere Unschärfen als die „klassische“ Flächenvalidierungsmetrik.
So liefert die Simulation bei deren Verwendung (z.B. Simulation der Fahrzeugkurvenfahrt) weniger konservative Ergebnisse als es bei der „klassischen“ Flächenvalidierungsmetrik der Fall ist. Dies führt bei einer rein virtuellen Auslegung zu geringer Überdimensionierung von Bauteilen oder auch zu einer geringeren benötigten Sicherheitsreserve bei Auslegungen von Reglern.
Hinsichtlich einer näheren Erläuterung der Flächenvalidierungsmetrik und der modifizierten Flächenvalidierungsmetrik sei an dieser Stelle auch auf „Roy, C. J. and Oberkampf, W. L. (2011), A Comprehensive Framework for Verification, Validation, and Uncertainty Quantification in Scientific Computing, Computer Methods in Applied Mechanics and Engineering, Vol. 200, pp. 2131-2144.“ sowie „Voyles, lan T. and Christopher J. Roy, Model Validation Techniques in the Presence of Epistemic and Aleatory Uncertainties, ASME V&V Conference, May 2014, Las Vegas, NV.“ verwiesen.
Anhand der Modellformfehler für die mehreren Werte des variierenden Parameters (bzw. zu den betreffenden Zeitpunkten) wird dann eine Funktion des Modellformfehlers in Abhängigkeit von dem variierenden Parameter bestimmt und für die Bewertung des Simulationsmodells verwendet. Diese Funktion des Modellformfehlers stellt im konkreten Fall der Zeit als variierendem Parameter also einen zeitlichen Verlauf des Modellformfehlers dar.
Dieser Zeitverlauf des Modellformfehlers - oder allgemein der als Funktion dargestellte Modellformfehler - kann anschließend ausgewertet werden (z.B. hinsichtlich eines Maximums, eines durchschnittlichen Werts, oder eines Wert bei einem speziellen Ereignis, z.B. je nach Anwendungsfall, etc.), um einen spezifischen Modellformfehler zu bestimmen. Alternativ kann z.B. auch die in der Wahrscheinlichkeitsbox (die durch einen Simulationswert definiert wird) eingeschlossene Fläche als Sensitivitätsindikator für das spätere Verarbeiten der Simulationswerte oder allgemein von durch das Simulationsmodell erhaltenen Daten herangezogen werden. So kann der Modellformfehler z.B. in Abhängigkeit von der Modellsensitivität ausgewertet werden.
Generell können mit dem vorgeschlagenen Verfahren also eine Abweichung von Simulationswerten von Referenz- bzw. Messwerten bestimmt und zur Bewertung des Simulationsmodells herangezogen werden. Denkbar ist z.B., dass bei einer Abweichung innerhalb bestimmter Grenzen das Simulationsmodell als validiert angesehen werden kann bzw. kann der ermittelte Modellformfehler der Simulation als Unschärfe bzw. Unsicherheit angehängt werden. Es versteht sich, dass das aber auch von weiteren Faktoren wie der Anzahl realer Messungen, die in die Referenzwerte eingehen, abhängen kann.
Das vorgeschlagene Vorgehen ermöglicht damit z.B. eine verbesserte und beschleunigte Produktentwicklung (z.B. sicherere Produkte), da mit einem guten Simulationsmodell (eines, das erfolgreich validiert bzw. entsprechend bewertet wurde), das das Verhalten des Produkts simulieren kann, reale Messungen oder Tests ergänzt (so können z.B. reale Testmessungen und zugleich Simulationen vorgenommen werden), oder aber reduziert oder mitunter gar vermieden werden können. Ebenso können aber z.B. Simulationen oder das Auswählen von geeigneten Simulationen z.B. zur Validierung von Modellen verbessert werden. in diesem Zusammenhang kann auch von „virtueller Freigabe“ oder „virtualized release“ gesprochen werden.
Das vorgeschlagene Vorgehen ermöglicht damit insbesondere die Simulation eines Systemverhaltens - z.B. der Schlagenergie eines Bohrhammers, der Trocknungsdauer des Geschirrs in einem Geschirrspüler, des Leerdurchdrehmoments einer Lenkung, eines zeitlichen Verlaufs einer Fahrzeuggierrate oder einer Messgröße eines Radarsensors - unter Berücksichtigung von Fertigungstoleranzen und Variation im Betrieb. Es wird eine Vorhersage des Versagens von Bauteilen, möglich, ebenso eine robuste Auslegung von Reglern, und es kann ein Einfluss von Software-Timings auf das Systemverhalten bestimmt werden.
Eine erfindungsgemäße Recheneinheit, z.B. ein Computer oder PC, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
Figurenliste

1a zeigt beispielhaft die Konstruktion einer Flächenvalidierungsmetrik für eine skalare Größe.
1 b zeigt beispielhaft eine modifizierte Flächenvalidierungsmetrik für eine skalare Größe.
2a zeigt beispielhaft ein gemessenes und simuliertes zeitabhängiges Signal, wie sie im Rahmen der Erfindung verwendet werden können.
2b zeigt den zeitlichen Verlauf der Flächenvalidierungsmetrik für das gemessene und simulierte Signal aus 2a.
2c zeigt beispielhaft eine Bestimmung von Simulationswerten als vektorielle Größe, wie sie im Rahmen der Erfindung verwendet werden können.
2d zeigt beispielhaft eine Bestimmung von Messwerten als vektorielle Größe. wie sie im Rahmen der Erfindung verwendet werden können.
3 zeigt beispielhaft einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform.

Ausführungsform(en) der Erfindung
In 1a ist beispielhaft und grafisch die Konstruktion einer Flächenvalidierungsmetrik (engl.: „Area Validation Metric“, AVM), für eine skalare Größe oder allgemein skalare Anwendungen dargestellt, die eine quantitative Bewertung von Abweichungen zwischen Modellergebnissen und Referenzdaten ermöglicht. Dabei ist eine empirische kumulative Verteilungsfunktion (Cumulative Distribution Function, CDF) S_n=S_n(Y) gezeigt. Dies ergibt sich beispielsweise aus mehreren Stichproben experimenteller Messdaten und bildet damit einen mit Unsicherheiten behafteten Referenzwert. Aufgrund der diskreten Anzahl an Messwerten kann die gezeigte kumulative Verteilungsfunktion auch als kumulierte Häufigkeitsverteilung angesehen werden. Ebenso kann der Referenzwert aber auch aus anderen Quellen stammen, beispielsweise aus einer weiteren Simulation.
Zusätzlich wird die Größe oder Zielgröße Y - hierbei handelt es sich um diejenige, skalare Größe, die mittels des Simulationsmodells ausgegeben wird bzw. für die Messwerte simuliert werden sollen - durch ein Simulationsmodell berechnet. Bei Vorhandensein von gemischten Unsicherheiten, also sowohl aleatorischen als auch intervallcharakterisierten epistemischen Eingangsunsicherheiten erzeugt die Propagierung der Unsicherheiten durch das Simulationsmodell eine Wahrscheinlichkeitsbox (oder „p-Box“, engl.: „probability box“) der Simulations-Zielgröße, die durch eine untere und eine obere Grenze gegeben ist und im Wesentlichen eine Schar von kumulierten Verteilungsfunktionen wiedergibt. Dies ist in 1a mit F=F(Y) bezeichnet.
Während die intervallcharakterisierten epistemischen Eingangsunsicherheiten den horizontalen Abstand der beiden Grenzen von F bestimmen, ist die Steigung der beiden Kurven von der aleatorischen Unsicherheit abhängig. Bei der Größe Y kann es sich grundsätzlich um eine beliebige, skalare Größe handeln. In 1a handelt es sich z.B. um eine Temperatur, denkbar wäre aber z.B. auch ein Druck oder jede beliebige andere, skalare Größe.
Die minimale Fläche zwischen diesen beiden Strukturen, also zwischen der Verteilungsfunktion S_n bzw. des Referenzwerts und der Wahrscheinlichkeitsbox F der simulierten Zielgröße, kann dann als Maß für die Differenz der Verteilungen betrachtet werden und wird als Flächenvalidierungsmetrik d (oder auch Minkowski-L1-Norm) bezeichnet und kann auch als Modellformfehler angesehen oder bezeichnet werden. $d (F, S_{n}) = \int_{- \infty}^{\infty} | F (Y) - S_{n} (Y) | d Y .$
F(Y) gibt, wie erwähnt, die Wahrscheinlichkeitsbox der Simulation für die Zielgröße Y an, und S_n(Y) die empirisch gemessene Verteilungsfunktion für die Zielgröße Y.
Die so erhaltene Flächenvalidierungsmetrik d weist die gleichen Einheiten wie die Zielgröße (auch als „System Response Quantity“, SRQ, bezeichnet) auf und bietet somit ein Maß für die Unstimmigkeit zwischen Simulation und Referenz. Bei der Bewertung eines Simulationsmodells kann die Flächenvalidierungsmetrik d daher auch als Modellformfehler d interpretiert werden, also als den Fehler, der durch die Modellierung zusätzlich zu den bereits propagierten Eingangsunsicherheiten in dem modellierten Ergebnis entsteht.
Im Schaubild in 1a ist die relevante Fläche zwischen den beiden Verteilungen schraffiert gezeigt, wobei ein Teil der Fläche oberhalb der Wahrscheinlichkeitsbox und ein Teil der Fläche unterhalb der Wahrscheinlichkeitsbox liegen. Die Gesamtfläche wird somit im Wesentlichen durch die Schnittpunkte der Referenzdaten mit den Grenzkurven der Wahrscheinlichkeitsbox definiert.
In 1b ist beispielhaft und grafisch eine modifizierte Flächenvalidierungsmetrik für eine skalare Größe bzw. skalare Anwendungen dargestellt, bei der neben der Fläche zwischen Simulationswert F und Referenzwert S_n zusätzlich auch die relative Lage der Kurven zueinander berücksichtigt wird. Dabei ist in diesem Beispiel erneut eine gestufte empirische Verteilungsfunktion für den Referenzwert gezeigt. Die simulierte Zielgröße F(Y) ist dagegen hier ebenfalls als einfache Verteilungsfunktion gezeigt, also entsprechend einer Wahrscheinlichkeitsbox mit einer Breite von 0. Dies würde einer Simulation der Zielgröße ohne epistemische Unsicherheiten entsprechen. Das Beispiel ist aber ebenso auf eine Wahrscheinlichkeitsbox wie in 1a übertragbar.
Für diese modifizierte Flächenvalidierungsmetrik (engl.: „Modified Area Validation Metric“, MAVM) wird die Gesamtfläche der Flächenvalidierungsmetrik noch einmal unterteilt, je nachdem, ob es sich um eine Abweichung der Referenzdaten von der Simulation nach oben (d.h. hin zu größeren Werten von Y) oder unten (d.h. hin zu kleineren Werten von Y) handelt. Somit werden zwei separate Flächen zwischen Simulation und Referenz betrachtet. Es ergibt sich damit eine Fläche d+ aus dem Bereich, in dem das Referenzergebnis (z.B. aus dem Experiment) größer als der Simulationswert ist (also oberhalb der zugehörigen Verteilungsfunktion oder p-Box des Simulationswerts liegt), und eine zweite Fläche d-aus dem Bereich, in dem das Referenzergebnis kleiner als der Simulationswert ist (also unterhalb der zugehörigen Verteilungsfunktion oder p-Box des Simulationswerts liegt). Der gesamte Modellformfehler in diesem Fall ergibt sich also aus der Abweichung d+ nach oben und der Abweichung d- nach unten. Insbesondere werden d- wird links und d+ rechts an die CDF (bzw. Wahrscheinlichkeitsbox) angetragen, sie verbreitern so die Box. Somit geht der Modellfehler als weitere epistemische Unsicherheit bei der Verwendung der Simulation ein.
Weitere Abwandlungen dieser Metriken sind ebenso möglich, beispielsweise die zusätzliche Berücksichtigung eines Konfidenzintervalls für die experimentellen Referenzdaten, sodass auch die Referenzdaten in Form einer Wahrscheinlichkeitsbox vorliegen.
In 2a sind beispielhaft ein gemessenes und simuliertes zeitabhängiges Signal, wie sie im Rahmen der Erfindung verwendet werden können, dargestellt. Die Größe, die hier simuliert werden soll, weist dabei einen festen Parameter Y und einen variierenden Parameter t auf. In dem gezeigten Beispiel ist der variierende Parameter t die Zeit (aufgetragen in s), der feste Parameter eine Gierrate (aufgetragen in rad/s), wie sie z.B. (als Fahrzeuggierrate) bei Fahrdynamiktests im Automobilbereich von Interesse ist. Auf diese Weise ergibt sich als Größe ein zeitlicher Verlauf eines Signals. Es versteht sich, dass als fester Parameter auch eine andere Größe wie z.B. die Temperatur wie in den 1a, 1b in Betracht kommt.
Die Grafik, die die Gierrate vs. Zeit zeigt, stellt eine sog. SRQ (System Response Quantity) dar, als Input kann z.B. ein Lenkradwinkel über der Zeit (als Simulationsinput) dienen. Die Kurvenschaar entsteht dann durch mehrfache Simulation des Inputs bei variierenden Simulationsparametern. Diese Parameter sind während einer Simulation konstant (keine Änderung während der Zeit).
Die Simulationswerte F und die Referenzwerte S_n sind jeweils als Kurvenscharen dargestellt, wie In dem vergrößert dargestellten Ausschnitt zu sehen. Damit kann die schon erwähnte Unsicherheit dargestellt werden.
Nun kann zur Berechnung einer erweiterten Flächenvalidierungsmetrik im Rahmen der Erfindung jeder Zeitpunkt (oder zu jedem von bestimmten, ausgewählten Zeitpunkten oder allgemeine für mehrere Werte des variierenden Parameters) dieses Signalverlaufs betrachtet werden, was exemplarisch mit dem Zeitpunkt to (der in etwa bei t=16s liegt) dargestellt sein soll. Zu jedem dieser Zeitpunkte kann eine Darstellung von Simulationswert und Referenzwert wie z.B. in 1a oder 1 b gezeigt, gebildet werden. Eine Idee für die Auswertung ist damit also, dass für jeden Zeitschritt eine p-Box (für Simulation) und eine CDF (für Referenzdaten) aufgebaut und Modellformfehler d berechnet werden. Da das für jeden Zeitpunkt gemacht wird, wird ein d(t), also eine Modellformfehler d als Funktion der Zeit t, erhalten
Hierzu sei auf den vergrößerten Ausschnitt verwiesen, in dem zu erkennen ist, dass die Simulationswerte F und die Referenzwerte S_n sind jeweils als Kurvenscharen dargestellt sind. Damit kann die schon erwähnte Unsicherheit dargestellt werden. So kann z.B. eine Dichte der Kurven als eine Wahrscheinlichkeits- oder Häufigkeitsverteilung interpretiert werden. Bei realen Messwerten wird es z.B. der Fall sein, dass sich eine hohe Anzahl an Messwerten um einen mittleren Wert konzentrieren, es aber auch einzelne weitere Abweichungen nach oben und unten geben wird. Dies gilt gleichermaßen für Kurven wie für skalare Größen.
Zusammen mit der gemessenen Gierrate Y für diesen Zeitpunkt (mit den zugehörigen Unsicherheiten) kann dann die Formel $d (F, S_{n}) = \int_{- \infty}^{\infty} | F (Y) - S_{n} (Y) | d Y$
angewendet werden. Auf diese Weise kann für jeden Zeitpunkt des simulierten Signals eine Flächenvalidierungsmetrik gebildet werden, die einen Modellformfehler d angibt. Anschließend kann aus den so gefundenen einzelnen, zeitabhängigen Werten d des Modellformfehlers eine Funktion d(t) des Modellformfehlers in Abhängigkeit von der Zeit als variierendem Parameter gebildet werden, wie dies in 2a dargestellt ist.
Dabei können die Punkte, an denen die Flächenvalidierungsmetrik ausgewertet wird, beispielsweise als diskrete Punkte mit vorgegebenem oder variablem Abstand festgelegt sein, so dass etwa Punkte im Abstand von 1 Sekunde (oder auch anderen Werte, wie etwa 0,5 Sekunden oder 0,1 Sekunden) ausgewertet werden. Es versteht sich, dass die Wahl der geeigneten Stützpunkte unter anderem von der Art der Zielgröße abhängig sein kann. Die resultierende Funktion einer zeitabhängigen Flächenvalidierungsmetrik kann dann beispielsweise als Interpolation der diskreten Werte für die Flächenvalidierungsmetrik gefunden werden. Alternativ ist auch denkbar, keine interpolierte Funktion zu bilden, sondern die diskreten Werte unverändert auszuwerten.
Auf ähnliche Weise können Simulationswerte ausgewertet werden, die beispielsweise als Vektoren dargestellt sind. Dies ist beispielhaft in den 2c und 2d dargestellt. Auch hier kann die betrachtete Gruppe von Datenpunkten, für die die Validierungsmetrik verwendet werden soll, in Abhängigkeit von (mindestens) einem festen und (mindestens) einem variierenden Parameter betrachtet werden. Beispielsweise kann eine Zielgröße für einen Datenpunkt als dreidimensionaler Vektor angegeben sein, so dass sich dieser aus mindestens drei verschiedenen Einzelwerten zusammensetzt.
In 2c sind hierzu Simulationswerte in drei Dimensionen N, M und O gezeigt. Jede Matrix in der Dimension O besteht aus N Reihen und M Spalten, die zusammen eine Wahrscheinlichkeitsbox bzw. p-Box bilden. Die Einträge sind hier zur Veranschaulichung nur mit der jeweiligen Position in den drei Dimensionen bezeichnet. Jede Reihe bildet dabei eine kumulierte Verteilungsfunktion (CDF). Die Dimension M gibt damit die aleatorischen Werte bzw. Unsicherheiten an, die Dimension N hingegen die epistemischen. Die Dimension O wiederum stellt die Variation z.B. über Ort oder Zeit oder eine andere Dimension dar.
In 2d sind entsprechende Mess- bzw. Referenzwerte gezeigt, die in der Dimension O wie auch bei 2c die Variation z.B. über Ort oder Zeit darstellt. Die Dimension K hingegen gibt die Messwiederholungen bzw. Werte aus einer Charge an. Damit bilden hier die Spalten jeweils eine kumulierte Verteilungsfunktion (CDF) der Messung. [
Wie zuvor bei dem Beispiel eines zeitlichen Verlaufs eines Signals können nun eigene Modellformfehler für jeden Wert des variierenden Parameters gebildet werden, also für das Beispiel des dreidimensionalen Vektors etwa drei einzelne Modellformfehler.
Sobald auf diese oder ähnliche Weise die Modellformfehler in Abhängigkeit von dem variierenden Parameter gefunden wurden, also beispielsweise ein zeitlicher Verlauf des Modellformfehlers bestimmt wurde, kann dieses Ergebnis weiter ausgewertet werden, um daraus Aussagen über die Simulationswerte zu gewinnen. Beispielsweise kann geprüft werden, wo in einem vorgegebenen Intervall ein lokales oder globales Maximum oder Minimum der Funktion des Modellformfehlers vorliegt. Auf dieser Grundlage können dann beispielsweise weitere Entscheidungen über die Simulation oder ihre Anwendung getroffen werden, etwa eine erforderliche Verbesserung des Modells oder der Modelleingangsparameter.
Ebenso können bestimmte interessierende Parameter vorgegeben werden, z.B. ein bestimmter Zeitpunkt oder Zeitraum, und der Modellformfehler in diesem Bereich ausgewertet werden. Auch die Steigungen oder Durchschnittswerte der Funktion des Modellformfehlers können für verschiedene Anwendungen herangezogen werden.
Insgesamt können der Modellformfehler und weitere Unsicherheiten der Simulation (Input-, Parameter-, numerische Unsicherheit) beispielsweise dazu verwendet werden, Einsatzmöglichkeiten eines Modells zu bewerten, oder über virtuelle Freigabeentscheidungen zu entscheiden.
In 3 ist beispielhaft einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt. In Schritt 300 werden mittels des zu bewertenden Simulationsmodells M Simulationswerte wie z.B. in 2a oder 2c gezeigt, ermittelt. Dies kann z.B. im Rahmen mehrerer Simulationen, deren Ergebnis jeweils eine Kurve (die z.B. einen zeitlichen Verlauf eines Signals darstellt) ist, erfolgen. Bei dem Beispiel aus 2c würden z.B. N × M Simulationen mit je O Datenpunkten durchgeführt.
Ebenso können in Schritt 330 Referenzwerte gebildet werden, die beispielsweise durch einfache oder mehrfache Messung der Zielgröße in einem realen Experiment entstehen können. Die Größe der Stichprobe kann vorgegeben sein oder durch geeignete Verfahren bestimmt werden, wobei beispielsweise statistische Überlegungen und Messkosten berücksichtigt werden können. Soweit es sich um einen zeitlichen Verlauf wie in dem Beispiel aus 2a handelt, können also mehrere Zeitpunkte gemessen werden, wobei die Zeitpunkte bzw. ihr Abstand vorgegeben sein kann. Für jeden einzelnen Zeitpunkt können insbesondere mehrere Messungen vorgenommen werden, um die Unsicherheit der Messungen darzustellen. Beispielsweise kann ein zeitabhängiges Experiment mehrfach durchlaufen werden und jeweils zu denselben Zeitpunkten Messungen vorgenommen werden, so dass für jeden Zeitpunkt dann mehrere Messwerte für die Zielgröße vorliegen. Bei dem Beispiel aus 2d können z.B. K Messungen mit je O Datenpunkten durchgeführt werden
Es versteht sich, dass die Schritte 300 und 330, die hier zur Vereinfachung parallel gezeigt sind, im Wesentlichen gleichzeitig oder zeitlich unabhängig voneinander stattfinden können. Üblicherweise werden die Referenzwerte, die beispielsweise einer oder mehreren Messungen entstammen, unabhängig von der Simulation erfasst werden. Insbesondere können geeignete Referenzwerte auch zur Validierung mehrerer unterschiedlicher Simulationsmodelle genutzt werden und müssen nicht zwingend für jedes Modell neu gebildet werden.
Die gewonnenen Daten aus den Schritten 300 und/oder 330 können in einem optionalen Schritt 310 bzw. 340 noch einer Vorverarbeitung unterzogen werden, etwa durch Resampling bzw. Stichprobenwiederholung, Skalierungen, und andere. Es versteht sich, dass an dieser Stelle beliebige geeignete Verarbeitungsschritte genutzt werden können.
Aus den so modellierten (Schritt 300) und optional vorverarbeiteten Simulationsdaten wird dann in Schritt 320 im allgemeinen Fall für jeden Datenpunkt bzw. jeden Wert des variierenden Parameters (im Beispiel aus 2a: zu jedem Zeitpunkt; im Beispiel aus 2c: für jeden Wert der Dimension O) eine separate Wahrscheinlichkeitsbox gebildet, welche den Simulationswert mit seinen gemischten Unsicherheiten wiedergibt. Ebenso wird in Schritt 350 eine entsprechende kumulierte Verteilungsfunktion der Referenzwerte für jeden dieser Werte (oder Zeitpunkte) bestimmt.
Gemäß Schritt 360 wird zunächst ein erster von mehreren variierenden Parametern betrachtet. Dort wird dann für jeden Wert (bzw. Zeitpunkt) gemäß Schritt 370 ein Modellformfehler d wie in Bezug auf 1a oder es können Modellformfehler d+, d- wie in Bezug auf 1b beschrieben, bestimmt. Dies wird, sofern vorhanden, für alle weiteren variierenden Parameter durchgeführt. Anschließend - oder für den Fall nur eines variierenden Parameters (wie im Beispiel der 2a) gleich nach dem ersten Durchlauf - wird gemäß Schritt 380 der Modellformfehler als Funktion der mehreren oder ggf. des einen variierenden Parameters bestimmt. In Schritt 390 kann dann eine Bewertung oder Validierung des Simulationsmodells anhand des Modellformfehlers erfolgen.

Claims

Verfahren zur automatisierten Bewertung (390), insbesondere Validierung, eines Simulationsmodells (M), das zum Simulieren von Messwerten einer Größe, die durch einen festen Parameter (Y) und einen variierenden Parameter (t) definiert ist, dient, wobei mittels des Simulationsmodells (M) mehrere Simulationswerte (F) für die Größe ermittelt werden, wobei mehrere, zugehörige Referenzwerte (S_n) für die Größe ermittelt werden, wobei für jeden von mehreren Werten (t₀) des variierenden Parameters (t) jeweils ein Modellformfehler (d, d+, d-) als Abweichung zwischen dem Simulationswert zu diesem Wert des variierenden Parameters (t) und dem Referenzwert zu diesem Wert des variierenden Parameters (t) bestimmt wird, und wobei anhand der Modellformfehler (d, d+, d-) für die mehreren Werte des variierenden Parameters (t) eine Funktion des Modellformfehlers in Abhängigkeit von dem variierenden Parameter (t) bestimmt und für die Bewertung (390), insbesondere Validierung, des Simulationsmodells (M) verwendet wird.
Verfahren nach Anspruch 1, bei dem der variierende Parameter (t) eine Zeit ist, sodass die Größe ein zeitlicher Verlauf des festen Parameters (Y) ist.
Verfahren nach Anspruch 2, wobei der feste Parameter (Y) durch ein Signal vorgegeben ist, sodass die Größe ein zeitlicher Verlauf des Signals ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Referenzwerte (S_n) durch reale Messungen oder durch Simulationen mit höherem Detailgrad als bei den Simulationswerten ermittelt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Simulationsmodell wenigstens einen fest und wenigstens einen variierenden Modellparameter aufweist, und wobei die Simulationswerte (F) eine Unsicherheit in Form einer Wahrscheinlichkeitsverteilung, die die variierenden Modellparameter abbildet, und die Referenzwerte (S_n) eine Unsicherheit in Form einer Häufigkeitsverteilung aufweisen
Verfahren nach einem der vorstehenden Ansprüche, bei dem der Modellformfehler (d) mittels einer Flächenvalidierungsmetrik bestimmt wird, bei der die Abweichung zwischen dem Simulationswert und dem Referenzwert positive und negative Abweichungen umfasst, oder wobei der Modellformfehler (d+, d-) mittels einer modifizierten Flächenvalidierungsmetrik bestimmt wird, bei der die Abweichung zwischen dem Simulationswert und dem Referenzwert individuell für positive und negative Abweichungen bestimmt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Größe einen zeitlichen Verlauf einer Fahrzeuggierrate, eine Variation einer Schlagenergie eines Bohrhammers, eine Trocknungsdauer des Geschirrs in einem Geschirrspüler, eine Variation eines Leerdurchdrehmoment einer Lenkung oder eine Messgröße eines Radarsensors umfasst.
Verfahren nach einem der vorstehenden Ansprüche, bei dem mittels des bewerteten, insbesondere validierten, Simulationsmodells (M) ein Softwareprodukt oder ein Regler virtualisiert oder freigegeben wird.
Recheneinheit, die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
Computerprogramm, das eine Recheneinheit dazu veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 8 durchzuführen, wenn es auf der Recheneinheit ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.