-
Die vorliegende Erfindung betrifft ein Verfahren zur Analyse eines insbesondere in einen zumindest teilautonomen Roboter oder Fahrzeug eingebetteten Systems. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.
-
Stand der Technik
-
In der Softwaretechnik wird die Nutzung von Modellen zur Automatisierung von Testaktivitäten und zur Generierung von Testartefakten im Testprozess unter dem Oberbegriff „modellbasiertes Testen“ (model-based testing, MBT) zusammengefasst. Hinlänglich bekannt ist beispielsweise die Generierung von Testfällen aus Modellen, die das Sollverhalten des zu testenden Systems beschreiben.
-
Insbesondere eingebettete Systeme (embedded systems) sind auf schlüssige Eingangssignale von Sensoren angewiesen und stimulieren wiederum ihre Umwelt durch Ausgangssignale an unterschiedlichste Aktoren. Im Zuge der Verifikation und vorgelagerter Entwicklungsphasen eines solchen Systems wird daher in einer Regelschleife dessen Modell (model in the loop, MiL), Software (software in the loop, SiL), Prozessor (processor in the loop, PiL) oder gesamte Hardware (hardware in the loop, HiL) gemeinsam mit einem Modell der Umgebung simuliert. In der Fahrzeugtechnik werden diesem Prinzip entsprechende Simulatoren zur Prüfung elektronischer Steuergeräte je nach Testphase und -objekt mitunter als Komponenten-, Modul- oder Integrationsprüfstände bezeichnet.
-
DE10303489A1 offenbart ein derartiges Verfahren zum Testen von Software einer Steuereinheit eines Fahrzeugs, bei dem durch ein Testsystem eine von der Steuereinheit steuerbare Regelstrecke wenigstens teilweise simuliert wird, indem Ausgangssignale von der Steuereinheit erzeugt werden und diese Ausgangssignale der Steuereinheit zu ersten Hardware-Bausteinen über eine erste Verbindung übertragen werden und Signale von zweiten Hardware-Bausteinen als Eingangssignale zur Steuereinheit über eine zweite Verbindung übertragen werden, wobei die Ausgangssignale als erste Steuerwerte in der Software bereitgestellt werden und zusätzlich über eine Kommunikationsschnittstelle in Echtzeit bezogen auf die Regelstrecke zum Testsystem übertragen werden.
-
Derartige Simulationen sind auf verschiedenen Gebieten der Technik verbreitet und finden beispielsweise Einsatz, um eingebettete Systeme in Elektrowerkzeugen, Motorsteuergeräten für Antriebs-, Lenk- und Bremssysteme oder gar autonomen Fahrzeugen in frühen Phasen ihrer Entwicklung auf Tauglichkeit zu prüfen. Dennoch werden die Ergebnisse von Simulationsmodellen nach dem Stand der Technik aufgrund fehlenden Vertrauens in ihre Zuverlässigkeit nur begrenzt in Freigabeentscheidungen einbezogen.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren zur Analyse eines in einen Roboter oder in ein Fahrzeug eingebetteten Systems, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium gemäß den unabhängigen Ansprüchen bereit.
-
Der erfindungsgemäße Ansatz fußt hierbei auf der Erkenntnis, dass während der Entwicklung eines neuen Produktes bzw. Systems üblicherweise in begleitenden Simulationen geprüft wird, ob sämtliche geforderten Spezifikationen erfüllt sind. Dabei ist es essenziell, nicht nur das Verhalten des Gesamtsystems unter nominellen Betriebsbedingungen zu prüfen, sondern auch typische Parameterunsicherheiten systematisch zu berücksichtigen. Typische Parameterunsicherheiten sind z. B. temperaturabhängige Systemparameter (Viskosität von Hydrauliköl), veränderliche Umweltbedingungen (Reibkoeffizienten einer Fahrbahn), Alterungseffekte (Reifendruck, Reifenprofil), geänderte Einsatzbedingungen (Fahrzeug voll besetzt oder leer) und Messunsicherheiten. Wird eine Spezifikation trotz solcher Parameterunsicherheiten stets zuverlässig erfüllt, so wird das betreffende System fachsprachlich als „robust“ gegen die betrachteten Parameterunsicherheiten bezeichnet. Dies kann numerisch z. B. mit Hilfe randomisierter Algorithmen geprüft werden.
-
Der vorgeschlagene Ansatz trägt ferner dem Umstand Rechnung, dass die statistische Bewertung der Güte bzw. des Verhaltens des Gesamtsystems auf der Grundlage von numerischen Simulationen eine reichhaltige Datengrundlage generiert. Typische Methoden für die wahrscheinlichkeitstheoretische Analyse geben jedoch keine Auskunft darüber, welche der betrachteten Parameter durch ihren Einfluss das Systemverhalten dominieren. Werden sämtliche Spezifikationen in der aktuellen Konfiguration erfüllt, ist dieser Informationsmangel nicht kritisch. Werden jedoch bestimmte Gütekriterien nicht zufriedenstellend erreicht, so ist es wünschenswert, zielgerichtete Anpassungen am System einzugrenzen.
-
Ein Vorzug der erfindungsgemäßen Lösung liegt vor diesem Hintergrund in der eröffneten Möglichkeit, auf Basis von numerischen Simulationen jene Systemparameter zu identifizieren, deren Anpassung zu einer effizienten Verbesserung des Systemverhaltens beitragen.
-
Liegt für das Gesamtsystem (z. B. bestehend aus einem Streckenmodell und einer geeigneten Regelungsstrategie) eine mathematische Beschreibung vor, so ist es zwar prinzipiell möglich, die einflussreichsten Parameter rein theoretisch zu bestimmen. In der Praxis sind solche analytischen Untersuchungen nur an vereinfachten oder idealisierten Systemen mit akzeptablem Aufwand durchführbar. Zusätzlich wird für die Analyse detailliertes Systemwissen vorausgesetzt.
-
Im Gegensatz dazu haben numerische Analysen den Vorteil, dass sie auch auf ein lediglich anhand seiner Ein-/Ausgabebeziehungen beschriebenes System (black box) angewandt werden können. Der Einsatz des erfindungsgemäßen Verfahrens ist besonders vorteilhaft, wenn während der Verifizierung des Systementwurfs randomisierte Algorithmen oder anderweitige statistische Methoden eingesetzt werden. Ansätze zur Ermittlung einer empirischen Verletzung verwenden zum Beispiel Monte-Carlo-Simulationen mit unabhängigen und identisch verteilten Systemparametern. So entsteht eine reichhaltige und hochwertige Datengrundlage. Diese Daten werden erfindungsgemäß wiederverwendet, um die Sensitivität des Systems zu untersuchen.
-
Der Begriff „Sensitivität“ wird in diesem Zusammenhang nicht im statistischen Sinne der Trefferquote eines Tests verwendet. Im kybernetischen Sinn einer Sensitivitätsanalyse oder eines Sensitivitätsdiagrammes soll er im Folgenden vielmehr die allgemeine Empfindlichkeit bezeichnen, mit der das System selbst auf geringe Änderungen von Eingangsparametern reagiert.
-
Die wesentlichen Vorteile des vorgeschlagenen Verfahrens lassen sich auf dieser Grundlage in zwei Stufen einordnen. Zuerst liefert die numerische Sensitivitätsanalyse generelle, systemrelevante Erkenntnisse, denn die Sensitivitäten zeigen die dominierenden Einflussfaktoren auf den betrachteten Aspekt des Systemverhaltens auf und offenbaren, welche Parameterunsicherheiten eine untergeordnete Rolle spielen bzw. gegenüber welchen Unsicherheiten das System robust ist. Sie erleichtern somit auch bei Black-Box-Systemen mit geeigneten Schnittstellen für die Parameter das Verständnis für Änderungen des Systemverhaltens.
-
Aufbauend darauf können je nach Gestaltung der Szenarien und Gütefunktionen wichtige Designentscheidungen unterstützt werden, etwa bei welchen Systemkomponenten eine hohe Fertigungsgenauigkeit sinnvoll ist, welche Unsicherheiten besonders signifikant für das Gesamtsystem sind und möglichst exakt bestimmt werden müssen, damit die Zuverlässigkeit der statistischen Ansätze maximiert wird, oder für welche Systemkomponenten die Entwicklung von sogenannten Beobachtern oder Schätzern besonders vielversprechend erscheint.
-
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 die Prinzipdarstellung zur Analyse eines dynamischen Black-Box-Systems, das mit Testszenarien und Parameterunsicherheiten stimuliert wird.
- 2 das Flussdiagramm eines Verfahrens gemäß einer ersten Ausführungsform.
- 3 ein Histogramm zur Darstellung des Einflusses des unsicheren Parameters Δ1 auf das Gütekriterium γ.
- 4 ein Histogramm zur Darstellung des Einflusses des unsicheren Parameters Δ2 auf das Gütekriterium γ.
- 5 schematisch eine Arbeitsstation gemäß einer zweiten Ausführungsform.
-
Ausführungsformen der Erfindung
-
1 zeigt eine Prinzipdarstellung zur Analyse eines dynamischen Black-Box-Systems (20). Voraussetzung für die Anwendung des erfindungsgemäßen Verfahrens ist, dass geeignete Schnittstellen für die Untersuchung vorgesehen sind. Dabei können verschiedene Testszenarien
∈ ℝ
T und Parameterunsicherheiten Δ ∈ ℝ
P die Eingangsgrößen bilden. Die Ausgangsgrößen für die Analyse sind die Gütekriterien γ ∈ ℝ
G. Weitere Voraussetzung für die vorgeschlagenen numerischen Sensitivitätsanalysen für das Black-Box-System (20) ist die Definition von Parameterunsicherheiten im Gesamtsystem Δ ∈ ℝ
P Dies betrifft neben der Festlegung von Wertebereichen auch die zugehörigen Wahrscheinlichkeitsdichtefunktionen. Als Parameterunsicherheiten sind insbesondere Umgebungsparameter wie z. B. Temperatur, Luftdruck oder exogene Störungen mit aufzunehmen. Vorausgesetzt wird schließlich die Auswahl mindestens eines Testszenarios T ∈
- bei Regelkreisen entspricht dies unterschiedlichen Vorgaben für den Verlauf der Sollgröße über einen oder mehrere Arbeitszyklen - sowie mindestens ein Gütekriterium γ ∈ ℝ
G anhand dessen sich das Verhalten des Systems (20) bewerten lässt. Beispiele für mögliche Gütekriterien sind der Effektivwert des Fehlers (root mean squared error, RMSE) bei Regelkreisen oder die Einstufung durch einen binären Klassifikator (z. B. Einhaltung vorgegebener Fahrbahngrenzen).
-
Wie
2 verdeutlicht, werden basierend auf den festgelegten Mengen von Szenarien T und Parameterunsicherheiten Δ nach einem Monte-Carlo-Ansatz zufällig und voneinander unabhängig einzelne Szenarien T
i ∈
und Parameter Δ
i ∈ Δ ausgewählt (Prozess 11), das Gesamtsystem simuliert (Prozess 12) und das Gütekriterium γ
i = γ(T
i, Δ
i) numerisch ermittelt. Der hochgestellte Bezeichner i kennzeichnet in diesem Zusammenhang jene Größen, die der i-ten Simulation zugeordnet sind.
-
Nach Abschluss der Simulationen erfolgt die Bewertung (Prozess 13) der Gütekriterien γi. Obwohl der Monte-Carlo-Ansatz voraussetzt, dass sämtliche freien bzw. unsicheren Parameter unabhängig voneinander variiert werden (nur so wird eine hinreichende Abdeckung des zulässigen Arbeitsbereiches erzielt), ist es möglich, die Einflüsse einzelner Parameter zu ermitteln.
-
Eine intuitive und dadurch benutzerfreundliche Variante für die Darstellung der Sensitivitäten bei kardinal skalierten Parametern und Gütekriterien ist die Aufbereitung in Histogrammen. Bivariate Histogramme, die fachsprachlich teils als 2D- oder 3D-Histogramme bezeichnet werden, ermöglichen es, die Häufigkeitsverteilung eines zweidimensionalen Zufallsvektors zu veranschaulichen. Dieser Zufallsvektor setzt sich vorliegend für eine Stichprobe i aus dem Parameterwert Δ
i ∈ Δ mit der - im betrachteten Testfall T
i ∈
- für diesen Wert ermittelten Güte γ
i = γ(T
i, Δ
i) zusammen.
-
3 zeigt ein 2-D-Histogramm, das den Einfluss eines unsicheren Parameters Δ1 auf das Gütekriterium γ darstellt. Hier zeigt sich, dass Änderungen des Parameters Δ1 sich kaum auf die Güte γ auswirken. Diese Darstellung unterstützt die Schlussfolgerung, dass das Gesamtsystem robust gegenüber Unsicherheiten ist, die den Parameter Δ1 betreffen.
-
4 zeigt ein weiteres 2-D-Histogramm, das den Einfluss eines unsicheren Parameters Δ2 auf das Gütekriterium γ darstellt. Es zeigt sich deutlich, dass sich niedrige Werte im Gütekriterium (dies entspricht nach der vorliegend verwendeten Definition einem erwünschten Verhalten) bei hohen Werten von Δ2 häufen. Die gleichsam „schlechtesten“ Bewertungen anhand von γ treten bei niedrigen Werten von Δ2 auf. Diese Darstellung unterstützt die Schlussfolgerungen, dass der Parameter Δ2 relevant für das Systemverhalten ist und dass im untersuchten Parameterbereich hohe Werte vorteilhaft für das Gesamtsystem sind.
-
Aus einer Zusammenschau der 3 und 4 lassen sich folgende Schlussfolgerungen für effiziente Verbesserungen des Gesamtsystems ableiten: Der Einfluss von Δ1 auf das Gütekriterium γ ist sehr gering. Falls Δ1 ein Konstruktionsparameter oder eine Sensorspezifikation ist, kann geprüft werden, ob zur Kostenreduzierung eine preiswertere Komponente eingesetzt werden kann.
-
Der Einfluss von Δ2 auf das Gütekriterium γ ist hingegen signifikant. Falls dieser Parameter für die (modellbasierte) Regelung des Gesamtsystems von Bedeutung ist, sollte geprüft werden, ob die Entwicklung einer Beobachterstrategie zur Verbesserung des Gütekriteriums führt. Handelt es sich um einen Konstruktionsparameter, so ist abzuwägen, ob eine höhere Fertigungsgenauigkeit bzw. eine Reduktion der Streuung sinnvoll sind. Bei Umgebungsparametern können je nach erreichtem Gütekriterium γ verschiedene Betriebsbereiche mit unterschiedlichen Spezifikationen abgeleitet werden.
-
Eine Alternative zur Identifikation der einflussreichsten Parameterunsicherheiten Δ anhand einer solchen Visualisierung stellt die direkte numerische Analyse der Verteilung der Werte der Gütekriterien γ dar. Eine Möglichkeit hierzu besteht darin, die Zielmenge des Gütekriteriums γi für jeden unsicheren Parameter Δk der Größe nach aufsteigend in Intervalle zu unterteilen (data binning) und für diese Intervalle jeweils statistische Kennzahlen wie das arithmetische Mittel oder den Median zu bestimmen. Liegen diese Kennzahlen eng beieinander, so ist γ robust gegenüber Unsicherheiten, die den Parameter Δk betreffen. Weichen die gewählten Kennzahlen hingegen deutlich voneinander ab, so ist Δk mit einer einflussreichen Parameterunsicherheit behaftet.
-
Sämtliche in diesem Abschnitt diskutierten Betrachtungen und Untersuchungen bezüglich der Parameter Δ lassen sich direkt auf die Bewertung in verschiedenen Testfällen T übertragen.
-
Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einer Arbeitsstation (30) implementiert sein, wie die schematische Darstellung der 5 verdeutlicht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- bei Regelkreisen entspricht dies unterschiedlichen Vorgaben für den Verlauf der Sollgröße über einen oder mehrere Arbeitszyklen - sowie mindestens ein Gütekriterium γ ∈ ℝG anhand dessen sich das Verhalten des Systems (20) bewerten lässt. Beispiele für mögliche Gütekriterien sind der Effektivwert des Fehlers (root mean squared error, RMSE) bei Regelkreisen oder die Einstufung durch einen binären Klassifikator (z. B. Einhaltung vorgegebener Fahrbahngrenzen).