DE102019209472A1

DE102019209472A1 - Verfahren und Vorrichtung zum Bewerten der Robustheit eines auf einem Simulationsmodell basierenden Testverfahrens

Info

Publication number: DE102019209472A1
Application number: DE102019209472.4A
Authority: DE
Inventors: Stefan Richl; Joerg Lemmel; Joachim Eisele; Michael Schick; Philipp Glaser; Ngoc Bao Nguyen; Simon Kutz; Klaus Kuespert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2020-12-31

Abstract

Verfahren (10) zum Bewerten einer Robustheit eines auf einem Simulationsmodell basierenden Testverfahrens, gekennzeichnet durch folgende Merkmale:- Felddaten werden erfasst (11),- die Felddaten werden einer Analyse (12) unterzogen,- anhand der Analyse (12) werden die Felddaten auf eine Variable des Simulationsmodelles abgebildet (13) und- die Robustheit wird anhand einer Verteilungsfunktion der Variablen bewertet (14).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bewerten der Robustheit eines auf einem Simulationsmodell basierenden Testverfahrens. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.
Stand der Technik
Auf dem Gebiet der Statistik und insbesondere Schätztheorie wird ein Testverfahren als robust bezeichnet, wenn es nicht sensibel auf sogenannte Ausreißer - also Werte außerhalb eines aufgrund einer Verteilung erwarteten Wertebereiches - reagiert.
In der Softwaretechnik wird die Nutzung von Modellen zur Automatisierung von Testaktivitäten und zur Generierung von Testartefakten im Testprozess unter dem Oberbegriff „modellbasiertes Testen“ (model-based testing, MBT) zusammengefasst. Hinlänglich bekannt ist beispielsweise die Generierung von Testfällen aus Modellen, die das Sollverhalten des zu testenden Systems beschreiben.
Um den Einfluss von Modellabweichungen zu reduzieren und ihn bei zunehmender Devianz gegen Null streben zu lassen, werden nach dem Stand der Technik regelmäßig Robustheitsanalysen des Testverfahrens und unterliegenden Modells durchgeführt.
Insbesondere eingebettete Systeme (embedded systems) sind auf schlüssige Eingangssignale von Sensoren angewiesen und stimulieren wiederum ihre Umwelt durch Ausgangssignale an unterschiedlichste Aktoren. Im Zuge der Verifikation und vorgelagerter Entwicklungsphasen eines solchen Systems wird daher in einer Regelschleife dessen Modell (model in the loop, MiL), Software (software in the loop, SiL), Prozessor (processor in the loop, PiL) oder gesamte Hardware (hardware in the loop, HiL) gemeinsam mit einem Modell der Umgebung simuliert. In der Fahrzeugtechnik werden diesem Prinzip entsprechende Simulatoren zur Prüfung elektronischer Steuergeräte je nach Testphase und -objekt mitunter als Komponenten-, Modul- oder Integrationsprüfstände bezeichnet.
DE10303489A1 offenbart ein derartiges Verfahren zum Testen von Software einer Steuereinheit eines Fahrzeugs, bei dem durch ein Testsystem eine von der Steuereinheit steuerbare Regelstrecke wenigstens teilweise simuliert wird, indem Ausgangssignale von der Steuereinheit erzeugt werden und diese Ausgangssignale der Steuereinheit zu ersten Hardware-Bausteinen über eine erste Verbindung übertragen werden und Signale von zweiten Hardware-Bausteinen als Eingangssignale zur Steuereinheit über eine zweite Verbindung übertragen werden, wobei die Ausgangssignale als erste Steuerwerte in der Software bereitgestellt werden und zusätzlich über eine Kommunikationsschnittstelle in Echtzeit bezogen auf die Regelstrecke zum Testsystem übertragen werden.
Derartige Simulationen sind auf verschiedenen Gebieten der Technik verbreitet und finden beispielsweise Einsatz, um eingebettete Systeme in Elektrowerkzeugen, Motorsteuergeräten für Antriebs-, Lenk- und Bremssysteme oder gar autonomen Fahrzeugen in frühen Phasen ihrer Entwicklung auf Tauglichkeit zu prüfen. Dennoch werden die Ergebnisse von Simulationsmodellen nach dem Stand der Technik aufgrund fehlenden Vertrauens in ihre Zuverlässigkeit nur begrenzt in Freigabeentscheidungen einbezogen.
Offenbarung der Erfindung
Die Erfindung stellt ein Verfahren zur Verbesserung der Robustheit des Simulationsmodells unter Zuhilfenahme spezieller Testverfahren, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes maschinenlesbares Speichermedium gemäß den unabhängigen Ansprüchen bereit.
Der erfindungsgemäße Ansatz fußt hierbei auf der Erkenntnis, dass die Robustheit, also die Unempfindlichkeit eines Simulationsmodells gegenüber Abweichungen von den im Modell geforderten Nominalwerten, ein wichtiges Maß für die Güte des Modells und somit die Akzeptanz modellbasierter Testverfahren darstellt.
Die vorgeschlagene Lösung trägt ferner dem Umstand Rechnung, dass sich - bedingt durch die Abweichungen zwischen Validierungs- und Applikationsdomäne - relevante Arbeits- und Lastfälle, die für eine realistische Produktauslegung notwendig sind, allein durch Laborversuche nur bedingt nachstellen lassen.
Zudem liegt dem nachfolgend beschriebenen Verfahren die Einsicht zugrunde, dass sich bei einer lediglich auf Expertenannahmen beruhenden Modellweiterentwicklung die Validierung - mangels Messungen aus dem Labor mit realistischen Belastungszyklen unter Anwendungsbedingungen - schwierig gestaltet.
Zusammenfassend hat eine lediglich auf Labormessungen basierende Robustheitsbewertung und Modellweiterentwicklung infolge der geringen Anzahl an Prüfpunkten somit geringe Aussagekraft.
Ein Vorzug der erfindungsgemäßen Lösung liegt vor diesem Hintergrund in der eröffneten Möglichkeit, basierend auf der Analyse aufgezeichneter Felddaten realistische Lastkollektive abzuleiten und daraus neue Anforderungen an ein Produkt zu stellen. Als „Felddaten“ sind hierbei sämtliche Daten zu verstehen, die im Zusammenhang mit der Nutzung des Produktes durch den Kunden (fachsprachlich: „im Feld“) anfallen. Hierzu zählen neben Fehlern, Störungen, Mängeln oder Ausfällen auch Nutzungsinformationen wie zum Beispiel Maschinenlaufzeiten, der Verbrauch von Betriebsstoffen, Messprotokolle oder Kennlinien.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So kann vorgesehen sein, dass die Felddaten Zeitsignale repräsentieren, durch deren Klassierung die zur Robustheitsanalyse herangezogene Verteilungsfunktion abgeleitet wird. Die Robustheitsanalyse lässt sich so durch die Verwendung von spezifischen Verteilungsfunktionen, die sich mit Hilfe der Felddaten bestimmen lassen, verbessern.
Gemäß einem weiteren Aspekt kann vorgesehen sein, dass durch die Verbindung der Felddaten und interner Modellgrößen zu optimierende oder erweiternde Bereiche innerhalb des Modells identifiziert werden und ein tieferes Systemverständnis ermöglicht wird.
Figurenliste
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 das Flussdiagramm eines Verfahrens (10) gemäß einer ersten Ausführungsform.
2 schematisch ein Steuergerät gemäß einer zweiten Ausführungsform.

Ausführungsformen der Erfindung
1 illustriert die grundlegenden Schritte eines Verfahrens (10) gemäß einer bevorzugten Ausführungsform der Erfindung.
Das Verfahren (10) beginnt mit dem Erfassen (Prozess 11) detaillierter und in aller Regel zeitabhängiger Felddaten. Bei Anwendung auf ein Elektrowerkzeug (power tool) wird beispielsweise ein Bohrhammer neben bereits integrierten On-Board-Datenloggern mit speziellen Off-Board-Datenloggern bestückt und bei ausgewählten Nutzern - vorzugsweise mit einem denkbar ungünstigen (worst case) Nutzungsverhalten - über einen längeren Zeitraum von beispielsweise sechs Monaten platziert.
Die anschließende Analyse (Prozess 12) der aufgezeichneten Logger-Daten erfolgt u.a. unter Zuhilfenahme im Labor nachgestellter Messungen. Hierbei können beispielsweise kritische Anwendungsfälle oder typisches Nutzerverhalten - im genannten Beispiel etwa das Verhältnis von Bohr- und Meißel-Betrieb - abgeleitet werden.
Die in den Feldversuchen erfassten Variablen werden sodann auf korrespondierende Parameter des Simulationsmodells abgebildet (mapping). Beispielsweise sind die im Feldversuch aufgezeichneten Leistungszeitsignale direkt übertragbar auf das An- und Absetzverhalten des Benutzers, welches erfahrungsgemäß einen signifikanten Einfluss auf die Bauteilfestigkeit einzelner Werkzeugkomponenten hat (Prozess 13).
Durch Klassieren der gemessenen Zeitsignale kann schließlich die Verteilungsfunktion des Modellparameters abgeleitet und einer Robustheitsanalyse (Prozess 14) zugrunde gelegt werden, welches auf diese Weise in der Lage ist, das Nutzerverhalten im Feld zu berücksichtigen.
Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einer Arbeitsstation (20) implementiert sein, wie die schematische Darstellung der 2 verdeutlicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10303489 A1 [0006]

Claims

Verfahren (10) zum Bewerten einer Robustheit eines auf einem Simulationsmodell basierenden Testverfahrens, gekennzeichnet durch folgende Merkmale: - Felddaten werden erfasst (11), - die Felddaten werden einer Analyse (12) unterzogen, - anhand der Analyse (12) werden die Felddaten auf eine Variable des Simulationsmodelles abgebildet (13) und - die Robustheit wird anhand einer Verteilungsfunktion der Variablen bewertet (14).
Verfahren (10) nach Anspruch 1, gekennzeichnet durch folgende Merkmale: - Mittels des Simulationsmodells wird ein technisches System nachgebildet und - das Erfassen (11) der Felddaten erfolgt bei einer Nutzung des technischen Systems, wobei das technische System ein Elektrowerkzeug, ein Steuergerät insbesondere für Antriebs-, Lenk- oder Bremssysteme eines Fahrzeugs oder Roboters oder ein insbesondere zumindest teilautonomes Fahrzeug ist.
Verfahren (10) nach Anspruch 2, gekennzeichnet durch folgendes Merkmal: - das Elektrowerkzeug ist ein Bohrhammer oder ein Schlaghammer und - die Nutzung umfasst ein Bohren oder Meißeln.
Verfahren (10) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Testverfahren abhängig von der bewerteten Robustheit angepasst wird und das technische System mit dem angepassten Testverfahren getestet wird.
Verfahren (10) nach Anspruch 4, dadurch gekennzeichnet, dass das technische System abhängig von einem Ergebnis des angepassten Tests angepasst oder bedatet wird.
Verfahren (10) nach einem der Ansprüche 2 bis 5, gekennzeichnet durch folgende Merkmale: - das Elektrowerkzeug weist einen Datenlogger auf und - das Erfassen (11) der Felddaten erfolgt durch den Datenlogger.
Verfahren (10) nach einem der Ansprüche 2 bis 6, gekennzeichnet durch folgende Merkmale: - die Nutzung des Elektrowerkzeuges erfolgt unter ungünstigen Nutzungsbedingungen und - das Erfassen (11) der Felddaten dauert über einen Zeitraum von mehreren Monaten an.
Verfahren (10) nach einem der Ansprüche 2 bis 7, gekennzeichnet durch folgende Merkmale: - die Nutzungsbedingungen werden in einer Laborumgebung nachgestellt und - die Analyse (12) erfolgt anhand in der Laborumgebung nachgestellter Messungen.
Verfahren (10) nach einem der Ansprüche 1 bis 8, gekennzeichnet durch folgende Merkmale: - die Felddaten repräsentieren Zeitsignale und - die Verteilungsfunktion wird durch eine Klassierung der Zeitsignale abgeleitet.
Computerprogramm, welches eingerichtet ist, das Verfahren (10) nach einem der Ansprüche 1 bis 9 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 10 gespeichert ist.
Vorrichtung (20), die eingerichtet ist, das Verfahren (10) nach einem der Ansprüche 1 bis 9 auszuführen.
Vorrichtung (20) nach Anspruch 12, dadurch gekennzeichnet, dass die Vorrichtung als ein Elektrowerkzeug ausgebildet ist, insbesondere als ein Bohrhammer oder als ein Schlaghammer ausgebildet.