DE102020206323A1

DE102020206323A1 - Method and device for testing a technical system

Info

Publication number: DE102020206323A1
Application number: DE102020206323.0A
Authority: DE
Inventors: Daniel SEILER-THULL; Thomas Heinz; Joachim Sohns; Christoph Gladisch; Philipp Glaser; Ji Su Yoon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-05-20
Filing date: 2020-05-20
Publication date: 2021-11-25
Also published as: CN113704084A

Abstract

Verfahren (10) zum Prüfen eines technischen Systems,gekennzeichnet durch folgende Merkmale:- mittels einer Simulation (11) des Systems werden Tests (12) durchgeführt,- die Tests (12) werden hinsichtlich eines Erfüllungsmaßes (13) einer quantitativen Anforderung an das System und eines Fehlermaßes (14) der Simulation (11) ausgewertet,- abhängig vom Erfüllungsmaß (13) und Fehlermaß (14) wird eine Einstufung der Tests (12) als entweder zuverlässig oder unzuverlässig vorgenommen und- aus der vorgenommenen Einstufung und einer diesbezüglichen Vorgabe (32) durch einen Benutzer (33) wird ein geeigneter Schwellenwert (34) für das Fehlermaß (14) abgeleitet (31).A method (10) for testing a technical system, characterized by the following features: tests (12) are carried out by means of a simulation (11) of the system, - the tests (12) are made with regard to a measure (13) of a quantitative requirement for the system and an error measure (14) of the simulation (11) is evaluated, - depending on the degree of fulfillment (13) and error measure (14), the tests (12) are classified as either reliable or unreliable and - from the classification made and a related specification ( 32) a suitable threshold value (34) for the error measure (14) is derived (31) by a user (33).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Prüfen eines technischen Systems. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.The present invention relates to a method for testing a technical system. The present invention also relates to a corresponding device, a corresponding computer program and a corresponding storage medium.

Stand der TechnikState of the art

In der Softwaretechnik wird die Nutzung von Modellen zur Automatisierung von Testaktivitäten und zur Generierung von Testartefakten im Testprozess unter dem Oberbegriff „modellbasiertes Testen“ (model-based testing, MBT) zusammengefasst. Hinlänglich bekannt ist beispielsweise die Generierung von Testfällen aus Modellen, die das Sollverhalten des zu testenden Systems beschreiben.In software engineering, the use of models to automate test activities and to generate test artifacts in the test process is summarized under the heading of “model-based testing” (MBT). For example, the generation of test cases from models that describe the target behavior of the system to be tested is well known.

Insbesondere eingebettete Systeme (embedded systems) sind auf schlüssige Eingangssignale von Sensoren angewiesen und stimulieren wiederum ihre Umwelt durch Ausgangssignale an unterschiedlichste Aktoren. Im Zuge der Verifikation und vorgelagerter Entwicklungsphasen eines solchen Systems wird daher in einer Regelschleife dessen Modell (model in the loop, MiL), Software (software in the loop, SiL), Prozessor (processor in the loop, PiL) oder gesamte Hardware (hardware in the loop, HiL) gemeinsam mit einem Modell der Umgebung simuliert. In der Fahrzeugtechnik werden diesem Prinzip entsprechende Simulatoren zur Prüfung elektronischer Steuergeräte je nach Testphase und -objekt mitunter als Komponenten-, Modul- oder Integrationsprüfstände bezeichnet.Embedded systems in particular are dependent on coherent input signals from sensors and in turn stimulate their environment through output signals to a wide variety of actuators. In the course of the verification and upstream development phases of such a system, its model (model in the loop, MiL), software (software in the loop, SiL), processor (processor in the loop, PiL) or entire hardware (hardware in the loop, HiL) is simulated together with a model of the environment. In vehicle technology, simulators corresponding to this principle for testing electronic control devices are sometimes referred to as component, module or integration test benches, depending on the test phase and object.

DE10303489A1 offenbart ein derartiges Verfahren zum Testen von Software einer Steuereinheit eines Fahrzeugs, eines Elektrowerkzeugs oder eines Robotiksystems, bei dem durch ein Testsystem eine von der Steuereinheit steuerbare Regelstrecke wenigstens teilweise simuliert wird, indem Ausgangssignale von der Steuereinheit erzeugt werden und diese Ausgangssignale der Steuereinheit zu ersten Hardware-Bausteinen über eine erste Verbindung übertragen werden und Signale von zweiten Hardware-Bausteinen als Eingangssignale zur Steuereinheit über eine zweite Verbindung übertragen werden, wobei die Ausgangssignale als erste Steuerwerte in der Software bereitgestellt werden und zusätzlich über eine Kommunikationsschnittstelle in Echtzeit bezogen auf die Regelstrecke zum Testsystem übertragen werden. DE10303489A1 discloses such a method for testing software of a control unit of a vehicle, a power tool or a robotics system, in which a test system at least partially simulates a controlled system by the control unit by generating output signals from the control unit and these output signals from the control unit to the first hardware Modules are transferred via a first connection and signals from second hardware modules are transferred as input signals to the control unit via a second connection, the output signals being provided as first control values in the software and additionally via a communication interface in real time based on the controlled system to the test system be transmitted.

Derartige Simulationen sind auf verschiedenen Gebieten der Technik verbreitet und finden beispielsweise Einsatz, um eingebettete Systeme in Elektrowerkzeugen, Motorsteuergeräte für Antriebs-, Lenk- und Bremssysteme, Kamerasysteme, Systeme mit Komponenten der künstlichen Intelligenz und des maschinellen Lernens, Robotiksysteme oder autonome Fahrzeuge in frühen Phasen ihrer Entwicklung auf Tauglichkeit zu prüfen. Dennoch werden die Ergebnisse von Simulationsmodellen nach dem Stand der Technik aufgrund fehlenden Vertrauens in ihre Zuverlässigkeit nur begrenzt in Freigabeentscheidungen einbezogen.Such simulations are widespread in various fields of technology and are used, for example, to convert embedded systems in power tools, engine control units for drive, steering and braking systems, camera systems, systems with components of artificial intelligence and machine learning, robotics systems or autonomous vehicles in early phases to check their development for suitability. Nevertheless, the results of state-of-the-art simulation models are only included in release decisions to a limited extent due to a lack of confidence in their reliability.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung stellt ein Verfahren zum Prüfen eines technischen Systems, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium gemäß den unabhängigen Ansprüchen bereit.The invention provides a method for testing a technical system, a corresponding device, a corresponding computer program and a corresponding storage medium according to the independent claims.

Der erfindungsgemäße Ansatz fußt auf der Erkenntnis, dass die Güte von Simulationsmodellen für die korrekte Vorhersagbarkeit der damit erzielbaren Testergebnisse entscheidend ist. Auf dem Gebiet des MBT beschäftigt sich die Teildisziplin der Validierung mit der Aufgabe, reale Messungen mit Simulationsergebnissen zu vergleichen. Dazu werden verschiedene Metriken, Maßzahlen oder andere Vergleicher verwendet, die Signale miteinander verknüpfen und die im Folgenden zusammenfassend als Signalmetriken (SM) bezeichnet werden sollen. Beispiele für derartige Signalmetriken sind Metriken, die Größe, Phasenverschiebung und Korrelationen vergleichen. Einige Signalmetriken sind durch einschlägige Normen definiert, z. B. gemäß ISO 18571 .The approach according to the invention is based on the knowledge that the quality of simulation models is decisive for the correct predictability of the test results that can be achieved with them. In the field of MBT, the sub-discipline of validation deals with the task of comparing real measurements with simulation results. For this purpose, various metrics, measures or other comparators are used that link signals with one another and that are collectively referred to below as signal metrics (SM). Examples of such signal metrics are metrics that compare size, phase shift, and correlations. Some signal metrics are defined by relevant standards, e.g. B. according to ISO 18571 .

Allgemeiner ausgedrückt unterstützen Unsicherheitsquantifizierungstechniken die Abschätzung der Simulations- und Modellgüte. Das Ergebnis einer Bewertung der Modellgüte unter Heranziehung einer Signalmetrik oder allgemeiner unter Verwendung einer Unsicherheitsquantifizierungsmethode für eine bestimmte Eingabe X, bei der es sich um einen Parameter oder ein Szenario handeln kann, wird nachfolgend als Simulationsmodell-Fehlermetrik - kurz: Fehlermetrik - SMerrorX bezeichnet. Zur Verallgemeinerung (Interpolation und Extrapolation) von SMerrorX für bisher nicht betrachtete Eingaben, Parameter oder Szenarien X können maschinelle Lernmodelle etwa auf der Grundlage sogenannter Gaußprozesse verwendet werden.In more general terms, uncertainty quantification techniques support the estimation of the simulation and model quality. The result of an assessment of the model quality using a signal metric or, more generally, using an uncertainty quantification method for a specific input X, which can be a parameter or a scenario, is hereinafter referred to as the simulation model error metric - in short: error metric - SMerrorX. For generalization (interpolation and extrapolation) of SMerrorX for inputs, parameters or scenarios X that have not been considered previously, machine learning models can be used, for example on the basis of so-called Gaussian processes.

Bei der Verifizierung wird der Prüfling (system under test, SUT) typischerweise anhand einer Anforderung, Spezifikation oder Leistungskennzahl untersucht. Es ist zu beachten, dass Boolesche Anforderungen oder Spezifikationen oft in quantitative Messungen umgewandelt werden können, indem man Formalismen wie die Signal-Temporallogik (signal temporal logic, STL) verwendet. Derartige Formalismen können als Grundlage einer quantitativen Semantik dienen, die sich insofern als Verallgemeinerung der Verifikation darstellt, als ein positiver Wert die Erfüllung und ein negativer Wert die Verletzung einer Anforderung indiziert. Im Folgenden werden solche Anforderungen, Spezifikationen oder Leistungsmaße zusammenfassend als „quantitative Anforderungen“ (QSpec) bezeichnet.During verification, the test item (system under test, SUT) is typically examined on the basis of a requirement, specification or performance indicator. It should be noted that Boolean requirements or specifications can often be converted into quantitative measurements using formalisms such as signal temporal logic (STL). Such formalisms can serve as the basis of quantitative semantics, which represent a generalization of the verification insofar as a positive value indicates the fulfillment and a negative value the violation of a requirement. In the following, such requirements, specifications or performance measures are collectively referred to as “quantitative requirements” (QSpec).

Derlei quantitative Anforderungen können entweder anhand des realen SUT oder eines Modells desselben - gleichsam eines „virtuellen SUT“ - überprüft werden. Zum Zwecke dieser Verifikation werden Kataloge mit Testfällen zusammengestellt, denen ein SUT genügen muss, um zu entscheiden, ob es die gewünschten Leistungs- und Sicherheitseigenschaften aufweist. Ein solcher Testfall kann parametrisiert werden und so eine beliebige Anzahl von Einzeltests abdecken.Such quantitative requirements can either be checked using the real SUT or a model of the same - a “virtual SUT”, so to speak. For the purpose of this verification, catalogs are compiled with test cases that an SUT must satisfy in order to decide whether it has the desired performance and security properties. Such a test case can be parameterized and thus cover any number of individual tests.

Vor diesem Hintergrund trägt der vorgeschlagene Ansatz dem Bedürfnis nach belastbaren Testergebnissen Rechnung, um die Leistungs- und Sicherheitseigenschaften eines SUT zu gewährleisten. Gerade bei der Durchführung von Tests anhand einer Simulation des Systems oder einer Teilkomponente - anstelle des realen Systems - gilt es sicherzustellen, dass die Simulationsergebnisse vertrauenswürdig sind.Against this background, the proposed approach takes into account the need for reliable test results in order to guarantee the performance and safety properties of an SUT. Especially when performing tests based on a simulation of the system or a subcomponent - instead of the real system - it is important to ensure that the simulation results are trustworthy.

Validierungstechniken werden verwendet, um zu bewerten, inwieweit Simulationsmodell und reale Messungen übereinstimmen. Der Vergleich zwischen den Simulationsergebnissen und den realen Messungen erfolgt unter Verwendung der Validierungsfehlermetrik SMerrorX, die durch Interpolation und Extrapolation verallgemeinert wird, sodass das Fehlermaß für neue Eingaben X vorhergesagt werden kann, ohne entsprechende Messungen vorzunehmen. Die Vorhersage von SMerrorX ist jedoch mit einer Unsicherheit verbunden, die als Intervall oder als Wahrscheinlichkeitsverteilung modelliert werden kann.Validation techniques are used to assess the extent to which the simulation model and real measurements match. The comparison between the simulation results and the real measurements is made using the validation error metric SMerrorX, which is generalized by interpolation and extrapolation so that the measure of error for new inputs X can be predicted without taking appropriate measurements. However, the prediction of SMerrorX is associated with an uncertainty that can be modeled as an interval or as a probability distribution.

Ein Problem, mit dem Validierungsingenieure konfrontiert sind, besteht in der Festlegung geeigneter Schwellenwerte für das Fehlermaß SMerrorX. Mit Hilfe des Verfahrens können entsprechende Anforderungen an das Validierungsmodell abgeleitet werden. Eine häufig auftretende Schwierigkeit liegt nämlich darin, dass oft nicht bekannt ist, welche Werte der Validierungsmetrik als hinreichend zu erachten sind, sodass die Interpretation der Validierungsergebnisse mitunter subjektiv erfolgt. Mit Hilfe eines erfindungsgemäßen Verfahrens kann daher ein Leitfaden für Validierungsingenieure erstellt werden, welcher das im Rahmen der Freigabe früherer Produkte erworbene Wissen bündelt und die hierbei an das Fehlermaß gestellten Anforderungen systematisch niederlegt.One problem that validation engineers face is setting appropriate thresholds for the error measure SMerrorX. With the help of the procedure, corresponding requirements for the validation model can be derived. A difficulty that frequently occurs is that it is often not known which values of the validation metric are to be considered sufficient, so that the interpretation of the validation results is sometimes subjective. With the aid of a method according to the invention, a guideline for validation engineers can therefore be created, which bundles the knowledge acquired in the context of the release of earlier products and systematically sets down the requirements placed on the error measure.

Ein Vorzug dieser Lösung besteht darin, dass sie im Gegensatz zu Konzepten, die ausschließlich auf Validierung oder ausschließlich auf Verifizierung basieren, beide Ansätze auf geschickte Weise vereint. Dazu wird ein „virtueller Test-Klassifikator“ eingeführt, welcher die Erfordernisse von Modellvalidierung und Produkttest kombiniert. Dies wird durch die Verknüpfung von Informationen aus der Validierung von Simulations- und Modellgüte (SMerrorX) einerseits und Testanforderungen (QSpec) andererseits erreicht.One advantage of this solution is that, in contrast to concepts that are based solely on validation or solely on verification, it cleverly combines both approaches. For this purpose, a “virtual test classifier” is introduced, which combines the requirements of model validation and product testing. This is achieved by linking information from the validation of simulation and model quality (SMerrorX) on the one hand and test requirements (QSpec) on the other.

Die Anwendung entsprechender Tests kommt auf unterschiedlichsten Feldern in Betracht. Zu denken ist beispielsweise an die funktionale Sicherheit automatisierter Systeme, wie sie etwa zur Automatisierung von Fahrfunktionen (automated driving) genutzt werden.The application of corresponding tests can be considered in a wide variety of fields. One should think, for example, of the functional safety of automated systems, such as those used to automate driving functions (automated driving).

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So kann eine automatisierte, computer-implementierte Testumgebung vorgesehen sein, um die Qualität der getesteten Hardware- oder Softwareprodukte weitgehend selbsttätig zu verbessern.The measures listed in the dependent claims enable advantageous developments and improvements of the basic idea specified in the independent claim. An automated, computer-implemented test environment can thus be provided in order to improve the quality of the tested hardware or software products largely automatically.

FigurenlisteFigure list

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 einen virtuellen Test-Klassifikator.
2 einen ersten Ansatz zur Erzeugung der Entscheidungsgrenze des Klassifikators auf der Grundlage von Daten.
3 einen zweiten Ansatz zur Erzeugung der Entscheidungsgrenze des Klassifikators auf der Grundlage einer formellen Lösung.
4 die Beschreibung eines erfindungsgemäßen Verfahrens aus Anwendungssicht.
5 schematisch eine Arbeitsstation.

Embodiments of the invention are shown in the drawings and explained in more detail in the description below. It shows:

1 a virtual test classifier.
2 a first approach to generating the decision limit of the classifier based on data.
3 a second approach to generating the decision limit of the classifier based on a formal solution.
4th the description of a method according to the invention from an application perspective.
5 schematically a workstation.

Ausführungsformen der ErfindungEmbodiments of the invention

Erfindungsgemäß wird im Rahmen eines Tests X, welcher als Testfall einem Testkatalog entnommen oder als Instanz eines parametrischen Tests gewonnen werden kann, der Simulationsmodellfehler SMerrorX ausgewertet und die quantitative Spezifikation QSpec auf der Grundlage einer Simulation des SUT bewertet. Der virtuelle Testklassifikator verwendet als Eingabe SMerrorX und QSpec und trifft eine binäre Entscheidung dahingehend, ob das auf der Simulation basierende Testergebnis vertrauenswürdig ist oder nicht.According to the invention, as part of a test X, which can be taken from a test catalog as a test case or obtained as an instance of a parametric test, the simulation model error SMerrorX is evaluated and the quantitative specification QSpec is evaluated on the basis of a simulation of the SUT. The virtual test classifier uses SMerrorX and QSpec as inputs and makes a binary decision as to whether the test result based on the simulation is trustworthy or not.

Gemäß dem in der Informatik und insbesondere Mustererkennung üblichen Sprachgebrauch ist als Klassifikator hierbei jedweder Algorithmus oder jedwede mathematische Funktion zu verstehen, welche einen Merkmalsraum auf eine Menge von Klassen abbildet, die im Zuge einer Klassifizierung gebildet und voneinander abgegrenzt wurden. Um entscheiden zu können, in welche Klasse ein Objekt einzustufen oder zu klassieren (umgangssprachlich auch: „klassifizieren“) ist, zieht der Klassifikator sogenannte Klassen- oder Entscheidungsgrenzen heran. Sofern eine Unterscheidung zwischen Verfahren und Instanz nicht von Bedeutung ist, wird der Begriff „Klassifikator“ in der Fachsprache und auch nachfolgend teilweise gleichbedeutend mit „Einstufung“ oder „Klassierung“ verwendet.According to the common usage in computer science and in particular in pattern recognition, a classifier is to be understood as any algorithm or any mathematical function that maps a feature space to a set of classes that were formed and delimited from one another in the course of a classification. In order to be able to decide in which class an object is to be classified or classified (colloquially also: "classify"), the classifier uses so-called class or decision limits. If a distinction between procedure and instance is not important, the term “classifier” is used in the technical language and also in the following partly synonymous with “classification” or “classification”.

1 illustriert eine solche Einstufung im vorliegenden Anwendungsbeispiel. Hierbei entspricht jeder Punkt einem Test, der im Wege der Simulation durchgeführt und für den das Erfüllungsmaß (13) der Anforderung QSpec sowie das Fehlermaß (14) SMerrorX berechnet wurden. QSpec ist in diesem Fall so definiert, dass es einen positiven Wert annimmt, wenn der Test vermuten lässt, dass das System der jeweiligen Anforderung genügt (Bezugszeichen 24), und negativ, wenn das System die Anforderung verfehlt (Bezugszeichen 25). 1 illustrates such a classification in this application example. Each point corresponds to a test that is carried out by way of simulation and for which the degree of fulfillment ( 13th ) of the QSpec requirement and the degree of error ( 14th ) SMerrorX were calculated. In this case, QSpec is defined in such a way that it assumes a positive value if the test suggests that the system meets the respective requirement (reference symbol 24 ), and negative if the system misses the request (reference symbol 25th ).

Wie die Abbildung erkennen lässt, unterteilt die Entscheidungsgrenze (19) des Klassifikators (18) den Raum in vier Klassen A, B, C und D. Tests der Klasse A würden vom System mit hoher Zuverlässigkeit bestanden. Für Tests der Klassen B und C liefert die Simulation lediglich unzuverlässige Ergebnisse; derartige Tests sind daher auf dem realen System durchzuführen. Tests der Klasse D würden auf dem System mit hoher Zuverlässigkeit fehlschlagen.As the figure shows, the decision limit ( 19th ) of the classifier ( 18th ) the room in four classes A, B, C and D. Class A tests would be passed by the system with high reliability. For tests of classes B and C, the simulation only provides unreliable results; such tests must therefore be carried out on the real system. Class D tests would fail on the system with high reliability.

Dieser virtuelle Test-Klassifikator (18) gründet auf der Überlegung, dass eine in der Simulation nur knapp erfüllte Anforderung nur dann die Erprobung des realen Systems ersetzen kann, wenn von einem allenfalls marginalen Modellfehler (14) auszugehen ist. Andererseits kann bei einem betragsmäßig hohen Erfüllungsmaß (13) der quantitativen Anforderung „QSpec“ , also einer bei weitem übererfüllten oder deutlich verfehlten Vorgabe, eine gewisse Abweichung der Simulationsergebnisse von entsprechenden experimentellen Messungen hingenommen werden.This virtual test classifier ( 18th ) is based on the consideration that a requirement that is only barely fulfilled in the simulation can only replace the testing of the real system if there is at best a marginal model error ( 14th ) is to be assumed. On the other hand, with a high level of compliance ( 13th ) of the quantitative requirement “QSpec”, ie a specification that has been far exceeded or clearly missed, a certain deviation of the simulation results from the corresponding experimental measurements must be accepted.

Da diese Betrachtungsweise die Kenntnis des Modellfehlers SMerrorX des Simulationsmodells voraussetzt, wird davon ausgegangen, dass letzteres im Vorfeld der Verwendung des virtuellen Test-Klassifikators (18) einer Verifikation und Validierung unterzogen wurde. Im Rahmen dieser Validierung sollte - z. B. auf der Grundlage eines Gaußprozesses oder anderweitig durch maschinelles Lernen - ein verallgemeinertes Modell gebildet werden, das SMerrorX für ein gegebenes X liefert. Dabei ist zu beachten, dass die Vertrauenswürdigkeit der Simulation entscheidend von der Korrektheit dieses generalisierten Modells abhängt.Since this approach presupposes knowledge of the model error SMerrorX of the simulation model, it is assumed that the latter is prior to the use of the virtual test classifier ( 18th ) has been subjected to verification and validation. As part of this validation - z. B. on the basis of a Gaussian process or otherwise by machine learning - a generalized model can be formed that SMerrorX returns for a given X. It should be noted that the reliability of the simulation depends crucially on the correctness of this generalized model.

2 verdeutlicht einen möglichen Ansatz zur Erzeugung der Entscheidungsgrenze (19 - 1) des Klassifikators (18) auf der Grundlage von Daten. Im einfachsten Fall verläuft die Grenze (19) hierbei entlang einer Ursprungsgeraden. Die Steigung der Geraden ist vorzugsweise so zu wählen, dass alle Punkte, in denen sich das Erfüllungsmaß (13) der quantitativen Anforderung QSpec zwischen Simulation (11) und realer Messung (21) im Vorzeichen unterscheidet - also gleichsam alle Tests (12), bei denen das Simulationsmodell versagt -, in den Bereichen C und B liegen und diese Bereiche zudem möglichst klein sind. 2 illustrates a possible approach to generating the decision limit (19 - 1 ) of the classifier ( 18th ) based on data. In the simplest case the border runs ( 19th ) along a straight line through the origin. The slope of the straight line should preferably be chosen in such a way that all points in which the compliance measure ( 13th ) the quantitative QSpec requirement between simulation ( 11 ) and real measurement ( 21 ) differs in sign - that is, all tests ( 12th ), in which the simulation model fails -, lie in areas C and B and these areas are also as small as possible.

In Betracht kommt ferner eine allgemeinere, z. B. polynomielle Entscheidungsgrenze (19), deren Funktionskurve mittels linearer Programmierung derart angepasst wird, dass sie das Kriterium eines Klassifikators (18) VTC erfüllt. Auch in diesem Fall liegen alle Punkte, in denen sich das Erfüllungsmaß (13) der quantitativen Anforderung QSpec zwischen Simulation (11) und realer Messung (21) im Vorzeichen unterscheidet - also gleichsam alle Tests (12), bei denen das Simulationsmodell versagt -, in den Bereichen C und B.A more general one, e.g. B. polynomial decision limit ( 19th ), whose function curve is adapted by means of linear programming in such a way that it meets the criterion of a classifier ( 18th ) VTC fulfilled. In this case, too, are all points in which the degree of fulfillment ( 13th ) the quantitative requirement QSpec between simulation ( 11 ) and real measurement ( 21 ) differs in sign - that is, all tests ( 12th ) where the simulation model fails - in areas C and B.

3 veranschaulicht den alternativen Ansatz, den Klassifikator (18) durch das Lösen (23) eines formalen Gleichungssystems zu definieren, welchem die Definitionsgleichungen des Erfüllungsmaßes (13) und Fehlermaßes (14) zugrunde liegen. Die resultierende Funktion, welche dem aus diesen beiden Maßen gebildeten Merkmalsvektor (13, 14) einen Wahrheitswert zuordnet, lässt sich wahlweise deterministisch oder stochastisch angeben. 3 illustrates the alternative approach, the classifier ( 18th ) by solving ( 23 ) to define a formal system of equations to which the defining equations of the measure of fulfillment ( 13th ) and measure of error ( 14th ) underlie. The resulting function, which corresponds to the feature vector formed from these two measures ( 13th , 14th ) assigns a truth value can be specified either deterministically or stochastically.

Für die Zwecke der folgenden Ausführungen seien I die Eingabemenge, 0 die - unter Umständen auch Eingaben umfassende - Ausgabemenge und m₁, m₂:I → 0 das Systemmodell und reale System als Funktionen, die lediglich für eine endliche Anzahl an Eingaben durch Simulation (11) bzw. experimentelle Messung (21) beobachtet werden können. Ferner sei q: 0 × 0 → ℝ der Simulationsmodellfehler SMerrorX, also das Abstands- oder Fehlermaß (14) zweier einander entsprechender Ausgaben. Schließlich sei I_ε := {i | q(m₁(i), m₂(i)) = ε} die Menge sämtlicher Eingaben, für welche dieses Fehlermaß (14) den Wert ε annimmt.For the purposes of the following, let I be the input set, 0 the output set - which may also include inputs - and m ₁ , m ₂ : I → 0 the system model and real system as functions that can only be used for a finite number of inputs by simulation ( 11 ) or experimental measurement ( 21 ) can be observed. Furthermore, let q: 0 × 0 → ℝ be the simulation model error SMerrorX, i.e. the distance or error measure ( 14th ) two corresponding editions. Finally let I _ε : = {i | q (m ₁ (i), m ₂ (i)) = ε} the set of all inputs for which this error measure ( 14th ) takes on the value ε.

Ausgehend von diesen Definitionen kann die Abweichung des Erfüllungsmaßes (13) einer Anforderung für jede Eingabe i ∈ I_ε wie folgt durch einen Term nach oben beschränkt werden, der weder von m₁ noch von m₂ abhängt: $\begin{array}{l} \forall ε \forall i \in I_{ε} : | p (m_{1} (i)) - p (m_{2} (i)) | \leq sup_{j \in I_{ε}} | p (m_{1} (j)) - p (m_{2} (j)) | \\ \leq sup_{(o_{1}, o_{2}) \in q^{- 1} (ε)} | p (o_{1}) - p (o_{2}) | \end{array}$

Based on these definitions, the deviation in the degree of compliance ( 13th ) of a requirement for every input i ∈ I _ε can be bounded above by a term that depends _{neither on m 1} nor on m _{2 as follows:}

\begin{array}{l} \forall ε \forall i \in {I.}_{ε} : | p (m_{1} (i)) - p (m_{2} (i)) | \leq sup_{j \in {I.}_{ε}} | p (m_{1} (j)) - p (m_{2} (j)) | \\ \leq sup_{(O_{1}, O_{2}) \in q^{- 1} (ε)} | p (O_{1}) - p (O_{2}) | \end{array}

Somit ergibt sich der Klassifikator (18) zu $VTC (ε, δ) = {\begin{array}{l} W falls | δ | > sup_{(o_{1}, o_{2}) \in q^{- 1} (ε)} | p (o_{1}) - p (o_{2}) | \\ F andernfalls \end{array} .$

The result is the classifier ( 18th ) to

VTC (ε, δ) = {\begin{array}{l} W. if | δ | > sup_{(O_{1}, O_{2}) \in q^{- 1} (ε)} | p (O_{1}) - p (O_{2}) | \\ F. otherwise \end{array} .

Das Simulationsmodell wird hierbei im Fall VTC(ε,δ) = W als zuverlässig in dem Sinne eingestuft, dass m₁ und m₂ hinsichtlich p übereinstimmen. Es ist zu beachten, dass der Klassifikator (18) die Umkehrung von q erfordert.In the case of VTC (ε, δ) = W, the simulation model is classified as reliable in the sense that m ₁ and m ₂ agree with regard to p. It should be noted that the classifier ( 18th ) requires the inversion of q.

Ein wesentlicher Vorteil dieser Darstellung besteht darin, dass der virtuelle Test-Klassifikator (18) unabhängig von m₁ und m₂ formuliert werden kann, da er nur vom Erfüllungsmaß (13) der quantitativen Anforderung und Fehlermaß (14) abhängt. Ausgehend von einem einzigen Fehlermaß (14) und einer Mehrzahl n quantitativer Anforderungen lassen sich somit n virtuelle Test-Klassifikatoren (18) berechnen, nämlich einer für jede Anforderung. Daher ist das Modell nur einmal in Bezug auf das Fehlermaß (14) und nicht etwa im Hinblick auf jede einzelne Anforderung zu validieren.A major advantage of this representation is that the virtual test classifier ( 18th ) can be formulated independently of m ₁ and m ₂ , since it only depends on the degree of fulfillment ( 13th ) the quantitative requirement and degree of error ( 14th ) depends. Starting from a single measure of error ( 14th ) and a plurality of n quantitative requirements, n virtual test classifiers ( 18th ), one for each requirement. Therefore, the model is only available once in terms of the measure of error ( 14th ) and not validate with regard to each individual requirement.

Diese Betrachtung lässt sich auf einfache Weise für eine Mehrzahl m an Fehlermaßen und eine Mehrzahl n quantitativer Anforderungen verallgemeinern, wobei m typischerweise sehr klein und n groß ausfällt. In diesem Fall können n · m virtuelle Test-Klassifikatoren (18) berechnet werden. Wenn einer dieser Klassifikatoren (18) den Wert W liefert, kann das Simulationsergebnis als zuverlässig angesehen werden. Dies ermöglicht eine präzisere Einstufung, da einige Fehlermaße (14) für bestimmte Anforderungen geeigneter sein mögen als andere.This consideration can be generalized in a simple manner for a plurality of m error measures and a plurality of n quantitative requirements, where m is typically very small and n is large. In this case, n m virtual test classifiers ( 18th ) be calculated. If one of these classifiers ( 18th ) delivers the value W, the simulation result can be regarded as reliable. This enables a more precise classification, as some error measures ( 14th ) may be more suitable than others for certain requirements.

Alternativ lässt sich der virtuelle Test-Klassifikator (18) in einem stochastischen Rahmen definieren, in welchem die Eingaben als - gemäß einer beliebigen Wahrscheinlichkeitsdichtefunktion - zufällig verteilt angenommen werden. Hierzu bezeichne F_ε(δ) := P(|p(m₁(i)) - p(m₂(i))| ≤ δ |q(m₁(i), m₂(i) = ε) die bedingte kumulative Verteilungsfunktion der Abweichung des Erfüllungsmaßes (13) unter der Annahme, dass das Fehlermaß (14) den Wert ε annimmt. Bei einem Schwellenwert τ ∈ (0,1) der Wahrscheinlichkeit, dass der Klassifikator (18) die richtige Entscheidung trifft - der Wert τ liegt somit typischerweise nahe 1 -, kann der virtuelle Test-Klassifikator (18) wie folgt definiert werden: $VTC (ε, δ) = {\begin{array}{l} W falls | δ | > inf F_{ε}^{- 1} (τ) \\ F andernfalls \end{array}$

Alternatively, the virtual test classifier ( 18th ) in a stochastic framework in which the inputs are assumed to be randomly distributed - according to an arbitrary probability density function. For this, denote F _ε (δ): = P (| p (m ₁ (i)) - p (m ₂ (i)) | ≤ δ | q (m ₁ (i), m ₂ (i) = ε) die conditional cumulative distribution function of the deviation of the fulfillment measure ( 13th ) assuming that the measure of error ( 14th ) takes on the value ε. With a threshold value τ ∈ (0.1) of the probability that the classifier ( 18th ) makes the right decision - the value τ is thus typically close to 1 - the virtual test classifier ( 18th ) can be defined as follows:

VTC (ε, δ) = {\begin{array}{l} W. if | δ | > inf {F.}_{ε}^{- 1} (τ) \\ F. otherwise \end{array}

4 beleuchtet ein erfindungsgemäßes Verfahren (10) aus Anwendungssicht unter folgenden Annahmen:

• Gegeben ist ein Modell für die Simulation (11) sowie eine Menge von Tests (12) mitsamt definierter Eingabeparameter.
• Die Anforderungen QSpec sind quantifizierbar und vorgegeben und werden im Rahmen eines Überwachungssystems implementiert, das die Tests (12) hinsichtlich des Erfüllungsmaßes (13) dieser Anforderungen auswertet. In der Abbildung beziehen sich beide Erfüllungsmaße (13) auf dieselbe Anforderung QSpec, die jedoch einmal anhand der Simulation (11) und einmal im Wege experimenteller Messung (21) am System bewertet wird.
• SMerrorX ist ein Fehlermaß (14), das im Vorfeld definiert wurde. Für einige Testeingaben wurden also bereits Simulation (11) und Messung (21) durchgeführt, und das Fehlermaß (14) verallgemeinert die entsprechenden Tests (12) auf neue, bislang nicht durchgeführte Experimente mit einer gewissen Zuverlässigkeit, die z. B. durch eine Ober- und Untergrenze für das Fehlermaß (14) bestimmt wird. Für den Klassifikator (siehe unten) wird lediglich das ungünstigste, also höchste Fehlermaß (14) herangezogen. Es sei angemerkt, dass der Klassifikator zur weiteren Verfeinerung des Fehlermaßes (14) verwendet werden kann.

4th illuminates a method according to the invention ( 10 ) from the application point of view under the following assumptions:

• A model for the simulation is given ( 11 ) as well as a lot of tests ( 12th ) including defined input parameters.
• The QSpec requirements are quantifiable and specified and are implemented within the framework of a monitoring system that carries out the tests ( 12th ) with regard to the degree of fulfillment ( 13th ) evaluates these requirements. In the figure, both compliance measures relate ( 13th ) to the same request QSpec, which, however, once based on the simulation ( 11 ) and once by way of experimental measurement ( 21 ) is assessed on the system.
• SMerrorX is a measure of error ( 14th ), which was defined in advance. For some test entries, simulation ( 11 ) and measurement ( 21 ) performed, and the measure of error ( 14th ) generalizes the corresponding tests ( 12th ) to new, so far not carried out experiments with a certain reliability. B. by an upper and lower limit for the error measure ( 14th ) is determined. For the classifier (see below) only the most unfavorable, i.e. the highest error measure ( 14th ) are used. It should be noted that the classifier can be used to further refine the measure of error ( 14th ) can be used.

Unter diesen Annahmen mag sich das Verfahren (10) wie folgt gestalten:

1. Mittels der Simulation (11) werden Tests (12) durchgeführt, wobei Ausgangssignale erzeugt werden.
2. Gemäß den obigen Erläuterungen wird ein vorläufiger Klassifikator (18) definiert.
3. Der Benutzer (33) gibt auf der Grundlage derselben Datenpunkte einen gewünschten Klassifikator vor (32), der zunächst die üblicherweise an einen Klassifikator gestellten Korrektheitsbedingungen verletzen darf.
4. Die Ausgangssignale werden jeweils hinsichtlich des Erfüllungsmaßes (13) der Anforderungen QSpec und des Fehlermaßes (14) der Simulation (11) gemäß dem SMerrorX-Fehlermodell ausgewertet. Wenn zum Beispiel der mittlere quadratische Fehler als Fehlermaß (14) herangezogen wird und das Ergebnis 1,5 beträgt, erteilt das Verfahren (10) dem Benutzer (33) Ratschläge zum Erreichen eines der Vorgabe (32) entsprechenden Zielwertes.
5. Typischerweise verläuft die Entscheidungsgrenze (19) gemäß der Vorgabe (32) entlang einer steileren Geraden, sodass mehr Tests (12) als zuverlässig eingestuft werden. Wenn laut Vorgabe (32) Tests (12) als zuverlässig einzustufen wären, die durch den derzeit verwendeten Klassifikator (18) als unzuverlässig eingestuft werden, wird ein Schwellenwert (34) für das Fehlermaß (14) ermittelt (31), welches die Entscheidungsgrenze (19) des Klassifikators (18) derart verlegt, dass der betrachtete Test (12) stattdessen einer der in 1 oberhalb der Grenze (19) dargestellten Klassen B oder C unterfällt. Dieser Wert dient den Validierungsingenieuren als Richtlinie (35) oder Kriterium für die Entscheidung, ob ein ermitteltes Fehlermaß als „gut“ oder „schlecht“ (36) anzusehen ist.

Under these assumptions, the procedure ( 10 ) as follows:

1. Using the simulation ( 11 ) tests ( 12th ), with output signals being generated.
2. As explained above, a preliminary classifier ( 18th ) Are defined.
3. The user ( 33 ) specifies a desired classifier based on the same data points ( 32 ), which may initially violate the correctness conditions usually placed on a classifier.
4. The output signals are in each case with regard to the degree of compliance ( 13th ) the requirements QSpec and the degree of error ( 14th ) the simulation ( 11 ) evaluated according to the SMerrorX error model. For example, if the mean square error is used as the measure of error ( 14th ) is used and the result is 1.5, the procedure issues ( 10 ) the user ( 33 ) Advice on how to achieve one of the target ( 32 ) corresponding target value.
5.The decision limit is typically ( 19th ) according to the specification ( 32 ) along a steeper straight line so that more tests ( 12th ) can be classified as reliable. If according to the specification ( 32 ) Testing ( 12th ) should be classified as reliable if the currently used classifier ( 18th ) are classified as unreliable, a threshold value ( 34 ) for the measure of error ( 14th ) determined ( 31 ), which is the decision limit ( 19th ) of the classifier ( 18th ) relocated in such a way that the test under consideration ( 12th ) instead one of the in 1 above the limit ( 19th ) is subject to classes B or C. This value serves as a guideline for the validation engineers ( 35 ) or criterion for the decision whether a determined measure of error as "good" or "bad" ( 36 ) is to be seen.

Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einer Arbeitsstation (30) implementiert sein, wie die schematische Darstellung der 5 verdeutlicht.This method ( 10 ) can be in software or hardware, for example, or in a mixed form of software and hardware, for example in a workstation ( 30th ) be implemented as shown in the schematic representation of the 5 made clear.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 10303489 A1 [0004]

Zitierte Nicht-PatentliteraturNon-patent literature cited

ISO 18571 [0007]

Claims

Method (10) for testing a technical system, in particular an at least partially autonomous robot or vehicle, characterized by the following features: - tests (12) are carried out by means of a simulation (11) of the system, - the tests (12) are carried out with regard to a degree of fulfillment ( 13) a quantitative requirement on the system and a measure of error (14) of the simulation (11) are evaluated, - depending on the measure of fulfillment (13) and measure of error (14), the tests (12) are classified as either reliable or unreliable and - off the classification carried out and a related specification (32) by a user (33), a suitable threshold value (34) for the error measure (14) is derived (31).

Method (10) according to Claim 1 , characterized by the following features: - the classification is carried out by a classifier (18) on the basis of a feature vector (13, 14) and - the compliance measure (13) and error measure (14) form components of the feature vector (13, 14).

Method (10) according to Claim 2 , characterized by the following features: - the classifier (18) maps the feature vector (13, 14) to one of several classes (A, B, C, D) and - the classification takes place within predetermined decision limits (19) between the classes ( A, B, C, D).

Method (10) according to Claim 3 , characterized by the following features: - in a preparation phase (20) the simulation (11) is confirmed by experimental measurements (21) on the system, - the decision limits (19) are drawn in such a way that on the one hand in the simulation (11) and on the other hand The degree of fulfillment (13) taken in the measurement (21) deviates as little as possible and - preferably, further tests (12) to be carried out in the preparation phase (20) are automatically selected (22).

Method (10) according to Claim 3 , characterized by the following features: - the classifier (18) is defined by solving (23) a system of equations and - the system of equations comprises defining equations of the measure of fulfillment (13) and measure of error (14).

Method (10) according to one of the Claims 1 until 5 , characterized by the following feature: the evaluation takes place in such a way that the degree of fulfillment (13) is positive if the system meets the requirement (24), and negative if the system fails to meet the requirement (25).

Method (10) according to one of the Claims 1 until 6th , characterized by the following feature: - the threshold value (34) is added to a guideline (36) for a validation of the simulation (11).

Method (10) according to one of the Claims 1 until 7th , characterized in that errors in the system recognized by the testing are automatically improved.

Computer program which is set up, the method (10) according to one of the Claims 1 until 8th to execute.

Machine-readable storage medium on which the computer program is based Claim 9 is stored.

Device (30) which is set up, the method (10) according to one of the Claims 1 until 8th to execute.