DE102020205526A1

DE102020205526A1 - Method and device for testing a technical system

Info

Publication number: DE102020205526A1
Application number: DE102020205526.2A
Authority: DE
Inventors: Joachim Sohns; Ji Su Yoon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-04-30
Filing date: 2020-04-30
Publication date: 2021-11-04
Also published as: CN113590460A

Abstract

Verfahren (10) zum Prüfen eines technischen Systems, gekennzeichnet durch folgende Merkmale:- mittels einer Simulation (11) des Systems werden Tests (12) durchgeführt,- die Tests (12) werden hinsichtlich eines Erfüllungsmaßes (13) einer quantitativen Anforderung an das System und eines Fehlermaßes (14) der Simulation (11) ausgewertet,- abhängig vom Erfüllungsmaß (13) und Fehlermaß (14) wird eine vorläufige Einstufung (15) der Tests (12) als entweder zuverlässig (16) oder unzuverlässig (17) vorgenommen und- durch eine schrittweise Verfeinerung der Einstufung (15) wird ein Klassifikator (18) für die Einstufung (15) optimiert.A method (10) for testing a technical system, characterized by the following features: tests (12) are carried out by means of a simulation (11) of the system, - the tests (12) are performed with regard to a measure (13) of a quantitative requirement for the system and an error measure (14) of the simulation (11) is evaluated, - depending on the fulfillment measure (13) and error measure (14), a preliminary classification (15) of the tests (12) as either reliable (16) or unreliable (17) is carried out and - By gradually refining the classification (15), a classifier (18) is optimized for the classification (15).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Prüfen eines technischen Systems. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.The present invention relates to a method for testing a technical system. The present invention also relates to a corresponding device, a corresponding computer program and a corresponding storage medium.

Stand der TechnikState of the art

In der Softwaretechnik wird die Nutzung von Modellen zur Automatisierung von Testaktivitäten und zur Generierung von Testartefakten im Testprozess unter dem Oberbegriff „modellbasiertes Testen“ (model-based testing, MBT) zusammengefasst. Hinlänglich bekannt ist beispielsweise die Generierung von Testfällen aus Modellen, die das Sollverhalten des zu testenden Systems beschreiben.In software engineering, the use of models to automate test activities and to generate test artifacts in the test process is summarized under the heading of "model-based testing" (MBT). For example, the generation of test cases from models that describe the target behavior of the system to be tested is well known.

Insbesondere eingebettete Systeme (embedded systems) sind auf schlüssige Eingangssignale von Sensoren angewiesen und stimulieren wiederum ihre Umwelt durch Ausgangssignale an unterschiedlichste Aktoren. Im Zuge der Verifikation und vorgelagerter Entwicklungsphasen eines solchen Systems wird daher in einer Regelschleife dessen Modell (model in the loop, MiL), Software (software in the loop, SiL), Prozessor (processor in the loop, PiL) oder gesamte Hardware (hardware in the loop, HiL) gemeinsam mit einem Modell der Umgebung simuliert. In der Fahrzeugtechnik werden diesem Prinzip entsprechende Simulatoren zur Prüfung elektronischer Steuergeräte je nach Testphase und -objekt mitunter als Komponenten-, Modul- oder Integrationsprüfstände bezeichnet.Embedded systems in particular are dependent on conclusive input signals from sensors and in turn stimulate their environment through output signals to a wide variety of actuators. In the course of the verification and upstream development phases of such a system, its model (model in the loop, MiL), software (software in the loop, SiL), processor (processor in the loop, PiL) or entire hardware (hardware in the loop, HiL) is simulated together with a model of the environment. In vehicle technology, simulators corresponding to this principle for testing electronic control devices are sometimes referred to as component, module or integration test benches, depending on the test phase and object.

DE10303489A1 offenbart ein derartiges Verfahren zum Testen von Software einer Steuereinheit eines Fahrzeugs, eines Elektrowerkzeugs oder eines Robotiksystems, bei dem durch ein Testsystem eine von der Steuereinheit steuerbare Regelstrecke wenigstens teilweise simuliert wird, indem Ausgangssignale von der Steuereinheit erzeugt werden und diese Ausgangssignale der Steuereinheit zu ersten Hardware-Bausteinen über eine erste Verbindung übertragen werden und Signale von zweiten Hardware-Bausteinen als Eingangssignale zur Steuereinheit über eine zweite Verbindung übertragen werden, wobei die Ausgangssignale als erste Steuerwerte in der Software bereitgestellt werden und zusätzlich über eine Kommunikationsschnittstelle in Echtzeit bezogen auf die Regelstrecke zum Testsystem übertragen werden. DE10303489A1 discloses such a method for testing software of a control unit of a vehicle, a power tool or a robotics system, in which a test system at least partially simulates a controlled system controlled by the control unit by generating output signals from the control unit and these output signals from the control unit to first hardware Modules are transferred via a first connection and signals from second hardware modules are transferred as input signals to the control unit via a second connection, the output signals being provided as first control values in the software and additionally via a communication interface in real time based on the controlled system to the test system be transmitted.

Derartige Simulationen sind auf verschiedenen Gebieten der Technik verbreitet und finden beispielsweise Einsatz, um eingebettete Systeme in Elektrowerkzeugen, Motorsteuergeräte für Antriebs-, Lenk- und Bremssysteme, Kamerasysteme, Systeme mit Komponenten der künstlichen Intelligenz und des maschinellen Lernens, Robotiksysteme oder autonome Fahrzeuge in frühen Phasen ihrer Entwicklung auf Tauglichkeit zu prüfen. Dennoch werden die Ergebnisse von Simulationsmodellen nach dem Stand der Technik aufgrund fehlenden Vertrauens in ihre Zuverlässigkeit nur begrenzt in Freigabeentscheidungen einbezogen.Such simulations are widespread in various fields of technology and are used, for example, to convert embedded systems in power tools, motor control units for drive, steering and braking systems, camera systems, systems with components of artificial intelligence and machine learning, robotics systems or autonomous vehicles in early phases to check their development for suitability. Nevertheless, the results of state-of-the-art simulation models are only included in release decisions to a limited extent due to a lack of confidence in their reliability.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung stellt ein Verfahren zum Prüfen eines technischen Systems, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium gemäß den unabhängigen Ansprüchen bereit.The invention provides a method for testing a technical system, a corresponding device, a corresponding computer program and a corresponding storage medium according to the independent claims.

Der erfindungsgemäße Ansatz fußt auf der Erkenntnis, dass die Güte von Simulationsmodellen für die korrekte Vorhersagbarkeit der damit erzielbaren Testergebnisse entscheidend ist. Auf dem Gebiet des MBT beschäftigt sich die Teildisziplin der Validierung mit der Aufgabe, reale Messungen mit Simulationsergebnissen zu vergleichen. Dazu werden verschiedene Metriken, Maßzahlen oder andere Vergleicher verwendet, die Signale miteinander verknüpfen und die im Folgenden zusammenfassend als Signalmetriken (SM) bezeichnet werden sollen. Beispiele für derartige Signalmetriken sind Metriken, die Größe, Phasenverschiebung und Korrelationen vergleichen. Einige Signalmetriken sind durch einschlägige Normen definiert, z. B. gemäß ISO 18571 .The approach according to the invention is based on the knowledge that the quality of simulation models is decisive for the correct predictability of the test results that can be achieved with them. In the field of MBT, the sub-discipline of validation deals with the task of comparing real measurements with simulation results. For this purpose, various metrics, measures or other comparators are used that link signals with one another and that are collectively referred to below as signal metrics (SM). Examples of such signal metrics are metrics that compare size, phase shift, and correlations. Some signal metrics are defined by relevant standards, e.g. B. according to ISO 18571 .

Allgemeiner ausgedrückt unterstützen Unsicherheitsquantifizierungstechniken die Abschätzung der Simulations- und Modellgüte. Das Ergebnis einer Bewertung der Modellgüte unter Heranziehung einer Signalmetrik oder allgemeiner unter Verwendung einer Unsicherheitsquantifizierungsmethode für eine bestimmte Eingabe X, bei der es sich um einen Parameter oder ein Szenario handeln kann, wird nachfolgend als Simulationsmodell-Fehlermetrik - kurz: Fehlermetrik - SMerrorX bezeichnet. Zur Verallgemeinerung (Interpolation und Extrapolation) von SMerrorX für bisher nicht betrachtete Eingaben, Parameter oder Szenarien X können maschinelle Lernmodelle etwa auf der Grundlage sogenannter Gaußprozesse verwendet werden.In more general terms, uncertainty quantification techniques support the estimation of the simulation and model quality. The result of an assessment of the model quality using a signal metric or, more generally, using an uncertainty quantification method for a specific input X, which can be a parameter or a scenario, is referred to below as the simulation model error metric - in short: error metric - SMerrorX. For generalization (interpolation and extrapolation) of SMerrorX for inputs, parameters or scenarios X that have not been considered previously, machine learning models can be used, for example on the basis of so-called Gaussian processes.

Bei der Verifizierung wird der Prüfling (system under test, SUT) typischerweise anhand einer Anforderung, Spezifikation oder Leistungskennzahl untersucht. Es ist zu beachten, dass boolesche Anforderungen oder Spezifikationen oft in quantitative Messungen umgewandelt werden können, indem man Formalismen wie die Signal-Temporallogik (signal temporal logic, STL) verwendet. Derartige Formalismen können als Grundlage einer quantitativen Semantik dienen, die sich insofern als Verallgemeinerung der Verifikation darstellt, als ein positiver Wert die Erfüllung und ein negativer Wert die Verletzung einer Anforderung indiziert. Im Folgenden werden solche Anforderungen, Spezifikationen oder Leistungsmaße zusammenfassend als „quantitative Anforderungen“ (QSpec) bezeichnet.During verification, the test item (system under test, SUT) is typically examined on the basis of a requirement, specification or performance indicator. It should be noted that Boolean requirements or specifications can often be converted into quantitative measurements using formalisms such as signal temporal logic (STL). Such formalisms can serve as the basis of quantitative semantics, which in this respect represent a generalization of the verification, rather than a positive one Value indicates fulfillment and a negative value indicates violation of a requirement. In the following, such requirements, specifications or performance measures are collectively referred to as “quantitative requirements” (QSpec).

Derlei quantitative Anforderungen können entweder anhand des realen SUT oder eines Modells desselben - gleichsam eines „virtuellen SUT“ - überprüft werden. Zum Zwecke dieser Verifikation werden Kataloge mit Testfällen zusammengestellt, denen ein SUT genügen muss, um zu entscheiden, ob es die gewünschten Leistungs- und Sicherheitseigenschaften aufweist. Ein solcher Testfall kann parametrisiert werden und so eine beliebige Anzahl von Einzeltests abdecken.Such quantitative requirements can either be checked using the real SUT or a model of the same - a “virtual SUT”, so to speak. For the purpose of this verification, catalogs are compiled with test cases that an SUT must meet in order to decide whether it has the desired performance and security properties. Such a test case can be parameterized and thus cover any number of individual tests.

Vor diesem Hintergrund trägt der vorgeschlagene Ansatz dem Bedürfnis nach belastbaren Testergebnissen Rechnung, um die Leistungs- und Sicherheitseigenschaften eines SUT zu gewährleisten. Gerade bei der Durchführung von Tests anhand einer Simulation des Systems oder einer Teilkomponente - anstelle des realen Systems - gilt es sicherzustellen, dass die Simulationsergebnisse vertrauenswürdig sind.Against this background, the proposed approach takes into account the need for reliable test results in order to guarantee the performance and safety properties of an SUT. When performing tests based on a simulation of the system or a subcomponent - instead of the real system - it is important to ensure that the simulation results are trustworthy.

Validierungstechniken, die die Abweichung zwischen Simulations- und realem Systemverhalten überprüfen, sind Bestandteil derartiger Methoden zur Bewertung der Simulations- und Modellqualität. Um diese Abweichung zu quantifizieren, wird - wie oben dargelegt - für die Eingabe X die Validierungsfehlermetrik SMerrorX berechnet. Andererseits wird das System auf die Erfüllung der Anforderung QSpec hin untersucht; das auf diese Weise ermittelte Erfüllungsmaß trägt zu einem besseren Verständnis von Testergebnissen und Systemverhalten bei. Hierzu wird im Weiteren ein so genannter virtueller Testklassifikator eingeführt, um unter Berücksichtigung beider Qualitätsaspekte diejenigen Teilbereiche der Merkmalsräume einzugrenzen, in denen eine Simulation dem vorgesehenen Zweck genügt.Validation techniques that check the deviation between simulation and real system behavior are part of such methods for evaluating the simulation and model quality. In order to quantify this deviation, the validation error metric SMerrorX is calculated for the input X - as explained above. On the other hand, the system is checked for compliance with the QSpec requirement; the degree of compliance determined in this way contributes to a better understanding of test results and system behavior. For this purpose, a so-called virtual test classifier is introduced below, in order to delimit those sub-areas of the feature spaces in which a simulation is sufficient for the intended purpose, taking into account both quality aspects.

Die Merkmalskombinationen werden zu diesem Zweck im Hinblick auf die Zuverlässigkeit der durch sie definierten Tests in der Simulation eingestuft. Um zu einem klaren Verständnis der resultierenden Klassifikation zu gelangen und den Klassifikator selbst zu optimieren, bedarf es eines ausgeklügelten Algorithmus zur Auflösung oder Vereinfachung der durch den virtuellen Testklassifikator definierten Streuverteilung.For this purpose, the combinations of features are classified in the simulation with regard to the reliability of the tests they define. In order to get a clear understanding of the resulting classification and to optimize the classifier itself, a sophisticated algorithm is required to resolve or simplify the scatter distribution defined by the virtual test classifier.

Ein Vorzug der erfindungsgemäßen Lösung für diese Aufgabe besteht darin, dass sie im Gegensatz zu Konzepten, die ausschließlich auf Validierung oder ausschließlich auf Verifizierung basieren, beide Ansätze auf geschickte Weise vereint. Dazu wird der besagte virtuelle Test-Klassifikator eingeführt, welcher die Erfordernisse von Modellvalidierung und Produkttest kombiniert. Dies wird durch die Verknüpfung von Informationen aus der Validierung von Simulations- und Modellgüte (SMerrorX) einerseits und Testanforderungen (QSpec) andererseits erreicht.One advantage of the solution according to the invention for this task is that, in contrast to concepts that are based exclusively on validation or exclusively on verification, it cleverly combines both approaches. For this purpose, the aforementioned virtual test classifier is introduced, which combines the requirements of model validation and product testing. This is achieved by linking information from the validation of simulation and model quality (SMerrorX) on the one hand and test requirements (QSpec) on the other.

Die Anwendung entsprechender Tests kommt auf unterschiedlichsten Feldern in Betracht. Zu denken ist beispielsweise an die funktionale Sicherheit automatisierter Systeme, wie sie etwa zur Automatisierung von Fahrfunktionen (automated driving) genutzt werden.The application of corresponding tests can be considered in a wide variety of fields. One should think, for example, of the functional safety of automated systems, such as those used to automate driving functions.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So kann eine automatisierte, computer-implementierte Testumgebung vorgesehen sein, um die Qualität der getesteten Hardware- oder Softwareprodukte weitgehend selbsttätig zu verbessern.The measures listed in the dependent claims allow advantageous developments and improvements of the basic idea specified in the independent claim. An automated, computer-implemented test environment can be provided in order to improve the quality of the tested hardware or software products largely automatically.

FigurenlisteFigure list

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 einen virtuellen Test-Klassifikator.
2 einen Ansatz zur Erzeugung der Entscheidungsgrenze des Klassifikators auf der Grundlage von Daten.
3 die Vorklassifizierung eines virtuellen Testraums unter Hervorhebung eines unzuverlässigen Bereichs.
4 die mögliche weitere Klassifizierung innerhalb des unzuverlässigen Bereichs.
5 das beispielhafte Ergebnis einer optimierungsbasierten virtuellen Testklassifizierung in zwei verschiedenen Darstellungen.
6 die Darstellung der Zuverlässigkeit und Klassifikation im Parameterraum in einer frühen Verfahrensphase.
7 die Darstellung der Zuverlässigkeit und Klassifikation im Parameterraum gemäß einem durch Verfeinerung der Bereiche des Parameterraumes verbesserten Klassifikator, wobei auf eine Unterscheidung bestandener und nicht bestandener Testfälle verzichtet wird.
8 eine Abbildung der zuvor im Parameterraum dargestellten Information in das Koordinatensystem des Klassifikators. Zur besseren Übersichtlichkeit sind hier nur die unzuverlässigen Testfälle dargestellt.
9 eine erweiterte Darstellung, welche die Zuverlässigkeit von Testfällen nahe der Entscheidungsgrenze des Klassifikators in Zweifel zieht.
10 eine Darstellung des Klassifikators, welche die Information aus dem Parameterraum zur Risikoeinschätzung kombiniert.
11 die Beschreibung eines erfindungsgemäßen Verfahrens aus Anwendungssicht.
12 die Visualisierung eines Klassifikationsergebnisses in einem durch die Testparameter aufgespannten Merkmalsraum.
13 schematisch eine Arbeitsstation.

Exemplary embodiments of the invention are shown in the drawings and explained in more detail in the description below. It shows:

1 a virtual test classifier.
2 an approach to generating the decision limit of the classifier based on data.
3 the pre-classification of a virtual test room highlighting an unreliable area.
4th the possible further classification within the unreliable area.
5 the exemplary result of an optimization-based virtual test classification in two different representations.
6th the representation of the reliability and classification in the parameter space in an early process phase.
7th the representation of the reliability and classification in the parameter space according to a classifier improved by refining the areas of the parameter space, whereby a distinction between passed and failed test cases is dispensed with.
8th a mapping of the information previously shown in the parameter space into the coordinate system of the classifier. For the sake of clarity, only the unreliable test cases are shown here.
9 an extended representation that shows the reliability of test cases close to the Doubts the decision limit of the classifier.
10 a representation of the classifier, which combines the information from the parameter space for risk assessment.
11 the description of a method according to the invention from an application perspective.
12th the visualization of a classification result in a feature space spanned by the test parameters.
13th schematically a workstation.

Ausführungsformen der ErfindungEmbodiments of the invention

Erfindungsgemäß wird im Rahmen eines Tests X, welcher als Testfall einem Testkatalog entnommen oder als Instanz eines parametrischen Tests gewonnen werden kann, der Simulationsmodellfehler SMerrorX ausgewertet und die quantitative Spezifikation QSpec auf der Grundlage einer Simulation des SUT bewertet. Der virtuelle Testklassifikator verwendet als Eingabe SMerrorX und QSpec und trifft eine binäre Entscheidung dahingehend, ob das auf der Simulation basierende Testergebnis vertrauenswürdig ist oder nicht.According to the invention, as part of a test X, which can be taken from a test catalog as a test case or obtained as an instance of a parametric test, the simulation model error SMerrorX is evaluated and the quantitative specification QSpec is evaluated on the basis of a simulation of the SUT. The virtual test classifier uses SMerrorX and QSpec as inputs and makes a binary decision as to whether the test result based on the simulation is trustworthy or not.

Gemäß dem in der Informatik und insbesondere Mustererkennung üblichen Sprachgebrauch ist als Klassifikator hierbei jedweder Algorithmus oder jedwede mathematische Funktion zu verstehen, welche einen Merkmalsraum auf eine Menge von Klassen abbildet, die im Zuge einer Klassifizierung gebildet und voneinander abgegrenzt wurden. Um entscheiden zu können, in welche Klasse ein Objekt einzustufen oder zu klassieren (umgangssprachlich auch: „klassifizieren“) ist, zieht der Klassifikator sogenannte Klassen- oder Entscheidungsgrenzen heran. Sofern eine Unterscheidung zwischen Verfahren und Instanz nicht von Bedeutung ist, wird der Begriff „Klassifikator“ in der Fachsprache und auch nachfolgend teilweise gleichbedeutend mit „Einstufung“ oder „Klassierung“ verwendet.According to the common usage in computer science and in particular in pattern recognition, a classifier is to be understood as any algorithm or any mathematical function that maps a feature space onto a set of classes that were formed and delimited from one another in the course of a classification. In order to be able to decide in which class an object is to be classified or classified (colloquially also: "classify"), the classifier uses so-called class or decision limits. If a distinction between procedure and instance is not important, the term “classifier” is used in the technical language and also in the following partly synonymous with “classification” or “classification”.

1 illustriert eine solche Einstufung im vorliegenden Anwendungsbeispiel. Hierbei entspricht jeder Punkt einem Test, der im Wege der Simulation durchgeführt und für den das Erfüllungsmaß (13) der Anforderung QSpec sowie das Fehlermaß (14) SMerrorX berechnet wurden. QSpec ist in diesem Fall so definiert, dass es einen positiven Wert annimmt, wenn der Test vermuten lässt, dass das System der jeweiligen Anforderung genügt (Bezugszeichen 24), und negativ, wenn das System die Anforderung verfehlt (Bezugszeichen 25). 1 illustrates such a classification in this application example. Each point corresponds to a test that is carried out by way of simulation and for which the degree of fulfillment ( 13th ) of the QSpec requirement and the degree of error ( 14th ) SMerrorX were calculated. In this case, QSpec is defined in such a way that it assumes a positive value if the test suggests that the system meets the respective requirement (reference symbol 24 ), and negative if the system misses the request (reference symbol 25th ).

Wie die Abbildung erkennen lässt, unterteilt die Entscheidungsgrenze (19) des Klassifikators (18) den Raum in vier Klassen A, B, C und D. Tests der Klasse A würden vom System mit hoher Zuverlässigkeit bestanden. Für Tests der Klassen B und C liefert die Simulation lediglich unzuverlässige Ergebnisse; derartige Tests sind daher auf dem realen System durchzuführen. Tests der Klasse D würden auf dem System mit hoher Zuverlässigkeit fehlschlagen.As the figure shows, the decision limit ( 19th ) of the classifier ( 18th ) the room in four classes A, B, C and D. Class A tests would be passed by the system with high reliability. For tests of classes B and C, the simulation only provides unreliable results; such tests must therefore be carried out on the real system. Class D tests would fail on the system with high reliability.

Dieser virtuelle Test-Klassifikator (18) gründet auf der Überlegung, dass eine in der Simulation nur knapp erfüllte Anforderung nur dann die Erprobung des realen Systems ersetzen kann, wenn von einem allenfalls marginalen Modellfehler (14) auszugehen ist. Andererseits kann bei einem betragsmäßig hohen Erfüllungsmaß (13) der quantitativen Anforderung QSpec, also einer bei weitem übererfüllten oder deutlich verfehlten Vorgabe, eine gewisse Abweichung der Simulationsergebnisse von entsprechenden experimentellen Messungen hingenommen werden.This virtual test classifier ( 18th ) is based on the consideration that a requirement that is only barely fulfilled in the simulation can only replace the testing of the real system if there is at best a marginal model error ( 14th ) is to be assumed. On the other hand, with a high level of compliance ( 13th ) the quantitative requirement QSpec, i.e. a specification that has been far exceeded or clearly missed, a certain deviation of the simulation results from the corresponding experimental measurements must be accepted.

Da diese Betrachtungsweise die Kenntnis des Modellfehlers SMerrorX des Simulationsmodells voraussetzt, wird davon ausgegangen, dass letzteres im Vorfeld der Verwendung des virtuellen Test-Klassifikators (18) einer Verifikation und Validierung unterzogen wurde. Im Rahmen dieser Validierung sollte - z. B. auf der Grundlage eines Gaußprozesses oder anderweitig durch maschinelles Lernen - ein verallgemeinertes Modell gebildet werden, das SMerrorX für ein gegebenes X liefert. Dabei ist zu beachten, dass die Vertrauenswürdigkeit der Simulation entscheidend von der Korrektheit dieses generalisierten Modells abhängt.Since this approach presupposes knowledge of the model error SMerrorX of the simulation model, it is assumed that the latter is prior to the use of the virtual test classifier ( 18th ) has been subjected to verification and validation. As part of this validation - z. B. on the basis of a Gaussian process or otherwise through machine learning - a generalized model can be formed, which returns SMerrorX for a given X. It should be noted that the reliability of the simulation depends crucially on the correctness of this generalized model.

2 verdeutlicht einen möglichen Ansatz zur Erzeugung der Entscheidungsgrenze (19 - 1) des Klassifikators (18) auf der Grundlage von Daten. Im einfachsten Fall verläuft die Grenze (19) hierbei entlang einer Ursprungsgeraden. Die Steigung der Geraden ist vorzugsweise so zu wählen, dass alle Punkte, in denen sich das Erfüllungsmaß (13) der quantitativen Anforderung QSpec zwischen Simulation (11) und realer Messung (21) im Vorzeichen unterscheidet - also gleichsam alle Tests (12), bei denen das Simulationsmodell versagt -, in den Bereichen C und B liegen und diese Bereiche zudem möglichst klein sind. 2 illustrates a possible approach to generating the decision limit ( 19th - 1 ) of the classifier ( 18th ) based on data. In the simplest case the border runs ( 19th ) along a straight line through the origin. The slope of the straight line should preferably be chosen so that all points in which the fulfillment measure ( 13th ) the quantitative requirement QSpec between simulation ( 11 ) and real measurement ( 21 ) differs in sign - that is, all tests ( 12th ), in which the simulation model fails -, lie in areas C and B and these areas are also as small as possible.

In Betracht kommt ferner eine allgemeinere, z. B. polynomielle Entscheidungsgrenze (19), deren Funktionskurve mittels linearer Programmierung derart angepasst wird, dass sie das Kriterium eines Klassifikators (18) VTC erfüllt. Auch in diesem Fall liegen alle Punkte, in denen sich das Erfüllungsmaß (13) der quantitativen Anforderung QSpec zwischen Simulation (11) und realer Messung (21) im Vorzeichen unterscheidet - also gleichsam alle Tests (12), bei denen das Simulationsmodell versagt -, in den Bereichen C und B.A more general one, e.g. B. polynomial decision limit ( 19th ), whose function curve is adapted by means of linear programming in such a way that it meets the criterion of a classifier ( 18th ) VTC fulfilled. In this case, too, there are all points in which the degree of fulfillment ( 13th ) the quantitative requirement QSpec between simulation ( 11 ) and real measurement ( 21 ) differs in sign - that is, all tests ( 12th ) where the simulation model fails - in areas C and B.

Insbesondere der erste, zu 2 erläuterte Ansatz basiert auf einer linearen Klassifikation, die zwischen zuverlässigen und unzuverlässigen Bereichen unterscheidet. Dieses Vorgehen ist nützlich, um anhand einer Abbildung in einem durch die Testparameter aufgespannten Merkmalsraum (im Folgenden: „Parameterraum“) einen ersten Überblick über die Beziehung zwischen Erfüllungs- (13) und Fehlermaß (14) zu gewinnen. Darüber hinaus kommt dem Klassifikationsergebnis je nach dem für die Konstruktion der Entscheidungsgrenzen verwendeten Kriterium unterschiedliche Bedeutung zu. Hierbei bedarf es einer Berücksichtigung der ungünstigsten Fälle, um eine Mehrheit kritischer Einzelfälle abzudecken. Diese gleichsam „konservative“ Eigenschaft der Klassifikation gestattet es, sie zur Vorauswahl des unzuverlässigen Wertebereiches heranzuziehen.In particular the first, too 2 The approach explained here is based on a linear classification that distinguishes between reliable and unreliable areas. This procedure is useful in order to obtain an initial overview of the relationship between fulfillment ( 13th ) and measure of error ( 14th ) to win. In addition, the classification result has different meanings depending on the criterion used to construct the decision limits. The worst cases must be taken into account in order to cover a majority of critical individual cases. This “conservative” property of the classification allows it to be used for the preselection of the unreliable range of values.

Im solchermaßen vorausgewählten Bereich für ein gegebenes Erfüllungs- (13) und Fehlermaß (14) sind die bereits zu 1 beschriebenen Klassen zu unterscheiden: erstens Tests, für welche die Simulation zuverlässig das Ergebnis liefert, das sie bestanden wurden, zweitens Tests, für welche die Simulation zuverlässig das Ergebnis liefert, dass sie nicht bestanden wurden, und drittens Tests, für welche die Simulation kein zuverlässiges Ergebnis liefert.In such a preselected area for a given fulfillment ( 13th ) and measure of error ( 14th ) are already closed 1 to differentiate between the classes described: firstly, tests for which the simulation reliably delivers the result that they have been passed, secondly, tests for which the simulation reliably delivers the result that they have not been passed, and thirdly, tests for which the simulation is not reliable Result delivers.

Die konservative Eigenschaft der Klassifikation führt hierbei mit hoher Wahrscheinlichkeit zu einem Informationsverlust durch fehlerhafte Einstufungen, d. h. zu einer zunehmenden Ineffizienz bei der Abgabe von Empfehlungen zur Auswahl sinnvoller realer Messungen. Um diesen Verlust wertvoller Informationen zu vermeiden, die nach den vorgegebenen Kriterien und der Eigenart der Klassifikationsmethode bewertet wurden, muss die Menge der ungeordneten Informationen in einer Vorauswahlphase identifiziert und entsprechend berücksichtigt werden. Anhand des folgenden Beispiels sei diese Vorgehensweise näher erläutert.The conservative property of the classification leads with a high probability to a loss of information due to incorrect classifications, i.e. H. to an increasing inefficiency in the provision of recommendations for the selection of meaningful real measurements. In order to avoid this loss of valuable information, which has been evaluated according to the specified criteria and the nature of the classification method, the amount of disordered information must be identified in a pre-selection phase and taken into account accordingly. This procedure is explained in more detail using the following example.

Im Falle einer einfachen linearen Klassifikation, die sich auf die Betrachtung der ungünstigsten Fälle stützt, gibt es zu viele Punkte innerhalb des unzuverlässigen Bereichs, selbst wenn diese vorgegebenen Kriterien - etwa hinsichtlich des übereinstimmenden Vorzeichens der in Simulation und Realmessung ermittelten Erfüllungsmaße (13) - genügen. Wie in 3 dargestellt ist in der Klasse von Tests, welche durch eine beispielhafte lineare Klassifikation mit zwei Entscheidungsgrenzen definiert wird, eine gewisse Anzahl fehlerhaft eingestufter Punkte enthalten, welche abbildungsgemäß durch ein Dreieck markiert ist. Innerhalb dieses Dreiecks gibt es Bereiche, die jeweils klar einer bestimmten Klasse angehören, etwa die in 4 umrissenen Bereiche 38 und 39. Diese Feinunterteilung findet bei einer linearen Klassifikation keine Beachtung, was informationstheoretisch als Entropieverlust gedeutet werden mag. Andererseits gibt es Bereiche, in denen verschiedene Klassen eng beieinander liegen, z. B. den mit dem Bezugszeichen 40 versehenen Bereich.In the case of a simple linear classification based on the consideration of the most unfavorable cases, there are too many points within the unreliable area, even if these specified criteria - for example with regard to the corresponding sign of the compliance measures determined in simulation and real measurement ( 13th ) - suffice. As in 3 In the class of tests which is defined by an exemplary linear classification with two decision limits, a certain number of incorrectly classified points is shown, which is marked by a triangle as shown in the illustration. Within this triangle there are areas that clearly belong to a certain class, such as in 4th outlined areas 38 and 39 . This fine subdivision is ignored in a linear classification, which in terms of information theory can be interpreted as a loss of entropy. On the other hand, there are areas in which different classes are closely related, e.g. B. the one with the reference number 40 provided area.

Der zunächst ungeordnete Dreiecksbereich vermeintlich unzuverlässiger Testfälle birgt somit eine gewisse Entropie, die allerdings nur schwer zu nutzen ist. Um seine einzelnen Teilbereiche angemessen zu unterscheiden, erweist sich eine iterative Methode als zielführend, die auf der Messung dieses Informationsgehaltes basiert. Aus den Ergebnissen einer solchen iterativen Klassierung von Testfällen innerhalb des besagten Bereiches können diverse Empfehlungen abgeleitet werden.The initially disordered triangular area of supposedly unreliable test cases thus harbors a certain entropy, which, however, is difficult to use. An iterative method based on the measurement of this information content proves to be expedient in order to appropriately differentiate between its individual sub-areas. Various recommendations can be derived from the results of such an iterative classification of test cases within the said area.

Eine solche Methode mag sie wie folgt gestalten: Zunächst wird ein Suchraster in Abhängigkeit von der Größe des betrachteten Bereichs festgelegt, um eine Untermenge von vorselektierten unzuverlässigen Teilbereichen zu definieren. Das auf der Entropie basierende Informationsmaß dieser Untermenge wird nunmehr für bestimmte Attribute berechnet, indem gemäß dem Suchraster wiederholt Teilbereiche mit Informationsgehalt betrachtet und auf dieser Grundlage die Entscheidungsgrenze verfeinert, der klassifizierte Bereich dem Parameterraum zugeordnet, der geänderte Bereich markiert und die Suchrastergeometrie aktualisiert wird.Such a method may be designed as follows: First, a search grid is defined as a function of the size of the area under consideration in order to define a subset of preselected unreliable sub-areas. The entropy-based information measure of this subset is now calculated for certain attributes by repeatedly considering sub-areas with information content according to the search grid and refining the decision limit on this basis, assigning the classified area to the parameter space, marking the changed area and updating the search grid geometry.

In 5 ist ein exemplarisches Klassifikationsergebnis und dessen Abbildung in den Parameterraum dargestellt. Der mit dem Bezugszeichen 39 versehene Bereich nur diejenigen Tests, welche die Anforderung klar verfehlen. Abhängig von der Anzahl dieser Testfälle und den Iterationsschritten der Klassifikation im vollkommen unzuverlässigen Bereich kann für den übrigen Bereich das Verhältnis zuverlässiger zu unzuverlässigen Tests berechnet werden. Dieses Verhältnis kann es dem Ingenieur erleichtern, einen Indikator oder eine Empfehlung für seine Validierungsstrategie abzuleiten; so können beispielsweise die nächsten realen Messungen hauptsächlich in den Bereichen geringer Zuverlässigkeit und teilweise im vollkommen unzuverlässigen Bereich vorgenommen werden.In 5 an exemplary classification result and its mapping in the parameter space is shown. The one with the reference number 39 marked area only those tests which clearly fail to meet the requirement. Depending on the number of these test cases and the iteration steps of the classification in the completely unreliable area, the ratio of more reliable to unreliable tests can be calculated for the remaining area. This relationship can make it easier for the engineer to derive an indicator or recommendation for his validation strategy; For example, the next real measurements can be made mainly in the areas of low reliability and partly in the completely unreliable area.

Zusammenfassend lassen sich die Vorteile dieses schrittweisen Ansatzes wie folgt beschreiben: Der Informationsverlust im Rahmen der Klassifikation und somit letztlich die Zahl unnötiger realer Messungen wird reduziert; der unzuverlässige Bereich wird klarer abgegrenzt und das Verständnis des Simulationsmodells je nach der Untersuchung im Parameterraum bereichsweise vertieft; und eine Möglichkeit zur Ableitung von Empfehlungen bezüglich der Validierung wird geschaffen.In summary, the advantages of this step-by-step approach can be described as follows: The loss of information in the context of the classification and thus ultimately the number of unnecessary real measurements is reduced; the unreliable area is delimited more clearly and the understanding of the simulation model is deepened in areas depending on the investigation in the parameter space; and a possibility for deriving recommendations regarding validation is created.

Anstatt die Testfälle im von Erfüllungsmaß (13) und Fehlermaß (14) aufgespannten Merkmalsraum (im Folgenden: „Testraum“) einzustufen und diese Einstufung dann auf den Parameterraum abzubilden, kann die Einstufung unmittelbar in letzterem vorgenommen und umgekehrt auf den Testraum abgebildet werden. Die 6 und 7 verdeutlichen dieses Vorgehen exemplarisch anhand von Eigengeschwindigkeit (26) und Abstand (27) eines in die eigene Fahrspur einscherenden Fahrzeuges, wobei die als zuverlässig erachteten Testfälle - unabhängig von der Erfüllung oder Nichterfüllung der quantitativen Anforderung - außerhalb der markierten Bereiche liegen.Instead of the test cases in the degree of fulfillment ( 13th ) and measure of error ( 14th ) and If this classification is then mapped to the parameter space, the classification can be carried out directly in the latter and, conversely, mapped to the test space. the 6th and 7th illustrate this procedure using exemplary vehicle speed ( 26th ) and distance ( 27 ) a vehicle cutting into its own lane, whereby the test cases considered to be reliable - regardless of whether or not the quantitative requirement is fulfilled or not - are outside the marked areas.

Ähnlich wie bei dem oben beschriebenen Ansatz wird auch hier der Parameterraum in verschiedene Bereiche unterteilt: Die mit dem Bezugszeichen 41 versehenen Bereiche enthalten nur Testfälle, in denen die Ergebnisse aus Simulation und Realität auseinanderfallen, erstere also nicht vertrauenswürdig ist. Die mit dem Bezugszeichen 42 versehenen Bereiche enthalten sowohl zuverlässige als auch unzuverlässige Testfälle. Die außerhalb dieser Bereiche (41, 42) liegenden Testfälle gelten als zuverlässig, wobei hier zusätzlich zwischen bestandenen und nicht bestandenen Test unterschieden werden könnte. Wahlweise ließe sich ebenso ein eigener Bereich für Testfälle in der Nähe der Entscheidungsgrenze.Similar to the approach described above, the parameter space is also divided into different areas here: Those with the reference number 41 The areas marked only contain test cases in which the results from simulation and reality diverge, i.e. the former is not trustworthy. The ones with the reference number 42 labeled areas contain both reliable and unreliable test cases. Those outside of these areas ( 41 , 42 ) lying test cases are considered reliable, whereby a distinction could also be made between passed and failed tests. Optionally, a separate area for test cases near the decision limit could also be created.

In den „gemischten“ Bereichen (42) und an deren Grenzen ist das Risiko wesentlich höher, dass Punkte, die unzuverlässige Punkte repräsentieren, nahe an jenen zuverlässigen Tests liegen. Diese Erkenntnis kann dazu genutzt werden, die Klassifikation zu verbessern und das Risiko einer falschen Einstufung zu verringern.In the "mixed" areas ( 42 ) and at their limits the risk is much higher that points representing unreliable points will be close to those reliable tests. This knowledge can be used to improve the classification and reduce the risk of incorrect classification.

Dabei kann die besagte Information auf drei verschiedene Arten verwendet werden: ähnlich wie zu den 3 bis 5 beschrieben zur Verfeinerung der Klassifizierung durch die Auswahl kleinerer Bereiche, zur iterativen Auswahl neuer Testkandidaten (Testfälle in einem im obigen Sinne gemischten Bereich oder nahe gelegenen gemischten oder unzuverlässigen Bereich) oder zur Verbesserung der Robustheit des Klassifikators.The said information can be used in three different ways: similar to the 3 until 5 described for the refinement of the classification by the selection of smaller areas, for the iterative selection of new test candidates (test cases in a mixed area in the above sense or nearby mixed or unreliable area) or to improve the robustness of the classifier.

Nach der Klassifikation im Parameterraum werden die Punkte - wie oben bereits erwähnt - auf den in 8 dargestellten Testraum abgebildet. (Zugunsten der Übersichtlichkeit wird in dieser Abbildung auf eine Wiedergabe der zuverlässigen Testfälle verzichtet.) Diese Darstellung lässt die Diskrepanz zwischen der aus dem Parameterraum abgeleiteten konservativen Einstufung (42) und der unter Außerachtlassung des Parameterraums gewonnenen Einstufung (43) deutlich erkennen; ein nach den obigen Kriterien geeigneter Testkandidat ist exemplarisch mit dem Bezugszeichen 44 versehen. Die in der erweiterten Fassung gemäß 9 nahe den Bereichsgrenzen liegenden Punkte (45) lassen den Schluss zu, dass die Häufigkeit unzuverlässiger Tests im gemischten Bereich erhöht ist.After the classification in the parameter space, the points - as already mentioned above - are assigned to the in 8th shown test room. (For the sake of clarity, the reliable test cases are not reproduced in this illustration.) This illustration shows the discrepancy between the conservative classification derived from the parameter space ( 42 ) and the classification obtained by ignoring the parameter space ( 43 ) clearly recognize; a test candidate that is suitable in accordance with the above criteria is indicated by way of example with the reference symbol 44 Mistake. The extended version according to 9 points close to the range limits ( 45 ) lead to the conclusion that the frequency of unreliable tests is increased in the mixed range.

10 veranschaulicht eine Kombination von Informationen aus Test- und Parameterraum. Die Bereiche (46), bei denen beide Klassifikationsmethoden zum selben Ergebnis führen, weisen auf ein geringes Risiko der Fehlklassifikation hin. Einige gemäß der Analyse im Parameterraum mit einem erhöhten Risiko behafteten Tests werden vom Klassifikator dagegen als zuverlässig eingestuft (47). Daraus lässt sich schließen, dass es einen Bereich (48) außerhalb der Klassifikation gibt, der ein hohes Risiko der Fehlklassifikation aufweist. 10 illustrates a combination of information from the test and parameter space. The areas ( 46 ), in which both classification methods lead to the same result, indicate a low risk of misclassification. On the other hand, some tests with an increased risk according to the analysis in the parameter space are classified as reliable by the classifier ( 47 ). From this it can be concluded that there is an area ( 48 ) outside of the classification, which has a high risk of misclassification.

11 beleuchtet ein erfindungsgemäßes Verfahren (10) aus Anwendungssicht unter folgenden Annahmen:

• Gegeben ist ein Modell für die Simulation (11) sowie eine Menge von Tests (12) mitsamt definierter Eingabeparameter.
• Die Anforderungen QSpec sind quantifizierbar und vorgegeben und werden im Rahmen eines Überwachungssystems implementiert, das die Tests (12) hinsichtlich des Erfüllungsmaßes (13) dieser Anforderungen auswertet. In der Abbildung beziehen sich beide Erfüllungsmaße (13) auf dieselbe Anforderung QSpec, die jedoch einmal anhand der Simulation (11) und einmal im Wege experimenteller Messung (21) am System bewertet wird.
• SMerrorX ist ein Fehlermaß (14), das im Vorfeld definiert wurde. Für einige Testeingaben wurden also bereits Simulation (11) und Messung (21) durchgeführt, und das Fehlermaß (14) verallgemeinert die entsprechenden Tests (12) auf neue, bislang nicht durchgeführte Experimente mit einer gewissen Zuverlässigkeit, die z. B. durch eine Ober- und Untergrenze für das Fehlermaß (14) bestimmt wird. Für den Klassifikator (18) wird lediglich das ungünstigste, also höchste Fehlermaß (14) herangezogen. Es sei angemerkt, dass der Klassifikator (18) zur weiteren Verfeinerung des Fehlermaßes (14) verwendet werden kann.

11 illuminates a method according to the invention ( 10 ) from the application point of view under the following assumptions:

• A model for the simulation is given ( 11 ) as well as a lot of tests ( 12th ) including defined input parameters.
• The QSpec requirements are quantifiable and specified and are implemented within the framework of a monitoring system that carries out the tests ( 12th ) with regard to the degree of fulfillment ( 13th ) evaluates these requirements. In the figure, both compliance measures refer to ( 13th ) to the same request QSpec, which, however, once based on the simulation ( 11 ) and once by way of experimental measurement ( 21 ) is evaluated on the system.
• SMerrorX is a measure of error ( 14th ), which was defined in advance. For some test entries, simulation ( 11 ) and measurement ( 21 ) performed, and the measure of error ( 14th ) generalizes the corresponding tests ( 12th ) to new, so far not carried out experiments with a certain reliability. B. by an upper and lower limit for the error measure ( 14th ) is determined. For the classifier ( 18th ) only the most unfavorable, i.e. the highest degree of error ( 14th ) are used. It should be noted that the classifier ( 18th ) to further refine the measure of error ( 14th ) can be used.

Unter diesen Annahmen mag sich das Verfahren (10) in der Variante gemäß der 3 bis 5 wie folgt gestalten:

1. Gemäß den obigen Erläuterungen wird ein Klassifikator (18) definiert.
2. Die Tests (12) werden durchgeführt, wobei Ausgangssignale erzeugt werden.
3. Die Ausgangssignale werden hinsichtlich des Erfüllungsmaßes (13) der Anforderungen QSpec und des Fehlermaßes (14) der Simulation (11) gemäß dem SMerrorX-Fehlermodell ausgewertet und dem Klassifikator (18) zugeführt.
4. In einer Vorauswahlphase (20) nimmt der Klassifikator (18) für jeden Test (12) eine Einstufung (15) in eine der folgenden Klassen (A, B, C, D - 1) vor: Der Test (12) war in der Simulation (11) erfolgreich und sein Ergebnis ist zuverlässig (16); der Test ist in der Simulation (11) fehlgeschlagen und sein Ergebnis ist zuverlässig (16); oder das Ergebnis der Simulation (11) ist unzuverlässig (17).
5. Der optimierte Klassifikator (18) kann auf der Grundlage dieser Vorauswahl angewendet werden und liefert mehrere unzuverlässige Bereiche (39) mit Zahlenverhältnissen.
6. Zuverlässige (16) Testergebnisse, für welche die Simulation (11) nunmehr als vertrauenswürdig gilt, werden einer entsprechenden Datenbank hinzugefügt (36).
7. Unzuverlässige (17) Tests (12) können abhängig von den Zahlenverhältnissen zum Anlass genommen werden, dem Benutzer die Durchführung einer entsprechenden Messung (21) am System zu empfehlen, wobei die abschließende Entscheidung dem Benutzer vorbehalten bleiben sollte.
8. Optional können manuell oder automatisch neue experimentelle Messungen (21) vorgenommen werden.

Under these assumptions, the procedure ( 10 ) in the variant according to 3 until 5 design as follows:

1. As explained above, a classifier ( 18th ) Are defined.
2. The tests ( 12th ) are performed, generating output signals.
3. The output signals are determined with regard to the degree of compliance ( 13th ) the requirements QSpec and the degree of error ( 14th ) the simulation ( 11 ) according to the SMerrorX error model evaluated and the classifier ( 18th ) supplied.
4. In a pre-selection phase ( 20th ) takes the classifier ( 18th ) for each test ( 12th ) a classification ( 15th ) into one of the following classes (A, B, C, D - 1 ) before: The test ( 12th ) was in the simulation ( 11 ) successful and its result is reliable ( 16 ); the test is in the simulation ( 11 ) failed and its result is reliable ( 16 ); or the result of the simulation ( 11 ) is unreliable ( 17th ).
5. The optimized classifier ( 18th ) can be applied based on this preselection and yields several unreliable areas ( 39 ) with numerical ratios.
6. Reliable ( 16 ) Test results for which the simulation ( 11 ) is now considered to be trustworthy, are added to a corresponding database ( 36 ).
7. Unreliable ( 17th ) Testing ( 12th ) can, depending on the numerical proportions, be used as an opportunity to instruct the user to carry out a corresponding measurement ( 21 ) on the system, whereby the final decision should be left to the user.
8. Optionally, new experimental measurements ( 21 ) can be made.

Die anhand der 6 bis 10 beschriebene Variante sieht dagegen folgende Schritte vor:

1. Zunächst werden einige Tests in Simulation und Wirklichkeit vorgenommen.
2. Im ersten Schritt wird jeder Test als entweder zuverlässig, also in Simulation und Experiment übereinstimmend bestanden, als unzuverlässig, also als in Simulation und Experiment übereinstimmend nicht bestanden, oder als unzuverlässig eingestuft, sofern Simulation und Experiment unterschiedliche Testergebnisse liefern.
3. Anhand dieser Vorqualifizierung wird der Parameterraum in zuverlässige, unzuverlässige (41), gemischte (42) sowie optionale Grenzbereiche am Rande der zuverlässigen Bereiche eingeteilt. Anhand dieser Einteilung wird jeder Testfall anhand seiner Zugehörigkeit zu einem der genannten Bereiche erneut eingestuft.
4. Die Einstufung wird anhand der beschriebenen Darstellung im Parameterraum verbessert, indem die besagten Bereiche in zunehmend kleinere Teilbereiche unterteilt und der Informationsgehalt jedes dieser Abschnitte optimiert wird.
5. Die Einstufung jedes Punktes wird auf den Testraum abgebildet.
6. Anhand der Verteilung der Punkte im Testraum werden neue Testkandidaten (44) ausgewählt.

Based on the 6th until 10 The variant described, on the other hand, provides the following steps:

1. First, some tests are carried out in simulation and in reality.
2. In the first step, each test is classified as either reliable, meaning that the simulation and experiment consistently pass, unreliable, that is, the simulation and experiment fail, or unreliable if the simulation and experiment deliver different test results.
3. On the basis of this pre-qualification, the parameter space is converted into reliable, unreliable ( 41 ), mixed ( 42 ) as well as optional border areas at the edge of the reliable areas. Based on this classification, each test case is re-classified based on its affiliation to one of the named areas.
4. The classification is improved on the basis of the representation described in the parameter space by dividing the said areas into increasingly smaller sub-areas and optimizing the information content of each of these sections.
5. The classification of each point is mapped onto the test room.
6. Based on the distribution of the points in the test room, new test candidates ( 44 ) selected.

Das Ergebnis der solchermaßen optimierten Einstufung (15) wird vorrangig dazu verwendet, zwischen solchen Tests (12) zu unterscheiden (31), die sich für die Simulation (11) eignen, und solchen Tests (12), deren Durchführung experimentelle Messung (21) erfordert. Darüber hinaus mag sie zur Verbesserung der Testdatenbank (32), des Simulationsmodells (33), des Validierungsmodells (34) oder des Klassifikators selbst (35) genutzt werden.The result of the classification optimized in this way ( 15th ) is primarily used to distinguish between such tests ( 12th ) to distinguish ( 31 ), which are suitable for the simulation ( 11 ) and such tests ( 12th ), the implementation of which is experimental measurement ( 21 ) requires. In addition, she likes to improve the test database ( 32 ), the simulation model ( 33 ), the validation model ( 34 ) or the classifier itself ( 35 ) be used.

12 skizziert die mögliche Visualisierung eines Klassifikationsergebnisses im Parameterraum anhand eines weiteren Beispiels. Für bestimmte Parameter (26, 27) eines Tests (12) - abbildungsgemäß exemplarisch Abstand und Masse eines in die eigene Fahrspur einscherenden Fahrzeuges - werden das Erfüllungsmaß (13) und Fehlermaß (14) jeweils als Punkte im Parameterraum dargestellt. In einer virtuellen Testumgebung (29) erfolgt sodann die Visualisierung (28) der Einstufung (15) des Tests (12) durch den Klassifikator (18) im Parameterraum. 12th outlines the possible visualization of a classification result in the parameter space using another example. For certain parameters ( 26th , 27 ) of a test ( 12th ) - as shown in the illustration, the distance and mass of a vehicle cutting into its own lane - are the fulfillment level ( 13th ) and measure of error ( 14th ) each represented as points in the parameter space. In a virtual test environment ( 29 ) then the visualization takes place ( 28 ) the classification ( 15th ) of the test ( 12th ) by the classifier ( 18th ) in the parameter space.

Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einer Arbeitsstation (30) implementiert sein, wie die schematische Darstellung der 13 verdeutlicht.This method ( 10 ) can be in software or hardware, for example, or in a mixed form of software and hardware, for example in a workstation ( 30th ) be implemented, as shown in the schematic representation of the 13th made clear.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 10303489 A1 [0004]

Zitierte Nicht-PatentliteraturNon-patent literature cited

ISO 18571 [0007]

Claims

Method (10) for testing a technical system, in particular an at least partially autonomous robot or vehicle, characterized by the following features: - tests (12) are carried out by means of a simulation (11) of the system, - the tests (12) are carried out with regard to a degree of fulfillment ( 13) a quantitative requirement on the system and a measure of error (14) of the simulation (11) are evaluated, - depending on the measure of fulfillment (13) and measure of error (14), a preliminary classification (15) of the tests (12) is either reliable (16 ) or unreliable (17) and - by gradually refining the classification (15), a classifier (18) is optimized for the classification (15).

Method (10) according to Claim 1 , characterized by the following features: - in a preselection phase (20) the simulation (11) is confirmed by experimental measurement (21) on the system, Simulation (11) and, on the other hand, measure of fulfillment (13) taken in measurement (21) deviates as little as possible and the classifier (18) is optimized by repeatedly adapting the decision limits (19).

Method (10) according to Claim 1 , characterized by the following features: - a pre-qualification of the tests (12) carried out by means of the simulation (11) takes place by means of a corresponding measurement (21) on the system, Feature space divided into areas (41, 42), - the classification (15) is refined by the areas (41, 42) are repeatedly subdivided and - as soon as the refinement has been completed, the classification (15) of the tests (12) is based on the classifier (18) mapped.

Method (10) according to Claim 3 , characterized by the following feature: - after optimizing the classifier (18), further tests (12) to be carried out are automatically selected (22).

Method (10) according to Claim 3 or 4th , characterized by the following feature: the evaluation is carried out in such a way that the degree of fulfillment (13) is positive if the system meets the requirement (24), and negative if the system fails to meet the requirement (25).

Method (10) according to one of the Claims 3 until 5 , characterized by the following feature: - after the evaluation, there is a visualization (28) of the classification (15) in the feature space.

Method (10) according to one of the Claims 1 until 6th , characterized in that an automatic improvement of errors of the system recognized by the checking takes place.

Computer program which is set up, the method (10) according to one of the Claims 1 until 7th to execute.

Machine-readable storage medium on which the computer program is based Claim 8 is stored.

Device (30) which is set up, the method (10) according to one of the Claims 1 until 7th to execute.