Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum effizienten Durchführen von Systemtestläufen bei einem System, und insbesondere eine Testvorrichtung in einer serviceorientierten Architektur zur Steigerung der Testeffizienz.The invention relates to an apparatus and method for efficiently performing system test runs in a system, and more particularly to a test apparatus in a service-oriented architecture for increasing test efficiency.
Komplexe technische Systeme, beispielsweise Fertigungsanlagen, Transportfahrzeuge und Energieschutzgeräte oder Bestellsysteme können bei ihrer Entwicklung und vor ihrer Auslieferung zum Kunden Systemtestläufen unterzogen werden, um ihre Fehlerfreiheit in allen möglichen Anwendungsfällen bzw. USE CASES zu gewährleisten. Weiterhin kann ein Testen des Systems zu Wartungszwecken oder bei einer Systemerweiterung bzw. Systemveränderung durchgeführt werden. Insbesondere sogenannte „Embedded Systems”, die sowohl Hardwarekomponenten als auch Softwarekomponenten umfassen, benötigen mehrere Systemtestläufe, so dass ein Testen von derartigen Embedded Systemen üblicherweise sehr zeitaufwändig ist. Dies gilt insbesondere dann, wenn eine hohe Testabdeckung gefordert ist und Reaktionen auf Systemfehler, beispielsweise eine Auswahl einer Hardwarekomponente, verifiziert werden müssen. Besonders aufwändig wird das Testen eines Systems, wenn ein bestimmter Systemzustand des Systems erst durch eine lange Sequenz von Interaktionen hergestellt werden muss, d. h. die Historie für das jeweilige Systemverhalten des Systems relevant ist.Complex technical systems, such as manufacturing equipment, transport vehicles and energy protection equipment or ordering systems can be subjected to system test runs during their development and prior to their delivery to the customer in order to ensure their accuracy in all possible applications or USE CASES. Furthermore, testing of the system may be performed for maintenance or system extension. In particular so-called "embedded systems", which comprise both hardware components and software components, require several system test runs, so that testing of such embedded systems is usually very time-consuming. This is especially true when high test coverage is required and responses to system errors, such as a selection of a hardware component, must be verified. The testing of a system becomes particularly complex if a certain system state of the system has to be established first through a long sequence of interactions, ie. H. the history is relevant for the respective system behavior of the system.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum effizienten Durchführen von Systemtestläufen bei einem System zu schaffen, bei dem der Zeitaufwand zur Durchführung der Systemtestläufe eines Systems gering ist.It is therefore an object of the present invention to provide a method and apparatus for efficiently performing system test runs in a system where the time required to perform the system test runs of a system is low.
Diese Aufgabe wird erfindungsgemäß durch eine Testvorrichtung mit den im Patentanspruch 1 angegebenen Merkmalen gelöst.This object is achieved by a test device with the features specified in claim 1.
Die Erfindung schafft eine Testvorrichtung zum effizienten Durchführen von Systemtestläufen bei einem System,
wobei für jeden USE CASE des zu testenden Systems ein zugehöriger TEST CASE durch die Testvorrichtung bereitgestellt wird, der eine Sequenz von Testschritten aufweist, in denen jeweils ein Teststimulus an das zu testende System angelegt und eine dadurch hervorgerufene Test-Response des zu testenden Systems durch die Testvorrichtung überprüft wird,
wobei das zu testende System in einem Systemtestlauf ausgehend von einem Anfangssystemzustand des zu testenden Systems bei jedem Testschritt des TEST CASES in einen anderen Systemzustand versetzt wird, bis ein Endsystemzustand des zu testenden Systems für den jeweiligen TEST CASE erreicht wird,
wobei zur Beschleunigung jedes weiteren Systemtestlaufs bei einem TEST CASE das zu testende System direkt in einen bestimmten Systemzustand durch die Testvorrichtung versetzt wird, indem bei den Testschritten zum Erreichen des bestimmten Systemzustandes nur die zugehörigen Teststimuli ohne eine Test-Responseüberprüfung an das zu testende System durch die Testvorrichtung angelegt werden, sofern die bis zum Erreichen des bestimmten Systemzustandes in mindestens einem anderen Systemtestlauf erhaltenen Test-Responses erfolgreich überprüft werden.The invention provides a test apparatus for efficiently performing system test runs in a system,
wherein, for each USE CASE of the system under test, an associated TEST CASE is provided by the test device having a sequence of test steps in which a test stimulus is applied to the system under test and a test response of the system under test to be tested thereby Testing device is checked,
wherein the system to be tested is placed in a different system state in a system test run from an initial system state of the system under test at each test step of the TEST CASES until an end system state of the system under test for the respective TEST CASE is reached,
wherein in order to accelerate any further system test run in a TEST CASE, the system to be tested is set directly into a particular system state by the test device by only passing the associated test stimuli to the system under test in the test steps to reach the determined system state without a test response check Test device are created, provided that the test responses received until reaching the specific system state in at least one other system test run successfully.
Bei dem anderen Systemtestlauf kann es sich um einen vorherigen Systemtestlauf handeln, in welchem die erhaltenen Test-Responses bereits erfolgreich überprüft wurden.The other system test run can be a previous system test run in which the test responses received have already been successfully checked.
Die erfindungsgemäße Testvorrichtung ermöglicht somit eine Steigerung der Testeffizienz durch eine Modularisierung der TEST CASES bzw. Anwendungsfälle des zu testenden Systems mit Sequenzen von Testschritten.The test device according to the invention thus makes it possible to increase the test efficiency by modularizing the TEST CASES or applications of the system to be tested with sequences of test steps.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung bildet eine Sequenz von Testschritten eines TEST CASES ausgehend von dem Anfangssystemzustand des Systems bis zum Erreichen des bestimmten Systemzustandes einen Testsequenzpräfix.In a possible embodiment of the test device according to the invention, a sequence of test steps of a TEST CASES, starting from the initial system state of the system until reaching the determined system state, forms a test sequence prefix.
Bei einer Ausführungsform der erfindungsgemäßen Testvorrichtung bildet eine Sequenz von Testschritten von TEST CASES ausgehend von dem bestimmten Systemzustand bis zum Erreichen des Endsystemzustandes für den jeweiligen TEST CASE einen Testsequenzpostfix.In one embodiment of the test device according to the invention, a sequence of test steps of TEST CASES forms a test sequence postfix starting from the determined system state until reaching the end system state for the respective TEST CASE.
Durch die Identifikation von gemeinsamen Testsequenzpräfixen und Testsequenzpostfixen ermöglicht die erfindungsgemäße Testvorrichtung eine optimierte Ablaufplanung, die das gezielte Laden von Testmodulen, welche eine Menge bzw. Sequenz von Testschritten ausführen, um das zu testende System in einen definierten Systemzustand zu bringen, erlaubt.By identifying common test sequence prefixes and test sequence postfixes, the test device of the present invention enables optimized scheduling that allows the targeted loading of test modules that execute a set or sequence of test steps to bring the system under test to a defined system state.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung wird das zu testende System durch die Testvorrichtung in den bestimmten bzw. definierten Systemzustand gebracht, indem das System ausgehend von dem Anfangssystemzustand des zu testenden Systems mittels Testschritten eines selektierten TEST CASES in den bestimmten Systemzustand versetzt wird, wobei der selektierte TEST CASE für den jeweiligen bestimmten Systemzustand ein optimales Testsequenzpräfix aufweist.In one possible embodiment of the test device according to the invention, the system to be tested is brought into the defined system state by the test device by bringing the system into the determined system state by means of test steps of a selected TEST CAS, starting from the initial system state of the system to be tested selected TEST CASE has an optimal test sequence prefix for the particular system state.
Durch die erfindungsgemäße Testvorrichtung wird somit ein TEST CASE anhand eines bestimmten Selektionskriteriums für ein optimales Testsequenzpräfix des TEST CASES selektiert. The test device according to the invention thus selects a TEST CASE on the basis of a specific selection criterion for an optimal test sequence prefix of the TEST CAS.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung weist das optimale Testsequenzpräfix eine minimale Testausführungsdauer bis zum Erreichen des bestimmten Systemzustandes des zu testenden Systems auf.In one possible embodiment of the test device according to the invention, the optimal test sequence prefix has a minimum test execution time until the system state of the system to be tested is reached.
Bei einer weiteren Ausführungsform weist das optimale Testsequenzpräfix einen minimalen Ressourcenbedarf für das zu testende System bis zum Erreichen des bestimmten Systemzustandes des zu testenden Systems auf.In another embodiment, the optimal test sequence prefix has a minimum resource requirement for the system under test until it reaches the particular system state of the system under test.
Bei einer möglichen Ausführungsform weist dabei die erfindungsgemäße Testvorrichtung einen minimalen Energiebedarf bis zum Erreichen des bestimmten Systemzustandes auf.In one possible embodiment, the test device according to the invention has a minimum energy requirement until it reaches the specific system state.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung wird ein TEST CASE anhand einer Kombination von Selektionskriterien selektiert. Eine Kombination von Selektionskriterien wird insbesondere dann verwendet, wenn herkömmliche Selektionskriterien, wie Zeitbedarf und Energiebedarf, in Konflikt stehen, beispielsweise falls das zu testende System bei schnellem Betrieb viel Energie verbraucht und bei langsamem Betrieb wenig Energie verbraucht.In one possible embodiment of the test device according to the invention, a TEST CASE is selected on the basis of a combination of selection criteria. A combination of selection criteria is used in particular when conventional selection criteria, such as time requirements and energy requirements, conflict, for example if the system under test consumes a lot of energy during fast operation and consumes little energy during slow operation.
Bei einer möglichen Ausführungsform wird eine gewichtete Summe von Selektionskriterien bzw. eine Kombination von elementaren Selektionskriterien verwendet.In one possible embodiment, a weighted sum of selection criteria or a combination of elementary selection criteria is used.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung wird eine Kombination von Selektionskriterien mit einer begrenzenden Funktion zur Selektion verwendet. Beispielsweise kann das kombinierte Selektionskriterium darin bestehen, dass das zu testende System einen vorbestimmten Energiebedarf nicht überschreiten darf und gleichzeitig möglichst schnell arbeiten soll.In a further possible embodiment of the test device according to the invention, a combination of selection criteria with a limiting function for selection is used. For example, the combined selection criterion may consist in that the system to be tested may not exceed a predetermined energy requirement and at the same time should work as quickly as possible.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung werden die Teststimuli der Testschritte des optimalen Testsequenzpräfixes bis zum Erreichen des bestimmten Systemzustandes als Beschleunigungstestmodule für den jeweiligen Systemzustand durch die Testvorrichtung generiert.In one possible embodiment of the test device according to the invention, the test stimuli of the test steps of the optimal test sequence prefix are generated by the test device until the determined system state is reached as acceleration test modules for the respective system state.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung werden die Beschleunigungstestmodule während der Laufzeit des Systemtestlaufs durch die Testvorrichtung generiert.In one possible embodiment of the test device according to the invention, the acceleration test modules are generated by the test device during the runtime of the system test run.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung werden die Beschleunigungstestmodule vor Beginn eines weiteren Systemtestlaufs durch die Testvorrichtung generiert.In a further possible embodiment of the test device according to the invention, the acceleration test modules are generated before the start of a further system test run by the test device.
Bei einer Ausführungsform der erfindungsgemäßen Testvorrichtung werden die generierten Beschleunigungstestmodule in einem Repository bzw. einem Speicher der Testvorrichtung zur weiteren Verwendung gespeichert.In one embodiment of the test device according to the invention, the generated acceleration test modules are stored in a repository or a memory of the test device for further use.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung werden die in dem Repository der Testvorrichtung gespeicherten Beschleunigungstestmodule zur Laufzeit des Systemtestlaufs bei einer Ausführeinheit der Testvorrichtung dynamisch geladen und ausgeführt.In one possible embodiment of the test device according to the invention, the acceleration test modules stored in the repository of the test device are dynamically loaded and executed at run time of the system test run at an execution unit of the test device.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung weist die Testvorrichtung eine serviceorientierte Architektur auf.In one possible embodiment of the test device according to the invention, the test device has a service-oriented architecture.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung ist die Testvorrichtung über eine Datenschnittstelle direkt an das zu testende System angeschlossen.In one possible embodiment of the test device according to the invention, the test device is connected via a data interface directly to the system to be tested.
Bei einer alternativen Ausführungsform der erfindungsgemäßen Testvorrichtung ist die Testvorrichtung über ein Datennetzwerk an das zu testende System angeschlossen.In an alternative embodiment of the test device according to the invention, the test device is connected to the system to be tested via a data network.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung ist das durch die Testvorrichtung zu testende System ein Embedded System, welches Hardwarekomponenten und Softwarekomponenten aufweist,
wobei in dem Repository der Testvorrichtung für jede Komponente, d. h. für jede Hardwarekomponente und jede Softwarekomponente des zu testenden Systems mindestens ein entsprechendes Test-Servicemodul vorgesehen ist.In a possible embodiment of the test device according to the invention, the system to be tested by the test device is an embedded system comprising hardware components and software components.
wherein at least one corresponding test service module is provided in the repository of the test device for each component, ie for each hardware component and each software component of the system to be tested.
Es ist möglich, dass die Test-Servicemodule unterschiedliche Optimierungs- bzw. Selektionskriterien realisieren oder unterschiedliche Fehlerbilder injizieren.It is possible that the test service modules implement different optimization or selection criteria or inject different fault patterns.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung simuliert zum Testen einer Hardwarekomponente des zu testenden Systems ein zugehöriges Test-Servicemodul der Hardwarekomponente ein zu testendes konfigurierbares Fehlverhalten der Hardwarekomponente.In one possible embodiment of the test device according to the invention, to test a hardware component of the system under test, an associated test service module of the hardware component simulates a configurable hardware component malfunction to be tested.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung ist die Testvorrichtung in dem zu testenden System integriert.In a further possible embodiment of the test device according to the invention, the test device is integrated in the system to be tested.
Die Erfindung schafft ferner ein Testverfahren zum effizienten Durchführen von Systemtestläufen bei einem System,
wobei für jeden USE CASE des zu testenden Systems ein zugehöriger TEST CASE bereitgestellt wird, der eine Sequenz von Testschritten aufweist, in denen jeweils ein Teststimulus an das zu testende System angelegt und eine dadurch hervorgerufene Test-Response des zu testenden Systems überprüft wird,
wobei das zu testende System in einem Systemtestlauf ausgehend von einem Anfangssystemzustand bei jedem Testschritt des TEST CASES in einen anderen Systemzustand versetzt wird, bis ein Endsystemzustand für den jeweiligen TEST CASE erreicht wird, und
wobei zur Beschleunigung jedes weiteren Systemtestlaufs bei einem TEST CASE das zu testende System direkt in einen bestimmten Systemzustand versetzt wird, indem bei den Testschritten des TEST CASES bis zum Erreichen des bestimmten Systemzustandes nur die zugehörigen Teststimuli ohne Test-Responseüberprüfung an das zu testende System angelegt werden, sofern die bis zum Erreichen des bestimmten Systemzustandes in mindestens einem Systemtestlauf erhaltenen Test-Responses erfolgreich geprüft werden. The invention further provides a test method for efficiently performing system test runs in a system,
wherein an associated TEST CASE is provided for each USE CASE of the system to be tested, comprising a sequence of test steps in which a test stimulus is applied to the system to be tested and a test response of the system to be tested is checked in each case,
wherein the system under test is placed in a different system state in a system test run from an initial system state at each test step of the TEST CAS until an end system state for the respective TEST CASE is reached, and
wherein in order to accelerate each further system test run in a TEST CASE, the system to be tested is set directly in a specific system state, in which only the associated test stimuli without test-response checking are applied to the system to be tested during the test steps of the TEST CASES until the determined system state is reached , provided that the test responses received in at least one system test run until the system state has been reached are successfully checked.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Testverfahrens generiert das Testverfahren bei der Durchführung von Systemtestläufen automatisch Beschleunigungstestmodule und speichert diese für weitere Systemtestläufe an dem jeweiligen zu testenden System in einem Repository bzw. einem Datenspeicher.In one possible embodiment of the test method according to the invention, the test method automatically generates acceleration test modules when carrying out system test runs and stores these for further system test runs on the respective system to be tested in a repository or a data memory.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Testverfahrens wird dieses Testverfahren zur Systementwicklung durch eine mit dem zu testenden System verbundene oder durch eine in dem zu testenden System integrierte Testvorrichtung ausgeführt.In another possible embodiment of the test method according to the invention, this system development test method is performed by a test device connected to the system under test or by a test device integrated in the system under test.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Testverfahrens wird dieses Testverfahren zur Systemwartung oder Systemdiagnose durch eine mit dem zu testenden System verbundene oder eine in dem zu testenden System integrierte Testvorrichtung ausgeführt.In a further possible embodiment of the test method according to the invention, this test method for system maintenance or system diagnosis is performed by a test device connected to the system to be tested or a test device integrated in the system to be tested.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Testverfahrens wird dieses Testverfahren zur Systemerweiterung bzw. bei Systemveränderung durch eine mit dem zu testenden System verbundene oder eine in dem zu testenden System integrierte Testvorrichtung ausgeführt.In a further possible embodiment of the test method according to the invention, this test method is carried out for system expansion or, in the case of a system change, by a test device connected to the system to be tested or integrated in the system to be tested.
Im Weiteren werden Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zum effizienten Durchführen von Systemtestläufen bei einem System unter Bezugnahme auf die beigefügten Figuren beschreiben.In the following, embodiments of the method according to the invention and of the device according to the invention for the efficient performance of system test runs in a system will be described with reference to the attached figures.
Es zeigen:Show it:
1 ein Diagramm zur Darstellung eines durch die erfindungsgemäße Testvorrichtung und das erfindungsgemäße Testverfahren zum effizienten Durchführen von Systemtestläufen eingesetzten TEST CASES mit einer Sequenz von Testschritten, mit denen das zu testende System in verschiedene Systemzustände versetzt wird; 1 a diagram showing a TEST CASES used by the test device according to the invention and the test method for efficiently performing system test runs with a sequence of test steps, which is placed in different system states, the system under test;
2 ein Diagramm zur Darstellung verschiedener Testsequenzpräfixe und verschiedener Testsequenzpostfixe für einen Systemzustand des zu testenden Systems; 2 a diagram showing various test sequence prefixes and various test sequence postfixes for a system state of the system under test;
3 ein Blockdiagramm zur Darstellung einer Ausführungsform der erfindungsgemäßen Testvorrichtung; 3 a block diagram showing an embodiment of the test device according to the invention;
4 ein Diagramm zur Darstellung der Funktionsweise einer erfindungsgemäßen Testvorrichtung und eines erfindungsgemäßen Testverfahrens anhand eines Ausführungsbeispiels. 4 a diagram illustrating the operation of a test device according to the invention and a test method according to the invention using an exemplary embodiment.
Wie man aus 1 erkennen kann, kann für jeden USE CASE bzw. vorbestimmten Anwendungsfall des zu testenden Systems 2 ein entsprechender zugehöriger TEST CASE bzw. Testfall durch eine erfindungsgemäße Testvorrichtung 1, wie sie in 3 dargestellt ist, bereitgestellt werden. Wie man aus 1 erkennen kann, umfasst ein TEST CASE bzw. Anwendungsfall die Sequenz von Testschritten. Dabei wird das zu testende System 2 in einem Systemtestlauf ausgehend von einem Anfangssystemzustand Z0 bei jedem Testschritt TS des TEST CASES in einen anderen Systemzustand versetzt, bis ein Endsystemzustand für den jeweiligen TEST CASE erreicht wird. Bei jedem Testschritt TS des TEST CASES wird jeweils ein Teststimulus an das zu testende System 2 angelegt und eine dadurch hervorgerufene Test-Response des zu testenden Systems 2 anschließend durch die Testvorrichtung 1 überprüft. Bei einem Anwendungsfall kann es sich bei dem Teststimulus um ein einfaches Bitmuster bzw. Test-Bitmuster handeln oder um bestimmte Requests bzw. Events, auf die das zu testende System 2 reagiert.How to get out 1 can recognize, for each USE CASE or predetermined application of the system under test 2 a corresponding associated TEST CASE or test case by a test device according to the invention 1 as they are in 3 is shown provided. How to get out 1 can recognize, a TEST CASE or use case includes the sequence of test steps. In the process, the system to be tested becomes 2 in a system test run, starting from an initial system state Z 0 at each test step TS of the TEST CASES in a different system state until an end system state for the respective TEST CASE is reached. For each test step TS of the TEST CASES, a test stimulus is sent to the system under test 2 created and a resulting test response of the system under test 2 then through the test device 1 checked. In one application, the test stimulus may be a simple bit pattern or test bit pattern, or certain requests or events to which the system under test may be subjected 2 responding.
Bei dem zu testenden System 2 kann es sich um ein komplexes technisches System handeln, beispielsweise ein Transportfahrzeug, etwa ein Flugzeug, Personenkraftwagen oder ein Zug. Weiterhin kann es sich bei dem zu testenden System 2 um eine komplexe Fertigungsanlage oder um eine Komponente eines Energieversorgungsnetzwerkes handeln. Ein weiteres Beispiel für ein zu testendes System 2 ist ein Bestellsystem, beispielsweise zur Bestellung von Komponenten. Weitere Beispiele für zu testende Systeme sind Systeme zur medizinischen Bildgebung, insbesondere Röntgengeräte, Magnetresonanzgeräte, Ultraschallgeräte und molekulare Bildgebungsgeräte. Ein weiteres Beispiel für ein zu testendes System 2 ist ein System zur Speicherung und Archivierung von medizinischen Daten, insbesondere Bilddaten, Befunddaten, Diagnosedaten sowie beispielsweise Behandlungsplänen. Ein weiteres Beispiel für ein zu testendes System 2 ist ein System zur Bearbeitung und zur Beurteilung solcher Daten, insbesondere eine Viewing Station, ein Gerät zur Durchführung von computerunterstützten Diagnosen (computer aided diagnosis) oder etwa Abrechnungssysteme für medizinische Leistungen. Bei dem zu testenden System 2 kann es sich um ein Einzelplatzsystem, ein Mehrplatzsystem, aber auch um ein vernetztes System handeln, wobei das System dem Benutzer als ein integriertes System zur Verfügung gestellt werden kann und verschiedene Funktionen miteinander kombiniert werden. Weiterhin kann das System aus gleichartig replizierten Einheiten bestehen. Beispielsweise kann es sich bei dem zu testenden System um ein Cloud Computing System handeln.In the system to be tested 2 it may be a complex technical system, such as a transport vehicle, such as an airplane, passenger car or train. Furthermore, it may be in the system under test 2 to be a complex manufacturing plant or a component of a power supply network. Another example of a system under test 2 is an ordering system, for example for ordering components. Further Examples of systems to be tested are medical imaging systems, in particular X-ray devices, magnetic resonance devices, ultrasound devices and molecular imaging devices. Another example of a system under test 2 is a system for the storage and archiving of medical data, in particular image data, findings data, diagnostic data and, for example, treatment plans. Another example of a system under test 2 is a system for processing and assessing such data, in particular a viewing station, a computer aided diagnosis (computer aided diagnosis) device or, for example, medical services accounting systems. In the system to be tested 2 It can be a single-user system, a multi-user system or a networked system, whereby the system can be made available to the user as an integrated system and different functions can be combined with each other. Furthermore, the system can consist of similarly replicated units. For example, the system under test may be a cloud computing system.
Die durch den Teststimulus T-STI eines Testschrittes TS hervorgerufene Test-Response T-RES wird durch die Testvorrichtung 1 ausgewertet und dabei kann bei einer möglichen Ausführungsform die erhaltene Test-Response T-RES mit einer erwarteten Soll-Test-Response T-RES verglichen werden. Stimmt die erhaltene Test-Response T-RES mit der erwarteten Soll-Test-Response überein, ist die Überprüfung der erhaltenen Test-Response T-RES erfolgreich abgeschlossen. Bei dem in 1, 3 dargestellten Beispiel stellt die erfindungsgemäße Testvorrichtung 1 in einem ersten Systemtestlauf eine Testsequenz bereit, die mehrere Testschritte TS1, TS2... TSX umfasst, um das zu testende System 2 in einem bestimmten definierten Systemzustand ZX zu bringen. Zur Beschleunigung des Testvorganges versetzt bei jedem weiteren Systemtestlauf die erfindungsgemäße Testvorrichtung 1 bei einem TEST CASE des zu testenden. Systems 2 dieses direkt in den vorbestimmten Systemzustand ZX, wobei bei den Testschritten TS bis zum Erreichen des bestimmten Systemzustandes Zx nur noch die zugehörigen Teststimuli T-STI ohne Test-Responseüberprüfung T-RES an das zu testende System Z durch die Testvorrichtung 1 angelegt werden, sofern die bis zum Erreichen des bestimmten Systemzustandes ZX in mindestens einem vorherigen Systemtestlauf erhaltenen Test-Responses seitens der Testvorrichtung 1 bereits erfolgreich überprüft wurden.The test response T-RES produced by the test stimulus T-STI of a test step TS is passed through the test device 1 evaluated and it can be compared with an expected target test response T-RES in a possible embodiment, the obtained test response T-RES. If the obtained T-RES test response matches the expected target test response, the test response T-RES has been successfully completed. At the in 1 . 3 The example illustrated represents the test device according to the invention 1 in a first system test run, a test sequence comprising a plurality of test steps TS1, TS2... TSX, around the system under test 2 to bring Z X in a certain defined system state. In order to accelerate the test procedure, the test device according to the invention is displaced during each further system test run 1 at a TEST CASE of the test to be tested. Systems 2 this directly into the predetermined system state Z X , wherein in the test steps TS until reaching the particular system state Z x only the associated test stimuli T-STI without test-response check T-RES to the system Z to be tested by the test device 1 if the test responses received by the test device until it reaches the determined system state Z X in at least one previous system test run 1 already successfully checked.
In vielen Fällen weisen TEST CASES die gleiche Anfangssequenz bzw. Sequenz von Testschritten TS auf. Dabei bildet eine Sequenz von Testschritten TS eines TEST CASES ausgehend von einem Anfangssystemzustand Z0 des zu testenden Systems Z bis zum Erreichen des bestimmten Systemzustandes ein Testsequenzpräfix. Wie man aus 2 erkennen kann, kann man zu einem Systemzustand Z über unterschiedliche Wege bzw. Sequenzen von Testschritten TS gelangen. Bei dem in 2 dargestellten Beispiel gibt es m verschiedene Testsequenzpräfixe, um in den Systemzustand Z zu gelangen. Weiterhin kann man den Systemzustand Z, wie in 2 dargestellt, über verschiedene Wege bzw. Sequenzen von Testschritten TS verlassen. Die Sequenz von Testschritten eines TEST CASES ausgehend von einem bestimmten Systemzustand ZX bis zum Erreichen eines Endsystemzustandes bildet für den jeweiligen TEST CASE einen Testsequenzpostfix. Bei dem in 2 dargestellten Beispiel weist der Systemzustand Z n verschiedene Testsequenzpostfixe auf.In many cases, TEST CASES have the same initial sequence or sequence of test steps TS. In this case, a sequence of test steps TS of a TEST CASES, starting from an initial system state Z 0 of the system Z to be tested, forms a test sequence prefix until the specific system state has been reached. How to get out 2 can recognize, one can get to a system state Z via different paths or sequences of test steps TS. At the in 2 For example, there are m different test sequence prefixes to enter system state Z. Furthermore, one can see the system state Z, as in 2 represented, leave on different ways or sequences of test steps TS. The sequence of test steps of a TEST CASES starting from a certain system state Z X until reaching an end system state forms a test sequence postfix for the respective TEST CASE. At the in 2 the system state Z n has different test sequence postfixes.
Bei der erfindungsgemäßen Testvorrichtung 1 wird ausgehend von möglichen Systemzuständen des zu testenden Systems 2 eine Analyse über die möglichen Testsystempräfixe und Testsystempostfixe über die verschiedenen Systemzustände Z durchgeführt. Das jeweilige zu testende System Z kann bei der erfindungsgemäßen Testvorrichtung 1 basierend auf den Analyseergebnissen bei einer möglichen Ausführungsform eine Einteilung in verschiedene Äquivalenzklassen vornehmen. Äquivalent ist ein Testsystempräfix bzw. eine Sequenz von Testschritten TS mit einem anderen Testsystempräfix dann, wenn beide ausgehend von einem Anfangssystemzustand in den gleichen bestimmten Systemzustand ZX führen. Zum Erreichen eines bestimmten Systemzustands Zx kann für die Durchführung des Tests ein beliebiges äquivalentes Testsystempräfix ausgewählt werden, insbesondere ein Testsystempräfix, der ein bestimmtes Optimierungskriterium erfüllt. Das zu testende System Z wird durch die Testvorrichtung 1 in einen bestimmten Testsystemzustand Zx gebracht, indem das System 2 ausgehend von einem Anfangssystemzustand Z0 des Systems mittels Testschritten TS eines selektierten TEST CASES in den bestimmten Systemzustand Zx versetzt wird. Dabei weist der selektierte TEST CASE für den jeweiligen bestimmten Systemzustand Zx ein optimales Testsequenzpräfix auf. Bei einer möglichen Ausführungsform weist das optimale Testsystempräfix eine minimale Testausführungsdauer bis zum Erreichen des bestimmten Systemzustandes ZX auf. Es wird bei dieser Ausführungsform derjenige Testsystempräfix ausgewählt, der die kürzeste Ausführungsdauer hat. Bei weiteren möglichen Ausführungsformen weist der selektierte TEST CASE für den bestimmten Systemzustand ein Testsequenzpräfix auf, das ein anderes Optimierungskriterium erfüllt. Beispielsweise weist das optimale Testsequenzpräfix des TEST CASES einen minimalen Ressourcenbedarf für das zu testende System Z auf. Beispielsweise weist das optimale Testsequenzpräfix einen minimalen Energiebedarf auf, um das zu testende System Z in den jeweiligen bestimmten Systemzustand Zx zu versetzen.In the test device according to the invention 1 is based on possible system states of the system under test 2 an analysis on the possible test system prefixes and test system postfixes on the various system states Z performed. The respective system Z to be tested can be used in the test device according to the invention 1 based on the analysis results in a possible embodiment make a division into different equivalence classes. Equivalent is a test system prefix or sequence of test steps TS with another test system prefix if both lead from the initial system state to the same particular system state Z X. To achieve a specific system state Z x , an arbitrary equivalent test system prefix can be selected for carrying out the test, in particular a test system prefix which fulfills a specific optimization criterion. The system Z under test is passed through the test device 1 brought into a particular test system state Z x by the system 2 is shifted from an initial system state Z 0 of the system by means of test steps TS a selected TEST CASES in the particular system state Z x . In this case, the selected TEST CASE has an optimum test sequence prefix for the respective particular system state Z x . In one possible embodiment, the optimal test system prefix has a minimum test execution time until the particular system state Z X is reached. In this embodiment, the test system prefix which has the shortest execution duration is selected. In further possible embodiments, the selected TEST CASE for the particular system state has a test sequence prefix that satisfies another optimization criterion. For example, the optimal test sequence prefix of the TEST CASES has a minimal resource requirement for the system Z to be tested. For example, the optimal test sequence prefix has a minimum power requirement to place the system Z under test in the respective given system state Z x .
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung 1 werden die Teststimuli der Testschritte TS, beispielsweise die Test-Bitmuster oder die Folge von Test-Requests, des optimalen Testsequenzpräfix bis zum Erreichen des bestimmten Systemzustandes Zx als sogenannte Beschleunigungstestmodule für den jeweiligen Systemzustand durch die Testvorrichtung 1 generiert. Um das zu testende System Z beispielsweise in einen Systemzustand ZX zu versetzen, werden durch Ausführen eines Beschleunigungstestmoduls nicht jedes Mal die Testschritte TS1 – TSX ausgeführt, d. h. es erfolgt nicht bei jedem Testschritt TS das Anlegen eines Teststimulus T-STI und entsprechende Überprüfung der Test-Response T-RES.In a possible embodiment of the test device according to the invention 1 the test stimuli of the test steps TS, for example the test bit pattern or the sequence of test requests, of the optimal test sequence prefix until reaching the determined system state Z x are referred to as so-called acceleration test modules for the respective system state by the test device 1 generated. In order to enable the system to be tested Z, for example, in a system state Z X, the test steps TS1 be by performing an acceleration test module each time - TSX executed, ie, it does not occur at each test step TS applying a test stimulus T-STI and corresponding verification of the test Response T-RES.
Sind einmal erfolgreich in einem vorangehenden Systemtestlauf die Test-Responses T-RES durch die Testvorrichtung 1 erfolgreich geprüft worden, kann das zu testende System Z direkt durch Senden bzw. Anlegen der Teststimuli T-STI ohne erneute Test-Responseüberprüfung in den Systemzustand ZX versetzt werden, indem ein entsprechendes gebildetes Beschleunigungstestmodul geladen und ausgeführt wird. Dabei können die Beschleunigungstestmodule während der Laufzeit des Systemtestlaufs oder vor Beginn eines weiteren Systemtestlaufs durch die Testvorrichtung 1 generiert werden. Die erfindungsgemäße Testvorrichtung 1 bzw. das erfindungsgemäße Testverfahren bilden somit ein selbstlernendes System, in dem im Zuge von mehreren Systemtestläufen entsprechende Beschleunigungstestmodule generiert werden, die bei einer möglichen Ausführungsform in einem Repository bzw. einem Datenspeicher der Testvorrichtung 1 zur weiteren Verwendung gespeichert werden. Die erfindungsgemäße Testvorrichtung 1 baut sich auf diese Weise einen Fundus von Beschleunigungstestmodulen dynamisch auf. Die in dem Repository der Testvorrichtung 1 gespeicherten Testmodule werden zur Laufzeit des Systemtestlaufs beispielsweise durch eine Ausführeinheit der Testvorrichtung 1 dynamisch geladen und ausgeführt.Once successful in a previous system test run, the test responses T-RES by the test device 1 has been successfully tested, the system Z to be tested can be put into the system state Z X directly by sending or applying the test stimuli T-STI without renewed test-response check by loading and executing a corresponding formed acceleration test module. In this case, the acceleration test modules during the period of the system test run or before the start of another system test run by the test device 1 to be generated. The test device according to the invention 1 or the test method according to the invention thus form a self-learning system in which corresponding acceleration test modules are generated in the course of several system test runs, which in one possible embodiment are generated in a repository or a data memory of the test apparatus 1 stored for further use. The test device according to the invention 1 In this way, a pool of acceleration test modules dynamically builds up. The in the repository of the test device 1 stored test modules are at runtime of the system test run, for example, by an execution unit of the test device 1 dynamically loaded and executed.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung 1 weist die Testvorrichtung 1 eine serviceorientierte Architektur SOA auf. Dabei kann die Testvorrichtung über eine Datenschnittstelle direkt an das zu testende System 2 angeschlossen sein oder über ein Datennetzwerk indirekt mit dem zu testenden System 2 verbunden sein. Durch den Einsatz einer serviceorientierten Architektur SOA ist es möglich, die einzelnen Testschritte TS als Servicemodule zur Verfügung zu stellen, indem diese zur Laufzeit aus einem Repository in eine Run Time-Environment bedarfsorientiert geladen und anschließend wieder zurückgeschrieben werden. Mit einer SOA-basierten Workflow Engine können die verschiedenen Servicemodule miteinander kombiniert und der Ablauf entsprechend gesteuert werden. Die Beschleunigungstestmodule werden entweder vorab generiert oder zur Laufzeit dynamisch generiert. Bei einer möglichen Ausführungsform können die jeweiligen Beschleunigungstestmodule Teststimuli T-STI sofort senden. Bei zeitbehafteten zu testenden Systemen 2 haben die Beschleunigungstestmodule eine entsprechend höhere Komplexität.In a possible embodiment of the test device according to the invention 1 has the test device 1 a service-oriented architecture SOA. In this case, the test device via a data interface directly to the system to be tested 2 be connected or indirectly via a data network with the system under test 2 be connected. By using a service-oriented architecture SOA, it is possible to make the individual test steps TS available as service modules by loading them at runtime from a repository into a runtime environment as required and then writing them back again. With an SOA-based workflow engine, the various service modules can be combined and the process can be controlled accordingly. The acceleration test modules are either generated in advance or generated dynamically at runtime. In one possible embodiment, the respective acceleration test modules may send test stimuli T-STI immediately. For time-tested systems to be tested 2 the acceleration test modules have a correspondingly higher complexity.
3 zeigt ein Blockschaubild zur Darstellung eines Ausführungsbeispiels der erfindungsgemäßen Testvorrichtung 1. Wie man aus 3 erkennen kann, weist die Testvorrichtung 1 eine Ausführeinheit 1A und ein Repository bzw. einen Speicher 1B auf. Die Testvorrichtung 1 ist über eine Schnittstelle mit einem zu testenden System 2 verbunden. Bei einer möglichen Ausführungsform ist die Testvorrichtung 1 direkt über eine Schnittstelle an das zu testende System 2 angeschlossen. Bei einer alternativen Ausführungsform ist die Testvorrichtung 1 über ein Datennetzwerk, beispielsweise einen Bus, mit dem zu testenden System 2 verbunden. Weiterhin ist es möglich, dass die erfindungsgemäße Testvorrichtung 1 in dem zu testenden System 2 integriert ist. Die Ausführeinheit 1A kann aus einer intelligenten Ablaufplanung und Steuerung bestehen. Bei einer möglichen Ausführungsform ist das zu testende System 2 ein Embedded System, welches Hardwarekomponenten und Softwarekomponenten umfasst. Dabei ist in dem Repository 1B der Testvorrichtung 1 für jede Komponente, d. h. für jede Hardware- oder Softwarekomponente, des zu testenden Systems 1 ein entsprechendes Testservicemodul vorgesehen. Bei dem zu testenden System 2 kann es sich um ein beliebiges komplexes technisches System handeln, beispielsweise ein Fahrzeug, eine Industrieanlage oder ein Bestellsystem oder dergleichen. 3 shows a block diagram illustrating an embodiment of the test device according to the invention 1 , How to get out 3 can recognize, points the test device 1 an execution unit 1A and a repository or store 1B on. The test device 1 is via an interface with a system under test 2 connected. In one possible embodiment, the test device is 1 directly via an interface to the system under test 2 connected. In an alternative embodiment, the test device is 1 via a data network, such as a bus, with the system under test 2 connected. Furthermore, it is possible that the test device according to the invention 1 in the system under test 2 is integrated. The execution unit 1A can consist of intelligent scheduling and control. In one possible embodiment, the system under test is 2 an embedded system comprising hardware components and software components. It is in the repository 1B the test device 1 for each component, ie for each hardware or software component, of the system under test 1 a corresponding test service module provided. In the system to be tested 2 It may be any complex technical system, such as a vehicle, an industrial plant or an ordering system or the like.
Die Testvorrichtung 1, wie sie in 3 dargestellt ist, führt zum Testen des Systems 2 mehrere Systemtestläufe durch. Dabei wird für jeden USE CASE bzw. Anwendungsfall des zu testenden Systems 2 ein zugehöriger TEST CASE durch die Testvorrichtung 1 bereitgestellt. Dieser TEST CASE umfasst eine Sequenz von Testschritten TS, in denen jeweils ein Teststimulus T-STI an das zu testende System 2 angelegt und eine dadurch hervorgerufene Test-Response T-RES des zu testenden Systems Z durch die Testvorrichtung überprüft wird. Bei dem Teststimulus T-STI kann es sich beispielsweise um ein Daten- bzw. Bit-Muster oder eine Folge von bestimmten Requests bzw. Events zum Testen des Systems 2 handeln. Bei der erfindungsgemäßen Testvorrichtung 1 ist es möglich, das zu testende System 2 in einem Systemtestlauf ausgehend von einem Anfangssystemzustand Z0 bei jedem Testschritt TS des TEST CASES in einen anderen Systemzustand zu versetzen, bis ein Endsystemzustand für den jeweiligen TEST CASE erreicht wird. Dabei wird zur Beschleunigung eines jeden weiteren Systemtestlaufs bei einem TEST CASE das zu testende System Z direkt in einen bestimmten Systemzustand durch die Testvorrichtung 1 versetzt, indem bei den Testschritten bis zum Erreichen des bestimmten bzw. definierten Systemzustandes nur die zugehörigen Teststimuli ohne Test-Responseüberprüfung an das zu testende System 2 durch die Testvorrichtung 1 angelegt werden, sofern bis zum Erreichen des bestimmten Systemzustandes Zx des Systems 2 in mindestens einem vorherigen Systemtestlauf die erhaltenen Test-Responses T-RES bereits erfolgreich überprüft wurden oder in einem späteren Systemtestlauf erfolgreich überprüft werden.The test device 1 as they are in 3 is shown, leads to the testing of the system 2 several system test runs through. In this case, for each USE CASE or use case of the system to be tested 2 an associated TEST CASE through the test device 1 provided. This TEST CASE comprises a sequence of test steps TS, in each of which a test stimulus T-STI to the system under test 2 created and thereby caused a test response T-RES of the system under test Z is checked by the test device. The test stimulus T-STI can be, for example, a data or bit pattern or a sequence of specific requests or events for testing the system 2 act. In the test device according to the invention 1 is it possible to test the system 2 in a system test run starting from an initial system state Z 0 in each test step TS of the TEST CASES in another system state, to an end system state for the respective TEST CASE. In this case, to accelerate each further system test run in a TEST CASE, the system Z to be tested is moved directly into a specific system state by the test device 1 in the test steps until the defined or defined system state is reached, only the associated test stimuli without test-response check to the system to be tested 2 through the test device 1 be created, provided until reaching the specific system state Z x of the system 2 In at least one previous system test run, the received test responses T-RES have already been successfully checked or are successfully checked in a later system test run.
Um ein zu testendes System 2 in einen bestimmten bzw. definierte Systemzustand Zx zu versetzen, wird bei einer möglichen Ausführungsform ein TEST CASE mit einem bestimmten optimalen Testsequenzpräfix selektiert bzw. ausgewählt. Diese Selektion kann entweder automatisch oder durch einen Anwender bzw. Nutzer entsprechend einem vorgegebenen Optimierungskriterium durchgeführt werden. Beispielsweise wird dasjenige Testsequenzpräfix ausgewählt, das bis zum Erreichen des definierten Systemzustandes Zx eine minimale Testausführungszeitdauer besitzt. Alternativ kann dasjenige optimale Testsequenzpräfix selektiert werden, welches einen minimalen Ressourcenbedarf für das zu testende System 2 hat. Beispielsweise wird dasjenige Testsequenzpräfix selektiert, das zu einem minimalen Energieverbrauch führt. Das Optimierungs- bzw. Selektionskriterium kann auch aus einer Kombination von essentiellen Kriterien bestehen. Beispielsweise kann das Optimierungskriterium bzw. Selektionskriterien aus einer Kombination von einem Kriterium ”Zeitbedarf” und einem Kriterium ”Energiebedarf” bestehen. Ein derartiges kombiniertes Selektionskriterium kann insbesondere dann gebildet werden, wenn zwei essentielle Kriterien wie etwa Zeitbedarf und Energiebedarf miteinander in Konflikt stehen. Beispielsweise kann ein kombiniertes Selektionskriterium verwendet werden, wenn das zu testende System 2 bei einem schnellen Betrieb viel Energie verbraucht und bei einem langsamen Betrieb wenig Energie verbraucht. Weiterhin ist es möglich, eine gewichtete Summe verschiedener essentieller Kriterien wie etwa Zeitbedarf und Energiebedarf zu verwenden. Die Gewichtung kann dabei mit Gewichtungsfaktoren durchgeführt werden, welche vorzugsweise einstellbar sind. In einer weiteren möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung kann eine Kombination von elementaren Kriterien mit zusätzlich einer begrenzenden Funktion verwendet werden. Beispielsweise kann das Selektionskriterium darin bestehen, dass der Energiebedarf des zu testenden Systems 2 einen bestimmten Schwellenwert nicht überschreiten soll und das zu testende System 2 dabei gleichzeitig möglichst schnell arbeiten soll. Das zu testende System 2 wird durch die Testvorrichtung 1 in den bestimmten Systemzustand Zx gebracht, in dem das System 2 ausgehend von einem Anfangssystemzustand des Systems mittels Testschritten TS des selektierten TEST CASES in den bestimmten bzw. vorgegebenen Systemzustand ZX versetzt wird, wobei der selektierte TEST CASE für den jeweiligen bestimmten Systemzustand den jeweiligen optimalen Testsequenzpräfix aufweist. Bei einer möglichen Ausführungsform weist die Testvorrichtung 1 eine Nutzerschnittstelle zur Eingabe des Optimierungskriteriums oder zur Selektion eines Testsequenzpräfixes auf. Die Teststimuli T-STI der Testschritte TS des optimalen Testsequenzpräfixes bis zum Erreichen des bestimmten Systemzustandes Zx können als Beschleunigungstestmodule für den jeweiligen Systemzustand durch die Testvorrichtung 1 generiert und in dem Repository 1B gespeichert werden. Die Beschleunigungstestmodule werden dabei bei einer möglichen Ausführungsform während der Laufzeit des Systemtestlaufs dynamisch generiert. Bei einer alternativen Ausführungsform werden die Beschleunigungstestmodule vor Beginn eines weiteren Systemtestlaufs durch die Testvorrichtung 1 generiert und in dem Repository 1B abgelegt. Die in dem Repository 1B der Testvorrichtung 1 gespeicherten Beschleunigungstestmodule werden zur Laufzeit des Systemtestlaufs durch die Ausführungseinheit 1A der Testvorrichtung 1 dynamisch geladen und ausgeführt.To a system under test 2 to move in a specific or defined system state Z x is a TEST CASE selected in a possible embodiment with a certain optimum Testsequenzpräfix or selected. This selection can be performed either automatically or by a user or user according to a predetermined optimization criterion. For example, that test sequence prefix is selected which has a minimum test execution time until the defined system state Z x is reached. Alternatively, that optimal test sequence prefix can be selected, which requires minimal resources for the system under test 2 Has. For example, that test sequence prefix is selected which leads to a minimum of energy consumption. The optimization or selection criterion can also consist of a combination of essential criteria. For example, the optimization criterion or selection criteria can consist of a combination of a criterion "time requirement" and a criterion "energy requirement". Such a combined selection criterion can be formed, in particular, when two essential criteria, such as time requirements and energy requirements, conflict with each other. For example, a combined selection criterion may be used if the system under test 2 consumes a lot of energy during a fast operation and consumes little energy during a slow operation. Furthermore, it is possible to use a weighted sum of various essential criteria such as time and energy requirements. The weighting can be carried out with weighting factors, which are preferably adjustable. In a further possible embodiment of the test device according to the invention, a combination of elementary criteria with additionally a limiting function can be used. For example, the selection criterion may be that the energy requirement of the system to be tested 2 should not exceed a certain threshold and the system being tested 2 while working as fast as possible. The system to be tested 2 is through the test device 1 brought into the particular system state Z x , in which the system 2 starting from an initial system state of the system by means of test steps TS of the selected TEST CASES in the determined or predetermined system state Z X is X , wherein the selected TEST CASE for each particular system state has the respective optimal test sequence prefix. In one possible embodiment, the test device 1 a user interface for entering the optimization criterion or for selecting a test sequence prefix. The test stimuli T-STI of the test steps TS of the optimal test sequence prefix until reaching the determined system state Z x can be used as acceleration test modules for the respective system state by the test device 1 generated and in the repository 1B get saved. In one possible embodiment, the acceleration test modules are generated dynamically during the runtime of the system test run. In an alternative embodiment, the acceleration test modules are initiated by the test apparatus before the start of another system test run 1 generated and in the repository 1B stored. The one in the repository 1B the test device 1 stored acceleration test modules are at runtime of the system test run by the execution unit 1A the test device 1 dynamically loaded and executed.
In dem in 3 dargestellten Ausführungsbeispiel testet die Testvorrichtung 1 ein zu testendes System 2, beispielsweise ein Embedded System, das mehrere Hardware- und Softwarekomponenten umfasst. Bei einer weiteren möglichen Ausführungsform testet die Testvorrichtung 1 gleichzeitig mehrere gleichartige oder verschiedenartige zu testende Systeme 2. Weist ein zu testendes System 2 einen Fehler bzw. einen Defekt auf, kann bei einer möglichen Ausführungsform ein entsprechendes Fehleranzeigesignal durch die Testvorrichtung 1 generiert werden.In the in 3 illustrated embodiment tests the test device 1 a system under test 2 For example, an embedded system that includes multiple hardware and software components. In another possible embodiment, the test device tests 1 simultaneously several similar or different systems to be tested 2 , Indicates a system to be tested 2 an error or a defect, in a possible embodiment, a corresponding error indication signal by the test device 1 to be generated.
4 zeigt ein Ausführungsbeispiel zur Darstellung der Funktionsweise der erfindungsgemäßen Testvorrichtung 1 zum Testen eines Embedded Systems 2, das in dem dargestellten einfachen Beispiel vier Komponenten umfasst, nämlich zwei Softwarekomponenten SW-KA, SW-KB sowie zwei Hardwarekomponenten HW-KC, HW-KD. Bei den Hardwarekomponenten HW-K kann es sich um Bauteile, beispielsweise um einen Sensor oder dergleichen, handeln. Bei dem in 4 dargestellten einfachen Beispiel besteht die Hardwarekomponente HW-KD beispielsweise aus einem Temperatursensor, der eine Umgebungstemperatur T misst. Dieser Temperatursensor wird durch eine entsprechende Softwarekomponente SW-KDB in dem dargestellten Beispiel gesteuert, indem beispielsweise zu bestimmten Zeitpunkten die gemessene Temperatur T ausgelesen wird. Für jede Komponente des realen Embedded Systems 2 kann in dem Datenspeicher der Testvorrichtung 1 ein entsprechendes Testservicemodul vorgesehen sein. Wie in 4 dargestellt, enthält die Testvorrichtung 1 in ihrem Repository 1B entsprechende Softwaretestservicemodule SW-SMA, SW-SMB zum Testen der beiden Softwarekomponenten SW-KA, SW-KB sowie zwei Hardware-Testservicemodule HW-SMC, HW-SMD zum Testen der entsprechenden Hardwarekomponenten HW-KC und HW-KD des zu testenden Systems 2. 4 shows an embodiment for illustrating the operation of the test device according to the invention 1 for testing an embedded system 2 which in the illustrated simple example comprises four components, namely two software components SW-K A , SW-K B and two hardware components HW-K C , HW-K D. The hardware components HW-K may be components, for example a sensor or the like. At the in 4 For example, the hardware component HW-K D consists, for example, of a temperature sensor which measures an ambient temperature T. This temperature sensor is controlled by a corresponding software component SW-K DB in the illustrated example, for example, to certain Times the measured temperature T is read out. For every component of the real embedded system 2 can in the data memory of the test device 1 a corresponding test service module may be provided. As in 4 shown contains the test device 1 in their repository 1B corresponding software test service modules SW-SM A , SW-SM B for testing the two software components SW-K A , SW-K B and two hardware test service modules HW-SM C , HW-SM D for testing the corresponding hardware components HW-K C and HW -K D of the system under test 2 ,
In dem in 4 dargestellten Beispiel wird durch das Software-Testservicemodul SW-SMB über eine Schnittstelle ein entsprechendes Teststimulussignal T-STI an die zu testende Servicekomponente SW-KB angelegt, welches ein entsprechendes Test-Responsesignal T-RES über die Schnittstelle zurück an die Testvorrichtung 1 zur Auswertung bzw. Überprüfung liefert. In dem dargestellten einfachen Beispiel steuert die Softwarekomponente SW-KB des Embedded Systems 2 die Hardwarekomponente HW-KD, beispielsweise einen Temperatursensor. Beim Testen der Softwarekomponente SW-KB werden entsprechende Zugriffe der Softwarekomponente SW-KB auf die durch sie gesteuerte Hardwarekomponente HW-KD umgemapped bzw. umgeleitet auf das entsprechende Test-Hardwareservicemodul HW-SMD, das beispielsweise einen Temperatursensor nachbildet bzw. abbildet. Die Servicekomponente SW-KB des zu testenden Systems 2, welches unter Steuerung des entsprechenden Testservicemoduls SW-SMB getestet wird, legt entsprechende Hardwarebefehle bzw. Commands, die im Normalbetrieb für die gesteuerte Hardwarekomponente HW-KD vorgesehen sind, an das entsprechende Test-Hardwaremodul HW-SMD an, das entsprechend reagiert und eine entsprechende Hardware-Response HW-RES an die gerade getestete Softwarekomponente SW-KB zurückliefert. Auf diese Weise ist es möglich, beim Testen einer Hardwarekomponente, beispielsweise der Hardwarekomponente HW-KD des zu testenden Systems 2, dessen Verhalten durch ein zugehöriges konfigurierbares Hardware-Testservicemodul HW-SMD nachzubilden. Bei einer möglichen Ausführungsform simuliert das zugehörige Test-Hardwareservicemodul der Hardwarekomponente, beispielsweise der Hardwarekomponente HW-KD, ein zu testendes konfigurierbares Fehlverhalten der Hardwarekomponente HW-KD. Beispielsweise kann auf diese Weise ein Fehlverhalten eines Temperatursensors auf einfache Weise getestet werden, ohne dass an dem realen Temperatursensor bzw. der entsprechenden Hardwarekomponente HW-KD eine entsprechende Manipulation vorgenommen werden muss. Beispielsweise wird das Test-Hardwareservicemodul HW-SMD derart konfiguriert, dass es ein Fehlverhalten des Sensors simuliert, beispielsweise einen vollständigen Ausfall oder eine fehlerhaft angezeigte Temperatur. Beispielsweise wird simuliert, dass der Hardwaresensor stets eine (fehlerhafte) Temperatur von 100°C oder eine fehlerhafte Temperatur von 0°C ausgibt. Auf diese Weise kann getestet bzw. simuliert werden, wie sich das reale System 2, das eine entsprechende Softwarekomponenten SW-K enthält, bei einem Fehlverhalten einer durch die Softwarekomponente SW-K gesteuerten Hardwarekomponente HW-K verhält.In the in 4 In the example shown, the software test service module SW-SM B uses an interface to apply a corresponding test stimulus signal T-STI to the service component SW-K B to be tested, which sends a corresponding test response signal T-RES back to the test device via the interface 1 provides for evaluation or review. In the illustrated simple example, the software component SW-K B controls the embedded system 2 the hardware component HW-K D , for example, a temperature sensor. During testing of the software component SW-K B , corresponding accesses of the software component SW-K B to the hardware component HW-K D controlled by it are re-mapped or redirected to the corresponding test hardware service module HW-SM D , which emulates or images a temperature sensor, for example , The service component SW-K B of the system under test 2 which is tested under the control of the corresponding test service module SW-SM B , applies corresponding hardware commands or commands, which are provided for the controlled hardware component HW-K D in normal operation, to the corresponding test hardware module HW-SM D , which responds accordingly and returns a corresponding hardware response HW-RES to the software component SW-K B being tested. In this way it is possible to test a hardware component, for example the hardware component HW-K D of the system under test 2 Its behavior is reproduced by an associated configurable hardware test service module HW-SM D. In one possible embodiment, the associated test hardware service module of the hardware component, for example the hardware component HW-K D , simulates a configurable malfunction of the hardware component HW-K D to be tested. For example, in this way, a malfunction of a temperature sensor can be tested in a simple manner, without having to make a corresponding manipulation to the real temperature sensor or the corresponding hardware component HW-K D. For example, the test hardware service module HW-SM D is configured to simulate sensor malfunction, such as a complete failure or incorrectly displayed temperature. For example, it is simulated that the hardware sensor always outputs a (faulty) temperature of 100 ° C or a faulty temperature of 0 ° C. In this way you can test or simulate how the real system works 2 , which contains a corresponding software components SW-K, behaves in the case of a malfunction of a controlled by the software component SW-K hardware component HW-K.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung werden Gruppen von Komponenten einem oder mehreren Testmodulen bzw. Testservicemodulen zugeordnet. Dies spielt insbesondere bei der Betrachtung von gekoppelten Fehlerfällen eine Rolle. Beispielsweise möchte man nicht nur eine Kühlwassertemperatur durch eine Fehlmessung manipulieren, sondern gleichzeitig auch die Stellung einer entsprechenden Drosselklappe. Bei diesem einfachen Anwendungsbeispiel wird ein Testmodul bereitgestellt, das mehreren Komponenten zugeordnet ist und nicht nur einer einzigen Komponente innerhalb des zu testenden Systems 2.In one possible embodiment of the test device according to the invention, groups of components are assigned to one or more test modules or test service modules. This plays a role especially when considering coupled error cases. For example, one would like to manipulate not only a cooling water temperature by a faulty measurement, but also the position of a corresponding throttle. In this simple application example, a test module is provided that is associated with multiple components rather than just a single component within the system under test 2 ,
Bei einer möglichen Ausführungsform sind diese Gruppen von Komponenten nicht gleichartig aufgebaut bzw. strukturiert, wobei in dem Repository 1B auch unterschiedliche Kombinationen vorgesehen sind.In one possible embodiment, these groups of components are not structured identically, wherein in the repository 1B also different combinations are provided.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Testvorrichtung sind Beschleunigungstestmodule jeweils einer Systemkomponente des zu testenden Systems 2 zugeordnet oder einer Gruppierung von Systemkomponenten des zu testenden Systems 2.In another possible embodiment of the test device according to the invention, acceleration test modules are each a system component of the system to be tested 2 assigned or a grouping of system components of the system under test 2 ,
Bei der erfindungsgemäßen Testvorrichtung 1 kann eine Menge von geplanten Tests bzw. Testläufen als Input-Daten in die Testvorrichtung 1 eingegeben werden. Die möglichen USE CASES bzw. Testfälle werden analysiert und für jeden bzw. verschiedene Systemzustände des zu testenden Systems 2 können Testsequenzpräfixe und Testfrequenzpostfixe, beispielsweise mittels eines Optimierungskriteriums, ermittelt werden. Abschließend kann eine Planung der verschiedenen Tests bzw. Testläufe basierend auf den verfügbaren Testmodulen durchgeführt werden, beispielsweise durch eine Workflow Engine. Dabei werden die benötigten Testmodule dynamisch zur Laufzeit geladen, ausgeführt und wieder zurückgeschrieben bzw. entladen.In the test device according to the invention 1 can do a lot of scheduled tests or test runs as input data into the test device 1 be entered. The possible USE CASES or test cases are analyzed and for each or different system states of the system under test 2 Test sequence prefixes and test frequency postfixes can be determined, for example by means of an optimization criterion. Finally, a planning of the various tests or test runs can be carried out based on the available test modules, for example by a workflow engine. The required test modules are dynamically loaded, executed and written back or unloaded at runtime.
Zum Testen von Embedded Systemen mit Hardware- und Softwarekomponenten kann durch den Einsatz einer serviceorientierten Architektur SOA bei der Testvorrichtung 1 zunächst eine Enumeration der TEST CASES und der zugehörigen Testschritte TS durchgeführt werden. Anschließend erfolgt eine Analyse der Äquivalenzklassen, um gemeinsame Testsequenzpräfixe und entsprechende Testsequenzpostfixe aufzufinden. Die serviceorientierten Architektur SOA kann zum Bilden bzw. Generieren von Beschleunigungstestmodulen eingesetzt werden, wobei die realen Hardware- und Softwarekomponenten des zu testenden Systems Z durch Testservicemodule ausgetauscht bzw. ersetzt werden. Dabei sind die Testservicemodule Softwaremodule, die aus einem Repository 1B der Testvorrichtung 1 geladen werden.To test embedded systems with hardware and software components, using a service-oriented architecture allows SOA at the test device 1 First, an enumeration of the TEST CASES and the associated test steps TS are performed. Subsequently, an analysis of the equivalence classes is performed to find common test sequence prefixes and corresponding test sequence postfixes. The service-oriented architecture SOA can be used for generating or generating acceleration test modules, wherein the real hardware and software components of the system Z to be tested are replaced by test service modules. The test service modules are software modules that come from a repository 1B the test device 1 getting charged.
Das zu testende System 1 kann durch die erfindungsgemäße Testvorrichtung 1 in einen untypischen bzw. seltenen vordefinierten Systemzustand bzw. Fehlerzustand gebracht werden. Dabei werden vorzugsweise Beschleunigungstestmodule eingesetzt, um das Versetzen des Systems Z in diesen untypischen Systemzustand Zx in möglichst kurzer Zeit abzuschließen. Der Einsatz einer serviceorientierten Architektur SOA für die Testvorrichtung 1 erlaubt eine Modularisierung und eine lose Kopplung. Weiterhin hat die erfindungsgemäße Testvorrichtung 1 den Vorteil, dass die Testläufe durch Abkürzen und Verknüpfen von Testmodulen schneller ausgeführt werden können. Weiterhin wird die Testabdeckung durch die erfindungsgemäße Testvorrichtung 1 erhöht, da es viele verschiedene Testpfade bis zum Erreichen eines Systemszustandes gibt. Die Erhöhung der Testabdeckung kann durch Berücksichtigung von Äquivalenzklassen geschehen. Weiterhin ist es mit der erfindungsgemäßen Testvorrichtung 1 möglich, gezielt Systemfehler bzw. gezielt ein Systemverhalten des zu testenden Systems 2 durch Simulation von Hardware-/Softwarefehlern durch entsprechende Software-Testservices zu erreichen, die aus dem Repository 1B der Testvorrichtung 1 geladen werden. Die erfindungsgemäße Testvorrichtung 1 kann bei der Entwicklung eines zu testenden Systems 2 eingesetzt werden. Weiterhin kann die erfindungsgemäße Testvorrichtung auch nach Auslieferung des Systems 2 bei einem Kunden zu Wartungszwecken oder bei einer Erweiterung bzw. Veränderung eines Systems 2 eingesetzt werden.The system to be tested 1 can by the test device according to the invention 1 be brought into an untypical or rare predefined system state or error state. In this case, preferably acceleration test modules are used to complete the displacement of the system Z in this atypical system state Z x in the shortest possible time. The use of a service-oriented architecture SOA for the test device 1 allows modularization and loose coupling. Furthermore, the test device according to the invention has 1 the advantage that the test runs can be performed faster by shortening and linking test modules. Furthermore, the test coverage by the test device according to the invention 1 increases, as there are many different test paths until a system state is reached. The increase in test coverage can be done by considering equivalence classes. Furthermore, it is with the test device according to the invention 1 possible, specifically system errors or specifically a system behavior of the system to be tested 2 by simulating hardware / software failures through appropriate software testing services that reach out to the repository 1B the test device 1 getting charged. The test device according to the invention 1 may be in the development of a system under test 2 be used. Furthermore, the test device according to the invention can also after delivery of the system 2 at a customer for maintenance purposes or at an extension or change of a system 2 be used.
