DE102020209502A1

DE102020209502A1 - Verfahren zum Testen eines technischen Systems und Bestimmen einer Testabdeckung der Tests des zu testenden Systems

Info

Publication number: DE102020209502A1
Application number: DE102020209502.7A
Authority: DE
Inventors: Jens Oehlerking; Anne von Vietinghoff
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2022-02-03
Also published as: CN114003485A

Abstract

Computerimplementiertes Verfahren (100) zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems, das Verfahren umfassend die folgenden Schritte:
Bereitstellen (110) von Testparametern (q) und Testergebnissen einer Menge an,
insbesondere erfolgreich ausgeführten, Tests;
Bestimmen (120) eines Parameter-Satzes (p) für einen jeweiligen Test, wobei der Parameter-Satz, Testparameter (p) umfasst, für die der jeweilige Test indikativ ist;
Bestimmen (130) eines, insbesondere n-dimensionalen, Testraums (S) des jeweiligen Tests, basierend auf dem Parameter-Satz (p) eines jeweiligen Tests,
für den der jeweilige Test indikativ ist;
Bestimmen (140), ob die Vereinigung der Testräume (S) der Tests einen vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum (T) abdeckt.

Description

Stand der Technik
Die Offenbarung betrifft ein Verfahren zum Testen eines technischen Systems sowie ein computerimplementiertes Verfahren, eine Vorrichtung und ein Computerprogramm zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems.
Bei dem zu testenden technischen System, oft auch bezeichnet als System under test, SUT, handelt es sich beispielsweise um ein eingebettetes Softwaresystem, insbesondere umfassend Software- und/oder Hardware-Komponenten.
Als Testabdeckung bezeichnet man das Verhältnis an tatsächlich getroffenen Aussagen eines Tests gegenüber den theoretisch möglich treffbaren Aussagen bzw. der Menge der gewünschten treffbaren Aussagen. Die Testabdeckung spielt als Metrik zur Qualitätssicherung und zur Steigerung der Qualität insbesondere bei Hardware- und/oder Softwaretests eine große Rolle.
In der Praxis wird die Testabdeckung durch verschiedene Kriterien beeinflusst. Die Testabdeckung lässt sich durch eine Erhöhung der Zahl an Messungen, Stichproben und Testfällen verbessern. Begrenzt wird die Testabdeckung in der Praxis jedoch durch die Kosten, die mit jedem Test verbunden sind.
Ziel der Offenbarung ist es, ein Verfahren, eine Vorrichtung und ein Computerprogramm bereitzustellen, mit dem die Suffizienz von Tests eines technischen Systems bestimmt werden kann.
Offenbarung der Erfindung
Dies wird gemäß der Offenbarung gelöst, durch ein computerimplementiertes Verfahren zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems gemäß den Ausführungsformen.
Gemäß einer Ausführungsform umfasst das Verfahren die folgenden Schritte: Bereitstellen von Testparametern und Testergebnissen einer Menge an, insbesondere erfolgreich ausgeführten, Tests;
Bestimmen für einen jeweiligen Test einen Parameter-Satz, wobei der Parameter-Satz, Testparameter umfasst, für die der jeweilige Test indikativ ist; Bestimmen, basierend auf dem Parameter-Satz eines jeweiligen Tests, eines, insbesondere n-dimensionalen, Testraums des jeweiligen Tests, für den der jeweilige Test indikativ ist;
Bestimmen, ob die Vereinigung der Testräume der Tests einen vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum abdeckt.
Bei der Menge an Tests handelt es sich um bereits ausgeführte, insbesondere erfolgreich ausgeführte, Tests. Ausgehend von diesen erfolgreich ausgeführten Tests wird für jeden Test ein Parameter-Satz bestimmt. Ein Parameter-Satz umfasst von dem bereits bekannten Testparameter abweichende Testparameter, für die der jeweilige Test indikativ, d.h. diejenigen Testparameter für die der Test erfolgreich ausgeführt werden könnte.
Basierend auf dem Parameter-Satz eines jeweiligen Tests, wird dann ein, insbesondere n-dimensionalen, Testraum des jeweiligen Tests bestimmt. Innerhalb dieses Testraums ist der jeweilige Test indikativ, d.h. innerhalb dieses Testraums könnte der jeweilige Test erfolgreich ausgeführt werden.
Es werden also ausgehend von Testparametern und Testergebnissen bereits erfolgreich ausgeführter Tests Testräume für diese Tests bestimmt, in denen die Tests ein positives Ergebnis liefern würden, ohne dabei die Tests über die Testparameter des Parameter-Satzes auszuführen.
Der Gesamttestraum ist in Abhängigkeit des technischen Systems, insbesondere Anforderungen an das technische System vorgebbar. Der Gesamttestraum beschreibt den Raum, in dem Tests ein positives Testergebnis liefern müssen, um eine Aussage darüber zu treffen, dass das technische System vorgebbare Anforderungen erfüllt.
Wenn bestimmt wird, dass die Vereinigung der Testräume, den Gesamttestraum abdeckt, reicht die Menge an Tests aus, um festzustellen, dass das zu testende System im abzudeckenden Gesamttestraum seine Anforderungen erfüllt. In diesem Fall, wenn die Vereinigung der Testräume, den Gesamttestraum abdeckt, ist es mathematisch unmöglich, dass im Gesamttestraum Tests der Menge an Tests fehlschlagen. Die Menge an Tests ist also für den Gesamttestraum zum Testen des technischen Systems suffizient.
Gemäß einer Ausführungsform ist vorgesehen, dass das Bestimmen eines jeweiligen Parameter-Satzes eines Tests umfasst: Bereitstellen einer Leistungsfunktion für den jeweiligen Test, wobei die Leistungsfunktion einem jeweiligen Testparameter einen Leistungsindikator zuordnet. Die Leistungsfunktion wird für einen jeweiligen Test basierend auf dem Testergebnis und dem Testparameter des erfolgreichen ausgeführten Tests bereitgestellt. Über die Leistungsfunktion kann grundsätzlich einem beliebigen Testparameter ein Leistungsindikator zugeordnet werden, wobei der Leistungsindikator angibt, ob der Test erfolgreich ausgeführt werden kann oder nicht. Somit können aus der Leistungsfunktion Testparameter für den Parameter-Satz abgeleitet werden, für die der jeweilige Test indikativ ist.
Gemäß einer Ausführungsform ist vorgesehen, dass das Bestimmen des jeweiligen Parameter-Satzes weiter umfasst: Bereitstellen von Grenzen, insbesondere von oberen und unteren Grenzen, der Leistungsfunktion, insbesondere von partiellen Ableitungen der Leistungsfunktion.
Über die Grenzen der partiellen Ableitungen der Leistungsfunktion, und damit des Leistungsindikators in Bezug auf die Testparameter wird die maximale beziehungsweise minimale Änderungsrate des Leistungsindikators bei Variation einzelner Testparameter angegeben. Damit wird die Änderungsrate, also die Änderung des Leistungsindikatorwertes bei Änderung der Testparameter, von oben und unten begrenzt. Der Test ist damit für die den innerhalb dieser Grenzen liegenden Werte des Leistungsindikators zugeordneten Testparameter indikativ. Die den innerhalb der Grenzen liegenden Werte des Leistungsindikators zugeordneten Testparameter repräsentieren also den Parameter-Satz.
Vorteilhafterweise wird der Testraum eines Tests also in Abhängigkeit der jeweiligen Leistungsfunktion des Tests und den Grenzen der Leistungsfunktion bestimmt.
Gemäß einer Ausführungsform ist vorgesehen, dass das Verfahren weiter umfasst: Bestimmen der Grenzen, insbesondere basierend auf Kenntnissen und/oder Testdaten über das zu testende System und/oder ein weiteres technisches System und/oder aus Simulationsdaten. Das Bestimmen der Grenzen erfolgt beispielsweise basierend auf Kenntnissen, insbesondere Expertenwissen, des technischen Systems. Diese Kenntnisse basieren beispielsweise auf der Auslegung und oder auf Testdaten des technischen Systems. Weite können Kenntnisse aus anderen, insbesondere ähnlichen, vergleichbaren technischen System und/oder Kenntnisse aus Simulationsdaten, insbesondere Simulationsdaten des technischen Systems, berücksichtigt werden.
Gemäß einer Ausführungsform ist vorgesehen, dass ein jeweiliger Testparameter und/oder ein jeweiliger Leistungsindikator und/oder eine jeweilige Grenze als ein Vektor repräsentiert wird.
Gemäß einer Ausführungsform ist vorgesehen, dass das Bestimmen, ob die Vereinigung der Testräume der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum abdeckt, weiter umfasst: Zerlegen des Gesamttestraums in Voronoi-Räume, wobei jeder Punkt des Gesamttestraums wenigstens einem Voronoi-Raum zugeordnet ist und jedem Test ein Voronoi-Raum zugeordnet ist.
Im Allgemeinen wird unter dem Zerlegen in Voronoi-Räume, auch als Thiessen-Polygone oder Dirichlet-Zerlegung bezeichnet, eine Zerlegung eines n-dimensionalen Raumes in Regionen verstanden, die durch eine vorgegebene Menge an Punkten des Raumes, die die Zentren der Regionen bilden, bestimmt werden. Jede Region wird durch genau ein Zentrum bestimmt und umfasst alle Punkte des Raumes, die in Bezug zur euklidischen Metrik näher an dem Zentrum der Region liegen als an jedem anderen Zentrum. Derartige Regionen werden auch als Voronoi-Regionen bezeichnet.
Vorteilhafterweise ist ein Zentrum eines jeweiligen Voronoi-Raums durch den Testparameter eines jeweiligen Tests repräsentiert, für den der Test erfolgreich ausgeführt wurde.
Gemäß einer Ausführungsform ist vorgesehen, dass das Bestimmen, ob die Vereinigung der Testräume der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum abdeckt, weiter umfasst: Überprüfen, ob ein jeweiliger Testraum eines Tests den Voronoi-Raum des Tests abdeckt.
Die Voronoi-Sets bilden den Gesamttestraum. Wenn nun für jeden Testraum gilt, dass der jeweilige Testraum, einen jeweiligen Voronoi-Raum abgedeckt, gilt für die Vereinigung der Testräume, dass diese den vorgebbaren Gesamttestraum abdecken.
Gemäß einer Ausführungsform ist vorgesehen, dass das Überprüfen, ob ein jeweiliger Testraum eines Tests den Voronoi-Raum des Tests abdeckt, umfasst: Überprüfen, ob Eckpunkte des jeweiligen Voronoi-Raums, die den Voronoi Raum aufspannen, innerhalb des Testraums liegen.
Weitere Ausführungsformen betreffen eine Vorrichtung zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems, wobei die Vorrichtung zum Ausführen eines Verfahrens gemäß dem Ausführungsformen ausgebildet ist.
Weitere Ausführungsformen betreffen ein Computerprogramm, wobei das Computerprogramm computerlesbare Instruktionen umfasst bei deren Ausführung durch einen Computer, insbesondere einer Recheneinrichtung einer Vorrichtung gemäß dem Ausführungsformen, ein computerimplementiertes Verfahren gemäß dem Ausführungsformen ausgeführt wird.
Weitere Ausführungsformen beziehen sich auf ein Verfahren zum Testen eines technischen Systems; umfassend die Schritte Testen des technischen Systems durch Durchführen von Tests und Bestimmen einer Suffizienz der Tests unter Verwendung eines Verfahrens gemäß den beschriebenen Ausführungsformen.
Gemäß einer Ausführungsform ist vorgesehen, dass in Abhängigkeit der Suffizienz der Tests wenigstens ein Schritt zum Anpassen der Tests ausgeführt wird. Das Anpassen der Tests wird insbesondere dann ausgeführt, wenn bestimmt wird, dass die Tests nicht suffizient sind, insbesondere wenn die Tests eine Anforderung an die Suffizienz nicht erfüllen.
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.
In der Zeichnung zeigt:

1 eine schematische Darstellung von Schritten eines computerimplementierten Verfahrens in einem Flussdiagramm;
2 eine schematische Darstellung eines Testraums S;
3 eine schematische Darstellung einer Leistungsfunktion eines Tests;
4a und 4b weitere schematische Darstellungen von Testräumen S mit verschiedenen Grenzen;
5 eine schematische Darstellung einer Voronoi-Zerlegung eines Gesamttestraums;
6 eine schematische Darstellung einer Inklusion eines Voronoi-Raums in einen Testraum, und
7 eine schematische Darstellung von Schritten eines Verfahrens zum Testens eines technischen Systems in einem Flussdiagramm.

1 zeigt eine schematische Darstellung von Schritten eines computerimplementierten Verfahrens 100 zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems.
Bei dem zu testenden System handelt es sich beispielsweise um ein eingebettetes Softwaresystem, insbesondere umfassend Software- und/oder Hardware-Komponenten.
Das System wurde durch Ausführen einer Menge von Tests getestet. Testparameter und Testergebnisse der erfolgreich ausgeführten Tests werden in dem im folgenden beschriebenen Verfahren 100 verwendet, um die Suffizienz der ausgeführten Tests zu bestimmen.
Das Verfahren 100 umfasst die folgenden Schritte:

einen Schritt 110 zum Bereitstellen von Testparametern und Testergebnissen einer Menge an, insbesondere erfolgreich ausgeführten, Tests;
einen Schritt 120 zum Bestimmen eines Parameter-Satzes für einen jeweiligen Test, wobei der Parameter-Satz, Testparameter umfasst, für die der jeweilige Test indikativ ist;
einen Schritt 130 zum Bestimmen eines, insbesondere n-dimensionalen, Testraums des jeweiligen Tests, für den der jeweilige Test indikativ ist, basierend auf dem Parameter-Satz eines jeweiligen Tests, und
einen Schritt 140 zum Bestimmen, ob die Vereinigung der Testräume der Tests einen vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum abdeckt.

Anhand der 2, 3 und 4a und 4b werden die Schritte 120 und 130 im Detail erläutert.
Anhand der 5 und 6 wird der Schritt 140 im Detail erläutert.
Ein Parameter-Satz umfasst von dem bereits bekannten Testparameter abweichende Testparameter, für die der jeweilige Test indikativ, d.h. diejenigen Testparameter für die der Test erfolgreich ausgeführt werden könnte.
Basierend auf dem Parameter-Satz eines jeweiligen Tests, wird dann ein, insbesondere n-dimensionalen, Testraum des jeweiligen Tests bestimmt. Innerhalb dieses Testraums ist der jeweilige Test indikativ, d.h. innerhalb dieses Testraums könnte der jeweilige Test erfolgreich ausgeführt werden.
Der Testraum ist also der Raum der durch den Parameter-Satz des jeweiligen Tests aufgespannt wird.
2 zeigt beispielhaft eine zweidimensionalen Testraum S eines Tests. In dem Testraum S ist bespielhaft ein der Punkt qo eingezeichnet. Der Punkt qo repräsentiert den Testparameter qo für den der Test bereit erfolgreich ausgeführt wurde. Weiter ist beispielhaft ein Punkt po eingezeichnet. Der Punkt po repräsentiert einen Testparameter po, für den der Test ebenfalls erfolgreich ausgeführt werden könnte, da dieser Punkt in dem Testraum S des Tests liegt. Der erfolgreich ausgeführte Test, ist also nicht nur für den Testparameter qo indikativ, sondern auch für weitere Testparameter po, die in dem Testraum S liegen, der durch den Parameter-Satz p aufgespannt wird.
Das Bestimmen 120 des Parameter-Satzes p umfasst gemäß einer Ausführungsform den folgenden Schritt:

Bereitstellen einer Leistungsfunktion f für den jeweiligen Test, wobei die Leistungsfunktion einem jeweiligen Testparameter q einen Leistungsindikatorwert r zuordnet. Die Leistungsfunktion f wird für einen jeweiligen Test basierend auf dem Testergebnis und dem Testparameter q des erfolgreichen ausgeführten Tests bereitgestellt. Die Leistungsfunktion f repräsentiert das zu testende System, kombiniert mit dem Algorithmus, der den Leistungsindikator r berechnet, d.h. r ist der Leistungsindikator für einen Test, der mit den Testparametern q durchgeführt wurde. Da nur eine begrenzte Anzahl an Tests erfolgreich durchgeführt wurde, ist die Leistungsfunktion im Allgemeinen unbekannt.

Das Bestimmen des jeweiligen Parameter-Satzes umfasst daher weiter: Bereitstellen von Grenzen L, U, insbesondere von oberen und unteren Grenzen, der Leistungsfunktion f, insbesondere von partiellen Ableitungen der Leistungsfunktion f. Unter der Annahme, dass der Gesamttestraum T n Dimensionen, werden die Grenzen für jede i-te partielle Ableitung mit 1 ≤ i ≤ n, das heißt für jede Dimension, der Leistungsfunktion f bereitgestellt.
Mathematisch ist dies durch die Formel $L_{i} \leq \frac{\partial f}{\partial {\vec{e}}_{i}} (\vec{q}) \leq U_{i}$
beschrieben.
Über die Grenzen der partiellen Ableitungen der Leistungsfunktion f, und damit des Leistungsindikators r in Bezug auf die Testparameter p, q wird die maximale beziehungsweise minimale Änderungsrate des Leistungsindikators r bei Variation einzelner Testparameter p, q angegeben. Damit wird die Änderungsrate, also die Änderung des Leistungsindikatorwertes r bei Änderung der Testparameter, von oben und unten begrenzt. Der Test ist damit für die den innerhalb dieser Grenzen liegenden Werte des Leistungsindikators r zugeordneten Testparameter indikativ. Die den innerhalb der Grenzen liegenden Werte des Leistungsindikators zugeordneten Testparameter repräsentieren also den Parameter-Satz p.
3 zeigt beispielhaft den Parameter qo des Tests auf der x-Achse und den entsprechenden Leistungsindikator auf der y-Achse. Weiter sind Grenzen für die partielle Ableitung der Leistungsfunktion f für die i-te Dimension dargestellt. Die L_i ist die untere Grenze und U_i die obere Grenze für den möglichen Anstieg des Leistungsindikators mit zunehmendem i-ten Parameter. Für den Fall, dass der Leistungsindikator r mit steigendem Parameterwert q abnimmt, sind diese Werte negativ. Die Grenzen für partiellen Ableitungen sind globale Schranken, d.h. sie gelten für alle möglichen Parameterwerte und können daher konservativ sein. Durch die obere und untere Grenze ist die Änderungsrate, die Änderung des Leistungsindikatorwertes bei Änderung der Testparameter, von oben und unten begrenzt.
Gemäß der beschriebenen Ausführungsform wird der Testraum S eines Tests also in Abhängigkeit der jeweiligen Leistungsfunktion des Tests und den Grenzen L, U der Leistungsfunktion bestimmt.
Mathematisch wird ein Testraum S beliebiger Dimension folgendermaßen berechnet. Zunächst wird eine Konstante C_p definiert, die die mögliche Abnahme des Werts des Leistungsindikator begrenzt, wenn man sich vom Testparametervektor $\vec{q}$
um einen Vektor $\vec{p}$
entfernt. Die folgende Formel gilt für $\vec{p}, \vec{q}$
$\frac{\partial f}{\partial \vec{p}} (\vec{q}) = \sum_{i} \vec{p} (i) \frac{\partial f}{\partial {\vec{e}}_{i}} (\vec{q}) \geq \sum_{i} \vec{p} (i) {\bar{C}}_{i}^{\vec{p}} = : {\bar{C}}_{\vec{p}}$
${\bar{C}}_{i}^{\vec{p}} = L_{i} if \vec{p} (i) > 0, U_{i} sonst,$
wobei $\vec{p} (i)$
die i-te Komponente des Testparametervektors $\vec{p}$
ist.
Dieser Zusammenhang wird nun beim Berechnen der Testräume angewendet. Unter der Annahme, dass qo der Parametervektor einer Messung ist und dass f(q₀) der resultierende Leistungsindikatorwert ist, umfasst der Testraum S alle Punkten p₀, an denen der Leistungsindikatorwert f(q₀) zuzüglich der maximal möglichen Änderung beim Übergang von qo zu po noch positiv ist. Der Übergang von q₀ zu po ist in diesem Fall der Differenzvektor zwischen q₀ und p₀. $f ({\vec{q}}_{0}) + {\bar{C}}_{{\vec{p}}_{0} - {\vec{q}}_{0}} > 0$
Dies ist ein mathematischer Beweis dafür, dass ein Test bei po ebenfalls erfolgreich durchgeführt werden kann, vorausgesetzt, dass die Annahmen über die partiellen Ableitungen korrekt sind. In diesem Fall ist po, für den diese Bedingung gilt, Teil des Testraums.
Mit Hilfe der obigen Gleichungen kann der Testraum als Polytop dargestellt werden, wobei die Menge durch 2ⁿ lineare Beschränkungen begrenzt ist, wobei n die Anzahl der Dimensionen des Testraums ist.
4a und 4b zeigen beispielhaft Testräume mit unterschiedlich gewählten Grenzen L und U. 4a zeigt den Testraum S für f(q)=6, U₁=3, L₁=-3, U₂=2, L₂=-2 und 4b zeigt den Testraum S für f(q)=6, U₁=0, U₂=1, L₁= -3 und L₂=-2.
Schließlich wird gemäß Schritt 140 bestimmt, ob die Vereinigung der Testräume S der Tests einen vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum T abdeckt. Dies ist mathematisch beschrieben durch: $\underset{l}{\cup} S_{l} \supseteq T .$
Gemäß einer Ausführungsform ist vorgesehen, dass das Bestimmen, ob die Vereinigung der Testräume S der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum T abdeckt, weiter umfasst: Zerlegen des Gesamttestraums T in Voronoi-Räume V, so dass jeder Punkt des Gesamttestraums wenigstens einem Voronoi-Raum V zugeordnet ist und jedem Test ein Voronoi-Raum V zugeordnet ist.
Im Allgemeinen wird unter dem Zerlegen in Voronoi-Räume V, auch als Thiessen-Polygone oder Dirichlet-Zerlegung bezeichnet, eine Zerlegung eines n-dimensionalen Raumes in Regionen verstanden, die durch eine vorgegebene Menge an Punkten des Raumes, die die Zentren der Regionen bilden, bestimmt werden. Jede Region wird durch genau ein Zentrum bestimmt und umfasst alle Punkte des Raumes, die in Bezug zur euklidischen Metrik näher an dem Zentrum der Region liegen als an jedem anderen Zentrum. Derartige Regionen werden auch als Voronoi-Regionen bezeichnet.
5 zeigt beispielhaft eine Zerlegung eines zweidimensionalen Gesamttestraums T in Voronoi-Räume V.
6 zeigt beispielhaft den Voronoi-Raum V für den Test, der für den Testparameter q₀ erfolgreich ausgeführt wurde. Der Testparameter q₀ repräsentiert das Zentrum des Voronoi-Raums V für diesen Test.
Weiter ist in 6 der Testraum S dargestellt.
Die Voronoi-Räumen V bilden zusammen den Gesamttestraum T, vgl. 5. Wenn nun für jeden Testraum S gilt, dass der jeweilige Testraum S, einen jeweiligen Voronoi-Raum V abgedeckt, vgl. 6, gilt für die Vereinigung der Testräume S, dass diese den vorgebbaren Gesamttestraum T abdecken.
Das Bestimmen, ob die Vereinigung der Testräume S der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum T abdeckt, umfasst einen Schritt zum Überprüfen, ob ein jeweiliger Testraum S eines Tests den Voronoi-Raum V des Tests abdeckt.
Mathematisch ist der Voronoi-Raums eines Tests q_l beschrieben durch $V ({\vec{q}}_{l}) = {\vec{p} \in ℝ^{n} | \forall k \neq l : d ({\vec{q}}_{l}, \vec{p}) \leq d ({\vec{q}}_{k}, \vec{p})}$
wobei d eine Abstandsfunktion zwischen zwei Testparameter-Vektoren ist. Sie kann auf der Grundlage bekannter Algorithmen wie dem Bowyer-Watson-Algorithmus berechnet werden.
Gemäß einer Ausführungsform ist vorgesehen, dass das Überprüfen, ob ein jeweiliger Testraum S eines Tests den Voronoi-Raum V des Tests abdeckt, umfasst: Überprüfen, ob Eckpunkte des jeweiligen Voronoi-Raums V, die den Voronoi Raum V aufspannen, innerhalb des Testraums S liegen.
Da alle Voronoi-Räume konvex sind, genügt es zu prüfen, ob alle Eckpunkte jedes Voronoi-Raums in dem entsprechenden Testraum von q_l enthalten sind. Daher gilt $f ({\vec{q}}_{l}) + {\bar{C}}_{{\vec{v}}_{l}^{k} - {\vec{q}}_{l}} > 0$
für alle Eckpunkte $v_{l}^{k}$
des Voronoi-Raums.
Die Abstandsmetrik kann prinzipiell beliebig berechnet werden. Es ist jedoch vorteilhaft, die Abstandsmetrik wie folgt dargestellt zu wählen: $d_{s_{1}, \dots, s_{n}} (\vec{p}, \vec{q}) : = \sqrt{\sum_{i} s_{i} {(\vec{p} (i) - \vec{q} (i))}^{2}}$
$s_{i} = max (| L_{i} |, | U_{i} |)$
Auf diese Weise ist ein Voronoi-Raum derart skaliert sind, dass es wahrscheinlich ist, dass der Voronoi-Raum von dem Testraum abgedeckt wird.
Weitere Ausführungsformen beziehen sich auf eine Vorrichtung zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems, wobei die Vorrichtung zum Ausführen eines Verfahrens 100 gemäß den beschrieben Ausführungsformen ausgebildet ist. Die Vorrichtung umfasst wenigstens eine Recheneinrichtung, insbesondere einen Computer.
Weitere Ausführungsformen beziehen sich auf ein Computerprogramm, wobei das Computerprogramm computerlesbare Instruktionen umfasst bei deren Ausführung durch einen Computer, insbesondere die Recheneinrichtung der Vorrichtung, ein computerimplementiertes Verfahren 100 gemäß den beschriebenen Ausführungsformen ausgeführt wird.
Weitere Ausführungsformen beziehen sich auf ein Verfahren 200 zum Testen eines technischen Systems. Das Verfahren 200 wird anhand 7 beschrieben. Das Verfahren 200 umfasst
einen Schritt 210 zum Testen des technischen Systems durch Durchführen von Tests, und
einen Schritt 220 zum Bestimmen einer Suffizienz der Tests unter Verwendung eines Verfahrens 100 gemäß den beschriebenen Ausführungsformen.
Vorteilhafterweise wird in Abhängigkeit der Suffizienz der Tests, die in dem Schritt 220 bestimmt wird, wenigstens ein Schritt 230 zum Anpassen der Tests ausgeführt.
Nach dem Anpassen der Tests 230 kann das Verfahren 200, insbesondere die Schritte 210, 220 und gegebenenfalls der Schritt 230 erneut ausgeführt werden.

Claims

Computerimplementiertes Verfahren (100) zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems, das Verfahren umfassend die folgenden Schritte: Bereitstellen (110) von Testparametern (q) und Testergebnissen einer Menge an, insbesondere erfolgreich ausgeführten, Tests; Bestimmen (120) eines Parameter-Satzes (p) für einen jeweiligen Test, wobei der Parameter-Satz, Testparameter (p) umfasst, für die der jeweilige Test indikativ ist; Bestimmen (130) eines, insbesondere n-dimensionalen, Testraums (S) des jeweiligen Tests, basierend auf dem Parameter-Satz (p) eines jeweiligen Tests, für den der jeweilige Test indikativ ist; Bestimmen (140), ob die Vereinigung der Testräume (S) der Tests einen vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum (T) abdeckt.
Computerimplementiertes Verfahren (100) nach Anspruch 1, wobei das Bestimmen eines jeweiligen Parameter-Satzes (p) eines Tests umfasst: Bereitstellen einer Leistungsfunktion (f) für den jeweiligen Test, wobei die Leistungsfunktion (f) einem jeweiligen Testparameter einen Leistungsindikator (r) zuordnet.
Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Bestimmen des jeweiligen Parameter-Satzes (p) weiter umfasst: Bereitstellen von Grenzen (L, U), insbesondere von oberen und unteren Grenzen, der Leistungsfunktion (f), insbesondere von partiellen Ableitungen der Leistungsfunktion (f).
Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren (100) weiter umfasst: Bestimmen der Grenzen (L, U), insbesondere basierend auf Kenntnissen und/oder Testdaten über das zu testende System und/oder ein weiteres technisches System und/oder aus Simulationsdaten.
Computerimplementiertes Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei ein jeweiliger Testparameter (p, q) und/oder ein jeweiliger Leistungsindikator (r) und/oder eine jeweilige Grenze (L, U) als ein Vektor repräsentiert wird.
Computerimplementiertes Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Bestimmen, ob die Vereinigung der Testräume (S) der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum (T) abdeckt, weiter umfasst: Zerlegen des Gesamttestraums (T) in Voronoi-Räume (V), wobei jeder Punkt des Gesamttestraums (T) wenigstens einem Voronoi-Raum (V) zugeordnet ist und jedem Test ein Voronoi-Raum (V) zugeordnet ist.
Computerimplementiertes Verfahren (100) nach Anspruch 6, wobei ein Zentrum eines jeweiligen Voronoi-Raums (V) durch den Testparameter (q) eines jeweiligen Tests repräsentiert wird, für den der Test erfolgreich ausgeführt wurde.
Computerimplementiertes Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Bestimmen, ob die Vereinigung der Testräume (S) der Tests den vorgebbaren, insbesondere n-dimensionalen, Gesamttestraum abdeckt, weiter umfasst: Überprüfen, ob ein jeweiliger Testraum (S) eines Tests den Voronoi-Raum (V) des Tests abdeckt.
Computerimplementiertes Verfahren (100) nach Anspruch 8, wobei das Überprüfen, ob ein jeweiliger Testraum (S) eines Tests den Voronoi-Raum (V) des Tests abdeckt, umfasst: Überprüfen, ob Eckpunkte des jeweiligen Voronoi-Raums (V), die den Voronoi-Raum (V aufspannen, innerhalb des Testraums (S) liegen.
Vorrichtung zum Bestimmen einer Suffizienz von Tests eines zu testenden Systems, wobei die Vorrichtung zum Ausführen eines Verfahrens (100) nach wenigstens einem der Ansprüche 1 bis 9 ausgebildet ist.
Computerprogramm, wobei das Computerprogramm computerlesbare Instruktionen umfasst bei deren Ausführung durch einen Computer, insbesondere einer Recheneinrichtung einer Vorrichtung nach Anspruch 10, ein computerimplementiertes Verfahren (100) nach einem der Ansprüche 1 bis 9 ausgeführt wird.
Verfahren (200) zum Testen eines technischen Systems; umfassend die Schritte Testen (210) des technischen Systems durch Durchführen von Tests; und Bestimmen (220) einer Suffizienz der Tests unter Verwendung eines Verfahrens (100) gemäß den Ansprüchen 1 bis 9.
Verfahren (200) nach Anspruch 12, wobei in Abhängigkeit der Suffizienz der Tests wenigstens ein Schritt (230) zum Anpassen der Tests ausgeführt wird.