-
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Vergleich von Daten-Sequenzen, die mittels eines Closed-Loop Simulationsverfahrens generiert wurden, und einer aufgezeichneten Daten-Sequenz einer Fahrt einer zumindest teilautomatisiert gesteuerten mobilen Plattform.
-
Stand der Technik
-
Die virtuelle Validierung und Freigabe von neuen Technologien, zählt als eine der größten Herausforderungen der Simulationstechnologie. Im speziellen gilt dies bei der Entwicklung von HAD Highly Automated Driving Systemen im autonomen oder automatisierten Fahren. Man schätzt, dass bei modernen autonomen Pilotensystemen ab dem Automatisierungslevel 3 ein Ressourcen Aufwand von 80% in der Validierung und nur 20% in der Entwicklung liegt, da die Absicherung der Systeme sehr komplex ist. Im Bereich des Highly Automated Driving (HAD) werden Simulationen u.a. dazu eingesetzt, kritische Situationen nachzustellen, welche in Fahrzeugmessungen aufgetreten sind.
-
Offenbarung der Erfindung
-
Für eine Qualifizierung einer Steuerung einer mobilen Plattform fehlt ein fundiertes Verfahren, das es erlaubt, unsichere Modelle für eine simulierte Steuerung rechnerisch zu ermitteln. Ohne eine solche Grundlage ist es schwer möglich, nachgelagerte Auswertungen für die Qualifizierung und/oder Validierung durchzuführen.
-
Dies gilt insbesondere für eine Simulation in einer Closed-Loop, da sich dort nur Rahmenbedingungen, wie beispielsweise Spurmarkierungen oder Verkehrsteilnehmer, exakt vorgeben lassen, aber nicht ein gewünschtes Verhalten der „Agenten", die die Steuerung im Closed-Loop bestimmen. Sobald eine Simulation oder ein experimenteller Versuch der Steuerung gestartet wird, durchfährt der Agent die Welt inklusive Rahmenbedingungen und „erlebt“ an seinen Systemeingängen zeitvariable Closed-Loop Signale. Er generiert dadurch sein Closed-Loop-Verhalten an den Systemausgängen. Dies Signale repräsentieren den tatsächlichen Versuch bzw. die Simulation und können im Vergleich zum Open-Loop nicht direkt beeinflusst werden. Zur Qualifizierung und/oder Validierung einer Closed-Loop Simulation reicht es also nicht aus, wenn nur das kritische Verhalten eines Fahrzeugs in der Simulation nachgestellt wird. Auch die wirkenden Closed-Loop Zustände müssen in der Simulation hinreichend ähnlich sein wie in der Realität, d. h. bei den entsprechend gesteuerten Fahrten des Fahrzeugs.
-
Gemäß Aspekten der Erfindung wird ein Computerimplementiertes Verfahren zum Vergleich von generierten Daten-Sequenzen für ein zumindest teilautomatisiertes Fahren einer mobilen Plattform, die mittels eines Closed-Loop Simulationsverfahrens generiert wurden, und einer aufgezeichneten Daten-Sequenz einer Fahrt der zumindest teilautomatisiert gesteuerten mobilen Plattform, eine Verwendung des computerimplementierten Verfahrens, ein Computerprogramm und ein computerlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Vergleich von generierten Daten-Sequenzen für ein zumindest teilautomatisiertes Fahren einer mobilen Plattform, die mittels eines Closed-Loop Simulationsverfahrens generiert wurden, und einer aufgezeichneten Daten-Sequenz einer Fahrt der zumindest teilautomatisiert gesteuerten mobilen Plattform, zur Qualifizierung der Steuerung, vorgeschlagen, wobei das computerimplementierte Verfahren die folgenden Schritte aufweist:
- - Bereitstellen der aufgezeichneten Daten-Sequenz, die auf einer Mehrzahl von Bestimmungsgrößen basiert, von Fahrten der zumindest teilautomatisiert gesteuerten mobilen Plattform;
- - Bereitstellen einer Vielzahl von generierten Daten-Sequenzen, die auf der Mehrzahl von Bestimmungsgrößen basieren, von simulierten Fahrten, die mittels des Closed-Loop Simulationsverfahrens generiert wurden;
- - Bereitstellen von Ähnlichkeitsgrenzen und einer Ähnlichkeitsmetrik für die jeweilige Bestimmungsgröße;
- - Vergleichen der aufgezeichneten Daten-Sequenz mit jeder einzelnen generierten Daten-Sequenz der Vielzahl der aufgezeichneten Daten-Sequenzen, mittels:
- - Bestimmen einer Ähnlichkeit von Initialwerten zumindest einer Bestimmungsgröße der aufgezeichneten Daten-Sequenz mit der Bestimmungsgröße jeder generierten Daten-Sequenz der Vielzahl der generierten Daten-Sequenzen mittels der jeweiligen Ähnlichkeitsgrenzen;
- - Bestimmen einer Ähnlichkeit des zeitlichen Verlaufs von der zumindest einen Bestimmungsgröße der aufgezeichneten Daten-Sequenz mit der Bestimmungsgröße jeder generierten Daten-Sequenz der Vielzahl der generierten Daten-Sequenzen mittels der jeweiligen Ähnlichkeitsmetrik und den jeweiligen Ähnlichkeitsgrenzen; wobei die aufgezeichnete Daten-Sequenz abhängig von der bestimmten Ähnlichkeit der Initialwerte der zumindest einen Bestimmungsgröße und der bestimmten Ähnlichkeit des zeitlichen Verlaufs der zumindest einen Bestimmungsgröße in eine erste Bewertungs-Klasse, zur Bestimmung einer weiteren Bestimmungsgröße für eine Qualifizierung der Steuerung, kategorisiert wird und/oder in eine zweite Bewertungs-Klasse zur Bestimmung von hochsensitivem Verhalten der Steuerung kategorisieren wird, um die Steuerung der zumindest teilautomatisierten mobilen Plattform mittels des computerimplementierten Verfahrens zu qualifizieren.
-
Mit anderen Worten kann mit dem Computer implementierten Verfahren bestimmt werden, inwieweit das Closed-Loop Simulationsverfahren Fahrten der zumindest teilautomatisiert gesteuerten mobilen Plattform simuliert, um das Closed-Loop Simulationsverfahren beispielsweise als Testmittel für eine zumindest teilautomatisierte mobile Plattform zu qualifizieren.
-
Dabei kann eine Anzahl und/oder eine Vielzahl von Bestimmungsgrößen, der zumindest einen Bestimmungsgröße ausgewählt werden, die zusammen ein Modell für die zumindest teilweise automatisierte Plattform und/oder eine Anfangsbedingung für ein mit dem Computer implementierten Verfahren zu untersuchende Szenario und/oder das zu untersuchende Szenario und/oder festgelegte Parameter und/oder freie Parameter charakterisieren und festlegen. Insbesondere kann mit den jeweilig ausgesuchten Bestimmungsgrößen in Bezug auf eine Anfangsbedingung eine Gleichheit der Straße für die mobile Plattform und/oder ein anfängliche Abstand zu einem Vordermann und/oder absolute oder relative Geschwindigkeiten der Beteiligten mobilen Plattformen und/oder eine Szene und/oder eine komplette Fahrt einer anderen mobilen Plattform und viele weitere Größen und/oder Zustände und/oder Parameter zur Beschreibung des Szenarios aufweisen. Eine komplette Fahrt einer anderen mobilen Plattform gehört insbesondere dann zu den Bestimmungsgrößen wenn sie nicht durch eine Teilautomatisierung gesteuert wird sondern und ihr Manöver in P beschrieben wird und sie sich wie eine dynamische Randbedingung verhält.
-
Dabei kann das Steuerverfahren, das in das Closed-Loop Simulationsverfahren eingebettet ist, gleich dem Steuerverfahren des Steuergeräts sein, das von der zumindest teilautomatisierten mobilen Plattform für die aufgezeichnete Daten-Sequenz verwendet wird.
-
Die generierten Daten-Sequenzen können mit einem Simulator, bzw. mittels eines Simulationsverfahrens generiert werden. Für das Simulationsverfahren können ausgewählte Bestimmungsgrößen bereitgestellt werden, die die jeweiligen Startbedingungen und Rahmenbedingungen umfassen, wie insbesondere Parameter, insbesondere für das verwendete Modell der mobilen Plattform, wie beispielsweise insbesondere Parameter für ein spezielles Model für eine Bremse der mobilen Plattform. Diese ausgewählten Bestimmungsgrößen können den jeweiligen generierten Daten-Sequenzen, und insbesondere den aufgezeichneten Daten-Sequenzen, zugeordnet werden.
Darüber hinaus weisen die Bestimmungsgrößen Untersuchungs-Intervalle, inklusive Maximal- und Minimalwerte, insbesondere für die Start-und Rahmenbedingungen, sowie Parameter, beispielsweise zur Beschreibung eines Szenarios, auf.
Die Ähnlichkeitsmetrik kann, beispielsweise für eine Initialgeschwindigkeit der mobilen Plattform, eine Differenz einer Geschwindigkeit der mobilen Plattform einer generierten Daten-Sequenz gegenüber einer aufgezeichneten Daten-Sequenz umfassen. Ein weiteres Beispiel kann sich, entsprechend einer Rahmenbedingung, auf eine maximale Breite einer Fahrspur beziehen (Rahmenbedingung Fahrspur), der auch Grenzwerte für eine Ähnlichkeit zugeordnet sein können. Ein solcher Grenzwert kann angeben, ab welcher aktuellen Abweichung eine generierte Daten-Sequenz gegenüber einer aufgezeichneten Daten-Sequenz noch als ausreichend ähnlich gilt. Die jeweiligen Bestimmungsgrößen können sowohl den generierten Daten-Sequenzen als auch den aufgezeichneten Daten-Sequenzen zugeordnet werden, sodass die Bestimmungsgrößen in Bezug auf das Simulationsverfahren und die Fahrt der zumindest teilautomatisiert gesteuerte mobile Plattform innerhalb vorgegebener Grenzen ausreichend genau übereinstimmt.
-
Hierbei kann eine Abweichung dP, also eine Abweichung der Bestimmungsgrößen, wie beispielsweise von Startbedingungen, einer Simulation sP gegenüber einem Fahrversuch vP eine Funktion MP(sP,vP) eines Ähnlichkeitsmaßes von den jeweiligen Bestimmungsgrößen sein.
Die jeweiligen Bestimmungsgrößen sP und vP, die auch vektorielle Größen sein können, können Initialeigenschaften für die Analyse mittels des Simulationsverfahrens aufweisen und sind direkt einstellbar bzw. parametrierbar und können, da auch Modellparameter enthalten sind, als Teil eines Szenarios für die Analyse aufgefasst werden.
Beispiele für solche Bestimmungsgrößen sP und vP können sein: eine Geschwindigkeit eines Ego-Fahrzeug, wie der mobilen Plattform, am Anfang einer Daten-Sequenz und/oder eine Länge einer Unterbrechung einer Spurmarkierung (Spurfehler) und/oder ein durchschnittliches y-Rauschen einer Spurmarkierung (laterales Rauschen).
-
Während der Generation von Daten-Sequenzen mittels des Simulationsverfahrens kann davon ausgegangen werden, dass ein nicht direkt beeinflussbarer, autonomer Agent, in autonomer Fahrweise mittels autonom steuernder Fahrzeugsoftware, ein Szenario durchfahren hat.
-
Dieser Agent reagiert auf veränderte Bestimmungsgrößen sP, wie Start- und/oder Rahmenbedingungen und/oder Parameter, in dem Szenario der Simulation und kann mit Systemzuständen sX(t) sowie Ausgangsgröße sY(t) beschrieben werden. Dabei können ein oder mehrere Systemzustände sX(t), die funktional entsprechend einer Funktion der Systemzustände gemäß f(X(t); t) verknüpft sein können, auch Ausgangsgrößen des Simulationsverfahrens sein. Diese Systemzustände sX(t) und die Ausgangsgrößen sY(t) können nicht direkt beeinflusst werden und offenbaren sich erst nach Durchlaufen des Simulationsverfahrens entsprechend den generierten Daten-Sequenzen S.
-
Ähnlichkeitsgrenzen TX zwischen einem Systemzustand einer mobilen Plattform vX(t) und einem Systemzustand des Simulationsverfahrens sX(t) können definiert und bereitgestellt werden, sowie eine Berechnungsvorschrift bzw. eine Ähnlichkeitsmetrik zur Bestimmung einer Ähnlichkeit eines zeitlichen Verlaufs einer Bestimmungsgröße, wie beispielsweise zwischen zwei Kurven.
Mittels einer Ähnlichkeitsmetrik kann eine Zustandsdifferenz dX von zeitlich veränderlichen Bestimmungsgrößen, wie beispielsweise Zuständen vX(t) und sX(t) bestimmt werden. Beispielsweise kann eine durchschnittliche und/oder maximale Geschwindigkeitsdifferenz zwischen den generierten Daten-Sequenzen und den aufgezeichneten Daten-Sequenzen bestimmt werden.
-
Darüber hinaus können für das Simulationsverfahren Agenten definiert werden, die mobile Plattformen im Umfeld der betrachteten mobilen Plattform steuern und über entsprechende Bestimmungsgrößen definiert werden.
Insbesondere können die generierten Daten-Sequenzen S und die aufgezeichneten Daten-Sequenzen V eine typische zeitliche Dauer, von z.B. 5s bis 10s, aufweisen, die einer zeitlichen Dauer eines betrachteten Szenarios, wie beispielsweise einem Überholmanöver, entspricht.
-
Insbesondere können die generierten Daten-Sequenzen S und/oder die aufgezeichneten Daten-Sequenzen V aus größeren generierten Daten-Sequenzen S_groß (Dauersimulationen) und aufgezeichneten Daten-Sequenzen V_groß (Dauerläufe / Dauerfahrversuche) durch Herausschneiden entsprechender Sequenzen erzeugt werden.
-
Das beschriebene computerimplementierte Verfahren vergleicht somit eine komplette Fahrt einer zumindest teilautomatisierten gesteuerten mobilen Plattform mit einer simulierten Closed-Loop Fahrt, um die Steuerung der zumindest teilautomatisierten mobilen Plattform zu qualifizieren. D. h. das vorgestellte computerimplementierte Verfahren bezieht sich auf die SIL-Simulation (SIL engl.: software in the loop). Das Verfahren kann auch auf HIL (HIL engl.: Hardware in the loop) und VIL (VIL engl.: Hardware in the loop) Closed-Loop Verfahren angewendet werden. Wobei, bei den Technologien von SIL über HIL zu VIL jeweils entsprechend weniger Teile im Simulationsloop modelliert werden und mehr Anteile der zu testenden mobilen Plattform verwendet werden.
-
Mit anderen Worten kann das vorgestellte computerimplementierte Verfahren effizient und kontinuierlich eine Qualifizierung und/oder Validierung einer SIL-Simulationsumgebung (oder HIL, oder VIL) unterstützen, wobei gleichzeitig das Simulationsverfahren bei dem computerimplementierten Verfahren zur Entwicklung und Freigabe einer zumindest teilautomatisierten mobilen Plattform und/oder autonomen Fahrzeugen, wie Flugzeugen und/oder Robotern, verwendet werden.
-
Das computerimplementierte Verfahren kann ein Hauptproblem einer Qualifizierung einer Steuerung einer mobilen Plattform mittels eines Simulationsverfahrens lösen, bei dem eine Toolvalidierung, wie beispielsweise das Simulationsverfahren selbst und/oder verwendete Modelle und/oder verwendete Middleware, mit der Qualifizierung und/oder Validierung des Simulationsverfahrens gekoppelt ist und während des Entwicklungsprojekts der Steuerung für die mobile Plattform zeitgleich ablaufen muss. Insbesondere ist eine Anforderung an ein solches computerimplementiertes Verfahren, dass bei der kontinuierlichen Entwicklung einer Steuerung für ein zumindest teilautomatisiertes Fahren einer mobilen Plattform immer wieder neue Szenarien für Fahrten simuliert werden, für welche die Simulationsumgebung, bzw. das Simulationsverfahren, noch nicht erprobt ist.
-
Dazu gibt das computerimplementierte Verfahren, wie weiter unten genauer ausgeführt wird, während des Entwicklungsprozesses der Steuerung, einen Arbeitsablauf vor, aus dem sich die jeweils nächsten Schritte in einer Toolvalidierung ergeben können. Insbesondere können mit dem computerimplementierten Verfahren neue Fahrten der zumindest teilautomatisierten gesteuerten mobilen Plattform vorgeschlagen werden und/oder neue Durchläufe des Simulationsverfahrens vorgeschlagen werden, sowie eine Erweiterung einer Datenanalyse mittels zusätzlicher Bestimmungsgrößen, wie Parametern und/oder Zustandsgrößen.
Des Weiteren kann mit dem computerimplementierten Verfahren bestimmt werden, in welchem Szenarien und Parameterbereichen, eine Steuerung der zumindest teilautomatisierten mobilen Plattform simulationsbasiert getestet werden kann und für welche Szenarien und Parameterbereiche das Simulationsverfahren noch nicht einsetzbar ist und gegebenenfalls verbessert werden kann.
-
Weiterhin kann mit dem computerimplementierten Verfahren, wie weiter unten ausgeführt wird, eine Ursache eruiert werden, warum das Simulationsverfahren in gewissen Bereichen von Bestimmungsgrößen noch nicht einsetzbar ist.
-
Szenarien für den Vergleich von generierten Daten-Sequenzen aus dem Closed-Loop Simulationsverfahren und aufgezeichneten Daten-Sequenzen, aus Fahrten der zumindest teilautomatisierten gesteuerten mobilen Plattform, können mittels einer Mehrzahl von Bestimmungsgrößen festgelegt werden. Diese können insbesondere umfassen:
- - eine Liste von fixierter Start- und Rahmenbedingungen, die nicht geändert werden sollen. Diese Invarianten können die Haupteigenschaften des Szenarios definieren und trennen es gegen anderen Szenarien ab, wie z.B. eine Anzahl von 3 Spuren und/oder eine Kurvenfahrt und/oder kein Gegenverkehr.
- - Eine Liste der Start und Rahmenbedingungen, die in dem Szenario untersucht und variiert werden sollen, wie z.B. eine Länge einer Unterbrechung einer Spurmarkierung und/oder ein y-Rauschen der Spurmarkierung und/oder eine Ego Geschwindigkeit der mobilen Plattform.
-
Insbesondere kann dabei genauer festgelegt werden:
- - ein Bereich bzw. Intervall für eine Untersuchung mit diese Rahmenbedingungen und/oder Grenzwerte für eine Ähnlichkeit zwischen den aufgezeichneten Daten-Sequenzen, von Fahrten der mobilen Plattform, und den generierten Daten-Sequenzen aus Simulationsverfahren mit diese Rahmenbedingungen. Mittels dieser Variationen kann ein Parameterbereich für das Szenario definiert werden und ein Raum der Untersuchung aufgespannt werden. Aus der Menge der Variationen ergibt sich eine, ggf. unendlich große, Menge an Kandidaten für potentielle weitere Simulationen. Ziel ist eine valide Simulation in einem möglichst großen Bereich.
- - eine Liste von Ausgangsgrößen und Systemzuständen, die im zeitlichen Verlauf im Close-Loop auf Ähnlichkeit bewertet werden sollen. Dabei können Ausgangsgrößen mittels einer Berechnungsvorschrift aus mehreren zeitlich betrachteten Systemzuständen bestimmt werden. Sicherheitsziele, die von gewissen Bestimmungsgrößen eingehalten werden müssen, können Ausgangsgrößen oder ein Systemzustand selbst sein, werden aber immer als Ausgangsgrößen betrachtet. Insbesondere können für die Szenarien Ähnlichkeitsgrenzen für eine Ähnlichkeit von Systemzuständen der generierten Daten-Sequenzen und der aufgezeichneten Daten-Sequenzen definiert werden.
Weiterhin können Ähnlichkeitsgrenzen für eine Ähnlichkeit von Ausgangsgrößen und/oder Sicherheitszielen der generierten Daten-Sequenzen und der aufgezeichneten Daten-Sequenzen definiert werden.
Weiterhin können Grenzwerte für eine Verletzung von Sicherheitszielen und/oder Ausgangsgrößen entsprechend Systemzuständen im Sinne eines Absolutwertes definiert werden.
-
Diese charakterisierenden Größen können, basierend auf den generierten Daten-Sequenzen und den aufgezeichneten Daten-Sequenzen, jeweils für ein vorgegebenes Zeitintervall bestimmt werden, wie beispielsweise eine mittlere Geschwindigkeit und/oder statistische Momente der Geschwindigkeit zur Charakterisierung von Rauschen und/oder Abstände und/oder Sicherheitsmetriken.
-
Ein Ähnlichkeit kann insbesondere beispielsweise mittels eines beliebiges Differenzmaß und/oder Distanzmaß bestimmt werden, welches zwei Fingerprints eine skalare oder vektorielle Differenz bzw. Distanz zuordnet. Dabei kann dieses Differenzmaß und/oder Distanzmaß auch noch zusätzlich an den jeweiligen konkreten Anwendungsfall gekoppelt sein. Wenn beispielsweise in der Fahrsituation beurteilt werden soll, wie gut ein automatisiertes System die Fahrspur erkennt bzw. hält, können beispielsweise Elemente eines Fingerprints, der die Fahrspur charakterisiert, mit Elementen einer anhand einer wahren Fahrspur und/oder Soll-Fahrspur ermittelten Gewichtungsmatrix gewichtet werden.
In einer weiteren vorteilhaften Ausgestaltung hängt ein Maß für die Ähnlichkeit von einer Hamming-Distanz zwischen den beiden Fingerprints ab. Die Hamming-Distanz misst, in wie vielen Bits sich die beiden Fingerprints voneinander unterscheiden. Das Maß für die Ähnlichkeit kann beispielsweise einen Mittelwert oder Median der Elemente in einem elementweisen Produkt beider Fingerprints beinhalten.
Fingerprintverfahren zeichnen sich dadurch aus, dass sie höherdimensionale Informationen, wie z.B. Luftaufnahmen eines Schnappschusses einer Fahrszene, mittels eines Codier Verfahrens in eine eindeutige Codierung, z.B: eine 64-Bit Zahl transformieren und wieder rücktransformieren können. Gewisse Zwischenschritte, im besonderen die initiale Diskretisierung der hochdimensionalen Daten, dieser Verfahren nützen zusätzlich um in Kopplung mit einer Metrik Distanzen zwischen den Hochdimensionalen Informationen zu bilden. Man erhält so eine eindeutige Codierung beider Ursprungssequenzen und ein Differenzmaß.
-
Ein Ähnlichkeitsmaß, bzw. eine Ähnlichkeitsmetrik, kann über einen Zeitverlauf bewertet werden, wie z.B. mittels Fehlerquadraten eines Kurvenverlaufs. Mittels Ähnlichkeitsmetriken kann eine Ähnlichkeit zwischen einer generierten Daten-Sequenz und einer aufgezeichneten Daten-Sequenz, insbesondere in Bezug auf eine Bestimmungsgröße, bestimmt werden. Die zugehörigen Bestimmungsgrößen, wie beispielsweise Systemzustände oder eine Teilmenge dieser Systemzustände, können einen Raum aufspannen, innerhalb dessen die Ähnlichkeitsbewertung vorgenommen wird. Beim jedem paarweisen Vergleich kann eine aufgezeichnete Daten-Sequenz einer Fahrzeugmessung einschließlich der zugehörigen Systemzustände als Referenz verwendet werden und eine Differenz zu allen verfügbaren generierten Daten-Sequenzen aus einem Simulationsverfahren gebildet werden.
-
Alternativ oder zusätzlich kann die Rollen der Simulationsdaten und der Fahrzeugdaten getauscht werden. In diesem Fall werden alle Zeitabschnitte aus den Fahrzeugdaten mit jeweils einem Zeitabschnitt aus der Simulation verglichen und anschließend wie in der Hauptvariante die Klassifikation vorgenommen. Anstelle neuer Fahrzeugdaten werden in diesem Falle neue Simulationsdaten herangezogen.
Der Parameterraum wird in dieser Variante durch die Systemzustände aus der Simulation aufgespannt.
-
Alternativ oder zusätzlich können anstelle von Fahrzeugmessungen Daten verwendet werden, die mit anderen Referenzsystemen erzeugt wurden, wie z.B. Hardware-in-the-Loop und/oder ein anderes Software-in-the-Loop-System und/oder Vehicle-in-the-Loop.
-
Alternativ oder zusätzlich zur Unterteilung der Simulationsdaten und der Referenzdaten in Teilabschnitte mit gleicher Länge, kann die Aufteilung in Unterabschnitte auch auf andere Weise vorgenommen werden.
-
Insbesondere kann das computerimplementierte Verfahren zur Bewertung nicht sicherheits-kritischer Funktionen verwenden werden. In diesem Anwendungsfall werden anstelle von Kritikalitätsmetriken Requirements, die an Softwarefunktionen gestellt werden, ausgewertet.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass die aufgezeichnete Daten-Sequenz abhängig von der bestimmten Ähnlichkeit der Initialwerte einer Mehrzahl von ausgewählten Bestimmungsgrößen und der bestimmten Ähnlichkeit des zeitlichen Verlaufs der Mehrzahl der ausgewählten Bestimmungsgrößen kategorisieren wird. Mittels einer Mehrzahl von ausgewählten Bestimmungsgrößen kann ein zu untersuchendes Szenario mit dem computerimplementierten Verfahren genauer charakterisiert werden.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das computerimplementierte Verfahren für eine Vielzahl von aufgezeichneten Daten-Sequenzen bereitgestellt wird und das Verfahren für jedes der Vielzahl der aufgezeichneten Daten-Sequenzen durchgeführt wird.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das computerimplementierte Verfahren für eine Vielzahl von aufgezeichneten Daten-Sequenzen durchgeführt wird und die jeweilige aufgezeichneten Daten-Sequenz mit der ersten Bewertungs-Klasse oder mit der zweiten Bewertungs-Klasse kategorisieren wird.
-
Ein Closed-Loop Simulationsverfahren kann als qualifiziert bewertet werden,
wenn für eine hinreichende Anzahl simulierter Fahrsituationen, also generierter Daten-Sequenzen, bekannte Referenz-Fahrsituationen, also aufgezeichnete Daten-Sequenzen, aufgefunden werden können, die sich in der Folge genauso weiterentwickeln wie das jeweils simulierte Szenario, dann wird die Realität mit hoher Wahrscheinlichkeit hinreichend genau durch das Simulationsverfahren wiedergegeben.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass die aufgezeichnete Daten-Sequenz der Vielzahl der aufgezeichneten Daten-Sequenzen in eine erste Bewertungs-Klasse kategorisieren wird, wenn für alle generierten Daten-Sequenzen, deren Anfangswerte für jedes einer Anzahl von ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, die Ähnlichkeit des zeitlichen Verlaufs für jedes der Anzahl der ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
-
Alternativ oder zusätzlich kann die aufgezeichnete Daten-Sequenz der Vielzahl der aufgezeichneten Daten-Sequenzen in eine zweite Bewertungs-Klasse kategorisieren werden, wenn für alle generierten Daten-Sequenzen, deren Anfangswerte für jedes der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, die Ähnlichkeit des zeitlichen Verlaufs für zumindest eine Bestimmungsgröße der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenzen sind und wenn die Ähnlichkeit des zeitlichen Verlaufs für zumindest eine Bestimmungsgröße der Anzahl der ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
-
Alternativ oder zusätzlich kann die aufgezeichnete Daten-Sequenz der Vielzahl der aufgezeichneten Daten-Sequenzen in eine dritte Bewertungs-Klasse kategorisieren werden, wenn für alle generierten Daten-Sequenzen, deren Anfangswerte für jedes einer Anzahl von ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, die Ähnlichkeit des zeitlichen Verlaufs für jedes der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
Vorzugsweise kann das Closed-Loop Simulationsverfahren die aufgezeichnete Daten-Sequenz der Fahrt der zumindest teilautomatisierten gesteuerten mobilen Plattform für eine Qualifizierung ausreichend genau simuliert bewertet werden, wenn die jeweilige aufgezeichnete Daten-Sequenz in die dritten Bewertungs-Klasse kategorisieren wird.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass die aufgezeichnete Daten-Sequenz der Vielzahl der aufgezeichneten Daten-Sequenzen in eine vierte Bewertungs-Klasse kategorisieren wird, wenn alle Anfangswerte für jedes der Anzahl von ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenzen bestimmt werden.
Da in diesem Fall die Anfangsbedingungen außerhalb der jeweiligen Ähnlichkeitsgrenzen liegen, kann mit solchen aufgezeichneten Daten-Sequenzen versucht werden, mit einer anderen Auswahl von Bestimmungsgrößen, die das jeweilige Szenario festlegen, den Vergleich mit dem computerimplementierten Verfahren zu wiederholen.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das Closed-Loop Simulationsverfahren Fahrten der zumindest teilautomatisiert gesteuerten mobilen Plattform für eine Qualifizierung ausreichend genau simuliert, wenn die Vielzahl der aufgezeichneten Daten-Sequenzen in der dritten Bewertungs-Klasse kategorisiert werden.
Da in der dritten Bewertungs-Klasse die aufgezeichneten Daten-Sequenzen innerhalb der Ähnlichkeitsgrenzen für die Anfangsbedingungen und den zeitlichen Verlauf liegen, stimmen hier die Ergebnisse des Simulationsverfahrens mit den Ergebnissen der Fahrten der mobilen Plattform innerhalb der definierten und bereitgestellten Ähnlichkeitsgrenzen überein.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das Closed-Loop Simulationsverfahren Fahrten der zumindest teilautomatisiert gesteuerten mobilen Plattform für eine Qualifizierung ausreichend genau simuliert, wenn die Vielzahl der aufgezeichneten Daten-Sequenzen in der dritten Bewertungs-Klasse oder der vierten Bewertungs-Klasse kategorisiert werden.
-
Da in der vierten Bewertungs-Klasse die Anfangsbedingungen des Szenarios der Simulation nicht mit den Anfangsbedingungen der Fahrten der mobilen Plattform übereinstimmen, sind aufgezeichnete Daten-Sequenzen, die in die vierte Bewertungs-Klasse kategorisieren werden, für eine Qualifizierung des Simulationsverfahrens nicht relevant.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass das oben beschriebene computerimplementierte Verfahren wiederholt wird, wenn die aufgezeichnete Daten-Sequenz mit der zweiten Bewertungs-Klasse klassifiziert wurde, und dabei die bereitgestellten Ähnlichkeitsgrenzen, engere Grenzen für die Bestimmung der Ähnlichkeit der Initialwerte zumindest einer Bestimmungsgröße der aufgezeichneten Daten-Sequenz mit der Bestimmungsgröße jeder generierten Daten-Sequenz der Vielzahl der generierten Daten-Sequenzen, aufweist, um die Bewertungs-Klasse der Wiederholung des computerimplementierten Verfahrens mit der Bewertungs-Klasse einer vorherigen Durchführung des computerimplementierten Verfahrens zu vergleichen.
Durch eine Eingrenzung der Ähnlichkeit kann mit einer neuen Klassifizierung, wie sie oben beschrieben ist, versucht werden, dass die jeweilige aufgezeichnete Daten-Sequenz im Vergleich mit allen generierten Daten-Sequenzen ausreichend genau übereinstimmt, um in die dritte Bewertungs-Klasse klassifiziert zu werden. Dazu kann eine Kandidatenliste bereitgestellt werden, die Bestimmungsgrößen listet, deren Ähnlichkeitsgrenzen enger gefasst werden können.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass eines der oben beschriebene computerimplementierten Verfahren mit einer weiteren Bestimmungsgröße für die aufgezeichnete Daten-Sequenz und die generierten Daten-Sequenzen wiederholt wird, wenn die aufgezeichnete Daten-Sequenz mit der ersten Bewertungs-Klasse und/oder der zweiten Bewertungs-Klasse kategorisier wird; wobei die weitere Bestimmungsgröße mittels einer Kandidatenliste für weitere Bestimmungsgrößen bereitgestellt wird, um die Bewertungs-Klasse der Wiederholung mit der Bewertungs-Klasse einer vorherigen Durchführung des Verfahrens zu vergleichen.
Durch das Hinzufügen einer weiteren Bestimmungsgröße kann gegebenenfalls erreicht werden, dass das Simulationsverfahren basierend auf ausreichend vielen relevanten Bestimmungsgrößen durchgeführt wird, wie es für eine korrekte Simulation der mit der aufgezeichneten Daten-Sequenz charakterisierten Fahrt der mobilen Plattform notwendig ist. Dazu kann eine Kandidatenliste bereitgestellt werden, die entsprechende weitere Bestimmungsgrößen listet, um das Verfahren durchzuführen.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass, wenn die Bewertungs-Klasse der Wiederholung des Verfahrens mit der Bewertungs-Klasse der vorherigen Durchführung des Verfahrens gleich ist, und die aufgezeichnete Daten-Sequenz mit der zweiten Bewertungs-Klasse klassifiziert wird, zumindest eine neue aufgezeichneten Daten-Sequenz einer Fahrt der zumindest teilautomatisiert gesteuerten mobilen Plattform angefordert wird, deren ausgewählte Bestimmungsgrößen der klassifizierten aufgezeichneten Daten-Sequenz entspricht, um eine Multistabilität des Steuerverfahrens zu überprüfen.
Da hierbei aus dem Vergleich der aufgezeichneten Daten-Sequenz mit den generierten Datensequenzen unterschiedlich gut übereinstimmende Ergebnisse resultieren, kann dies auch für die Steuerung der mobilen Plattform bedeuten, dass bei einem solchen Szenario die Steuerung multistabil ist. Da gemäß diesem computerimplementierten Verfahren diese unterschiedlich gut übereinstimmende Ergebnisse in der Wiederholung auch mit einer weiteren Bestimmungsgröße resultieren, kann empfohlen werden, mit weiteren Fahrten der mobilen Plattform die Steuerung zu überprüfen.
-
Entsprechend einem Aspekt wird vorgeschlagen, dass, wenn die Bewertungs-Klasse der Wiederholung mit der Bewertungs-Klasse der vorherigen Durchführung des Verfahrens gleich ist, bestimmt wird, ob eine der Bestimmungsgrößen der generierten Daten-Sequenzen einen sicherheitsrelevanten Wert überschreitet.
Für einige sicherheitsrelevanten Ausgangsgrößen von Fahrten der mobilen Plattform und Simulationen können Sicherheits-Grenzwerte sTYsafety, vTYsafety, wie beispielsweise eine verbotene Überschreitung von bestimmten Geschwindigkeiten sowohl für das Simulationsverfahren als auch für die Fahrten der mobilen Plattform vorgegeben werden.
Die Sicherheits-Grenzwerte sTYsafety und vTYsafety können mit einer geeigneten Metrik für Zeitsignale der Ausgangsgröße Y(t) berechnet werden, sind aber kein Differenzmaß zwischen sTYsafety und vTYsafety, sondern werden jeweils mit einer externen Vorgabe verglichen, wie z.B. max. Geschwindigkeit des Fahrzeugs. Dies kann insbesondere für aufgezeichnete Daten-Sequenzen, die in die erste Bewertungs-Klasse kategorisieren werden, relevant sein. Denn aufgezeichnete Daten-Sequenzen der ersten Bewertungs-Klasse, die also in die erste Bewertungs-Klasse kategorisieren werden, können mit dem Simulationsverfahren, basierend auf den ausgesuchten Bestimmungsgrößen, nicht korrekt wiedergegeben werden. Somit kann durch den Vergleich mit den Sicherheits-Grenzwerten bestimmt werden, ob zumindest eine der Bestimmungsgrößen, die nicht korrekt simuliert wird, sicherheitsrelevant ist. Aus Fahrzeugsicht falsch-positive Ergebnisse sind dabei besonders relevant.
-
Falsch positive Ergebnisse bedeuten eine unsicheres Verhalten und eine Überschreitung der vTYsafety im Fahrzeug bei einem sicheren Verhalten in der Simulation ohne eine Überschreitung der sTYsafety. Diese Information kann genutzt werden um die Simulation als Testmittel für den Parameterraum P aus Sicherheitsgründen ganzheitlich zu verbieten bis Ursachen erörtert wurden.
Falsch negative Ergebnisse bedeuten ein sicheres Verhalten und keine Überschreitung der vTYsafety im Fahrzeug bei einem unsicheren Verhalten in der Simulation mit einer Überschreitung der sTYsafety. Dieses Ergebnis kann genutzt werden um die Simulation für gewisse Parameterbereiche oder ganzheitlich in P als ineffizient zu markieren, da Parameter in P zu Unrecht als unsicher gekennzeichnet werden (Fehlalarm).
-
Es wird eine Verwendung eines der oben beschriebenen computerimplementierten Verfahren zur Qualifizierung und/oder Verifizierung der Steuerung der zumindest teilautomatisierten mobilen Plattform mittels des computerimplementierten Verfahrens vorgeschlagen.
Vorteilhafterweise kann mit dem computerimplementierten Verfahren, wie oben beschrieben wurde, sowohl das Simulationsverfahren qualifiziert werden als auch die Qualifizierung der Steuerung der mobilen Plattform qualifiziert werden.
-
Es wird ein Computerprogramm vorgeschlagen, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, eines der oben beschriebenen computerimplementierten Verfahren auszuführen.
Mit einem solchen Computerprogramm kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
-
Es wird ein computerlesbares Speichermedium vorgeschlagen, das Befehle umfasst, die bei der Ausführung durch einen Computer diesen veranlassen, eines der oben beschriebenen computerimplementierten Verfahren auszuführen.
-
Mit einem solchen Computer lesbaren Speichermedium kann das Verfahren in unterschiedliche Systeme integriert werden.
-
Ausführungsbeispiele
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 dargestellt und im Folgenden näher erläutert. Es zeigt:
- 1 einen Datenflussdiagramm des computerimplementierten Verfahrens zum Vergleich von generierten Daten-Sequenzen und aufgezeichneten Daten-Sequenzen.
-
1 skizziert schematisch das computerimplementierte Verfahren zum Vergleich von generierten Daten-Sequenzen 102 für ein zumindest teilautomatisiertes Fahren einer mobilen Plattform, die mittels eines Closed-Loop Simulationsverfahrens generiert wurden, und einer aufgezeichneten Daten-Sequenz 104 einer Fahrt der zumindest teilautomatisiert gesteuerten mobilen Plattform, zur Qualifizierung der Steuerung der mobilen Plattform.
Eine Vielzahl von, mit einem Closed-Loop Simulationsverfahren generierten, Daten-Sequenzen 102 können aus Kandidaten-Daten-Sequenzen 101 bereitgestellt werden und mit einer Vielzahl von bereitgestellten aufgezeichneten Daten-Sequenzen 104 in einem Schritt 103 kombiniert werden, um sie zu vergleichen.
Aus bereitgestellten Sicherheitszielen 108 können sowohl für die generierten Daten-Sequenzen 102 Sicherheitsziele 106 abgeleitet werden, als auch für die aufgezeichneten Daten-Sequenzen 104 können abgeleitete Sicherheitsziele 107 bereitgestellt werden.
Basierend auf bereitgestellten Ähnlichkeitsgrenzen 207 und Ähnlichkeitsmetriken 203 kann im Schritt 204 eine Ähnlichkeit von Initialwerten zumindest einer Bestimmungsgröße einer aufgezeichneten Daten-Sequenz 104 mit der Bestimmungsgröße jeder generierten Daten-Sequenz 102 der Vielzahl der generierten Daten-Sequenzen mittels der jeweiligen Ähnlichkeitsgrenzen 207 bestimmt werden.
-
Weiterhin wird im Schritt 204 eine Ähnlichkeit des zeitlichen Verlaufs von der zumindest einen Bestimmungsgröße einer aufgezeichneten Daten-Sequenz 104 mit der Bestimmungsgröße jeder generierten Daten-Sequenz der Vielzahl der generierten Daten-Sequenzen 102 mittels der jeweiligen Ähnlichkeitsmetrik und den jeweiligen Ähnlichkeitsgrenzen bestimmt.
Wenn in einem Schritt 202 eine weitere Bestimmungsgröße zu dem Vergleich hinzugefügt werden soll, kann aus einer bereitgestellten Kandidatenliste für eine weitere Bestimmungsgröße eine zugeordnete Ähnlichkeitsmetrik 201 und eine zugeordnete Ähnlichkeitsgrenzen 205 bestimmt werden.
Das Kästchen für den Schritt 204 in der 1 skizziert dabei zweidimensional auf einer waagerechten Achse einen Unterschied der Initialwerte dP der entsprechende Bestimmungsgrößen von der jeweiligen generierten Daten-Sequenz und der jeweiligen aufgezeichneten Daten-Sequenz, um eine Ähnlichkeit der Initialwerte darzustellen. Auf der senkrechten Achse wird ein Unterschied einer mit einer Ähnlichkeitsmetrik und der jeweiligen Ähnlichkeitsgrenzen eines zeitlichen Verlaufs der zumindest einer Bestimmungsgröße von der jeweiligen generierten Daten-Sequenz und der jeweiligen aufgezeichneten Datensequenz aufgetragen, um eine Ähnlichkeit des zeitlichen Verlaufs darzustellen.
Abhängig von der bestimmten Ähnlichkeit der Initialwerte der zumindest einen Bestimmungsgröße und der bestimmten Ähnlichkeit des zeitlichen Verlaufs der zumindest einen Bestimmungsgröße, wird die aufgezeichnete Daten-Sequenz im Schritt 301 in eine erste Bewertungsklasse A und/oder eine zweite Bewertungsklasse B kategorisieren, um die Steuerung der mobilen Plattform zu qualifizieren. Dabei kann mit einer aufgezeichneten Daten-Sequenz 104, die in die erste Bewertungsklasse A kategorisiert wird, eine weitere Bestimmungsgröße bestimmt werden und alternativ oder zusätzlich mit einer aufgezeichneten Daten-Sequenz 104, die in die zweite Bewertungsklasse B kategorisieren wird, kann ein hoch sensitives Verhalten der Steuerung der mobilen Plattform bestimmt werden.
-
Dabei wird die aufgezeichnete Daten-Sequenz 104 der Vielzahl der aufgezeichneten Daten-Sequenzen in die erste Bewertungs-Klasse A kategorisieren, wenn für alle generierten Daten-Sequenzen 102, deren Anfangswerte für jedes einer Anzahl von ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, und deren Ähnlichkeit des zeitlichen Verlaufs für jedes der Anzahl der ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
-
Die aufgezeichnete Daten-Sequenz 104 der Vielzahl der aufgezeichneten Daten-Sequenzen wird in die zweite Bewertungs-Klasse B kategorisieren, wenn für alle generierten Daten-Sequenzen 102, deren Anfangswerte für jedes der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, und deren Ähnlichkeit des zeitlichen Verlaufs für zumindest eine Bestimmungsgröße der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenzen sind und wenn deren Ähnlichkeit des zeitlichen Verlaufs für die zumindest eine Bestimmungsgröße der Anzahl der ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
-
Aufgezeichnete Daten-Sequenzen 104 werden in eine dritte Bewertungs-Klasse C kategorisiert, wenn für alle generierten Daten-Sequenzen 102, deren Anfangswerte für jedes einer Anzahl von ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenze sind, und wenn für alle generierten Daten-Sequenzen 102 deren Ähnlichkeit des zeitlichen Verlaufs für jedes der Anzahl der ausgewählten Bestimmungsgrößen innerhalb der jeweiligen Ähnlichkeitsgrenzen sind.
-
Aufgezeichnete Daten-Sequenzen 104 werden in eine vierte Bewertungs-Klasse D kategorisiert, wenn für alle generierten Daten-Sequenzen 102, deren Anfangswerte für jedes einer Anzahl von ausgewählten Bestimmungsgrößen außerhalb der jeweiligen Ähnlichkeitsgrenze sind.
-
Aufgezeichnete Daten-Sequenzen 104, die in die dritte Bewertungs-Klasse C kategorisiert sind, können in einem Schritt 311 entsprechend einer Anzahl von generierten Daten-Sequenzen 102, mit denen sie in die dritte Bewertungs-Klasse C kategorisieren sind, mit einem Robustheitswert bewertet werden. Als Stellvertreter für die Anzahl der generierten Daten-Sequenzen 102, die mit der aufgezeichneten Daten-Sequenz 104 in die dritte Bewertungs-Klasse C kategorisieren sind, kann eine generierte Daten-Sequenz 102 bestimmt werden, die die geringste Abweichung von der aufgezeichneten Daten-Sequenz 104 hat.
-
Aufgezeichnete Daten-Sequenzen 104, die in die erste Bewertungs-Klasse A kategorisieren sind, können mit einer zusätzlichen Bestimmungsgröße, die mittels einer Kandidatenliste für zusätzliche Bestimmungsgrößen im Schritt 322 bestimmt werden kann, das computerimplementierte Verfahren mit der zusätzlichen Bestimmungsgröße erneut, angefangen mit dem Schritt 103, durchlaufen, um erneut kategorisieren zu werden. Denn mit der zusätzlichen Bestimmungsgröße kann insbesondere das Simulationsverfahren detaillierter durchgeführt werden, um die aufgezeichnete Daten-Sequenz 104 besser simulieren zu können. Das kann dazu führen dass die aufgezeichnete Daten-Sequenz 104 mit der zusätzlichen Bestimmungsgröße in die dritte Bewertungs-Klasse C kategorisieren wird.
Falls die aufgezeichnete Daten-Sequenz 104 mit der zusätzlichen Bestimmungsgröße weiterhin in die erste Bewertungs-Klasse A kategorisieren wird, kann im Schritt 323, mittels eines Vergleichs mit sicherheitsrelevanten Werten, überprüft werden, ob eine der ausgewählten Bestimmungsgrößen für den Vergleich der generierten Daten-Sequenz 102 und der aufgezeichneten Daten-Sequenz 104 sicherheitsrelevant ist.
-
Für aufgezeichnete Daten-Sequenzen 104, die in die zweite Bewertungs-Klasse B kategorisieren werden, können in einem Schritt 342 für die bereitgestellten Ähnlichkeitsgrenzen, engere Grenzen zu einer Bestimmung der Ähnlichkeit der Initialwerte zumindest einer Bestimmungsgröße der aufgezeichneten Daten-Sequenz 102 mit der Bestimmungsgröße jeder generierten Daten-Sequenz der Vielzahl der generierten Daten-Sequenzen 102, gesetzt werden, um die Bewertungs-Klasse bei einer Wiederholung des computerimplementierten Verfahrens mit der Bewertungs-Klasse einer vorherigen Durchführung des Verfahrens zu vergleichen. In dem Diagramm 345 ist eine solche Verschiebung der x-Achse skizziert, die daraus resultiert, dass in dem Schritt 301 die aufgezeichnete Daten-Sequenz 104 neu kategorisieren wird.
Durch die engeren Grenzen zur Bestimmung der Ähnlichkeit der Initialwerte kann in einem Schritt 343 bestimmt werden, dass für die Vielzahl der generierten Daten-Sequenzen mit dieser aufgezeichneten Daten-Sequenz eine Kategorisierung 344 in die dritte Bewertungs-Klasse C resultiert.
-
Wenn diese aufgezeichnete Daten-Sequenz 104 trotz der engeren Grenzen zur Bestimmung der Ähnlichkeit der Initialwerte weiterhin in die zweite Bewertungs-Klasse B kategorisieren wird, kann das computerimplementierte Verfahren im Schritt 345 mit einer zusätzlichen Bestimmungsgröße, beginnend mit dem Schritt 204, erneut durchlaufen werden, um erneut kategorisieren zu werden. Denn mit der zusätzlichen Bestimmungsgröße kann insbesondere das Simulationsverfahren detaillierter durchgeführt werden, um die aufgezeichnete Daten-Sequenz 104 besser simulieren zu können. Das kann dazu führen, dass die aufgezeichnete Daten-Sequenz 104 mit der zusätzlichen Bestimmungsgröße in die dritte Bewertungs-Klasse C kategorisieren wird.
Falls die aufgezeichnete Daten-Sequenz 104 mit der zusätzlichen Bestimmungsgröße weiterhin in die erste Bewertungs-Klasse B kategorisieren wird, kann im Schritt 346, mittels eines Vergleichs mit sicherheitsrelevanten Werten, überprüft werden, ob eine der ausgewählten Bestimmungsgrößen für den Vergleich der generierten Daten-Sequenz 102 und der aufgezeichneten Daten-Sequenz 104 sicherheitsrelevant ist.
-
Bei aufgezeichneten Daten-Sequenzen 104, die in die vierte Bewertungs-Klasse D klassifiziert werden, passen keine der Vielzahl der generierten Daten-Sequenzen 102 zu der entsprechenden aufgezeichneten Daten-Sequenz 104, so dass in einem Schritt 331 ein neues Simulationsverfahren entwickelt und durchgeführt werden kann, oder den ausgewählten Bestimmungsgrößen entsprechende Fahrten der mobilen Plattform durchgeführt werden können.
-
Für einen Überblick, in welchem Bereich der gewählten Bestimmungsgrößen, wie zum Beispiel einem Bereich von Parametern, das computerimplementierte Verfahren eingesetzt werden kann, können die entsprechenden gewählten Bestimmungsgrößen, der generierten Daten-Sequenzen 102, die mit den aufgezeichneten Daten-Sequenzen 104 in die dritte Bewertungs-Klasse C oder die vierte Bewertungs-Klasse D klassifiziert werden, selbst in einen Parameterraum direkt übertragen werden.
Maßgeblich beim Übertragen ist der jeweilige Wert der entsprechenden Bestimmungsgröße der aufgezeichneten Daten-Sequenz vP eines jeden des Vergleichs (z.B. V1 vs alle Sx). Hierbei können Parameterpunkte der dritten Bewertungs-Klasse C einem Gebiet A zugeordnet werden und Parameterpunkte der vierten Bewertungs-Klasse D einem Gebiet C. Gängige Parameterraum-Verfahren wie Dichteschätzung (Kernel Density Estimation) oder Klassifikation können hierzu verwendet werden.
Für die Parameterpunkte der ersten Bewertungs-Klasse A und der zweiten Bewertungsklasse B können vor dem entsprechenden Eintragen in den Parameterraum die oben beschriebenen Verfahren mit engeren Grenzen und/oder zusätzlichen Bestimmungsgrößen durchgeführt werden.
