DE102018128890A1

DE102018128890A1 - Verfahren und Testvorrichtung zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug

Info

Publication number: DE102018128890A1
Application number: DE102018128890.5A
Authority: DE
Inventors: Vladislav Nenchev
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2020-05-20

Abstract

Die Erfindung betrifft ein Verfahren zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug (E). Das Verfahren umfasst ein Festlegen eines Satzes K von in einem Parameterraum eines parametrisierbaren Szenarios (A, B) einzuhaltenden Kriterien; ein Festlegen einer Kostenfunktion R für den Satz K von einzuhaltenden Kriterien, wobei durch die Kostenfunktion R eine Maßzahl bestimmbar ist, die charakteristisch für die Einhaltung der Kriterien in dem parametrisierbaren Szenario (A, B) ist; ein Ermitteln eines Gradienten für die Kostenfunktion R in dem Parameterraum des parametrisierbaren Szenarios (A, B); und ein Bestimmen eines modifizierten Szenarios (M, V) basierend auf dem ermittelten Gradienten.Die Erfindung betrifft des Weiteren eine Testvorrichtung für ein Fahrassistenzsystem für ein Kraftfahrzeug (E)

Description

Die Erfindung betrifft ein Verfahren zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug. Die Erfindung betrifft des Weiteren eine Testvorrichtung zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug.
Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zum Entwickeln und Testen von Fahrassistenzsystemen bekannt. Eine gängige Vorgehensweise zur agilen Entwicklung für eine automatisierte oder autonome Fahrfunktion beginnt mit der Entwicklung eines ausführbaren Akzeptanztest für eine dem Fahrassistenzsystem zugrundeliegende Funktionssoftware. Der Akzeptanztest basiert in der Regel auf der Überprüfung einer klar definierten Teilmenge von Anforderungen im Hinblick auf eine Performance und Sicherheit für die Funktion der Funktionssoftware in einem konkreten Fahrszenario. Solche Akzeptanztest werden mit Hilfe eines Umgebungssimulators ausgeführt, wobei die Funktionssoftware in einer sogenannten Software-in-the-Loop- oder Hardware-in-the-Loop-Umgebung ausgeführt wird. Falls die für den Akzeptanztest definierten Anforderungen während der Ausführung der Funktionssoftware nicht erfüllt sind, kann der Entwickler den Funktionscode gezielt anpassen und erweitern, bis der Akzeptanztest bei einer erneuten Durchführung nicht mehr zu einer Verletzung der Anforderungen führt. Durch das Ausführen von anderen, bereits existierenden Akzeptanztests kann zusätzlich sichergestellt werden, dass bei diesem Vorgang bereits vorhandene Funktionalitäten weiterhin intakt bleiben und somit sämtliche Anforderungen für das Fahrassistenzsystem erfüllt bleiben.
Wegen der Komplexität von automatisierten und autonomen Fahrfunktionen einerseits sowie andererseits der Vielzahl von zu berücksichtigenden Umweltbedingungen, die auf eine derartige Fahrfunktion einwirken, ist es allerdings oftmals nicht möglich, die Anzahl von notwendigen Akzeptanztests vorab zu bestimmen, um selbst eine relativ kleine, klar definierte Teilmenge von Anforderungen sicher in jeglichem Betriebszustand zu überprüfen.
Eine automatisierte oder formale Verifikation kann grundsätzlich zur Überprüfung von Anforderungen für eine Funktionssoftware sowie für eine Verbesserung ihrer Qualität verwendet werden. Derartige Methoden verwenden häufig einen sogenannten Model-Checking-Ansatz, mit dem Anforderungen für Computerprogramme mit endlich vielen Zuständen automatisch verifiziert werden können. Diese Grundvoraussetzung ist in der Praxis insbesondere bei Fahrassistenzsystemen selten gegeben. Dementsprechend beschränkt man sich bei der Verifikation von Fahrassistenzsystemen oftmals auf die Überprüfung von sicherheitskritischen Systemanteilen. Obwohl in den letzten Jahren viele neue Ansätze für spezifische Spezifikationsklassen, zum Beispiel Linear Temporal Logic, Metric Temporal Logic und so weiter, vorgeschlagen wurden, ist eine vollautomatische Verifikation für eine breite Klasse von Computerprogrammen häufig noch ein algorithmisch unlösbares beziehungsweise mindestens NP-schweres Problem. Dies gilt insbesondere für den relevanten, in der Regel kompletten, Umfang einer autonomen Fahrfunktionssoftware von der Sensordatenverarbeitung bis zur Aktuatoransteuerung.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, verbesserte Verfahren und Vorrichtungen zum Testen eines Fahrassistenzsystems zu beschreiben. Insbesondere soll der Aufwand zum Testen des Fahrassistenzsystems bei gleicher Testabdeckung reduziert oder die Abdeckung des Tests bei gleichbleibendem Aufwand für die Verifikation erweitert werden.
Diese Aufgabe wird durch ein Verfahren mit den Schritten gemäß dem Anspruch 1 sowie durch die Vorrichtung mit den Merkmalen gemäß dem Anspruch 11 gelöst.
Gemäß dem einen ersten Aspekt der Erfindung umfasst ein Verfahren zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug die folgenden Schritte:

- Festlegen eines Satzes K von in einem Parameterraum eines parametrisierbaren Szenarios einzuhaltenden Kriterien;
- Festlegen einer Kostenfunktion R für den Satz von einzuhaltenden Kriterien, wobei durch die Kostenfunktion R eine Maßzahl bestimmbar ist, die charakteristisch für die Einhaltung der Kriterien in dem parametrisierbaren Szenario ist;
- Ermitteln eines Gradienten für die Kostenfunktion R in dem Parameterraum des parametrisierbaren Szenarios; und
- Bestimmen eines modifizierten Szenarios basierend auf dem ermittelten Gradienten.

Unter einem Fahrassistenzsystem wird dabei sowohl eine Vorrichtung zum Automatisieren einer einzelnen Teilfunktion des Fahrzeugs, wie beispielsweise ein Tempomat, als auch ein vollständig autonomes Fahrsystem verstanden.
Als Start für das Verfahren wird ein konkretes Fahrszenario, bei dem eine klar definierte Teilmenge von automatisiert überprüfbaren Anforderungen erfüllt werden soll, gewählt. Für diese Anforderungen wird eine Kostenfunktion definiert, die ein Maß, insbesondere ein Robustheitsmaß, für die Erfüllung der Spezifikationsanforderungen darstellt. Mittels der Kostenfunktion wird nach einem mittels Parametrisierung modifizierten Fahrszenario, das heißt einem Fahrszenario mit geänderten Startparametern, gesucht, für das die einzuhaltenden Kriterien möglicherweise nicht mehr erfüllt sind. Die Suche stellt sich dabei als ein Optimierungsproblem über den Szenarienparameterraum dar. Zum beschleunigten Auffinden von Anforderungsgrenzen beziehungsweise Teilbereichen des Parameterraums, in dem der festgelegte Satz von einzuhaltenden Kriterien nicht mehr eingehalten wird, wird ein Gradient über dem Parameterraum berechnet beziehungsweise geschätzt, der die Parametrisierung des Szenarios in Richtung der Anforderungsgrenzen leitet.
Mit anderen Worten wird durch das Verfahren ein anfänglich gegebenes Szenario zunächst parametrisiert, und die Parameter für das so parametrisierte Szenario bewusst in eine Richtung verändert, die möglichst schnell zu einer Verletzung von einzuhaltenden Kriterien führen. Durch dieses Vorgehen kann gegenüber einer zufälligen Auswahl von Szenarien für einen Akzeptanztest besonders schnell erkannt werden, in welchem Bereich eines grundsätzlichen unendlichen Parameterraums weitere Testszenarien beziehungsweise Verbesserungen einer Funktionssoftware erforderlich sind.
In wenigstens einer Ausgestaltung werden die Schritte des Ermittelns eines Gradienten und Bestimmens eines modifizierten Szenarios iterativ durchgeführt, bis die durch die Kostenfunktion R für das modifizierte Szenario bestimmbare Maßzahl anzeigt, dass der festgelegte Satz K von einzuhaltenden Kriterien durch das Fahrassistenzsystem für das modifizierte Szenario nicht mehr eingehalten wird. Ein derartiges Vorgehen ermöglicht die schnelle und systematische Bestimmung von Anforderungsgrenzen für das parametrisierbare Szenario.
In wenigstens einer Ausgestaltung werden die Schritte des Ermittelns eines Gradienten und Bestimmens eines modifizierten Szenarios iterativ durchgeführt, bis ein Extremwert, beispielsweise ein lokales oder globales Maximum oder Minimum, der Kostenfunktion R erreicht wird. Ein derartiges Vorgehen ermöglicht die schnelle und systematische Bestimmung von Bereichen des Parameterraums in dem die vorgegebenen Anforderungen besonders gut oder schlecht eingehalten werden, und die somit charakteristisch für die Abdeckung beziehungsweise Nichtabdeckung des parametrisierbaren Szenarios durch das zu testende Fahrassistenzsystem sind.
In wenigstens einer Ausgestaltung werden die Schritte des Ermitteln eines Gradienten und Bestimmen eines modifizierten Szenarios ausgehend von einer Mehrzahl von konkret parametrierten Startszenarien ausgeführt, um eine Mehrzahl korrespondierender Extremwerte zu finden. Beispielweise kann das Verfahren hierzu in einem übergeordneten Verfahren eingebettet und von mehreren Punkten des Parameterraumes parallel ausgeführt werden, bis ein lokales Optimum gefunden wird. Dies ist insbesondere von Vorteil, wenn man keinen Anfangspunkt finden kann, an dem alle Kriterien eines Szenarios erfüllt sind.
In wenigstens einer Ausgestaltung umfasst der Schritt des Ermittelns eines Gradienten wenigstens folgende Teilschritte: Bestimmen wenigstens eines Satzes von Parametern in dem Parameterraum des parametrisierbaren Szenarios, wobei der wenigstens eine Satz von Parametern das modifizierte Szenario definiert; Bestimmen einer für das modifiziertes Szenario charakteristischen Maßzahl durch die Kostenfunktion R; und Bestimmen des Gradienten der Kostenfunktion R in dem Parameterraum des parametrisierbaren Szenarios basierend auf der für das modifizierte Szenario bestimmten Maßzahl. Ein derartiges Vorgehen ermöglicht die numerische Bestimmung eines Gradienten.
In wenigstens einer Ausgestaltung wird die charakteristische Maßzahl für das modifizierte Szenario basierend auf einer Simulation des modifizierten Szenarios in einem Umgebungssimulator bestimmt. Ein derartiger Ansatz ermöglicht die Integration des erfindungsgemäßen Testverfahrens in bekannte Simulatorumgebungen.
In wenigstens einer Ausgestaltung wird der Gradient für die Kostenfunktion R basierend auf einer statistischen Untersuchung des Parameterraums des parametrisierbaren Szenarios abgeschätzt. Beispielsweise kann ein modifizierter Satz von Parametern durch zufällige Stichproben oder stochastische Verfahren ermittelt werden. Basierend auf einer Variation der bestimmten Parameter und dessen Auswirkung auf die Kostenfunktion kann insbesondere eine Richtung in dem Parameterraum abgeschätzt werden, in dem eine weitere Verbesserung beziehungsweise Verschlechterung der Kostenfunktion erwartet wird.
In wenigstens einer alternativen Ausgestaltung wird der Gradient für die Kostenfunktion R basierend auf einer analytischen Untersuchung der Kostenfunktion R berechnet. Ein derartiger Ansatz erlaubt insbesondere eine mathematisch präzise Bestimmung von zu untersuchenden Szenarien oder Anforderungsgrenzen für das parametrisierbare Szenario.
In wenigstens einer Ausgestaltung umfasst der festgelegte Satz K von einzuhaltenden Kriterien N einzuhaltenden Kriterien k₁, ..., k_N mit N > 1. Für jede der N einzuhaltenden Kriterien k₁, ..., k_N wird eine Einzelkostenfunktion r_n (k_n (x_s (t) ,p_s) bestimmt, wobei x_s(t) die zeitvariablen Trajektorien von Verkehrsteilnehmern des parametrisierbaren Szenarios für eine endliche Szenariodauer T_s mit t∈ (0, T_s) beschreibt, und p_s über die Dauer des parametrisierbaren Szenarios konstante Parameter beschreibt. Durch jede der bestimmten Einzelkostenfunktion r_n ist eine Maßzahl bestimmbar, die charakteristisch für die Einhaltung des jeweiligen Kriteriums k_n in dem parametrisierbaren Szenario ist. Es wird eine Gesamtkostenfunktion als Funktion der N Einzelkostenfunktionen g (r₁, ..., r_N) bestimmt, wobei durch die Gesamtkostenfunktion g eine Gewichtung der N einzuhaltenden Kriterien k₁, ..., k_N bestimmt wird. Ein derartiger Ansatz ermöglicht eine an Einzelkriterien orientierte Definition der Kostenfunktion R sowie die einfache Festlegung der Gewichtung von unterschiedlichen Kriterien.
In wenigstens einer Ausgestaltung umfasst das zu testende Fahrassistenzsystem ein oder mehrere Softwarefunktionsmodule einer automatisierten oder autonomen Fahrfunktion. Derartige Softwaremodule sind für das korrekte Funktionieren eines Fahrassistenzsystems von besonderer Bedeutung und eignen sich für einen Test mittels des erfindungsgemäßen Verfahrens.
Gemäß einem zweiten Aspekt der Erfindung wird eine Testvorrichtung für ein Fahrassistenzsystem für ein Kraftfahrzeug offenbart, die wenigstens einen Prozessor und wenigstens eine Speichervorrichtung zum Speichern von Programmcode umfasst, wobei in der wenigstens einen Speichervorrichtung durch den wenigstens einen Prozessor ausführbarer Programmcode zum Ausführen eines Verfahrens gemäß dem ersten Aspekt gespeichert ist. Eine derartige Testvorrichtung gestattet das Testen von Fahrassistenzsystemen unter Verwendung des oben beschriebenen Verfahrens.
Im Folgenden werden die Erfindung und ihre Ausführungsformen anhand von Zeichnungen näher erläutert. Darin zeigen:

1 ein Ablaufdiagramm eines Verfahrens zum Testen eines Fahrassistenzsystems gemäß einem Ausführungsbeispiel der Erfindung;
2 ein erstes, beispielhaftes Szenario;
3 ein zweites, beispielhaftes Szenario; und
4 eine Testvorrichtung für ein Fahrassistenzsystem.

1 zeigt ein Ablaufdiagram eines Verfahrens zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug mittels eines parametrisierbaren Szenarios. Das Verfahren wird zunächst im Allgemeinen anhand einer formalen, mathematischen Definition beschrieben. Nachfolgend wird das Verfahren unter Bezugnahme auf zwei beispielhaften Szenarien A und B gemäß den 2 und 3 anhand konkreter Ausführungsbeispiele beschrieben.
In einem ersten Schritt S1 des Verfahrens wird als Start ein konkretes, das heißt vollständig parametrisiertes, Fahrszenario S gewählt. Bevorzugt wird ein Fahrszenario S gewählt, bei dem eine klar definierte Teilmenge von automatisiert überprüfbaren Anforderungen in der Form von einzuhaltenden Kriterien einer Spezifikation erfüllt sind.
Alternativ kann das Verfahren auch mit einem anderen konkreten Fahrszenario S, entsprechend einem beliebigen Punkt des Parameterraums, gestartet werden. Falls an diesem Punkt die Anforderungen nicht erfüllt sind, kann man von dort aus mit Hilfe des Verfahrens einen Punkt suchen, an dem die Anforderungen erfüllt sind. Dabei ist jedoch zu beachten, dass die Konvergenz zu einem Punkt, an dem die Anforderungen erfüllt sind, nicht immer gewährleistet ist. Das nachfolgend konkret beschriebene Verfahren konvergiert zum Beispiel nur zu einem lokalen, aber nicht zwingend zu einem globalen Optimum des Parameterraums. Zum Auffinden eines weiteren Extremwertes, insbesondere eines globalen Maximums, kann das Verfahren mehrfach ausgeführt werden, zum Beispiel als Teil eines übergeordneten Verfahrens. Dabei wird das Verfahren beispielsweise für mehrere Punkte des Parameterraumes parallel ausgeführt, bis ein lokales Optimum gefunden wird. Das ist insbesondere von Vorteil, wenn man keinen Anfangspunkt finden kann, an dem alle Kriterien erfüllt sind.
Bei dem Szenario handelt es sich beispielsweise um die Annäherung eines automatisiert oder autonom gesteuerten Fahrzeugs an ein vorausfahrendes Fahrzeug. Zu den einzuhaltenden Kriterien kann dann beispielsweise gehören, dass die beiden Fahrzeuge nicht kollidieren beziehungsweise sich nicht zu nahe kommen, sowie dass das gesteuerte Fahrzeug den durch die autonome beziehungsweise automatisierte Fahrfunktion vorgegebenen Zweck erreicht.
In der formalen Beschreibung ist das konkrete Fahrszenario S, bei dem die Spezifikation erfüllt ist, über einen endlich dimensionalen, aber in der Regel unendlich großen, Parameterraum des Fahrszenarios bestimmt. Der Parameterraum umfasst die Anfangszustände von allen Verkehrsteilnehmern, bezeichnet durch den Vektor x_s(0), und andere über die Dauer des Szenarios konstante Parameter, gegeben durch einen Vektor p_s. Sofern das Verhalten der anderen Verkehrsteilnehmer von Anfang an konstant ist, kann ihr Anfangszustand in den Vektor p_s einfließen. Die endliche Dauer des Fahrszenarios S beträgt T_s. Die Szenariodauer T_s kann dabei für unterschiedlich parametrisierte Szenarien unterschiedlich sein und sich insbesondere aus anderen Parametern ergeben. Die zeitvariablen Trajektorien der Verkehrsteilnehmer ergeben sich aus dem zeitabhängigen Vektor x_s(t) mit t ∈ (0, T_s).
Die Spezifikation des Fahrassistenzsystems besteht dabei aus einer endlichen Anzahl N von überprüfbaren Kriterien: $K = {k_{1} (x_{s} (t), p_{s}) \geq 0, \dots, k_{N} (x_{s} (t), p_{s}) \geq 0} \forall t \in (0, T_{s})$
Im beschrieben Ausführungsbeispiel sind die einzelnen Kriterien mathematisch durch die oben genannten Ungleichungen so definiert, dass eine Erfüllung des entsprechenden Kriterium jeweils durch einen positiven Wert angezeigt wird. Selbstverständlich ist auch eine davon abweichende Definition möglich.
In einem Schritt S2 wird für die Einhaltung des Satzes K von Kriterien wenigstens eine Kostenfunktion bestimmt. Durch Definition der Kostenfunktion werden die verschiedenen einzuhaltenden Kriterien in eine mathematische Form gebracht, die der nachfolgend beschriebenen Optimierung zugänglich ist.
Beispielsweise wird für jede einzelne der N Kriterien k_n aus der Menge K eine Einzelkostenfunktion r_n wie folgt definiert: $r_{n} (k_{n} (x_{s} (t), p_{s})) = min_{x_{s} (t); t \in (0, T_{s})} (k_{n} (x_{s} (t), p_{s}))$
Dabei bezeichnet die Funktion min den minimalen Wert für das Kriterium k_n entlang der zeitabhängigen Trajektorie x_s(t) über die gesamte Szenariodauer T_s. Mittels dieser Funktion kann somit der Punkt der Trajektorie x_s(t) bestimmt werden, an dem das Kriteriums k_n am schlechtesten eingehalten wird und der somit am relevantesten für eine mögliche Verletzung der Spezifikation ist.
Basierend auf den N Einzelkostenfunktionen k_n kann eine Gesamtkostenfunktion R wie folgt definiert werden, welche die kriterienbezogenen Einzelkostenfunktionen r₁, ..., r_N auf geeignete Weise kombiniert: $R (x_{s} (t), p_{s}) = g (r_{1}, \dots, r_{N})$
Zum Beispiel kann durch die Wahl der Funktion g eine Gewichtung der Kriterien getroffen werden. Im einfachsten Fall werden die einzelnen Kostenfunktionen r₁, ..., r_N aufaddiert, gegebenenfalls multipliziert mit einem festen Gewichtungsfaktor. Grundsätzlich ist es aber auch möglich, komplexere Wechselwirkungen zwischen den Einzelkostenfunktionen r₁, ..., r_N zu definieren.
Nachfolgend wird in einem Schritt S3 ein modifiziertes, verletzendes Szenario V gesucht, bei dem die Spezifikation, gegeben durch den Kriteriensatz K, nicht mehr erfüllt ist.
Ausgehend vom Startszenario S und dessen Kosten R(x_s(t),p_s) startet die Suche nach dem Minimum für ein verletzendes Szenario V mit Kosten R(x_v (t) , p_v) mit t ∈ (0, T_s), bei dem die Spezifikation nicht erfüllt ist, über den potentiell beschränkten, endlich-dimensionalen Szenarienparameterraum (X (0) , P). Das heißt, es wird ein lokales Minimum (x_v(0), p_v) gemäß der folgenden Formel bestimmt: $(x_{v} (0), p_{v}) = \underset{(x (0), p) in (X (0), P)}{argmin} R (x (t), p)$
Dabei ermittelt die Funktion argmin den Wert der Laufparameter des Optimierungsproblems für den die Kostenfunktion R(x(t), p) minimal wird, also den Punkt (xv(0) ,pv) im Parameterraum (X(0), P) für den die Gesamtkostenfunktion R(x(t),p) minimal ist.
Um den Aufwand zur Bestimmung des modifizierte Szenario V zu reduzieren, wird der in einem Teilschritt S3.1 zunächst der Gradient der Kostenfunktion R über den Suchraum berechnet beziehungsweise geschätzt, der die Parametrisierung des Szenarios in Richtung seiner Anforderungsgrenzen leitet. Basierend auf dem Gradienten wird dann in einem Teilschritt S3.2 ein modifiziertes Szenario M bestimmt, das in einem weiteren Teilschritt S3.3 dahingehend untersucht wird, ob es dem Satz K von Kriterien noch genügt. Durch eine Iteration des Verfahrens kann ein lokales Optimum (x_v(0),p_v) für ein hinreichend stark modifiziertes Szenario V gefunden werden, welches zu einer Verletzung der Spezifikation korrespondiert.
Der Schritt S3 kann auf verschiedenen Weisen implementiert werden. Beispielsweise kann der Gadient der Kostenfunktion im Teilschritt S3.1 durch eine mathematische Analyse der Gesamtkostenfunktion R erfolgen. Dabei kann zum Beispiel analysiert werden, in welchem mathematischen Verhältnis sich einer oder mehrere der Parameter des Parameterraums zu einer durch die Kostenfunktion gegebenen Maßzahl stehen. Geht beispielsweise eine höhere Anfangsgeschwindigkeit eines zu steuernden Fahrzeugs als positiver additiver oder multiplikativer Faktor in die Gesamtkostenfunktion ein, weist der Gradient der Kostenfunktion im Parameterraum tendenziell in Richtung einer zunehmenden Anfangsgeschwindigkeit. Im Schritt S3.2 kann dann je nach erkannter mathematischer Beziehung bestimmt oder zumindest abgeschätzt werden, bei welchem Wert für den oder die untersuchten Anfangsparameter im Schritt S3.3 eine Verletzung auftritt.
Alternativ ist es auch möglich, den Gradienten im Teilschritt S3.1 numerisch basierend auf einer anfänglich zufälligen Variation der Parameter des parametrisierbaren Szenarios zu bestimmen. Hierzu eignen sich statistische Verfahren wie beispielsweise random sampling oder eine stochastische Variation. Durch die Variation wird wenigstens ein Satz von modifizierten Parametern für das gewählte, parametrisierte Szenario, und somit ein konkretes, modifiziertes Szenario M bestimmt. In einem weiteren Teilschritt wird basierend auf der definierten Kostenfunktion und dem modifizierten Szenario M eine geänderte Maßzahl für die Kostenfunktion R bestimmt.
Beispielsweise kann durch die Ausführung des konkret parametrisierten Szenarios M in einem Umfeldsimulator der Wert von R direkt berechnet werden. Basierend auf einer Differenz zwischen der Maßzahl für das modifizierte Szenario M und einem zuvor untersuchten Szenario, insbesondere dem Startszenario S, wird schließlich der Gradient bestimmt, der angibt, in welcher Richtung die einzuhaltenden Kriterien K für das Szenario besser beziehungsweise schlechter eingehalten werden. Basierend auf dieser Information kann der Parameterraum in den Schritten S3.2 und S3.3 in der nächsten Iteration dann weiter untersucht werden, um das gesuchte Szenario V aufzufinden.
Das im Schritt S3 bestimmte Minimum für das hinreichend modifizierte Szenario V gibt dabei die Anforderungsgrenzen für das parametrisierbare Szenario an. Anders ausgedrückt können in dem Parameterraum solche Bereiche aufgefunden werden, bei denen die einzuhaltenden Kriterien k₁ bis k_N gerade noch eingehalten werden, oder solche Bereiche, in denen die einzuhaltenden Kriterien gerade nicht mehr eingehalten werden.
Die im Schritt S3 bestimmten Anforderungsgrenzen beziehungsweise Teilbereiche werden in einem abschließenden Schritt S4 an einen Benutzer des Testsystems ausgegeben.
Der Benutzer des Testsystems kann basierend auf diesen Angaben die Funktionssoftware weiter entwickeln, um die Anforderungen in einem erweiterten Teilbereich des Parameterraums einzuhalten oder das Fahrszenario zumindest auf den Bereich des Parameterraums zu beschränken, in dem die einzuhaltenden Kriterien K tatsächlich eingehalten werden.
Durch das oben genannte Testverfahren kann von einem konkret isolierten Softwaremodul, wie beispielsweise einem Softwaremodul zur Trajektorieplanung für das gesteuerte Fahrzeug, bis hin zu einem gesamten Software-Stack einer autonomen Fahrfunktion untersucht werden.
Analog kann das Verfahren durch geeignete Wahl der Funktion R zur Bestimmung von Komfort- und Fahrdynamikparametern einer Funktionssoftware verwendet werden. Dafür müssen analog den beschriebenen Fällen entsprechende Komfortkriterien formuliert werden.
Das oben formal beschriebene Verfahren wird nun anhand von zwei konkreten Ausführungsbeispielen für unterschiedliche Fahrszenarien beschrieben.
2 zeigt die Anwendung der Methode für ein konkretes Fahrszenario A mit einem konstant fahrenden Vorderfahrzeug F. Die Funktionssoftware besteht aus einem Umfeldmodell, einer Fahrstrategie und einer Trajektorieplanung für eine sogenannte ACC-Funktion (English: Adaptive Cruise Control), also einem Tempomaten, der sich automatisch an die Umgebungsbedingungen anpasst. Im beschriebenen Ausführungsbeispiel sei ein Vorderfahrzeug F mit einer konstanten Geschwindigkeit von v_F = 60 km/h gegeben. Der initiale Abstand zu einem von der Funktionssoftware zu steuernden Fahrzeug E, im Folgenden Ego-Fahrzeug, beträgt d(0) = 15 m. Das Ego-Fahrzeug E fährt anfänglich mit einer Geschwindigkeit v_E(0) = 80 km/h, was der über die Szenariodauer T konstant bleibenden Fahrerwunschgeschwindigkeit v_des = 80 km/h entspricht. Damit sind x_s(0) = (v_E (0), d(0)) und p_s = (v_F, v_des).
Die Spezifikation beinhaltet im Ausführungsbeispiel vier Kriterien:

k₁:: dass sich zum Ende des Szenarios, also zum Zeitpunkt T, die Geschwindigkeit v_F-0,1 km/h ≤ v_E(T) ≤ v_F+0,1 km/h eingestellt hat, also sich die tatsächliche Geschwindigkeit des Ego-Fahrzeugs E an die Geschwindigkeit des vorausfahrenden Fahrzeugs F angepasst hat;
k₂:: dass der Abstand d(t) ≥ 5 m für 0 < t ≤ T ist, dass also über die gesamte Szenariodauer ein ausreichender Sicherheitsabstand eingehalten wird;
k₃:: dass die Geschwindigkeit des Ego-Fahrzeugs v_E (t) ≥ 0 m/s für 0 < t ≤ T ist, das Ego-Fahrzeug also nicht zum Stehen kommt; und
k₄:: dass die Beschleunigung des Ego-Fahrzeugs a_E(t) ≤ 2 m/s² für 0 < t ≤ T ist, also auf eine allzu große, unnötige Beschleunigung des Ego-Fahrzeugs verzichtet wird.

Diese Kriterien k₁ bis k₄ sind für die oben beschriebenen Anfangsparameter des Szenarios S erfüllt. Da die einzelnen Kriterien k₁ bis k₄ nur durch Ungleichungen beschrieben werden können, können diese zum Beispiel durch die Methode der Barrier Function Methods approximiert werden. So bekommt man eine Gesamtkostenfunktion R als direkte Summe der Werte der vier Einzelkriterien k₁ bis k₄.
In diesem einfachen Fall kann der Gradient der Kostenfunktion analytisch ermittelt werden. Durch Anwendung des vorgeschlagenen Verfahrens kann dann identifiziert werden, dass beispielsweise im Fall von v_F = 30 km/h das erste Kriterium k₁ verletzt wird. Mit anderen Worten ausgedrückt, kann die zu testende Funktionssoftware die Geschwindigkeit des Ego-Fahrzeug E im Rahmen der Szenariodauer T unter Einhaltung sämtlicher der zuvor genannten Kriterien k₂ bis k₄ nicht an die Zielgeschwindigkeit gemäß dem Kriterium k₁ anpassen. Somit ist beispielweise zu überprüfen, ob im gegebenen Fall die Kontrolle an einem menschlichen Fahrer des Ego-Fahrzeugs E abgegeben oder auf eine andere Fahrfunktion ausgewichen werden sollte.
Eine Fahrfunktion zur Steuerung eines alternativen Fahrszenarios B wird anhand der 3 beschrieben. In dem Fahrszenario B führt das autonom fahrende Ego-Fahrzeug E einen automatischen Spurwechsel auf eine linke Spur durch. Wie bei dem Szenario A gemäß 2 ist ein konstant fahrendes Vorderfahrzeug F vorhanden, welches eine niedrigere Geschwindigkeit hat als die Wunschgeschwindigkeit v_des des Fahrers des Ego-Fahrzeugs E. Die zu testende Funktionssoftware besteht auch in diesem Fall aus Umfeldmodell, Fahrstrategie und Trajektorieplanung.
Gegeben sei ein Vorderfahrzeug F mit einer konstanten Geschwindigkeit von v_F = 60 km/h. Der initiale Abstand zum Ego-Fahrzeug E beträgt d(0) = 20 m. Das Ego-Fahrzeug E fährt initial mit v_E(0) = 80 km/h, sein Winkel bezüglich der Spurmitte beträgt th(0) = 0° und die Distanz des Ego-Fahrzeugs E zur Mitte seiner Spur d_spur(0) = 0 m. Über die Szenariodauer T hinweg bleibt die Fahrerwunschgeschwindigkeit konstant mit v_des = 80 km/h. Die Straße hat zwei befahrbare Standardspuren. Beide Fahrzeuge E und F sind initial auf der rechten Spur, das Vorderfahrzeug F bleibt für die gesamte Szenariodauer T auf der rechten Spur. Es wird eine maximale Szenariodauer von T = 15 s festgelegt.
Nun sollen die Anfangslängsgeschwindigkeit des Ego-Fahrzeugs v_E(0), der initiale Abstand des Ego-Fahrzeugs E zum Vorderfahrzeug d(0) und die initiale Distanz des Ego-Fahrzeugs E zur Mitte seiner Spur d_spur(0) variiert werden. Damit sind x_s(0) = (v_E(0), d(0), d_spur(0)) und p_s = (v_F, v_des, th(0), T). Die Spezifikation beinhaltet die folgenden sieben Kriterien:

k₁:: dass die Längsgeschwindigkeit des Ego-Fahrzeugs E am Ende des Fahrszenarios v_E(T) = 80 km/h beträgt, das heißt, das Ego-Fahrzeug E bewegt sich mit der Wunschgeschwindigkeit seines Fahrers;
k₂:: dass das Ego-Fahrzeug E am Ende des Szenarios auf der linken Spur ist;
k₃:: dass die Distanz des Ego-Fahrzeugs E zur Mitte seiner Spur am Ende des Szenarios d_spur(T) ≤ 0,3 m beträgt;
k₄:: dass der Winkel des Ego-Fahrzeugs E bezüglich der Mitte seiner aktuellen Spur am Ende des Szenarios th(T) ≤ 0.01° beträgt, das heißt, das Ego-Fahrzeug E fährt im Wesentlichen geradeaus;
k₅:: dass der Abstand zum Vorderfahrzeug d(t) ≥ 5 m für 0 < t ≤ T beträgt, also für das gesamte Szenario;
k₆:: dass die Beschleunigung des Ego-Fahrzeugs -1 m/s² ≤ a_E(t) ≤2 m/s² für 0 < t ≤ T ist; und
k₇:: dass keine Kollision stattgefunden hat, das heißt, dass die konvexe Hülle des Ego-Fahrzeugs E, beschrieben durch die Ungleichung A_E*pos_E(t) ≤ B_E, hat zu keinem Zeitpunkt t mit 0 < t ≤ T eine Überlappung mit der konvexen Hülle des Vorderfahrzeugs F, beschrieben durch die Ungleichung A_F*pos_F(t) ≤ B_E, aufweist. Dabei sind pos_E(t) und pos_F(L) die Positionen zum Zeitpunkt t jeweils vom Ego-Fahrzeug E und vom Vorderfahrzeug F in einem globalen Koordinatensystem.

Nun wird jedes Kriterium der Spezifikation mit einer entsprechenden Funktion k_n approximiert. Da in diesem Fall die Kriterien Gleichungen und Ungleichungen beinhalten, kann das Verfahren der Penalty Methods verwendet werden. Die Terme der Form k_n(x) ≤ 0, die zu den einzelnen Kriterien k_n korrespondieren, können somit durch eine Gesamtkostenfunktion g(k_n(x)) approximiert werden. Dies kann entweder „hart“, zum Beispiel stückweise durch Polynome erfolgen oder weich, zum Beispiel durch Verwendung einer Exponentialfunktion wie g(k_n(x)) = exp(k_n(x)), approximiert werden.
Auch in diesem Fall wird die Gesamtkostenfunktion R als direkte Summe der Werte der Kriterien bestimmt. Der Term für Kriterium k₇, der zur Kollisionsüberprüfung korrespondiert, wird dabei jedoch deutlich höher gewichtet als die restlichen Terme in der Gesamtkostenfunktion g. Durch Anwendung des vorgeschlagenen Verfahrens konnte dann identifiziert werden, dass im Fall v_F = 30 km/h das erste Kriterium verletzt wird. Dies bedeutet konkret, dass ein Ausweichen des Ego-Fahrzeugs E in diesem Grenzbereich zwar noch möglich ist, die Wunschgeschwindigkeit v_des des Fahrers im betrachteten Zeitraum T jedoch nicht eingehalten werden kann.
4 zeigt eine computerimplementierte Testvorrichtung 10, umfassend einen Prozessor 11 und eine Speichervorrichtung 12. In der Speichervorrichtung 12 sind verschiedene Programmcodeblöcke 13 bis 16 zum Ausführen des oben beschriebenen Testverfahrens abgelegt. Ein erster Programmcodeblock 13 dient zum Ausführen eines Umfeldsimulators, in dem ein konkret parametrisiertes Szenario zum Testen einer Funktionssoftware eines Fahrassistenzsystems simuliert werden kann. Ein zweiter Programmcodeblock 14 dient zum Erfassen von einzuhaltenden Kriterien sowie der Bestimmung zugehöriger Kostenfunktionen und eventueller Gewichtungen zwischen unterschiedlichen Einzelkostenfunktionen. Ein dritter Programmcodeblock 15 dient zum Bestimmen eines Gradienten für eine bestimmte Gesamtkostenfunktion. Ein vierter Programmcodeblock 16 dient zur Steuerung des Gesamtsystems und ermittelt insbesondere modifizierte, konkret parametrisierte Szenarien M basierend auf dem vom dritten Programmcodeblock 15 bestimmten Gradienten. Eine Ausgabevorrichtung 17 gibt Parater für solche Szenarien V aus, bei denen wenigstens ein einzuhaltendes Kriterien verletzt wird.
Durch die oben beschriebene Verfahren und Vorrichtungen können bestehende Anforderungsgrenzen von vorgegebenen Fahrszenarien besonders einfach und effizient bestimmt werden. Somit ist es möglich, die untersuchten Fahrszenarien weiter zu entwickeln oder entsprechende Fahrassistenzsysteme zumindest auf einem zulässigen Anforderungsbereich zu beschränken. Gleichzeitig kann auf die wiederholte Ausführung von Test in einem Bereich, in dem eine vorgegebene Spezifikation durch ein Fahrassistenzsystem sicher eingehalten wird, verzichtet werden, was den rechnerischen Aufwand bei der Verifikation von Fahrassistenzsystemen reduziert.
Bezugszeichenliste
S1 bis S4 Verfahrensschritte

K: Satz von Kriterien
R: Kostenfunktion
S: Startszenario
M: modifiziertes Szenario
V: verletzendes Szenario
E: Ego-Fahrzeug
F: vorausfahrendes Fahrzeug
v_E: Geschwindigkeit des Ego-Fahrzeugs
v_F: Geschwindigkeit des vorausfahrenden Fahrzeugs
10: Testvorrichtung
11: Prozessor
12: Speichervorrichtung
13: erster Programmcodeblock (Umfeldsimulator)
14: zweiter Programmcodeblock (Kostenfunktion)
15: dritter Programmcodeblock (Gradientenbestimmung)
16: vierter Programmcodeblock (Steuerprogramm)
17: Ausgabevorrichtung

Claims

Verfahren zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug (E), mit den Schritten: - Festlegen eines Satzes K von in einem Parameterraum eines parametrisierbaren Szenarios (A, B) einzuhaltenden Kriterien; - Festlegen einer Kostenfunktion R für den Satz K von einzuhaltenden Kriterien, wobei durch die Kostenfunktion R eine Maßzahl bestimmbar ist, die charakteristisch für die Einhaltung der Kriterien in dem parametrisierbaren Szenario (A, B) ist; - Ermitteln eines Gradienten für die Kostenfunktion R in dem Parameterraum des parametrisierbaren Szenarios (A, B); und - Bestimmen eines modifizierten Szenarios (M, V) basierend auf dem ermittelten Gradienten.
Verfahren nach Anspruch 1, wobei die Schritte des Ermittelns eines Gradienten und Bestimmens eines modifizierten Szenarios (M, V) iterativ durchgeführt werden, bis die durch die Kostenfunktion R für das modifizierte Szenario (V) bestimmbare Maßzahl anzeigt, dass der festgelegte Satz K von einzuhaltenden Kriterien durch das Fahrassistenzsystem für das modifizierte Szenario (V) nicht mehr eingehalten wird.
Verfahren nach Anspruch 1 oder 2, wobei die Schritte des Ermittelns eines Gradienten und Bestimmens eines modifizierten Szenarios (M, V) iterativ durchgeführt werden, bis ein Extremwert der Kostenfunktion R erreicht wird.
Verfahren nach Anspruch 3, wobei die Schritte des Ermitteln eines Gradienten und Bestimmen eines modifizierten Szenarios (M, V) ausgehend von einer Mehrzahl von konkret parametrierten Startszenarien (S) ausgeführt werden, um eine Mehrzahl korrespondierender Extremwerte zu finden.
Verfahren nach einem der Ansprüche 1 bis 4, wobei der Schritt des Ermittelns eines Gradienten wenigstens folgende Teilschritte umfasst: - Bestimmen wenigstens eines Satzes von Parametern in dem Parameterraum des parametrisierbaren Szenarios, wobei der wenigstens eine Satz von Parametern das modifizierte Szenario (M, V) definiert; - Bestimmen einer für das modifiziertes Szenario (M, V) charakteristischen Maßzahl durch die Kostenfunktion R; und - Bestimmen des Gradienten der Kostenfunktion R in dem Parameterraum des parametrisierbaren Szenarios (A, B) basierend auf der für das modifizierte Szenario (M) bestimmten Maßzahl.
Verfahren nach Anspruch 5, wobei die charakteristische Maßzahl für das modifizierte Szenario (M, V) basierend auf einer Simulation des modifizierten Szenarios (M, V) in einem Umgebungssimulator bestimmt wird.
Verfahren nach Anspruch 5 oder 6, wobei der Gradient für die Kostenfunktion R basierend auf einer statistischen Untersuchung des Parameterraums des parametrisierbaren Szenarios (A, B), insbesondere zufällige Stichproben oder stochastische Variation des bestimmten Satzes von Parametern, abgeschätzt wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei der Gradient für die Kostenfunktion R basierend auf einer analytischen Untersuchung der Kostenfunktion R berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 8, wobei - der festgelegte Satz K von einzuhaltenden Kriterien N einzuhaltenden Kriterien k₁, ..., k_N umfasst, mit N > 1; - für jede der N einzuhaltenden Kriterien k₁, ..., k_N eine Einzelkostenfunktion r_n (k_n (x_s (t), p_s) bestimmt wird, wobei x_s(t) die zeitvariablen Trajektorien von Verkehrsteilnehmern des parametrisierbaren Szenarios (A, B) für eine endliche Szenariodauer T_s mit t ∈ (0,T_s) beschreibt, und p_s über die Dauer des parametrisierbaren Szenarios (A, B) konstante Parameter beschreibt; - durch jede der bestimmten Einzelkostenfunktion r_n eine Maßzahl bestimmbar ist, die charakteristisch für die Einhaltung des jeweiligen Kriteriums k_n in dem parametrisierbaren Szenario (A, B) ist; - eine Gesamtkostenfunktion als Funktion der N Einzelkostenfunktionen g (r₁, ..., r_N) bestimmt wird, wobei durch die Gesamtkostenfunktion g eine Gewichtung der N einzuhaltenden Kriterien k₁, ..., k_N bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 9, weiter umfassend: - Bestimmen einer Anforderungsgrenze des parametrisierbaren Szenarios (A, B); oder - Bestimmen wenigstens eines Teilbereiches des Parameterraums des parametrisierbaren Szenarios (A, B), in dem der festgelegte Satz K von einzuhaltenden Kriterien durch das Fahrassistenzsystem eingehalten wird; oder - Bestimmen wenigstens eines Teilbereiches des Parameterraums des parametrisierbaren Szenarios (A, B), in dem der festgelegte Satz K von einzuhaltenden Kriterien durch das Fahrassistenzsystem nicht eingehalten wird.
Verfahren nach einem der Ansprüche 1 bis 10, bei dem das zu testenden Fahrassistenzsystem ein oder mehrere Softwarefunktionsmodule einer automatisierten oder autonomen Fahrfunktion umfasst.
Testvorrichtung (10) zum Testen eines Fahrassistenzsystems für ein Kraftfahrzeug (E), umfassend wenigstens einen Prozessor (11) und wenigstens eine Speichervorrichtung (12) zum Speichern von Programmcode, wobei in der wenigstens einen Speichervorrichtung (12) durch den wenigstens einen Prozessor (11) ausführbarer Programmcode zum Ausführen eines Verfahrens gemäß einem der Ansprüche 1 bis 11 gespeichert ist.