DE102021203847A1

DE102021203847A1 - Verfahren zum Testen eines Assistenzsystems

Info

Publication number: DE102021203847A1
Application number: DE102021203847.6A
Authority: DE
Inventors: Faiza Ali; Thomas Diepolder; Konrad Rothenhäusler
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-20
Also published as: WO2022223085A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Testen eines Assistenzsystems, insbesondere eines Notbrems- und/oder Notausweichassistenzsystems, für ein Fahrzeug, das dadurch gekennzeichnet ist, dass folgende Verfahrensschritte durchgeführt werden:- Erstellen von Messpunkten der Auslösezeitpunkte bei verschiedenen Parametern (z. B. Geschwindigkeit, Beschleunigung, Kollisionspunkt oder dergleichen) eines Fahrzeuges,- Erstellen einer Transferfunktion anhand der Messpunkte,- Vergleichen der Transferfunktion mit mindestens einer Referenz- Transferfunktion,- Auswerten des Vergleichs anhand mindestens eines festlegbaren Auswertekriteriums, und- Erstellen eines Ergebnisses des Tests anhand der Auswertung, wonach der Test als bestanden oder nicht bestanden gilt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Testen eines Assistenzsystems, insbesondere eines automatischen Notbremssystems bzw. eines Notbremsassistenten oder eines Notausweichassistenzsystems, für ein Fahrzeug.
Technologischer Hintergrund
Gattungsgemäße Fahrzeuge, wie z. B. Personenkraftfahrzeuge (PKW), Lastkraftwagen (LKW) oder Motorräder, werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche mit Hilfe von Sensorsystemen die Umgebung erfassen, Verkehrssituation erkennen und den Fahrer unterstützen können, z. B. durch einen Brems- oder Lenkeingriff oder durch die Ausgabe einer optischen oder akustischen Warnung. Als Sensorsysteme zur Umfeld- bzw. Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt. Aus den durch die Sensoren ermittelten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden.
Unter den Begriff Fahrfunktion wird insbesondere das (teil-)automatisierte, fahrererlebbare Fahrzeugverhalten bei Fahrerassistenzsystemen subsummiert. Dabei werden die verarbeiteten Sensorinformationen zur Umfelderkennung verwendet, um darauf basierend Anweisungen zur Fahrerwarnung/-Information oder zum geregelten Lenken, Bremsen und Beschleunigen zu geben. Dadurch können gattungsgemäße Fahrfunktionen helfen, Unfälle mit anderen Verkehrsteilnehmern zu vermeiden oder komplizierte Fahrmanöver zu erleichtern, indem sie die Fahraufgabe bzw. die Fahrzeugführung unterstützen oder sogar komplett übernehmen. Beispielsweise kann das Fahrzeug z. B. durch einen Notbremsassistenten (EBA, Emergency Brake Assist) eine automatische Notbremsung (AEB, Automatic Emergency Brake) oder durch einen aktiven Spurhalteassistenten mit Lenkunterstützung in der Spur gehalten werden (LKA, Lane Keeping Assist). Neben der Notbremsung in Gefahrensituationen ist insbesondere beim (voll-) automatisierten Führen eines Fahrzeuges der automatisierte Bremseneingriff von großer Bedeutung. Eine automatisierte Bremsung wird dabei in einer kritischen Umfeldsituation bzw. Szene insbesondere bei einer drohenden Kollision eingeleitet.
Gattungsgemäße Notbremssysteme reagieren beispielsweise auf im Front- und Heckbereich befindliche, bremsende Fahrzeuge oder andere Verkehrsteilnehmer, wie Fußgänger oder Radfahrer. Aufgrund des jeweiligen Verkehrsszenarios bzw. der jeweiligen Szene muss insbesondere bei höheren Fahrzeuggeschwindigkeiten schnell and stark gebremst werden. Bei der Sicherstellung der Funktionsfähigkeit eines Notbremssystems ist die Leistungsvalidierung der automatischen Notbremsung von besonderer Bedeutung. Dabei muss beispielsweise sichergestellt werden, dass diverse Test, z. B. Abnahmetests wie UNECE oder Einstufungstests wie xxNCAP, mit hoher Sicherheit bestanden werden. Die Durchführung derartiger Tests erfolgt mit limitierter Anzahl von Wiederholungen und teilweise stichprobenartig. Daraus ergibt sich eine hohe Anforderungen and die Wahrscheinlichkeit zum Bestehen jedes einzelnen Tests. Zur Absicherung derartigen Tests ist daher eine hohe Anzahl von Mehrfachwiederholungen erforderlich, beispielsweise wird der Test bei entsprechender Geschwindigkeit des Ego-Fahrzeuges 275-mal bis 500-mal wiederholt, um ein 95 % Konfidenzintervall zu erhalten. Diese Vorgehensweise bedingt einen enormen Zeit- und Kostenaufwand.
Druckschriftlicher Stand der Technik
Aus der DE 10 2018 004 429 A1 ist ein Verfahren zum Testen eines Bremsassistenzsystems für ein Fahrzeug bekannt, bei dem eine clusteranalytische Charakterisierung von Fahrsituationen basierend auf erfassten Sensorsignalen zur Umfelderfassung und deren Systemreaktionen im Fahrbetrieb des Fahrzeugs ermittelt wird. Im Rahmen des Testverfahren wird die Kollisionszeit TTC (Time-to-Collision) bei verschiedenen Geschwindigkeiten des Fahrzeuges für verschiedene Eskalationsstufen ermittelt.
Aufgabe der vorliegenden Erfindung
Ausgehend vom Stand der Technik besteht die Aufgabe der vorliegenden Erfindung nunmehr darin, ein Verfahren zur Testung eines Notbremsassistenzsystems zur Verfügung zu stellen, mit dem die Wiederholungsrate des Testszenarios reduziert werden kann.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Das erfindungsgemäße Verfahren zum Testen eines Assistenzsystems bzw. eines Notbremsassistenzsystems und/oder eines Notausweichassistenzsystems für ein Fahrzeug ist dadurch, gekennzeichnet, dass folgende Verfahrensschritte durchgeführt werden:

- Erstellen von Messpunkten der Auslösezeitpunkte für Bremsung/Warnung bei verschiedenen Parameterwerten eines Parameters des Fahrzeuges gemessen in verbleibender Zeit bis zur Kollision (TTC)
- Erstellen einer Transferfunktion anhand der Messpunkte,
- Vergleichen der Transferfunktion mit mindestens einer Referenz-Transferfunktion mit Intervall Grenzen,
- Auswerten des Vergleichs mit mindestens einer Referenz-Transferfunktion anhand mindestens eines festlegbaren Auswertekriteriums, und
- Erstellen eines Ergebnisses des Tests anhand der Auswertung, wonach der Test als bestanden oder nicht bestanden gilt.

Daraus resultieren die Vorteile, dass die Probe- und Wiederholungszahl eines Notbremstests (z. B. AEB- Nutzszenen Vom Fahrversuch im Zielfahrzeug gefahren) reduziert werden kann. Dadurch können der Zeit- und Kostenaufwand in besonderem Maße eingespart und zum Schutz für Umwelt, Mitarbeiter und Material beigetragen werden. Ferner kann eine Bewertungsübersicht über die Systemleistung, die für eine schnelle Verfolgung und Verbesserung eingesetzt werden kann, bereitgestellt werden.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist als Parameter die Geschwindigkeit und/oder die Überlappung und/oder der Kollisionspunkt und/oder die Targetgeschwindigkeit (d. h. die Geschwindigkeit die Zielobjekts) und/oder die Beschleunigung und/oder ein anderer Fahrzeugparameter vorgesehen.
Vorzugsweise werden für jeden Parameterwert (z. B. bei jedem Geschwindigkeitswert) mehrere Messpunkte erzeugt. Hierbei werden im Vorfeld zunächst verschiedene Geschwindigkeiten des Fahrzeuges bzw. sogenannte Probennahmepunkte bzw. Messpunkte festgelegt, bei denen die Bestimmung der Kollisionszeit erfolgen soll.
Zweckmäßigerweise kann als Referenz-Transferfunktion eine Funktion ausgewählt werden, welche Kollisionszeiten umfasst, die bei dem Notbremsassistenzsystem zu verschiedenen Geschwindigkeiten erwartet werden können. Derartige Erwartungswerte bzw. Erwartungsfunktionen können z. B. im Rahmen von Voruntersuchungen oder Testszenarien erstellt und/oder berechnet werden. Für den Vergleich können diese dann z. B. in einem Speicher hinterlegt und einer Recheneinheit (z. B. Computer oder Prozessor, der für die Durchführung des Verfahrens herangezogen wird) zugänglich gemacht werden.
Gemäß einer bevorzugten Ausgestaltung der Erfindung kann ein Toleranzbereich der Referenz-Transferfunktion vorgesehen sein, der vorzugsweise eine untere Toleranzschwelle und eine obere Toleranzschwelle aufweist. Dadurch können Messpunkte in einfacher Weise als Messpunkte ausgewählt werden, die innerhalb eines erwarteten Messbereichs liegen.
Ferner kann als Auswertekriterium bestimmt werden, ob sich die Messpunkte oder ein Teil der Messpunkte innerhalb des Toleranzbereichs befinden. Dementsprechend könnten sich Messpunkte oder Funktionen, die nicht innerhalb des Toleranzbereichs liegen, bei einem Vergleich derart auswirken, dass durch den Vergleich ausreichende Unterschiede festgestellt werden, die dann zu einem nichtbestehen des Tests führen könnten.
Alternativ oder zusätzlich kann als Auswertekriterium auch der Abstand zwischen dem Toleranzbereich, insbesondere der unteren und/oder oberen Toleranzschwelle, und der Referenz-Transferfunktion herangezogen werden. Dadurch kann der Vergleich in besonders einfacher Weise durchgeführt werden.
Zweckmäßigerweise können, sofern der Test als nicht bestanden gilt, zusätzliche Messpunkte erzeugt werden. Dadurch kann die Testsicherheit noch zusätzlich verbessert werden, wobei sich die Wiederholungsanzahl verringert, da hier z. B. Messpunkte nicht mehr zu allen festgelegten Parameterwerten bzw. Geschwindigkeiten, sondern nur noch zu bestimmten Parameterwerten (sogenannte Parametervorzugswerte) bzw. Geschwindigkeiten erzeugt werden. Die Wiederholungsanzahl wird dadurch, selbst bei einem anfänglichen Nichtbestehen in besonderem Maße verringert.
Vorzugsweise werden die zusätzlichen Messpunkte somit nur bei einigen festlegbaren Parametervorzugswerten erzeugt, z. B. werden zusätzliche Messpunkte bei charakteristischen Geschwindigkeiten erzeugt. Hierzu werden einige charakteristische Geschwindigkeiten (z. B. Grenzgeschwindigkeit mit max. Performance) festgelegt, an denen dann verstärkt getestet wird.
Zweckmäßigerweise kann dann anhand der zusätzlich erzeugten Messpunkte der Parametervorzugswerte eine Interpolation und/oder Extrapolation der Ergebnisse für andere Parameterwerte erfolgen, z. B. kann eine Interpolation und/oder Extrapolation der zusätzlichen Messpunkte bei den charakteristischen Geschwindigkeiten für andere Geschwindigkeitswerte erfolgen. Dadurch werden zusätzliche Messungen in besonderem Maße eingespart, da hier nur noch zu einigen wenigen Proben (Parametervorzugswerte) getestet werden muss bzw. Messpunkte erzeugt werden müssen.
Ferner können Messpunkte, die sich nicht innerhalb des Toleranzbereichs oder innerhalb eines festlegbaren Abstands zum Toleranzbereich befinden, als Ausreißer bzw. Messausreißer erkannt und vorzugsweise aussortiert oder durch Eliminierung von systematischen Fehlern vermieden werden. Messausreißer können sozusagen zur Identifikation von systematischen nicht statistischen Fehlern bei Implementierung der Funktion oder Messdurchführung verwendet werden.
Figurenliste
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher erläutert. Es zeigen:

1 eine vereinfachte Darstellung eines Tests nach dem erfindungsgemäßen Verfahren, bei dem Messpunkte (+) der TTC bei verschiedenen Geschwindigkeiten v des Fahrzeuges ermittelt wurden;
2 eine vereinfachte Darstellung des Tests aus 1, mit eingezeichneten Toleranzschwellen und zusätzlichen Messpunkten bei ausgewählten Hauptproben;
3 eine vereinfachte Darstellung des Tests aus 2, mit eingezeichneter benötigter TTC und dem Abstand (Pfeil) zwischen der unteren Toleranzschwelle und der erwarteten TTC;
4 eine vereinfachte Darstellung des Tests aus 2, bei dem zwei Ausreißer, die außerhalb des Toleranzbereichs liegen, erkannt und markiert wurden, sowie
5 eine vereinfachte schematische Darstellung einer Ausgestaltung eines Ablaufschemas des erfindungsgemäßen Verfahrens.

Gemäß einer bevorzugten Ausgestaltung der vorliegenden Erfindung, wird das Testverfahren, eingesetzt, um einen Notbremsassistenten hinsichtlich seiner Funktionsfähigkeit zu testen. Hierbei wird eine Regressionsanalyse verwendet, um die Beziehung zwischen dem erwarteten Aktivierungsverhalten der automatischen Notbremsung, ausgedrückt als TTC (Time to Collision), und der jeweiligen Probennummer (d. h. die jeweilige Geschwindigkeit v des zu testenden Fahrzeuges) des wiederholten Tests, und der Transferfunktion zu ermitteln. In Fig. ist diese Beziehung zwischen Aktivierungsverhalten (Messpunkte „+“ von TTC bei Geschwindigkeit v) und Transferfunktion anhand eines Diagramms dargestellt. Wie in 1 gezeigt, kann die Transferfunktion mit einer bestimmten Probenanzahl (vorliegend 9 Mal bzw. 9 Messungen bei verschiedenen Geschwindigkeiten v) durchgeführt werden, die jeweils mehrfach (vorliegend 3 Mal) durchgeführt werden. Der Regressionsalgorithmus berechnet die Transferfunktion der Kollisionszeit in Bezug auf die Ego-Geschwindigkeit. Diese kann z. B. mit einer mittleren Toleranzschwelle unterhalb TS_1 und oberhalb TS_2, welche ± 2µ repräsentieren, wie in 2 dargestellt. Ferner kann als Funktion für die Toleranzschwelle auch eine Standardabweichung der erwarteten TTC (TTC_exp) gewählt werden. Das Ergebnis der Mehrfachmessung bzw. die Messpunkte kann/können dann mit dem erwarteten Notbremsverhalten (erwartete TTC-exp) verglichen werden. Wenn das Ergebnis zeigt, dass ein festlegbarer nicht über- bzw. unterschritten Grenzwert wird bzw. ein Auswerteparameter oder Auswertekriterium erfüllt oder nicht erfüllt ist, kann der Test z. B. als bestanden gelten. Beispielsweise kann als Auswertekriterium bzw. Grenzwert der Abstand zwischen der unteren Toleranzschwelle TS_1 der gemessenen TTC und der zum Bestehen benötigten TTC (TTC_req) dienen, wie in 3 anhand des Doppelpfeils dargestellt. Bei ausreichendem Abstand kann z. B. angenommen werden, dass sich das Notbremssystem wie erwartet verhält und keine zusätzliche Prüfung bzw. Testung benötigt wird.
Demgegenüber ist eine Verbesserung der Systemleistung erforderlich, wenn kein ausreichender Abstand A vorliegt. Ist keine Systemverbesserung möglich (z. B. bei systematischen Fehlern), wird die zusätzliche Wiederholungszahl für jede Probe (Ego-Geschwindigkeit) getrennt berechnet. Dadurch werden zusätzliche Wiederholungen bei der Probe (Ego-Geschwindigkeit) erforderlich, bei der das Verhalten nicht wie erwartet ausfällt. Hierzu kann eine zusätzliche Verteilung bestimmt werden, z. B. anhand von einer bestimmten Anzahl an Wiederholungen bei mehreren Hauptproben, die zu festlegbaren Parametervorzugswerten (vorliegend zu charakteristischen Geschwindigkeiten) genommen werden. Beispielsweise können wie in 2 (anhand der Ellipsen) dargestellt, an vier Hauptproben (20, 30, 45 und 60 kph) jeweils 12-15 zusätzliche Messungen durchgeführt werden. Die 12 bis 15 Wiederholung bei ausgewählten Hauptproben bzw. Geschwindigkeiten dienen dann zur Verringerung der Variation und zur Maximierung des Mittelwerts bei der Bezugsgeschwindigkeit, so dass eine Interpolation der Ergebnisse für andere Geschwindigkeitswerte erfolgen kann. Im Anschluss erfolgen dann Identifizierung und Neuberechnung der Probengröße nach Bedarf. Demzufolge kann die große Anzahl an Tests mit realen Fahrzeugen durch dieses Testverfahren auf ein Minimum reduziert werden (im Vergleich zum Stand der Technik etwa um Faktor 10 weniger), da selbst bei einem „Nichtbestehen“ nur eine geringere Anzahl an Tests notwendig wird.
Ferner umfasst die vorliegende Erfindung eine Ausreißer-Erkennung. Sofern der Test z. B. nicht das erwartete Ergebnis liefert, werden falsche Messpunkte bzw. Ausreißer aussortiert oder als Fälle aussortiert, bei denen es einer Optimierung bedarf. Dementsprechend ist dann ein sogenanntes „clean up“ oder „algo Optimierung“ notwendig (z. B. durch Aussortieren der Ausreißer, erneutes Durchführen mit zusätzlichen Messpunkten oder dergleichen). Dieser Prozess wird erst abgeschlossen, wenn das Ergebnis bzw. das Notbremsverhalten der Erwartung entspricht bzw. im Rahmen der Erwartung liegt. In 4 ist das Prinzip der Ausreißer-Erkennung dargestellt, wobei die eingekreisten Messpunkte Ausreißer sind, die erkannt wurden, da sich diese nicht mehr innerhalb des festlegbaren Toleranzbereichs zwischen TS_1 und TS_2 befinden.
In 5 ist eine Ausgestaltung eines vereinfachten Ablaufschemas des erfindungsgemäßen Verfahrens dargestellt. Die Messdaten 1 der TTC werden dabei aufgezeichnet und dem Regressionsmodell 2 zugeführt. Anhand des berechneten Regressionsmodells können dann statistische Tests 3 durchgeführt werden (im Wesentlichen, ob sich das Testergebnis innerhalb der festlegbaren Grenzwerte befindet oder innerhalb eines festlegbaren Toleranzbereichs liegt), um zu überprüfen, ob sich das Notbremssystem wie erwartet verhält Sofern sich das Notbremssystem wie erwartet verhält, ist der Test bestanden (Bestanden 4) und keine zusätzliche Prüfung bzw. Testung wird benötigt. Anderenfalls liegt entweder ein Fehler 5 vor, wie z. B. Systemfehler, Fahrszenario-Fehler, Auswertungs-Setup-Fehler oder dergleichen. Diese Fehler müssen dann behoben werden (Optimierung 8). Ferner können auch etwaige Ausreißer erkannt und eliminiert werden (Ausreißererkennung 6 und Evaluation der Ausreißererkennung 7). Im Anschluss daran erfolgt ebenfalls die Optimierung 8 des Testvorgangs. Im Anschluss an die Optimierung 8 kann der Test dann erneut anhand der vorhanden Messdaten 1 oder zusätzlichen neuen Messdaten 1 durchgeführt werden.
Bezugszeichenliste

1: Aufzeichnen von Messdaten
2: Erstellen des Regressionsmodells
3: statistische Tests
4: Test bestanden
5: Fehler
6: Ausreißererkennung
7: Evaluation der Ausreißererkennung
8: Optimierung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018004429 A1 [0005]

Claims

Verfahren zum Testen eines Assistenzsystems, insbesondere eines Notbrems- und/oder Notausweichassistenzsystems, für ein Fahrzeug, gekennzeichnet durch folgende Verfahrensschritte - Erstellen von Messpunkten der Kollisionszeit (TTC) bei mindestens einem festlegbaren Parameter eines Fahrzeuges, - Erstellen einer Transferfunktion anhand der Messpunkte, - Vergleichen der Transferfunktion mit mindestens einer Referenz-Transferfunktion, - Auswerten des Vergleichs anhand mindestens eines festlegbaren Auswertekriteriums, und - Erstellen eines Ergebnisses des Tests anhand der Auswertung, wonach der Test als bestanden oder nicht bestanden gilt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Parameter des Fahrzeuges die Geschwindigkeit (v) und/oder die Überlappung und/oder der Kollisionspunkt und/oder die Targetgeschwindigkeit und/oder die Beschleunigung vorgesehen ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für jeden Parameter mehrere Messpunkte erzeugt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Referenz-Transferfunktion eine Funktion umfassend Auslösezeitpunkte, die bei dem Notbremsassistenzsystem zu verschiedenen Parameterwerten erwartet werden können, vorgesehen ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Toleranzbereich der Referenz-Transferfunktion vorgesehen ist, der vorzugsweise eine untere Toleranzschwelle (TS_1) und eine obere Toleranzschwelle (TS_2) aufweist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Auswertekriterium bestimmt wird, ob sich die Messpunkte oder ein Teil der Messpunkte innerhalb des Toleranzbereichs befinden.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass als Auswertekriterium der Abstand zwischen dem Toleranzbereich, insbesondere der unteren Toleranzschwelle (TS_1), und der Referenz-Transferfunktion herangezogen wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sofern der Test als nicht bestanden gilt, zusätzliche Messpunkte erzeugt werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die zusätzlichen Messpunkte nur bei einigen festlegbaren Parametervorzugswerten erzeugt werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass anhand der zusätzlich erzeugten Messpunkte der Parametervorzugswerte eine Interpolation und/oder Extrapolation der Ergebnisse für andere Geschwindigkeitswerte erfolgt.
Verfahren nach mindestens einem der Ansprüche 5-10, dadurch gekennzeichnet, dass Messpunkte, die sich nicht innerhalb des Toleranzbereichs oder innerhalb eines festlegbaren Abstands zum Toleranzbereich befinden, als Ausreißer erkannt und vorzugsweise aussortiert werden.