DE102016219031B4

DE102016219031B4 - Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystems

Info

Publication number: DE102016219031B4
Application number: DE102016219031.8A
Authority: DE
Inventors: Nils Gerber; Tobias FRAATZ; Franziskus Bauer; Sascha Haase; Sebastian STAUFF
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2024-04-11
Anticipated expiration: 2036-10-01
Also published as: US20180093674A1; DE102016219031A1; US10604157B2; CN107884202A

Abstract

Verfahren zum Testen eines Fahrerassistenzsystems (60) in einem Fahrzeug (10), wobei das Fahrzeug (10) wenigstens einen visuellen Sensor (35) aufweist und wobei das Fahrzeug auf einer Strecke in der realen Welt fährt, wobei durch die Verknüpfung von ein virtuelles Objekt (30) beschreibenden Daten mit die tatsächliche Fahrzeugumgebung beschreibenden Daten (5) ein virtuelles Objektbild im Sichtfeld des visuellen Sensors (35) platziert wird, und wobei auf Basis der von dem visuellen Sensor (35) bereitgestellten Daten eine Ansteuerung des Fahrerassistenzsystems (60) erfolgt, welches wiederum entsprechende Ansteuerungssignale erzeugt und an entsprechende Aktoren des Fahrzeugs (10) übermittelt.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Testen eines Fahrerassistenzsystems.
In aktiven Fahrerassistenzsystemen wie z.B. Fahrspurerkennungs- und Spurwechselwarnsystemen, Verkehrszeichenerkennungssystemen oder Notfallbremssystemen werden visuelle Sensoren wie z.B. Kameras zur Bereitstellung der Eingangsdaten für die betreffenden Systeme eingesetzt. Die visuellen Eingangsdaten werden ihrerseits in diversen Algorithmen verwendet, welche die entsprechenden Reaktionen des Fahrzeugs wie z.B. ein Fahrzeuglenken, ein Fahrzeugbremsen oder ein Feedback bzw. eine Rückmeldung einer Mensch-Maschine-Schnittstelle (HMI) auslösen.
Zum Testen solcher aktiven Fahrerassistenzsysteme ist es erforderlich, die entsprechend ausgerüsteten Fahrzeuge unter realen Einsatzbedingungen zu betreiben, wobei insbesondere eine Wechselwirkung mit realen Fahrbahnmarkierungen, Verkehrszeichen sowie Fremdfahrzeugen benötigt wird. Dies führt zu einem erheblichen Aufwand sowie einer hohen Komplexität der jeweiligen Testprozeduren. Eine alleinige Durchführung von Tests auf einem Prüfstand (z.B. in „Hardware-in-the-Loop“-Prüfständen), erweist sich als unzureichend, da für eine zuverlässige Prüfung des Fahrerassistenzsystems das gesamte Fahrzeugsystem, dessen Wechselwirkung mit der Umgebung (z.B. unter unterschiedlichen Wetterverhältnissen wie Sonne oder Regen oder bei unterschiedlichen Fahrbahnoberflächen) sowie die Wechselwirkung mit dem Fahrer berücksichtigt werden müssen.
Im Falle eines Spurhalteassistenten ist z.B. prinzipiell ein Test unter sämtlichen möglichen Szenarien in der realen Welt oder auf einer Teststrecke mit sämtlichen speziellen Fahrbahnmarkierungen erforderlich.
Im Falle einer Verkehrszeichenerkennung werden Geschwindigkeitsbeschränkungszeichen über eine Frontkamera erfasst und die jeweils vorgeschriebenen Höchstgeschwindigkeiten erkannt, woraufhin weitere Aktionen des Fahrzeugs ausgelöst werden können. Das Testen eines solchen Systems hat grundsätzlich für sämtliche gebräuchliche Verkehrszeichen zu erfolgen, was entweder über die weltweite Durchführung von Testfahrten oder die Verwendung einer mit sämtlichen gebräuchlichen Verkehrszeichen versehenen Teststrecke erfolgen kann.
Bei Notfallbremssystemen werden auf der vorausliegenden Fahrstrecke des Fahrzeugs befindliche Objekte erkannt, und es werden die Bremsen des Fahrzeugs aktiviert, um eine Kollision zu vermeiden oder zumindest abzumildern. Ein Testen solcher Systeme erfolgt typischerweise auf Teststrecken unter Einsatz bestimmter Hindernisse wie z.B. Schaumstoffblöcken mit Fahrzeugform, wobei derartige Hindernisse entweder statisch sind oder (im Falle der Realisierung beweglicher Hindernisse) eine in Herstellung und Ansteuerung komplex.
Aus US 2015/0149031 A1 ist u.a. ein Verfahren zum Testen eines Fahrzeugs bekannt, wobei eine Prüfsteuereinheit eine virtuelle Welt erzeugt oder abspielt, die sowohl einen virtuellen Fahrzeugzustand als auch eine virtuelle Fahrzeugumgebung enthält. Hierbei erzeugt ein Fahrzustandsaktuator durch Einbringen von zusätzlichen Kräften oder Momenten in das reale Fahrzeug den in der virtuellen Welt momentanen Fahrzeugzustand und die momentane Fahrzeugumgebung, so dass das reale Fahrzeug auf der realen Teststrecke den Fahrzeugzustand und die Fahrzeugumgebung aus der virtuellen Welt erfährt.
Die DE 10 2006 060 553 A1 offenbart ein Verfahren und eine Vorrichtung zum Testen eines Fahrerassistenzsystems und betrifft die Herstellung vorproduzierter Videosequenzen zum Testen von Fahrzeug-Bilderkennungssystemen. Hierzu werden Bildsequenzen aus einer standardisierten Kameraperspektive aufgenommen. Diese können dann mittels Projektion auf eine Leinwand und mittels erneuter Bildaufzeichnung durch eine weitere Kamera aus einer spezifischen Perspektive an das in dem jeweiligen Fahrzeugsystem verwendete Kamerasystem bzw. dessen Blickperspektive angepasst werden.
Die DE 10 2012 008 117 A1 beschreibt ebenfalls die Vorproduktion von Videosequenzen für Fahrzeug-Bildauswertungssysteme, wobei die Videosequenzen aus realen Videoaufnahmen aus einer Abbildungsdatenbank zusammengesetzt werden können.
Die DE 10 2004 057 947 A1 offenbart ein Verfahren zur Funktionsprüfung eines fahrzeugseitig integrierten, mit einem die Verkehrssituation im Fahrzeugumfeld überwachenden Sensor betriebenen Fahrerassistenzsystems, wobei dem Fahrer während der Fahrt eine in Abhängigkeit kontinuierlich erfasster, die Fahrzeugbewegung beschreibender Fahrzeugparameter erzeugte und kontinuierlich angepasste optische Simulationsdarstellung einer virtuellen Verkehrssituation in sein Blickfeld eingeblendet wird, während der Fahrer nach wie vor das reale Fahrzeugumfeld erfassen kann, wobei einem den Betrieb des Fahrerassistenzsystems steuernden Steuergerät ein simuliertes Sensorsignal gegeben wird, welches das Fahrerassistenzsystem gegebenenfalls in Betrieb setzt. Dieses simulierte Sensorsignal ist hier ein anderes als das Bild einer Kamera, welches der Simulationsdarstellung für den Fahrer zugrunde liegt.
Die Aufgabe der vorliegenden Erfindung ist, ein Verfahren und eine Vorrichtung zum Testen eines Fahrerassistenzsystems bereitzustellen, welche eine reproduzierbare und umfassende Überprüfung der Funktion des Fahrerassistenzsystems mit reduziertem Testaufwand ermöglichen.
Diese Aufgabe wird durch das Verfahren gemäß den Merkmalen des unabhängigen Anspruchs 1 bzw. die Vorrichtung gemäß den Merkmalen des nebengeordneten Anspruchs 5 gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen beschrieben.
Bei einem Verfahren zum Testen eines Fahrerassistenzsystems in einem Fahrzeug, wobei das Fahrzeug wenigstens einen visuellen Sensor aufweist und wobei das Fahrerassistenzsystem eine Fahrzeugreaktion auf Basis von Eingangsdaten auslöst, welche durch den visuellen Sensor bereitgestellt werden, wird die Bereitstellung der Eingangsdaten unter Verwendung wenigstens eines virtuellen Objekts modifiziert.
Dabei erfolgt das Modifizieren der Bereitstellung der Eingangsdaten dadurch, dass ein von dem visuellen Sensor erfasstes Bild oder eine von dem visuellen Sensor erfasste Szenerie vor der Erfassung durch den visuellen Sensor unter Verwendung des wenigstens einen virtuellen Objekts angereichert wird.
Die Bezeichnung „Fahrerassistenzsystem“ ist im Sinne der vorliegenden Anmeldung so zu verstehen, dass hiervon sowohl Fahrzeugsicherheitssysteme als auch Fahrzeuginformations- und -signalisierungssysteme sowie Komfortsysteme umfasst sind. Insbesondere werden neben Fahrspurerkennungs- und Spurwechselwarnsystemen, Verkehrszeichenerkennungssystemen oder Notfallbremssystemen auch Systeme umfasst, welche dem Fahrer z.B. einen kameragestützt aufgefundenen Parkplatz, eine Parkhauseinfahrt oder dergleichen über ein Head-up-Display anzeigen. Von dem Begriff „Fahrzeugreaktion“ wird somit auch eine durch das Fahrzeug erfolgende Informationsübermittlung (z.B. Anzeige eines Verkehrszeichens, Parkplatzes etc.) umfasst.
Der Erfindung liegt insbesondere das Konzept zugrunde, das Sichtfeld eines oder mehrerer in einem Fahrerassistenzsystem eingesetzten visuellen Sensoren unter Nutzung des Prinzips der „erweiterten Realität“ anzureichern. Hierzu kann insbesondere eine geeignete Vorrichtung im Sichtfeld des visuellen Sensors bzw. der Kamera platziert werden, um virtuelle Objekte wie z.B. Fahrbahnmarkierungen, Verkehrszeichen oder virtuelle Fahrzeuge dem von der Kamera wahrgenommenen bzw. erfassten Bild hinzuzufügen.
Im Ergebnis wird durch die Erfindung eine besonders kostengünstige sowie zeitsparende Überprüfung von Fahrerassistenzsystemen ermöglicht, wobei ein Testen mit geringem Personalaufwand, in kürzerer Zeit, bei geringerem Infrastrukturbedarf sowie geringerem Verkehrserfordernis ermöglicht wird. Des Weiteren ist grundsätzlich das Testen einer unbegrenzten Vielfalt virtueller Objekte möglich, da Einschränkungen wie etwa beim Einsatz von Schaumstoffobjekten nicht bestehen. Darüber hinaus ermöglicht das erfindungsgemäße Verfahren auch eine umfangreichere und vielfältigere Wechselwirkung mit Objekten, als dies bei einem Test in realen Fahrzeugumgebungen der Fall ist.
Erfindungsgemäß wird das wenigstens eine virtuelle Objekt im Sichtfeld des visuellen Sensors platziert.
Erfindungsgemäß werden weiterhin die tatsächliche Fahrzeugumgebung betreffende Daten mit das wenigstens eine virtuelle Objekt betreffenden Daten verknüpft.
In einem Ausführungsbeispiel kann das Testen eines Spurhalteassistenzsystems auf einer Teststrecke ohne vorhandene Fahrbahnmarkierungen durchgeführt werden. Hierbei wird das Sichtfeld der Frontkamera des betreffenden Fahrzeugs durch virtuelle Fahrbahnmarkierungen angereichert. Die Frontkamera erfasst daraufhin die entsprechend hinzugefügten Fahrbahnmarkierungen, so dass das Fahrzeug entsprechend darauf reagieren kann.
In einem weiteren Ausführungsbeispiel kann auch das Testen eines Notfallbremssystems auf einer Teststrecke unter Anwendung des erfindungsgemäßen Verfahrens durchgeführt werden. Hierbei wird ein virtuelles Objekt bzw. Hindernis im Sichtfeld der Frontkamera des jeweiligen Fahrzeugs platziert. Die Kamera wird daraufhin das betreffende Objekt erfassen, so dass das Fahrzeug dementsprechend reagiert. Hierbei können sowohl bewegliche als auch statische Hindernisse bzw. Objekte erzeugt und im Sichtfeld der Frontkamera des jeweiligen Fahrzeugs platziert werden.
Die Erfindung betrifft weiter eine Vorrichtung zum Testen eines Fahrerassistenzsystems in einem Fahrzeug, wobei das Fahrzeug wenigstens einen visuellen Sensor aufweist und wobei durch das Fahrerassistenzsystem eine Fahrzeugreaktion auf Basis von Eingangsdaten auslösbar ist, welche durch den visuellen Sensor bereitgestellt werden, wobei die Vorrichtung dazu konfiguriert ist, ein Verfahren mit den vorstehend beschriebenen Merkmalen durchzuführen. Zu Vorteilen sowie bevorzugten Ausgestaltungen der Vorrichtung wird auf die vorstehenden Ausführungen im Zusammenhang mit dem erfindungsgemäßen Verfahren Bezug genommen.
Weitere Merkmale der Erfindung sind der Beschreibung sowie den Unteransprüchen zu entnehmen.
Die Erfindung wird nachstehend anhand beispielhafter Ausführungsformen unter Bezugnahme auf die beigefügten Abbildungen näher erläutert.

1 zeigt zunächst in lediglich schematischer Darstellung eine Übersicht über wesentliche Komponenten der erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform; und
2 zeigt ein Diagramm zur Erläuterung der Funktionsweise der Vorrichtung sowie des möglichen Signalflusses bei Durchführung des erfindungsgemäßen Verfahrens.

Dabei wird davon ausgegangen, dass ein in 1 und 2 mit „10“ bezeichnetes Fahrzeug mit einem aktiven Fahrerassistenzsystem ausgestattet ist, bei dem es sich z.B. um einen Spurhalteassistenten, eine Verkehrszeichenerkennungseinrichtung oder ein Notfallbremssystem handeln kann. Die Eingangsdaten für dieses Fahrerassistenzsystem werden u.a. durch wenigstens einen visuellen Sensor 35 bereitgestellt, dessen Sichtfeld in 1 mit „20“ bezeichnet ist.
Ein wesentliches Element der erfindungsgemäßen Vorrichtung ist eine Zusammenführungseinheit (Kombinator) 50, welche gemäß 2 wenigstens ein virtuelles Objekt 30 bzw. die ein solches Objekt beschreibenden Daten mit die tatsächliche Fahrzeugumgebung („reale Welt“) beschreibenden Daten 5 zusammenführt bzw. verknüpft und durch diese Verknüpfung ein entsprechend angereichertes bzw. erweitertes Bild 55 erzeugt, das seinerseits dem visuellen Sensor bzw. der Kamera 35 zugeführt wird.
Bei dem wenigstens einen virtuellen Objekt 30 kann es sich z.B. um ein virtuelles Verkehrszeichen, ein virtuelles Fremdfahrzeug, eine virtuelle Fahrspuren oder ein beliebiges anderes virtuelles Objekt handeln.
Auf Basis der von dem visuellen Sensor 35 bereitgestellten Daten erfolgt eine Ansteuerung des aktiven Fahrerassistenzsystems 60, welches wiederum entsprechende Ansteuerungssignale (z.B. zum Bremsen, Beschleunigen und/oder Lenken des Fahrzeugs 10) erzeugt und an entsprechende Aktoren des Fahrzeugs 10 übermittelt.
Mit „40“ ist in 1 und 2 eine (z.B. computerbasierte) Vorrichtung zur Bereitstellung der das wenigstens eine virtuelle Objekt 30 beschreibenden Daten bezeichnet, was typischerweise durch Simulation erfolgt. Mit „15“ sind aktuelle Fahrzeugdaten (wie Fahrzeugposition, Fahrzeuggeschwindigkeit und Fahrzeugbeschleunigung) bezeichnet, welche sowohl der Einrichtung 40 als auch (in Verbindung mit den die tatsächliche Fahrzeugumgebung bzw. die „reale Welt“ beschreibenden Daten 5) dem Kombinator 50 zugeführt werden.
Die erfindungsgemäße Verknüpfung der das wenigstens eine virtuelle Objekt 30 beschreibenden Daten mit den die tatsächliche Fahrzeugumgebung („reale Welt“) beschreibenden Daten 5 kann in unterschiedlicher Weise erfolgen. So kann zum einen ein virtuelles Objektbild im Sichtfeld des visuellen Sensors 35 platziert werden, oder es können eine Durchsichtanzeige („see through display“) oder ein optischer Kombinator verwendet werden.

Claims

Verfahren zum Testen eines Fahrerassistenzsystems (60) in einem Fahrzeug (10), wobei das Fahrzeug (10) wenigstens einen visuellen Sensor (35) aufweist und wobei das Fahrzeug auf einer Strecke in der realen Welt fährt, wobei durch die Verknüpfung von ein virtuelles Objekt (30) beschreibenden Daten mit die tatsächliche Fahrzeugumgebung beschreibenden Daten (5) ein virtuelles Objektbild im Sichtfeld des visuellen Sensors (35) platziert wird, und wobei auf Basis der von dem visuellen Sensor (35) bereitgestellten Daten eine Ansteuerung des Fahrerassistenzsystems (60) erfolgt, welches wiederum entsprechende Ansteuerungssignale erzeugt und an entsprechende Aktoren des Fahrzeugs (10) übermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine virtuelle Objekt (30) eine virtuelle Fahrbahnmarkierung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine virtuelle Objekt (30) ein virtuelles Fremdfahrzeug aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine virtuelle Objekt (30) ein virtuelles Verkehrszeichen aufweist.
Vorrichtung zum Testen eines Fahrerassistenzsystems (60) in einem Fahrzeug (10), dadurch gekennzeichnet, dass die Vorrichtung dazu konfiguriert ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.