-
Die Erfindung betrifft ein Verfahren zum Bereitstellen von Trainingsdaten für eine Funktionsprüfung einer Erkennungseinrichtung, insbesondere eines Fahrassistenzsystems. Die Erfindung betrifft außerdem ein Datenbanksystem zum Bereitstellen von Trainingsdaten.
-
Moderne Kraftfahrzeuge verfügen immer häufiger über Fahrerassistenzsysteme, die den Fahrkomfort und/oder die Sicherheit des Kraftfahrzeugs erhöhen sollen. Derartige Fahrerassistenzsysteme können beispielsweise einem Fahrer des Kraftfahrzeugs Hinweise geben und/oder eine Fahrfunktion des Kraftfahrzeugs automatisiert steuern. Beispiele für Fahrerassistenzsysteme sind: Spurhalteassistent, Notbremsassistent, toter-Winkel-Assistent oder Fahrerassistenzsysteme, die eine teilautonome und vollautonome Fahrt des Kraftfahrzeugs ermöglichen.
-
Da derartige Fahrerassistenzsysteme sicherheitskritische Funktionen darstellen und ein Versagen des Fahrerassistenzsystems einen Unfall des Kraftfahrzeugs zur Folge haben kann, ist eine Überprüfung der Funktion des Fahrerassistenzsystems vor dessen Inbetriebnahme unerlässlich. Beispielsweise kann ein Prototyp des Kraftfahrzeugs für eine Funktionsprüfung des Fahrerassistenzsystems genutzt werden. In diesem Fall sind äußerst umfangreiche Messfahrten nötig, um eine einwandfreie Funktion des Fahrerassistenzsystems gewährleisten zu können.
-
Zur prognostischen Bewertung wenigstens eines vorausschauenden Sicherheitssystems eines Kraftfahrzeugs sieht die
DE 10 2008 027 509 A1 die Berücksichtigung von statistischen, mehrere Unfälle beschreibenden, insbesondere in einer Datenbank gespeicherten Realunfalldaten vor, wobei vorab eine Simulation wenigstens eines realen und/oder auf den Realunfalldaten beruhen, durch Nominalparameter beschreibbaren Unfalls durchgeführt wird, welche Simulation zu vorbestimmten Unterzeitpunkten vor einem Unfallzeitpunkt zur Erzeugung wenigstens einer Untersimulation mit wenigstens einem veränderten Simulationsparameter, wobei die Veränderung wenigstens eine Maßnahme zur Unfallvermeidung und/oder Unfallfolgenminderung in dem Kraftfahrzeug beschreibt, unterbrochen wird und die Ergebnisse der Untersimulation in Abhängigkeit der veränderten Simulationsparameter und der Unterzeitpunkte als Simulationsdatensätze gespeichert werden.
-
Das Fahrerassistenzsystem kann eine Erkennungseinrichtung umfassen, wobei die Erkennungseinrichtung dazu ausgebildet ist, anhand eines Sensorsignals aus einem Sensor des Kraftfahrzeugs eine nötige Handlung durch das Fahrerassistenzsystem zu erkennen. Die nötige Handlung ist beispielsweise die Ausgabe des Hinweises an den Fahrer oder die automatisierte Steuerung der Fahrfunktion des Kraftfahrzeugs beziehungsweise die Ausgabe eines bestimmten Steuerbefehls zum automatisierten Steuern der Fahrfunktion. Die Erkennungseinrichtung umfasst beispielsweise einen Algorithmus zur Erkennung vorbestimmter Muster in dem Sensorsignal.
-
Ein zentraler Aspekt bei der Funktionsprüfung des Fahrerassistenzsystems ist somit eine Funktionsprüfung der Erkennungseinrichtung des Fahrerassistenzsystems. Zum Testen der Erkennungseinrichtung ist nicht zwangsläufig eine Messfahrt des Kraftfahrzeugs nötig. Es kann zumindest teilweise hinreichend sein, die Erkennungseinrichtung, beispielsweise den Algorithmus, anhand von Trainingsdaten zu testen.
-
Die
WO 2017 / 069 695 A1 offenbart eine Methode zum Testen und Auswerten einer Antwort eines Radarsystems eines Kraftfahrzeugs für ein spezifisches Sicherheitsszenario. Dabei wird ein Radarsignal aus einem zuvor aufgenommenen realen Radarsignal oder einer Simulation gebildet, dieses Radarsignal mittels eines Radarsensors empfangen und ein Ergebnis beim Auswerten des Radarsignals durch den Radarsensor mit einem erwarteten Ergebnis verglichen.
-
Die
DE 10 2013 212 710 A1 beschäftigt sich mit dem Vergleich realer Messwerte realer Sensoren in einer realen Umgebung mit simulierten Messwerten simulierter Sensoren in einer simulierten Umgebung. Durch diesen Vergleich kann die Modellierung der simulierten Komponenten verbessert werden.
-
Die
DE 10 2010 013 943 A1 offenbart in diesem Kontext die Simulation von Umgebungen, wobei eine zu simulierende Umgebung jeweils durch Bereitstellen eines entsprechenden Datensatzes bestimmt werden kann. Ausgehend von wenigstens einem Datensatz werden durch Simulieren von Umgebungen Umgebungsdaten berechnet. Auf Grundlage der Umgebungsdaten werden Sensordaten erzeugt, mit welchen die zu überprüfende Erkennungseinrichtung betrieben wird. Hierdurch wird für jede simulierte Umgebung ein entsprechendes Erkennungsergebnis ermittelt.
-
Der Stand der Technik besitzt den Nachteil, dass die Funktionsprüfung entweder anhand von durch Unfälle vorgegebenen Verkehrssituationen oder anhand simulierter Umgebungen erfolgt. Die Funktionsprüfung anhand der durch die Unfälle vorgegebenen Verkehrssituationen ist möglicherweise nicht universell genug, um eine allgemeine Funktionsprüfung durchzuführen. Es ist Aufgabe der vorliegenden Erfindung, eine erweiterte Funktionsprüfung auf Basis realer Sensorsignale zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
-
Die Erfindung beruht auf der Idee, dass eine Datenbank erstellt wird, die eine Vielzahl an Samples umfasst, welche ein jeweiliges reales Sensorsignal sowie eine jeweilige Verkehrssituationsinformation umfasst. Anschließend kann eine virtuelle, insbesondere fiktive, Verkehrssituation erstellt, beispielsweise simuliert, werden. Im Gegensatz zum Stand der Technik sieht die Erfindung vor, Sensordaten für die virtuelle, insbesondere fiktive, Verkehrssituation nicht zu simulieren, sondern aus denjenigen Samples zu bilden, deren Verkehrssituationsinformation zu der virtuellen, insbesondere fiktiven, Verkehrssituation passt.
-
Um nun auf Basis realer Sensorsignale eine erweiterte Funktionsprüfung zu ermöglichen, sind erfindungsgemäß folgende Schritte vorgesehen:
- - Erfassen mehrerer Samples, wobei jedes Sample durch ein jeweiliges Sensorsignal und eine jeweilige Verkehrssituationsinformation gegeben ist, und wobei die jeweilige Verkehrssituationsinformation eine reale Verkehrssituation charakterisiert, in welcher das Sensorsignal erfasst wird,
- - Erstellen einer virtuellen Verkehrssituation anhand der Verkehrssituationsinformationen mehrerer der Samples,
- - Synthetisieren der Sensorsignale derjenigen Samples, deren jeweilige Verkehrssituationsinformationen die virtuelle Verkehrssituation mit charakterisieren, zu einem Trainingsdatensatz.
-
Die jeweiligen Sensorsignale werden insbesondere aus zumindest einem Sensor erfasst. Die jeweilige, insbesondere reale, Verkehrssituation, in der das Sensorsignal erfasst wird, wird durch die Verkehrssituationsinformation beschrieben. Das Sensorsignal und die Verkehrssituationsinformation bilden zusammen ein jeweiliges Sample. Die Verkehrssituationsinformation kann zumindest teilweise aus dem Sensorsignal extrahiert werden, durch eine Eingabevorrichtung von einem Nutzer empfangen werden oder aus einem weiteren Sensorsignal eines weiteren Sensors extrahiert werden. Vorzugsweise wird eine Vielzahl an Samples erfasst. Das Erfassen des Samples umfasst insbesondere auch das Abspeichern des Samples in einer Datenbank oder Speichereinrichtung.
-
Die virtuelles Verkehrssituation wird insbesondere bezogen auf ein Kraftfahrzeug erstellt, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen werden soll. Bei dem Erstellen der virtuellen Verkehrssituation wird beispielsweise eine fiktive Verkehrssituation simuliert. Alternativ kann eine beliebige Verkehrssituation nachgestellt werden. Insbesondere ist die virtuelle Verkehrssituation keiner realen Verkehrssituation nachempfunden, für welche Sensorsignale erfasst wurden. Als Verkehrssituation im Sinne der vorliegenden Erfindung ist insbesondere ein Ausschnitt aus einer Fahrt des Kraftfahrzeugs zu verstehen. Beispiele hierfür sind eine Relativbewegung des Kraftfahrzeugs zu einem oder mehreren fahrzeugexternen Objekten, ein Annähern des Kraftfahrzeugs an eine Kreuzung oder ein Spurwechsel. Beispielsweise ist in einer Verkehrssituation im Sinne der vorliegenden Erfindung eine Handlung durch das Fahrerassistenzsystem nötig. Bei der Funktionsprüfung anhand der virtuellen Verkehrssituation wird überprüft, ob die Erkennungseinrichtung die durch das Fahrerassistenzsystem nötige Handlung korrekt erkennt.
-
Um nun für die virtuelle, insbesondere fiktive, Verkehrssituation den Trainingsdatensatz beziehungsweise die Trainingsdaten bereitzustellen, wird beispielsweise überprüft beziehungsweise ermittelt, welche Verkehrssituationsinformationen der mehreren Samples die virtuelle Verkehrssituation charakterisieren. Mit anderen Worten wird ermittelt, welche der Samples aufgrund ihrer Verkehrssituationsinformation zu der virtuellen Verkehrssituation passen beziehungsweise beitragen können. Der Trainingsdatensatz kann dann durch aus den jeweiligen Sensorsignalen der entsprechenden Samples synthetisiert beziehungsweise bereitgestellt werden. Der Trainingsdatensatz kann entweder ausschließlich aus den jeweiligen Sensorsignalen der entsprechenden Samples gebildet sein oder weitere Daten, beispielsweise die Verkehrssituationsinformationen oder die virtuelle Verkehrssituation, umfassen. Anhand des Trainingsdatensatzes kann die Funktion der Erkennungseinrichtung in der zuvor erstellten virtuellen Verkehrssituation getestet werden. Insbesondere ist der Trainingsdatensatz spezifisch für genau diese virtuelle Verkehrssituation. Mit anderen Worten wird der Trainingsdatensatz aus den jeweiligen Sensorsignalen der Samples zusammengestellt. Beispielsweise umfasst der Trainingsdatensatz ein virtuelles Sensorsignal für die virtuelle Verkehrssituation, welches aus den jeweiligen Sensorsignalen der Samples zusammengestellt beziehungsweise synthetisiert ist.
-
Die Verkehrssituationsinformation kann eine Vielzahl an Einflussparametern, welche eine jeweilige Verkehrssituation beschreiben, umfassen. Beispiele für Einflussparameter sind Objekteigenschaften eines erfassten Objekts, Positionsangaben eines erfassten Objekts, Sensorinformationen betreffend den das jeweilige Sensorsignal erfassenden Sensor oder Umwelteigenschaften. Beispiele für die Objekteigenschaften des erfassten Objekts sind dessen Größe, Form, Material und Oberflächenbeschaffenheit. Beispiele für die Positionsangaben des erfassten Objekts sind Entfernung, Azimut, Elevation, Pose und Ausrichtung des erfassten Objekts. Beispiele für die Sensorinformationen sind Art und Einbaulage des Sensors. Beispiele für Umwelteigenschaften sind Wetterkriterien, Sonnenstand, Luftfeuchtigkeit, Temperatur oder Luftverschmutzung.
-
Beim Erstellen der virtuellen Verkehrssituation können Einflussparameter für die virtuelle Verkehrssituation erstellt werden. Beispielsweise gelten diejenigen Samples als die virtuelle Verkehrssituation charakterisierend, deren Einflussparameter maximal um ein vorbestimmtes Maß von den Einflussparametern der virtuellen Verkehrssituation abweichen. Durch das Vergleichen der Einflussparameter der virtuellen Verkehrssituation und der Samples kann ermittelt werden, welche der Samples für die virtuelle Verkehrssituation passen sind.
-
Der Trainingsdatensatz ermöglicht nun eine Funktionsprüfung der Erkennungseinrichtung. Insbesondere umfasst der Trainingsdatensatz reale Sensorsignale, welche aus realen Sensoren erfasst wurden. Dabei wird die Funktionsprüfung für die virtuelle, insbesondere fiktive, Verkehrssituation auf Basis realer Sensorsignale ermöglicht. Gewissermaßen wird durch geeignete Kombination der Samples beziehungsweise deren jeweiliger Sensorsignale das virtuelle Sensorsignal gebildet. Insbesondere können die Samples zu einer Vielzahl fiktiver Verkehrssituationen kombiniert werden. Auf diese Weise kann anhand der Samples eine besonders erweiterte Funktionsprüfung erfolgen. Da beim Bilden des Trainingsdatensatzes stets reale Sensordaten der Samples zu Grunde liegen, erfolgt die Funktionsprüfung anhand des Trainingsdatensatzes ebenfalls auf Basis realer Sensordaten. Somit ist insbesondere eine verbesserte Genauigkeit der Funktionsprüfung gegenüber einer reinen Simulation des Trainingsdatensatzes ermöglicht. Insbesondere kann der Einfluss ungenauer Sensordaten, eingeschränkter Signalqualität und/oder fehlerhafter Erfassung anhand realer Sensorsignale geprüft werden.
-
Die mehreren Samples können zumindest teilweise aus zumindest einer Messfahrt eines Messfahrzeugs erfasst werden. Durch einen Sensor des Messfahrzeugs können jeweiliges Sensorsignale sowie jeweilige Verkehrssituationsinformationen als Teil der mehreren Samples erfasst und gespeichert werden. In einem anderen Beispiel wird während der Messfahrt ein Sensorsignal eines Sensors des Messfahrzeugs geloggt. Anschließend können die mehreren Samples zumindest teilweise aus dem geloggten Sensorsignal extrahiert werden. Als Messfahrzeug wird insbesondere ein Fahrzeug bezeichnet, welches zumindest einen gleichartigen Sensor umfasst, wie das Kraftfahrzeug dessen Erkennungseinrichtung geprüft wird.
-
Beispielsweise wird der Trainingsdatensatz aus Sensorsignalen von Samples, welche aus unterschiedlichen Messfahrzeugen erfasst wurden, synthetisiert. Beispielsweise umfasst ein erstes Messfahrzeug einen ersten Sensor und ein zweites Messfahrzeug einen zweiten Sensor. Der erste und der zweite Sensor können ein unterschiedliches Erfassungsprinzip aufweisen. Auf diese Weise kann der Trainingsdatensatz für das Kraftfahrzeug aus den Samples des ersten Messfahrzeugs und des zweiten Messfahrzeugs synthetisiert werden. Auf diese Weise ist die Funktionsprüfung der Erkennungseinrichtung des Kraftfahrzeugs anhand realer Sensordaten möglich, ohne dass eine Messfahrt mit der Sensorkonfiguration des Kraftfahrzeugs durchgeführt wird.
-
Alternativ oder zusätzlich können die mehreren Samples in einer Testumgebung erfasst werden. Beispielsweise ist vorgesehen, dass ein Sensor in der Testumgebung angeordnet wird und die mehreren Samples zumindest teilweise in der Testumgebung erfasst werden. Insbesondere werden in der Testumgebung reale Verkehrssituationen nachgebildet, für welche sowohl Sensorsignale als auch Verkehrssituationsinformationen erfasst werden. Beispielsweise werden in der Testumgebung reale Verkehrssituationen anhand ihrer Verkehrssituationsinformationen nachgebildet. Auf diese Weise können systematisch Samples mit verschiedenen Verkehrssituationsinformationen erfasst werden.
-
Beispielsweise werden die Sensorsignale der Samples, welche zu dem Trainingsdatensatz der virtuellen Verkehrssituation synthetisiert werden, in unterschiedlichen realen Verkehrssituationen erfasst. Somit wird der Trainingsdatensatz und/oder das virtuelle Sensorsignal aus jeweiligen Sensorsignalen gebildet, welche in unterschiedlichen realen Verkehrssituationen erfasst wurden. Dabei wird die virtuelle Verkehrssituation aus den unterschiedlichen realen Verkehrssituationen gebildet. Beispielsweise betrifft die virtuelle Verkehrssituation mehrere fahrzeugexterne Objekten und jedes der Samples nur jeweils eines der mehreren fahrzeugexternen Objekte. Mit anderen Worten ist jedes der Samples in einer realen Verkehrssituation mit nur einem der mehreren fahrzeugexternen Objekte erfasst worden. Somit kann der Trainingsdatensatz für die virtuellem Verkehrssituation mit mehreren fahrzeugexterne Objekten durch Zusammenfügen der unterschiedlichen Samples mit dem jeweiligem fahrzeugexternen Objekt erfolgen. Auf diese Weise ergeben sich besonders vorteilhaft erweiterte Kombinationsmöglichkeiten zum Erstellen der Trainingsdaten.
-
Eine zeitliche Propagation der virtuellen Verkehrssituation kann durch Aneinanderreihen der Samples charakterisiert werden. Beispielsweise werden die Sensorsignale der Samples beim Zusammentragen zumindest teilweise zeitlich aneinandergereiht. Insbesondere charakterisiert das jeweilige Sensorsignal eines der Samples eine jeweilige Verkehrssituation nur über eine vorbestimmte Zeitspanne hinweg. Beispielsweise ist das jeweilige Sensorsignal eines der Samples eine Momentaufnahme, welche nur über die vorbestimmte Zeitspanne hinweg Gültigkeit für die jeweilige Verkehrssituation hat. Beispielsweise ist die vorbestimmte Zeitspanne eine Zeitspanne von 5 Sekunden, 2 Sekunden, 1 Sekunde, 0,5 Sekunden, 0,2 Sekunden, 0,1 Sekunden, 0,05 Sekunden oder 0,01 Sekunden. Somit wird ein zeitlicher Verlauf der virtuellen Verkehrssituation durch Aneinanderreihen der Sensorsignale zeitlich aufeinanderfolgender Samples beschrieben. Beim Erstellen der virtuellen Verkehrssituation kann diese in mehrere Zeitabschnitte aufgeteilt werden. Beispielsweise sind die mehreren Zeitabschnitte der virtuellen Verkehrssituation durch die vorbestimmte Zeitspanne voneinander zeitlich beanstandet. In diesem Fall kann für jeden der Zeitabschnitte ein jeweiliger Satz an Einflussparametern erstellt werden. Somit können anhand der Einflussparameter für jeden der Zeitabschnitte jeweilige Samples als passend ermittelt werden.
-
Zum Charakterisieren der virtuellen Verkehrssituation kann der Trainingsdatensatz aus Sensorsignalen von Samples, welche aus unterschiedlichen Sensoren erfasst wurden, synthetisiert werden. Beispielsweise ist die zu überprüfende Erkennungseinrichtung dazu ausgebildet, Sensorsignale aus unterschiedlichen Sensoren zu erfassen. In diesem Fall können die Sensorsignale der Samples, welche zu dem Trainingsdatensatz der virtuellen Verkehrssituation synthetisiert werden, aus unterschiedlichen Sensoren erfasst worden sein. So können für die Funktionsprüfung der Erkennungseinrichtung des Kraftfahrzeugs als Teil des Trainingsdatensatz ist Sensorsignale für mehrere unterschiedliche Sensoren des Kraftfahrzeugs synthetisiert werden. Mit unterschiedlichen Sensoren sind hierbei insbesondere Sensoren mit unterschiedlichem Erfassungsprinzip gemeint. Beispielsweise weist das Kraftfahrzeug eine Kamera und einen Radarsensor als Sensoren auf. Die Sensorsignale der Samples, welche zu dem Trainingsdatensatz synthetisiert werden, können dann teils Sensorsignale aus einer Kamera und teils Sensorsignale aus einem Radarsensor umfassen.
-
Eine Weiterbildung sieht vor, dass ein künstliches Sensorsignal für ein künstliches Sample aus dem Sensorsignal zumindest eines der Samples, dessen Verkehrssituationsinformation höchstens um ein vorgebbaren Maß von einer Verkehrssituationsinformation des künstlichen Samples abweicht, gebildet wird. Beispielsweise wird das künstliche Sensorsignal durch Interpolation zwischen mehreren der Samples, deren Verkehrssituationsinformation höchstens um ein vorgebbares Maß von der Verkehrssituationsinformation des künstlichen Samples abweicht, gebildet. Beispielsweise wird das künstliche Sensorsignal durch Extrapolation ausgehend von einem oder mehreren der Samples, deren Verkehrssituationsinformation höchstens um das vorgebbare Maß von der Verkehrssituationsinformation des künstlichen Samples abweicht, gebildet. Die Verkehrssituationsinformation des künstlichen Samples kann anhand der virtuellen Verkehrssituation simuliert werden. Beispielsweise werden für solche Zeitabschnitte der virtuellen Verkehrssituation künstliche Samples gebildet, für welche kein Sample erfasst wurde.
-
Das Sensorsignal kann beispielsweise aus einem Radarsensor als dem Sensor erfasst werden. Als das Sensorsignal kann eine Intensitätskarte und/oder eine Objektliste aus dem Radarsensor erfasst werden. Im Allgemeinen kann es sich bei dem Sensorsignal Rohdaten aus dem Sensor oder bereits durch den Sensor vorverarbeitete Sensordaten handeln. Die Intensitätskarte, welche insbesondere Intensität und Position von Reflexen umfasst, ist ein Beispiel für Rohdaten aus dem Radarsensor. Die Objektliste ist ein Beispiel für durch den Radarsensor vorverarbeitete Sensordaten.
-
Eine Weiterbildung sieht vor, dass mehrfaches Abspeichern gleichartiger Samples unterbunden wird, wobei Samples genau dann als gleichartig gelten, wenn deren Verkehrssituationsinformationen höchstens um ein vorbestimmtes Maß voneinander abweichen. Beispielsweise können im Rahmen der Messfahrt des Kraftfahrzeugs mehrere Samples mit gleichartigen Verkehrssituationsinformationen erfasst werden. Durch Vergleichen der Verkehrsinformationen der Samples kann erkannt werden, dass die Samples gleichartig sind. In diesem Fall wird vorzugsweise nur eines der gleichartigen Samples in der Datenbank oder Speichereinrichtung gespeichert. Auf diese Weise kann mehrfaches Speichern gleichartiger Samples verhindert werden und Speicherplatz eingespart werden.
-
Ein zweiter Aspekt der Erfindung betrifft ein Datenbanksystem zum Bereitstellen von Trainingsdaten, welches dazu eingerichtet ist ein Verfahren der oben genannten Art auszuführen. Insbesondere umfasst das Datenbanksystem eine Erfassungseinheit, eine Speichereinheit, eine Recheneinheit sowie eine Ausgabeschnittstelle.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Datenbanksystems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Datenbanksystems hier nicht noch einmal beschrieben.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens; und
- 2 einen beispielhaften Überblick über die Zusammensetzung eines Trainingsdatensatzes aus Samples.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt ein Flussdiagramm einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens zum Bereitstellen von Trainingsdaten. Die Trainingsdaten werden für eine Funktionsprüfung einer Erkennungseinrichtung eines Kraftfahrzeugs (in den Fig. nicht dargestellt) bereitgestellt. Die Erkennungseinrichtung des Kraftfahrzeugs kann Teil eines Fahrerassistenzsystem sein. Das Fahrerassistenzsystem kann dazu ausgebildet sein, eine Fahrfunktion zu steuern und/oder einen Hinweis an einen Fahrer des Kraftfahrzeugs auszugeben, wenn eine Verkehrssituation dies erfordert. Die Erkennungseinrichtung kann erkennen, ob eine Handlung durch das Fahrerassistenzsystem nötig ist und wenn ja welche Handlung durch das Fahrerassistenzsystem nötig ist. Dabei werden in einem ersten Schritt A1 Sensorsignale aus Sensoren erfasst. Vorliegend ist der erste Schritt A1 in mehrere parallele Teilschritte A1a, A1b und A1c aufgeteilt.
-
Beispielsweise werden in dem Teilschritt A1a Sensorsignale aus einem ersten Messfahrzeug erfasst. Das erste Messfahrzeug kann einen Sensor, beispielsweise einen Ultraschallsensor, eine Kamera, einen Radarsensor oder einen Lidar-Sensor, umfassen. Der Sensor des ersten Messfahrzeugs ist insbesondere gleicher Art, wie ein Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird. Das erste Messfahrzeug kann mehrere Sensoren aufweisen. In dem Teilschritt A1a können somit entweder Sensorsignale nur aus einem Sensor oder aus mehreren Sensoren des ersten Messfahrzeugs erfasst werden.
-
Beispielsweise werden in dem Teilschritt A1b Sensorsignale aus einem zweiten Messfahrzeug erfasst. Das zweite Messfahrzeug kann ein Sensor, beispielsweise einen Ultraschallsensor, eine Kamera, einen Radarsensor oder einen Lidar-Sensor, umfassen. Der Sensor des zweiten Messfahrzeugs ist insbesondere gleicher Art, wie ein Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird. Das zweite Messfahrzeug kann mehrere Sensoren aufweisen. In dem Teilschritt A1b können somit entweder Sensorsignale nur aus einem Sensor oder aus mehreren Sensoren des zweiten Messfahrzeugs erfasst werden.
-
Das erste Messfahrzeug und/oder das zweite Messfahrzeug weisen insbesondere jeweils einen Sensor gleicher Art auf, wie das Kraftfahrzeug, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird. Bei dem ersten Messfahrzeug und/oder dem zweiten Messfahrzeug handelt es sich beispielsweise um Prototypen des Kraftfahrzeugs. Beispielsweise werden in den Teilschritten A1a und A1b die jeweiligen Sensorsignale während Messfahrten des ersten Messfahrzeugs und/oder des zweiten Messfahrzeugs erfasst. Bei den Messfahrten kann es sich um Fahrten des jeweiligen Messfahrzeugs im Straßenverkehr handeln, welche insbesondere zur Erfassung der Sensorsignale durchgeführt wird. Somit werden die Sensorsignale in realen Verkehrssituationen erfasst. Insbesondere werden anhand der Sensorsignale ein Fremdobjekt, beispielsweise ein weiteres Kraftfahrzeug, ein Radfahrer oder ein Fußgänger, erfasst.
-
In einem Teilschritt A1c werden Sensorsignale aus einem Sensor in einer Testumgebung erfasst. Insbesondere handelt es sich bei dem Sensor in der Testumgebung um einen gleichartigen Sensor, wie er auch an dem Kraftfahrzeug, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird, angeordnet ist. Beispielsweise wird der Sensor in der Testumgebung bezüglich seiner Pose derart angeordnet, wie er auch an dem Kraftfahrzeug angeordnet ist. In der Testumgebung können reale Verkehrssituationen nachgestellt werden. Beispielsweise wird ein Fremdobjekt, beispielsweise ein weiteres Kraftfahrzeug, ein Radfahrer oder ein Fußgänger, in der Testumgebung angeordnet. Anschließend kann für eine Vielzahl an Relativpositionen des Fremdobjekts zum Sensor in der Testumgebung ein jeweiliges Sensorsignal erfasst werden. Dabei können die jeweiligen Sensorsignale für die unterschiedlichen Relativpositionen systematisch erfasst werden. Systematisch bedeutet insbesondere, dass die unterschiedlichen Relativpositionen jeweils einen vorgegebenen Abstand zueinander aufweisen, beispielsweise nach Art eines Gitternetzes. Alternativ können die unterschiedlichen Relativpositionen jeweils sich einen vorgegebenen Azimutwinkel, Elevationswinkel und radialen Abstand bezogen auf den Sensor unterscheiden.
-
Insbesondere erstreckt sich jedes der Sensorsignale maximal über eine vorbestimmte Zeitspanne. Beispielsweise wird ein kontinuierliches Ausgangssignal eines Sensors eines der Messfahrzeuge bei der Erfassung in die einzelnen Sensorsignale zerteilt. Die vorbestimmte Zeitspanne, über die sich jedes der Sensorsignale erstreckt, kann beispielsweise 5 Sekunden, 2 Sekunden, 1 Sekunde, 0,5 Sekunden, 0,2 Sekunden, 0,1 Sekunden, 0,05 Sekunden, 0,02 Sekunden oder 0,01 Sekunden betragen. Beispielsweise handelt es sich bei jedem der Sensorsignale um einen Durchschnittswert über die vorbestimmte Zeitspanne hinweg oder einen Momentanwert, der innerhalb der vorbestimmten Zeitspanne auftritt.
-
In einem Schritt A2 wird für jedes der Sensorsignale eine jeweilige Verkehrssituationsinformation ermittelt. Die Verkehrssituationsinformation kann anhand von Einflussparametern gegeben sein. Beispielsweise betreffen die Einflussparameter Objekteigenschaften des Fremdobjekts, wie beispielsweise dessen Größe, Form oder Oberflächenbeschaffenheit, die Relativposition des Fremdobjekts, beispielsweise Entfernung, Azimutwinkel, Elevationswinkel und Objektausrichtung beziehungsweise Lage des Objekts. Alternativ oder zusätzlich können die Einflussparameter Informationen zur Einbaulage des jeweiligen Sensors an dem Messfahrzeug oder in der Testumgebung umfassen. Alternativ oder zusätzlich können die Einflussparameter Wetterkriterien, beispielsweise Sonnenstand, Luftfeuchtigkeit, Temperatur oder Luftverschmutzung, umfassen. Die Verkehrssituationsinformationen beziehungsweise Einflussparameter können anhand des jeweiligen Sensorsignals, anhand eines weiteren Sensorsignals und/oder aus einer Eingabevorrichtung von einem Nutzer empfangen werden.
-
Durch die Einflussparameter entsteht ein n-dimensionaler Parameterraum. Dabei stellt jeder der Einzelparameter eine Dimension des Parameterraums dar. Insbesondere wird für jeden Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird, in dem Schritt A1 für jede Parameterkombination der Einflussparameter ein Sensorsignal erfasst. Beispielsweise wird systematisch jeder der Einflussparameter um ein jeweils vorbestimmtes Maß schrittweise verändert. Dabei wird nach jeder der schrittweisen Veränderungen ein Sensorsignal erfasst.
-
In einem Schritt A3 werden die Sensorsignale und die jeweilige Verkehrssituationsinformation gemeinsam als ein jeweiliges Sample 2 in einer Datenbank oder Speichereinrichtung 3 gespeichert. Mit anderen Worten wird eine Vielzahl an Samples 2 in der Speichereinrichtung 3 gespeichert, wobei jedes der Samples 2 eines der Sensorsignale und die dazugehörige Verkehrssituationsinformation umfasst.
-
Insbesondere wird in dem Schritt A3 für jeden Sensor des Kraftfahrzeugs nur ein Sample 2 für jede Verkehrssituationsinformation gespeichert. Weitere Samples 2 mit gleichartiger Verkehrssituationsinformation können verworfen werden. Beispielsweise wird vor dem Abspeichern eines neuen Samples geprüft, ob für den jeweiligen Sensor bereits ein altes Sample mit gleichartiger Verkehrssituationsinformation gespeichert ist. In diesem Fall kann entweder das neue Sample verworfen werden oder das neue Sample gespeichert und das alte Sample gelöscht werden. Auf diese Weise werden Redundanzen in der Datenbank beziehungsweise Speichereinrichtung 3 vermieden.
-
Für die Funktionsprüfung der Erkennungseinrichtung des Kraftfahrzeugs wird anschließend in einem Schritt A4 eine virtuelle Verkehrssituation VS erstellt. Die virtuelle Verkehrssituation VS betrifft beispielsweise eine Relativbewegung des Kraftfahrzeugs relativ zu einem oder mehreren Fremdobjekten. Bei den Fremdobjekten handelt sich beispielsweise um weitere Kraftfahrzeuge, Radfahrer oder Fußgänger. Alternativ oder zusätzlich betrifft die virtuelle Verkehrssituation VS eine Relativbewegung des Kraftfahrzeugs relativ zu einem ortsfesten Fremdobjekt, beispielsweise einer Mauer, einer Leitplanke, einer Spurbegrenzung oder einem Baum. Insbesondere handelt es sich bei der virtuellen Verkehrssituation VS um keine der realen Verkehrssituationen, für welche im Schritt A1 bereits Sensorsignale erfasst wurden.
-
Für die virtuelle Verkehrssituation VS soll ein Trainingsdatensatz 1 erstellt werden, durch welchen die virtuelle Verkehrssituation VS betreffende Sensorsignale für die Erkennungseinrichtung des Kraftfahrzeugs bereitgestellt wird. Dieser Trainingsdatensatz 1 wird gemäß des vorliegenden Verfahrens aus den Samples 2 synthetisiert. Im Gegensatz zu simulierten Trainingsdaten, hat dies den Vorteil, dass dem Trainingsdatensatz 1 reale Sensorsignale zu Grunde liegen. Auf diese Weise können durch geeignetes Zusammentragen von Samples 2 Trainingsdatensätze 1 für beliebige, insbesondere fiktive, virtuelle Verkehrssituation in VS erstellt werden.
-
In einem Schritt A5 wird die virtuelle Verkehrssituation VS zunächst in mehrere Teilabschnitte geteilt. Beispielsweise wird die virtuelle Verkehrssituation VS in mehrere Teilabschnitte geteilt, von denen sich jeder über eine vorbestimmte Zeitspanne erstreckt. Die vorbestimmte Zeitspanne kann der oben genannten vorbestimmten Zeitspanne entsprechen. Mit anderen Worten wird die virtuelle Verkehrssituation VS bezüglich ihrer zeitlichen Erstreckung in die mehreren Teilabschnitte geteilt. In einem konkreten Beispiel erstreckt sich die virtuelle Verkehrssituation VS über 5 Sekunden und die vorbestimmte Zeitspanne entspricht 0,1 Sekunden. In diesem Beispiel wird die virtuelle Verkehrssituation VS in 50 Teilabschnitte geteilt.
-
Wird für einen der Teilabschnitte kein geeignetes Sample 2 in der Datenbank beziehungsweise Speichereinrichtung 3 gefunden, so kann ausgehend von einem oder mehreren der Samples 2 ein virtuelles Sample simuliert werden. Beispielsweise wird das virtuelle Sample durch Interpolation aus Samples 2, deren Verkehrssituationsinformation maximal um ein vorgebbares Maß von der Verkehrssituationsinformation des Teilbereichs abweicht, gebildet. Alternativ wird das virtuelle Sample durch Extrapolation ausgehend von einem oder mehrerer Samples 2, deren Verkehrssituationsinformation maximal um das vorgebbares Maß von Verkehrssituation Information des Teilbereichs abweicht, gebildet.
-
In einem Schritt A6 werden für jeden der Teilabschnitte der virtuellen Verkehrssituation VS jeweilige Verkehrssituationsinformationen ermittelt. Beispielsweise werden für jeden der Teilabschnitte die oben genannten Einflussparameter ermittelt. Gemäß der 1 wird die Verkehrssituation VS beispielsweise in vier Teilabschnitte geteilt. Dementsprechend wird in Teilschritten A6a, A6b, A6c und A6d parallel für jeden der vier Teilabschnitte eine jeweilige Verkehrssituationsinformation ermittelt. Insbesondere werden für jeden der vier Teilabschnitte der virtuellen Verkehrssituation VS jeweilige Einflussparameter berechnet.
-
In einem Schritt A7 werden für jeden der Teilabschnitte der virtuellen Verkehrssituation VS passende Samples 2 ermittelt. Mit anderen Worten wird überprüft, welche der Samples 2 einen jeweiligen Teilabschnitt der virtuellen Verkehrssituation VS charakterisieren. Beispielsweise gilt ein Sample 2 als einen jeweiligen Teilabschnitt der virtuellen Verkehrssituation VS charakterisierend, wenn die Verkehrssituationsinformation des Samples 2 und die Verkehrssituationsinformation des Teilabschnitts der virtuellen Verkehrssituation VS maximal um ein vorbestimmtes Maß voneinander abweichen. Insbesondere gilt ein Sample 2 als den jeweiligen Teilabschnitt der Verkehrssituation VS charakterisierend, wenn die Einflussparameter des Teilabschnitts und des Samples 2 maximal um ein vorbestimmtes Maß voneinander abweichen. In dem Schritt A7 können außerdem die Samples 2, welche einen der jeweiligen Teilabschnitte charakterisieren, aus der Speichereinheit 3 beziehungsweise der Datenbank abgerufen werden. In der 1 ist der Schritt A7 in mehrere Teilschritte A7a, A7b, A7c und A7d aufgeteilt, um zu verdeutlichen, dass vorliegend für jeden der Teilbereiche die passenden beziehungsweise charakterisierenden Samples 2 ermittelt und abgerufen werden.
-
Insbesondere werden die Teilschritte A7a, A7b, A7c und A7d für jeden Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird, einzeln durchgeführt. Mit anderen Worten wird in den Teilschritten A7a, A7b, A7c und A7d für jeden der Sensoren des Kraftfahrzeugs anhand der Verkehrssituationsinformation ein jeweils passendes der Samples 2 ermittelt.
-
Zuletzt wird in einem Schritt A8 der Trainingsdatensatz 1 für die virtuelle Verkehrssituation VS synthetisiert. Insbesondere wird der Trainingsdatensatz 1 aus den im Schritt A7 abgerufenen Samples 2 synthetisiert. Beispielsweise wird beim Synthetisieren des Trainingsdatensatzes 1 ein virtuelles Sensorsignal aus den jeweiligen Sensorsignalen der Samples 2 synthetisiert beziehungsweise komponiert. Bei dem virtuellen Sensorsignal handelt es sich somit um eine Komposition der Sensorsignale der Samples 2. Außerdem wird in dem Schritt A8 der Trainingsdatensatz 1 für die Funktionsprüfung der Erkennungseinrichtung des Kraftfahrzeugs bereitgestellt. Die Erkennungseinrichtung kann somit anhand des Trainingsdatensatzes 1 auf ihre korrekte Funktion in der virtuellen Verkehrssituation VS geprüft werden.
-
Beispielsweise betrifft die virtuelle Verkehrssituation mehrere fahrzeugexterne Objekten und jedes der Samples nur jeweils eines der mehreren fahrzeugexternen Objekte. Mit anderen Worten ist jedes der Samples in einer realen Verkehrssituation mit nur einem der mehreren fahrzeugexternen Objekte erfasst worden. Somit kann der Trainingsdatensatz für die virtuellem Verkehrssituation mit mehreren fahrzeugexterne Objekten durch Zusammenfügen der unterschiedlichen Samples mit dem jeweiligem fahrzeugexternen Objekt erfolgen. In diesem Fall kann der Schritt A8 das Zusammenfügen und/oder das Zusammenschneiden der Samples 2 umfassen. Das Sensorsignal eines ersten der Samples 2 beschreibt in einem ersten Teilbereich beispielsweise ein erstes fahrzeugexternes Objekt. Das Sensorsignal eines zweiten der Samples 2 beschreibt in einem zweiten Teilbereich beispielsweise ein zweites fahrzeugexternes Objekt. Im Schritt A8 kann das durch Zusammenfügen des ersten Teilbereichs aus dem ersten der Samples 2 und des zweiten Teilbereichs aus dem zweiten der Samples 2 ein virtuelles Sensorsignal als Teil des Trainingsdatensatzes erstellt werden, wobei das virtuelle Sensorsignal sowohl das erste als auch das zweite fahrzeugexterne Objekt beschreibt.
-
Ein Datenbanksystem 4 kann dazu ausgebildet sein, das Verfahren gemäß dem Flussdiagramm durchzuführen. Insbesondere ist die Datenbank beziehungsweise Speichereinrichtung 3 Teil des Datenbanksystems 4.
-
2 zeigt nochmals auf, wie der Trainingsdatensatz 1 für die virtuelle Verkehrssituation VS synthetisiert wird. Die Verkehrssituationsinformationen V1, V2, V3,..., VN von Samples 2 werden als die virtuelle Verkehrssituation VS charakterisierend ermittelt. Beispielsweise handelt es sich bei Samples 5 um Samples, deren Sensorsignale S1, S2, S3,... SN im Schritt A1 aus einem ersten Sensor in einer ersten realen Verkehrssituation ermittelt wurde. Beispielsweise handelt es sich bei Samples 6 um Samples, deren Sensorsignale S1', S2', S3',...,SN' im Schritt A1 aus einem zweiten Sensor in einer zweiten realen Verkehrssituation ermittelt wurde. Bei dem ersten Sensor und dem zweiten Sensor handelt es sich insbesondere um Sensoren eines der Messfahrzeuge und/oder der Testumgebung. Der erste Sensor kann gleichartig zu einem ersten Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird, sein. Der zweite Sensor kann gleichartig zu einem zweiten Sensor des Kraftfahrzeugs, dessen Erkennungseinrichtung der Funktionsprüfung unterzogen wird, sein. Gleichartig bedeutet insbesondere, dass die Sensoren selbst gleichartig sind und auch deren Einbaupositionen am Messfahrzeug beziehungsweise am Kraftfahrzeug gleichartig sind. Insbesondere weisen der erste Sensor und der zweite Sensor eine unterschiedliche Einbauposition und/oder ein unterschiedliches Erfassungsprinzip auf. Beispielsweise handelt sich bei dem ersten Sensor um eine Kamera und bei dem zweiten Sensor um einen Radarsensor. Bei der ersten realen Verkehrssituation und der zweiten realen Verkehrssituation handelt es sich insbesondere um unterschiedliche Verkehrssituationen. Mit anderen Worten können die Sensorsignale S1, S2, S3,... SN der Samples 5 und die Sensorsignale S1', S2', S3',...,SN' der Samples 6 unabhängig voneinander, vorzugsweise zu unterschiedlichen Zeiten und/oder an unterschiedlichen Orten, erfasst worden sein.
-
Da das Kraftfahrzeug einen ersten Sensor des Kraftfahrzeugs und einen zweiten Sensor des Kraftfahrzeugs aufweist, sind für eine Funktionsprüfung der Erkennungseinrichtung jeweilige Trainingsdaten für jeden der Sensoren nötig. Der Trainingsdatensatz 1 wird somit aus den Sensorsignalen S1, S2, S3,... SN sowie den Sensorsignalen S1', S2', S3',....SN' gebildet beziehungsweise synthetisiert.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine erweiterte Funktionsprüfung auf Basis realer Sensorsignale ermöglicht wird. Außerdem wird durch die Samples 2 ein besonders effizientes Speichern von Sensordaten ermöglicht. Dadurch, dass keine gleichartige Samples in der Speichereinrichtung 3 gespeichert werden, wird keine Sensorsituation doppelt gespeichert.
