DE102022111625A1 - Verfahren zum Erzeugen von Trainingsdaten für ein lidarbasiertes Erkennen von Fremdfahrzeugen und zum Trainieren eines Detektionsmodells sowie Kraftfahrzeug - Google Patents

Abstract

Die Erfindung betrifft Verfahren zum Erzeugen von Trainingsdaten (12) für ein lidarbasiertes Erkennen von Fremdfahrzeugen und zum Trainieren eines entsprechenden Detektionsmodells sowie ein entsprechend eingerichtetes Kraftfahrzeug. Zum Erzeugen der Trainingsdaten (12) wird ein annotierter Ausgangsdatensatz (1) bereitgestellt, der Lidar-Punktdaten (3; 4) für ein Fremdfahrzeug (3) und eine korrespondierende Abgasfahne (4) enthält. Darauf basierend wird mittels eines vorgegebenen Variationsalgorithmus eine Vielzahl von unterschiedlichen Abgaspunktegruppen (13, 14, 15, 16, 18), die jeweils eine Abgasfahne repräsentieren, generiert. Indem die generierten Abgaspunktegruppen (13, 14, 15, 18) zu einem annotierten Lidar-Datensatz hinzugefügt werden, der Lidar-Punktdaten (3) für Fremdfahrzeuge ohne korrespondierende Abgasfahnen enthält, werden annotierte augmentierte Trainingsdaten (12) zum Trainieren eines entsprechenden Detektionsmodells für das lidarbasierte Erkennen von Fremdfahrzeugen erzeugt.

Description

• Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein lidarbasiertes Erkennen von Fremdfahrzeugen. Die Erfindung betrifft weiter ein Verfahren zum Trainieren eines entsprechenden Detektionsmodells sowie ein entsprechend zum Detektieren von Fremdfahrzeugen in der Umgebung eingerichtetes Kraftfahrzeug.
• Eine genaue und zuverlässige Erkennung von Umgebungsobjekten ist eine wichtige Grundlage für vielfältige Fahrassistenzfunktionen und eine zumindest teilweise automatisierte Fahrzeugführung. Dafür hat sich die Lidar-Technik als nützliches Hilfsmittel erwiesen. Mittels entsprechender Lidar-Sensoren können Objekte, wie beispielsweise Fremdfahrzeuge, Hindernisse, bauliche Fahrbahnbegrenzungen oder dergleichen, auch unabhängig von einer jeweiligen Beleuchtungssituation bzw. Umgebungshelligkeit detektiert werden. Problematisch kann es dabei jedoch sein, wenn ein zu detektierendes Fremdfahrzeug eine Abgasfahne ausstößt und es aufgrund entsprechend niedriger Umgebungstemperaturen zu einem Kondensieren kommt. In einer solchen Situation können von dem Lidar-Sensor ausgesendete Scan- bzw. Messsignale von der kondensierten Abgasfahne ganz oder teilweise reflektiert werden. Somit kann durch die Abgasfahne also Rauschen bzw. ein Störsignal in den jeweiligen von dem Lidar-Sensor aufgenommenen Messdaten verursacht werden. Dadurch kann die Abgasfahne selbst als Objekt oder Hindernis erkannt werden, eine Position und/oder Orientierung des jeweiligen Fremdfahrzeugs fehlerhaft detektiert bzw. bestimmt werden und/oder dergleichen mehr.
• Dies wiederum kann zu fehlerhaftem, unnötigem sowie potenziell gefährlichem Verhalten von Fahrzeugsystemen führen, die basierend auf detektierten Objekten agieren oder entscheiden.
• Ein Beispiel für ein Fahrzeugassistenzsystem zum lidarbasierten Identifizieren von Objekten in einer Umgebung eines Fahrzeugs ist in der US 10,915,765 B2 beschrieben. Dort werden Punktwolkeninformationen eines Lidar-Sensors empfangen. Darauf basierend wird eine Punktwolkenkarte der Fahrzeugumgebung konstruiert. Dabei ist die Punktwolkenkarte repräsentativ für eine Form eines bestimmten Objekts in der Umgebung und für eine Winkelorientierung von wenigstens zwei Oberflächen dieses Objekts. Es wird dann auf objektbezogene Klassifikationsinformationen zugegriffen und basierend darauf sowie auf den Winkelorientierungen der wenigstens zwei Oberflächen des Objekts das Objekt identifiziert. Damit soll eine verbesserte Performance von Lidar-Systemen ermöglicht werden.
• Ein weiterer Ansatz für eine Objektdetektion beispielsweise anhand von Lidar-Daten ist in der US 11,210,537 B2 beschrieben. Dort werden Sensordaten eines Umgebungssensors eines Fahrzeugs einem ersten neuronalen Netzwerk zugeführt. Dessen Objektdetektionen werden basierend auf Abständen zwischen jeweiligen Positionen geclustert. Es werden dann Merkmale eines solchen Clusters als Input für ein zweites neuronales Netzwerk bestimmt. Outputdaten dieses zweiten neuronalen Netzwerks repräsentieren eine Konfidenzbewertung, die repräsentativ ist für eine Wahrscheinlichkeit dafür, dass der Cluster zu dem jeweiligen Objekt korrespondiert und dass der Cluster eine positive Detektion einer entsprechenden Klasse repräsentiert. Damit soll also der Problematik möglicher Fehldetektionen begegnet werden.
• Grundsätzlich kann ein Ansatz zur Verbesserung der Detektionsgenauigkeit und der Detektionsrobustheit darin bestehen, mehr und/oder bessere Trainingsdaten zu verwenden. Es könnten beispielsweise Trainingsdaten verwendet werden, die auch Situationen mit lidarbasiert detektierbaren Abgasfahnen abdecken. Es kann jedoch prohibitiv schwierig und aufwendig sein, eine ausreichende Basis von Messdaten für solche Trainingsdaten im Feld, also im tatsächlichen Verkehrsgeschehen aufzunehmen, also zu sammeln. Problematisch sind dabei beispielsweise eine dafür zu handhabende und zu verarbeitende Datenmenge, einen anfallender Aufwand für das Auswählen und Annotieren, also Labeln geeigneter Messdaten, die aufgrund der Notwendigkeit für entsprechende Wetter- oder Umgebungsbedingungen begrenzten für eine Datenakquise infrage kommenden Zeiten sowie der Umstand, dass Abgasfahnen in großer Vielfalt von Formen, Dichteverteilungen und dergleichen mehr vorkommen können.
• Aufgabe der vorliegenden Erfindung ist es, eine besonders robuste automatische lidarbasierte Erkennung von Fahrzeugen, insbesondere bei Umgebungsbedingungen, die ein Kondensieren von Feuchtigkeit in oder an Abgasfahnen begünstigen, zu ermöglichen.
• Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der vorliegenden unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.
• Ein erfindungsgemäßes Verfahren kann angewendet werden zum Erzeugen von Trainingsdaten für ein lidarbasiertes Erkennen von Fremdfahrzeugen. Dies können insbesondere solche Fremdfahrzeuge sein, die lidarbasiert detektierbare Abgasfahnen ausstoßen oder ausstoßen können. Dies kann beispielsweise bei entsprechend niedrigen Umgebungstemperaturen auftreten, die zu einer Kondensation und damit zur zumindest teilweisen Reflexion von Lidar-Messsignalen an der jeweiligen Abgasfahne führen. Letzteres kann Rauschen oder Störsignale in entsprechenden Lidar-Messdaten verursachen, da die von der Abgasfahne reflektierten Lidar-Messsignale nicht zu dem eigentlichen zu detektierenden Objekt, also dem jeweiligen Fremdfahrzeug an sich gehören. Entsprechende Fremdfahrzeuge können beispielsweise mit einer Verbrennungskraftmaschine ausgestattete bzw. betriebene Kraftfahrzeuge sein.
• In einem Verfahrensschritt des erfindungsgemäßen Verfahrens wird ein annotierter Ausgangsdatensatz bereitgestellt bzw. erfasst oder abgerufen. Dieser Ausgangsdatensatz kann also beispielsweise mit Labeln, Klassifikationen und/oder Begrenzungsboxen bzw. Begrenzungsrahmen (englisch: bounding boxes) für in dem Ausgangsdatensatz repräsentierte Objekte und/oder dergleichen mehr aufbereitet sein. Der annotierte Ausgangsdatensatz enthält zumindest Lidar-Punktdaten für wenigstens ein Fremdfahrzeug und wenigstens eine korrespondierende Abgasfahne. Die Abgasfahne bzw. die diese repräsentierenden Lidar-Punkte bzw. Lidar-Punktdaten können insbesondere in der Umgebung des Fremdfahrzeugs, beispielsweise innerhalb einer Entfernung von einer Fahrzeuglänge zu dem Fremdfahrzeug, verortet sein. Die Abgasfahne kann also für einen Lidar-Sensor sichtbar oder detektierbar sein bzw. beim Aufnehmen der Lidar-Punktdaten des Ausgangsdatensatzes sichtbar oder detektierbar gewesen sein.
• Der Ausgangsdatensatz kann ein vergleichsweise kleiner Datensatz sein, der dementsprechend einfach, schnell, aufwandsarm und kostengünstig generiert werden kann.
• Die Lidar-Punktdaten des Ausgangsdatensatzes können Punktwolken sein oder umfassen. In den Lidar-Punktdaten kann jeder Punkt zumindest durch seine Position, also entsprechende Ortskoordinaten, oder auch beispielsweise durch einen jeweiligen Intensitäts- oder Reflektivitätswert und/oder dergleichen mehr angegeben oder beschrieben sein. Ebenso kann der Ausgangsdatensatz weitere Daten oder Informationen enthalten, beispielsweise bezüglich einer geographischen Position, an der er aufgenommen wurde, bezüglich während des Aufnehmens vorliegender Bedingungen, bezüglich eines zum Aufnehmen verwendeten Lidar-Sensors und/oder dergleichen mehr.
• In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird basierend auf dem Ausgangsdatensatz durch einen vorgegebenen Variationsmechanismus bzw. mittels eines vorgegebenen Variationsalgorithmus eine Vielzahl von unterschiedlichen Abgasfahnenlidarpunktegruppen, die hier abkürzend als Abgaspunktegruppen bezeichnet werden und die jeweils eine Abgasfahne repräsentieren, generiert. Es können hier insbesondere die in dem Ausgangsdatensatz enthaltenen Lidar-Punktdaten für die wenigstens eine Abgasfahne verwendet werden. Um die unterschiedlichen Abgaspunktegruppen zu generieren, kann beispielsweise wenigstens ein korrespondierender Parameter des Variationsalgorithmus variiert werden. Zusätzlich oder alternativ kann beispielsweise ein Sampling, also eine stichprobenartige Entnahme von Punkten in unterschiedlichen Mustern und/oder Umfängen erfolgen und/oder dergleichen mehr.
• Die Anzahl der so generierten unterschiedlichen Abgaspunktegruppen kann größer sein als die Anzahl der in dem Ausgangsdatensatz repräsentierten Abgasfahnen. So kann also ausgehend von dem relativ kleinen Ausgangsdatensatz eine relativ große Vielfalt von Abgaspunktegruppen generiert werden, sodass damit letztlich entsprechend vielfältige Trainingsdaten erzeugt werden können.
• Die Abgaspunktegruppen sind Gruppen oder Wolken von Lidar-Punkten, die jeweils Reflektionen, also Lidar-Messdaten, wie sie zumindest prinzipiell im realen Einsatz eines Lidar-Sensors im Verkehrsgeschehen auftreten können, repräsentieren. Diese Abgaspunktegruppen unterscheiden sich jedoch von dem Ausgangsdatensatz bzw. den darin enthaltenen Lidar-Punktdaten für die wenigstens eine Abgasfahne, da sie automatisiert mittels des Variationsalgorithmus generiert wurden. Dabei können beispielsweise ein oder mehrere Eigenschaften der Abgasfahnen bzw. entsprechende Werte zufällig oder nach einem vorgegebenen Schema oder einer vorgegebenen Verteilung oder dergleichen variiert werden bzw. sein. Beispielsweise können die in dem Ausgangsdatensatz enthaltenen Lidar-Punktdaten für eine bestimmte Abgasfahne im Vergleich zu jeweils einer bestimmten generierten Abgaspunktegruppe weitere Lidar-Punkte umfassen. Ebenso können die generierten Abgaspunktegruppen Lidar-Punktdaten bzw. Lidar-Punkte umfassen, die so oder in der jeweiligen Kombination oder Auswahl nicht in dem ursprünglichen Ausgangsdatensatz enthalten sind. Die generierten Abgaspunktegruppen können also beispielsweise von dem Ausgangsdatensatz abweichende Kombinationen von Lidar-Punktdaten bzw. Lidar-Punkten sein oder enthalten und/oder Lidar-Punkte an von dem Ausgangsdatensatz abweichenden Positionen sein oder umfassen und/oder dergleichen mehr.
• Weiter kann ein vorgegebener Lidar-Datensatz erfasst oder bereitgestellt werden. Dieser Lidar-Datensatz kann insbesondere von dem Ausgangsdatensatz verschieden sein. Der Lidar-Datensatz enthält Lidar-Punktdaten für Fremdfahrzeuge ohne korrespondierende Abgasfahnen. Der Lidar-Datensatz kann also zumindest für einen Teil der Lidar-Punktdaten, die Fremdfahrzeuge repräsentieren und als solche gelabelt sind, keine zugehörigen Lidar-Punktdaten, die Abgasfahnen dieser Fremdfahrzeugen repräsentieren, enthalten oder umfassen. Ein solcher Lidar-Datensatz kann wesentlich einfacher und schneller erzeugbar sein als beispielsweise ein Lidar-Datensatz, der eine für ein Training ausreichende und ausreichend diverse, also vielfältige Menge von als solche gelabelten Lidar-Punktdaten für Fremdfahrzeuge und korrespondierende Abgasfahnen umfasst und im realen Verkehrsgeschehen aufgenommen wurde. Beispielsweise können die Lidar-Punktdaten des hier verwendeten Lidar-Datensatzes zumindest teilweise bei Umgebungs- oder Wetterbedingungen aufgenommen worden sein, die ein Kondensierend von Abgasfahnen nicht begünstigen. Solche Umgebungs- oder Wetterbedingungen können deutlich häufiger oder verbreiteter anzutreffen sein als solche Umgebungs- oder Wetterbedingungen, die Abgasfahnen für einen Lidar-Sensor sichtbar, also detektierbar werden lassen.
• In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die generierten Abgaspunktegruppen zu diesem Lidar-Datensatz korrespondierend zu dessen Lidar-Punktdaten für Fremdfahrzeuge ohne korrespondierende Abgasfahnen hinzugefügt. Dadurch werden annotierte augmentierte Trainingsdaten zum Trainieren eines entsprechenden Detektionsmodells für das lidarbasierte Erkennen von Fremdfahrzeugen erzeugt. Es kann also beispielsweise je Punktwolke oder je Verkehrsszene oder dergleichen eine der unterschiedlichen Abgaspunktegruppen hinzugefügt werden. Ebenso kann beispielsweise für jeweils eines, mehrere oder alle Fremdfahrzeuge, die in einer der Punktwolken oder Verkehrsszenen des Lidar-Datensatzes repräsentiert sind, eine der unterschiedlichen Abgaspunktegruppen hinzugefügt werden. Ebenso kann das Hinzufügen der generierten Abgaspunktegruppen zufällig oder gemäß einer vorgegebenen Verteilung oder Wahrscheinlichkeit oder dergleichen erfolgen. Es muss also beispielsweise nicht zu allen in dem Lidar-Datensatz ohne korrespondierende Abgasfahne repräsentierten Fremdfahrzeugen eine der generierten Abgaspunktegruppen hinzugefügt werden. Dadurch können entsprechend diverse Trainingsdaten erzeugt werden.
• Jedenfalls kann durch die hier vorgeschlagene Augmentierungsstrategie für Lidar-Datensätze einen solcher Lidar-Datensatz mit Datenpunkten für bzw. von Abgasfahnen angereichert bzw. erweitert werden. Die so erzeugten augmentierten Trainingsdaten können dann beispielsweise für das Training eines entsprechenden Detektionsmodells bereitgestellt oder einem vorgegebenen, zu trainierenden Detektionsmodell zugeführt werden.
• Ein solches Detektionsmodell kann im vorliegenden Sinne beispielsweise ein Modell oder eine Einrichtung sein oder umfassen, das bzw. die auf maschinellem Lernen basiert, wie etwa ein künstliches neuronales Netz, ein Steuergerät oder Assistenzsystem, das ein solches künstliches neuronales Netz implementiert oder umfasst und/oder dergleichen mehr.
• Durch das erfindungsgemäße Verfahren können umfangreiche und variantenreiche Trainingsdaten erzeugt werden, mittels welcher ein solches Detektionsmodell besonders einfach und effektiv zum genauen, zuverlässigen und robusten Detektieren und Lokalisieren von Fahrzeugen in vielfältigen, auch anspruchsvollen Situationen trainiert werden kann. Solche Trainingsdaten können dabei mittels der vorliegenden Erfindung besonders einfach, schnell und aufwandsarm sowie entsprechend kostengünstig und bedarfsgerecht erzeugt werden. Vorteilhaft ist dabei auch, dass in den so erzeugten Trainingsdaten die Lidar-Datenpunkte, welche die Abgasfahnen repräsentieren, automatisch als solche gelabelt sein können, da bekannt ist, welche Lidar-Datenpunkte als die Abgaspunktegruppen zu dem Lidar-Datensatz hinzugefügt werden.
• Dass die Abgaspunktegruppen korrespondierende zu den die Fremdfahrzeuge ohne zugehörige Abgasfahne repräsentierenden Lidar-Datenpunkten des Lidar-Datensatzes hinzugefügt werden, kann beispielsweise bedeuten, dass die Abgaspunktegruppen in einer vorgegebenen räumlichen Lagebeziehung zu den jeweiligen Lidar-Datenpunkten für die Fremdfahrzeuge angeordnet werden. Die Abgaspunktegruppen können also beispielsweise innerhalb einer vorgegebenen Umgebung um die entsprechenden Lidar-Datenpunkte der Fremdfahrzeuge, höchstens in einer vorgegebenen Maximalentfernung zu diesen Lidar-Datenpunkten, auf einer vorgegebenen Seite dieser Lidar-Datenpunkte oder in einer vorgegebenen Richtung ausgehend von diese Lidar-Datenpunkten und/oder dergleichen mehr angeordnet werden. Dadurch können reale Situationen nachgebildet werden, in denen Abgasfahnen von Kraftfahrzeugen ausgestoßen und somit räumlich mit diesen korreliert sein können.
• Ebenso kann es jedoch möglich sein, beispielsweise eine oder mehrere weitere Abgaspunktegruppen unabhängig von Fremdfahrzeugen repräsentierenden Lidar-Punktdaten dem Lidar-Datensatz hinzuzufügen. Dadurch können beispielsweise reale Situationen nachgebildet werden, in denen eine Abgaswolke im Bereich eines möglichen Fahrschlauches für eine gewisse Zeit verbleibt, nachdem sich das verursachende Fahrzeug bereits entfernt hat. Dies kann beispielsweise bei Windstille, in einem Tunnel oder einer Unterführung, in Häuserschluchten und/oder dergleichen mehr passieren.
• Dadurch, dass die Abgaspunktegruppen hier nicht beliebig, sondern basierend auf realen, gemessenen bzw. aufgenommenen Lidar-Punktdaten wenigstens einer Abgasfahne basieren können, können die generierten Abgaspunktegruppen besonders realistisch sein. Gleichzeitig bietet sich durch Anpassen des Variationsalgorithmus die Möglichkeit einer besonders einfachen und flexiblen Anpassung des erfindungsgemäßen Verfahrens an jeweilige Anforderungen, beispielsweise für unterschiedliche Anwendungs- oder Einsatzbedingungen des jeweiligen Detektionsmodells oder dergleichen.
• In einer möglichen Ausgestaltung der vorliegenden Erfindung wird zum Generieren der Abgaspunktegruppen basierend auf den eine Abgasfahne repräsentierenden Lidar-Punktdaten des Ausgangsdatensatzes eine, insbesondere dreidimensionale, Oberfläche der jeweiligen Abgasfahne rekonstruiert. Diese rekonstruierte Oberfläche wird dann mehrfach auf unterschiedliche Weise abgetastet, also gesampelt. Die Positionen bzw. die räumlichen Koordinaten in einem vorgegebenen Koordinatensystem von resultierenden unterschiedlichen Untermengen, also Gruppen oder Teilen der Punkte der rekonstruierten Oberfläche werden dann als Punktpositionen für die unterschiedlichen Abgaspunktegruppen verwendet. Diese Punktpositionen geben also die Positionen bzw. Koordinate der Punkte der Abgaspunktegruppen an.
• Die rekonstruierte Oberfläche kann beispielsweise gleichmäßig abgetastet bzw. gesampelt werden, sodass also beispielsweise die jeweiligen Punktpositionen gleichmäßig über die Oberfläche verteilt sein können, aus verschiedenen Bereichen der Oberfläche jeweils wenigstens eine Punktpositionen oder gleich viele Punktpositionen verwendet werden können oder dergleichen. Durch ein derartiges gleichmäßiges Abtasten können - möglicherweise unrealistische - Extremfälle, wie sie beispielsweise bei einem rein zufälligen Abtasten auftreten können, vermieden werden. Dadurch können die generierten Abgaspunktegruppen besonders realistisch sein.
• Die jeweilige für eine Abgasfahne rekonstruierte Oberfläche kann, eventuell abhängig von einer verwendeten Auflösung, wesentlich mehr Punkte aufweisen als der Ausgangsdatensatz für die jeweilige Abgasfahne enthält. Damit kann die rekonstruierte Oberfläche direkt als Datenbasis zum Erzeugen einer Vielfalt unterschiedlicher Abgaspunktegruppen verwendet werden. So kann also auf besonders einfache Weise eine entsprechend große Diversität, also Vielfalt der Trainingsdaten erreicht und damit ein besonders effektives und effizientes Training des jeweiligen Detektionsmodells ermöglicht werden.
• In einer möglichen Weiterbildung der vorliegenden Erfindung wird jeweils für eine bestimmte Abgasfahne deren Oberfläche durch, beispielsweise vorgegebenes und/oder zufälliges, Variieren wenigstens eines Parameters eines vorgegebenen Rekonstruktionsalgorithmus bzw. Rekonstruktionsmodells in unterschiedlichen Varianten rekonstruiert. Jede der entsprechenden resultierenden Oberflächenvarianten wird dann mehrfach wie beschrieben auf unterschiedliche Weise abgetastet bzw. gesampelt, um die Punktpositionen für entsprechend unterschiedliche Abgaspunktegruppen zu bestimmen. Damit können noch mehr und noch vielfältigere Abgaspunktegruppen generiert werden, ohne die Datenbasis zu vergrößern, also beispielsweise ohne einen größeren Ausgangsdatensatz zu verwenden. Somit kann durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung eine noch größere Vielfalt der Trainingsdaten und somit ein entsprechend effektiveres, effizienteres und robusteres Training des jeweiligen Detektionsmodells ermöglicht werden.
• In einer möglichen Weiterbildung der vorliegenden Erfindung wird für die Punkte der Oberfläche, deren Positionen bzw. Koordinaten für die Punktpositionen in den unterschiedlichen Abgaspunktegruppen verwendet werden, jeweils der räumlich nächstliegende, zu der Abgasfahne gehörende Punkt der Lidar-Punktdaten des Ausgangsdatensatzes bestimmt. Der Reflektivitätswert dieses Punktes wird dann als Reflektivitätswert für den jeweiligen Punkt der jeweiligen Abgaspunktegruppe verwendet. Mit anderen Worten wird den Punkten der Abgaspunktegruppen also der räumlich nächstliegende Reflektivitätswert aus dem Ausgangsdatensatz zugeordnet. Dadurch können eine besonders realistische Verteilung der Reflektivitätswerte in den generierten Abgaspunktegruppen erreicht werden und die damit erzeugten Trainingsdaten letztlich besonders realistisch sein. Dadurch kann das jeweilige Detektionsmodell besonders effektiv und robust trainiert werden, beispielsweise im Vergleich zur Verwendung zufälliger oder einheitlicher Reflektivitätswerte für alle Punkte einer Abgaspunktegruppe.
• In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist der Lidar-Datensatz, zu dem die Abgaspunktegruppen hinzugefügt werden, mit Begrenzungsboxen bzw. Begrenzungsrahmen (englisch, fachsprachlich: bounding boxes) annotiert. Diese Begrenzungsboxen geben dabei jeweils die tatsächliche Position bzw. auch die Orientierung eines Fremdfahrzeugs, also die entsprechende sogenannte ground truth bzgl. der Positionen oder auch Orientierungen der Fremdfahrzeuge an. Beim Hinzufügen der Abgaspunktegruppen wird zu den Begrenzungsboxen bzw. korrespondierend zu diesen jeweils mit einer vorgegebenen Wahrscheinlichkeit eine der Abgaspunktegruppen hinzugefügt. Mit anderen Worten können also diejenigen der Begrenzungsboxen, zu denen bzw. zu denen korrespondierend eine der Abgaspunktegruppen hinzugefügt wird, mit der vorgegebenen Wahrscheinlichkeit ausgewählt werden. Ebenso kann es vorgesehen sein, dass die jeweils zu einer bestimmten Begrenzungsbox hinzuzufügende Abgaspunktegruppe zufällig aus den generierten Abgaspunktegruppen ausgewählt wird. Zusätzlich oder alternativ werden beim Hinzufügen der Abgaspunktegruppen diese jeweils zufällig oder mit einer vorgegebenen Wahrscheinlichkeit bzw. Wahrscheinlichkeitsverteilung links, mittig oder rechts an einer Heckseite der jeweiligen Begrenzungsbox hinzugefügt. Diese Heckseite repräsentiert dabei jeweils eine Heckseite des jeweiligen Fremdfahrzeugs. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann die Vielfalt und der Realismus der Trainingsdaten weiter verbessert werden. So können auch in der Realität je nach zufälligen oder mit gewissen Wahrscheinlichkeiten gegebenen Umgebungsbedingungen, Verkehrssituationen und Fahrverhalten der Fremdfahrzeuge unterschiedlich geformte und/oder unterschiedlich angeordnete Abgasfahnen entstehen. Ebenso können an realen Fahrzeugen Endrohre, aus denen die Abgasfahnen ausgestoßen werden, beispielsweise links, mittig oder rechts an der Fahrzeug-Heckseite angeordnet sein, wobei in einem realen Einsatz des Detektionsmodells nicht vorhersehbar ist, welche Arten von Umgebungsbedingungen oder Situationen und Fremdfahrzeugen angetroffen werden.
• In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist der Lidar-Datensatz, zu dem die Abgaspunktegruppen hinzugefügt werden, mit Begrenzungsboxen bzw. Begrenzungsrahmen annotiert, die jeweils die Position bzw. auch Orientierung eines Fremdfahrzeugs angeben. Beim Hinzufügen einer der Abgaspunktegruppen wird diese jeweils im Bereich einer dieser Begrenzungsboxen hinzugefügt. Dabei werden die Abgaspunktegruppen jeweils mit einer vorgegebenen Wahrscheinlichkeit ganz oder teilweise oberhalb der jeweiligen Begrenzungsbox hinzugefügt, also angeordnet. Mit anderen Worten können die Abgaspunktegruppen also mit der entsprechenden vorgegebenen Wahrscheinlichkeit derart angeordnet werden, dass sie in einer Draufsicht, also aus einer Vogelperspektive betrachtet die Begrenzungsrahmen und damit die entsprechenden dadurch repräsentierten Fremdfahrzeuge bzw. Fahrzeugpositionen zumindest teilweise überlappen oder überlagern. Auf diese Weise können beispielsweise reale Situationen nachgebildet werden, in denen eine Abgasfahne bei Stillstand des verursachenden Fremdfahrzeugs in die Höhe steigt oder ein Fremdfahrzeug in eine beispielsweise von einem Vorausfahrzeug ausgestoßene Abgasfahne hineinfährt oder durch eine Abgasfahne hindurchfährt. Auf diese Weise kann die Vielfalt und ein Realismus der Trainingsdaten weiter verbessert werden. Dadurch kann ein entsprechend besonders effektives und robustes Training des jeweiligen Detektionsmodells ermöglicht werden, insbesondere ohne dass dafür ein entsprechend größerer oder vielfältiger Ausgangsdatensatz verwendet werden müsste. Insbesondere können die erzeugten Trainingsdaten damit die beschriebenen Situationen auch dann nachbilden, wenn diese in dem zugrunde liegenden Ausgangsdatensatz nicht oder nur in geringerer Anzahl und/oder Vielfalt enthalten bzw. repräsentiert sind.
• In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die horizontale Drehrate bzw. Scanfrequenz und die Anzahl der Scanebenen (englisch: layers) des zum Aufnehmen des Lidar-Datensatzes verwendeten Lidar-Sensors bestimmt bzw. ermittelt. Diese Angaben können beispielsweise in dem jeweiligen Ausgangsdatensatz enthalten, also angegeben sein oder aus einer entsprechenden technischen Dokumentation oder Datenbank entnommen bzw. abgerufen werden. Die Koordinaten der Punkte der generierten Abgaspunktegruppen werden hier in Kugelkoordinaten angegeben. Dabei können die Koordinaten direkt beim Generieren der Abgaspunktegruppen in Kugelkoordinaten angegeben bzw. verarbeitet oder nachträglich in Kugelkoordinaten transformiert werden. Es wird dann ein Resampling der Abgaspunktegruppen mit einer horizontalen Auflösung, die proportional zu der bestimmten horizontalen Drehrate des Lidar-Sensors ist, und einer vertikalen Auflösung, die proportional zu der bestimmten Anzahl der Scanebenen ist, durchgeführt. Ein Ergebnis oder Output dieses Resamplings wird dann für das Augmentieren des Lidar-Datensatzes verwendet. Dies kann jeweils bezogen sein auf ein vorgegebenes Sensor- oder Aufnahmekoordinatensystem. Insbesondere kann die horizontale Richtung hier parallel zu einem Boden oder Untergrund sein, der beispielsweise von einem mit dem Lidar-Sensor ausgestatteten Kraftfahrzeugs beim Aufnehmen des Lidar-Datensatzes befahren wurde. Die vertikale Richtung kann senkrecht dazu stehen, sich also beispielsweise in Fahrzeughochrichtung des Kraftfahrzeugs erstrecken.
• Mit anderen Worten können dem Lidar-Datensatz also in ihrer Auflösung und Punkteverteilung oder Punkteanordnung an den jeweiligen Lidar-Datensatz angepasste Abgaspunktegruppen hinzugefügt werden. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann also sichergestellt werden, dass die Eigenschaften der Abgaspunktegruppen konsistent mit den Eigenschaften des Lidar-Datensatzes sind. Dadurch können entsprechend realistische Trainingsdaten erzeugt werden, wie sie bei Anwesenheit entsprechender lidardetektierbarer Abgasfahnen von einem einzelnen Lidar-Sensor erzeugt werden könnten. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann das erfindungsgemäße Verfahren ebenso zum entsprechend angepassten Augmentieren mehrerer unterschiedlicher Lidar-Datensätze, die beispielsweise mit unterschiedlichen Lidar-Sensoren aufgenommen wurden, basierend auf einem einzigen gemeinsamen Satz von generierten Abgaspunktegruppen ermöglicht werden. So können besonders einfach und aufwandsarm besonders viele Trainingsdaten erzeugt werden. Insbesondere können so bestehende, also bereits verfügbare Lidar-Datensätze zum Erzeugen der Trainingsdaten verwendet werden, ohne dass eine neuerliche Datenakquisition notwendig wäre und unabhängig von den entsprechenden Eigenschaften des Ausgangsdatensatzes.
• Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Trainieren eines Detektionsmodells zum Detektieren von Fremdfahrzeugen anhand von Lidar-Punktdaten, also beispielsweise mittels eines Lidar-Sensors aufgenommenen Punktwolken. Ein solches Detektionsmodell kann beispielsweise das im Zusammenhang mit dem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten genannte Detektionsmodell sein oder diesem entsprechen, also insbesondere ein künstliches neuronales Netz sein oder umfassen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens zum Trainieren des Detektionsmodells werden annotierte augmentierte Trainingsdaten bereitgestellt, die mittels des erfindungsgemäßen Verfahrens zum Erzeugen von Trainingsdaten erzeugt wurden. In diesem Trainingsdaten können also insbesondere die zu einer Abgasfahne gehörende Punkte als solche gelabelt und/oder die Abgasfahnen durch Begrenzungsboxen bzw. Begrenzungsrahmen repräsentiert sein. Ebenso können zu Fremdfahrzeugen gehörende Punkte als solche gelabelt sein. Ebenso können für diese Fremdfahrzeuge Begrenzungsboxen bzw. Begrenzungsrahmen, welche die jeweilige tatsächliche Position und Orientierung des jeweiligen Fremdfahrzeugs angeben, in den annotierten augmentierten Trainingsdaten enthalten oder angegeben sein.
• In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für das Trainieren des Detektionsmodells eine Verlustfunktion (englisch: loss function) vorgegeben, die Detektionen bzw. Objektvorhersagen des Detektionsmodells bestraft, also benachteiligt oder unterdrückt, die zu einer Abgasfahne gehörende Punkte umfassen. Dazu kann beispielsweise ein entsprechender Verlustterm (englisch: loss, loss term) in einer vorgegebenen Verlustfunktion ergänzt werden, die wenigstens einen weiteren Verlustterm umfassen kann. Es kann dabei auch ein vorgegebener Gewichtungsfaktor für den hier vorgeschlagenen Verlustterm vorgegeben und der Verlustterm damit in der Verlustfunktion relativ zu deren übrigen Verlusttermen gewichtet werden. Letzteres kann zu einer besonders guten Genauigkeit, Zuverlässigkeit und Robustheit des damit trainierten Detektionsmodells führen oder beitragen.
• In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das Detektionsmodell dann mittels der vorgegebenen Verlustfunktion und den bereitgestellten annotierten augmentierten Trainingsdaten trainiert. Dazu können grundsätzlich bekannte Trainingsmethoden, beispielsweise eine Fehlerrückführungsmethode (englisch: error backpropagation) oder dergleichen, verwendet werden. Durch das hier vorgeschlagene Trainingsverfahren kann die Augmentierung mit den generierten Abgaspunktegruppen ausgenutzt werden, um eine besonders hohe Robustheit des Detektionsmodells gegenüber Rauschen oder Störungen, wie insbesondere zusätzlichen, von Abgasfahnen stammenden Messpunkten, in zu verarbeitenden Lidar-Daten zu erreichen. So können beispielsweise in herkömmlichen Detektionsmodellen zu beobachtende Fehldetektionen von Positionen und/oder Orientierungen von Fremdfahrzeugen aufgrund von vorhandenen Abgasfahnen ebenso wie Fehldetektionen von Abgasfahnen als Fremdfahrzeuge vermieden oder reduziert werden.
• In einer möglichen Weiterbildung der vorliegenden Erfindung wird ein Augmentierungsgrad, der angibt, in welchem Maße oder Umfang die Trainingsdaten mit den generierten Abgaspunktegruppen augmentiert, also ergänzt sind bzw. werden, im Laufe des Trainings erhöht. Beispielsweise kann also der annotierte Lidar-Datensatz mit einer vorgegebenen Wahrscheinlichkeit mit den generierten Abgaspunktegruppen augmentiert werden. Die generierten Abgaspunktegruppen können also mit einer vorgegebenen Wahrscheinlichkeit, Rate oder Prävalenz bzw. Häufigkeit zu den Lidar-Punktdaten des Lidar-Datensatzes, die Fremdfahrzeuge ohne korrespondierende Abgasfahne repräsentieren, hinzugefügt werden. Diese vorgegebene Wahrscheinlichkeit, Rate, Prävalenz oder Häufigkeit kann dann im Laufe des Trainings, beispielsweise kontinuierlich oder schritt- bzw. stufenweise, erhöht werden. Auf diese Weise kann während des Trainings eine weiter erhöhte Vielfalt der verwendeten Trainingsdaten erreicht werden. Dabei kann durch den initial, also zu Beginn des Trainings niedrigeren Augmentierungsgrad ein besonders effektives und schnelles Lernen der Merkmale, die Fremdfahrzeuge identifizieren, ermöglicht werden. Durch die Erhöhung des Augmentierungsgrades kann danach besonders effektiv eine verbesserte Robustheit gegenüber durch Abgasfahnen verursachten Rausch- oder Störsignale gelernt bzw. trainiert werden. Durch eine mehrfache Veränderung des Augmentierungsgrades kann dies insbesondere für unterschiedliche Rausch- oder Störsignallevel oder -niveaus trainiert bzw. gelernt werden. Dabei können beispielsweise nach und nach mehr der generierten Abgaspunktegruppen verwendet werden. Zusätzlich oder alternativ können nach und nach Abgaspunktegruppen mit mehr Punkten verwendet werden.
• Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das ein Detektionssystem zum Detektieren von Fremdfahrzeugen in einer jeweiligen Umgebung des Kraftfahrzeugs aufweist. Das Detektionssystem umfasst dabei einen Lidar-Sensor und ein Detektionsmodell, das gemäß dem entsprechenden erfindungsgemäßen Verfahren zum Detektieren von Fremdfahrzeugen anhand von Lidar-Punktdaten trainiert ist. Das Detektionsmodell kann beispielsweise in einem Datenspeicher des Detektionssystems hinterlegt sein. Ein solcher Datenspeicher kann seinerseits ein weiterer Aspekt der vorliegenden Erfindung sein. Das Detektionssystem kann ebenso eine Prozesseinrichtung, also etwa einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, zum Ausführen oder Anwenden des Detektionsmodells umfassen. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit den erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein oder diesem entsprechen.
• Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
• Die Zeichnung zeigt in:
• 1 eine schematische Übersichtsdarstellung zum Veranschaulichen eines ersten Teils eines Verfahrens zum Unterstützen eines Trainings eines Detektionsmodells für die Detektion von Fahrzeugen;
• 2 eine schematische Übersichtsdarstellung zum Veranschaulichen eines weiteren Teils des Verfahrens;
• 3 eine schematische Übersichtsdarstellung zum Veranschaulichen eines weiteren Teils des Verfahrens; und
• 4 eine schematische Darstellung zum Veranschaulichen eines Trainingsschrittes.
• In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. Von mehrfach vorhandenen Elementen ist der Übersichtlichkeit halber zum Teil nur eine repräsentative Auswahl explizit gekennzeichnet.
• Es ist ein bekanntes Problem, dass eine lidarbasierte Objekterkennung, beispielsweise in Kraftfahrzeugen bzw. im Straßenverkehr durch ungünstige Wetter- oder Umgebungsbedingungen negativ beeinflusst werden kann, etwa durch Kondensation von Abgasfahnen. Dabei kann es zu Fehleinschätzungen oder Fehlerkennungen von Objektgrößen und Objektorientierungen sowie zu Geistobjektdetektionen, also Detektionen von tatsächlich nicht vorhandenen Objekten kommen.
• Dieser Problematik könnte bei der Verwendung von maschinellem Lernen zur Objekterkennung, also beispielsweise einem künstlichen neuronalen Netz, durch entsprechend umfangreiches und angepasstes Training begegnet werden. Das Erzeugen entsprechender gelabelter Trainingsdaten kann jedoch extrem arbeits- und zeitintensiv und kostenaufwändig sein und ist daher nicht immer praktikabel. Bestehende Lidar-Trainingsdatensätze sind oftmals zumindest größtenteils unter Bedingungen aufgenommen, die ein Kondensieren von Abgasfahnen nicht begünstigen, und können daher kein robustes Training garantieren.
• Zur Lösung wird vorliegend ein mehrstufiger Ansatz vorgeschlagen. Dieser umfasst eine Methode zum Generieren von Abgasfahnendaten basierend auf einem Rekonstruieren und Abtasten, also Sampeln einer 3D-Oberfläche. Dies ermöglicht es, relativ umfangreiche Trainingsdatensätze ausgehend von einem relativ kleinen Satz gelabelter Daten zu erzeugen. Weiter umfasst der Ansatz eine Punktwolken-Augmentierung, die verwendet werden kann, um Abgasfahnendaten zu Lidar-Datensätzen hinzuzufügen, die keine oder nur wenige Abgasfahnendaten enthalten. Weiter umfasst der Ansatz eine entsprechend angepasste Trainingsmethode, welche die Augmentierung ausnutzt, um eine größere Robustheit gegenüber Rauschen und Störsignalen zu erreichen. Dazu werden während des Trainings Objektdetektionen bestraft, die entsprechendes Rauschen oder Störsignale, hier also Datenpunkte von Abgasfahnen umfassen.
• Zur Veranschaulichung zeigt 1 eine beispielhafte schematische Übersichtsdarstellung. Es wird ein, insbesondere relativ kleiner, Ausgangsdatensatz in Form von Lidar-Punktdaten bereitgestellt. Dieser ist hier beispielhaft durch einen Ausgangsscan 1 repräsentiert. Dieser Ausgangsscan 1 umfasst eine Vielzahl von Hintergrundpunkten 2 und beispielhaft drei Gruppen von Fahrzeugpunkten 3, die Fremdfahrzeuge in einer jeweiligen Umgebung des zum Aufnehmen des Ausgangsscan 1 verwendeten Lidar-Sensors bzw. eines damit ausgestatteten Kraftfahrzeugs repräsentieren. Dabei stößt eines dieser Fremdfahrzeuge eine Abgasfahne aus, die zumindest teilweise kondensiert und daher lidarbasiert detektierbar ist. Dementsprechend umfasst der Ausgangsscan 1 auch entsprechende Abgasfahnenpunkte 4. Der Ausgangsscan 1 kann selbst bereits zum Trainieren eines Maschinenlernmodells, also beispielsweise eines künstlichen neuronalen Netzes, verwendet werden. Dementsprechend sind in dem Ausgangsscan 1 die verschiedenen Datenpunkte gelabelt, sodass also angegeben ist, welche Mess- oder Datenpunkte von einem Hintergrund, von einem Fremdfahrzeug oder von der Abgasfahne stammen. Ebenso können weitere oder detailliertere Label bzw. Klassifikationen angegeben sein.
• Der Ausgangsscan 1 reicht für sich allein typischerweise jedoch nicht für ein robustes Training aus. Daher werden hier basierend auf dem Ausgangsscan 1 weitere Trainingsdaten 12 (siehe 3, 4) erzeugt.
• Dazu können aus dem Ausgangsscan 1 von der Abgasfahne stammende bzw. diese repräsentierende Abgasfahnenpunkte 4 extrahiert werden. Damit steht also ein Set oder eine Gruppe von gelabelten Abgasfahnenpunkten 4 zur Verfügung, die eine Punktwolke G = {g₁, ..., g_K} mit g_k = (x_k, y_k, z_k, R_k)_k=1 bis κ bilden. Dabei sind x, y, z die räumlichen Koordinaten, also die Ortskoordinaten und R die Reflektivität bzw. ein jeweiliger Reflektivitätswert der einzelnen Abgasfahnenpunkte 4. Die Abgasfahnenpunkte 4 werden als Input für eine Oberflächenrekonstruktion 5 verwendet. Dabei kann ein vorgegebener Oberflächenrekonstruktionsalgorithmus angewendet werden, um für das Set oder die Gruppe der Abgasfahnenpunkte 4 eine zugehörige dreidimensionale Oberfläche 6 der entsprechenden Abgasfahne zu rekonstruieren. Hier kann beispielsweise der α-Shape-Algorithmus angewendet werden, um jeweils für eine der unstrukturierten Punktwolken g_k deren Oberfläche 6 zu rekonstruieren.
• Der verwendete Oberflächenrekonstruktionsalgorithmus kann dabei einen oder mehrere variierbar Parameter enthalten. Der hier beispielhaft verwendete α-Shape-Algorithmus enthält bzw. verwendet den Parameter α ∈ ℝ, der als Auflösung für die Oberflächenrekonstruktion 5 angesehen werden kann. Die Oberflächenrekonstruktion 5 kann hier mehrfach wiederholt mit unterschiedlichen Werten dieses Parameters durchgeführt werden. Beispielhaft kann dabei der Parameter α jeweils auf einen zufälligen Wert im Intervall (0, 1] gesetzt werden. So ergeben sich unterschiedliche Varianten der Oberfläche 6. Beispielhaft sind hier eine erste Oberflächenvariante 7, eine zweite Oberflächenvariante 8 und eine dritte Oberflächenvariante 9 dargestellt, die alle basierend auf denselben Abgasfahnenpunkten 4 erzeugt wurden.
• 2 zeigt eine weitere beispielhafte schematische Übersichtsdarstellung zur Veranschaulichung eines weiteren Verfahrensschritte anhand der ersten Oberflächenvariante 7. Auf diese wird ein Oberflächensampling 10 angewendet, wodurch zu der Oberfläche 6 korrespondierende Oberflächenpunkte 11 generiert werden. Die Ortskoordinaten der Oberflächenpunkte 11 ergeben sich aus der Geometrie der Oberfläche 6. Für die einzelnen Oberflächenpunkte 11 kann jeweils der räumlich nächstliegende der zugrundeliegenden Abgasfahnenpunkte 4 ermittelt werden. Als Reflektivität R der Oberflächenpunkte 11 kann dann jeweils die Reflektivität R des räumlich nächstliegenden Abgasfahnenpunktes 4 verwendet werden.
• Die jeweilige Oberfläche 6 bzw. die korrespondierenden Oberflächenpunkte 11 können mehrfach abgetastet bzw. gesampelt werden, um unterschiedliche Gruppen oder Mengen von Punkten zu erhalten. Dazu zeigt 3 einen die Abgasfahnenpunkte 4 umfassenden Ausschnitt des zugrunde liegenden Ausgangsscans 1 und mehrere daraus erzeugte Trainingsdaten 12. Die unterschiedlichen Trainingsdaten 12 umfassen hier beispielhaft eine erste Abgaspunktegruppe 13, eine zweite Abgaspunktegruppe 14, eine dritte Abgaspunktegruppe 15 oder eine vierte Abgaspunktegruppe 16. Diese unterschiedlichen Abgaspunktegruppen 13, 14, 15, 16 können durch wiederholtes unterschiedliches Abtasten, also Samplen der Oberfläche 6 in einer oder mehreren Oberflächenvariante 7, 8, 9 bzw. der daraus generierten Oberflächenpunkte 11 erzeugt werden. Dazu können beispielsweise N E N der Oberflächenpunkte 11 bzw. der Punkte der Oberfläche 6 ausgewählt werden, wobei N die Gesamtanzahl der Oberflächenpunkte 11 bzw. der definierten Punkte der Oberfläche 6 ist. Die jeweils verwendete Anzahl N von Punkten kann beispielsweise vorgegeben oder zufällig ausgewählt werden, wobei beispielsweise ein bestimmtes Intervall von Möglichkeiten vorgegeben sein kann, also etwa N E [100, 1000].
• Durch Variation der Parameter α, N können also eine Vielzahl unterschiedlicher Abgaspunktegruppen 13, 14, 15, 16 basierend auf einer einzelnen Menge oder Punktwolke von Abgasfahnenpunkten 4 generiert werden.
• Die so generierten Abgaspunktegruppen 13, 14, 15, 16 können in Lidar-Daten eingefügt werden, die keine Abgasfahnenpunkte 4 oder zumindest eine Gruppe von Fahrzeugpunkten 3 ohne korrespondierende, also assoziierte Abgasfahnenpunkte 4 enthalten. Ebenso können beispielsweise in dem Ausgangsscan 1 die dortigen ursprünglichen Abgasfahnenpunkte 4 durch eine der generierten Abgaspunktegruppen 13, 14, 15, 16 ersetzt werden, um die unterschiedlichen Trainingsdaten 12 zu erzeugen. Entsprechende Lidar-Daten können also mit den generierten Abgaspunktegruppen 13, 14, 15, 16 augmentiert oder erweitert werden.
• Mit den unterschiedlichen Trainingsdaten 12 kann ein Maschinenlern- bzw. Detektionsmodell zum Detektieren von Fremdfahrzeugen auch bei Anwesenheit einer Abgasfahne trainiert werden. 4 zeigt eine beispielhafte schematische Darstellung zum Veranschaulichen eines entsprechenden Trainingsschrittes. Hier ist ein Trainingsdatenscan dargestellt, in dem die Fahrzeugpunkte 3 von einer Fahrzeugbegrenzungsbox 17 umgeben sind. Diese Fahrzeugbegrenzungsbox 17 kann als zusätzliche Annotation in den Trainingsdaten 12 enthalten sein und die reale oder tatsächliche Position und Orientierung des Fremdfahrzeugs, von dem die jeweiligen Fahrzeugpunkte 3 stammen, angeben. Hier ist auch eine wie beschrieben generierte und hinzugefügte Abgaspunktegruppe 18 mit einer zugehörigen umgebenden Abgasbegrenzungsbox 19 dargestellt. Letztere können also ebenfalls Teil der Trainingsdaten 12 sein.
• Eine solche Abgaspunktegruppe 18 kann beispielsweise mit einer vorgegebenen Wahrscheinlichkeit zu jeder Fahrzeugbegrenzungsbox 17 hinzugefügt werden. Die Abgaspunktegruppe 18 kann dabei beispielsweise zufällig oder mit einer vorgegebenen Wahrscheinlichkeit oder Wahrscheinlichkeitsverteilung im Bereich einer hinteren, also heckseitigen rechten Ecke, zentral an einer Heckseite oder - wie hier beispielhaft dargestellt - im Bereich einer hinteren, also heckseitigen linken Ecke der jeweiligen Fahrzeugbegrenzungsbox 17 angeordnet werden, da an diesen Positionen typischerweise ein Endrohre einer Abgasanlage des jeweiligen Fremdfahrzeugs angeordnet sein kann. Ebenso kann die Abgaspunktegruppe 18 mit einer vorgegebenen Wahrscheinlichkeit oberhalb, also in Fahrzeughochrichtung über der jeweiligen Fahrzeugbegrenzungsbox 17 angeordnet werden.
• Um während des Trainings eine größere Vielfalt von Trainingsdaten 12 zu erreichen, kann die Augmentierung eines entsprechenden Trainingsdatensatzes bzw. Lidar-Datensatzes mit einer vorgegebenen Wahrscheinlichkeit durchgeführt werden. Diese Wahrscheinlichkeit kann zu Beginn des Trainings niedriger sein als am Ende des Trainings, also im Laufe des Trainings graduell erhöht werden, um das jeweilige Maschinenlern- bzw. Detektionsmodell darauf zu trainieren, konsistente Outputs oder Prädiktionen für unterschiedliche Rauschniveaus oder Störsignallevel durch Abgaspunktegruppen 18 zu erzeugen.
• Es kann hier auch berücksichtigt werden, dass die Hardwareeigenschaften eines bestimmten Lidar-Sensors die Eigenschaften eines damit aufgenommenen Lidar-Datensatzes bzw. einer entsprechenden Punktwolke bestimmen können. Beispielsweise kann die Anzahl der Laserebenen zusammen mit der Rotationsfrequenz eines Spiegels des Lidar-Sensors die maximale Anzahl von Lidar-Messpunkten oder -Datenpunkten in einem einzelnen Scan, wie beispielsweise dem Ausgangsscan 1, bestimmen. Aufgrund der physischen relativen Anordnung und Ausrichtung des Lasers oder der Laser des Lidar-Sensors werden zudem von relativ nahen Objekten tendenziell mehr Messpunkte oder Datenpunkte erhalten, also Reflektionen zurückgeworfen als von Objekten, die weiter von dem Lidar-Sensor entfernt sind. Das Hinzufügen einer der generierten Abgaspunktegruppen 13, 14, 15, 16 zu einem bestimmten Lidar-Datensatz oder -Scan könnte also zu inkonsistenten Eigenschaften in den resultierenden Trainingsdaten 12 führen.
• Daher können zunächst die Struktur oder Eigenschaften des jeweils als Basis für die Trainingsdaten 12 dienenden Lidar-Datensatzes ermittelt werden. Für eine diesem hinzuzufügende Abgaspunktegruppe 13, 14, 15, 16, 18 können dann die Ortskoordinaten x, y, z jedes ihrer Punkte in Kugelkoordinaten r, φ, θ, transformiert werden, wobei gilt: $$r=\sqrt{x^2+y^2+z^2}$$

  

  $$\phi =arctan2\left(\sqrt{x^2+y^2},z\right)$$

  

  $$\theta =arctan2\left(y.x\right)$$

  
• Es kann dann ein Resampling der hinzuzufügenden Abgaspunktegruppe 13, 14, 15, 16, 18 durchgeführt werden mit einer horizontalen Auflösung, die proportional zur Rotationsfrequenz bzw. Drehrate des Lidar-Sensors ist, und mit einer vertikalen Auflösung, die proportional zur Anzahl der physikalischen Ebenen, also der Abtast- oder Laserebenen des Lidar-Sensors ist. Damit kann die jeweilige Abgaspunktegruppe 13, 14, 15, 16, 18 zu dem jeweils als Basis dienenden Lidar-Datensatz korrespondierende Eigenschaften erhalten und so konsistent zu diesem hinzugefügt werden, um die unterschiedlichen Trainingsdaten 12 zu erzeugen. Auf diese Weise können unterschiedliche Lidar-Datensätze als Basis für neue Trainingsdaten 12 verwendet, also augmentiert werden, ohne dass es zu inkonsistenten Eigenschaften kommt oder eine erneute Datenakquisition und Annotierung durchgeführt werden müsste.
• Das Maschinenlern- bzw. Detektionsmodell kann zum Vorhersagen der realen Positionen von Objekten anhand von Lidar-Punktdaten trainiert werden, also beispielsweise zum Vorhersagen der Fahrzeugbegrenzungsbox 17. Beispielhaft sind hier mehrere im Rahmen des Trainings von dem Maschinenlern- bzw. Detektionsmodell ausgegebene Vorhersagepositionen 20 für die Fahrzeugbegrenzungsbox 17 vor einer nicht-Maximum-Unterdrückung dargestellt. Es ist hier erkennbar, dass die Vorhersagepositionen 20 tendenziell in Richtung der Abgaspunktegruppe 18 verschoben, also durch diese beeinflusst sind. Um dies auszugleichen, also diesem Problem zu begegnen, wird zum Trainieren des Maschinenlern- bzw. Detektionsmodells hier ein Verlustterm $${\text{L}}_{\text{noise}}={\text{IoU}}_{\text{3D}}\left(\text{P}\text{,B}\right)$$

  

  verwendet, durch den Vorhersagepositionen 20 bestraft oder unterdrückt werden, die Punkte der Abgaspunktegruppe 18 umfassen oder einschließen. Der hier vorgeschlagene Verlustterm L_noise beschreibt die Intersection over Union, also den Jaccard-Koeffizienten zwischen den Vorhersagepositionen 20, also den dreidimensionalen Objekt- bzw. Fahrzeugdetektionen P des Maschinenlern- bzw. Detektionsmodells und den Abgasbegrenzungsboxen 19, also den, insbesondere dreidimensionalen, Begrenzungsboxen B, die zu den hinzugefügten Abgaspunktegruppen 18 gehören, insbesondere vor Anwendung der nicht-Maximum-Unterdrückung. Der hier vorgeschlagene Verlustterm L_noise kann zusätzlich zu einem Standard- oder Basisverlustterm L_train verwendet werden, wie er für ein herkömmliches Training oftmals verwendet wird. Dabei kann der Verlustterm L_noise mit einem vorgegebenen Gewichtungsfaktor β E II8 gewichtet werden. Es ergibt sich dann insgesamt die Verlustfunktion L als $$\text{L}={\text{L}}_{\text{tain}}+\mathrm{\beta }\cdot {\text{L}}_{\text{noise}}.$$

  
• Durch die hier vorgeschlagenen Maßnahmen können besonders einfach, schnell und effizient besonders vielfältige Trainingsdaten 12 erzeugt und ein besonders effektives Training eines Maschinenlern- bzw. Detektionsmodells zum Detektieren von Fremdfahrzeugen auch bei Anwesenheit von Abgasfahnen ermöglicht werden. Ein dementsprechend trainiertes Maschinenlern- bzw. Detektionsmodell kann dabei besonders robust gegenüber Rauschen und Störsignalen sein und somit genauere und zuverlässigere Ergebnisse liefern als mit herkömmlichen verfügbaren Lidar-Datensätzen und Verlustfunktionen trainierte Detektionsmodelle. Dabei macht der hier vorgeschlagene Ansatz keinerlei Annahmen über eine zugrundeliegende Struktur des jeweiligen Maschinenlern- bzw. Detektionsmodells. Damit kann der hier vorgeschlagene Ansatz beispielsweise sowohl für gitterbasierte als auch für punktbasierte Modellarchitekturen verwendet werden. Zudem kann der hier vorgeschlagene Ansatz mit herkömmlichen Methoden und Modellen kombiniert werden, da er beispielsweise keinerlei Architekturveränderungen des verwendeten Modells erfordert. Dementsprechend werden durch den hier vorgeschlagenen Ansatz entsprechend robustere, genaue und zuverlässige Ergebnisse ermöglicht, ohne die Inferenzzeiten im Vergleich zu herkömmlichen Ansätzen zu erhöhen.
• Bezugszeichenliste

1

Ausgangsscan

2

Hintergrundpunkte

3

Fahrzeugpunkte

4

Abgasfahnenpunkte

5

Oberflächenrekonstruktion

6

Oberfläche

7

erste Oberflächenvariante

8

zweite Oberflächenvariante

9

dritte Oberflächenvariante

10

Oberflächensampling

11

Oberflächenpunkte

12

Trainingsdaten

13

erste Abgaspunktegruppe

14

zweite Abgaspunktegruppe

15

dritte Abgaspunktegruppe

16

vierte Abgaspunktegruppe

17

Fahrzeugbegrenzungsbox

18

Abgaspunktegruppe

19

Abgasbegrenzungsbox

20

Vorhersagepositionen

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 10915765 B2 [0004]
• US 11210537 B2 [0005]

Claims (10)

1. Verfahren zum Erzeugen von Trainingsdaten (12) für ein lidarbasiertes Erkennen von Fremdfahrzeugen, wobei - ein annotierter Ausgangsdatensatz (1) bereitgestellt wird, der LIDAR-Punktdaten (3; 4) für wenigstens ein Fremdfahrzeug (3) und wenigstens eine korrespondierende Abgasfahne (4) enthält, - basierend auf dem Ausgangsdatensatz (1) mittels eines vorgegebenen Variationsalgorithmus eine Vielzahl von unterschiedlichen Abgaspunktegruppen (13, 14, 15, 16, 18), die jeweils eine Abgasfahne repräsentieren, generiert wird, und - indem die generierten Abgaspunktegruppen (13, 14, 15, 16, 18) zu einem annotierten LIDAR-Datensatz, der LIDAR-Punktdaten (3) für Fremdfahrzeuge ohne korrespondierende Abgasfahnen enthält, zu diesen LIDAR-Punktdaten (3) korrespondierend hinzugefügt werden, annotierte augmentierte Trainingsdaten (12) zum Trainieren eines entsprechenden Detektionsmodells für das lidarbasierte Erkennen von Fremdfahrzeugen erzeugt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Generieren der Abgaspunktegruppen (13, 14, 15, 16, 18) basierend auf den eine Abgasfahne repräsentierenden LIDAR-Punktdaten (4) des Ausgangsdatensatzes (1) eine, insbesondere dreidimensionale, Oberfläche (6) der jeweiligen Abgasfahne rekonstruiert wird und diese rekonstruierte Oberfläche (6) mehrfach, insbesondere gleichmäßig, auf unterschiedliche Weise abgetastet wird, wobei die Positionen resultierender unterschiedlicher Untermengen der Punkte der Oberfläche (6) als Punktpositionen für die unterschiedlichen Abgaspunktegruppen (13, 14, 15, 16, 18) verwendet werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass jeweils für eine bestimmte Abgasfahne deren Oberfläche (6) durch Variieren wenigstens eines Parameters eines vorgegebenen Rekonstruktionsalgorithmus in unterschiedlichen Varianten (7, 8, 9) rekonstruiert wird und jede der entsprechenden resultierenden Oberflächenvarianten (7, 8, 9) mehrfach auf unterschiedliche Weise abgetastet wird, um die Punktpositionen für entsprechend unterschiedliche Abgaspunktegruppen (13, 14, 15, 16, 18) zu bestimmen.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass für die Punkte der Oberfläche (6), deren Positionen für die Punktpositionen in den unterschiedlichen Abgaspunktegruppen (13, 14, 15, 16, 18) verwendet werden, jeweils der räumlich nächstliegende, zu der Abgasfahne gehörende Punkt (4) der LIDAR-Punktdaten des Ausgangsdatensatzes (1) bestimmt wird und der Reflektivitätswert dieses Punktes (4) als Reflektivitätswert für den jeweiligen Punkt der jeweiligen Abgaspunktegruppe (13, 14, 15, 16, 18) verwendet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der LIDAR-Datensatz mit Begrenzungsboxen (19) annotiert ist, die jeweils die Position eines Fremdfahrzeugs angeben, und beim Hinzufügen der Abgaspunktegruppen (13, 14, 15, 16, 18) - zu den Begrenzungsboxen (19) jeweils mit einer vorgegebenen Wahrscheinlichkeit eine der Abgaspunktegruppen (13, 14, 15, 16, 18) hinzugefügt wird, und/oder - die Abgaspunktegruppen (13, 14, 15, 16, 18) jeweils zufällig oder mit einer vorgegebenen Wahrscheinlichkeitsverteilung links, mittig oder rechts an einer Heckseite der jeweiligen Begrenzungsbox (19) hinzugefügt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der LIDAR-Datensatz mit Begrenzungsboxen (19) annotiert ist, die jeweils die Position eines Fremdfahrzeugs angeben, und beim Hinzufügen einer der Abgaspunktegruppen (13, 14, 15, 16, 18) diese jeweils im Bereich einer der Begrenzungsboxen (19) hinzugefügt wird, wobei die Abgaspunktegruppen (13, 14, 15, 16, 18) jeweils mit einer vorgegebenen Wahrscheinlichkeit zumindest teilweise oberhalb der jeweiligen Begrenzungsbox (19) angeordnet werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die horizontale Drehrate und die Anzahl der Scanebenen des zum Aufnehmen des LIDAR-Datensatzes verwendeten LIDAR-Sensors bestimmt werden, - die Koordinaten der Punkte der generierten Abgaspunktegruppen (13, 14, 15, 16, 18) in Kugelkoordinaten angegeben werden, - ein Resampling der Abgaspunktegruppen (13, 14, 15, 16, 18) mit einer horizontalen Auflösung, die proportional zu der bestimmten horizontalen Drehrate ist, und einer vertikalen Auflösung, die proportional zu der bestimmten Anzahl der Scanebenen ist, durchgeführt wird, und - ein Ergebnis des Resamplings für das Augmentieren des LIDAR-Datensatzes verwendet wird.
8. Verfahren zum Trainieren eines Detektionsmodells zum Detektieren von Fremdfahrzeugen anhand von LIDAR-Punktdaten, wobei - mittels eines Verfahrens nach einem der vorhergehenden Ansprüche erzeugte annotierte augmentierte Trainingsdaten (12) bereitgestellt werden, - für das Trainieren des Detektionsmodells eine Verlustfunktion vorgegeben wird, die Detektionen des Detektionsmodells bestraft, die zu einer Abgasfahne gehörende Punkte (4) umfassen, und - das Detektionsmodell mittels der vorgegebenen Verlustfunktion und den bereitgestellten annotierten augmentierten Trainingsdaten (12) trainiert wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein Augmentierungsgrad, der angibt, in welchem Umfang die Trainingsdaten (12) mit den generierten Abgaspunktegruppen (13, 14, 15, 16, 18) augmentiert sind, im Laufe des Trainings erhöht wird.
10. Kraftfahrzeug, aufweisend Detektionssystem zum Detektieren von Fremdfahrzeugen in einer Umgebung des Kraftfahrzeugs, wobei das Detektionssystem einen LIDAR-Sensor und ein gemäß einem Verfahren nach Anspruch 8 oder 9 trainiertes Detektionsmodell umfasst.

Images