DE102022121868A1

DE102022121868A1 - Verfahren und Assistenzeinrichtung zum Klassifizieren von Sensordetektionen basierend auf Punktwolken und entsprechend eingerichtetes Kraftfahrzeug

Info

Publication number: DE102022121868A1
Application number: DE102022121868.6A
Authority: DE
Inventors: Dominik Kellner; Johannes Kopp
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-08-30
Filing date: 2022-08-30
Publication date: 2024-02-29

Abstract

Die Erfindung betrifft ein Verfahren und eine Assistenzeinrichtung (8) zum Klassifizieren von Sensordetektionen (13, 16, 18, 32) sowie ein entsprechend eingerichtetes Kraftfahrzeug (6). In dem Verfahren werden über mehrere Messzyklen eines Sensors (7) hinweg aufgenommene Sensordaten (13, 16, 18, 32) erfasst. Unter Verwendung zumindest der jeweils aktuellen Sensordaten (13, 16, 18, 32) aus dem jeweils aktuellen Messzyklus wird je Messzyklus eine jeweilige Punktwolke (36) aus den erfassten Sensordaten (13, 16, 18, 32) erzeugt. Dabei umfassen diese Punktwolken (36) für alle Messzyklen dieselbe fest vorgegebene Anzahl von Punkten (13, 16, 18, 32). Die jeweils erzeugte Punktwolke (36) wird dann als Input einer vorgegebenen entsprechend trainierten Einrichtung des maschinellen Lernens (19) zugeführt, die dazu als Output den Punkten (13, 16, 18, 32) der jeweiligen Punktwolke (36) jeweils eine von mehreren vorgegebenen Klassen zuordnet. Diese vorgegebenen Klassen umfassen dabei auch eine Stördatenklasse.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Assistenzeinrichtung zum Klassifizieren von Sensordetektionen, beispielsweise eines Radar- oder Lidarsensors.
In vielerlei technischen Bereichen und Anwendungen ist eine sensorische Umgebungs- oder Objekterfassung nützlich. Beispielsweise können dazu in Kraftfahrzeugen Radar- oder Lidarsensoren oder dergleichen eingesetzt werden, die etwa gegenüber optischen Kameras, Ultraschallsensoren und dergleichen einige Vorteile aufweisen können. Problematisch kann dabei jedoch sein, dass solche Sensoren eine signifikante Rate von Stördaten oder Stördetektionen, auch bezeichnet als Clutter oder Clutter-Detektionen ausgeben können, die keine realen oder nicht an der scheinbaren Detektionsposition vorhandene Objekte anzeigen. Dies kann zu einer entsprechend schlechten Performance bei der Detektion und/oder Nachverfolgung von realen Objekten bzw. bei der korrekten Umgebungserkennung führen.
Als Beispiel für eine Anwendung eines Radarsystems im Fahrzeugbereich beschreibt die DE 10 2017 107 626 A1 ein Verfahren zum Steuern eines Fahrzeugs und Detektieren verfügbarer Parkstellflächen in einer Parkumgebung. In dem Verfahren werden Radardaten von einem Radarsystem empfangen und daraus Koordinatendaten berechnet. Diese werden verarbeitet, um Parkstellflächengrenzen in der Parkumgebung zu schätzen. Weiter werden Spline-Schätzungen für die Parkstellflächengrenzen aus den geschätzten Parkstellflächengrenzen berechnet und für ein Fahrzeugcomputersystem bereitgestellt.
Ein Beispiel für ein Verfahren zur Klassifizierung von Objekten ist in der WO 2020 049 154 A1 beschrieben. Das Verfahren umfasst das Bereitstellen von Messdaten von einem Sensor für eine Merkmalsextraktionseinheit sowie das Extrahieren von modalitätsunabhängigen Merkmalen aus den Messdaten. Die modalitätsunabhängigen Merkmale sind dabei unabhängig von einer Sensormodalität des Sensors, sodass aus den modalitätsunabhängigen Merkmalen kein Rückschluss auf die Sensormodalität des Sensors möglich ist. Damit soll erreicht werden, dass eine Klassifizierungseinheit zum Klassifizieren der Merkmale nicht separat für die Messdaten verschiedener Sensormodalitäten trainiert werden muss.
Aufgabe der vorliegenden Erfindung ist es, eine besonders effiziente, konsistente und robuste sensorische Umgebungserkennung zu ermöglichen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehr der Unteransprüche, anzusehen.
Das erfindungsgemäße Verfahren kann zum Klassifizieren von Sensordetektionen bzw. mittels wenigstens eines Sensors, insbesondere mittels eines Radar- oder Lidarsensor, erfassten Objekten angewendet werden. In dem erfindungsgemäßen Verfahren werden fortlaufend über eine Vielzahl von Messzyklen, also Scans des Sensors hinweg aufgenommene Sensordaten, die erfasste Objekte charakterisieren, erfasst. Dieses Erfassen kann hier beispielsweise bedeuten oder umfassen, die Sensordaten aus einem Daten- oder Zwischenspeicher und/oder über eine Schnittstelle und/oder von dem Sensor abzurufen bzw. zu empfangen und/oder mittels des Sensors aufzunehmen. Es können in oder nach jedem Messzyklus des Sensors jeweils aktuelle Sensordaten, die in diesem Messzyklus aufgenommen wurden, also angefallen sind, erfasst werden. Die erfassten Sensordaten können beispielsweise Rohdaten des Sensors oder vorverarbeitete Daten oder insbesondere Detektionen, also etwa Radar- oder Lidardetektionen, sein oder umfassen. Solche Detektionen können beispielsweise vorverarbeitet und/oder gefiltert und/oder bereits von dem Sensor mit gewissen Eigenschaften oder Annotationen versehen sein. Die Sensordaten bzw. Detektionen können beispielsweise mit einem Zeitstempel, einer den verwendeten Sensor angegebenen Identifizierung, Koordinatenangaben in einem vorgegebenen oder vordefinierten Koordinatensystem, Doppler- oder Geschwindigkeitsdaten und/oder dergleichen mehr versehen bzw. annotiert sein, gegebenenfalls kompensiert um eine Eigenbewegung des verwendeten Sensors bzw. beispielsweise eines damit ausgestatteten Kraftfahrzeugs oder dergleichen.
In dem Verfahren wird jeweils unter Verwendung zumindest der jeweils aktuellen Sensordaten aus dem jeweils aktuellen bzw. zuletzt durchlaufenen oder abgeschlossenen Messzyklus des wenigstens einen Sensors je Messzyklus, also beispielsweise in oder unmittelbar nach jedem Messzyklus, eine jeweilige Punktwolke aus den Sensordaten erzeugt. Diese Punktwolken umfassen dabei für alle Messzyklen dieselbe fest vorgegebene Anzahl von Punkten, also Sensordaten bzw. entsprechenden, etwa in einem vorgegebenen Koordinatensystem verorteten, Punkten oder Detektionen. In diesem Sinne weisen also sämtliche Punktwolken dieselbe fest vorgegebene Größe, also eine immer gleiche, konstante Anzahl von Punkten oder Einträgen auf.
Weiter wird in dem erfindungsgemäßen Verfahren die jeweils erzeugte Punktwolke als Input, also als Eingangsdaten einer vorgegebenen entsprechend trainierten Einrichtung des maschinellen Lernens bereitgestellt oder zugeführt. Diese Einrichtung des maschinellen Lernens ordnet dann dazu als Output den Punkten der jeweiligen Punktwolke jeweils eine von mehreren vorgegebenen Klassen zu, wobei diese vorgegebenen Klassen auch eine Stördatenklasse, also eine Klasse „Clutter“ umfassen. Die Einrichtung des maschinellen Lernens kann also in dem erfindungsgemäßen Verfahren die Punkte der jeweiligen Punktwolke in eine der mehreren vorgegebenen Klassen einordnen, also mit einer entsprechenden Klassifikation oder Annotation versehen. Die Einrichtung des maschinellen Lernens kann diese Klassifikationen bzw. die mit diesen Klassifikationen versehenen oder annotierten Punkte der Punktwolke als Output ausgeben. Die Einrichtung des maschinellen Lernens kann jeweils alle Punkte der jeweiligen Punktwolke oder zumindest oder nur alle Punkte aus dem jeweils aktuellen Messzyklus entsprechend klassifizieren.
Als Einrichtung des maschinellen Lernens kann beispielsweise ein, insbesondere tiefes, künstliches neuronales Netz oder dergleichen verwendet werden. Dieses bzw. die Einrichtung des maschinellen Lernens kann zum Klassifizieren von in Punktwolken organisierten Detektionen wenigstens eines entsprechenden Sensors trainiert sein. Dazu können herkömmliche Trainingsmethoden, beispielsweise unter Verwendung von gelabelten, also annotierten Trainingsdaten und einer Rückpropagationsmethode oder dergleichen angewendet werden. Sofern im jeweils vorgesehenen Anwendungsfall des erfindungsgemäßen Verfahrens mehrere Sensoren verwendet bzw. Sensordaten von mehreren Sensoren erfasst werden, kann die Einrichtung des maschinellen Lernens insbesondere mit gemischten Sensor- bzw. Trainingsdaten von mehreren verschiedenen Sensoren, also nicht sensorspezifisch, trainiert sein oder werden. Die mehreren Sensoren bzw. die entsprechenden Sensordaten können dabei ganz oder teilweise überlappende Sicht- oder Aufnahmebereiche haben bzw. abdecken oder charakterisieren. Ein solches nicht sensorspezifisches Training kann ein besonders genaues, zuverlässiges und robustes Klassifikationsverhalten der Einrichtung des maschinellen Lernens ermöglichen. Für eine weitere Verbesserung können Trainingsdaten, also zum Trainieren der Einrichtung des maschinellen Lernens verwendete Eingangsdaten normalisiert werden, etwa via einer Standardisierung. Ebenso können Abweichungen oder Varianzen kartesischer Koordinaten der Eingangsdaten bzw. Punkte vor einem Skalieren gemittelt werden, um Verzerrungen von Distanzberechnungen zu vermeiden. Diese kartesischen Koordinaten können beispielsweise im Fahrzeuganwendungsfall x- und y-Koordinaten sein, wobei die x- und y-Richtungen einer Fahrzeuglängsrichtung und Fahrzeugquerrichtung entsprechen können.
Heutige Sensoren können Sensordaten in unregelmäßigen Abständen ausgeben, beispielsweise aufgrund variabler Rechenzeiten für eine Vorverarbeitung abhängig von der Objektdichte im Aufnahme- oder Erfassungsbereich oder dergleichen. Ebenfalls abhängig von der Dichte detektierbarer, also sensorisch erfassbarer Objekte in dem jeweiligen Aufnahme- oder Erfassungsbereich können je Messzyklus, also je Scan des Sensors unterschiedlich viele Detektionen anfallen. Dadurch können in herkömmlichen Verfahren entsprechend unterschiedliche Verarbeitungszeiten für das Klassifizieren sowie unterschiedliche Wartezeiten zwischen entsprechenden Aktualisierungen anfallen. Dies kann ungünstig sein beispielsweise hinsichtlich eines angestrebten konsistenten Verhaltens von auf entsprechenden Klassifikationen basierenden Systemen oder Funktionen oder beispielsweise einer möglichst geringen und konsistenten Reaktionszeit auf Detektionen. Dies kann durch die vorliegend vorgesehene fest vorgegebene Anzahl von Punkten der als Input für die Einrichtung des maschinellen Lernens dienenden Punktwolken vermieden werden. So kann dadurch beispielsweise eine konstante Berechnungs- oder Verarbeitungszeit für das Klassifizieren sichergestellt werden.
Im Allgemeinen kann es vorteilhaft sein, eine konstante Anzahl von Eingangspunkten, also eine konstante Größe des Inputs für die Einrichtung des maschinellen Lernens sicherzustellen, insbesondere wenn als Einrichtung des maschinellen Lernens ein künstliches neuronales Netz verwendet wird, das Punktwolken direkt verarbeitet, wie etwa PointNet++ oder dergleichen. Dies kann eine besonders effiziente Stapelverarbeitung (englisch: batch processing) ermöglichen, was wiederum beispielsweise die Trainingsgeschwindigkeit im Vergleich zu anderen Lösungen signifikant erhöhen und die Verwendung von Batch-Normalisierung ermöglichen kann.
Da aber Sensoren, wie etwa Radar- und Lidarsensoren typischerweise Sensordaten oder Punktwolken variierender Größe erzeugen oder ausgeben, können verschiedene Maßnahmen angewendet werden, um eine konstante Größe der tatsächlich als Input der Einrichtung des maschinellen Lernens zugeführten Punktwolken sicherzustellen. Dies kann beispielsweise je nach Bedarf ein Up- oder Downsampling umfassen, was an anderer Stelle näher erläutert wird. Die vorliegende Erfindung ermöglicht gegenüber bisherigen Ansätzen eine verbesserte Performance bei reduzierter und insbesondere konstanter Inferenzzeit.
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfassen die vorgegebenen Klassen außer der Stördatenklasse auch eine Klasse für reale bewegte Objekte und eine Klasse für stationäre Objekte. Insbesondere können nur genau diese drei Klassen vorgegeben sein, sodass also Punkte bzw. Detektionen nur einer von genau diesen drei Klassen zugeordnet werden können. Die Klasse für reale bewegte Objekte kann für Detektionen verwendet werden, die von Objekten stammen, die sich beispielsweise relativ zur jeweiligen Umgebung oder in einem weltfesten Koordinatensystem oder relativ zu dem verwendeten Sensor bzw. einer damit ausgestatteten Einrichtung, wie etwa einem Kraftfahrzeug bewegen. Dies können insbesondere andere Verkehrsteilnehmer oder Fremdfahrzeuge sein.
Die Klasse für stationäre Objekte kann für Detektionen verwendet werden, die von Objekten stammen, die relativ zu der Umgebung oder in dem weltfesten Koordinatensystem stillstehen, also ruhen. Dies können beispielsweise ortsfeste Bestandteile einer Straßenausstattung, ein Boden, also etwa eine Fahrbahnoberfläche oder dergleichen, Vegetation und/oder Ähnliches sein.
Da in der vorliegenden Erfindung die Stördatenklasse vorgesehen ist, kann die vorliegende Erfindung zur Clutter-Detektion eingesetzt werden. In der hier vorgeschlagenen Ausgestaltung wird jedoch keine binäre Unterscheidung oder Klassifizierung zwischen Clutter und nicht-Clutter oder dergleichen durchgeführt, sondern ein genaueres Klassifizierungsschema verwendet. Das Isolieren oder Identifizieren von Detektionen stationärer Objekte in einer eigenen Klasse kann für verschiedene Aufgaben nützlich sein, wie etwa für eine Straßenverlaufsschätzung oder zum Bestimmen eines räumlichen Kontexts von Objektdetektionen oder dergleichen. Zudem kann ein Zusammenfassen der typischerweise relativ großen Anzahl von Detektionen stationärer Objekte mit anderen Detektionen bzw. einer oder mehreren anderen Klassen nachteilig dazu führen, dass die speziellen Eigenschaften oder Eigenheiten der Detektionen stationärer Objekte die Eigenschaften bzw. Charakteristika einer solchen zusammengefassten oder übergreifenden Klasse überschatten oder dominieren würden. Dies kann zu einem schwierigeren oder schlechteren Training bzw. einer entsprechend schlechteren oder ungenaueren Klassifikationsperformance der Einrichtung des maschinellen Lernens führen, was durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung vermieden werden kann. Zudem können für eine auf den Klassifikationen aufbauende Funktion beispielsweise nur bewegte Objekte relevant sein oder anders behandelt werden als stationäre Objekte. Somit kann das hier vorgeschlagene Klassifizierungsschema eine entsprechend effiziente Umsetzung solcher Funktionen ermöglichen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird immer, also bei jedem Klassifizierungsdurchlauf zumindest jedem aus dem jeweils aktuellen, also neuesten Messzyklus bzw. Scan des Sensors stammenden Punkt der jeweiligen Punktwolke eine der mehreren vorgegebenen Klassen zugeordnet. Mit anderen Worten wird also garantiert oder sichergestellt, dass für jede Detektion, die aus dem aktuellen bzw. neuesten Messzyklus stammt und in die jeweilige Punktwolke eingeflossen ist, durch die Einrichtung des maschinellen Lernens eine Klassifikation oder Vorhersage generiert bzw. ausgegeben wird. Dazu können beispielsweise der verwendete Sensor hinsichtlich einer von ihm je Messzyklus maximal ausgegebenen Anzahl von Punkten und die vorgegebene Anzahl von Punkten für die Punktwolken aufeinander abgestimmt sein. Insbesondere kann die vorgegebene Größe der Punktwolken wenigstens dieser von dem Sensor oder allen verwendeten Sensoren insgesamt je Messzyklus maximal ausgegebenen Anzahl von Detektionen entsprechen.
Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann vermieden werden, dass einige aktuelle und damit potenziell besonders relevante Detektionen nicht klassifiziert werden und daher gegebenenfalls für weitergehende oder darauf basierende Entscheidungen unberücksichtigt bleiben würden. Dies kann beispielsweise bei naiven Downsamplingalgorithmen passieren, die etwa durch zufällige oder regelbasierte Auswahl, beispielsweise hinsichtlich der bevorzugten Berücksichtigung von Detektionen mit größerem Radarquerschnitt oder dergleichen, eine bestimmte Anzahl von je Messzyklus zu klassifizierenden Punkten auswählen. Ein bisheriger Ansatz zur Lösung dieser Problematik lag darin, ein entsprechendes Downsampling zur Inferenzzeit zu vermeiden. Dies kann jedoch nachteilig zu entsprechend unterschiedlichen Größen der Sets zu klassifizierender Sensordaten bzw. Detektionen und damit zu entsprechend unterschiedlichen Berechnungs- oder Datenverarbeitungszeiten führen. Zudem können in einem solchen Szenario bei Verwendung einer Einrichtung des maschinellen Lernens entsprechend unterschiedliche Konfigurationen der Eingangsdaten während des Trainings und zur Inferenzzeit zu einer reduzierten Performance insbesondere für außergewöhnlich große Sets von Eingangsdaten führen. All diesen Arten von Problemen kann durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung effektiv und effizient begegnet werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird je nach Bedarf ein Upsampling oder ein Downsampling auf die jeweils verfügbaren Sensordaten angewendet, um sicherzustellen, dass die jeweilige Punktwolke die fest vorgegebene Anzahl von Punkten enthält oder umfasst. Die jeweils verfügbaren Sensordaten können dabei insbesondere über mehrere Messzyklen hinweg akkumuliert werden. Dadurch kann in gewisser Weise ein Vorrat von Sensordaten bereitstehen, aus dem beispielsweise für ein Upsampling Sensordaten bzw. Detektionen entnommen werden können, um die jeweilige Punktwolke bis zu der fest vorgegebenen Größe aufzufüllen, wenn in dem jeweils aktuellen oder neuesten Messzyklus weniger als die fest vorgegebene Anzahl von Punkten je Punktwolke angefallen sind. Ebenso können beispielsweise für ein Upsampling Sensordaten bzw. Detektionen aus dem jeweils aktuellen oder neuesten Messzyklus dupliziert werden, um die fest vorgegebene Anzahl von Punkten für die jeweils aktuelle Punktwolke zu erreichen bzw. zu generieren. Dies kann auch ohne Akkumulieren von Sensordaten möglich sein. Insbesondere können für ein Upsampling nur tatsächlich von dem wenigstens einen Sensor aufgenommene Sensordaten verwendet und der Einrichtung des maschinellen Lernens als Input zugeführt werden. Dies kann eine besonders sichere Anwendung auf den Klassifikationen aufbauender Funktionen ermöglichen.
Werden für ein Upsampling Sensordaten oder Punkte der jeweiligen Punktwolke dupliziert, können diese beispielsweise zufällig oder nach einer vorgegebenen Regel oder einem vorgegebenen Kriterium ausgewählt werden. Solche duplizierten Sensordaten oder Punkte können dann zwar als Teil der jeweiligen Punktwolke der Einrichtung des maschinellen Lernens als Input zugeführt werden, von dieser jedoch von einer Verlustberechnung (englisch: loss calculation) ausgeschlossen werden, um eine entsprechende Beeinflussung oder Verzerrung berechneter Gradienten zu vermeiden.
Stehen hingegen mehr als die für eine Punktwolke benötigte Menge von Sensordaten zur Verfügung, so kann ein Downsampling angewendet werden. Dabei kann eine der vorgegebenen Anzahl von Punkten für eine Punktwolke entsprechende Anzahl von Sensordaten bzw. Detektionen aus den verfügbaren Sensordaten ausgewählt und zum Generieren der jeweiligen Punktwolke verwendet werden. Dies kann besonders sicher und robust durchgeführt werden, wenn die Anzahl von Punkten je Punktwolke als größer oder gleich der maximal je Messzyklus anfallenden neuen Sensordaten oder Detektionen vorgegeben wird und über mehrere Messzyklen hinweg anfallende Sensordaten akkumuliert, also beispielsweise zwischengespeichert oder gepuffert werden. Eine solche Akkumulation von Sensordaten über mehrere Messzyklen hinweg eröffnet Möglichkeiten für Downsamplingverfahren, welche die an anderer Stelle genannten Probleme herkömmlicher naiver Downsamplingalgorithmen vermeiden können.
Das hier vorgeschlagene Anwenden eines jeweils bedarfsgerechten Up- oder Downsamplings zum Erzeugen der Punktwolken stellt eine besonders einfache, effektive und effiziente Möglichkeit dar, die mit einer konstanten Punktwolkengröße einhergehenden Vorteile auszunutzen und gleichzeitig eine besonders robuste und sichere Anwendung von auf den Klassifikationen der Einrichtung des maschinellen Lernens aufbauenden Funktionen zu ermöglichen.
In einer möglichen Weiterbildung der vorliegenden Erfindung werden bei Anwendung eines Downsamplings niemals Punkte, die aus dem jeweils aktuellen, also neuesten Messzyklus stammen, verworfen. Mit anderen Worten ist in dem erfindungsgemäßen Verfahren also vorgesehen, dass nur Detektionen aus früheren Messzyklen entfernt werden bzw. unberücksichtigt bleiben können, um die jeweils aktuelle Punktwolke zu generieren. Dies ist stets dann möglich, wenn die vorgegebene Anzahl von Punkten für eine Punktwolke größer oder gleich der maximalen Anzahl oder Menge von Detektionen bzw. Sensordaten, die in einem einzigen Messzyklus oder Scan anfallen können, vorgegeben ist. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung beruht auf der Erkenntnis, dass in vielen Anwendungsfällen, insbesondere im Fahrzeugbereich oder für Roboter oder dergleichen, typischerweise nur die jeweils aktuellen, also neuesten Sensordaten bzw. Detektionen und Klassifikationen tatsächlich für die Steuerung relevant sind oder berücksichtigt werden. Ältere Sensordaten oder Detektionen aus einem früheren Messzyklus sind typischerweise hingegen bereits verarbeitet und gegebenenfalls klassifiziert worden und können beispielsweise primär lediglich in der jeweiligen Punktwolke enthalten sein, um die vorgegebene Anzahl von Punkten zu erreichen bzw. eine Datenspärlichkeit des aktuellen, also neuesten Messzyklus oder Scans auszugleichen. Aktualisierte Klassifikationen für solche Punkte, die auf älteren Sensordaten bzw. Detektionen beruhen, zu erhalten, ist daher nicht oder nur in sehr speziellen Fällen und falls nachfolgende Datenverarbeitungsschritte spezifisch designt sind, um derartige Informationen zu verwerten, nützlich. Daher bietet die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung eine besonders effektive, effiziente und robuste Möglichkeit, die fest vorgegebene Anzahl von Punkten je Punktwolke einzuhalten und dazu bei Bedarf ein Downsampling anzuwenden und dennoch Prädiktionen, also Klassifikationen für alle relevanten Detektionen bzw. Sensordaten oder Punkte der jeweils aktuellen Punktwolke zu erzeugen. Damit kann also die Anzahl der zu verarbeitenden Punkte konstant gehalten werden, ohne auf deren Klassifikationen beruhende oder aufbauende Funktionen zu beeinträchtigen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Sensordaten über eine vorgegebene Zeit in einem vorgegebenen Puffer oder Zwischenspeicher akkumuliert. Die jeweilige Punktwolke wird dann aus Sensordaten aus diesem Puffer oder Zwischenspeicher erzeugt, wobei jeweils neuere Sensordaten bevorzugt verwendet werden. Beispielsweise kann also die Punktwolke bis auf die vorgegebene Anzahl von Punkten aufgefüllt werden unter Zugriff auf in dem Puffer oder Zwischenspeicher gespeicherte Sensordaten, also etwa für ein an anderer Stelle genanntes Upsampling. Dabei werden die Sensordaten aus dem Puffer in absteigender Reihenfolge ihrer Aufnahmezeitpunkte oder Zeitstempel oder ihrer Speicherzeitpunkte in dem Puffer verwendet. Es werden also ausgehend von den jeweils neuesten Sensordaten so lange oder so viele ältere Sensordaten in der Reihenfolge zunehmenden Alters in die jeweilige Punktwolke aufgenommen, bis diese die vorgegebene Größe erreicht hat. Dadurch kann sichergestellt werden, dass für den Fall, dass eine nachfolgende Funktion auch Klassifikationen älterer Sensordaten oder Detektionen verwendet oder berücksichtigt, ein bestmögliches Ergebnis erzielt werden kann, ohne die Vorteile der konstanten Punktwolken Größe aufzugeben. Dazu können der Puffer und die vorgegebene Zeit, also eine Länge oder Größe eines entsprechenden gleitenden Zeitfensters, innerhalb dessen liegende Sensordaten in dem Puffer vorgehalten werden, der jeweils verwendete Sensor bzw. dessen voraussichtliche Aufnahme- oder Ausgaberate von Sensordaten und die vorgegebene Größe der Punktwolken entsprechend aufeinander abgestimmt sein, insbesondere unter Berücksichtigung einer vorgegebenen Sicherheitsmarge. Durch entsprechende Auslegung kann dann also sichergestellt werden, dass in dem Puffer stets eine wenigstens der für die Punktwolken vorgegebenen Anzahl von Punkten entsprechende Anzahl oder Menge von Sensordaten gespeichert ist. Da bei einer initialen Inbetriebnahme einer entsprechenden Einrichtung für das erfindungsgemäße Verfahren der Puffer noch leer sein kann, kann beispielsweise vorgesehen sein, dass das erfindungsgemäße Verfahren erst dann in der beschriebenen Art und Weise gestartet oder durchgeführt wird, wenn in dem Puffer wenigstens eine zum Erzeugen einer Punktwolke ausreichende Menge von Sensordaten akkumuliert wurde.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Sensordaten in einem vorgegebenen Ringpuffer oder Ringspeicher fester Größe gespeichert bzw. zwischengespeichert. Aus den in dem Ringpuffer gespeicherten Sensordaten wird dann die jeweilige Punktwolke erzeugt, wobei jeweils neuere Sensordaten bevorzugt verwendet werden. Es können also beispielsweise für ein Upsampling so lange die jeweils neuesten Sensordaten aus dem Ringpuffer herangezogen werden, bis die jeweilige Punktwolke die vorgegebene Größe erreicht hat. Das entsprechende Verfahren kann dabei gestartet werden, wenn der Ringpuffer genügend Sensordaten enthält, um wenigstens eine Punktwolke der vorgegebenen Größe daraus zu erzeugen oder aufzubauen. Ebenso können initial, also bevor der Ringpuffer genügend Sensordaten zum Bilden einer Punktwolke der vorgegebenen Größe enthält, vorhandene Sensordaten dupliziert und damit eine Punktwolke gebildet werden. Jeweils wenn neue Sensordaten erfasst bzw. von dem Sensor ausgegeben werden, können damit jeweils die ältesten in dem Ringpuffer gespeicherten Sensordaten überschrieben werden. Daher kann der Ringpuffer wenigstens oder genau so groß sein, dass die für eine Punktwolke vorgegebene Anzahl von Sensordaten bzw. Punkten oder Detektionen darin gespeichert werden kann. Zum Erzeugen einer Punktwolke kann dann also beispielsweise jeweils der gesamte Ringpuffer ausgelesen werden. Dies kann eine besonders einfache und effiziente Erzeugung der Punktwolken ermöglichen. Zudem kann damit eine entsprechende als Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens besonders aufwandsarm und kostengünstig realisiert werden. Durch die hier vorgeschlagene Verwendung eines Ringpuffers, also einer Speicherstruktur bzw. Queue fester Größe bzw. Länge kann, insbesondere wenn diese Größe an die vorgegebene Größe der Punktwolken angepasst ist bzw. wenigstens oder genau dieser vorgegebenen Größe entspricht, kann gegebenenfalls auf ein Downsampling verzichtet werden. Insbesondere wenn die Größe des Ringpuffers der für die Punktwolken vorgegebenen Größe entspricht kann die Verwendung des jeweils aktuellen Inhalts des gesamten Ringpuffer ist zum Erzeugen der jeweils aktuellen Punktwolke ohne zusätzlichen datenverarbeitungstechnischen Downsamplingschritt effektiv einem Downsampling entsprechen bzw. dessen Funktion übernehmen, da beim Erfassen oder Verfügbarwerden neuerer Sensordaten gerade genauso viele ältere Sensordaten aus dem Ringpuffer herausfallen bzw. überschrieben werden. Auf diese Weise kann die benötigte Speichermenge oder Speichergröße zum Zwischenspeichern oder Puffern von Sensordaten minimiert und Zeit und Aufwand für ein aktives Downsampling eingespart werden.
Die beschriebenen Ausgestaltungen beschreiben Möglichkeiten, wie ein akkumulationsbewusstes, also die Akkumulation von Sensordaten und insbesondere deren zumindest relatives Alter berücksichtigendes Downsampling oder Auswählen oder Verwenden von Sensordaten für Punktwolken fest vorgegebener, also konstanter Größe als Inputs für eine Einrichtung des maschinellen Lernens zur Detektions- oder Objektklassifizierung realisiert werden kann. Nach dem jeweiligen Up- oder Downsampling oder Entnehmen der Sensordaten für die jeweils aktuelle Punktwolke aus einem Puffer oder dergleichen kann jeweils beispielsweise eine Koordinatentransformation und/oder eine Normalisierung der Messpunkte durchgeführt werden. Dadurch kann eine Vereinheitlichung der verwendeten Daten und damit eine verbesserte Konsistenz und Vergleichbarkeit und Robustheit der entsprechenden Ergebnisse erreicht werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung sind oder werden die Sensordaten bzw. die Punkte der Punktwolke jeweils mit einem Zeitstempel versehen, der einen Aufnahmezeitpunkt der entsprechenden Sensordaten angibt. Durch die Einrichtung des maschinellen Lernens werden dann in Abhängigkeit von ihren Zeitstempeln die Punkte der Punktwolke gewichtet, wobei ältere Punkte bzw. ältere Sensordaten schwächer gewichtet werden als neuere Punkte bzw. Sensordaten. Die Einrichtung des maschinellen Lernens kann entsprechend trainiert sein, also gelernt haben, dass ältere Punkte bzw. ältere Sensordaten weniger relevant für eine korrekte Klassifikation sein können als neuere Punkte bzw. Sensordaten. Würde also beispielsweise allein anhand eines älteren Punktes für diesen bzw. das entsprechende Objekt eine erste Klassifikation bestimmt werden, basierend auf einem neueren zu demselben realen Objekt gehörenden Punkt jedoch eine andere zweite Klassifikation bestimmt werden, so kann diese zweite Klassifikation letztlich auch dem älteren Punkt zugewiesen werden. Auf diese Weise kann auch bei Verwendung älterer Sensordaten in der jeweils aktuellen Punktwolke eine auf den aktuellen, also neuesten Sensordaten beruhende Klassifikation erreicht werden. Dies kann ein entsprechend situationsangepasstes und sicheres Verhalten darauf aufbauender Funktionen, Einrichtungen oder Systeme ermöglichen.
Die vorliegende Erfindung betrifft auch eine Assistenzeinrichtung für ein Kraftfahrzeug. Die erfindungsgemäße Assistenzeinrichtung weist eine Schnittstelle zum Erfassen von Sensordaten, insbesondere eines Radar- oder Lidarsensors, und eine Einrichtung des maschinellen Lernens auf, die dazu trainiert ist, Punkten einer Punktwolke von Sensordaten jeweils eine von mehreren vorgegebenen Klassen zuzuordnen. Dabei ist die erfindungsgemäße Assistenzeinrichtung zum, insbesondere automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann die erfindungsgemäße Assistenzeinrichtung eine Prozesseinrichtung, also etwa einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, und einen damit gekoppelten computerlesbaren Datenspeicher umfassen. In diesem Datenspeicher kann ein Betriebs- oder Computerprogramm gespeichert sein, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Verfahrensschritte, Maßnahmen oder Abläufe oder entsprechende Steueranweisungen codiert oder implementiert und mittels der Prozesseinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu bewirken. Ebenso kann in dem Datenspeicher beispielsweise die Einrichtung des maschinellen Lernens oder zumindest deren Softwarekomponente gespeichert sein. Ebenso kann die Einrichtung des maschinellen Lernens beispielsweise ganz oder teilweise als Hardwareschaltung als Teil der erfindungsgemäßen Assistenzeinrichtung realisiert sein. Die erfindungsgemäße Assistenzeinrichtung kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Einrichtung zum Ausführen des erfindungsgemäßen Verfahrens sein oder dieser entsprechen. Die erfindungsgemäße Assistenzeinrichtung kann die von der Einrichtung des maschinellen Lernens erzeugten Klassifikationen beispielsweise in dem Datenspeicher ablegen und/oder über die oder eine weitere Schnittstelle ausgeben oder bereitstellen. Ebenso kann die erfindungsgemäße Assistenzeinrichtung beispielsweise den wenigstens einen Sensor umfassen oder zur direkten oder indirekten Kopplung mit dem wenigstens einen Sensor eingerichtet sein.
Die vorliegende Erfindung betrifft auch ein Kraftfahrzeug, das wenigstens einen Sensor zur Umgebungserfassung, insbesondere einen Radar- oder Lidarsensor, und eine damit gekoppelte oder diesen umfassende erfindungsgemäße Assistenzeinrichtung aufweist. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung genannte Kraftfahrzeug sein oder diesem entsprechen. Das erfindungsgemäße Kraftfahrzeug kann auch wenigstens ein Assistenzsystem oder eine Funktionalität aufweisen, das bzw. die die von der erfindungsgemäßen Assistenzeinrichtung erzeugten oder bereitgestellten Klassifikationen als Eingangsdaten verwendet.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine schematische Übersichtsdarstellung einer Verkehrsszene, in der Sensordetektionen automatisch klassifiziert werden;
2 eine schematische Darstellung zur Veranschaulichung einer Struktur eines für das Klassifizieren der Sensordetektionen verwendbaren künstlichen neuronalen Netzes;
3 einen beispielhaften schematischen Ablaufplan eines Verfahrens für das Klassifizieren von Sensordetektionen;
4 ein Schema zur Veranschaulichung einer ersten Variante zum Erzeugen einer jeweiligen Punktwolke als Input für das neuronale Netz;
5 ein Schema zur Veranschaulichung einer zweiten Variante zum Erzeugen einer jeweiligen Punktwolke als Input für das neuronale Netz;
6 ein Schema zur Veranschaulichung einer dritten Variante zum Erzeugen einer jeweiligen Punktwolke als Input für das neuronale Netz.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. Von mehrfach vorhandenen gleichen oder gleichartigen Elementen ist der Übersichtlichkeit halber gegebenenfalls zumindest zum Teil nur eine repräsentative Auswahl explizit gekennzeichnet.
1 zeigt eine ausschnittweise Übersichtsdarstellung einer Verkehrsszene in einer Umgebung. Darin ist ein Teil einer Straße 1 mit einem Fahrstreifen 2 und einem Nachbarfahrstreifen 3 dargestellt. Der Fahrstreifen 2 und der Nachbarfahrstreifen 3 sind durch ein Hindernis, vorliegend beispielhaft in Form einer Schutzplanke 4 voneinander getrennt. Neben dem Fahrstreifen 2 befindet sich zudem ein Grün- oder Vegetationsstreifen mit Vegetation 5.
Auf dem Fahrstreifen 2 befindet sich hier ein Kraftfahrzeug 6, das zur sensorischen Umgebungserfassung eingerichtet ist. Dazu weist das Kraftfahrzeug 6 wenigstens einen Sensor 7 auf, bei dem es sich beispielsweise um einen Radar- und/oder Lidarsensor handeln kann. Weiter weist das Kraftfahrzeug 6 eine Assistenzeinrichtung 8 auf. Die Assistenzeinrichtung 8 ist hier zum automatischen Klassifizieren von Sensordaten 32 (siehe 4-6) bzw. Detektionen des Sensors 7 eingerichtet. Dazu weist die Assistenzeinrichtung 8 hier schematisch angedeutet beispielhaft eine Schnittstelle 9 zum Erfassen der von dem Sensor 7 gelieferten Sensordaten 32 oder Detektionen sowie einen Prozessor 10 und einen Datenspeicher 11 zu deren Verarbeitung auf.
Mittels des Sensors 7 kann die Umgebung des Kraftfahrzeugs 6 erfasst werden. Dabei kann beispielsweise ein hier dem Kraftfahrzeug 6 auf dem Fahrstreifen 2 vorausfahrendes Vorausfahrzeug 12 erfasst werden, insbesondere anhand von oder in Form von Objektdetektionen 13. Diese Objektdetektionen 13 können von dem Vorausfahrzeug 12 bzw. von verschiedenen Stellen des Vorausfahrzeugs 12 reflektierte und mittels des Sensors 7 erfasste Signale sein oder auf solchen reflektierten und erfassten Signalen beruhen. Ein entsprechendes Sendesignal kann von dem Sensor 7 beispielsweise entlang eines jeweiligen direkten Signalwegs 14 zu dem jeweiligen Objekt, hier also zu dem Vorausfahrzeug 12 ausgesendet werden, wobei das jeweilige korrespondierende reflektierte Signal entlang desselben direkten Signalwegs 14 zu dem Sensor 7 zurück reflektiert werden kann. Auf diese Weise kann beispielsweise ein Fahrzeugradarsensor die jeweilige Umgebung also durch Emittieren elektromagnetischer Wellen und Analysieren entsprechender Reflektionen von Hindernissen oder Objekten im Ausbreitungspfad der Wellen erfassen. Damit können die Positionen der Hindernisse oder Objekte und deren Geschwindigkeiten in radialer Richtung relativ zu dem Fahrzeugradarsensor, hier also etwa zu dem Sensor 7, bestimmt oder abgeschätzt werden. Dabei kann die Umgebung regelmäßig wiederholt, also in einer Abfolge von Messzyklen bzw. Scans erfasst oder abgetastet werden. Nach jedem solchen Messzyklus oder Scan kann eine Liste von Detektionspunkten, also Detektionen oder Zielen von dem Sensor 7 ausgegeben werden.
Herkömmlich kann dabei jedoch problematisch sein, dass diese Liste auch - typischerweise relativ viele - Detektionen enthalten kann, die nicht zu einem realen Objekt in der Umgebung zugeordnet werden können, also beispielsweise hinsichtlich Position und Geschwindigkeit nicht zu einem realen Objekt in der Umgebung passen. Solche Detektionen werden auch als Clutter bezeichnet. Solche Clutter-Detektionen sind nicht auf zumindest scheinbar zufälliges Rauschen beschränkt. Vielmehr kann solcher Clutter beispielsweise auch durch Reflektionen, beispielsweise entlang eines hier schematisch angedeuteten indirekten Signalwegs 15 oder durch eine fehlerhafte Ambiguitätsauflösung durch eine Signalverarbeitung des Sensors 7 oder dergleichen entstehen. Beispielhaft sind hier einige Clutter repräsentierende Stördetektionen 16 dargestellt. Eine Reflektion eines von dem Vorausfahrzeug 12 reflektierten Signals an der Schutzplanke 4, das somit entlang des indirekten Signalweg 15, also über einen Umweg zurück zu dem Sensor 7 gelangt, kann beispielsweise zu einer fehlerhaften Erkennung eines entsprechenden Geistobjekts 17 führen, das - zumindest an der dafür ermittelten bzw. scheinbaren Position - tatsächlich nicht real vorhanden ist. Ebenso können Stördetektionen 16 beispielsweise von Unebenheiten der Straße 1 stammen, die keine für die Führung oder Steuerung des Kraftfahrzeugs 6 relevanten Objekte darstellen.
Solcher Clutter, also solche Stördetektionen 16 können eine erhebliche Herausforderung für ein korrektes Erfassen der jeweiligen Umgebung bzw. eine korrekte Detektion und Nachverfolgung von realen Objekten in der jeweiligen Umgebung darstellen. Es wäre daher wünschenswert, aus der Vielzahl von Detektionen zumindest spezifisch die Stördetektionen 16 zu identifizieren, sodass sie beispielsweise herausgefiltert werden können, bevor weitere Schritte oder Maßnahmen basierend auf den Detektionen durchgeführt oder veranlasst werden.
In bisherigen Anwendungen im Fahrzeugbereich kann eine hohe Clutter-Rate zu einer verschlechterten Performance bei der Detektion und Nachverfolgung von Objekten, insbesondere von anderen Verkehrsteilnehmern führen. Um dieser Problematik zu begegnen, wird in bisherigen Systemen oftmals eine Clutter-Erkennung sensorseitig aufgrund der Eigenschaften einer einzelnen Detektion in einem einzelnen Zeitschritt durchgeführt. Entsprechende Eigenschaften, wie beispielsweise Polarisierung oder Frequenzspektrum, können direkt aus den erfassten zeitlichen Signalen, etwa mittels einer Rohsignalverarbeitung, oder aus diskreten Eigenschaften, wie etwa dem Radarquerschnitt, bestimmt werden. Es können dann Schwellenwerte bestimmt oder vorgegeben werden, unter denen diese Detektionen ausgegeben werden und über denen die Detektionen sensorseitig unterdrückt werden. Dies ist jedoch nicht immer genau und zuverlässig. Andere bekannte Ansätze sind typischerweise etwa auf ausgewählte Clutter-Effekte, wie etwa Anomalien oder Spiegelungen und/oder auf ausgewählte Situationen, wie etwa ein Stillstehen des Kraftfahrzeugs 6 oder etwa einen Ursprung der Clutter-Detektionen nur im Nahbereich in unmittelbarer Umgebung des Kraftfahrzeugs 6 oder dergleichen beschränkt und/oder nicht auf eine Anwendung im Fahrzeugbereich optimiert.
Im Fahrzeugbereich kann es aufgrund von Reflektionen an anderen Gegenständen oder Objekten, wie etwa der Schutzplanke 4, Gebäuden, Verkehrsteilnehmern oder auch Teilen des Kraftfahrzeugs 6 selbst Detektionen geben, die aufgrund ihrer Eigenschaften nicht von wahren Detektionen, die auf direktem Signalweg 14 von einem realen Objekt stammen, unterschieden werden können. Solche Clutter-Detektionen können zwar gegebenenfalls von wahren Objekten stammen, aber etwa aufgrund von Reflektionen, die der Sensor 7 nicht erfassen oder erkennen kann, zu einer fehlerhaften Objekterkennung an einer von dem jeweiligen wahren Objekt abweichenden Positionen führen.
Solche Clutter-Detektionen, die zeitlich korreliert sind, also in gleicher Weise systematisch in mehreren aufeinanderfolgenden Messzyklen auftauchen, und dadurch eine realistische Objektbewegung anzeigen, können häufig als potenzieller, insbesondere gefährlicher anderer Verkehrsteilnehmer erkannt werden. Dies kann zu einer entsprechend falschen Reaktion eines Assistenzsystems, beispielsweise für die assistierte oder zumindest teilautomatisierte Fahrzeugführung des Kraftfahrzeugs 6, führen. Dadurch kann dann etwa eine unnötige Vollbremsung oder ein unnötiges Ausweichmanöver dergleichen ausgelöst werden mit möglicherweise gravierenden Auswirkungen auf den nachfolgenden Verkehr.
Der bisherige Ansatz, entsprechende Schwellenwerte für ein solches unnötiges oder fehlerhaftes Auslösen anzupassen, um solche Fälle oder Fehler zu unterdrücken, kann dazu führen, dass reale Objekte in der jeweiligen Umgebung erst entsprechend später erkannt bzw. in einer entsprechenden Datenverarbeitungskette erst später als tatsächliche Objekte aufgesetzt oder angelegt werden. Dies wiederum kann zu einer entsprechend höheren Reaktionszeit oder einer verspäteten Reaktion des Kraftfahrzeugs 6 bzw. des entsprechenden Assistenzsystems führen, was in entsprechend kritischen Situationen zu Unfällen oder gefährlichen Situationen führen kann. Beispielsweise kann zu einer bestimmten Detektion ein Objekt erst dann aufgesetzt oder angelegt werden, also als reales Objekt erkannt oder detektiert und datenverarbeitungstechnisch behandelt werden, wenn es eine systematische Korrelation entsprechender Detektionen über eine vorgegebene Mindestanzahl von Messzyklen hinweg gibt. Dies führt jedoch dazu, dass Detektionen bei ihrem erstmaligen Auftreten noch nicht zu einer entsprechenden Objekterkennung führen können oder würden. Dies kann beispielsweise bei unkorrelierten Clutter-Detektionen, beispielsweise von der Vegetation 5 zwar gerechtfertigt sein, aber beispielsweise eine Erkennung des Vorausfahrzeugs 12 verzögern.
Für vielerlei Funktionen oder Entscheidungen kann auch relevant sein, ob eine bestimmte Detektion von einem bewegten Objekt stammt, wie dies hier beispielsweise für die Objektdetektionen 13 von dem Vorausfahrzeug 12 der Fall ist, oder ob die Detektion von einem ruhenden Objekt stammt. Solche Detektionen von ruhenden Objekten sind hier beispielhaft als Stationärdetektionen 18 etwa von der Schutzplanke 4 und der Vegetation 5 angedeutet.
Zum direkten Erkennen von Clutter, also den jeweiligen Stördetektion 16 kann eine Klassifizierung der Detektionen mittels einer vorgegebenen entsprechend trainierten Einrichtung des maschinellen Lernens durchgeführt werden. Dies kann ein schnelleres und zuverlässigeres korrektes Erkennen bzw. Unterscheiden von Clutter und realen, relevanten Detektionen ermöglichen. Eine solche Einrichtung des maschinellen Lernens kann beispielsweise Teil der Assistenzeinrichtung 8 sein. 2 zeigt beispielhaft eine schematische Darstellung eines dafür verwendbaren künstlichen neuronalen Netzes 19. Das neuronale Nest 19 kann zum Verarbeiten von Punktwolkendaten eingerichtet sein und dazu beispielsweise fundamental eine Encoder-Decoder-Struktur, insbesondere eine Architektur ähnlich wie PointNet++ oder dergleichen aufweisen. Die originale Architektur von PointNet++ kann hier jedoch modifiziert sein für die semantische Segmentierung von Objektklassen in Sensordaten 32, insbesondere Radar- oder Lidardaten. Eingangsseitig kann optional ein Vorverarbeitungsmodul 20 vorgesehen sein. Dieses Vorverarbeitungsmodul 20 kann dazu eingerichtet sein, aus bereitgestellten Eingangsdaten vorgegebene Merkmale zu extrahieren oder zu bestimmen oder beispielsweise auch Punktwolkendaten für die Weiterverarbeitung zu generieren.
Weiter ist ein mehrstufiges oder mehrschichtiges Set-Abstraktionsmodul 21 vorgesehen. Darin kann die Anzahl berücksichtigter Punkte, also - gegebenenfalls annotierter bzw. mit zusätzlichen Eigenschaften oder Metadaten versehener - Detektionen mittels Sampling progressiv reduziert werden. Gleichzeitig kann dabei einen Abstraktionsgrad und eine von jedem Punkt repräsentierte Fläche vergrößert werden. Anschließend ist ein mehrstufiges oder mehrschichtiges Merkmalspropagationsmodul 22 vorgesehen. Das Set-Abstraktionsmodul 21 und das Merkmalspropagationsmodul 22 können dieselbe Anzahl von Stufen oder Schichten aufweisen. In dem Merkmalspropagationsmodul 22 können Merkmale für alle Punkte der als Input dienenden Punktwolkendaten aus einer low-level Repräsentation interpoliert werden. Ausgangsseitig kann eine FC-Schicht 23 (FC: fully connected) vorgesehen sein. Einzelne Schichten des Set-Abstraktionsmoduls 21 und des Merkmalspropagationsmoduls 22 können durch Sprungverbindungen 24 (englisch: skip connections) verknüpft sein.
Zur weiteren Verdeutlichung zeigt 3 einen schematischen Ablaufplan 25 für ein korrespondierendes Verfahren, das beispielsweise durch die Assistenzeinrichtung 8 automatisch im Betrieb des Kraftfahrzeugs 6 bzw. des Sensors 7 ausgeführt werden kann. Darin werden zunächst Rohdetektionen 26 erfasst, die beispielsweise von dem Sensor 7 bereitgestellt werden können. Weiter werden korrespondierende Eigenbewegungsdaten 27 erfasst. Darin kann der jeweils aktuelle Bewegungszustand des Sensors 7 bzw. des Kraftfahrzeugs 6 gegenüber der Umgebung, also beispielsweise relativ zu der Straße 1 oder einem vorgegebenen weltfesten Koordinatensystem oder dergleichen, während des Aufnehmens der Rohdetektionen 26 bzw. der diesen zugrunde liegenden oder entsprechenden Signale angegeben sein.
Anhand der Rohdetektionen 26 und der Eigenbewegungsdaten 27 kann dann eine Merkmalsbestimmung 28 durchgeführt werden. Dabei können automatisch vorgegebene, gewünschte Merkmale für die Detektionen bestimmt werden, wie etwa eine korrespondierende Position in einem vorgegebenen Koordinatensystem, eine eigenbewegungskompensierte Geschwindigkeit des Objekts, von dem die jeweilige Detektion stammt, ein Zeitstempel, der einen Aufnahmezeitpunkt angibt, der Radarquerschnitt (englisch: Radar Cross Section, RCS), ein Identifizierungsmerkmal oder eine ID-Nummer der verwendeten Sensoreinrichtung, insbesondere wenn der Sensor 7 mehrere Sensoreinrichtungen umfasst oder mehrere Sensoren 7 verwendet werden, und/oder dergleichen mehr. Die zu der jeweiligen Detektion korrespondierende Position kann beispielsweise in einem kartesischen Fahrzeugkoordinatensystem des Kraftfahrzeugs 6 und/oder in einem polaren Sensorkoordinatensystem des Sensors 7 angegeben werden. Insbesondere Letzteres kann nützlich sein, um bestimmte Arten von Clutter einfacher oder genauer erkennen zu können. Die Position kann die zum Mess- oder Aufnahmezeitpunkt der ältesten Detektion in dem Messzyklus gegebene oder bestimmte Position sein. Der Zeitstempel kann relativ zu diesem Mess- oder Aufnahmezeitpunkt gesetzt oder angegeben sein. Da - wie nachfolgend noch näher erläutert wird - vorliegend der Fokus auf den neuesten Detektionen bzw. Sensordaten 32 liegt bzw. diese bevorzugt behandelt werden können, kann hingegen ebenso der Mess- oder Aufnahmezeitpunkt der neuesten Detektionen bzw. Sensordaten 32 in dem jeweiligen Messzyklus als Referenz für das Bestimmen oder Angeben der Position und die Zeitstempel gesetzt oder verwendet werden. Dies kann weitere, an anderer Stelle näher beschriebene Verarbeitungsschritte, welche bevorzugt die neuesten Detektionen oder Sensordaten 32 verwenden, vereinfachen.
Die Detektionen mit den gewünschten Merkmalen, also die mit entsprechenden Merkmalsdaten oder Eigenschaften versehenen oder annotierten Detektionen oder beispielsweise nur eine Auswahl der Detektionen, welche vorgegebene Merkmale oder Eigenschaften aufweisen und anhand der bestimmten Merkmale oder Eigenschaften ausgewählt werden, können dann als Datenbasis für eine Punktwolkenerzeugung 29 verwendet werden. Hier kann jeweils aus den entsprechenden Detektionen bzw. Sensordaten 32 also eine entsprechende Punktwolke 36 (siehe 4-6) erzeugt werden. Diese Punktwolken 36 werden dabei mit einer einheitlichen, fest vorgegebenen Größe bzw. Anzahl von Punkten erzeugt.
Die jeweils so erzeugte Punktwolke 36 kann dann als Input dem neuronalen Netz 19 zugeführt werden, das dafür eine entsprechende Inferenz 30 ausführt. Dabei werden die Detektionen in jeweils eine von mehreren vorgegebenen Klassen eingeordnet. Vorliegend sind dies eine Klasse für Objektdetektionen 13, eine Klasse für Stördetektionen 16 und eine Klasse für Stationärdetektionen 18. Als Output des neuronalen Netzes 19 werden dann entsprechende Klassifikationen 31 der Detektionen bzw. der Punkte oder zumindest oder nur der aus dem aktuelle, also neuesten Messzyklus stammenden Punkte der jeweiligen Punktwolke 36 ausgegeben. Es kann hier also allen oder nur jeder Detektion aus dem aktuellen Messzyklus oder Scan eine dieser Klassen zugeordnet werden. Gegebenenfalls in der jeweiligen Punktwolke 36 enthaltene ältere Detektionen aus einem früheren Messzyklus oder Scan können hingegen beispielsweise unberücksichtigt bleiben. Dies kann beispielsweise bedeuten, dass diese älteren Detektionen nicht klassifiziert werden und/oder keine Klassifikationen 31 für diese älteren Detektionen von dem neuronalen Netz 19 ausgegeben werden . Dazu kann das neuronale Netz 19 beispielsweise dazu trainiert oder eingerichtet sein, die Detektionen in Abhängigkeit von ihrem Zeitstempel zu verarbeiten und/oder anhand ihres Zeitstempels zu filtern.
Für die hier beschriebenen Verfahren wird, beispielsweise im Gegensatz zu herkömmlichen Ansätzen, kein eingeschränkter Aufnahme- oder Erfassungsbereich, sondern der volle Aufnahme- oder Erfassungsbereich des verwendeten Sensors 7 verwendet. Es werden mit anderen Worten also alle verfügbaren Detektionen verwendet oder ausgewertet. Zudem gibt es hier keine Einschränkung der Clutter-Erkennung, also der Klassifizierung von Clutter- oder Stördetektionen 16 auf einen spezifischen Clutter-Typ oder dergleichen. Unter anderem durch die fest vorgegebene einheitliche, konstante Größe, also Anzahl von Punkten der Punktwolken 36 wird zudem eine Optimierung mit dem Ziel einer möglichst schnellen und konstanten Verarbeitungs- oder Rechenzeit realisiert. Zur Erzeugung entsprechend dichter Punktwolken 36 konstanter Größe als Inputs für das neuronale Netz 19 werden nachfolgend mehrere Verfahrensvarianten vorgestellt. Insbesondere werden zwei unterschiedliche Verfahrensvarianten beschrieben, die auch und für unterschiedliche Architekturen des neuronalen Netzwerks 19 vorgesehen sein bzw. verwendet werden können.
4 zeigt eine schematische Darstellung zur Veranschaulichung der ersten Verfahrensvariante in einer ersten Alternative, während 5 eine schematische Darstellung zur Veranschaulichung der ersten Verfahrensvariante in einer zweiten Alternative zeigt. In beiden Alternativen der ersten Verfahrensvariante werden Detektionen akkumuliert.
Gemäß 4 werden Sensordaten 32 mit den vorgegebenen oder vordefinierten bzw. im jeweiligen Anwendungsfall gewünschten Merkmalen erfasst und über eine vorgegebene Zeitspanne, also einen gleitenden Zeitraum fester Länge gesammelt und in einem Puffer oder Zwischenspeicher, der hier als Zeitpuffer 33 bezeichnet wird, gespeichert. Der Zeitpuffer 33 kann also in einem gleitenden Zeitfenster vorgegebener Größe oder Länge angefallene Sensordaten 32 zwischenspeichern. Die Länge dieses Zeitraums oder Zeitfensters kann dabei wenigstens zwei Messzyklen des Sensors 7 umfassen oder überdecken. Je nach Anwendungsfall und Aufnahmefrequenz des Sensors 7 und/oder dergleichen mehr kann der Zeitpuffer 33 beispielsweise Sensordaten 32 über einen Zeitraum oder in einem Zeitfenster von etwa 300 ms akkumulieren.
Beinhaltet der Zeitpuffer 33 eine Menge oder Anzahl von Detektionen bzw. Sensordaten 32, die von der für eine Punktwolke 36 zu verwendenden fest vorgegebenen Anzahl von Detektionen abweicht, so kann die fest vorgegebene Anzahl an Detektionen oder Punkten für die jeweilige Punktwolke 36 durch ein Sampling 34 erzwungen werden. Je nach Bedarf oder Situation kann das Sampling 34 ein Downsampling sein, wenn mehr als die vorgegebene Anzahl von Sensordaten 32 oder Detektionen vorliegen, oder ein Upsampling, wenn weniger als die fest vorgegebene Anzahl von Detektionen oder Sensordaten 32 vorliegen. Im Falle eines Downsamplings kann sichergestellt werden, dass niemals Punkte, die zur neuesten Messung gehören, also aus dem aktuellen bzw. neuesten Messzyklus stammen, entfernt oder weggelassen werden. Von den übrigen älteren Detektionen bzw. Sensordaten 32 können beispielsweise bis zum Erreichen der fest vorgegebenen Anzahl für die Punktwolke 36 die ältesten Detektionen oder Sensordaten 32 zuerst entfernt bzw. ausgeschlossen werden. Ebenso können aus den älteren Detektionen bzw. Sensordaten 32 die zum Erreichen der für die Punktwolke 36 fest vorgegebenen Anzahl von Detektionen bzw. Sensordaten 32 wegzulassenden oder auszuschließenden Detektionen bzw. Sensordaten 32 durch zufällige Auswahl bestimmt werden.
Wenn zum Erreichen der für die Punktwolken 36 fest vorgegebenen Anzahl von Detektionen bzw. Sensordaten 32 ein Upsampling notwendig ist, können vorhandene Sensordaten 32 in entsprechendem Umfang dupliziert werden. Die zu duplizieren Detektionen bzw. Sensordaten 32 können beispielsweise zufällig oder nach einer vorgegebenen Regel ausgewählt werden.
Nach dem Sampling 34 kann - gegebenenfalls optional - eine Nachverarbeitung 35 durchgeführt werden. Diese Nachverarbeitung 35 kann beispielsweise eine Koordinatentransformation und/oder eine Normalisierung und/oder dergleichen mehr umfassen.
Anschließend kann die jeweilige Punktwolke 36 mit der fest vorgegebenen Anzahl von Punkten ausgegeben bzw. als Input für das neuronale Netz 19 bereitgestellt werden.
Gemäß der in 5 gezeigten Alternative wird anstelle des Zeitpuffers 33 ein Ringpuffer 37 fest vorgegebener Größe verwendet. Die Größe des Ringpuffers 37 kann insbesondere der für die Punktwolken 36 fest vorgegebenen Größe entsprechen, also bei vollständiger Befüllung gerade so viele Sensordaten 32 enthalten, wie für eine Punktwolke 36 benötigt werden. Damit können die für die jeweils aktuelle Punktwolke 36 zu verwendenden Sensordaten 32 - beispielsweise im Vergleich zu einem stochastischen Sampling 34 - besonders effizient erfasst werden. In dem Ringpuffer 37 können die anfallenden Sensordaten 32 beispielsweise nach ihrem Alter sortiert gespeichert werden, sodass beispielsweise durch neu anfallende Sensordaten 32 zuerst die jeweils ältesten in dem Ringpuffer 37 vorhandenen Sensordaten 32 überschrieben werden. Ebenso können die Sensordaten 32 in dem Ringpuffer 37 sortiert nach dem Betrag oder Absolutwert der zugehörigen bestimmten Geschwindigkeit, also der Absolutgeschwindigkeit des Objekts, von dem die jeweilige Detektion stammt, gespeichert werden. Diese Absolutgeschwindigkeit kann die Geschwindigkeit in einem vorgegebenen, insbesondere weltfesten Koordinatensystem sein. Es können als bei neu anfallenden Sensordaten 32 und bereits gefülltem Ringpuffer 37 zuerst diejenigen Detektionen bzw. Sensordaten 32 mit der kleinsten zugehörigen Absolutgeschwindigkeit überschrieben oder weggelassen, also gegebenenfalls gar nicht erst in den Ringpuffer 37 geschrieben werden. Dieses Vorgehen beruht darauf, dass im Verkehrsgeschehen sich schneller bewegende Fremdobjekte typischerweise sicherheitsrelevanter sind als sich langsam bewegende oder stationäre Objekte und zudem stationäre Objekte oftmals separat gehandhabt oder berücksichtigt werden.
Wenn eine neue Punktwolke 36 erzeugt werden soll, können dann jeweils alle aktuell in dem Ringpuffer 37 gespeicherten Sensordaten 32 verwendet werden. Auch hier kann dabei aber - gegebenenfalls optional - zunächst eine Nachverarbeitung 35, also beispielsweise eine, Koordinatentransformation und/oder eine Normalisierung oder dergleichen durchgeführt werden.
Eine Analyse von Effekten, die zu Clutter insbesondere in Radardaten führen, hat ergeben, dass vielfach die Positionen der Clutter-Detektionen, hier also der Stördetektionen 16, und die ursprünglich, also für die erste Reflektion verantwortlichen wahren Objekte, hier also beispielsweise das Vorausfahrzeug 12, räumlich relativ weit voneinander entfernt liegen können. Es kann daher nützlich sein, einen möglichst großen räumlichen Kontext in die Merkmalsbestimmung 28 einzubeziehen oder einfließen zu lassen. Dazu können beispielsweise sogenannte punkt-nicht-lokale Zellen (englisch: point nonlocal cells) oder eine Multiformgruppierung verwendet werden. Als besonders nützlich hat sich dabei eine Vergrößerung von Radien von, insbesondere kreisförmigen, Nachbarschaftsregionen, die während einer Multiskalengruppierung verwendet oder berücksichtigt werden, erwiesen. Für die schematisch in 6 veranschaulichte zweite Verfahrensvariante können zudem weitere Modifikationen nützlich sein. In dieser zweiten Verfahrensvariante erfolgt keine Akkumulation von Sensordaten 32 über mehrere Messzyklen hinweg, sondern es werden zum Erzeugen einer Punktwolke 36 jeweils nur Sensordaten 32 aus dem aktuellen, also neuesten Messzyklus, also aus einem einzigen Scan verwendet. Dadurch kann sich in der zweiten Verfahrensvariante eine im Vergleich zu der ersten Verfahrensvariante geringere verfügbare Menge oder Dichte von Sensordaten 32 als Datenbasis zum Erzeugen der jeweiligen Punktwolke 36 ergeben, die durch entsprechende Maßnahmen kompensiert werden kann. Insbesondere kann dazu die Anzahl der in dem Set-Abstraktionsmodul 21 gesampelten Punkte weiter reduziert werden und/oder eine dritte bzw. weitere Skala bzw. Abfrageregion (englisch: query region) für eine Gruppierung verwendet werden. Ebenso kann beispielsweise das Vorverarbeitungsmodul 20 nur für diese zweite Verfahrensvariante verwendet werden.
In einem Anwendungsbeispiel kann die erste Verfahrensvariante beispielsweise verwendet werden bzw. dazu ausgelegt sein, Punktwolken 36 mit 1280 Punkten oder Detektionen zu verwenden. Dies kann bereits im Vergleich zu herkömmlichen Ansätzen eine reduzierte, aber konstante Inferenzzeit und einen reduzierten Speicherplatzbedarf ermöglichen. Die zweite Verfahrensvariante kann diesen Ansatz noch weiter treiben, indem auf eine Akkumulation von Detektionen bzw. Sensordaten 32 vollständig verzichtet und nur Sensordaten 32 aus einem einzigen Messzyklus verwendet werden. Ein solcher einzelner Messzyklus kann in einem entsprechenden Anwendungsbeispiel im Fahrzeugbereich beispielsweise durchschnittlich 144 Detektionen liefern. Diese Zahlen dienen hier aber lediglich zur Veranschaulichung möglicher Größenordnungen und können in anderen Anwendungsfällen unterschiedlich sein.
Wie in 6 dargestellt, kann in der zweiten Verfahrensvariante nach dem Erfassen der jeweiligen Sensordaten 32 bei Bedarf ein Sampling 34 durchgeführt werden. Dieses Sampling 34 umfasst in der zweiten Verfahrensvariante jedoch nur ein Upsampling und wird dementsprechend also nur dann durchgeführt, wenn in dem jeweiligen Messzyklus nicht ausreichend viele Sensordaten 32 angefallen sind bzw. erfasst wurden, um eine Punktwolke 36 der vorgegebenen Größe zu erzeugen. Auch in der zweiten Variante kann gegebenenfalls eine Nachverarbeitung 35 durchgeführt werden. Diese Nachverarbeitung 35 kann hier insbesondere eine Normalisierung umfassen, da eine Koordinatentransformation gegebenenfalls nicht notwendig ist, da ohnehin alle verwendeten Sensordaten 32 aus einem einzigen Messzyklus stammen und es innerhalb eines Messzyklus typischerweise nicht zu signifikanten räumlichen Verschiebungen kommt. Letztlich kann auch hier eine Punktwolke 36 der fest vorgegebenen Größe erzeugt und als Input für das neuronale Netz 19 ausgegeben oder bereitgestellt werden.
In beiden Verfahrensvarianten kann, insbesondere im Gegensatz zu bisherigen Ansätzen, garantiert werden, dass alle Sensordaten 32 oder zumindest alle Sensordaten 32 mit den vorgegebenen, gewünschten Merkmalen aus dem jeweils aktuellen Zeitschritt bzw. Messzyklus - und damit also die jeweils relevantesten Sensordaten 32 - eine Klassifikation 31 gemäß einer der vorgegebenen Klassen erhalten, und gleichzeitig die jeweils zu verarbeitende Anzahl von Punkten und damit auch der Rechenaufwand je Klassifizierungsdurchlauf konstant gehalten werden.
Die durch das neuronale Netz 19 ausgegebenen Klassifikationen 31 können beispielsweise gefiltert werden, um als Stördetektionen 16, also als Clutter klassifizierte Detektionen bzw. Sensordaten 32 aus der Berücksichtigung in weiteren Datenverarbeitungsschritten oder Funktionen auszuschließen. Ebenso können beispielsweise Stationärdetektionen 18 dann zur Freiraumerkennung oder dergleichen genutzt werden. Objektdetektionen 13 können beispielsweise für Fahrzeugführungsfunktionen, wie etwa eine automatisierte Längsführung des Kraftfahrzeugs 6 oder dergleichen verwendet werden.
Insgesamt zeigen die beschriebenen Beispiele wie eine auf dem maschinellen Lernen basierende Clutter-Detektion insbesondere in Radar- oder Lidardaten besonders effektiv und effizient realisiert werden kann.
Bezugszeichenliste

1: Straße
2: Fahrstreifen
3: Nachbarfahrstreifen
4: Schutzplanke
5: Vegetation
6: Kraftfahrzeug
7: Sensor
8: Assistenzeinrichtung
9: Schnittstelle
10: Prozessor
11: Datenspeicher
12: Vorausfahrzeug
13: Objektdetektion
14: direkter Signalweg
15: indirekter Signalweg
16: Stördetektion
17: Geistobjekt
18: Stationärdetektion
19: neuronales Netz
20: Vorverarbeitungsmodul
21: Set-Abstraktionsmodul
22: Merkmalspropagationsmodul
23: FC-Schicht
24: Sprungverbindungen
25: Ablaufplan
26: Rohdetektionen
27: Eigenbewegungsdaten
28: Merkmalsbestimmung
29: Punktwolkenerzeugung
30: Inferenz
31: Klassifikationen
32: Sensordaten
33: Zeitpuffer
34: Sampling
35: Nachverarbeitung
36: Punktwolke
37: Ringpuffer

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017107626 A1 [0003]
WO 2020049154 A1 [0004]

Claims

Verfahren zum Klassifizieren von Sensordetektionen (13, 16, 18, 32), wobei - fortlaufend über eine Vielzahl von Messzyklen des Sensors (7) hinweg aufgenommene Sensordaten (13, 16, 18, 32), die erfasste Objekte (4, 5, 12) charakterisieren, erfasst werden, - unter Verwendung zumindest der jeweils aktuellen Sensordaten (13, 16, 18, 32) aus dem jeweils aktuellen Messzyklus wird je Messzyklus eine jeweilige Punktwolke (36) aus den Sensordaten (13, 16, 18, 32) erzeugt wird, wobei die Punktwolken (36) für alle Messzyklen dieselbe fest vorgegebene Anzahl von Punkten (13, 16, 18, 32) umfassen, - die jeweils erzeugte Punktwolke (36) als Input einer vorgegebenen entsprechend trainierten Einrichtung des maschinellen Lernens (19) zugeführt wird, die dazu als Output den Punkten (13, 16, 18, 32) der jeweiligen Punktwolke (36) jeweils eine von mehreren vorgegebenen Klassen zuordnet, die auch eine Stördatenklasse umfassen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vorgegebenen Klassen auch eine Klasse für reale bewegte Objekte (12) und eine Klasse für stationäre Objekte (4, 5) umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass immer zumindest jedem Punkt (13, 16, 18, 32) der jeweiligen Punktwolke (36), der aus dem jeweils aktuellen Messzyklus des Sensors (7) stammt, eine Klasse zugeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass je nach Bedarf ein Upsampling (34) oder Downsampling (34) auf die jeweils verfügbaren Sensordaten (13, 16, 18, 32) angewendet, um sicherzustellen, dass die jeweilige Punktwolke (36) die fest vorgegebene Anzahl von Punkten (13, 16, 18, 32) umfasst.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei Anwendung eines Downsamplings (34) niemals Punkte (13, 16, 18, 32), die aus dem jeweils aktuellen Messzyklus stammen, verworfen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensordaten (13, 16, 18, 32) über eine vorgegebene Zeit in einem Puffer (33) akkumuliert werden und daraus die jeweilige Punktwolke (36) erzeugt wird, wobei jeweils neuere Sensordaten (13, 16, 18, 32) bevorzugt verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensordaten (13, 16, 18, 32) in einem vorgegebenen Ringpuffer (37) fester Größe gespeichert werden und daraus die jeweilige Punktwolke (36) erzeugt wird, wobei jeweils neuere Sensordaten (13, 16, 18, 32) bevorzugt verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Punkte (13, 16, 18, 32) der Punktwolke (36) jeweils mit einem Zeitstempel, der einen Aufnahmezeitpunkt der entsprechenden Sensordaten (13, 16, 18, 32) angibt, versehen werden und durch die Einrichtung des maschinellen Lernens (19) in Abhängigkeit von ihren Zeitstempeln gewichtet werden, wobei ältere Punkte (13, 16, 18, 32) schwächer gewichtet werden als neuere Punkte (13, 16, 18, 32).
Assistenzeinrichtung (8) für ein Kraftfahrzeug (6), aufweisend eine Schnittstelle (9) zum Erfassen von Sensordaten (13, 16, 18, 32) und eine Einrichtung des maschinellen Lernens (19), die dazu trainiert ist, Punkten (13, 16, 18, 32) einer Punktwolke (36) von Sensordaten (13, 16, 18, 32) jeweils eine von mehreren vorgegebenen Klassen zuzuordnen, wobei die Assistenzeinrichtung (8) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Kraftfahrzeug (6), aufweisend einen Sensor (7) zur Umgebungserfassung und eine damit gekoppelte Assistenzeinrichtung (8) nach Anspruch 9.