DE102021002217A1

DE102021002217A1 - Verfahren zur Segmentierung mehrdimensionaler Messpunkte

Info

Publication number: DE102021002217A1
Application number: DE102021002217.3A
Authority: DE
Inventors: Nicolas Scheiner
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-04-27
Filing date: 2021-04-27
Publication date: 2021-06-17

Abstract

Die Erfindung betrifft ein Verfahren zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten. Erfindungsgemäß wird die Segmentierung mittels eines Clusterverfahrens durchgeführt, wobei vor der Durchführung des Clusterverfahrens für mehrere mehrdimensionale Messpunkte und/oder für zumindest einen Bereich von mehrdimensionalen Messpunkten ein Klassentyp prädiziert wird und basierend auf den prädizierten Klassentypen ein Ähnlichkeitsmaß, mittels welchem die mehrdimensionalen Messpunkte zueinander assoziiert werden, definiert wird. Das Ähnlichkeitsmaß wird in dem Clusterverfahren zur Bildung von Clustern (C) mit ähnlichen Messpunkten verwendet.

Description

Die Erfindung betrifft ein Verfahren zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten.
Aus der DE 10 2017 007 777 A1 ist ein Verfahren zum Betreiben eines Assistenzsystems mit folgenden Schritten bekannt:

- Erfassen von Umfelddaten eines Kraftfahrzeugs mit einem Umfeldsensor;
- Clustern der Umfelddaten zu Umfelddatengruppen und
- Zuordnen der Umfelddaten und Umfelddatengruppen zu einem Umfeldobjekt mittels wenigstens eines Algorithmus,
- Durchführung einer Umgebungserkennung, wobei eine Umgebung erkannt wird, in der sich das Kraftfahrzeug momentan befindet;
- Veränderung des Algorithmus zum Clustern und Zuordnen der Umfelddaten und

Umfelddatengruppen in Abhängigkeit von der erkannten momentanen Umgebung. Der Umfeldsensor ist als Radarsensor, Ultraschallsensor, Kamera oder Laserscanner ausgebildet.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Segmentierung dreidimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten, beispielsweise Umgebungsdaten, wird erfindungsgemäß die Segmentierung mittels eines Clusterverfahrens durchgeführt, wobei vor der Durchführung des Clusterverfahrens für mehrere mehrdimensionale Messpunkte und/oder für zumindest einen Bereich von mehrdimensionalen Messpunkten ein Klassentyp prädiziert wird. Basierend auf den prädizierten Klassentypen wird ein Ähnlichkeitsmaß, mittels welchem die mehrdimensionalen Messpunkte zueinander assoziiert werden, definiert. Das Ähnlichkeitsmaß wird dann in dem Clusterverfahren zur Bildung von Clustern mit ähnlichen Messpunkten verwendet.
Clusterverfahren oder Clusteringverfahren werden häufig zur Findung von Klasseninstanzen, das heißt zu einer so genannten Instanz-Segmentierung, in Datensätzen oder Datenströmen verwendet, wie beispielsweise für eine Erkennung von Verkehrsteilnehmer-Instanzen in Punktwolken von Radarsensoren oder Lidarsensoren in Fahrzeugen. Hierbei werden verschiedene Datenpunkte anhand einer Ähnlichkeitsfunktion zueinander assoziiert. Ziel ist es, für jede Klasseninstanz ein Cluster zu generieren, in dem möglichst alle zugehörigen Datenpunkte enthalten sind. Die Ähnlichkeit zweier Punkte wird hierbei über verschiedene Merkmale, auch als Features bezeichnet, berechnet, während der Klassentyp, wie beispielsweise „Fußgänger“ oder „Personenkraftwagen“, in der Regel unbekannt ist. Im vorliegenden Verfahren wird das Clusterverfahren um eine vorangestellte Klassenprädiktion und, daraus abgeleitet, verschiedene Möglichkeiten zur Verbesserung der Ähnlichkeitsfunktion unter Berücksichtigung der Klassenprädiktion erweitert.
Das vorliegende Verfahren ermöglicht daher aufgrund der Verwendung von Klassentypprädiktionen eine Erhöhung einer Genauigkeit von Segmentierungs- und Clusterverfahren. Somit können Klasseninstanzen in Datensätzen oder Datenströmen präziser selektiert werden. Dies kann bei einer Anwendung des Verfahrens in einer Umgebungserfassung und -erkennung eines Fahrzeugs, beispielsweise bei einer Segmentierung und/oder einem Clustering von mittels eines fahrzeugeigenen Radars erfassten Punktwolken, zu einer verbesserten Erkennung von Objekten, beispielsweise anderen Verkehrsteilnehmern, und daraus resultierend zu einer erhöhten Verkehrssicherheit führen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch einen zweidimensionalen Euklidischen Raum mit Messpunkten nach einer mittels eines Clusterverfahrens durchgeführten Segmentierung und
2 schematisch Abläufe von Verfahren zur Segmentierung mehrdimensionaler Messpunkte.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein zweidimensionaler Euklidischer Raum mit Messpunkten einer Punktwolke PW nach einer mittels eines Clusterverfahrens durchgeführten Segmentierung dargestellt.
Zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten mittels eines Clusterverfahrens wird einem so genannten Clustering-Backbone-Algorithmus ein semantisches Segmentierungsnetzwerk oder Objekt-Detektionsnetzwerk vorangestellt, welches pro Messpunkt oder für einen Bereich in den Daten einen Klassentyp, auch als Label bezeichnet, prädiziert. Dieses Klassenlabel kann verwendet werden, um ein genaueres Ähnlichkeitsmaß für den Clustering-Algorithmus zu definieren, mittels welchem die mehrdimensionalen Messpunkte zueinander assoziiert werden. Dies kann entweder direkt über eine Ähnlichkeits- oder Distanzfunktion zwischen verschiedenen Labelprädiktionen für die semantische Segmentierung oder indirekt über eine klassentyp-spezifische Parametrierung einer existierenden Ähnlichkeitsfunktion für die semantische Segmentierung oder Objekt-Detektionsnetzwerke geschehen. Darüber hinaus können Clustering-Backbone-spezifische Parameter, wie beispielsweise eine Bestimmung von so genannten „Core Points“ bei einem so genannten DBSCAN-Algorithmus in Abhängigkeit zum prädizierten Klassenlabel gesetzt werden. Unter DBSCAN wird dabei „Density-Based Spatial Clustering of Applications with Noise“ oder „Dichtebasierte räumliche Clusteranalyse mit Rauschen“ verstanden.
Im Folgenden werden mögliche Ausführungsbeispiele eines erfindungsgemäßen Verfahrens zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten am Beispiel von Automobil-Radarsensoren und einem DBSCAN-Clustering-Algorithmus als Clustering-Backbone-Algorithmus beschrieben. Das Verfahren kann jedoch auch für andere Clustering-Probleme und Clustering-Backbone-Algorithmen verwendet werden.
Der DBSCAN-Algorithmus assoziiert verschiedene Messpunkte einer Punktwolke PW miteinander, die dicht im Merkmalsraum angeordnet sind. Die Dichte wird über eine Distanz oder eine Ähnlichkeitsfunktion bestimmt. Um ein neues Cluster C zu bilden, wird zunächst mindestens ein so genannter Kernpunkt CP1 bis CP4, auch als Core Point bezeichnet, benötigt. Ein solcher Kernpunkt CP1 bis CP4 ist im DBSCAN-Algorithmus definiert als ein Punkt mit mindestens N_min Nachbarpunkten NB1 bis NB8, wobei alle Punkte mit einer Distanz kleiner Epsilon ε zueinander Nachbarpunkte NB1 bis NB8 sind. Das heißt, auch andere Kernpunkte CP1 bis CP4 können Nachbarpunkte NB5 bis NB8 eines Kernpunkts CP1 bis CP4 sein. Alle Punkte, die sich in Epsilon-Reichweite zu einem existierenden Kernpunkt CP1 bis CP4 befinden, werden diesem zugeordnet. Die Nachbarpunkte NB1 bis NB4 sind so genannte Randpunkte.
In 1 sind, beispielsweise gemäß „Scheiner, N., Appenrodt, N., Dickmann, J. und Sick, B.: A Multi-Stage Clustering Framework for Automotive Radar Data; In: IEEE 22nd Intelligent Transportation Systems Conference (ITSC), 2060-2067; (2019)“ die Epsilon-Reichweiten bzw. Epsilon-Regionen mit Kreisen um jeden Punkt dargestellt, wobei Nmin = 2 ist. Ein zugewiesener Punkttypus ist als Kernpunkt CP1 bis CP4, Randpunkt, Nachbarpunkte NB1 bis NB8 oder so genannter Rauschpunkt RP1 bis RP5 ohne Zuordnung ausgebildet. Damit entsteht im Beispiel genau ein Cluster C, bestehend aus allen Kernpunkten CP1 bis CP4 und den Nachbarpunkten NB1 bis NB4.
Sollte es sich bei einem hinzugefügten Punkt um einen weiteren Kernpunkt CP1 bis CP4 handeln, wird der Prozess fortgesetzt. Andernfalls, also wenn der hinzugefügte Punkt kein Kernpunkt CP1 bis CP4 ist, wird an dieser Stelle kein weiterer Punkt hinzugefügt. Vielmehr wird dieser Punkt als Randpunkt behandelt, welcher sich in einer Epsilon-Region eines benachbarten Kernpunkts CP1 bis CP4 befindet. Im Gegensatz zu Kernpunkten CP1 bis CP4 können Randpunkte bei verschiedenen Wiederholungen des DBSAN-Algorithmus auf demselben Datensatz verschiedenen Clustern C zugeordnet werden. Die Kernpunkte CP1 bis CP4 sind hingegen für jede Parametrierung des DBSCAN Algorithmus deterministisch zugeordnet.
Sei P die Menge aller Messpunkte in einer Punktwolke PW, dann ist jeder Punkt p ∈ P, für den gilt $\sum_{q \neq p}^{P} N_{p q} \geq N_{m i n} m i t N_{p q} =_{0, s o n s t .}^{1, w e n n f (p, q) < ε} \forall p \in P; p \neq q,$
ein Kernpunkt CP1 bis CP4. Hierbei ist f(p,q) eine parametrierbare Funktion, die eine Distanz zwischen den Punkten q und p in Abhängigkeit ausgewählter Merkmale berechnet und f (p,q) < ε eine Ähnlichkeits- oder Nachbarschaftsbedingung.
In „Scheiner, N., Appenrodt, N., Dickmann, J. und Sick, B.: A Multi-Stage Clustering Framework for Automotive Radar Data; In: IEEE 22nd Intelligent Transportation Systems Conference (ITSC), 2060-2067; (2019)“ werden zum Clustern von Verkehrsteilnehmern in Automobil-Radardaten beispielsweise die Zeit, eine Doppler-Geschwindigkeit und Ortskoordinaten der Punkte verwendet. Ein Klassenlabel ist in einem solchen Anwendungsfall nicht bekannt. Stattdessen sind von jedem Punkt bekannte Merkmale eine x- und y-Koordinate, eine radiale Geschwindigkeit v_r, sowie eine Amplitude σ und ein Zeitstempel t.
Eine beispielhafte Nachbarschaftsbedingung aus „Scheiner, N., Appenrodt, N., Dickmann, J. und Sick, B.: A Multi-Stage Clustering Framework for Automotive Radar Data; In: IEEE 22nd Intelligent Transportation Systems Conference (ITSC), 2060-2067; (2019)“ nutzt verschiedene Epsilon-Werte für die Parametrierung der verschiedenen Punktmerkmale gemäß: $\sqrt{Δ x^{2} + Δ y^{2}} < ε_{x y} \cap Δ v_{r} < ε_{v_{r}} \cap Δ t < ε_{t} .$
Δ steht dabei für eine Differenz eines jeweiligen Merkmals pro Punktpaar. Eine Aufgliederung der Merkmalsbedingung f(p,q) < ε in drei unterschiedliche Bedingungen in Gleichung (2) dient dabei lediglich der Veranschaulichung. Die Gleichung (2) kann leicht zu einer einzigen Bedingung umgeformt werden. Die verschiedenen ε-Werte erlauben eine einfache Parametrierung der Ähnlichkeitsbedingung. An Gleichung (2) ist zu erkennen, dass vier der fünf Merkmale (x, y, v_r, t) für die Ähnlichkeitsbestimmung verwendet wurden. Nicht alle Merkmale sind allerdings zwangläufig hilfreich für die Verwendung in einem Clustering-Algorithmus. So wurde beispielsweise die Amplitude σ hier nicht verwendet. Hierdurch ist erkennbar, dass alle Merkmale in direkter oder umgeformter Form, wie beispielsweise im ersten Term in Gleichung (2) $\sqrt{Δ x^{2} + Δ y^{2}},$
verwendet werden können, aber nicht müssen.
Im Folgenden wird eine mögliche erste Ausführungsform des Verfahrens zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten beschrieben.
Durch ein Voranstellen eines semantischen Segmentierungsnetzwerks, wie beispielsweise ein aus „Qi, C. R., Yi, L., Su, H., und Guibas, L. J.: PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space; 31st International Conference on Neural Information Processing Systems (NIPS), 5105-5114; 2017“ bekannte PointNet++, vor den DBSCAN-Algorithmus ist es möglich, eine Klassenzugehörigkeit oder deren Schätzung als zusätzliches Merkmal zu verwenden. Das Segmentierungsnetzwerk ordnet dabei jedem Punkt als zusätzliches Merkmal eine Schätzung für ein Klassenlabel γ(p) - vereinfacht γ - zu. Dabei kann dieses Label verwendet werden, um die Genauigkeit der Ähnlichkeitsfunktion beispielsweise gemäß $δ y < ε_{y} \cap \sqrt{Δ x^{2} + Δ y^{2}} < ε_{x y} \cap ε_{v_{r}} \cap Δ t < ε_{t}$
zu erhöhen.
Im Gegensatz zu den anderen Merkmalen wird die Distanz zwischen zwei Klassenlabels nicht als Differenz sondern über eine K x K Distanzmatrix δy pro Punktpaar definiert, wobei K gemäß $δ y = [\begin{matrix} d_{11} & \dots & d_{1 K} \\ ⋮ & ⋱ & ⋮ \\ d_{K 1} & \dots & d_{K K} \end{matrix}]$
die Anzahl der möglichen Klassenlabel ist.
Dabei stellt $d_{k_{1} k_{2}}$
die Distanz zwischen den zu vergleichenden Klassen mit den jeweiligen Indices dar. Die Distanzmatrix ist symmetrisch bezüglich ihrer Hauptdiagonale. Die Hauptdiagonale ist in der Regel mit Nullen besetzt. In diesem Fall werden Punkte mit identischem Klassenlabel bevorzugt miteinander verbunden. Falls verhindert werden soll, dass bestimmte Klassen, beispielsweise Rauschklassen, zur Bildung von Clustern C führen, können auch andere Werte verwendet werden. Unter Einhaltung dieser Regeln können alle anderen Werte frei parametriert werden. Eine einfache Form einer Klassendistanzmatrix weist beispielsweise folgende Klassendistanzen auf: $d_{k_{1} k_{2}} = \begin{matrix} 0, w e n n k_{1} = k_{2} \\ 1, s o n s t . \end{matrix}$
Sollte das semantische Segmentierungsnetzwerk nicht nur Klassenlabels, sondern auch A-priori-Wahrscheinlichkeiten für alle in Frage kommenden Klassen prädizieren, kann die Distanzmatrix dahingehend erweitert werden, dass pro Punktpaar die Distanz bezüglich aller möglichen Klassen und nicht nur, wie oben beschrieben, die der wahrscheinlichsten Klasse berechnet wird.
In einer möglichen zweiten Ausführungsform des Verfahrens zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten können die geschätzten Klassenzugehörigkeiten auch dafür verwendet werden, separate Clustering-Durchläufe pro Klassenlabel k zu durchlaufen. Hierbei werden beispielsweise in jedem Durchlauf die Punkte einer bestimmten Klasse zu Clustern C assoziiert. Dies hat den Vorteil, dass es so möglich ist, für jedes Klassenlabel einen Parametersatz zu bestimmen, welcher ideal auf die Eigenschaften der jeweiligen Klasse ausgelegt ist. Dies ist nur dadurch möglich, dass es während der einzelnen Durchläufe möglich ist, zu erschweren oder sogar zu verhindern, dass sich Punkte von anderen Klassen als der gerade betrachteten zu Clustern C hinzufügen. Im Fall vom Clustering von Automobil-Radardaten sind beispielsweise für Fußgänger sehr viel engere Epsilon-Regionsdefinitionen optimal als für große Fahrzeuge, wie beispielsweise Lastkraftwagen. Würde man allerdings ein auf Lastkraftwagen optimierten DBSCAN-Algorithmus auf die gesamte Punktwolke PW anwenden, würden aufgrund einer freizügigen Parametrierung übermäßig viele Punkte miteinander verbunden werden, die eigentlich nicht zusammengehören. Andersherum würden bei einer Parametrierung, die für Fußgänger optimiert ist, viele Cluster C nicht alle zugehörigen Punkte enthalten, da sie zu weit von anderen Teilen des entsprechenden Objekts entfernt sind.
Um zu ermöglichen, dass in jedem der k Clustering-Durchläufe nur Punkte einer aktuell zu clusternden Klasse k_inv zusammengefügt werden, sind verschiedene Ansätze oder eine beliebige Kombination der genannten Ansätze möglich. Diese Ansätze umfassen:

a) Verwendung einer Klassendistanzmatrix δy, die dahingehend optimiert ist, dass alle Gewichte, die nicht zur aktuellen Klasse k_inv gehören, sehr hoch sind. Beispielsweise: $d_{k_{1} k_{2}} = \begin{matrix} 0, w e n n k_{1} = k_{2} = k_{i n v} \\ 1, w e n n k \neq c_{2} \cap (k = k_{i n v} \cup k_{2} = k_{i n v}) \\ 10^{6}, s o n s t . \end{matrix}$
b) Der DBSCAN-Algorithmus kann dahingehend verändert werden, dass nur Punkte der untersuchten Klasse zu Kernpunkten CP1 bis CP4 werden können.
c) Der DBSCAN-Algorithmus kann dahingehend verändert werden, dass nur Punkte der untersuchten Klasse k_inv von Clustern C zugeordnet werden. Alle anderen Punkte dienen lediglich dazu, eine Anzahl der Nachbarpunkte NB1 bis NB8 zu bestimmen.
d) Der DBSCAN-Algorithmus kann dahingehend verändert werden, dass nur Punkte der untersuchten Klasse k_inv von Clustern C in die Berechnung der Ergebnisse eingehen, das heißt Punkte mit Klassenprädiktionen einer anderen Klasse werden in diesem Durchgang komplett ignoriert.

Auf diese Weise ist es möglich, für jede Klasse ein eigenes optimales Einstellungsset für alle Stellparameter zu finden. Am Beispiel von DBSCAN-Algorithmen sind dies eine geeignete Wahl von ∈, N_min und f(p,q), wobei vor allem die Distanzfunktion f(p,q) abhängig von ihrer Definition sehr viele eigene Parameter haben kann. Mit den optimierten Parametern lassen sich so für jede Klasse präziser Objekte bilden.
Es sei erwähnt, dass es hierdurch dazu kommen kann, dass einige Punkte in verschiedenen Cluster-Durchläufen zu mehr als einem Cluster C zugeordnet werden. Je nach nachfolgender Verarbeitungseinheit kann dies nützlich aber auch hinderlich sein. In letzterem Fall muss im Falle von Mehrdeutigkeiten eine Entscheidung gefällt werden. Am einfachsten ist dies möglich für die Verfahren b), c), und d), da hierbei für Verfahren b) die Kernpunkte CP1 bis CP4 und für die Verfahren c) und d) sogar alle Punkte eindeutig sind. Sollte lediglich Verfahren a) verwendet worden sein, muss eine Entscheidung über die Zugehörigkeit zu einem Cluster C herbeigeführt werden. Hierfür sind verschiedene Strategien denkbar. Möglich ist beispielsweise, dass jeder mehrdeutige Punkt zunächst dem Cluster C zugeordnet wird, für den er Kernpunkt CP1 bis CP4 und nicht nur Randpunkt ist. Als nächstes erfolgt eine Zuordnung zu dem Cluster C, bei dem er am meisten Nachbarpunkte NB1 bis NB8 besitzt. Bei Gleichstand wird der Punkt dem Cluster C zugeordnet, bei dem eine kumulative Distanz zu allen Nachbarpunkten NB1 bis NB8 minimal ist. Sollte erneut Gleichstand bestehen, geschieht die Zuordnung beispielsweise zufällig.
In einer möglichen dritten Ausführungsform des Verfahrens zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten kann das semantische Segmentierungsnetzwerk durch ein Objekt-Detektionsnetzwerk ersetzt werden. Ein solches Objekt-Detektionsnetzwerk ist beispielsweise ein in „J. Redmon, S. Diwala, R. Girshick und A. Farhadi: You only look once: Unified, real-time object detection; In CVPR, 2016“ beschriebenes so genanntes YOLO-Netzwerk oder ein in „Ren, S., He, K., Girshick, R., & Sun, J.: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks; IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137-1149; 2016“ beschriebenes so genanntes Faster-RCNN. Hierdurch wird anstatt einer semantischen Segmentierung, das heißt einer Klassenprädiktion pro Datenpunkt, eine Mehrzahl an Bounding-Box-Prädiktionen für jede Punktwolke PW erhalten. Das Netzwerk ist dabei so optimiert, dass die in 2 näher dargestellten Bounding-Boxen BB1, BB2 möglichst genau die Punkte einer Klassendistanz enthalten.
Zusätzlich zu Box-Parametern, wie beispielsweise einer Größe, Position und gegebenenfalls Rotation, wird zu jeder Bounding-Box BB1, BB2 außerdem ein so genannter Objectness-Score berechnet, der angibt, wie sicher sich das Netzwerk ist, dass sich innerhalb der Bounding-Box BB1, BB2 tatsächlich ein Objekt befindet.
Zusätzlich hat jede Bounding-Box BB1, BB2 eine Klassenprädiktion für eine Objektinstanz. Hierdurch kann das vorgestellte Verfahren dahingehend abgeändert werden, dass zwar keine Punktlabels mehr für das Clustering verwendet werden können, aber stattdessen das Clustering für jede prädizierte Bounding-Box BB1, BB2 oder alle Punkte in der Bounding-Box BB1, BB2 angewendet werden kann. Hierbei kann die Klassenprädiktion, wie oben beschrieben, dafür verwendet werden, die in der Bounding-Box BB1, BB2 enthaltenen Punkte mit einem für die Klasse optimalen Parameterset zu clustern. Dies hat den Vorteil, dass Punkte außerhalb der prädizierten Bounding-Box BB1, BB2 nicht fälschlicherweise einem Objekt zugeordnet werden können. Außerdem kann die Effizienz des Clustering-Algorithmus gesteigert werden, da nur noch Punkte geclustert werden müssen, die durch das Objekt-Detektionsnetzwerk erkannt wurden. Auch hierbei kann es zu mehrdeutigen Clustering-Ergebnissen kommen. Sollte dies für die nachfolgenden Prozessierungsschritte kein Vorteil sein, kann dies, wie oben beschrieben, umgangen werden. Eine einfache Variante für die Beseitigung von Mehrdeutigkeiten ist die Zuordnung der entsprechenden Punkte zum Cluster C mit dem höchsten Objectness-Score.
2 zeigt Abläufe möglicher Verfahren zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten.
Dabei wird eine Punktwolke PW gemäß der beschriebenen möglichen ersten Ausführungsform des Verfahrens (dargestellt durch einen Pfeil V1) einem semantischen Segmentierungsnetzwerk und/oder gemäß der beschriebenen möglichen dritten Ausführungsform des Verfahrens (dargestellt durch einen Pfeil V2) einem Objekt-Detektionsnetzwerk zugeführt.
Hierdurch werden mittels des semantischen Segmentierungsnetzwerks pro Messpunkt zusätzlich Label L1, L2, L3 prädiziert, welche dafür verwendet werden, während eines Clustering-Verfahrens eine genauere Distanz zwischen den Punkten zu berechnen. Das Label L1 beschreibt dabei beispielsweise einen Personenkraftwagen P, das Label L2 einen Fußgänger F und das Label L3 einen Hintergrund.
Zusätzliche oder alternativ kann das Clustering-Verfahren gemäß der zweiten Ausführungsform des Verfahrens mehrfach für jeweils nur die eine Klasse angewandt werden und so mit unterschiedlichen für jede Klasse optimalen Parameter-Werten angewendet werden.
Gemäß der dritten Ausführungsform des Verfahrens werden verschiedene Bounding-Boxen BB1, BB2 prädiziert. Das Clustering-Verfahren wird nur auf den Punkten in diesen Bounding-Boxen BB1, BB2 angewendet, wobei Parameter so gewählt werden, dass diese jeweils optimal für prädizierte Klassen in den Bounding-Boxen BB1, BB2 sind. Beispielsweise kennzeichnen die in der Bounding-Box BB1 enthaltenen Punkte den Personenkraftwagen P und die in der Bounding-Box BB2 enthaltenen Punkte den Fußgänger F. Hierdurch kann die Genauigkeit des Clustering-Verfahrens gesteigert und in der dritten Ausführungsform des Verfahrens außerdem die Effizienz verbessert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017007777 A1 [0002]

Claims

Verfahren zur Segmentierung mehrdimensionaler Messpunkte in mittels zumindest eines Sensors erfassten Daten, dadurch gekennzeichnet, dass - die Segmentierung mittels eines Clusterverfahrens durchgeführt wird, - vor der Durchführung des Clusterverfahrens für mehrere mehrdimensionale Messpunkte und/oder für zumindest einen Bereich von mehrdimensionalen Messpunkten ein Klassentyp prädiziert wird, - basierend auf den prädizierten Klassentypen ein Ähnlichkeitsmaß, mittels welchem die mehrdimensionalen Messpunkte zueinander assoziiert werden, definiert wird und - das Ähnlichkeitsmaß in dem Clusterverfahren zur Bildung von Clustern (C) mit ähnlichen Messpunkten verwendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ähnlichkeitsmaß mittels - einer Ähnlichkeits- oder Distanzfunktion zwischen Messpunkten mit verschiedenen prädizierten Klassentypen für eine semantische Segmentierung oder - einer klassentyp-spezifische Parametrierung einer existierenden Ähnlichkeitsfunktion für eine semantische Segmentierung oder - Objektdetektionsnetzwerken ermittelt wird.