DE102022213062A1

DE102022213062A1 - Verfahren und Vorrichtung zur Bestimmung einer Klassifikation für ein Objekt basierend auf einem Radarspektrum und Radarreflexionen

Info

Publication number: DE102022213062A1
Application number: DE102022213062.6A
Authority: DE
Inventors: Gor Hakobyan; Loveneet Saini; Axel Javier Acosta Aponte
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-12-05
Filing date: 2022-12-05
Publication date: 2024-06-06
Also published as: CN118151113A; US20240183943A1

Abstract

Verfahren zur Bestimmung einer Klassifikation eines Objekts, wobei Sensordaten mit einem Radarsensor erfasst werden (202), wobei ein Radarspektrum abhängig von den Sensordaten bestimmt wird (204), das Radarreflexionen umfasst, wobei Einbettungen von Ausschnitten aus dem Radarspektrum, die wenigstens eine Radarreflexion umfassen, bestimmt werden (206), die je einem Knoten eines ersten Graphen zugeordnet sind, wobei Kanten des ersten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des ersten Graphen zugeordnet sind, bestimmt werden (208), wobei je Radarreflexion abhängig von den Sensordaten eine charakteristische Größe bereitgestellt wird (214), wobei je charakteristischer Größe eine Einbettung bestimmt wird (216), die einem Knoten eines zweiten Graphen zugeordnet ist und die eine Einbettung der charakteristischen Größen und die charakteristische Größe umfasst, wobei Kanten des zweiten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des zweiten Graphen zugeordnet sind, bestimmt werden (218), wobei die Klassifikation des Objekts abhängig von einer Größe bestimmt wird (228), die einen ersten Teil umfasst, der abhängig von den Merkmalen für die Knoten des ersten Graphen bestimmt wird (224), die einen zweiten Teil umfasst, der abhängig von den Merkmalen für die Knoten des zweiten Graphen bestimmt wird (226).

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung einer Klassifikation für ein Objekt basierend auf einem Radarspektrum und Radarreflexionen.
Offenbarung der Erfindung
Durch das Verfahren und die Vorrichtung wird eine Klassifikation eines Objekts basierend auf einer Repräsentation eines Radarspektrums und von Radarreflexionen als jeweiliger Graph verbessert.
Das Verfahren zur Bestimmung der Klassifikation des Objekts sieht vor, dass Sensordaten mit einem Radarsensor erfasst werden, wobei ein Radarspektrum abhängig von den Sensordaten bestimmt wird, das Radarreflexionen umfasst, wobei Einbettungen von Ausschnitten aus dem Radarspektrum, die wenigstens eine Radarreflexion umfassen, bestimmt werden, die je einem Knoten eines ersten Graphen zugeordnet sind, wobei Kanten des ersten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des ersten Graphen zugeordnet sind, bestimmt werden, wobei je Kante des ersten Graphen ein Merkmal für diese Kante des ersten Graphen abhängig von den Einbettungen von zwei Knoten des ersten Graphen bestimmt wird, die miteinander durch diese Kante des ersten Graphen verbunden sind, wobei je Knoten des ersten Graphen ein Merkmal für diesen Knoten des ersten Graphen abhängig von den Merkmalen für die Kanten des ersten Graphen bestimmt wird, die diesen Knoten des ersten Graphen im ersten Graphen mit einem anderen Knoten des ersten Graphen verbinden, wobei je Radarreflexion abhängig von den Sensordaten charakteristische Größen, insbesondere räumliche Koordinaten oder wenigstens eine gemessene Eigenschaft, bereitgestellt werden, wobei je Radarreflexion eine Einbettung bestimmt wird, die einem Knoten eines zweiten Graphen zugeordnet ist und die eine Einbettung der charakteristischen Größen und die charakteristischen Größen umfasst, wobei Kanten des zweiten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des zweiten Graphen zugeordnet sind, bestimmt werden, wobei je Kante des zweiten Graphen ein Merkmal für diese Kante des zweiten Graphen abhängig von den Einbettungen von zwei Knoten des zweiten Graphen bestimmt wird, die miteinander durch diese Kante des zweiten Graphen verbunden sind, wobei je Knoten des zweiten Graphen ein Merkmal für diesen Knoten des zweiten Graphen abhängig von den Merkmalen für die Kanten des zweiten Graphen bestimmt wird, die diesen Knoten des zweiten Graphen im zweiten Graphen mit einem anderen Knoten des zweiten Graphen verbinden, wobei die Klassifikation des Objekts abhängig von einer Größe bestimmt wird, die einen ersten Teil umfasst, der abhängig von den Merkmalen für die Knoten des ersten Graphen bestimmt wird, und die einen zweiten Teil umfasst, der abhängig von den Merkmalen für die Knoten des zweiten Graphen bestimmt wird. Die Konnektivität des jeweiligen Graphen wird durch Abstände bestimmt. Der erste Graph wird bestimmt, ohne zuvor Region of Interests, ROI, für das Objekt zu bestimmen. Dies reduziert den Rechenaufwand gegenüber herkömmlichen Verfahren, bei denen ROI verwendet werden, signifikant. Die Kombination der aus den beiden Graphen extrahierten Merkmalen verbessert die Klassifikation.
Vorzugsweise umfassen die Einbettungen von Ausschnitten aus dem Radarspektrum eingebettete Merkmale, wobei die eingebetteten Merkmale mit einem Kodierer aus spektralen Merkmalen aus den Ausschnitten extrahiert werden.
Der erste Graph und/oder der zweite Graph wird vorzugsweise in einem durch die Merkmale erweiterten Merkmalsraum gebildet.
Vorzugsweise umfasst die Größe einen dritten Teil, der die Einbettungen der Knoten des ersten Graphen umfasst und/oder der die Einbettungen der Knoten des zweiten Graphen umfasst. Die Kombination dieses Teils der Größe konserviert Wissen aus dem oder den initialen Graphen und verbessert die Klassifikation zusätzlich.
Der paarweise Abstand von Einbettungen, die je einem der Knoten des ersten Graphen zugeordnet sind, wird vorzugsweise abhängig von einer Differenz zwischen diesen Einbettungen bestimmt. Die Differenz ist z.B. die L2 Norm von Vektoren, die die Einbettungen darstellen. Die resultierenden Kanten stellen eine relative Nähe von Ausschnitten, die Reflexionen umfassen, zueinander dar.
Der paarweise Abstand von Einbettungen, die je einem der Knoten des zweiten Graphen zugeordnet sind, wird vorzugsweise abhängig von einer Differenz zwischen diesen Einbettungen bestimmt. Die resultierenden Kanten stellen eine relative Nähe von Reflexionen zueinander dar.
Je Knoten des ersten Graphen wird das Merkmal für diesen Knoten des ersten Graphen vorzugsweise abhängig von einem Abstand vom Radarsensor und einer Dopplergeschwindigkeit bestimmt, die einer Radarreflexion zugeordnet ist, die der diesem Knoten zugeordnet Ausschnitt des Radarspektrums umfasst. Dadurch wird zusätzliche Information in den ersten Graphen integriert, welche die Klassifikation verbessert.
Vorzugsweise umfasst der erste Graph Kanten, die je einen der Knoten mit einer vorgegebenen Anzahl seiner nächstgelegenen Knoten im ersten Graph verbindet oder wobei der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des ersten Graphs verbindet, wobei der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit einer vorgegebenen Anzahl zufällig gewählter anderer Knoten des ersten Graphs verbindet, oder wobei der erste Graph Kanten umfasst, durch die jeder Knoten im ersten Graph mit jedem anderen Knoten des ersten Graphs durch eine Kante verbunden ist. Diese Regeln ermöglichen eine sehr effiziente Bestimmung der Konnektivität des ersten Graphen.
Vorzugsweise umfasst der zweite Graph Kanten, die je einen der Knoten mit einer vorgegebenen Anzahl seiner nächstgelegenen Knoten im zweiten Graph verbindet oder wobei der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graph mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des zweiten Graphs verbindet, wobei der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graphs mit einer vorgegebenen Anzahl zufällig gewählter anderer Knoten des zweiten Graphs verbindet, oder wobei der zweite Graph Kanten umfasst, durch die jeder Knoten im zweiten Graph mit jedem anderen Knoten des zweiten Graphs durch eine Kante verbunden ist. Diese Regeln ermöglichen eine sehr effiziente Bestimmung der Konnektivität des zweiten Graphen.
Die Vorrichtung zur Bestimmung der Klassifikation des Objekts umfasst wenigstens einen Speicher und wenigstens einen Prozessor, wobei der wenigstens eine Prozessor ausgebildet ist, maschinenlesbare Instruktionen auszuführen, bei deren Ausführung das Verfahren ausgeführt wird, und wobei der wenigstens eine Speicher ausgebildet ist, die Instruktionen zu speichern. Diese Vorrichtung weist Vorteile auf, die denen des Verfahrens entsprechen.
Die Vorrichtung umfasst in einer Ausführungsform einen Radarsensor zur Erfassung von Sensordaten.
Die Vorrichtung umfasst in einer Ausführungsform eine Ausgabe, die ausgebildet ist, die Klassifikation auszugeben.
Ein Programm, welches maschinenlesbare Instruktionen umfasst, bei deren Ausführung durch eine Vorrichtung zur Bestimmung einer Klassifikation eines Objekts das Verfahren abläuft, weist Vorteile auf, die denen des Verfahrens entsprechen.
Weitere vorteilhafte Ausführungsformen sind der folgenden Beschreibung und der Zeichnung entnehmbar. In der Zeichnung zeigt:

1 eine schematische Darstellung einer Vorrichtung zur Bestimmung einer Klassifikation eines Objekts,
2 Schritte in einem Verfahren zur Bestimmung der Klassifikation,
3 eine schematische Darstellung einer Vorgehensweise zur Bestimmung der Klassifikation.

In 1 ist eine Vorrichtung 100 zur Bestimmung einer Klassifikation eines Objekts schematisch dargestellt.
Die Vorrichtung 100 umfasst wenigstens einen Speicher 102 und wenigstens einen Prozessor 104. In einer Ausführung umfasst die Vorrichtung 100 einen Sensor 106. Der Sensor 106 ist z.B. ein Radarsensor.
Der wenigstens eine Prozessor 104 ist ausgebildet, maschinenlesbare Instruktionen auszuführen, bei deren Ausführung ein Verfahren zur Bestimmung der Klassifikation ausgeführt wird. Der wenigstens eine Speicher 102 ist ausgebildet, die Instruktionen zu speichern. Die Instruktionen sind z.B. Teil eines Programms. Das Programm umfasst die Instruktionen.
Die Vorrichtung 100 umfasst in einer Ausführungsform eine Ausgabe 108, die ausgebildet ist, die Klassifikation insbesondere für eine nachgelagerte Funktion auszugeben.
In 2 sind Schritte im Verfahren dargestellt. Es kann vorgesehen sein, dass das Verfahren auf dem Sensor 106 selbst implementiert ist, z.B. auf einem Digital Signal Processor oder Microkontroller im Sensor 106. Das Verfahren wird für ein Radarspektrum und Radarreflexionen von Objekten beschrieben. Das Verfahren wird für Sensordaten beschrieben, die mit dem Sensor 106 erfasst werden.
Das Verfahren umfasst einen Schritt 202.
Im Schritt 202 werden die Sensordaten erfasst.
Das Verfahren kann vorsehen, dass bereits erfasste Sensordaten verwendet werden, wobei der Schritt 202 entfällt.
In einem Schritt 204 wird das Radarspektrum bereitgestellt. Das Radarspektrum 204 wird z.B. abhängig von den Sensordaten bestimmt.
Das Verfahren kann vorsehen, dass ein bereits bereitgestelltes Radarspektrum verwendet wird, wobei der Schritt 204 entfällt.
Das Radarspektrum umfasst Radarreflexionen. Im Beispiel umfasst das Radarspektrum wenigstens eine Radarreflexion des Objekts. Das Radarspektrum kann auch Radarreflexionen anderer Objekte umfassen.
In einem Schritt 206 werden Einbettungen von Ausschnitten aus dem Radarspektrum, die wenigstens eine Radarreflexion umfassen, bestimmt.
Die Einbettungen werden je einem Knoten eines ersten Graphen zugeordnet.
In einem Schritt 208 werden Kanten des ersten Graphen bestimmt.
Die Kanten des ersten Graphen werden abhängig von paarweisen Abständen der Einbettungen, die den Knoten des ersten Graphen zugeordnet sind, bestimmt.
Der jeweilige paarweise Abstand wird z.B. abhängig von einer Differenz zwischen diesen Einbettungen bestimmt.
Der erste Graph umfasst im Beispiel Kanten, die je einen der Knoten mit einer vorgegebenen Anzahl seiner nächstgelegenen Knoten im ersten Graph verbindet. Beispielsweise wird eine Anzahl K nächster Nachbarn des Knoten bestimmt.
Es kann auch vorgesehen sein, dass der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des ersten Graphs verbindet.
Es kann auch vorgesehen sein, dass der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit einer vorgegebenen Anzahl zufällig gewählter anderer Knoten des ersten Graphs verbindet.
Es kann auch vorgesehen sein, dass der erste Graph Kanten umfasst, durch die jeder Knoten im ersten Graph mit jedem anderen Knoten des ersten Graphs durch eine Kante verbunden ist.
In einem Schritt 210 wird je Kante des ersten Graphen ein Merkmal für diese Kante des ersten Graphen bestimmt.
Das jeweilige Merkmal wird abhängig von den Einbettungen von zwei Knoten des ersten Graphen bestimmt, die miteinander durch diese Kante des ersten Graphen verbunden sind.
In einem Schritt 212 wird je Knoten des ersten Graphen ein Merkmal für diesen Knoten des ersten Graphen bestimmt.
Das jeweilige Merkmal wird abhängig von den Merkmalen für die Kanten des ersten Graphen bestimmt, die diesen Knoten des ersten Graphen im ersten Graphen mit einem anderen Knoten des ersten Graphen verbinden.
Optional wird je Knoten des ersten Graphen das Merkmal für diesen Knoten abhängig von einem Abstand vom Sensor 106 und einer Dopplergeschwindigkeit bestimmt. Der Abstand und die Dopplergeschwindigkeit sind z.B. der Radarreflexion aus dem Ausschnitt zugeordnet, der diesem Knoten zugeordnet ist.
In einem Schritt 214 werden je Radarreflexion charakteristische Größen bereitgestellt.
Die charakteristischen Größen werden z.B. abhängig von den Sensordaten bestimmt.
Die charakteristischen Größen umfassen z.B. räumliche Koordinaten oder wenigstens eine gemessene Eigenschaft der Radarreflexion.
Das Verfahren kann vorsehen, dass bereits bereitgestellte charakteristische Größen verwendet werden, wobei der Schritt 214 entfällt.
Sofern weder der Schritt 204 noch der Schritt 214 ausgeführt werden kann vorgesehen sein, dass der Schritt 202 entfällt.
In einem Schritt 216 wird je Radarreflexion eine Einbettung bestimmt, die einem Knoten eines zweiten Graphen zugeordnet ist. Diese Einbettung umfasst eine Einbettung der charakteristischen Größen und die charakteristischen Größen, die für basierend auf dieser Radarreflexion bestimmt wurde, selbst. Dadurch werden einerseits zusätzliche Merkmale bereitgestellt. Andererseits bleiben die charakteristischen Größen selbst direkt verfügbar.
In einem Schritt 218 werden Kanten des zweiten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des zweiten Graphen zugeordnet sind, bestimmt.
Der jeweilige paarweise Abstand wird z.B. abhängig von einer Differenz zwischen diesen Einbettungen bestimmt.
Der zweite Graph umfasst im Beispiel Kanten, die je einen der Knoten mit einer vorgegebenen Anzahl seiner nächstgelegenen Knoten im zweiten Graph verbindet. Beispielsweise wird eine Anzahl K nächster Nachbarn des Knoten bestimmt.
Es kann auch vorgesehen sein, dass der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graphs mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des zweiten Graphs verbindet.
Es kann auch vorgesehen sein, dass der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graphs mit einer vorgegebenen Anzahl zufällig gewählter anderer Knoten des ersten Graphs verbindet.
Es kann auch vorgesehen sein, dass der zweite Graph Kanten umfasst, durch die jeder Knoten im zweiten Graph mit jedem anderen Knoten des zweiten Graphs durch eine Kante verbunden ist.
In einem Schritt 220 wird je Kante des zweiten Graphen ein Merkmal für diese Kante des zweiten Graphen bestimmt.
Dieses Merkmal wird abhängig von den Einbettungen von zwei Knoten des zweiten Graphen bestimmt, die miteinander durch diese Kante verbunden sind.
In einem Schritt 222 wird je Knoten des zweiten Graphen ein Merkmal für diesen Knoten des zweiten Graphen bestimmt.
Das Merkmal für diesen Knoten wird abhängig von den Merkmalen für die Kanten des zweiten Graphen bestimmt, die diesen Knoten mit einem anderen Knoten verbinden.
In einem Schritt 224 wird ein erster Teil einer Größe bestimmt. Der erste Teil wird abhängig von den Merkmalen für die Knoten des ersten Graphen bestimmt.
Es kann vorgesehen sein, in mehreren Schichten für den ersten Graphen abhängig von den Merkmalen für die Knoten des ersten Graphen je Schicht weitere Merkmale für die Kanten des ersten Graphen und weitere Merkmale für die Knoten des ersten Graphen zu bestimmen. Es kann vorgesehen sein, den ersten Teil der Größe abhängig von den weiteren Merkmalen für die Knoten des ersten Graphen aus einer letzten der mehreren Schichten für den ersten Graphen zu bestimmen.
In einem Schritt 226 wird ein zweiter Teil der Größe bestimmt. Der zweite Teil wird abhängig von den Merkmalen für die Knoten des zweiten Graphen bestimmt.
Es kann vorgesehen sein, in mehreren Schichten für den zweiten Graphen abhängig von den Merkmalen für die Knoten des zweiten Graphen je Schicht weitere Merkmale für die Kanten des zweiten Graphen und weitere Merkmale für die Knoten des zweiten Graphen zu bestimmen. Es kann vorgesehen sein, den zweiten Teil der Größe abhängig von den weiteren Merkmalen für die Knoten des zweiten Graphen aus einer letzten der mehreren Schichten für den zweiten Graphen zu bestimmen.
In einem Schritt 228 wird die Klassifikation des Objekts abhängig von der Größe bestimmt.
In einer Ausführungsform ist eine Ausgabe der Klassifikation insbesondere für eine nachgelagerte Funktion vorgesehen.
Es kann vorgesehen sein, dass die Größe einen dritten Teil umfasst. Der dritte Teil umfasst in einer Ausführungsform die Einbettungen der Knoten des ersten Graphen. Der dritte Teil umfasst in einer Ausführungsform die Einbettungen der Knoten des zweiten Graphen. Der dritte Teil umfasst in einer Ausführungsform die Einbettungen der Knoten des ersten Graphen und die Einbettungen der Knoten des zweiten Graphen. Durch den dritten Teil sind die Einbettungen des oder der initialen Graphen direkt verfügbar.
Die Schritt 204 bis 212 können zeitlich im Wesentlichen parallel zu den Schritten 214 bis 222 ablaufen oder nacheinander.
In 3 ist eine schematische Darstellung einer Vorgehensweise zur Bestimmung der Klassifikation dargestellt.
Die Vorgehensweise umfasst einen ersten Zweig 302 zur Verarbeitung der Ausschnitte aus dem Spektrum und einen zweiten Zweig 304 zur Verarbeitung der charakteristischen Größen.
Der erste Zweig 302 umfasst einen ersten Kodierer 306, der ausgebildet für Ausschnitte 308 aus dem Spektrum ihre Einbettungen 310 zu bestimmen, die den Knoten des ersten Graphen zugeordnet sind. Der erste Kodierer 306 ist ausgebildet, je Ausschnitt 308 aus dem Spektrum die Einbettung 310 zu bestimmen, die diesem Ausschnitt 308 zugeordnet ist. Beispielsweise wird aus einem 5x5 spektralen Ausschnitt 308 ein Einbettungsvektor mit 16 Dimensionen erzeugt.
Es kann vorgesehen sein, dass die Einbettungen 310 von Ausschnitten 308 aus dem Radarspektrum eingebettete Merkmale umfassen. Die eingebetteten Merkmale werden, mit dem ersten Kodierer 306 aus spektralen Merkmalen aus den Ausschnitten 308 extrahiert.
Der erste Graph und/oder der zweite Graph werden in einem Beispiel in einem durch die Merkmale erweiterten Merkmalsraum gebildet.
Der erste Zweig 302 umfasst eine erste Funktion 312, die ausgebildet ist, eine nummerische Repräsentation 314 des ersten Graphen abhängig von den Einbettungen, die den Knoten des ersten Graphen zugeordnet sind, zu bestimmen. Die nummerische Repräsentation 314 umfasst im Beispiel einen erste Matrix A_i,j, die einem Knoten i und einem Knoten j durch einen Eintrag, z.B. 1, in einem Element mit Index i,j in der Matrix A_i,j eine Kante zuweist oder durch einen Eintrag, z.B. 0, in einem Element mit Index i,j in der Matrix A_i,j keine Kante zuweist. Die nummerische Repräsentation 314 des ersten Graphen umfasst im Beispiel eine zweite Matrix, P_i, die jedem Knoten einen Merkmalsvektor F_i zuordnet. Im Beispiel werden N Reihen von 1xM dimensionalen Merkmalsvektoren F_i angeordnet. Der Inhalt des Merkmalsvektors F_i eines Knotens i ist im Beispiel die Einbettung dieses Knoten i. Die Einträge in die erste Matrix A_i,j werden beispielsweise mit der Methode der K nächsten Nachbarn abhängig von den Einbettungen 310 bestimmt. Das bedeutet, die K nächsten Knoten zu einem Knoten werden abhängig vom Abstand der diesen jeweils zugeordneten Einbettung 310 bestimmt.
Der erste Zweig 302 umfasst wenigstens eine erste Operation 316, die ausgebildet ist, die Merkmale der Kanten und die Merkmale der Knoten des ersten Graphen abhängig von den Einbettungen 310, die den Knoten des ersten Graphen zugeordnet sind und abhängig von den Kanten des ersten Graphen, d.h. abhängig von der nummerischen Repräsentation 314 des ersten Graphen, zu bestimmen. Im Beispiel wird ein Merkmal e_ij einer Kante, die einen Knoten i und einen Knoten j verbindet, abhängig von den jeweiligen Merkmalsvektors F_i und F_j dieser Knoten bestimmt. Ein Beispiel ist eine Abbildung mit einer Faltungsunktion h_Θ(·) für die Kanten des ersten Graphen $e_{i j} = h_{Θ} (F_{i}, F_{j} - F_{i})$
mit den Parametern 8. Die Faltungsfunktion ist beispielsweise eine Graph Convolution, insbesondere EdgeConv.
Im Beispiel wird ein Merkmal eines Knotens i ausgehend von einer Menge E von zu berücksichtigenden Knoten j wie folgt bestimmt: $F_{i}^{'} = max_{j : (i, j) \in E} e_{i j}$
Die Menge E wird z.B. als Menge der unmittelbar durch eine Kante mit dem Knoten i verbundene Knoten j definiert.
Eine Ausgangsgröße 318 der ersten Operation 316 umfasst die Merkmale $F_{i}^{'} .$
Es kann vorgesehen sein, dass die erste Operation 116 mehrere Schichten umfasst und die Ausgangsgröße 318 die Merkmale $F_{i}^{'}$
einer letzten der mehreren Schichten umfasst. Z.B. werden die Merkmale $F_{i}^{'}$
in je einer der Schichten abhängig von den Merkmalen $F_{i}^{'}$
bestimmt, die in einer jeweils dieser unmittelbar vorangehenden Schicht bestimmt werden.
Es kann vorgesehen sein, dass die erste Operation 116 zusätzliche Eingangsgrößen 320 berücksichtigt. Beispiel kann vorgesehen sein, dass das Merkmal $F_{i}^{'}$
eines Knotens i abhängig von einem Abstand r vom Sensor und einer Dopplergeschwindigkeit v bestimmt wird, die dem Knoten i zugeordnet sind. Im Beispiel umfasst der Ausschnitt des Spektrums, der dem Knoten i zugeordnet ist, eine Reflexion, deren Abstand und Dopplergeschwindigkeit zur Bestimmung des Merkmals $F_{i}^{'}$
dieses Knotens verwendet wird. Z.B. wird ein Merkmalsvektor F_i = [r, v, s_i] verwendet.
Der zweite Zweig 304 umfasst einen zweiten Kodierer 322, der ausgebildet ist, für charakteristische Größen 324, die je einer Reflexion zugeordnet sind, Einbettungen 326, die den Knoten des zweiten Graphen zugeordnet sind, zu bestimmen. Eine charakteristische Größe 324 einer Reflexion umfasst z.B. die räumlichen Koordinaten oder wenigstens eine gemessene Eigenschaft der Reflexion. Im Beispiel wird ein Merkmalsvektor G_i = {p_i, s_i} vorgesehen, der räumliche Koordinaten p_i ∈ ℝ³ und eine gemessene Eigenschaft oder mehrere gemessene Eigenschaften $s_{i} \in ℝ^{N_{f}}$
für eine Reflexion i umfasst, wobei N_f die Anzahl der Eigenschaften angibt. Der zweite Kodierer 322 ist ausgebildet, für die charakteristischen Größen 324 für Reflexionen aus einer Liste von N Reflexionen 0 = (v₁, v₂, ..., v_N} die der jeweiligen charakteristischen Größe 324 zugeordnete Einbettung 326 zu bestimmen.
Der zweite Zweig 304 umfasst eine zweite Funktion 328, die ausgebildet ist, eine nummerische Repräsentation 330 des zweiten Graphen abhängig von den Einbettungen, die den Knoten des zweiten Graphen zugeordnet sind, und den charakteristischen Größen 324 zu bestimmen. Die nummerische Repräsentation 330 umfasst im Beispiel einen zweite Matrix B_i,j , die einem Knoten i und einem Knoten j durch einen Eintrag, z.B. 1, in einem Element mit Index i,j in der Matrix B_i,j eine Kante zuweist oder durch einen Eintrag, z.B. 0, in einem Element mit Index i,j in der Matrix B_i,j keine Kante zuweist. Die nummerische Repräsentation 330 des zweiten Graphen umfasst im Beispiel eine zweite Matrix, S_i, die jedem Knoten einen Merkmalsvektor G_i zuordnet. Im Beispiel werden O Reihen von 1xQ dimensionalen Merkmalsvektoren G_i angeordnet. Der Inhalt des Merkmalsvektors G_i eines Knotens i ist im Beispiel die Einbettung dieses Knoten i. Die Einträge in die erste Matrix B_i,j werden beispielsweise mit der Methode der K nächsten Nachbarn abhängig von den Einbettungen 326 und den charakteristischen Größen 324 bestimmt. Das bedeutet, die K nächsten Knoten zu einem Knoten werden abhängig vom Abstand der diesen jeweils zugeordneten Einbettung 326 und charakteristischen Größen 324 bestimmt. Dies werden z.B. konkateniert, d.h. zu einem Vektor zusammengefasst, bevor der Abstand bestimmt wird.
Der zweite Zweig 304 umfasst wenigstens eine zweite Operation 332, die ausgebildet ist, die Merkmale der Kanten und die Merkmale der Knoten des ersten Graphen abhängig von den Einbettungen 326, die den Knoten des zweiten Graphen zugeordnet sind und abhängig von den Kanten des zweiten Graphen, d.h. abhängig von der nummerischen Repräsentation 330 des ersten Graphen, zu bestimmen. Im Beispiel wird ein Merkmal e_ij einer Kante, die einen Knoten i und einen Knoten j verbindet, abhängig von den jeweiligen Merkmalsvektors G_i und G_j dieser Knoten bestimmt. Ein Beispiel ist eine Abbildung mit einer Faltungsunktion h_Θ(·) für die Kanten des zweiten Graphen $e_{i j} = h_{Θ} (G_{i}, G_{j} - G_{i})$
mit den Parametern 8. Die Faltungsfunktion ist beispielsweise eine Graph Convolution, insbesondere EdgeConv.
Im Beispiel wird ein Merkmal eines Knotens i ausgehend von einer Menge E von zu berücksichtigenden Knoten j wie folgt bestimmt: $G_{i}^{'} = max_{j : (i, j) \in E} e_{i j}$
Die Menge E wird z.B. als Menge der unmittelbar durch eine Kante mit dem Knoten i verbundene Knoten j definiert.
Eine Ausgangsgröße 334 der zweiten Operation 332 umfasst die Merkmale $G_{i}^{'} .$
Es kann vorgesehen sein, dass die zweite Operation 332 mehrere Schichten umfasst und die Ausgangsgröße 334 die Merkmale $G_{i}^{'}$
einer letzten der mehreren Schichten umfasst. Z.B. werden die Merkmale $G_{i}^{'}$
in je einer der Schichten abhängig von den Merkmalen $G_{i}^{'}$
bestimmt, die in einer jeweils dieser unmittelbar vorangehenden Schicht bestimmt werden.
Die Ausgangsgröße 318 der ersten Operation 320 und die Ausgangsgröße 334 der zweiten Operation 332 werden im Beispiel zu einer Größe 336 konkateniert.
Es kann vorgesehen sein, dass Einbettungen 338 der Knoten des ersten Graphen und/oder Einbettungen 340 der Knoten des zweiten Graphen ebenfalls zur Größe 336 konkateniert werden.
Ein Klassifikator 342 ist ausgebildet, eine Klassifikation 344 des Objekts abhängig von der Größe 336 zu bestimmen. Das bedeutet, der Klassifikator 342 bestimmt die Klassifikation 344 des Objekts abhängig von der Größe 336, die die Ausgangsgrößen aus beiden Zweigen umfasst.
Der erste Kodierer 306 umfasst in einer Ausführungsform ein neuronales Netz. Dieses neuronale Netz umfasst z.B. eine erste Faltungsschicht, die über eine ReLU Aktivierung mit einer zweiten Faltungsschicht verbunden ist. Die einzelnen Einbettungen 310 werden z.B. mittels ReLU Aktivierung bestimmt und anschließend zu einer gemeinsamen Eingangsgröße für die erste Funktion 312 zusammengefasst.
Der zweite Kodierer 322 umfasst in einer Ausführungsform ein neuronales Netz. Dieses neuronale Netz umfasst z.B. eine erste lineare Schicht, die über eine ReLU Aktivierung mit einer zweiten linearen Schicht verbunden ist. Die einzelnen Einbettungen 326 werden z.B. mittels ReLU Aktivierung bestimmt und anschließend zu einer gemeinsamen Eingangsgröße für die zweite Funktion 328 zusammengefasst. Diese gemeinsame Eingangsgröße kann auch die charakteristischen Größen 324 umfassen.
Die erste Operation 316 umfasst in einer Ausführungsform ein neuronales Netz. Dieses neuronale Netz umfasst z.B. eine erste Faltungsschicht, die über eine ReLU Aktivierung mit einer zweiten Faltungsschicht verbunden ist. Die Ausgabe der ReLU Aktivierung bildet im Beispiel zusammen mit den Einbettungen 338 der Knoten des ersten Graphen eine gemeinsame Eingangsgröße für die zweite Faltungsschicht. Die Ausgangsgröße 318 der ersten Operation 316 umfasst z.B. eine Ausgabe einer ReLU Aktivierung dieser zweiten Faltungsschicht und die Einbettungen 338 der Knoten des ersten Graphen.
Die zweite Operation 332 umfasst in einer Ausführungsform ein neuronales Netz. Dieses neuronale Netz umfasst z.B. eine erste Faltungsschicht, die über eine ReLU Aktivierung mit einer zweiten Faltungsschicht verbunden ist. Die Ausgabe der ReLU Aktivierung bildet im Beispiel zusammen mit den Einbettungen 340 der Knoten des ersten Graphen eine gemeinsame Eingangsgröße für die zweite Faltungsschicht. Die Ausgangsgröße 334 der zweiten Operation 332 umfasst z.B. eine Ausgabe einer ReLU Aktivierung dieser zweiten Faltungsschicht und die Einbettungen 340 der Knoten des ersten Graphen.

Claims

Verfahren zur Bestimmung einer Klassifikation (344) eines Objekts, dadurch gekennzeichnet, dass Sensordaten mit einem Radarsensor erfasst werden (202), wobei ein Radarspektrum abhängig von den Sensordaten bestimmt wird (204), das Radarreflexionen umfasst, wobei Einbettungen (310) von Ausschnitten (308) aus dem Radarspektrum, die wenigstens eine Radarreflexion umfassen, bestimmt werden (206), die je einem Knoten eines ersten Graphen zugeordnet sind, wobei Kanten des ersten Graphen abhängig von paarweisen Abständen der Einbettungen (310), die den Knoten des ersten Graphen zugeordnet sind, bestimmt werden (208), wobei je Kante des ersten Graphen ein Merkmal für diese Kante des ersten Graphen abhängig von den Einbettungen (310) von zwei Knoten des ersten Graphen bestimmt wird (210), die miteinander durch diese Kante des ersten Graphen verbunden sind, wobei je Knoten des ersten Graphen ein Merkmal für diesen Knoten des ersten Graphen abhängig von den Merkmalen für die Kanten des ersten Graphen bestimmt wird (212), die diesen Knoten des ersten Graphen im ersten Graphen mit einem anderen Knoten des ersten Graphen verbinden, wobei je Radarreflexion abhängig von den Sensordaten charakteristische Größen (324), insbesondere räumliche Koordinaten oder wenigstens eine gemessene Eigenschaft, bereitgestellt werden (214), wobei je Radarreflexion eine Einbettung bestimmt wird (216), die einem Knoten eines zweiten Graphen zugeordnet ist und die eine Einbettung (326) der charakteristischen Größen (324) und die charakteristischen Größen (324) umfasst, wobei Kanten des zweiten Graphen abhängig von paarweisen Abständen der Einbettungen, die den Knoten des zweiten Graphen zugeordnet sind, bestimmt werden (218), wobei je Kante des zweiten Graphen ein Merkmal für diese Kante des zweiten Graphen abhängig von den Einbettungen von zwei Knoten des zweiten Graphen bestimmt wird (220), die miteinander durch diese Kante des zweiten Graphen verbunden sind, wobei je Knoten des zweiten Graphen ein Merkmal für diesen Knoten des zweiten Graphen abhängig von den Merkmalen für die Kanten des zweiten Graphen bestimmt wird (222), die diesen Knoten des zweiten Graphen im zweiten Graphen mit einem anderen Knoten des zweiten Graphen verbinden, wobei die Klassifikation (344) des Objekts abhängig von einer Größe (336) bestimmt wird (228), die einen ersten Teil (318) umfasst, der abhängig von den Merkmalen für die Knoten des ersten Graphen bestimmt wird (224), und die einen zweiten Teil (334) umfasst, der abhängig von den Merkmalen für die Knoten des zweiten Graphen bestimmt wird (226).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einbettungen (310) von Ausschnitten (308) aus dem Radarspektrum eingebettete Merkmale umfassen, wobei die eingebetteten Merkmale mit einem Kodierer (306) aus spektralen Merkmalen aus den Ausschnitten (308) extrahiert werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der erste Graph und/oder der zweite Graph in einem durch die Merkmale erweiterten Merkmalsraum gebildet wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Größe einen dritten Teil (338, 340) umfasst (228), der die Einbettungen (338) der Knoten des ersten Graphen umfasst und/oder der die Einbettungen (340) der Knoten des zweiten Graphen umfasst.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der paarweise Abstand von Einbettungen (310), die je einem der Knoten des ersten Graphen zugeordnet sind, abhängig von einer Differenz zwischen diesen Einbettungen (310) bestimmt wird (208) und/oder dass der paarweise Abstand von Einbettungen (326), die je einem der Knoten des zweiten Graphen zugeordnet sind, abhängig von einer Differenz zwischen diesen Einbettungen (326) bestimmt wird (218).
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass je Knoten des ersten Graphen das Merkmal für diesen Knoten des ersten Graphen abhängig von einem Abstand vom Radarsensor und einer Dopplergeschwindigkeit bestimmt wird (212), die einer Radarreflexion zugeordnet ist, die der diesem Knoten zugeordnet Ausschnitt des Radarspektrums umfasst.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der erste Graph Kanten umfasst, die je einen der Knoten mit einer vorgegebenen Anzahl seiner nächstgelegenen Knoten im ersten Graph verbindet oder wobei der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des ersten Graphs verbindet, wobei der erste Graph Kanten umfasst, die je einen der Knoten des ersten Graphs mit eine vorgegebenen Anzahl zufällig gewählter anderer Knoten des ersten Graphs verbindet, oder wobei der erste Graph Kanten umfasst, durch die jeder Knoten im ersten Graph mit jedem anderen Knoten des ersten Graphs durch eine Kante verbunden ist.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der zweite Graph Kanten umfasst, die je einen der Knoten mit eine vorgegebenen Anzahl seiner nächstgelegenen Knoten im zweiten Graph verbindet oder wobei der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graph mit einer vorgegebenen Anzahl seiner am weitesten entfernten Knoten des zweiten Graphs verbindet, wobei der zweite Graph Kanten umfasst, die je einen der Knoten des zweiten Graphs mit einer vorgegebenen Anzahl zufällig gewählter anderer Knoten des zweiten Graphs verbindet, oder wobei der zweite Graph Kanten umfasst, durch die jeder Knoten im zweiten Graph mit jedem anderen Knoten des zweiten Graphs durch eine Kante verbunden ist.
Vorrichtung (100) zur Bestimmung einer Klassifikation eines Objekts, dadurch gekennzeichnet, dass die Vorrichtung (100) wenigstens einen Speicher (102) und wenigstens einen Prozessor (104) umfasst, wobei der wenigstens eine Prozessor (104) ausgebildet ist, maschinenlesbare Instruktionen auszuführen, bei deren Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausgeführt wird, und wobei der wenigstens eine Speicher (102) ausgebildet ist, die Instruktionen zu speichern.
Vorrichtung (100) nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung einen Radarsensor (106) zur Erfassung von Sensordaten umfasst.
Programm, dadurch gekennzeichnet, dass das Programm maschinenlesbare Instruktionen umfasst, bei deren Ausführung durch eine Vorrichtung zur Bestimmung einer Klassifikation eines Objekts das Verfahren nach einem der Ansprüche 1 bis 8 abläuft.