DE102022202524B4

DE102022202524B4 - Verfahren zur Objektklassifizierung

Info

Publication number: DE102022202524B4
Application number: DE102022202524.5A
Authority: DE
Inventors: Wassim SULEIMAN; Nicolai Glatz; Abhishek Kekud
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2022-03-15
Filing date: 2022-03-15
Publication date: 2024-04-18
Anticipated expiration: 2042-03-16
Also published as: WO2023174495A1; DE102022202524A1

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Klassifizierung von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs.

Description

Die Erfindung betrifft ein Verfahren zur Klassifizierung von Objekten in Objektklassen
Es ist bekannt, basierend auf Informationen, die durch eine Ultraschallsensorik erfasst wurden, eine Höhenschätzung von Objekten mittels geometrischer Verfahren vorzunehmen. Durch die Höhenschätzung kann beispielsweise ein linienartiges Objekt, das sich auf einen Randstein bezieht, von einem linienartigen Objekt in Form einer Wand unterschieden werden.
Aus DE 10 2019 215 393 A1 ist ein Verfahren zur Klassifizierung eines Objekts im Umfeld eines Kraftfahrzeugs mittels einer Ultraschallsensorik bekannt. Die Ultraschallsensorik umfasst dafür eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren. Mithilfe der Ultraschallsensoren wird fortlaufend eine Mehrzahl von Messungen durchgeführt. In einer Messung wird dabei jeweils durch einen der Ultraschallsensoren ein Ultraschallsignal ausgesendet und anschließend wird durch mindestens einen der Ultraschallsensoren ein Signal, das eine Mehrzahl von reflektierten Echosignalen, sogenannte Mehrfachechos, aufweist, empfangen, wobei die empfangenen Echosignale einem Objekt zugeordnet werden. Aus den empfangenen Echosignalen kann eine Mehrzahl von Merkmalen bestimmt werden, wobei das Objekt abhängig von einer Kombination von zumindest zwei dieser Merkmale als ein Fußgänger klassifiziert wird.
DE 10 2020 203 856 A1 beschreibt ein Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs, insbesondere zur Lokalisierung einer Parklücke, mittels eines Assistenzsystems des Kraftfahrzeugs, bei welchem das Kraftfahrzeug relativ zu dem zumindest einen Objekt bewegt wird und mit einem Ultraschallsensor des Assistenzsystems Ultraschallsignale ausgesendet werden. Dabei werden Echos der von dem zumindest einen Objekt reflektierten Ultraschallsignale empfangen, wobei mittels einer Steuereinrichtung anhand der empfangenen Echos jeweilige Entfernungswerte ermittelt werden und das zumindest eine Objekt basierend auf den Entfernungswerten der Echos detektiert wird. Dabei wird das zumindest eine Objekt basierend auf einer ermittelten Varianz der Entfernungswerte einer Gruppe mehrerer zeitlich aufeinanderfolgender Echos detektiert.
In EP 2 823 331 B1 wird ein Verfahren zur Erfassung von Objekten in der Umgebung eines Fahrzeugs beschrieben. Zunächst erfolgt dabei das Ermitteln mindestens eines Reflexionsmusters für mindestens eine Objektklasse, wobei ein Reflexionsmuster für eine Abbildungsgeometrie einer Impuls-Echo-Messung zu jedem Parameterwert-Tupel, welches ein Objekt der Objektklasse in der Umgebung charakterisiert, eine erwartete Laufzeit zuordnet, zu der in einem Echosignal ein Echopuls erwartet wird, wenn nur das entsprechende durch das Parameterwert-Tupel gekennzeichnete Objekt in der Umgebung vorhanden ist. Anschließend werden Impuls-Echo-Messungen für mehrere unterschiedliche Sender-Empfänger-Geometrien ausgeführt und entsprechende Echosignale erfasst. Die empfangenen Echosignale dienen dem Errechnen von Gewichten für die unterschiedlichen durch die Parameterwert-Tupel charakterisierten Objekte der entsprechenden Klasse, wobei für jedes Echosignal anhand des Echosignalwerts für jenen Zeitpunkt, der der erwarteten Laufzeit entspricht, die anhand des dem Echosignal zugehörigen Reflexionsmusters dem Parameterwert-Tupel zugeordnet ist, ein oder mehrere Gewichtswerte bestimmt werden, wobei anhand der so ermittelten Gewichtswerte das Vorliegen von Objekten der mindestens einen Objektklasse ermittelt wird.
Aus EP 2 073 038 B1 ist ein Verfahren zur Klassifizierung von Abstandsdaten eines Abstandsdetektionssystems eines Fahrzeuges zur Lokalisierung von Parklücken bekannt. Das Verfahren umfasst die Schritte des Aussendens von Messsignalen, des Empfangens von an entfernten Objekten reflektierten Messsignalen durch einen Sensor, des Ermittelns von Zeiten zwischen der Aussendung und dem Empfang der Messsignale und dem Ermitteln einer Korrelation der Zeiten zwischen der Aussendung und dem Empfang der Messsignale mit daraus ermittelten Abstandsdaten. Die Höhe eines reflektierenden Objekts wird anschließend anhand von einer statistischer Streuung der Abstandsdaten ermittelt.
Problematisch bei der Höhenschätzung ist, dass die bekannten Methoden zur Höhenschätzung zu falschen Ergebnissen führen, wenn diese auf Objekte in Form von Fahrzeugen angewendet werden.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Objektklassifizierung anzugeben, das eine zuverlässige Klassifizierung von Objekten in vorgegebene Objektklassen ermöglicht.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Klassifikation von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs ist Gegenstand des nebengeordneten Patentanspruchs 14 und ein Fahrzeug mit einem solchen System ist Gegenstand des nebengeordneten Patentanspruchs 15.
Gemäß einem ersten Aspekt wird ein Verfahren zur Klassifizierung eines Objekts in eine Objektklasse basierend auf Informationen zumindest eines Ultraschallsensors offenbart. Das Verfahren umfasst die folgenden Schritte:

Zunächst werden mehrere Detektionen zumindest eines Ultraschallsensors eines Fahrzeugs empfangen. Es versteht sich, dass die Detektionen durch Zusammenwirken mehrerer Ultraschallsensoren gewonnen werden können. Jeder Detektion ist eine Positionsinformation und eine Richtungsinformation zugeordnet. Die Positionsinformation gibt dabei den Reflektionsort an, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist. Die Positionsinformation kann insbesondere Koordinaten umfassen, die den Reflexionsort angeben. Die Richtungsinformation gibt die Richtung an, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet. Die Richtungsinformation kann beispielsweise durch einen Winkel, insbesondere einen Azimutwinkel, angegeben werden.

Anschließend werden die empfangenen Detektionen Clustern zugeordnet, wobei ein Cluster mehrere Detektionen umfasst. Die Cluster bilden damit Gruppen von Detektionen. Ein oder mehrere Cluster können sich auf ein Objekt beziehen, d.h. die Detektionen, die von einem Objekt stammen, können einem oder mehreren Clustern zugeordnet sein.
Nach der Bildung der Cluster werden für die jeweiligen Cluster Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen berechnet, und zwar basierend auf den Positionsinformationen und den Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind.
Zuletzt erfolgt ein Klassifizieren des Objekts in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster.
Der technische Vorteil des offenbarten Verfahrens besteht darin, dass die Informationen zur statistischen Verteilung der Positionsinformationen und die Informationen zur statistischen Verteilung der Richtungsinformationen der Cluster als Entscheidungshilfen herangezogen werden können, welcher Objektklasse ein Cluster und damit ein dem Cluster zugeordnetes Objekt zuzuordnen ist. Damit kann eine genaue und effiziente Objektklassifizierung erreicht werden, insbesondere mit dem Ziel, Detektionen in Clustern, die der Objektklasse „Fahrzeug“ zugeordnet werden, von der Höhenschätzung auszuschließen.
Gemäß einem Ausführungsbeispiel umfasst die Positionsinformation zumindest eine erste und eine zweite Koordinate. Die Informationen zur statistischen Verteilung der Positionsinformationen umfassen Informationen, die auf der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen basieren. Durch die Berücksichtigung der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen kann insbesondere die Verteilung der Detektionen in einer Längs- und einer dazu senkrecht verlaufenden Querrichtung zur Klassifizierung in die Objektklassen herangezogen werden. Insbesondere kann die Determinante der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen als Entscheidungskriterium herangezogen werden. Diese Determinante ist für zweidimensional geformte Objekte (insbesondere Objekte mit Rundungen und/oder Ecken) wie beispielsweise Fahrzeuge größer als bei linienartigen Objekten (z.B. Randsteine oder Wandobjekte).
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Positionsinformationen die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen. Die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen liefern ein Maß für die Ausdehnung eines Clusters entlang dessen Haupt- und Nebenachse, so dass über die Eigenwerte auf die Form des Objekts zurückgeschlossen werden kann.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Positionsinformationen das Verhältnis der Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen. Das Verhältnis der Eigenwerte ist für Linienobjekte und zweidimensional geformte Objekte sehr unterschiedlich und kann daher vorteilhaft als Entscheidungsgrundlage verwendet werden.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die Varianz der Richtungsinformationen. Die Varianz der Richtungsinformationen ist bei linienartigen Objekten sehr gering und bei gewölbten Objekten wie beispielsweise Pfosten sehr hoch. Bei Fahrzeugen liegt die Varianz der Richtungsinformationen zwischen der Varianz von linienartigen Objekten und gewölbten Objekten, da die Fahrzeugkontur sowohl ebene Flächen als auch gewölbte Flächen aufweist.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung der Richtungsinformationen. Dadurch kann die Änderung der Richtungsinformationen über der Zeit als Entscheidungsgrundlage zur Objektklassifizierung verwendet werden.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung von mittels einer Filterfunktion gefilterten Richtungsinformationen. Die Filterfunktion kann insbesondere ein Filter zur Filterung von statistischen Ausreißern sein. Dadurch kann die Änderung der gefilterten Richtungsinformationen über der Zeit als Entscheidungsgrundlage für die Objektklassifizierung verwendet werden.
Gemäß einem Ausführungsbeispiel wird die Klassifikation zumindest basierend auf einem ersten und einem zweiten Schwellwert vorgenommen, wobei der erste Schwellwert einen Schwellwert für die Informationen zur statistischen Verteilung der Positionsinformationen und der zweite Schwellwert einen Schwellwert für die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen angibt. Es versteht sich, dass mehr als zwei Entscheidungsregeln, die auf Schwellwerten basieren, als Entscheidungsgrundlage für die Objektklassifizierung herangezogen werden.
Gemäß einem Ausführungsbeispiel wird der erste und zweite Schwellwert mittels Trainingsdaten ermittelt. Die Trainingsdaten weisen Objektinformationen und diesen Objektinformationen zugeordnete Label-Informationen auf. Die Label-Informationen geben an, welcher Objektklasse das jeweilige Objekt zuzuordnen ist. Mittels der Trainingsdaten können damit Entscheidungsregeln erstellt werden, ab welchen Schwellen der Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen eine Klassifizierung in die jeweiligen Objektklassen erfolgen kann.
Gemäß einem Ausführungsbeispiel erfolgt die Klassifikation mittels eines Entscheidungsbaums oder eines Zufallswaldes (engl. Random Forest).
Dadurch kann eine Objektklassifizierung mit geringem Rechenaufwand erfolgen.
Gemäß einem anderen Ausführungsbeispiel wird ein neuronales Netz zur Klassifikation verwendet, wobei das neuronale Netz mittels Trainingsdaten trainiert wurde, die Label-Informationen zu den jeweiligen Objektklassen aufweisen.
Gemäß einem anderen Ausführungsbeispiel erfolgt eine Klassifikation in die Objektklassen „Fahrzeug“ und „kein Fahrzeug“. Dadurch können Objekte, die Fahrzeuge darstellen, von anderen Objekten, beispielsweise von den Objektklassen „Wand“ oder „Randstein“ unterschieden werden.
Gemäß einem anderen Ausführungsbeispiel wird abhängig von dem Ergebnis der Klassifikation des Objekts eine Höhenschätzung des Objekts vorgenommen oder nicht. Insbesondere kann zu Detektionen, die sich auf die Objektklasse „Fahrzeug“ beziehen, keine Höhenschätzung vorgenommen werden. Dadurch kann der Rechenaufwand und die Fehlerquote bei der Höhenschätzung minimiert werden.
Gemäß einem weiteren Aspekt wird ein System zur Klassifikation von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs offenbart. Das System weist eine Recheneinheit auf, die zum Ausführen der folgenden Schritte konfiguriert ist:

a) Empfangen mehrerer Detektionen zumindest eines Ultraschallsensors eines Fahrzeugs, wobei jeder Detektion eine Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet;
b) Bilden von Clustern von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster mehrere Detektionen umfasst;
c) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind;
d) Klassifizieren des Objekts in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster.

Gemäß einem nochmals weiteren Aspekt wird ein Fahrzeug mit einem System zur Klassifikation von Objekten in Objektklassen offenbart.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:

1 beispielhaft und schematisch ein Fahrzeug mit einer Ultraschallsensorik umfassend mehrere umfangsseitig um das Fahrzeug herum verteilte Ultraschallsensoren und eine Rechnereinheit zur Auswertung der von der Ultraschallsensorik bereitgestellten Informationen;
2 beispielhaft ein Diagramm, das die Positionsinformationen von Detektionen zu einer Längsparksituation zwischen zwei Fahrzeugen zeigt;
3 beispielhaft ein Diagramm, das die Positionsinformationen und teilweise die Richtungsinformationen von Detektionen zu der Längsparksituation gemäß 2 zeigt;
4 beispielhaft mehrere Cluster, die basierend auf den in 2 und 3 gezeigten Detektionen ermittelt wurden;
5 beispielsweise ein Entscheidungsbaum zur Klassifikation von Objekten in Objektklassen; und
6 beispielhaft ein Blockdiagramm, das die Schritte des Verfahrens zur Klassifizierung von Objekten in Objektklassen veranschaulicht.

1 zeigt beispielhaft und grob schematisch ein Fahrzeug 1. Das Fahrzeug 1 weist eine Vielzahl von Ultraschallsensoren 2 auf, mittels denen eine Umgebungserfassung bewirkt wird.
Die Ultraschallsensoren 2 sind mit zumindest einer Recheneinheit 3 gekoppelt, mittels der das nachfolgend beschriebene Verfahren zur Klassifizierung eines Objekts O in eine Objektklasse erfolgt.
2 zeigt beispielhaft ein Diagramm, in dem eine Vielzahl von Detektionen eingetragen sind, die durch die Ultraschallsensoren 2 des Fahrzeugs 1 erfasst werden und die mehreren Objekten O zugeordnet sind. Die Detektionen beziehen sich beispielsweise auf eine Längsparksituation, bei der eine Längsparklücke zwischen zwei Fahrzeugen gebildet ist. Die linienartig angeordneten Detektionen zwischen den beiden Fahrzeugen bezieht sich beispielsweise auf einen Randstein, der die Parklücke seitlich begrenzt.
Eine Detektion ist dabei durch einen Punkt dargestellt. Der Reflexionsort, an dem die Detektion aufgrund einer Reflexion an einem Umgebungsobjekt entstanden ist, ist durch Positionsinformationen angegeben. Die Positionsinformationen können zumindest zwei Koordinaten umfassen, mittels denen der Reflexionsort in einer horizontalen Ebene definiert ist. Diese sind insbesondere x- und y-Koordinaten, die in dem Diagramm der 2 auf den jeweiligen Diagrammachsen aufgetragen sind. In anderen Worten sind die Positionsinformationen in karthesischen Koordinaten angegeben. Alternativ ist es möglich, dass die Positionsinformationen in einem Zylinderkoordinatensystem oder einem Kugelkoordinatensystem. anzugeben.
Die statistische Verteilung der Positionsinformationen wird zur Klassifizierung eines Objekts herangezogen.
Falls verfügbar, können die Positionsinformationen auch Informationen über die Höhe des Objektbereichs, an dem die Reflexion entstanden ist, enthalten. In anderen Worten können die Positionsinformationen den Reflexionsort im dreidimensionalen Raum angeben. Auch die Informationen zur dritten Dimension (d.h. der Höhe) können zur Klassifizierung des Objekts herangezogen werden.
Zu den Detektionen wird jeweils auch eine Richtungsinformation ermittelt. Die Richtungsinformation gibt an, aus welcher Richtung die Detektion empfangen wurde. Die Richtungsinformation kann beispielsweise ein in der horizontalen Ebene aufgespannter Winkel sein, der die Richtung einer Verbindungslinie angibt, die den Reflexionsort mit der Sensorposition des Ultraschallsensors verbindet, durch den das reflektierte Ultraschallsignal ausgesendet wurde und/oder durch den das reflektierte Ultraschallsignal empfangen wurde. Der Winkel kann beispielsweise relativ zu einer Koordinatenachse gemessen werden, beispielsweise relativ zur x-Achse. Die Richtungsinformation kann damit beispielsweise den Winkel umfassen, den die Verbindungslinie, die den Reflexionsort mit der Sensorposition des Ultraschallsensors verbindet, mit der x-Achse einschließt.
3 zeigt beispielhaft ein Diagramm ähnlich dem der 2, wobei zu jeder Detektion, die dem linken Fahrzeug zugeordnet ist, zusätzlich eine Richtungsinformation zugeordnet ist. Die Richtungsinformation ist jeweils durch eine Linie angedeutet. Die Linie gibt die Richtung an, in der die Detektion ermittelt wurde. In anderen Worten gibt die Linie die Richtung an, in der sich der Ultraschallsensor 2 beim Aussenden und/oder dem Empfangen des Ultraschallsignals befunden hat. Es sei angemerkt, dass aufgrund der hohen Ausbreitungsgeschwindigkeit und der damit verbundenen geringen Laufzeit des Ultraschallsignals zwischen dem Aussenden und dem Empfangen näherungsweise angenommen werden kann, dass sich der Ultraschallsensor 2 beim Senden eines Ultraschallsignals und dem Empfangen der reflektierten Anteile dieses Ultraschallsignals an demselben Ort befindet.
Um mehrere Detektionen einem Objekt zuzuordnen, wird zumindest ein Cluster C aus den erfassten Detektionen gebildet. Zur Bildung eines Clusters können bekannte Cluster-Algorithmen verwendet werden, beispielsweise dichtebasierte Clusterbildungsverfahren, partitionierende Clusterbildungsverfahren etc. Insbesondere kann ein K-Means-Clustering-Algorithmus oder ein DBSCAN-Algorithmus zur Bildung der Cluster verwendet werden.
4 illustriert mehrere Cluster C, die basierend auf den in 2 und 3 dargestellten Detektionen ermittelt wurden. Die in 4 dargestellten Ellipsen repräsentieren jeweils die Kovarianzmatrix der x-y-Koordinaten derjenigen Detektionen, die dem jeweiligen Cluster C zugeordnet sind. Die Cluster C beziehen sich auf örtlich zusammenhängende Gruppen von Detektionen und geben vorzugsweise an, wie die jeweilige Gruppe von Detektionen örtlich in einer horizontalen Ebene (d.h. derx-y-Ebene) angeordnet ist.
Vorzugsweise ist ein Schwellwert für die Anzahl von Detektionen vorgegeben. Die Anzahl der Detektionen, die ein Cluster bilden sollen, muss diesen Schwellwert übersteigen. Damit kann verhindert werden, dass aufgrund weniger Detektionen bereits ein Cluster gebildet wird.
Nach der Clusterbildung können für die jeweiligen Cluster Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen ermittelt werden.
Insbesondere wird für die jeweiligen Cluster C der Mittelwert der Positionsinformationen berechnet. Dieser Mittelwert gibt damit das Zentrum des Clusters an. Er kann beispielsweise durch Mittelung der x- und y-Koordinaten der Detektionen eines Clusters ermittelt werden. Zudem kann die Kovarianz zu den x- und y-Koordinaten der Detektionen, die dem jeweiligen Cluster zugeordnet sind, berechnet werden. In anderen Worten wird die zweidimensionale Gaußverteilung der x- und y-Koordinaten der Detektionen berechnet.
Die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen eines Clusters können den Mittelwert und die Varianz der Richtungsinformationen der Detektionen eines Clusters umfassen. Hierbei kann der Mittelwert und die Varianz entweder direkt berechnet werden oder die Richtungsinformationen können vor der Berechnung des Mittelwerts und der Varianz gefiltert werden, beispielsweise einer Glättungsfilterung oder einer Filterung, mittels der statistische Ausreißer ausgefiltert werden.
Aus den Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen können weitere Informationen bzw. Größen berechnet werden, die zur Klassifizierung der Objekte herangezogen werden können:

Es kann beispielsweise die Determinante der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden.
Diese ist bei mehrdimensional geformten Objekten größer als bei Linienobjekten. Damit kann die Determinante der Kovarianzmatrix zur Unterscheidung von mehrdimensional geformten Objekten und Linienobjekten dienen.

Des Weiteren können die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden. Insbesondere ergibt sich ein erster und ein zweiter Eigenwert. Die Eigenwerte geben die Erstreckung des Clusters C entlang deren Hauptachse und deren senkrecht dazu verlaufender Nebenachse an. Insbesondere geben die Eigenwerte die Länge der Haupt- und Nebenachse einer Ellipse an, durch die die Lage und Ausrichtung des Clusters C nachgebildet werden kann. Diese den Clustern C zugeordneten Ellipsen sind in 4 dargestellt.
Des Weiteren kann der Quotient aus dem ersten und zweiten Eigenwert der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden. Das Verhältnis der Eigenwerte liefert ein Indiz dafür, ob es sich um ein linienartiges Objekt handelt oder nicht, da das Verhältnis der Eigenwerte sich für linienartige Objekte und zweidimensional geformte Objekte erheblich unterscheidet.
Die Varianz der Richtungsinformationen der Detektionen eines Clusters liefert ebenfalls ein Indiz dafür, ob es sich um ein linienartiges Objekt oder ein zweidimensional geformtes Objekt handelt. So ist beispielsweise die Varianz der Richtungsinformationen bei linienartigen Objekten sehr klein, bei runden Objekten wie Pfosten o.ä. sehr hoch. Die Varianz der Richtungsinformationen liegt bei Fahrzeugen in der Mitte zwischen der Varianz der Richtungsinformationen von linienartigen und runden Objekten, da Fahrzeuge sowohl gerade ausgebildete Fahrzeugbereiche als auch diffus reflektierende Bereiche, beispielsweise Spiegel, Türgriffe etc. aufweisen.
Zudem kann die zeitliche Ableitung von statistischen Eigenschaften der Richtungsinformationen der Detektionen oder der gefilterten Richtungsinformationen der Detektionen ermittelt werden, d.h. beispielsweise die Änderung des Mittelwerts, der Varianz etc.
Vorzugsweise werden die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen iterativ ermittelt, und zwar derart, dass die Bildung von Clustern C aktualisiert wird, wenn eine oder mehrere Detektionen empfangen werden. Dadurch werden aktualisierte Cluster erhalten. Die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die einem Cluster zugeordnet sind, werden nach der Aktualisierung eines Clusters ebenfalls aktualisiert, d.h. basierend auf den neu dem Cluster hinzugefügten Detektionen neu berechnet.
Die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen können anschließend zur Bildung von Entscheidungsregeln herangezogen werden, wobei basierend auf den Entscheidungsregeln die Klassifizierung der Objekte in Objektklassen vorgenommen wird.
Zur Bildung der Entscheidungsregeln können Trainingsdaten verwendet werden. Diese Trainingsdaten weisen Informationen zu Objekten und den Objekten zugeordnete Label-Informationen auf. Die Label-Informationen geben an, welcher Objektklasse das jeweilige Objekt zugeordnet werden soll. Die Entscheidungsregeln können insbesondere Schwellwerte sein. Die Höhe der Schwellwerte kann basierend auf den Trainingsdaten festgelegt werden.
Die Schwellwerte können bestimmten Informationen zur statistischen Verteilung der Positionsinformationen oder bestimmten Informationen zur statistischen Verteilung der Richtungsinformationen zugeordnet sein. Die Schwellwerte können insbesondere angeben, dass eine Information unterhalb dem Schwellwert eine Klassifikation in eine erste Objektklasse und eine Information oberhalb dem Schwellwert eine Klassifikation in eine zweite Objektklasse indiziert.
Zur Klassifikation der Objekte kann ein Entscheidungsbaum oder ein Zufallswald (engl. random forest) eingesetzt werden.
Die Struktur und die Entscheidungsregeln des Entscheidungsbaums oder des Zufallswalds kann durch die Trainingsdaten festgelegt werden.
5 zeigt beispielhaft einen Entscheidungsbaum. Der Entscheidungsbaum dient beispielhaft der Klassifikation der Objekte in die Klassen „Randstein“, „Wand“ und „Fahrzeug“. Insbesondere dient der Entscheidungsbaum der Klassifikation in die Objektklassen „Fahrzeug“ und „Nicht-Fahrzeug“.
Die Entscheidungsregeln des Entscheidungsbaums beziehen sich auf Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen. Als Informationen zur statistischen Verteilung der Positionsinformationen wird der Quotient aus dem ersten und zweiten Eigenwert der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen verwendet, d.h. das Verhältnis der beiden Eigenwerte der Kovarianzmatrix. Als Informationen zur statistischen Verteilung der Richtungsinformationen wird die Varianz der Richtungsinformationen verwendet. Basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen, den Informationen zur statistischen Verteilung der Richtungsinformationen und den Schwellwerten, die diesen Informationen zugeordnet sind, können die Detektionen des jeweiligen Clusters C einer Objektklasse zugeordnet werden. Damit kann insbesondere entschieden werden, ob sich die Detektionen des erkannten Clusters C auf die Objektklasse „Fahrzeug“ beziehen oder nicht.
Gemäß dem Entscheidungsbaum der 5 kann dann, wenn die Varianz der Richtungsinformationen größer als 0,00665 und das Verhältnis der Eigenwerte größer als 0,0012 sind, mit einer Wahrscheinlichkeit von 99% davon ausgegangen werden, dass sich die Detektionen des Clusters auf ein Fahrzeug beziehen.
Nach der Klassifikation der Objekte bzw. der Cluster, die Objekten zugeordnet sind, in Objektklassen kann selektiv ein Höhenschätzungsalgorithmus basierend auf den Informationen der Ultraschallsensorik vollzogen werden. Insbesondere können diejenigen Detektionen, die Clustern der Objektklasse „Fahrzeug“ zugeordnet sind, von der Höhenschätzung ausgenommen werden, um falsche Schätzungen zu vermeiden.
6 zeigt in schematischer Darstellung die Schritte eines erfindungsgemäßen Verfahrens zur Klassifikation von Objekten in Objektklassen mittels einer Ultraschallsensorik eines Fahrzeugs.
Zunächst werden mehrere Detektionen zumindest eines Ultraschallsensors eines Fahrzeugs empfangen (S10). Jeder Detektion ist eine Positionsinformation und eine Richtungsinformation zugeordnet. Die Positionsinformation gibt den Reflektionsort an, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist. Die Richtungsinformation gibt die Richtung an, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet.
Anschließend werden Cluster von Detektionen basierend auf den empfangenen Detektionen gebildet. Ein Cluster umfasst dabei mehrere Detektionen (S11).
Für die Cluster werden anschließend Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind, berechnet (S12).
Zuletzt erfolgt ein Klassifizieren eines Clusters, das einem Objekt zugeordnet ist, in eine Objektklasse, und zwar basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen (S13).
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste

1: Fahrzeug
2: Ultraschallsensor
3: Recheneinheit
C: Cluster
E: Entscheidungsbaum
O: Objekt
s1: erster Schwellwert
s2: zweiter Schwellwert

Claims

Verfahren zur Klassifizierung von Objekten (O) in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1), umfassend folgende Schritte: a) Empfangen mehrerer Detektionen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1), wobei jeder Detektion eine Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors (2) erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor (2) ausbreitet (S10); b) Bilden von Clustern (C) von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster (C) mehrere Detektionen umfasst (S11); c) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster (C) zugeordnet sind (S12); d) Klassifizieren des Objekts (O) in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster (C) (S13).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsinformation zumindest eine erste und eine zweite Koordinate umfasst, wobei die Informationen zur statistischen Verteilung der Positionsinformationen Informationen umfassen, die auf der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen basieren.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Positionsinformationen die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen umfassen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Positionsinformationen das Verhältnis der Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die Varianz der Richtungsinformationen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung der Richtungsinformationen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung von mittels einer Filterfunktion gefilterten Richtungsinformationen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifikation zumindest basierend auf einem ersten und einem zweiten Schwellwert (s1, s2) vorgenommen wird, wobei der erste Schwellwert (s1) einen Schwellwert für die Informationen zur statistischen Verteilung der Positionsinformationen und der zweite Schwellwert (s2) einen Schwellwert für die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen angibt.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der erste und zweite Schwellwert (s1, s2) mittels Trainingsdaten ermittelt wird, die Label-Informationen zu den jeweiligen Objektklassen aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifikation mittels eines Entscheidungsbaums (E) oder eines Random Forest erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein neuronales Netz zur Klassifikation verwendet wird, wobei das neuronale Netz mittels Trainingsdaten trainiert wurde, die Label-Informationen zu den jeweiligen Objektklassen aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Klassifikation in die Objektklassen „Fahrzeug“ und „kein Fahrzeug“ erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von dem Ergebnis der Klassifikation des Objekts (O) eine Höhenschätzung des Objekts (O) vorgenommen wird oder nicht.
System zur Klassifikation von Objekten (O) in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1), wobei das System eine Recheneinheit (3) aufweist, die zum Ausführen der folgenden Schritte konfiguriert ist: e) Empfangen mehrerer Detektionen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1), wobei jeder Detektion eine Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors (2) erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor (2) ausbreitet; f) Bilden von Clustern (C) von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster (C) mehrere Detektionen umfasst; g) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster (C) zugeordnet sind; h) Klassifizieren des Objekts (O) in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster (C).
Fahrzeug umfassend ein System gemäß Patentanspruch 14.