-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs. Des Weiteren betrifft die Erfindung eine Vorrichtung, ein Fahrzeugsystem, ein Computerprogramm und ein computerlesbares Medium zum Ausführen des genannten Verfahrens.
-
Stand der Technik
-
Objekte im näheren Umfeld eines Fahrzeugs können beispielsweise mithilfe einer Ultraschallsensorik detektiert werden. Dabei werden im Allgemeinen Laufzeiten, im Folgenden auch Echos genannt, von Ultraschallimpulsen zwischen Sender, Reflexionsort und Empfänger gemessen. Durch eine geeignete Kombination mehrerer solcher Echos und unter Einbeziehung gegebener Positionen von Sendern und Empfängern kann dann beispielsweise durch Tri- oder Mulitlateration eine Position, Orientierung und/oder Ausdehnung eines reflektierenden Objekts bestimmt werden. Die aus den Sensordaten der Ultraschallsensorik gewonnenen Informationen können beispielsweise von einer Fahrerassistenzfunktion des Fahrzeugs, etwa einer Einparkhilfe, zur Präsenzdetektion, d. h. zur Unterscheidung zwischen Freiraum und Anwesenheit eines Hindernisses, genutzt werden.
-
Insbesondere im Kontext autonomen Fahrens ist es wichtig, dass relevante Objekte im Nahbereich des Fahrzeugs, etwa andere Verkehrsteilnehmer wie Fußgänger, Fahrradfahrer, Pkw, Lkw usw., oder Hindernisse wie Zäune, Pfeiler usw., zuverlässig und frühzeitig erkannt werden können, um Kollisionen zu vermeiden. Gleichzeitig sollte der Rechenaufwand für eine derartige Multiobjektdetektion so niedrig wie möglich sein.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs, eine entsprechende Vorrichtung, ein entsprechendes Fahrzeugsystem, ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung ermöglichen es in vorteilhafter Weise, gleichzeitig mehrere, beispielsweise hintereinander liegende Objekte in der näheren Umgebung eines Fahrzeugs in Sensordaten einer Ultraschallsensorik des Fahrzeugs zu erkennen. Durch Verwendung eines maschinell gelernten Erkennungsmodells kann die Erkennung der Objekte sehr zuverlässig und effizient erfolgen. Dabei kann beispielsweise neben einer jeweiligen Position, Orientierung und/oder Ausdehnung auch ein jeweiliger Objekttyp der Objekte erkannt werden.
-
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs. Das Verfahren umfasst zumindest die folgenden Schritte: Eingeben der Sensordaten in einen Lernalgorithmus, der mit Ultraschalldaten als Trainingsdaten und den Trainingsdaten zugeordneten Zieldaten trainiert wurde, um die Sensordaten in Ausgabedaten umzuwandeln, wobei die Zieldaten eine Zielwertmatrix umfassen, die jeder Gitterzelle eines Belegungsgitters, das eine durch die Ultraschallsensorik erfassbare Umgebung des Fahrzeugs in Gitterzellen mit einer definierten Größe und/oder einer definierten Position relativ zum Fahrzeug unterteilt, mindestens einen Zielwert zuordnet; Ausgeben der Ausgabedaten durch den Lernalgorithmus, wobei die Ausgabedaten eine Ausgabewertmatrix umfassen, die jeder Gitterzelle des Belegungsgitters mindestens einen Ausgabewert zuordnet; und Erkennen der Objekte durch Verarbeiten der Ausgabewerte, wobei Positionen und/oder Orientierungen der Objekte in dem Belegungsgitter bestimmt werden.
-
Das Verfahren kann beispielsweise automatisch durch einen Prozessor ausgeführt werden, beispielsweise durch einen Prozessor eines Steuergeräts des Fahrzeugs.
-
Das Fahrzeug kann ein Kraftfahrzeug, etwa in Form eines Pkw, Lkw, Busses oder eines Motorrads, sein. Im weiteren Sinn kann unter einem Fahrzeug auch ein autonomer, mobiler Roboter verstanden werden.
-
Die Ultraschallsensorik kann einen oder mehrere Ultraschallsensoren umfassen, die an unterschiedlichen Stellen des Fahrzeugs verbaut sein können. Beispielsweise kann das Fahrzeug einen oder mehrere Ultraschallsensoren im Bereich eines vorderen und/oder hinteren Stoßfängers aufweisen. Zusätzlich oder alternativ kann das Fahrzeug einen oder mehrere Ultraschallsensoren an einer oder beiden Fahrzeugseiten aufweisen. Die Ultraschallsensorik kann mindestens eine Sendeeinheit zum Aussenden von Ultraschallimpulsen und mindestens eine Empfangseinheit zum Empfangen eines reflektierten Anteils der ausgesendeten Ultraschallimpulse umfassen. Beispielsweise ist es möglich, dass in einem einzelnen Ultraschallsensor eine oder mehrere Sendeeinheiten mit einer oder mehreren Empfangseinheiten kombiniert sind. Die Sende- und/oder Empfangseinheiten der Ultraschallsensorik können beispielsweise in einem Array, etwa in horizontaler und/oder vertikaler Richtung verteilt, angeordnet sein. Mit einem zwei- oder mehrreihigen Array können zusätzlich zu x- und y-Koordinaten auch z-Koordinaten, also Höheninformationen, bezüglich eines reflektierenden Objekts bestimmt werden.
-
Zusätzlich zur Ultraschallsensorik kann das Fahrzeug weitere Umfeldsensoren wie etwa eine Kamera, einen Radar- oder Lidarsensor, und/oder Fahrdynamiksensoren wie etwa einen Beschleunigungs-, Raddrehzahl- oder Lenkradwinkelsensor aufweisen. Ferner kann das Fahrzeug einen Ortungssensor zur Bestimmung einer absoluten Position des Fahrzeugs mithilfe eines globalen Navigationssatellitensystems wie GPS, GLONASS o. Ä. aufweisen.
-
Es ist möglich, dass das Fahrzeug mit einem Fahrerassistenzsystem bzw. Robotersteuersystem zum teil- oder vollautomatisierten Ansteuern einer Aktorik des Fahrzeugs basierend auf den Sensordaten ausgestattet ist. Das Fahrerassistenz- bzw. Robotersteuersystem kann als Hardware und/oder Software in dem Steuergerät des Fahrzeugs implementiert sein. Die Aktorik kann beispielsweise konfiguriert sein, um das Fahrzeug zu lenken, zu beschleunigen, abzubremsen und/oder zu navigieren. Hierzu kann die Aktorik beispielsweise einen Lenkaktor, einen Bremsaktor, ein Motorsteuergerät, einen elektrischen Antriebsmotor oder eine Kombination aus zumindest zwei der genannten Beispiele umfassen.
-
Der Lernalgorithmus kann im Allgemeinen als eine Funktion mit maschinell trainierbaren Parametern zum Umwandeln von Eingabedaten in Ausgabedaten, beispielsweise durch Klassifikation und/oder Regression, aufgefasst werden. Zum Trainieren der Parameter, auch Gewichte genannt, können reale und/oder simulierte Ultraschalldaten als Trainingsdaten in den Lernalgorithmus eingegeben werden und die resultierenden Ausgabedaten mit vordefinierten Zieldaten, auch Label genannt, verglichen werden. Dabei kann eine Abweichung zwischen den Ausgabe- und Zieldaten mithilfe einer geeigneten Kosten- und/oder Nutzenfunktion quantifiziert werden. Die Parameter können dann in einem geeigneten Optimierungsverfahren, beispielsweise in einem Gradientenverfahren durch Backpropagation, abhängig von der durch die Kosten- bzw. Nutzenfunktion quantifizierten Abweichung bis zum Erreichen eines lokalen oder globalen Optimums iterativ angepasst werden. Dies kann auch als überwachtes Lernen bezeichnet werden. Theoretisch kann der Lernalgorithmus jedoch auch durch unüberwachtes und/oder bestärkendes Lernen trainiert werden.
-
Der Lernalgorithmus kann beispielsweise ein künstliches neuronales Netz, ein Entscheidungsbaum, ein Random Forest, ein k-nächste-Nachbarn-Algorithmus, eine Support-Vector-Maschine, ein Bayes-Klassifikator, ein k-Means-Algorithmus, ein genetischer Algorithmus, ein Kernelregressionsalgorithmus, ein Diskriminanzanalyse-Algorithmus oder eine Kombination aus mindestens zwei der genannten Beispiele sein.
-
Die Sensordaten und/oder die Trainingsdaten können eine Mehrzahl von Messungen umfassen, wobei jede Messung einen oder mehrere Merkmalsvektoren umfassen kann. Ein solcher Merkmalsvektor kann mehrere Merkmalswerte wie beispielsweise Koordinatenwerte von Sender- und Empfängerpositionen, einen Echo-Entfernungswert, im Folgenden auch Echo-Distanz genannt, einen Echo-Amplitudenwert, einen Zeitstempel und/oder eine Objektkennung zur Zuordnung mehrerer Echo-Entfernungswerte zu einem möglichen Objekt über mehrere Zeitschritte, auch Trace-ID genannt, umfassen. Es ist möglich, dass Merkmalswerte unterschiedlicher Zeitschritte in geeigneter Weise, etwa durch Mittelung, zusammengefasst werden, um einen Merkmalsvektor zu bilden.
-
Bei den Trainingsdaten kann es sich um reale Ultraschalldaten handeln, die durch einen realen Ultraschallsensor erzeugt wurden und entsprechend vorverarbeitet worden sein können. Die entsprechenden Zieldaten können dann beispielsweise durch manuelles Labeln erzeugt werden. Alternativ kann es sich bei den Trainingsdaten um simulierte Ultraschalldaten handeln, die durch einen simulierten Ultraschallsensor erzeugt wurden, beispielsweise im Rahmen einer Computersimulation der Ultraschallsensorik, des Fahrzeugs und dessen Umgebung. In diesem Fall kann die Erzeugung der entsprechenden Zieldaten im Zuge der Computersimulation automatisch erfolgen. Somit kann ein manuelles Erzeugen der Label entfallen.
-
Unter einem Belegungsgitter kann ein in gleichförmige und/oder gleich große Gitterzellen eingeteiltes zwei- oder dreidimensionales Koordinatensystem verstanden werden. Der Ursprung des Belegungsgitters kann beispielsweise an einer geeigneten Stelle des Fahrzeugs festgelegt sein. Beispielsweise können die Gitterzellen quadratisch, rechteckig oder auch quaderförmig sein. Eine maximale Seitenlänge der Gitterzellen kann beispielsweise weniger als 50 cm, insbesondere weniger als 30 cm, betragen. Alternativ kann es sich bei den Gitterzellen um definierte Winkelbereiche eines Polarkoordinatensystems handeln. Das Belegungsgitter kann um das gesamte Fahrzeug herum gespannt sein oder auch nur einen Teilbereich der Umgebung des Fahrzeugs abdecken, beispielsweise dessen Frontbereich, Heckbereich, linken Seitenbereich und/oder rechten Seitenbereich. Zur Erfassung mehrerer solcher Teilbereiche kann die Ultraschallsensorik eine entsprechende Anzahl entsprechend platzierter Ultraschallsensoren umfassen. Hierbei kann jeder Teilbereich beispielsweise gleichzeitig durch mehrere, verteilt angeordnete Sende- und/oder Empfangseinheiten des jeweiligen Ultraschallsensors erfasst werden.
-
Unter Zieldaten kann ein Datensatz von Labeln, d. h. von Zielwerten, verstanden werden. Ein Zielwert kann beispielsweise ein Index für eine bestimmte Objektklasse aus mehreren vorgegebenen Objektklassen sein. Alternativ kann es sich bei dem Zielwert auch um einen stetigen Wert, beispielsweise einen Entfernungswert, handeln. Die Zieldaten können eine Vielzahl von Zielwerten umfassen, von denen jeder einer bestimmten Gitterzelle des Belegungsgitters zugeordnet sein kann. Beispielsweise kann die Zeilen- bzw. Spaltenanzahl der Zielwertmatrix mit einer Gitterzellenanzahl des Belegungsgitters in einer ersten bzw. zweiten Raumrichtung, etwa in x- bzw. y-Richtung, übereinstimmen. Bei der Zielwertmatrix kann es sich jedoch auch um eine dreidimensionale Matrix handeln. In diesem Fall kann die Anzahl der Zielwerte in Tiefenrichtung der Zielwertmatrix beispielsweise mit einer Gitterzellenanzahl des Belegungsgitters in einer dritten Raumrichtung, etwa in z-Richtung, übereinstimmen. Alternativ kann die Zielwertmatrix eindimensional, d. h. ein Vektor sein.
-
In gleicher Weise können auch die Ausgabewerte der Ausgabewertmatrix den Gitterzellen des Belegungsgitters zugeordnet sein.
-
Die Ausgabewerte können stetige und/oder diskrete Werte sein. Beispielsweise können die Ausgabewerte geschätzte Entfernungen von Objekten relativ zum Fahrzeug anzeigen. Zusätzlich oder alternativ können die Ausgabewerte Objektklassen anzeigen, d. h. Werte umfassen, die jeweils eine Tendenz oder Wahrscheinlichkeit für eine bestimmte Objektklasse aus mehreren vorgegebenen Objektklassen anzeigen (siehe auch weiter unten).
-
Zusätzlich zu den Positionen und/oder Orientierungen kann beispielsweise eine jeweilige Ausdehnung und/oder ein jeweiliger Objekttyp der Objekte durch Verarbeiten der Ausgabewerte bestimmt werden.
-
In aktuellen Fahrerassistenz- und Einparksystemen werden Ultraschallsensoren häufig horizontal zueinander verbaut. Wie eingangs erwähnt, werden die resultierenden Positionsdaten vorwiegend zur Präsenzdetektion verwendet, etwa um darauf aufbauend ein Parkmanöver zu berechnen. Dabei wird aus Effizienzgründen häufig nur das erste eintreffende Echosignal ausgewertet. Dies ermöglicht eine sichere Detektion des nächstliegenden und somit relevantesten Objekts in der Umgebung des Fahrzeugs, ohne dass hierzu allzu aufwendige Berechnungen durchgeführt zu werden brauchen. Andererseits können dadurch mögliche weitere Hindernisse, die sich beispielsweise hinter dem detektierten nächstliegenden Objekt befinden, nicht oder erst nach Passieren dieses Objekts detektiert werden und dementsprechend bei der Verhaltensplanung durch ein teil- oder vollautomatisiert agierendes Fahrzeugsystem nicht in ausreichendem Maß berücksichtigt werden.
-
Demgegenüber ermöglicht der hier vorgestellte Ansatz eine vorausschauende, sinnvolle Planung des Fahrverhaltens, indem durch eine erweiterte Multiechoauswertung, beispielsweise durch eine räumliche Lokalisierung in Kombination mit einer Klassifikation der Objekte, zusätzliche Informationen über das weitere nähere Umfeld, d. h. über weitere potenzielle Hindernisse, bereitgestellt werden können. Dabei wird nicht nur ein relativ kleiner Teil, sondern die Gesamtheit oder zumindest ein Großteil der Sensordaten zur Auswertung verwendet. Die Verwendung eines entsprechend trainierten Lernalgorithmus zur Auswertung der Sensordaten hat beispielsweise den Vorteil, dass falsch positive Erkennungen aufgrund von Geisterschnittpunkten zwischen Rotationsellipsoiden im dreidimensionalen Raum vermieden werden können. Ferner erübrigt sich dadurch die Verwendung eines oder mehrerer geometrischer Objektmodelle zur Objekterkennung. Ein weiterer Vorteil ist, dass der einmal trainierte Lernalgorithmus sehr recheneffizient arbeitet. Damit eignet sich der hier vorgestellte Ansatz gut für den Serieneinsatz.
-
Unter anderem ermöglicht der hier vorgestellte Ansatz eine dreidimensionale Positionsbestimmung mehrerer in der Umgebung des Fahrzeugs befindlicher Objekte, was insbesondere im Kontext autonomen Fahrens von Vorteil ist, da die Umgebung des Fahrzeugs somit sehr differenziert wahrgenommen werden kann.
-
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zur Datenverarbeitung, umfassend einen Prozessor, der konfiguriert ist, um das Verfahren gemäß einer Ausführungsform des ersten Aspekts der Erfindung auszuführen. Die Vorrichtung kann Hardware- und/oder Softwaremodule umfassen. Zusätzlich zum Prozessor kann die Vorrichtung einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale der Vorrichtung sein und umgekehrt.
-
Ein dritter Aspekt der Erfindung betrifft ein Fahrzeugsystem, das eine Ultraschallsensorik zum Erfassen einer Umgebung eines Fahrzeugs und eine Vorrichtung gemäß einer Ausführungsform des zweiten Aspekts der Erfindung, beispielsweise in Form eines Steuergeräts, umfasst. Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale des Fahrzeugsystems sein und umgekehrt.
-
Ein vierter Aspekt der Erfindung betrifft ein Computerprogramm. Das Computerprogramm umfasst Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, das Verfahren gemäß einer Ausführungsform des ersten Aspekts der Erfindung auszuführen.
-
Ein fünfter Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem das Computerprogramm gemäß einer Ausführungsform des dritten Aspekts der Erfindung gespeichert ist. Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann das computerlesbare Medium eine Festplatte, ein USB-Speichergerät, ein RAM, ROM, EPROM oder Flash-Speicher sein. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
-
Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein und umgekehrt.
-
Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
-
Gemäß einer Ausführungsform zeigen die Ausgabewerte eine Belegung oder Nichtbelegung der den Ausgabewerten zugeordneten Gitterzellen an. Anders ausgedrückt können die Ausgabewerte Objektklassen wie beispielsweise „überfahrbar“, „frei“, „nicht überfahrbar“ oder „belegt“ anzeigen. Dies ermöglicht eine genaue und robuste Präsenzdetektion. Zusätzlich kann beispielsweise für jede Gitterzelle, die als „nicht überfahrbar“ und/oder „belegt“ markiert wurde, eine semantische Klassifikation nach Objekttyp erfolgen.
-
Gemäß einer Ausführungsform zeigen die Ausgabewerte Objekttypen an. Dabei werden durch Verarbeiten der Ausgabewerte zusätzlich zu den Positionen und/oder Orientierungen Objekttypen der Objekte bestimmt. Anders ausgedrückt können die Ausgabewerte Objektklassen wie beispielsweise „Fußgänger“, „Fahrzeug“, „Fahrrad“, „Wand“ o. Ä. anzeigen. Somit können mit relativ geringem Rechenaufwand detaillierte und aussagekräftige Informationen über die in der Umgebung des Fahrzeugs befindlichen Objekte gewonnen werden, ohne dass für jeden Objekttyp ein eigenes Objektmodell erzeugt zu werden braucht.
-
Jede Gitterzelle kann mit nur einer Objektklasse oder auch mit mehreren unterschiedlichen Objektklassen markiert werden, beispielsweise mit einer Kombination aus einem Objekttyp und einem Attribut „überfahrbar“ oder „nicht überfahrbar“.
-
Der Lernalgorithmus kann einen oder mehrere Klassifikatoren zum Klassifizieren der Sensordaten umfassen. Bei mehreren Klassifikatoren können die Klassifikatoren beispielsweise auch mit unterschiedlichen Trainingsdaten trainiert worden sein.
-
Gemäß einer Ausführungsform zeigen die Ausgabewerte Entfernungen der Objekte an. Die Positionen und/oder Orientierungen der Objekte können dann beispielsweise basierend auf den Entfernungen bestimmt werden. Anders ausgedrückt kann der Lernalgorithmus trainiert worden sein, um aus den Sensordaten geschätzte Entfernungen reflektierender Objekten relativ zum Fahrzeug zu berechnen. Hierdurch können Messfehler, wie sie bei Laterationsverfahren auftreten können, vermieden werden.
-
Gemäß einer Ausführungsform ist die Anzahl der Gitterzellen konstant. Im Vergleich zu Ausführungen mit variabler Anzahl der Gitterzellen, d. h. mit variabler Größe des Belegungsgitters, kann die Auswertung der Sensordaten dadurch deutlich effizienter erfolgen.
-
Gemäß einer Ausführungsform ist das Belegungsgitter ein dreidimensionales Koordinatensystem. Somit können beispielsweise zusätzlich Höheninformationen bezüglich der Objekte in der Umgebung des Fahrzeugs gewonnen werden. Anders ausgedrückt können die Positionen und/oder Orientierungen der Objekte dadurch in drei Raumrichtungen bestimmt werden.
-
Gemäß einer Ausführungsform umfasst der Lernalgorithmus ein faltendes neuronales Netz, auch Convolutional Neural Network, kurz CNN, genannt. Zusätzlich oder alternativ kann der Lernalgorithmus ein Long-short-term-memory-Netz, kurz LSTM, umfassen. Möglich ist beispielsweise eine PointNet- oder UNet-Architektur. Es sind aber auch andere Architekturen denkbar. Dadurch kann eine hohe Erkennungsgenauigkeit des Lernalgorithmus bei überschaubarem Trainingsaufwand erreicht werden.
-
Gemäß einer Ausführungsform werden erste Sensordaten eines ersten Ultraschallsensors der Ultraschallsensorik in einen ersten Lernalgorithmus eingegeben, der mit ersten Ultraschalldaten als ersten Trainingsdaten und den ersten Trainingsdaten zugeordneten ersten Zieldaten trainiert wurde, um die ersten Sensordaten in erste Ausgabedaten umzuwandeln. Dabei umfassen die ersten Zieldaten eine Zielwertmatrix, die jeder Gitterzelle eines ersten Belegungsgitters, das eine zumindest durch den ersten Ultraschallsensor erfassbare Umgebung des Fahrzeugs in Gitterzellen mit einer definierten Größe und einer definierten Position relativ zum Fahrzeug unterteilt, mindestens einen ersten Zielwert zuordnet. Ferner werden zweite Sensordaten eines zweiten Ultraschallsensors der Ultraschallsensorik in einen zweiten Lernalgorithmus eingegeben, der mit unter Verwendung des zweiten Ultraschallsensors erzeugten zweiten Ultraschalldaten als zweiten Trainingsdaten und den zweiten Trainingsdaten zugeordneten zweiten Zieldaten trainiert wurde, um die zweiten Sensordaten in zweite Ausgabedaten umzuwandeln. Dabei umfassen die zweiten Zieldaten eine Zielwertmatrix, die jeder Gitterzelle eines zweiten Belegungsgitters, das eine zumindest durch den zweiten Ultraschallsensor erfassbare Umgebung des Fahrzeugs in Gitterzellen mit einer definierten Größe und einer definierten Position relativ zum Fahrzeug unterteilt, mindestens einen zweiten Zielwert zuordnet. Schließlich werden die ersten Ausgabedaten durch den ersten Lernalgorithmus und die zweiten Ausgabedaten durch den zweiten Lernalgorithmus ausgegeben. Dabei umfassen die ersten Ausgabedaten eine erste Ausgabewertmatrix, die jeder Gitterzelle des ersten Belegungsgitters mindestens einen ersten Ausgabewert zuordnet, und die zweiten Ausgabedaten eine zweite Ausgabewertmatrix, die jeder Gitterzelle des zweiten Belegungsgitters mindestens einen zweiten Ausgabewert zuordnet. Zum Erkennen der Objekte werden dann die ersten Ausgabewerte und die zweiten Ausgabewerte verarbeitet. Durch die Verwendung unterschiedlicher Lernalgorithmen für unterschiedliche Erfassungsbereiche der Ultraschallsensorik können Lernalgorithmen mit einfacheren Architekturen verwendet werden. Dadurch kann der Trainingsaufwand im Vergleich zu Ausführungen, bei denen ein einziger Lernalgorithmus für die gesamte Umgebung des Fahrzeugs trainiert wird, deutlich reduziert werden.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt schematisch ein Fahrzeug mit einem Fahrzeugsystem gemäß einem Ausführungsbeispiel der Erfindung.
- 3 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung.
- 4 zeigt schematisch ein Belegungsgitter zur Verwendung in einem Verfahren gemäß einem Ausführungsbeispiel der Erfindung.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt eine Vorrichtung 100 zum Auswerten von Sensordaten 102 einer Ultraschallsensorik 104 eines Fahrzeugs 105 durch maschinelles Lernen. Die Vorrichtung 100 kann beispielsweise ein Steuergerät des Fahrzeugs 105 sein. Mittels der Ultraschallsensorik 104 kann eine Umgebung des Fahrzeugs 105 in einer oder mehreren Erfassungsrichtungen erfasst werden. Wie in 1 angedeutet, kann die Ultraschallsensorik 104 beispielsweise konfiguriert sein, um einen Frontbereich, Heckbereich, linken und rechten Seitenbereich des Fahrzeugs 105 zu erfassen.
-
Die im Folgenden beschriebenen Module der Vorrichtung 100 können als Software und/oder Hardware implementiert sein.
-
In diesem Beispiel umfasst die Vorrichtung 100 ein Auswertemodul 107, das einen entsprechend trainierten Lernalgorithmus 108 zum Umwandeln der Sensordaten 102 in entsprechende Ausgabedaten 110 ausführt, etwa ein künstliches neuronales Netz in Form eines mehrschichtigen Perzeptrons, eines faltenden neuronalen Netzes, eines rekurrenten neuronalen Netzes, auch Recurrent Neural Network, kurz RNN, genannt, eines Long-short-term-memory-Netzes, eines PointNet-Netzes oder einer Kombination aus mindestens zwei der genannten neuronalen Netze. Der Lernalgorithmus 108 kann in Form eines Computerprogramms in einem Speicher 112 der Vorrichtung 100 gespeichert sein und durch Ausführen des Computerprogramms durch einen Prozessor 114 der Vorrichtung 100 ausgeführt werden.
-
Zum Auswerten der Sensordaten 102 werden die Sensordaten 102 hier in eine Eingabeschicht (nicht gezeigt) des künstlichen neuronalen Netzes eingegeben. Dabei werden die Sensordaten 102 über mehrere Zwischenschichten 115 des künstlichen neuronalen Netzes in die Ausgabedaten 110 umgewandelt und schließlich durch eine Ausgabeschicht (nicht gezeigt) des künstlichen neuronalen Netzes ausgegeben.
-
Jede Zwischenschicht 115 kann eine Mehrzahl versteckter Parameter zum Gewichten von Eingaben umfassen, wobei Ausgaben der Zwischenschicht 115 als Eingaben in eine nachfolgende Schicht eingegeben werden können. Die versteckten Parameter können durch Trainieren des Lernalgorithmus 108 mit geeigneten Ultraschalldaten als Trainingsdaten 116 und den Trainingsdaten 116 zugeordneten Zieldaten 118 durch einen Optimierer 120 angepasst worden sein. Der Optimierer 120 kann beispielsweise konfiguriert sein, um eine Abweichung zwischen den Ausgabedaten 110 und den Zieldaten 118 unter Verwendung einer geeigneten Verlustfunktion zu bestimmen und die Verlustfunktion durch entsprechendes Ändern der versteckten Parameter zu minimieren, etwa iterativ in einem Gradientenverfahren durch Backpropagation.
-
Anders als in 1 dargestellt, kann der Optimierer 120 beispielsweise auch ein durch einen externen Computer ausführbares externes Modul zum Offline-Trainieren des Lernalgorithmus 108 sein. Das Auswertemodul 107 kann in diesem Fall beispielsweise nur den fertig trainierten Lernalgorithmus 108 ohne den Optimierer 120 enthalten. Alternativ kann der Lernalgorithmus 108 auch online in dem Auswertemodul 107 trainiert werden. In diesem Fall kann der Optimierer 120 in das Auswertemodul 107 integriert sein, wie es in 1 gezeigt ist.
-
Die Umgebung des Fahrzeugs 105 kann durch ein Belegungsgitter 122 in mehrere aneinandergrenzende identische Gitterzellen 124 mit einer konstanten Größe und/oder einer konstanten Position relativ zum Fahrzeug 105 unterteilt sein. In diesem Beispiel überspannt das Belegungsgitter 122 die gesamte nähere Umgebung des Fahrzeugs 105, d. h. dessen Frontbereich, Heckbereich, linken und rechten Seitenbereich. Das Belegungsgitter 122 kann jedoch auch nur einen Teilbereich der Umgebung des Fahrzeugs 105 überspannen. Das Belegungsgitter 122 kann, ebenso wie die Gitterzellen 124, eine konstante Größe aufweisen. Beispielsweise kann das Belegungsgitter 122 als zweidimensionales xy-Koordinatensystem, wie in 1 gezeigt, oder dreidimensionales xyz-Koordinatensystem, wie in 4 gezeigt, ausgelegt sein. Alternativ kann das Belegungsgitter 122 als zwei- oder dreidimensionales Polarkoordinatensystem ausgelegt sein. Beispielsweise kann der Ursprung des Belegungsgitters 122 am Fahrzeug 105 festgelegt sein. In diesem Beispiel ist der Ursprung des Belegungsgitters 122 am Mittelpunkt der Vorderachse des Fahrzeugs 105 festgelegt.
-
Zur besseren Erkennbarkeit sind die Gitterzellen 124 in 1 stark vergrößert eingezeichnet. Eine realitätsnahe schematische Darstellung des Belegungsgitters 122 ist in 4 gezeigt. Die dort gezeigte Gitterzelle 124 hat eine beispielhafte Abmessung von 0,25 m × 0,25 m. Der Umriss des Fahrzeugs 105 ist durch eine Linie markiert. Beispielhafte Positionen einzelner Ultraschallsensoren der Ultraschallsensorik 104 sind durch Punkte markiert. Kreuze markieren Sender der Ultraschallsensorik 104. Der Ursprung des Belegungsgitters 122 ist beispielhaft bei x = 3,0 und y = 1,0 in der Mitte der Vorderachse des Fahrzeugs 105 fixiert.
-
Die Zieldaten 118 umfassen eine Zielwertmatrix 126, deren Struktur mit der Struktur des Belegungsgitters 122 übereinstimmen kann. Die Zielwertmatrix 126 ordnet jeder Gitterzelle 124 einen oder mehrere Zielwerte y zu, beispielsweise eine oder mehrere Objektklassen und/oder eine Entfernung (in 1 durch Doppelpfeile angedeutet).
-
Dementsprechend umfassen die Ausgabedaten 110 eine Ausgabewertmatrix 128, die jeder Gitterzelle 124 mindestens einen Ausgabewert ŷ zuordnet.
-
Zum Erkennen der Objekte 106 werden die Ausgabewerte ŷ in geeigneter Weise verarbeitet (siehe 3). Dabei wird zumindest eine jeweilige Position und/oder Orientierung der Objekte 106 in dem Belegungsgitter 122 bestimmt (siehe auch 4). Beispielweise können Definitionsdaten des Belegungsgitters 122 in dem Speicher 112 gespeichert sein und zum Verarbeiten der Ausgabewerte ŷ ausgelesen werden. Dadurch, dass jeder Ausgabewert ŷ an eine bestimmte Gitterzelle 124 gebunden ist und die Position der jeweiligen Gitterzelle 124 relativ zum Fahrzeug 105 und/oder deren Größe vorgegeben, d. h. konstant, ist, kann aus den Ausgabewerten ŷ sehr einfach eine jeweilige Position und/oder Orientierung der detektierten Objekte 106 und/oder deren jeweilige Ausdehnung bestimmt werden.
-
Die Ausgabewerte ŷ können Klassenwerte umfassen, die Wahrscheinlichkeiten für die oben genannten Objektklassen anzeigen. Beispielsweise können die Gitterzellen 124, die dem Objekt 106 in 1 und 4 zugeordnet sind, mit einer Objektklasse „Pfosten“ und/oder einer Objektklasse „nicht überfahrbar“ markiert sein.
-
Zusätzlich oder alternativ können die Ausgabewerte ŷ Entfernungswerte, d. h. Schätzwerte für Entfernungen der Objekte 106, umfassen. Beispielsweise können aus den Entfernungswerten Koordinatenwerte und/oder Winkelwerte berechnet werden, die die Positionen bzw. Orientierungen der Objekte 106 in dem Belegungsgitter 122 anzeigen.
-
Die Sensordaten 102 und/oder die Trainingsdaten 116 können beispielsweise durch geeignetes Vorverarbeiten von Rohdaten 130 der Ultraschallsensorik 104 in einem Vorverarbeitungsmodul 132 erzeugt werden. Beispielsweise kann das Vorverarbeitungsmodul 132 konfiguriert sein, um die Rohdaten 130 in Merkmalsvektoren 134 zu transformieren, die jeweils eine Mehrzahl von zur Verarbeitung durch den Lernalgorithmus 108 geeigneten Merkmalswerten x umfassen.
-
2 zeigt das Fahrzeug 105 aus 1 in der Seitenansicht. In diesem Beispiel sind die Vorrichtung 100 und die Ultraschallsensorik 104 Komponenten eines Fahrzeugsystems 200 zum teil- oder vollautomatisierten Steuern des Fahrzeugs 105. Zusätzlich zur Vorrichtung 100 und zur Ultraschallsensorik 104 kann das Fahrzeugsystem 200 eine Aktorik 202, etwa in Form eines Lenk- oder Bremsaktors, eines Motorsteuergeräts oder eines elektrischen Antriebsmotors, umfassen. Dementsprechend kann die Vorrichtung 100 konfiguriert sein, um basierend auf den Sensordaten 102 ein Steuersignal 204 zum Ansteuern der Aktorik 202 zu erzeugen. Das Steuersignal 204 kann beispielsweise bewirken, dass die Aktorik 202 das Fahrzeug 105 abbremst, beschleunigt und/oder lenkt.
-
Wie in 2 zu erkennen, kann die Ultraschallsensorik 104 beispielweise einen ersten Ultraschallsensor 104a, hier einen vorderen Ultraschallsensor zum Erfassen des Frontbereichs, und einen zweiten Ultraschallsensor 104b, hier einen hinteren Ultraschallsensor zum Erfassen des Heckbereichs, umfassen. Zusätzlich kann die Ultraschallsensorik 104 einen linken Ultraschallsensor (nicht gezeigt) zum Erfassen des linken Seitenbereichs und einen rechten Ultraschallsensor (nicht gezeigt) zum Erfassen des rechten Seitenbereichs umfassen. Jeder der Ultraschallsensoren kann eine oder mehrere Sende- und/oder Empfangseinheiten umfassen.
-
In diesem Beispiel empfängt die Vorrichtung 100 erste Sensordaten 102a vom ersten Ultraschallsensor 104a sowie zweite Sensordaten 102b vom zweiten Ultraschallsensor 104b und gibt die ersten Sensordaten 102a in einen ersten Lernalgorithmus 108a und die zweiten Sensordaten 102b in einen zweiten Lernalgorithmus 108b ein (siehe 3).
-
Dabei wurde der erste Lernalgorithmus 108a mit geeigneten ersten Ultraschalldaten als ersten Trainingsdaten 116a und den ersten Trainingsdaten 116a zugeordneten ersten Zieldaten 118a trainiert, um die ersten Sensordaten 102a in erste Ausgabedaten 110a umzuwandeln. Ebenso wurde der zweite Lernalgorithmus 108b mit geeigneten zweiten Ultraschalldaten als zweiten Trainingsdaten 116b und den zweiten Trainingsdaten 116b zugeordneten zweiten Zieldaten 118b trainiert, um die zweiten Sensordaten 102b in zweite Ausgabedaten 110b umzuwandeln.
-
Analog zu den Zieldaten 118, wie sie anhand von 1 beschrieben werden, umfassen die ersten Zieldaten 118a eine Zielwertmatrix, die jeder Gitterzelle eines ersten Belegungsgitters (nicht gezeigt), das hier den Frontbereich des Fahrzeugs 105 abdeckt, mindestens einen ersten Zielwert zuordnet, während die zweiten Zieldaten 118b eine Zielwertmatrix umfassen, die jeder Gitterzelle eines zweiten Belegungsgitters (nicht gezeigt), das hier den Heckbereich des Fahrzeugs 105 abdeckt, mindestens einen zweiten Zielwert zuordnet.
-
Analog zu den Ausgabedaten 110, wie sie anhand von 1 beschrieben werden, umfassen die ersten Ausgabedaten 110a eine Ausgabewertmatrix, die jeder Gitterzelle des ersten Belegungsgitters mindestens einen ersten Ausgabewert zuordnet, während die zweiten Ausgabedaten 110b eine Ausgabewertmatrix umfassen, die jeder Gitterzelle des zweiten Belegungsgitters mindestens einen zweiten Ausgabewert zuordnet.
-
Es ist möglich, dass sich das erste Belegungsgitter und das zweite Belegungsgitter teilweise überlappen.
-
In analoger Weise können beispielsweise auch die Sensordaten des dritten und/oder vierten Ultraschallsensors durch einen entsprechend trainierten dritten und/oder vierten Lernalgorithmus verarbeitet werden.
-
Wie in 3 gezeigt, können die Ausgabedaten 110, 110a, 110b in ein Erkennungsmodul 300 zum Erkennen der Objekte 106 eingegeben werden, das basierend auf den darin enthaltenen Ausgabewerten beispielsweise Objektklassen, Positionen, Orientierungen und/oder Ausdehnungen der Objekte 106 bestimmen und als Objektdaten 302 in einem Umgebungsmodell der Umgebung des Fahrzeugs 105 speichern und fortlaufend aktualisieren kann. Die Objektdaten 302 können dann beispielsweise von einem Steuermodul 304 ausgelesen und zum Erzeugen des Steuersignals 204 verwendet werden.
-
Im Folgenden wird der Lernalgorithmus 108 genauer beschrieben.
-
Zum Trainieren des Lernalgorithmus 108 kann beispielsweise der folgende minimale Trainingsdatensatz verwendet werden bzw. können beispielsweise folgende Arten von Messungen vorgenommen werden.
| Allgemein | Freiraum (keine Mauer, kein Zaun, Fußgänger, Baum usw.) für maximale Erkennungsreichweite rund um das Fahrzeug 105; |
| 1 Objekt oder mehr als 1 Objekt im Sichtfeld der Ultraschallsensorik 104; |
| statische und dynamische Objekte; |
| gleiche Datenmenge für verschiedene Objekttypen, Objektpositionen, Objektgeschwindigkeiten usw. |
| Objekttypen | Pfosten, Fußgänger, Mauer/Wand, Randstein, Fahrrad, Kleinkind, leer (für geringe Falsch-positiv-Rate) |
| Objektpositionen | überall im Sichtfeld, z. B. in Nah-fern-, Links-rechts- und/oder Vorn-hinten-Richtung relativ zum Fahrzeug 105 |
| Varianz | unterschiedliche Beispiele für jeden Objekttyp, unterschiedliche Aufnahmetage, unterschiedliche Wetterbedingungen (z. B. trocken/nass), verschiedene Ego-Fahrzeuge, verschiedene Ultraschallsensoriken (z. B. unterschiedliche Einbaupositionen und/oder unterschiedliche Anzahl der Ultraschallsensoren) |
-
Wie bereits beschrieben, können die von der Ultraschallsensorik 104 empfangenen Rohdaten 130 noch vorverarbeitet werden, beispielsweise im Steuergerät des Fahrzeugs 105. Dabei können die Echo-Distanzen der einzelnen Empfänger der Ultraschallsensorik 104 aus der jeweiligen Signallaufzeit berechnet werden. Neben den Echo-Distanzen, Sender- und Empfängerpositionen können aber auch noch weitere, für eine Klassifikation nützliche Merkmale extrahiert werden, wie beispielsweise die Echo-Amplitude als Maß für den Rückstreuwert eines empfangenen Echosignals oder die Trace-ID (siehe oben). Diese Merkmale können in den Merkmalsvektoren 134 miteinander kombiniert werden.
-
Beispielsweise können die in den Rohdaten 130 enthaltenen Informationen folgendermaßen strukturiert sein.
-
Die Rohdaten 130 können Messungen aus 1 Sendezyklus umfassen. Dabei kann 1 Sendezyklus N Messungen mit verschiedenen Sendern und/oder Empfängern der Ultraschallsensorik 104 und/oder so viele Ultraschallimpulse, bis das Empfangsmuster repetitiv wird, umfassen. Nach M < N Messungen hat jeder der Ultraschallsensoren einmal gesendet, d. h., das gesamte Sichtfeld wurde abgetastet.
-
Dabei kann 1 Messung durch Senden von Ultraschallimpulsen durch einen einzelnen Sender oder durch gleichzeitiges Senden von Ultraschallimpulsen durch mehrere Sender erzeugt werden. Der jeweilige reflektierte Anteil der Ultraschallimpulse kann dann beispielsweise durch benachbarte Empfänger empfangen werden. Es kann eine maximale Anzahl E empfangener Direktechos und/oder Kreuzechos definiert werden.
-
Ein einzelnes Echo kann beispielsweise durch einen Merkmalsvektor 134 mit folgenden Merkmalswerten oder zumindest einigen der folgenden Merkmalswerte beschrieben werden: x-Position des Senders, y-Position des Senders, z-Position des Senders, x-Position des Empfängers, y-Position des Empfängers, z-Position des Empfängers, Echo-Distanz, Echo-Amplitude, Zeitstempel, Trace-ID.
-
Bei der Vorverarbeitung der Rohdaten 130 durch das Vorverarbeitungsmodul 132 können beispielsweise N Messungen der Ultraschallsensorik 104 in geeigneter Weise zusammengefasst werden. Ultraschallsensoren haben in der Regel ein objektabhängiges Sichtfeld, das zum Beispiel für die Objekte „Fußgänger“ und „Wand“ sehr unterschiedlich ausfallen kann. Um diese Uneindeutigkeit bezüglich des Sichtfelds zu beseitigen (der genaue Objekttyp ist ja vorab nicht bekannt), können beispielsweise die letzten 4 oder 8 Messungen zusammengefasst werden. Beispielsweise können dabei die letzten N Messungen, die von Ultraschallsensoren mit unterschiedlichen Aussenderichtungen stammen, zusammengefasst werden.
-
Zum Erzeugen der Trainingsdaten 116 für eine PointNet-Architektur kann beispielsweise die Anzahl der in den letzten N Messungen gemessenen Merkmalsvektoren 134 variiert werden. Weiter können die Merkmalsvektoren 134 beispielsweise in zufälliger Reihenfolge sortiert werden und/oder zufällig dupliziert werden, bis eine konstante maximale Anzahl E erreicht wird, z. B. E = 120 für 1 Messung oder E = 480 für 4 zusammengefasste Messungen.
-
Für ein LSTM-Netz kann die Anzahl der in den letzten N Messungen gemessenen Merkmalsvektoren 134 ebenfalls variiert werden. Weiter können die Merkmalsvektoren 134 beispielsweise nach Zeitstempeln sortiert werden und/oder leere, d. h. mit Nullwerten befüllte Merkmalsvektoren 134 hinzugefügt werden, bis die konstante maximale Anzahl E (siehe oben) erreicht wird.
-
Wie bereits beschrieben, kann die Detektion von 3D-Objektpositionen mithilfe des hier vorgeschlagenen Ansatzes beispielsweise auf ein 2D-Problem in Kombination mit einer Unterscheidung zwischen den Klassen „überfahrbar“ und „nicht überfahrbar“ und/oder in Kombination mit einer Klassifikation nach Objekttyp reduziert werden.
-
Hierfür können beispielsweise die Labels „frei“, d. h. „überfahrbar“, und „belegt“, d. h. „nicht überfahrbar“, oder aber die Labels „frei“, „Fußgänger“, „Fahrzeug“, „Wand“, „Fahrrad“ o. Ä. für eine erweiterte Objekttypklassifikation als die Zielwerte y verwendet werden und in das Belegungsgitter 122, genauer in die dem Belegungsgitter 122 zugeordnete Zielwertmatrix 126, eingetragen werden.
-
Dementsprechend können die Ausgabedaten 110 des Lernalgorithmus 108 eine Prognose und/oder Wahrscheinlichkeit für Objektklassen bezüglich jeder einzelnen Gitterzelle 124 anzeigen. Beispielsweise können die Ausgabedaten 110 bezüglich der Gitterzellen 124 anzeigen, ob zu einem jeweiligen Messzeitpunkt ein relevantes Objekt 106 detektiert wird, beispielsweise ein „überfahrbares“ oder „nicht überfahrbares“ Objekt 106 oder ein „Fußgänger“, „Fahrzeug“, „Wand“, „Fahrrad“ o. Ä.
-
Das Belegungsgitter 122 kann beispielsweise ein 360-Grad-Belegungsgitter sein, das die gesamte Umgebung des Fahrzeugs 105 überspannt. Dies hat den Vorteil, dass insgesamt nur ein Klassifikator und/oder Regressor trainiert zu werden braucht. Alternativ können auch mehrere, in unterschiedliche Richtungen ausgerichtete Belegungsgitter 122 verwendet werden, beispielsweise vier Belegungsgitter 122 für den Frontbereich, Heckbereich, linken und rechten Seitenbereich des Fahrzeugs 105. Dies hat den Vorteil, dass die einzelnen Belegungsgitter 122 jeweils eine verringerte Anzahl an Gitterzellen 124 aufweisen, was das Training der jeweiligen Lernalgorithmen vereinfacht.
-
Über die Position der nicht als „frei“ bzw. nicht als „überfahrbar“ markierten Gitterzellen 124 innerhalb des Belegungsgitters 122 kann dann beispielsweise die Position des Objekts 106 ermittelt werden (siehe 4). Die Gitterzellen 124 können zusätzlich mit mindestens einer weiteren Objektklasse markiert sein, die Aufschluss über einen Objekttyp des Objekts 106 geben kann.
-
Nachfolgend werden zwei mögliche Architekturen für den Lernalgorithmus 108 in Form einer PointNet-Architektur und einer LSTM-Architektur beschrieben. Möglich sind aber auch andere Architekturen wie etwa VGG- oder UNet-Architekturen.
-
Parameter zum Erzeugen der Trainingsdaten 116 und/oder der Zieldaten 118 für die genannten Architekturen sind beispielhaft in der nachfolgenden Tabelle zusammengefasst.
| Anzahl kombinierter Messungen | 4 |
| Maximale Anzahl an Echos je Messung | 120 |
| Art des Belegungsgitters | xy-Koordinatensystem für Frontbereich des Fahrzeugs |
| Maße der Gitterzellen | 0,25 m × 0,25 m (Breite × Tiefe) je Gitterzelle |
| Breite des Belegungsgitters | 40 Gitterzellen in y-Richtung nach links/rechts, d. h. 10,0 m |
| Tiefe des Belegungsgitters | 24 Gitterzellen in x-Richtung nach vorn, d. h. 6,0 m |
| Gesamtzahl der Gitterzellen | 960 |
-
Die Größe des Belegungsgitters 122, d. h. die jeweilige Größe und Anzahl der Gitterzellen 124, kann konstant sein.
-
Hyperparameter der PointNet- bzw. LSTM-Architektur sind beispielhaft in der nachfolgenden Tabelle zusammengefasst (Propagierungsrichtung: von oben nach unten). Alternativ kann beispielsweise auch eine UNet-Architektur verwendet werden.
| PointNet-Architektur | LSTM-Architektur |
| Input: None, 480, 8 | Input: None, 480, 8 |
| 1 × Conv2D: 64 Filter mit Größe (1, 8) | Masking-Layer für Wert „0.0“ |
| 2 × Conv2D: 64 Filter mit Größe (1, 1) | 2 × LSTM-Layer mit 128 Einheiten |
| 1 × Conv2D: 128 Filter mit Größe (1, 1) | 2 × Dense: 1024 |
| 1 × Conv2D: 1024 Filter mit Größe (1, 1) | 1 × Dense: 24 × 40 (Sigmoid) Output: None, 24, 40 |
| MaxPooling2D mit Größe (480, 1) |
| 2 × Dense: 1024 |
| 1 × Dense: 24 × 40 (Sigmoid) Output: None, 24, 40 |
-
Die Vorteile des hier vorgestellten Ansatzes können wie folgt zusammengefasst werden.
-
Es wird eine Multiobjektdetektion und Positionsbestimmung mit nur einem gelernten Modell statt vieler geometrischer Modelle ermöglicht.
-
Das Verfahren kann besonders ressourcensparend ausgeführt werden, da die Ausführung des trainierten Lernalgorithmus 108 in der Regel weniger Rechenressourcen erfordert als typische Laterations- oder Rasterverfahren.
-
Zusätzlich wird eine semantische Klassifikation ermöglicht. In typischen Laterationsverfahren ist es hingegen erforderlich, den korrekten Objekttyp sozusagen zu vermuten.
-
Je nach Qualität der Trainingsdaten 116 kann die Falsch-positiv-Rate im Vergleich zu typischen Laterationsverfahren deutlich verringert werden.
-
Ferner kann der Informationsverlust im Vergleich zu typischen Laterationsverfahren deutlich verringert werden, da keine Sensordaten, oder nur sehr wenige Sensordaten, verworfen werden müssen.
-
Somit wird letztendlich eine zuverlässige situationsabhängige Umfeldanalyse anhand von Ultraschalldaten ermöglicht, sodass sich der hier vorgestellte Ansatz unter anderem für den Einsatz in autonom agierenden Fahrzeugsystemen eignet.
-
Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
