-
Die Erfindung betrifft ein Verfahren zum Steuern eines Fahrzeugs, insbesondere eines autonom fahrenden Fahrzeugs.
-
Stand der Technik
-
Ein Autonomes Fahrzeug ist ein Fahrzeug, das ohne Fahrer auskommt. Das Fahrzeug fährt dabei autonom, indem es beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer oder Hindernisse selbständig erkennt und die entsprechenden Steuerbefehle im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch der Fahrverlauf des Fahrzeugs korrekt beeinflusst wird. Der Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
-
Gegenwärtig verfügbare Fahrzeuge sind noch nicht in der Lage autonom zu agieren. Zum einen weil die entsprechende Technik noch nicht voll ausgereift ist. Zum anderen, weil es heutzutage noch gesetzlich vorgeschrieben ist, dass der Fahrzeugführer jederzeit selbst in das Fahrgeschehen eingreifen können muss. Dies erschwert die Umsetzung von autonomen Fahrzeugen. Jedoch gibt es bereits Systeme verschiedener Hersteller, die ein autonomes oder teilautonomes Fahren darstellen. Diese Systeme befinden sich in der intensiven Testphase. Bereits heute ist absehbar, dass in einigen Jahren vollautonome Fahrzeugsysteme auf den Markt kommen werden, sobald die oben genannten Hürden aus dem Weg geräumt wurden.
-
Unter Car-to-Car Communication (Car2Car oder C2C) wird der Austausch von Informationen und Daten zwischen Kraftfahrzeugen verstanden. Ziel dieses Datenaustausches ist es, dem Fahrer frühzeitig kritische und gefährliche Situationen zu melden.
-
Die betreffenden Fahrzeuge sammeln Daten, wie ABS Eingriffe, Lenkwinkel, Position, Richtung und Geschwindigkeit, und senden diese Daten über Funk (WLAN, UMTS ...) an die anderen Verkehrsteilnehmer. Dabei soll die „Sichtweite“ des Fahrers mit elektronischen Mitteln verlängert werden.
-
Unter Car-to-Infrastructure (C2I) wird der Austausch von Daten zwischen einem Fahrzeug und der umliegenden Infrastruktur (z.B. Lichtzeichenanlagen verstanden).
-
Die genannten Technologien basieren auf dem Zusammenwirken von Sensoren der verschiedenen Verkehrspartner und verwenden neueste Verfahren der Kommunikationstechnologie zum Austausch dieser Informationen.
-
Fahrerassistenzsysteme sind elektronische Zusatzeinrichtungen in Kraftfahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Ökonomie.
-
Fahrerassistenzsysteme greifen teilautonom oder autonom in Antrieb, Steuerung (z. B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Derzeit sind die meisten Fahrerassistenzsysteme so konzipiert, dass die Verantwortung beim Fahrer bleibt und dieser damit nicht entmündigt wird.
-
Für Fahrerassistenzsysteme kommen verschiedene Arten von Umfeldsensorik zum Einsatz, unter anderem:
- • Ultraschall (Einparkhilfe)
- • Radar (Spurwechselassistent, automatischer Abstandswarner)
- • Lidar (Totwinkel-Überwachung, automatischer Abstandswarner, Abstandsregelung, Pre-Crash und PreBrake)
- • Kamera (Spurverlassenswarnung, Verkehrszeichenerkennung, Spurwechselassistent, Totwinkel Überwachung, Notbremssystem zum Fußgängerschutz)
- • GNSS (Hochgenaue Fahrzeugpositionierung auf einer Karte, Steuerung eins autonomen Fahrzeugs, Safe-Stop).
-
Ein globales Navigationssatellitensystem (englisch global navigation satellite system) oder GNSS ist ein System zur Positionsbestimmung und Navigation auf der Erde und in der Luft durch den Empfang der Signale von Navigationssatelliten.
-
GNSS ist ein Sammelbegriff für die Verwendung bestehender und künftiger globaler Satellitensysteme wie:
- - NAVSTAR GPS (Global Positioning System) der Vereinigten Staaten von Amerika
- - GLONASS (Global Navigation Satellite System) der Russischen Föderation
- - Galileo der Europäischen Union
- - Beidou der Volksrepublik China.
-
Über Lidar-, Ultraschall- oder Radarumfeldsensoren lassen sich Umfelddaten eines Umfelds des Fahrzeugs aufnehmen. Die Lidar-, Ultraschall- oder Radarumfeldsensordaten ermöglichen eine exakte Entfernungsbestimmung von Objekten innerhalb des Umfelds des Fahrzeugs, von denen die von den entsprechenden Umfeldsensoren des Fahrzeugs ausgesendeten Lidar-, Ultraschall- oder Radarsignale zu den Umfeldsensoren zurückreflektiert werden. Hierdurch ist eine präzise Entfernungsbestimmungsbestimmung der Umfeldobjekte des Fahrzeugs ermöglicht.
-
Umfeldsensordaten von Lidar-, Ultraschall- oder Radarmessungen werden für gewöhnlich in dreidimensionalen Punktwolken zusammengefasst, bei denen jeder Datenpunkt einem an einem Umfeldobjekt reflektiertes Lidar-, Ultraschall- oder Radarsignal entspricht und Entfernungsinformation enthält. Die Auflösung solcher dreidimensionalen Punktwolken ist auf die Auflösung des jeweiligen Umfeldsensors beschränkt. In dreidimensionalen Punktwolken entspricht die Auflösung einer Punktdichte von Datenpunkten, die eine Anzahl von Punkten pro Volumenelement angibt. Aufgrund des identischen Blickwinkels, in dem die Lidar-, Ultraschall- oder Radarsignale vom Umfeldsensor ausgesendet werden, weisen Bereiche einer Punktwolke mit Datenpunkten, die an Objekten mit großem Abstand zum Umfeldsensor reflektiert wurden, naturgemäß eine geringe Punktdichte auf, während Bereiche der Punktwolke mit Datenpunkten, die an Objekte mit geringem Abstand zum Umfeldsensor reflektiert wurden, eine entsprechend höhere Punktdichte aufweisen.
-
Für eine Objekterkennung basierend auf dreidimensionalen Punktwolken sind Punktwolken mit einer möglichst hohen Punktdichte vorteilhaft, da durch die hohe Punktdichte eine detailliertere Objekterkennung auch von kleinen Objekten und damit verbunden eine Unterscheidung von sehr ähnlichen Objekten, die sich lediglich durch wenige Merkmale unterscheiden, ermöglicht ist.
-
Eine Objekterkennung auf Punktwolken mit hoher Punktdichte benötigt jedoch eine hohe Rechenleistung und erfordert die Verarbeitung hoher Datenmengen.
-
Für die Steuerung eines Fahrzeugs sind primär Objekte mit geringem Abstand zum Fahrzeug von Interesse, da diese für die Steuerung beziehungsweise eine Trajektorienplanung unmittelbar berücksichtigt werden müssen. Eine präzisere Objekterkennung ermöglicht hierbei eine präzisere Steuerung des Fahrzeugs.
-
Eine Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Steuern eines autonom fahrenden Fahrzeugs mit verbesserter Objekterkennung und ein System zum Steuern eines autonom fahrenden Fahrzeugs bereitzustellen.
-
Diese Aufgabe wird durch das Verfahren und das System gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum Steuern eines autonom fahrenden Fahrzeugs bereitgestellt, wobei das Verfahren umfasst: Aufnehmen von Umfeldsensordaten eines Umfelds eines Fahrzeugs durch einen Umfeldsensors des Fahrzeugs, wobei die Umfeldsensordaten als Datenpunkte in einer ersten dreidimensionalen Punktwolke mit einer ersten Auflösung von Umfeldsensordaten zusammengefasst sind; Erzeugen einer zweiten dreidimensionalen Punktwolke von Umfeldsensordaten auf Basis der ersten dreidimensionalen Punktwolke von Umfeldsensordaten durch ein erstes trainiertes neuronales Netz, wobei die zweite dreidimensionale Punktwolke Datenpunkte der ersten dreidimensionalen Punktwolke umfasst, und wobei die zweite dreidimensionale Punktwolke einen Punktbereich mit einer zweiten Auflösung aufweist, die höher ist als die erste Auflösung; und Erkennen eines Objekts im Umfeld des Fahrzeugs auf Basis der Datenpunkte des Punktbereichs der zweiten dreidimensionalen Punktwolke mit der zweiten Auflösung durch ein zweites trainiertes neuronales Netz.
-
Hierdurch wird der technische Vorteil erreicht, dass ein verbessertes Verfahren zum Steuern eines autonom fahrenden Fahrzeugs bereitgestellt werden kann, das über eine verbesserte Objekterkennung von Objekten in einem Umfeld des Fahrzeugs verfügt. Über das Generieren einer zweiten Punktwolke von Umfeldsensordaten von Umfeldsensoren des Fahrzeugs mit einer erhöhten Auflösung kann erreicht werden, dass aufgrund der erhöhten Auflösung eine präzisere Objekterkennung von Objekten innerhalb des Umfelds des Fahrzeugs ermöglicht ist. Über die präzisere Objekterkennung ist eine präzisere Steuerung des Fahrzeugs möglich.
-
Darüber hinaus kann erreicht werden, dass trotz Erhöhung der Auflösung der generierten zweiten dreidimensionalen Punktwolke von Datenpunkten von Umfeldsensordaten der Umfeldsensoren des Fahrzeugs zur Verarbeitung der generierten zweiten dreidimensionalen Punktwolke eine möglichst minimale Rechenleistung benötigt wird, indem lediglich Bereiche der zweiten dreidimensionalen Punktwolke mit einer erhöhten Auflösung versehen werden, während weitere Bereiche der zweiten dreidimensionalen Punktwolke mit der ursprünglichen Auflösung durch den Umfeldsensor erstellten ersten dreidimensionalen Punktwolke verbleiben. Hierdurch kann das Datenvolumen der zweiten dreidimensionalen Punktwolke reduziert werden, da nicht die vollständige Punktwolke mit der erhöhten Auflösung versehen wird sondern lediglich Bereiche von gesteigertem Interesse zur Objekterkennung einer Auflösungssteigerung unterzogen werden.
-
Dies erlaubt eine rechenkapazitätsreduzierte und schnelle Verarbeitung der generierten zweiten dreidimensionalen Punktwolke und damit verbunden eine beschleunigte Erkennung von Objekten innerhalb des Umfelds des Fahrzeugs, was wiederum zu einer leistungsfähigen und präzisen Steuerung des Fahrzeugs beiträgt.
-
Nach einem zweiten Aspekt der Erfindung wird ein System zum Steuern eines autonom fahrenden Fahrzeugs bereitgestellt, wobei das System aufweist:
- ein erstes neuronales Netz, das eingerichtet ist, auf Basis einer ersten dreidimensionalen Punktwolke von Umfeldsensordaten eines Umfeldsensors des Fahrzeugs mit einer ersten Auflösung eine zweite dreidimensionale Punktwolke von Umfeldsensordaten zu generieren, wobei die zweite dreidimensionale Punktwolke einen Punktbereich mit einer von der ersten Auflösung verschiedenen zweiten Auflösung aufweist;
- ein zweites neuronales Netz, das eingerichtet, auf Basis der Datenpunkte des Punktbereichs mit der zweiten Auflösung der zweiten dreidimensionalen Punktwolke ein Objekt des Umfelds des Fahrzeugs zu erkennen; und eine Trajektorienplanungseinheit, die eingerichtet ist, auf Basis des erkannten Objekts eine Trajektorienplanung durchzuführen; und/oder
- eine Aktautorensteuerungseinheit, die eingerichtet ist, einen Aktuator des Fahrzeugs auf Basis des erkannten Objekts anzusteuern; und eine Steuereinheit, die eingerichtet auf Basis der Trajektorienplanung und/oder der Aktuatorsteuerung das Fahrzeug unter Berücksichtigung des erkannten Objekts zu steuern.
-
Hierdurch wird der technische Vorteil erreicht, dass ein System zum Steuern eines autonom fahrenden Fahrzeugs bereitgestellt werden kann, das eingerichtet ist, das erfindungsgemäße Verfahren auszuführen.
-
Nach einem dritten Aspekt wird ein Computerprogrammprodukt mit Programmcodemitteln zur Durchführung des erfindungsgemäßen Verfahrens bereitgestellt, wenn es auf einer elektronischen Vorrichtung zum Steuern eines autonomen Fahrzeugs abläuft oder auf einem computerlesbaren Datenträger gespeichert ist.
-
Nach einer Ausführungsform umfasst das Generieren der zweiten dreidimensionalen Punktwolke:
- Hinzufügen von Datenpunkten in den Punktbereich der ersten dreidimensionalen Punktwolke durch das trainierte erste neuronale Netz, und wobei die hinzugefügten Datenpunkte keine Datenpunkte der ersten dreidimensionalen Punktwolke sind.
-
Hierdurch wird der technische Vorteil erreicht, dass ein einfaches Verfahren zum Generieren einer dreidimensionalen Punktwolke mit erhöhter Auflösung bereitgestellt werden kann. Hierdurch werden durch das entsprechend trainierte erste neuronale Netz zu den Datenpunkten der ersten dreidimensionalen Punktwolke, die auf den Umfeldsensordaten des Umfeldsensors basiert, zusätzliche Datenpunkte zu der ersten dreidimensionalen Punktwolke hinzugefügt. Über die zusätzlichen Datenpunkte, die insbesondere in einem dafür ausgewählten Punktbereich zu den Datenpunkten der ersten dreidimensionalen Punktwolke hinzugefügt werden, kann die Auflösung der zweiten dreidimensionalen Punktwolke, insbesondere im Punktbereich, in dem die zusätzlichen Datenpunkte hinzugefügt werden, relativ zur ersten Auflösung der ersten dreidimensionalen Punktwolke erhöht werden. Durch das Hinzufügen weiterer Datenpunkte, die keine Datenpunkte der ersten dreidimensionalen Punktwolke sind, kann ein einfaches Verfahren zur Erhöhung der Auflösung der auf den Umfeldsensordaten des Umfeldsensors basierenden ersten dreidimensionalen Punktwolke erreicht werden.
-
Nach einer Ausführungsform umfasst das Hinzufügen von Datenpunkten: Erkennen von Punktclustern in den Datenpunkten des Punktbereichs der ersten dreidimensionalen Punktwolke durch das erste neuronale Netz, wobei Datenpunkte eines Punktclusters zu weiteren Datenpunkten desselben Punktclusters einen geringeren Abstand aufweisen als zu Punkten außerhalb des Punktclusters; und Einfügen von zusätzlichen Datenpunkten in erkannte Punktcluster durch das erste neuronale Netz.
-
Hierdurch wird der technische Vorteil erreicht, dass eine effiziente Erhöhung der Auflösung der auf den Umfeldsensordaten des Umfeldsensors basierenden ersten dreidimensionalen Punktwolke bereitgestellt werden kann. Hierzu erkennt das entsprechend trainierte erste neuronale Netz Punktcluster innerhalb des Punktbereichs der ersten dreidimensionalen Punktwolke, für den eine Erhöhung der Auflösung vorgenommen werden soll, und fügt weitere Datenpunkte in die jeweiligen erkannten Punktcluster hinzu.
-
Punktcluster sind im Sinne der Anmeldung Ansammlungen von Datenpunkten innerhalb einer dreidimensionalen Punktwolke, wobei relative Abstände zwischen Datenpunkten innerhalb eines Punktclusters geringer sind als Abstände von Datenpunkten des Punktclusters zu Datenpunkten außerhalb des Punktclusters. In dreidimensionalen Punktwolken, die in einer Messung des Umfelds des Fahrzeugs durch den Umfeldsensor aufgenommen werden, entsprechen Punktcluster für gewöhnlich Objekten, die sich im Umfeld des Fahrzeugs befinden und sich vom Hintergrund des Umfelds abheben. Durch das Erkennen der Punktcluster innerhalb der dreidimensionalen Punktwolke durch das erste neuronale Netz, können somit die Bereiche innerhalb der dreidimensionalen Punktwolke zum Erhöhen der Auflösung ausgewählt werden, die zur Objekterkennung von gesteigerter Relevanz sind. Indem das entsprechend trainierte erste neuronale Netz ausschließlich Datenpunkte in die jeweils erkannten Punktcluster hinzufügt, um die Auflösung der Bereiche der erkannten Punktcluster zu erhöhen, kann eine äußerst effiziente Steigerung der Auflösung der zweiten dreidimensionalen Punktwolke erreicht werden, indem ausschließlich die Bereiche der Punktwolke mit zusätzlichen Datenpunkten und damit verbunden mit einer erhöhten Auflösung versehen werden, die ein zu erkennendes Objekt des Umfelds des Fahrzeugs repräsentieren. Die Objekterkennung kann somit mit einer erhöhten Auflösung durchgeführt werden, während Bereiche der dreidimensionalen Punktwolke, in denen keine zu erkennenden Objekte zu erwarten sind, mit einer entsprechend geringeren Auflösung verarbeitet werden können. Hierdurch kann die Anzahl der hinzuzufügenden Datenpunkte zur Erhöhung der Auflösung auf ein Minimum reduziert werden, wodurch das Datenvolumen der generierten zweiten dreidimensionalen Punktwolke ebenfalls reduziert werden kann.
-
Nach einer Ausführungsform umfasst die zweite dreidimensionale Punktwolke einen weiteren Punktbereich, wobei der zweite Punktbereich die erste Auflösung oder eine dritte Auflösung aufweist, wobei die dritte Auflösung niedriger ist als die zweite Auflösung, ferner umfassend: Erkennen eines weiteren Objekts im Umfeld des Fahrzeugs auf Basis der Datenpunkte des weiteren Punktbereichs der zweiten dreidimensionalen Punktwolke mit der ersten Auflösung oder der dritten Auflösung durch das zweite trainierte neuronale Netz oder ein drittes neuronales Netz.
-
Hierdurch wird der technische Vorteil erreicht, dass eine weitere Objekterkennung bereitgestellt werden kann. Hierdurch wird ein zweiter Punktbereich innerhalb der zweiten dreidimensionalen Punktwolke ermittelt, der entweder die Auflösung der ersten dreidimensionalen Punktwolke oder eine weitere Auflösung umfasst, die ebenfalls geringer als die erhöhte zweite Auflösung der erkannten Punktcluster des ersten Punktbereichs ist. Innerhalb dieses Punktbereichs können ebenfalls Objekte erkannt werden, wodurch eine Objekterkennung von Objekten innerhalb des Umfelds des Fahrzeugs weiter verbessert wird.
-
Nach einer Ausführungsform beschreiben die Datenpunkte des Punktbereichs mit der zweiten Auflösung einen Nahbereich des Umfelds des Fahrzeugs, und wobei Objekte des Nahbereichs einen Abstand zum Fahrzeug aufweisen, der kleiner als ein vorbestimmter Abstand ist, wobei die Datenpunkte des weiteren Punktbereichs mit der ersten Auflösung oder der dritten Auflösung einen Fernbereich des Umfelds des Fahrzeugs beschreiben, und wobei Objekte des Fernbereichs einen Abstand zum Fahrzeug aufweisen, der größer als der vorbestimmte Abstand ist.
-
Hierdurch wird der technische Vorteil erreicht, dass eine weitere Präzisierung der Steuerung des autonom fahrenden Fahrzeugs erreicht werden kann, indem Objekte innerhalb eines Nahbereichs des Fahrzeugs mit einer erhöhten Auflösung detektiert werden können. Dadurch, dass der Punktbereich, für den durch das erste neuronale Netz die Auflösung relativ zur Auflösung der ursprünglichen ersten dreidimensionalen Punktwolke erhöht wird, einen Nahbereich des Umfelds des Fahrzeugs beschreibt, kann erreicht werden, dass die Punktcluster, die Objekten innerhalb des Nahbereichs des Umfelds des Fahrzeugs entsprechen, mit zusätzlichen Datenpunkten und damit verbunden mit einer erhöhten Auflösung versehen werden, wodurch eine präzisere Objekterkennung der Objekte innerhalb des Nahbereichs des Fahrzeugs ermöglicht ist.
-
Objekte in einem Fernbereich werden hingegen weiterhin mit der reduzierten Auflösung der ursprünglichen ersten Punktwolke erkannt. Da für die Steuerung des autonom fahrenden Fahrzeugs die im Nahbereich des Fahrzeugs angeordneten Objekte von einer übergeordneten Wichtigkeit sind, da das autonom fahrende Fahrzeug zunächst um die im Nahbereich angeordneten Objekte manövriert werden muss, bevor dieses auf die im Fernbereich angeordneten Objekte stößt, ist die Objekterkennung von Objekten im Nahbereich gegenüber Objekten im Fernbereich von erhöhter Wichtigkeit. Durch die erhöhte Auflösung der Objekte innerhalb des Nahbereichs kann eine erhöhte Präzision der Objekterkennung von Objekten im Nahbereich erreicht werden, während durch die Darstellung der Objekte im Fernbereich in reduzierter Auflösung keine Beeinträchtigung der Präzision der Objekterkennung und damit verbunden der Steuerung des Fahrzeugs verbunden ist. Eine Objekterkennung von Objekten innerhalb des Fernbereichs, die mit einer größeren Entfernung zum Fahrzeug angeordnet sind, mit einer erhöhten Auflösung trägt hingegen nicht zur Steigerung der Präzision der Steuerung des Fahrzeugs bei. Das Verfahren ermöglicht somit, dass ausschließlich die zur Steuerung des Fahrzeugs direkt relevanten Bereiche innerhalb des Umfelds des Fahrzeugs mit einer erhöhten Auflösung betrachtet werden, sodass diese Objekte mit einer erhöhten Präzision erkennbar sind, während gleichzeitig eine Erhöhung des Datenvolumens infolge der erhöhten Auflösung auf ein Minimum reduziert werden kann.
-
Nach einer Ausführungsform umfasst das Verfahren ferner:
- Durchführen einer Trajektorienplanung durch eine Trajektorienplanungseinheit des Fahrzeugs auf Basis des erkannten Objekts und/oder des erkannten weiteren Objekts; und/oder
- Ansteuern eines Aktuators des Fahrzeugs durch eine Aktuatorsteuerungseinheit auf Basis des erkannten Objekts und/oder des erkannten weiteren Objekts; und Steuern des Fahrzeugs auf Basis der Trajektorienplanung und/oder der Aktuatorsteuerung unter Berücksichtigung des erkannten Objekts und/oder des erkannten weiteren Objekts.
-
Hierdurch wird der technische Vorteil erreicht, dass eine präzise Steuerung des Fahrzeugs auf Basis der erkannten Objekte innerhalb des Nahbereichs bzw. des Fernbereichs des Umfelds des Fahrzeugs ermöglicht ist.
-
Nach einer Ausführungsform sind die Trajektorienplanungseinheit und/oder die Aktuatorsteuerungseinheit jeweils durch ein individuelles weiteres neuronales Netz oder durch ein gemeinsames neuronales Netz gebildet.
-
Hierdurch wird der technische Vorteil erreicht, dass eine leistungsfähige Trajektorienplanungseinheit und eine leistungsfähige Aktuatorsteuerungseinheit in Form individueller neuronaler Netze bzw. in Form eines gemeinsamen neuronalen Netzes bereitgestellt werden kann. Indem die Trajektorienplanungseinheit bzw. die Aktuatorsteuereinheit als zwei individuelle neuronale Netze oder als ein gemeinsames neuronales Netz ausgebildet sein können, ist eine individuelle Anpassung des Verfahrens an eine entsprechende Anwendungssituation gewährleistet.
-
Nach einer Ausführungsform sind das erste neuronale Netz und das zweite neuronale Netz als eine integrierte Erkennungseinheit ausgebildet, wobei die Erkennungseinheit in den Umfeldsensor oder in eine Steuereinheit des Fahrzeugs integriert ist.
-
Hierdurch wird der technische Vorteil erreicht, dass eine möglichst kompakte Steuerung des autonom fahrenden Fahrzeugs ermöglicht ist, indem die ersten und zweiten neuronalen Netze sowohl in den Umfeldsensor als auch in eine Steuereinheit des Fahrzeugs integriert sein können. Hierdurch kann wiederum eine Anpassung des Verfahrens an eine entsprechende Anwendungssituation erreicht werden.
-
Nach einer Ausführungsform sind das erste neuronale Netz und das zweite neuronale Netz als zwei getrennte neuronale Netze ausgebildet, wobei das erste neuronale Netz und das zweite neuronale Netz jeweils in den Umfeldsensor oder in eine Steuereinheit des Fahrzeugs integriert sind.
-
Hierdurch wird der technische Vorteil erreicht, dass eine höhere Flexibilität des erfindungsgemäßen Verfahrens ermöglicht ist. Indem die ersten und zweiten neuronalen Netze jeweils als individuelle neuronale Netze ausgestaltet sind, ist eine Anpassung des Verfahrens an geänderte Voraussetzungen erleichtert. Beispielsweise kann das Verfahren problemlos an eine neue Generation von Umfeldsensoren angepasst werden, die über eine erhöhte Auflösung verfügen. Zur Anpassung des Verfahrens muss somit lediglich das erste neuronale Netz auf die erhöhte Auflösung der durch den Umfeldsensor generierten ersten dreidimensionalen Punktwolke angepasst werden. Da das zweite neuronale Netz auf der durch das erste neuronale Netz generierte zweite dreidimensionale Punktwolke und deren Auflösung angepasst ist, kann dieses mit der ursprünglichen Konfiguration weiter betrieben werden.
-
Allgemein ist das erste neuronale Netz darauf eingerichtet, Punktwolken mit der ersten Auflösung zu verarbeiten, während das zweite neuronale Netz eingerichtet ist, Punktwolken mit der zweiten Auflösung bzw. mit einer Kombination aus Bereichen mit erster Auflösung und Bereichen mit zweiter Auflösung zu verarbeiten.
-
Nach einer Ausführungsform ist der Umfeldsensor ein Lidar-Sensor, ein Radar-Sensor, eine Stereokamera oder ein Ultraschallsensor, wobei die Datenpunkte der dreidimensionalen Punktwolke der Umfeldsensordaten eine Entfernungsinformation umfassen.
-
Hierdurch wird der technische Vorteil erreicht, dass eine möglichst präzise Objekterkennung von Objekten im Umfeld des autonom fahrenden Fahrzeugs bereitgestellt werden kann, wodurch eine möglichst präzise Steuerung des Fahrzeugs ermöglicht ist. Lidar-, Ultraschall- oder Radarsensoren sind Stand der Technik in Bezug auf die Objekterkennung autonom fahrender Fahrzeuge und ermöglichen insbesondere eine Ermittlung von Entfernungsinformationen von detektierten Objekten zum zu steuernden Fahrzeug. Über die bereitgestellte Entfernungsinformation ist eine möglichst präzise Steuerung des autonom fahrenden Fahrzeugs ermöglicht.
-
Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In der schematischen Zeichnung zeigen:
- 1 ein Flussdiagramm eines Verfahrens zum Steuern eines autonom fahrenden Fahrzeugs gemäß einer Ausführungsform;
- 2 ein Flussdiagramm eines Trainingsprozesses eines ersten neuronalen Netzes zum Ausführen des Verfahrens in 1 gemäß einer Ausführungsform;
- 3 eine schematische Darstellung eines Systems zum Steuern eines autonom fahrenden Fahrzeugs; und
- 4 eine schematische Darstellung eines Computerprogrammprodukts.
-
1 zeigt ein Flussdiagramm eines Verfahrens 100 zum Steuern eines autonom fahrenden Fahrzeugs gemäß einer Ausführungsform.
-
In der Ausführungsform in 1 werden in einem ersten Verfahrensschritt 101 zunächst durch einen Umfeldsensor des Fahrzeugs Umfeldsensordaten eines Umfelds des Fahrzeugs erstellt. Die Umfeldsensordaten sind in einer ersten dreidimensionalen Punktwolke zusammengefasst, die eine erste Auflösung aufweist. Die erste Auflösung der ersten dreidimensionalen Punktwolke beschreibt hierbei insbesondere eine Punktdichte der einzelnen Datenpunkte innerhalb der ersten dreidimensionalen Punktwolke. Die erste Auflösung der ersten dreidimensionalen Punktwolke ergibt sich aus der Auflösung des Umfeldsensors.
-
Gemäß einer Ausführungsform kann der Umfeldsensor ein Lidarsensor, ein Radarsensor, ein Ultraschallsensor oder eine Stereokamera sein. Die aufgenommenen Umfeldsensordaten können hierbei Entfernungsinformationen umfassen, die eine Entfernungsbestimmung eines detektierten Objekts ermöglichen.
-
Die Datenpunkte der dreidimensionalen Punktwolke stellen hierbei einzelne Sensorsignale dar, die vom Umfeldsensor in das Umfeld des Fahrzeugs ausgesendet, von einem Objekt bzw. Gegenstand innerhalb des Umfelds reflektiert und vom Umfeldsensor empfangen wurden. Bei der Stereokamera entsprechen die Datenpunkte Pixelinformationen, welche durch Lichteinfall an den Sensierelementen erkannt wurden. Eine dreidimensionale Punktwolke der Umfeldsensordaten ermöglicht somit eine dreidimensionale Darstellung des Umfelds des Fahrzeugs, wobei einzelne Datenpunkte der dreidimensionalen Punktwolke Entfernungsinformationen bezüglich der Gegenstände bzw. Objekte im Umfeld des Fahrzeugs relativ zum Fahrzeug beinhalten.
-
Darauf folgend wird zur Objekterkennung von Objekten innerhalb des Umfelds des Fahrzeugs die vom Umfeldsensor aufgenommene dreidimensionale Punktwolke als Eingabedaten eines entsprechend trainierten ersten neuronalen Netzes verwendet. Das erste neuronale Netz ist hierbei darauf trainiert, die erste dreidimensionale Punktwolke des Umfeldsensors, die eine erste Auflösung des Umfeldsensors aufweist, einzulesen und auf Basis der ersten dreidimensionalen Punktwolke eine zweite dreidimensionale Punktwolke zu generieren, die eine höhere zweite Auflösung aufweist als die erste dreidimensionale Punktwolke.
-
Das erste neuronale Netz kann hierbei ein aus dem Stand der Technik bekanntes neuronales Netz zum Verarbeiten von dreidimensionalen Punktwolken sein.
-
In einem zweiten Verfahrensschritt 103 generiert das erste neuronale Netz auf Basis der ersten dreidimensionalen Punktwolke der Umfeldsensordaten des Umfeldsensors eine zweite dreidimensionale Punktwolke, die Datenpunkte der ersten dreidimensionalen Punktwolke umfasst, und die zusätzlich einen Punktbereich mit einer zweiten Auflösung aufweist, die höher ist als die erste Auflösung der ersten dreidimensionalen Punktwolke.
-
In der Ausführungsform in 1 umfasst der zweite Verfahrensschritt 103 ferner einen weiteren Verfahrensschritt 107. Im Verfahrensschritt 107 fügt das erste neuronale Netz zum Generieren der zweiten dreidimensionalen Punktwolke auf Basis der ersten dreidimensionalen Punktwolke zusätzliche Datenpunkte in dem Punktbereich der ersten dreidimensionalen Punktwolke ein und erhöht somit die Auflösung des Punktbereichs, in den die zusätzlichen Datenpunkte eingefügt wurden.
-
Hierzu erkennt das erste neuronale Netz in einem Verfahrensschritt 109 Punktcluster von Datenpunkten innerhalb des ausgewählten Punktbereichs der ersten dreidimensionalen Punktwolke. Punktcluster sind hierbei Gruppierungen von Datenpunkten innerhalb der dreidimensionalen Punktwolke, wobei Datenpunkte innerhalb eines Punktclusters einen relativen Abstand zu weiteren Datenpunkten innerhalb des Punktclusters aufweisen, der geringer ist als ein Abstand zu Datenpunkten außerhalb des Punktclusters.
-
Nach Erkennen der Punktcluster fügt das erste neuronale Netz in einem Verfahrensschritt 111 zusätzliche Datenpunkte in das erkannte Punktcluster. Hierdurch wird die Punktdichte innerhalb der erkannten Punktcluster erhöht, wodurch eine erhöhte Auflösung der Punktcluster, und insbesondere der zweiten dreidimensionalen Punktwolke erreicht wird.
-
Die durch das erste neuronale Netz auf Basis der ersten dreidimensionalen Punktwolke von Umfeldsensordaten des Umfeldsensors generierte zweidimensionale Punktwolke umfasst somit die Datenpunkte der ersten dreidimensionalen Punktwolke und darüber hinaus zusätzliche durch das erste neuronale Netz generierte und hinzugefügte Datenpunkte, die durch das erste neuronale Netz in erkannte Punktcluster innerhalb der ersten dreidimensionalen Punktwolke integriert wurden.
-
Die Punktcluster innerhalb der ersten dreidimensionalen Punktwolke entsprechen Datenpunkten, die ein Objekt innerhalb des Umfelds des autonom fahrenden Fahrzeugs darstellen. Über das Hinzufügen der zusätzlichen Datenpunkte in die Punktcluster wird die Auflösung der Bereiche der Punktcluster, und damit der Bereiche der dreidimensionalen Punktwolke, die die Objekte innerhalb des Umfelds des autonom fahrenden Fahrzeugs darstellen, mit einer erhöhten zweiten Auflösung versehen, wodurch eine präzisere Objekterkennung der durch die Punktcluster dargestellten Objekte ermöglicht ist.
-
Gemäß einer Ausführungsform werden durch das neuronale Netz ausschließlich die Punktcluster mit zusätzlichen Datenpunkten versehen, die einen Nahbereich des Umfelds des Fahrzeugs darstellen, während Punktcluster, die einen Fernbereich des Fahrzeugs darstellen, keine zusätzlichen Datenpunkte erhalten und weiterhin die erste Auflösung der ersten dreidimensionalen Punktwolke umfassen.
-
Ein Nahbereich ist hierbei ein Bereich des Umfelds des Fahrzeugs, der einen Abstand aufweist, der geringer oder gleich ist als ein zuvor festgelegter Grenzwert, während ein Fernbereich Bereiche des Umfelds des Fahrzeugs beschreibt, deren Objekte einen größeren Abstand zum Fahrzeug aufweisen als der festgelegte Grenzwert.
-
Das erste neuronale Netz ist ferner darauf trainiert, anhand der Entfernungsinformationen der Umfeldsensordaten der ersten dreidimensionalen Punktwolke des Umfeldsensors die einzelnen Datenpunkte der ersten dreidimensionalen Punktwolke dem Nahbereich bzw. dem Fernbereich zuzuordnen. Das erste neuronale Netz ist ferner darauf trainiert, Punktcluster innerhalb des Nahbereichs zu erkennen und mit entsprechenden zusätzlichen Datenpunkten zu versehen, um so die Punktdichte und insbesondere die Auflösung gegenüber der ersten Auflösung der ursprünglichen ersten dreidimensionalen Punktwolke der Umfeldsensordaten des Umfeldsensors zu erhöhen.
-
Nach Generieren der zweiten dreidimensionalen Punktwolke wird in einem Verfahrensschritt 105 durch ein weiteres zweites neuronales Netz wenigstens ein Objekt innerhalb des Nahbereichs erkannt. Die Objekterkennung des wenigstens einen Objekts innerhalb des Nahbereichs durch das zweite neuronale Netz erfolgt auf den Datenpunkten innerhalb des Punktbereichs der zweiten dreidimensionalen Punktwolke, der über die erhöhte zweite Auflösung verfügt. Insbesondere wird zur Objekterkennung das Punktcluster innerhalb des Nahbereichs der zweiten dreidimensionalen Punktwolke berücksichtigt, das durch das erste neuronale Netz beim Generieren der zweiten dreidimensionalen Punktwolke mit zusätzlichen Datenpunkten versehen wurde und somit über eine erhöhte zweite Auflösung verfügt. Die Objekterkennung der Objekte im Nahbereich kann somit basierend auf Punktclustern mit erhöhter Auflösung durchgeführt werden, wodurch eine präzisere und detailliertere Objekterkennung ermöglicht ist. Das zweite neuronale Netz ist hierbei darauf trainiert, dreidimensionale Punktwolken mit der zweiten Auflösung, bzw. dreidimensionale Punktwolken mit Bereichen, die eine zweite Auflösung aufweisen, und Bereichen, die eine erste Auflösung aufweisen, zu verarbeiten.
-
In einem weiteren Verfahrensschritt 113 wird ein weiteres Objekt erkannt, das im Fernbereich des Umfelds des autonom fahrenden Fahrzeugs angeordnet ist. Das weitere Objekt wird basierend auf Datenpunkten der zweiten dreidimensionalen Punktwolke erkannt, die in einem Punktbereich angeordnet sind, die die erste Auflösung der ursprünglichen ersten dreidimensionalen Punktwolke aufweist. Die Objekterkennung von Objekten im Fernbereich erfolgt somit mit der ursprünglichen Auflösung des Umfeldsensors, wodurch im Vergleich zur Objekterkennung der Objekte im Nahbereich eine Erkennung mit reduzierter Auflösung erfolgt. Die Objekterkennung der Objekte im Fernbereich kann durch das zweite neuronale Netz durchgeführt werden. Alternativ kann die Objekterkennung im Fernbereich durch ein weiteres entsprechend trainiertes drittes neuronales Netz durchgeführt werden. Das dritte neuronale Netz ist in dem Fall darauf trainiert, Punktwolken mit der ersten Auflösung zu verarbeiten.
-
Das zweite neuronale Netz und gegebenenfalls das dritte neuronale Netz können beliebige aus dem Stand der Technik bekannte neuronale Netze sein, die für eine Objekterkennung basierend auf dreidimensionalen Punktwolken geeignet sind.
-
In einem weiteren Verfahrensschritt 115 wird basierend auf den erkannten Objekten im Nahbereich bzw. den erkannten Objekten im Fernbereich eine Trajektorienplanung durch eine Trajektorienplanungseinheit durchgeführt.
-
In einem Verfahrensschritt 117 wird alternativ oder zusätzlich auf Basis der erkannten Objekte im Nahbereich bzw. der erkannten Objekte im Fernbereich eine Aktuatoransteuerung durch eine Aktuatorsteuereinheit durchgeführt.
-
Basierend auf der Trajektorienplanung bzw. der Aktuatoransteuerung wird somit in einem Verfahrensschritt 119 eine Steuerung des autonom fahrenden Fahrzeugs unter Berücksichtigung der erkannten Objekte durchgeführt.
-
2 zeigt ein Flussdiagramm eines Trainingsprozesses eines ersten neuronalen Netzes 201 zum Ausführen des Verfahrens 100 in 1 gemäß einer Ausführungsform.
-
2 zeigt einen Ablauf eines Trainingsprozesses des ersten neuronalen Netzes 201, wobei das erste neuronale Netz 201 darauf trainiert wird, aus einer ersten dreidimensionalen Punktwolke PC1 eine zweite dreidimensionale Punktwolke PC2 zu generieren, wobei die zweite dreidimensionale Punktwolke PC2 eine höhere Auflösung aufweist als die erste dreidimensionale Punktwolke PC1.
-
In der Ausführungsform in 2 werden in einem ersten Verfahrensschritt 401 zunächst Umfeldsensordaten des Umfeldsensors 202 aufgenommen. Die Umfeldsensordaten des Umfeldsensors 202 werden in einer ersten dreidimensionalen Punktwolke PC1 zusammengefasst. In 2 sind aus darstellerischen Gründen ausschließlich zweidimensionale Punktwolken dargestellt. Dies soll jedoch die vorliegende Erfindung nicht einschränken und ist ausschließlich aus Gründen vereinfachter Darstellung vorgenommen.
-
Die erste Punktwolke PC1 umfasst Datenpunkte DP1, die jeweils in einem ersten Punktbereich B1 und einem zweiten Punktbereich B2 aufgeteilt sind. Der erste Punktbereich B1 beschreibt hierbei einen Nahbereich, während der zweite Punktbereich B2 einen Fernbereich beschreibt. Datenpunkte DP1 der ersten dreidimensionalen Punktwolke PC1, die Objekte beschreiben, die zum Umfeldsensor 202 einen Abstand kleiner als einen vorbestimmten Abstand D1 aufweisen, werden im ersten Punktbereich B1 zugeordnet, während Datenpunkte DP1, die Objekte beschreiben, die zum Umfeldsensor 202 einen Abstand größer als den vorbestimmten Abstand D1 aufweisen, dem zweiten Punktbereich B2 zugeordnet werden.
-
Ferner umfasst die erste dreidimensionale Punktwolke PC1 ein erstes Punktcluster C1 und ein zweites Punktcluster C2, die in der Ausführungsform in 2 jeweils im ersten Punktbereich B1 angeordnet sind. Die ersten und zweiten Punktcluster C1, C2 bilden zwei Gruppen von Datenpunkten DP1, die derart nah aneinander angeordnet sind, dass Abstände zwischen Datenpunkten innerhalb der Punktcluster C1, C2 kleiner sind als Abstände zwischen Datenpunkten der Punktcluster C1, C2 zu weiteren Datenpunkten DP1, die nicht zum jeweiligen Punktcluster gehören. Die Datenpunkte DP1 der ersten und zweiten Punktcluster C1, C2 repräsentieren Objekte im Umfeld des Umfeldsensors 202.
-
Die durch den Umfeldsensor 202 generierte erste dreidimensionale Punktwolke PC1 wird im Folgenden als Trainingsdaten für das erste neuronale Netz 201 verwendet. Alternativ können dreidimensionale Punktwolken als Trainingsdaten für das erste neuronale Netz 201 verwendet werden, die ausschließlich zum Training des neuronalen Netzes generiert wurden.
-
In einem Verfahrensschritt 403 generiert das erste neuronale Netz 201 auf Basis der ersten dreidimensionalen Punktwolke PC1 eine zweite dreidimensionale Punktwolke PC2. Die zweite dreidimensionale Punktwolke PC2 umfasst die Datenpunkte DP1 der ersten dreidimensionalen Punktwolke PC1 und weitere Datenpunkte DP2, die durch das erste neuronale Netz 201 zur ersten dreidimensionalen Punktwolke PC1 hinzugefügt wurden. Das erste neuronale Netz 201 wird hierbei darauf trainiert, die Punktcluster C1, C2 der ersten dreidimensionalen Punktwolke PC1 zu erkennen und zusätzliche Datenpunkte DP2 zu den Datenpunkten der Punktcluster C1, C2 hinzuzufügen. Durch das Hinzufügen der zusätzlichen Datenpunkte DP2 zu den erkannten Punktclustern C1, C2 wird die Punktdichte innerhalb der Punktcluster C1, C2 erhöht, wodurch die Auflösung der zweiten dreidimensionalen Punktwolke PC2, insbesondere im ersten Punktbereich B1 gegenüber der ersten Auflösung der ersten dreidimensionalen Punktwolke PC1 erhöht wird.
-
Das Hinzufügen der zusätzlichen Punkte in die Punktcluster des ersten Punktbereichs durch das erste neuronale Netz kann insbesondere in Form einer Interpolation erfolgen, indem das erste neuronale Netz jeweils zwischen zwei benachbarte Datenpunkte eines Punktclusters einen zusätzlichen Datenpunkt einfügt. Alternativ kann das neuronale Netz zwischen zwei direkt benachbarte Datenpunkte des Punktclusters eine beliebige Anzahl von zusätzlichen Datenpunkten einfügen. Hierüber kann die erzielte Auflösung bzw. die erzielte Punktdichte, die durch das Hinzufügen der zusätzlichen Datenpunkte durch das erste neuronale Netz erreicht wird, gezielt gesteuert werden.
-
Die vom ersten neuronalen Netz 201 generierte zweite dreidimensionale Punktwolke PC2 wird als Eingabedaten für das zweite neuronale Netz 203 verwendet, das darauf trainiert ist, Objekte in dreidimensionalen Punktwolken mit zweiter Auflösung, bzw. in dreidimensionalen Punktwolken, die einen ersten Bereich mit zweiter Auflösung und einen zweiten Bereich mit erster Auflösung aufweisen, zu erkennen. Die erste Auflösung der ersten dreidimensionalen Punktwolke PC1 und die zweite Auflösung der zweiten dreidimensionalen Punktwolke PC2 können jeweils einen festgelegten Wert haben. Die erste Auflösung der ersten dreidimensionalen Punktwolke PC1 kann hierbei der Auflösung des Umfeldsensors 202 entsprechen und durch diese festgelegt sein. Die zweite Auflösung der zweiten dreidimensionalen Punktwolke PC2 kann über das erste neuronale Netz 201 festgelegt sein, indem in der Ausgestaltung des ersten neuronalen Netzes 201 die Anzahl der durch das erste neuronale Netz 201 beim Generieren der zweiten dreidimensionalen Punktwolke PC2 hinzugefügten Datenpunkte DP2 festgelegt ist.
-
In einem folgenden Verfahrensschritt 405 führt das zweite neuronale Netz 203 eine Objekterkennung auf der durch das erste neuronale Netz 201 generierten zweiten dreidimensionalen Punktwolke PC2 durch. Im Beispiel in 2 erkennt das zweite neuronale Netz 203 durch die beiden Punktcluster C1 und C2 dargestellt ein erstes Objekt O1 und ein zweites Objekt O2 innerhalb des ersten Punktbereichs B1.
-
In 2 sind die ersten und zweiten Objekte O1, O2 als beliebige geometrische Formen dargestellt, wodurch keine realen Objekte innerhalb eines Umfelds eines autonom fahrenden Fahrzeugs repräsentiert sein sollen. Die Darstellung in 2 dient ausschließlich illustrativen Zwecken und stellt keine reale Ausführung des Trainingsprozesses des ersten neuronalen Netzes 201 auf realen oder simulierten Trainingsdaten dar.
-
Nach Erkennen der ersten und zweiten Objekte O1, O2 durch das zweite neuronale Netz 203 werden die Ergebnisse der Objekterkennung durch einen Komparator 213 in einem weiteren Verfahrensschritt 407 mit Referenzdaten verglichen. Dem Komparator 213 stehen hierzu dynamische Referenzdaten 215 und statische Referenzdaten 217 zur Verfügung. Die dynamischen Referenzdaten 215 und die statischen Referenzdaten 217 beschreiben hierbei verschiedene Objekte, die durch die erste dreidimensionale Punktwolke PC1 dargestellt sind. Der Komparator ist auf die erste dreidimensionale Punktwolke PC1 des Umfeldsensors 202 trainiert und kennt alle durch die erste dreidimensionale Punktwolke PC1 dargestellten Objekte. Hierzu können zusätzliche Informationen über statische Referenzdaten, die beispielsweise Daten einer Feature Map sind und statische Objekte eines bekannten Umfelds des Umfeldsensors, die ebenfalls durch die erste dreidimensionale Punktwolke PC1 repräsentiert sind, enthalten. Die dynamischen Referenzdaten 215 können darüber hinaus Informationen bezüglich dynamischer Objekte im Umfeld des Umfeldsensors umfassen, die ebenfalls in der ersten dreidimensionalen Punktwolke PC1 repräsentiert sind. Dynamische Referenzdaten 215 können beispielsweise durch eine entsprechende Charakterisierung der durch die erste dreidimensionale Punktwolke PC1 repräsentierten Objekte Informationen bezüglich der dynamischen Objekte bereitstellen. Eine entsprechende Charakterisierung kann beispielsweise händisch durch einen Supervisor des Trainingsprozesses in der ersten dreidimensionalen Punktwolke PC1 vorgenommen werden.
-
Durch Kenntnis der durch die erste dreidimensionale Punktwolke PC1 dargestellten Objekte kann der Komparator 213 einen Vergleich zwischen den durch das zweite neuronale Netz 203 erkannten Objekte O1, O2 und den jeweiligen Informationen bezüglich der durch die erste dreidimensionale Punktwolke dargestellten Objekte durchführen. Hierbei kann der Komparator insbesondere eine Form der Objekte, eine Positionierung der Objekte, eine Entfernung der Objekte zum Umfeldsensor 202 und weitere die Objekte charakterisierenden Merkmale berücksichtigen.
-
Wird in einem folgenden Verfahrensschritt 409 entschieden, dass die Objekterkennung durch das zweite neuronale Netz 203 derart präzise durchgeführt ist, dass alle Objekte mit einer bestimmten Präzision erkannt werden, so wird entschieden, dass das Trainingsziel erreicht ist und das erste neuronale Netz 201 auf das Generieren von zweiten Punktwolken mit zweiten Auflösungen trainiert ist. Wird im Verfahrensschritt 409 hingegen entschieden, dass die Objektbestimmung durch das zweite neuronale Netz 209 nicht den Anforderungen entspricht, so wird ein entsprechendes Feedback an das erste neuronale Netz 201 in Form der aus dem Stand der Technik üblichen Mechanismen zum Trainieren von neuronalen Netzen gegeben und der Trainingsprozess des ersten neuronalen Netzes 201 wird fortgesetzt.
-
3 zeigt eine schematische Darstellung eines Systems 200 zum Steuern eines autonom fahrenden Fahrzeugs.
-
In 3 ist ein System 200 zum Steuern eines autonom fahrenden Fahrzeugs gemäß dem erfindungsgemäßen Verfahren 100 dargestellt. Das System umfasst einen Umfeldsensor 202 zum Aufnehmen von Umfeldsensordaten eines Umfelds des autonom fahrenden Fahrzeugs. Analog dem oben Beschriebenen werden die Umfeldsensordaten in dreidimensionale Punktwolken mit einer Auflösung zusammengefasst, die der Auflösung des Umfeldsensors entspricht. Das System 200 umfasst ferner ein erstes neuronales Netz 201 zum Generieren einer zweiten dreidimensionalen Punktwolke, die auf der dreidimensionalen Punktwolke basiert, die durch den Umfeldsensor 202 erstellt wurde und eine erhöhte Auflösung aufweist. Das zweite neuronale Netz 203 ist darauf trainiert, in den vom ersten neuronalen Netz 201 generierten zweiten dreidimensionalen Punktwolken mit erhöhter Auflösung Objekte im Umfeld des autonom fahrenden Fahrzeugs zu erkennen. Das zweite neuronale Netz 203 kann hierbei darauf trainiert sein, Objekte im Nahbereich des autonom fahrenden Fahrzeugs zu erkennen. Das zweite neuronale Netz 203 kann ferner darauf trainiert sein, zusätzlich Objekte in einem Fernbereich des autonom fahrenden Fahrzeugs zu erkennen.
-
Alternativ kann das System 200 ein drittes neuronales Netz (in 3 nicht dargestellt) umfassen, wobei das dritte neuronale Netz darauf trainiert ist, ausschließlich Objekte im Fernbereich des autonom fahrenden Fahrzeugs zu erkennen.
-
Wie oben bereits dargestellt, ist der Nahbereich in den durch das erste neuronale Netz generierten zweiten dreidimensionalen Punktwolken durch den ersten Punktbereich repräsentiert, der die erhöhte zweite Auflösung aufweist, während der Fernbereich durch den zweiten Punktbereich repräsentiert ist, der die ursprüngliche erste Auflösung aufweist. Das dritte neuronale Netz ist somit darauf trainiert, dreidimensionale Punktwolken mit der ersten Auflösung zu verarbeiten.
-
Das System 200 umfasst ferner eine Trajektorienplanungseinheit 205 und eine Aktuatorsteuereinheit 207. Die Trajektorienplanungseinheit 205 ist eingerichtet, auf Basis der durch das zweite neuronale Netz 203 bzw. das dritte neuronale Netz erkannten Objekte eine Trajektorienplanung zur Steuerung des autonom fahrenden Fahrzeugs unter Berücksichtigung der erkannten Objekte durchzuführen. Die Aktuatorsteuereinheit 207 ist eingerichtet, auf Basis der durch das zweite neuronale Netz 203 bzw. das dritte neuronale Netz erkannten Objekte eine entsprechende Aktuatoransteuerung zum Steuern des autonom fahrenden Fahrzeugs unter Berücksichtigung der erkannten Objekte durchzuführen.
-
In der Ausführungsform in 3 sind das erste neuronale Netz, das zweite neuronale Netz 203, die Trajektorienplanungseinheit 205 sowie die Aktuatorsteuereinheit 207 in einer Steuereinheit 209 des autonom fahrenden Fahrzeugs zusammengefasst. Die Steuereinheit 209 ist hierbei eingerichtet, die Steuerung des autonom fahrenden Fahrzeugs auszuführen.
-
In der Ausführungsform in 3 sind ferner das erste neuronale Netz 201 und das zweite neuronale Netz 203 in einer Objekterkennungseinheit 211 zusammengefasst. Das erste neuronale Netz 201 und das zweite neuronale Netz 203 können insbesondere als ein zusammengefasstes neuronales Netz ausgebildet sein.
-
Alternativ können das erste neuronale Netz und das zweite neuronale Netz im Umfeldsensor 202 angeordnet sein.
-
Alternativ können das erste neuronale Netz und das zweite neuronale Netz als zwei eigenständige neuronale Netze ausgebildet sein, von denen das erste neuronale Netz 201 im Umfeldsensor 202 angeordnet ist, während das zweite neuronale Netz 203 in der Steuereinheit 209 des autonom fahrenden Fahrzeugs angeordnet ist.
-
Zur Steuerung des autonom fahrenden Fahrzeugs nimmt der Umfeldsensor 202 Umfeldsensordaten des Umfelds des autonom fahrenden Fahrzeugs auf und erstellt eine erste dreidimensionale Punktwolke mit einer ersten Auflösung. Darauf folgend generiert das erste neuronale Netz 201 auf Basis der ersten dreidimensionalen Punktwolke eine zweite dreidimensionale Punktwolke, die die Datenpunkte der ersten dreidimensionalen Punktwolke umfasst und eine erhöhte zweite Auflösung aufweist. Die erhöhte zweite Auflösung kann insbesondere einen ersten Punktbereich der zweiten dreidimensionalen Punktwolke betreffen, der einen Nahbereich des Umfelds des autonom fahrenden Fahrzeugs beschreibt und Objekte betrifft, die einen Abstand zum autonom fahrenden Fahrzeug aufweisen, der geringer ist als ein vorbestimmter Grenzwert. Ein zweiter Punktbereich der zweiten dreidimensionalen Punktwolke, der einen Fernbereich des Umfelds des autonom fahrenden Fahrzeugs beschreibt und somit Objekte innerhalb des Umfelds des autonom fahrenden Fahrzeugs darstellt, die einen Abstand zum autonom fahrenden Fahrzeug aufweisen, der größer ist als der vorbestimmte Grenzwert, kann weiterhin die erste Auflösung der ursprünglichen ersten dreidimensionalen Punktwolke aufweisen. Alternativ kann ebenfalls die Auflösung des zweiten Punktbereichs gegenüber der ersten Auflösung erhöht sein und eine dritte Auflösung aufweisen, die dritte Auflösung bleibt hierbei weiterhin kleiner als die zweite Auflösung des ersten Punktbereichs.
-
Die vom ersten neuronalen Netz 201 generierte zweite dreidimensionale Punktwolke wird vom zweiten neuronalen Netz 203 analysiert und eine Objekterkennung wird auf Basis der zweiten dreidimensionalen Punktwolke durchgeführt. Nach abgeschlossener Objekterkennung durch das zweite neuronale Netz 203 wird durch die Trajektorienplanungseinheit 205 unter Berücksichtigung der erkannten Objekte eine entsprechende Trajektorienplanung durchgeführt, während durch die Aktuatorsteuereinheit 207 eine entsprechende die erkannten Objekte berücksichtigende Aktuatorsteuerung durchgeführt wird. Auf Basis der Trajektorienplanung und der Aktuatorsteuerung kann die Steuereinheit 209 das autonom fahrende Fahrzeug den erkannten Objekten entsprechend ansteuern.
-
4 zeigt eine schematische Darstellung eines Computerprogrammprodukts 301, wobei das Computerprogrammprodukt auf einem auf einer elektronischen Vorrichtung 303 gespeichert ist und eingerichtet ist, das Verfahren 100 auszuführen. Die elektronische Vorrichtung 303 kann beispielsweise eine Steuereinheit 209 des autonom fahrenden Fahrzeugs sein.
