-
Die Erfindung betrifft ein Verfahren zur Erzeugung von Rasterkarten, ein Verfahren zum Trainieren eines Wandlungsmodells sowie die Verwendung von mit einem solchen Verfahren erzeugten Rasterkarten in einem Fahrzeug.
-
Das automatisierte oder gar autonome Fahren stellt eine komplexe Herausforderung dar. Hierbei gilt es nicht nur das Verhalten des automatisierten oder autonomen Fahrzeugs zu planen, also entsprechende Steuerbefehle zu ermitteln, sondern auch den weiteren Verkehr zu prädizieren, also insbesondere die Trajektorie von weiteren Verkehrsteilnehmern.
-
Bekannte Methoden zur Verhaltensplanung automatisierter Fahrzeuge und zum Prädizieren des Verkehrs basieren auf dem Einsatz sogenannter Rasterkarten. Eine Rasterkarte stellt eine Nachbildung der Umgebung aus der Vogelperspektive dar. Rasterkarten enthalten verschiedene Schichten, auf denen jeweils verschiedene Arten stationärer Infrastruktur wie Spurbegrenzungen, Spurtypen, Fahrtrichtungen, der befahrbare Platz, Zebrastreifen, Haltelinien und dergleichen abgespeichert werden.
-
Der Aufwand zur Erzeugung von Rasterkarten ist vergleichsweise hoch. So müssen Rasterkarten einen möglichst hohen Übereinstimmungsgrad mit der Realität aufweisen, da Fehler in einer Rasterkarte, wie beispielsweise Lageabweichungen, die Betriebsweise der automatisierten oder autonom gesteuerten Fahrzeuge beeinflussen können und somit ein Unfallpotenzial bergen. Rasterkarten lassen sich aus sogenannten High Definition Karten, auch als HD-Straßenkarte bezeichnet, ableiten. Bei einer HD-Straßenkarte handelt es sich um eine digitale Straßenkarte, welche die Umgebung mit einem hohen Detailgrad repräsentiert. HD-Karten können beispielsweise mit Hilfe von Testfahrzeugen generiert werden, welche während der Fahrt die Umgebung mit Hilfe hochauflösender Sensorik vermessen. Entsprechend groß ist der Speicherbedarf solcher HD-Straßenkarten. Das Überführen der Informationen aus einer HD-Straßenkarte in die einzelnen Schichten einer Rasterkarte wird auch als sogenanntes „Rendering“ bezeichnet.
-
Das Ableiten von Rasterkarten aus HD-Straßenkarten zur Verhaltensplanung automatisierter Fahrzeuge ist beispielsweise bekannt aus:
- Plan T: Explainable Planning Transformers via Object-Level Representations; Katrin Renz, Kashyap Chitta, Otniel-Bogdan Mercea, A. Sophia Koepke, Zeynep Akata, Andreas Geiger; arXiv:2210.14222; https://arxiv.org/abs/2210.14222.
-
Die Erzeugung von Rasterkarten aus HD-Straßenkarten zur Prädiktion des Verhaltens weiterer Verkehrsteilnehmer ist beispielsweise bekannt aus:
- HOME: Heatmap Output for future Motion Estimation; Thomas Gilles, Stefano Sabatini, Dzmitry Tsishkou, Bogdan Stanciulescu, Fabien Moutarde; arXiv:2105.10968; https://arxiv.org/abs/2105.10968 sowie:
- PredictionNet: Real-Time Joint Probabilistic Traffic Prediction for Planning, Control, and Simulation; Alexey Kamenev, Lirui Wang, Ollin Boer Bohan, Ishwar Kulkarni, Bilal Kartal, Artem Molchanov, Stan Birchfield, David Nister, Nikolai Smolyanskiy; arXiv:2109.11094; https://arxiv.org/abs/2109.11094.
-
Die Verfügbarkeit von HD-Straßenkarten ist aufgrund des Erzeugungs- und Speicheraufwands gering, sodass die praktische Erzeugung von Rasterkarten aus HD-Straßenkarten für den großflächigen Einsatz zum Betrieb zumindest teilautomatisierter Fahrzeuge nicht infrage kommt.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Erzeugung von Rasterkarten anzugeben, mit dessen Hilfe das automatisierte Erzeugen von Rasterkarten für vielfältige Regionen möglich ist.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erzeugung von Rasterkarten mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Verfahren zum Trainieren eines Wandlungsmodells sowie die Verwendung einer derart erzeugten Rasterkarte in einem Fahrzeug ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Ein Verfahren zur Erzeugung von Rasterkarten weist erfindungsgemäß die folgenden Verfahrensschritte auf:
- - Bereitstellen von Luftbildaufnahmen einer Zielregion;
- - Einlesen der Luftbildaufnahmen in ein auf künstlicher Intelligenz basierendes Wandlungsmodell, wobei das Wandlungsmodell dazu eingerichtet ist, Luftbildaufnahmen einzulesen, in den Luftbildaufnahmen statische Infrastruktur zu erkennen und basierend auf der erkannten statischen Infrastruktur eine Rasterkarte zu erzeugen und verschiedene Arten der statischen Infrastruktur auf einer jeweiligen individuellen Schicht der Rasterkarte abzulegen; und
- - Erzeugen der Rasterkarte der Zielregion durch das Wandlungsmodell.
-
Das erfindungsgemäße Verfahren ermöglicht die automatisierte Erzeugung von Rasterkarten basierend auf Luftbildaufnahmen. Unter Luftbildaufnahmen wird in diesem Zusammenhang jegliche bildhafte Darstellung der Umgebung aus der Vogelperspektive verstanden. Insbesondere handelt es sich dabei um Kamerabildaufnahmen, bevorzugt Fotos, der Erdoberfläche. Solche Bilder können beispielsweise aus der Luft aus einem Flugzeug heraus geschossen werden oder auch mit Hilfe von Satelliten erzeugt werden. Luftbildaufnahmen können besonders günstig auch mit Hilfe von unbemannten Flugobjekten wie Drohnen erzeugt werden. Im Vergleich zu HD-Straßenkarten sind entsprechende Luftbildaufnahmen global und kostengünstig verfügbar. Somit ist das Erzeugen von Rasterkarten für die unterschiedlichsten Regionen dieser Erde zuverlässig sichergestellt. Insbesondere in städtischen Regionen weisen Luftbildaufnahmen, insbesondere Satellitenbilder, eine erhöhte Auflösung auf, was das Erkennen von Details wie beispielsweise Richtungspfeilen auf Abbiegespuren für das Wandlungsmodell erleichtert.
-
Bei dem Wandlungsmodell handelt es sich um ein KI-Modell, welches dazu in der Lage ist, die Luftbildaufnahmen einer Zielregion einzulesen und automatisiert daraus die entsprechenden Rasterkarten abzuleiten. Das Wandlungsmodell ist entsprechend trainiert worden, worauf im Folgenden noch eingegangen wird.
-
Je nach Art der erkannten statischen Infrastruktur, also beispielsweise dem erkannten befahrbaren Raum einer Straße, Spurbegrenzungen, Zebrastreifen und dergleichen, werden die vom Wandlungsmodell aus den entsprechenden Luftbildaufnahmen abgeleiteten Informationen den unterschiedlichen Schichten der Rasterkarte zugeordnet.
-
Die Anzahl der Schichten ist dabei nicht begrenzt und kann sich je nach Größe und Art der Rasterkarte sowie der abzubildenden Region unterscheiden. Eine entsprechende Rasterkarte kann also beispielsweise 1, 2, 3, 10, 100, 1000 Schichten oder auch Bruchteile oder Vielfache davon aufweisen.
-
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht dabei vor, dass künstliche Intelligenz in Form eines künstlichen neuronalen Netzes eingesetzt wird. Aufgrund ihrer Lernfähigkeit eignen sich künstliche neuronale Netze insbesondere zur Ausbildung des Wandlungsmodells.
-
Bevorzugt ist dabei das künstliche neuronale Netz ausgebildet ist als:
- - Convolutional Neural Network; oder
- - Vision Transformer.
-
Convolutional Neural Networks und Vision Transformer haben sich zur Verarbeitung von Bilddaten und damit im Bereich des maschinellen Sehens bewährt. Somit eignen sich Convolutional Neural Networks und Vision Transformer insbesondere zur Verarbeitung von Luftbildaufnahmen. Dies ermöglicht eine zuverlässige Erkennung der statischen Infrastruktur.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass das Wandlungsmodell in einer Luftbildaufnahme erkannter statischer Infrastruktur eine Erkennungswahrscheinlichkeit zuordnet. Heutzutage verfügen auch die neuesten KI-Modelle noch nicht über eine 100-prozentige Erkennungsrate. Entsprechende KI-Modelle können somit Bildinhalte falsch interpretieren, was zu Fehlklassifikationen führen kann. Dies wird beispielsweise durch eine niedrige Bildauflösung begünstigt. Auch können entscheidende visuelle Merkmale in Luftbildaufnahmen schlecht erkennbar sein, beispielsweise aufgrund ungünstiger Lichtverhältnisse oder einer Verdeckung durch andere Objekte. So können beispielsweise Fahrspurmarkierungen durch Bäume verdeckt sein. Der vom Wandlungsmodell in entsprechenden Luftbildaufnahmen erkannten statischen Infrastruktur bzw. den jeweiligen einzelnen Infrastrukturobjekten, kann somit bevorzugt eine Erkennungswahrscheinlichkeit zugeordnet werden, welche beschreibt, mit welcher Sicherheit bzw. Konfidenz, das Wandlungsmodell die jeweiligen statischen Infrastrukturobjekte erkannt hat.
-
Dies kann gemäß einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens dazu genutzt werden, das Eintragen erkannter statischer Infrastruktur in die Rasterkarte durch das Wandlungsmodell zu unterlassen, wenn die Erkennungswahrscheinlichkeit der jeweiligen statischen Infrastruktur einen vorgegebenen Schwellwert unterschreitet. Erkennt mit anderen Worten das Wandlungsmodell in den entsprechenden Luftbildaufnahmen statische Infrastruktur (-objekte) nur unzureichend, so werden die jeweiligen Objekte nicht in die Rasterkarte übertragen. An entsprechenden Stellen in der Rasterkarte können somit Lücken vorliegen. Wird die Rasterkarte zur Steuerung zumindest teilautomatisierter Fahrzeuge genutzt, so steht die jeweilige automatisierte bzw. autonome Fahrfunktion in entsprechenden geografischen Bereichen nicht zur Verfügung. Dies erhöht die Verkehrssicherheit, da Steuerungsfehler aufgrund einer falsch identifizierten Umgebung vermieden werden. Das jeweilige Fahrzeug ist dann jedoch manuell zu steuern.
-
Ein erfindungsgemäßes Verfahren zum Trainieren eines im vorigen beschriebenen Wandlungsmodells weist die folgenden Schritte auf:
- - Bereitstellen von Luftbildaufnahmen einer Trainingsregion;
- - Bereitstellen einer Rasterkarte der Trainingsregion; und
- - Einlesen der Luftbildaufnahmen der Trainingsregion und der Rasterkarte der Trainingsregion in das Wandlungsmodell, wobei die Rasterkarte der Trainingsregion als Grundwahrheit verwendet wird.
-
Dem Wandlungsmodell werden also Luftbildaufnahmen und die jeweils für die mit den Luftbildaufnahmen korrelierende Trainingsregion gültigen Rasterkarten zugeführt. Hierdurch erlernt das Wandlungsmodell nach und nach das Erzeugen der Rasterkarten in Abhängigkeit des Bildinhalts der Luftbildaufnahmen. Nach dem Tainieren des Wandlungsmodells ist dann das Wandlungsmodell dazu in der Lage Rasterkarten auch für Luftbildaufnahmen zu erzeugen, die bisher unbekannte Regionen zeigen.
-
Bevorzugt werden dabei die folgenden zusätzlichen Verfahrensschritte ausgeführt
- - Bereitstellen einer HD-Straßenkarte der Trainingsregion; und
- - Ableiten der Rasterkarte der Trainingsregion aus der HD-Straßenkarte.
-
Somit ist es möglich die Gesamtheit zum Training zur Verfügung stehender Rasterkarten zu erhöhen. So können die fürs Training verwendeten Rasterkarten selbst aus HD-Straßenkarten abgeleitet werden. Hierzu können die im Zuge des Standes der Technik erläuterten Methoden eingesetzt werden.
-
Die jeweiligen Luftbildaufnahmen, Rasterkarten und/oder HD-Straßenkarten können beispielsweise von einem Fahrzeughersteller selbst erzeugt worden sein oder auch von einem Dienstleistungsanbieter bezogen werden. Insbesondere bieten die verschiedensten Dienstleister mit einem Flugzeug, einer Drohne oder einem Satelitten generierte Luftbilder von vielfältigen geografischen Regionen an, sodass jeweils aktuelles Bildmaterial zur Verfügung steht. Im Zuge des Trainings des Wandlungsmodells können dann solche Luftbildaufnahmen bezogen werden, die mit dem Datum des Generierens der HD-Straßenkarte übereinstimmen. Nach dem ausreichenden Training des Wandlungsmodells können die jeweils aktuellen Luftbilder bezogen werden und so das jeweilige Rasterkartenmaterial beständig aktuell gehalten werden.
-
Das derartig erzeugte Rasterkartenmaterial kann den Fahrzeugen einer Fahrzeugflotte bereitgestellt werden. Ein Zugriff auf das Rasterkartenmaterial kann über eine zentrale Recheneinrichtung wie einen Cloudserver erfolgen.
-
So sieht eine erfindungsgemäße Verwendung einer gemäß eines im vorigen beschriebenen Verfahrens erzeugten Rasterkarte in einem Fahrzeug vor, dass eine Recheneinheit die Rasterkarte zum Ableiten von Steuerbefehlen zur zumindest teilautomatisierten Steuerung des Fahrzeugs und/oder zum Prädizieren des Verhaltens weiterer Verkehrsteilnehmer verarbeitet. Somit ist es möglich das jeweilige Fahrzeug basierend auf den aus der Rasterkarte ableitbaren Informationen zumindest teilautomatisiert oder gar autonom zu steuern sowie das Verhalten weiterer Verkehrsteilnehmer zu prädizieren. Eine entsprechende Steuerung des Fahrzeugs ist somit ebenfalls Teil der Erfindung.
-
Bei dem Fahrzeug kann es sich um ein beliebiges Straßenfahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Bei der Recheneinheit kann es sich um einen zentralen Bordcomputer, das Steuergerät eines Fahrzeuguntersystems oder dergleichen handeln. Bei der Recheneinheit kann es sich um eine fahrzeugexterne Recheneinheit wie besagten Cloudserver handeln. Besonders bevorzugt handelt es sich hier jedoch um eine fahrzeugintegrierte Recheneinheit. Dies ermöglicht es einem jeweiligen Fahrzeug aus der Rasterkarte selbst entsprechende Steuerbefehle bzw. Trajektorien von weiteren Verkehrsteilnehmern abzuleiten. Dies ermöglicht eine zuverlässige Steuerung des jeweiligen Fahrzeugs, auch bei einer unterbrochenen Kommunikationsanbindung zum Cloudserver.
-
Ein Fahrzeug mit einer solchen Recheneinheit ist dabei ebenfalls Teil der Erfindung.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Erzeugung von Rasterkarten, des erfindungsgemäßen Verfahrens zum Trainieren des Wandlungsmodells sowie eines Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 ein schematisiertes Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Trainieren eines Wandlungsmodells;
- 2 ein schematisiertes Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Erzeugung von Rasterkarten aus Luftbildaufnahmen mittels des Wandlungsmodells; und
- 3 eine schematisierte Darstellung eines erfindungsgemäßen Fahrzeugs.
-
Rasterkarten 1 können zur zumindest teilautomatisierten Steuerung von einem in 3 gezeigten Fahrzeug 7 verwendet werden. Die vorliegende Erfindung beschreibt ein in 2 näher dargestelltes Verfahren zum Ableiten von Rasterkarten 1 aus Luftbildaufnahmen 2 durch den Einsatz eines KI-Modells, welches im Zuge der Erfindung als Wandlungsmodell 3 bezeichnet wird. 1 erläutert dabei das Vorgehen zum Trainieren des Wandlungsmodells 3.
-
Bei dem in 1 gezeigten Ausführungsbeispiel wird als künstliche Intelligenz ein künstliches neuronales Netz 5, bevorzugt ausgebildet als Convolutional Neural Network oder Vision Transformer, verwendet. Dem künstlichen neuronalen Netz 5 werden als Eingangsdaten zum Training entsprechende Luftbildaufnahmen 2 einer Trainingsregion und eine bereits vorgefertigte Rasterkarte 1 der jeweiligen Trainingsregion zugeführt. Optional kann die Rasterkarte 1 in einem Verfahrensschritt 101 aus einer HD-Straßenkarte 6 abgeleitet werden. Die hierzu verwendbaren Verfahren sind aus dem Stand der Technik hinreichend bekannt.
-
Dieser Vorgang wird so lange für unterschiedliche Trainingsregionen wiederholt, bis das künstliche neuronale Netz 5.1 eine ausreichende Vorhersagegüte angenommen hat. Diese Bewertung liegt im Ermessen des zuständigen Entwicklers und ist beispielsweise Abhängig von der Anzahl korrekt oder fehlerhaft erkannter statischer Infrastruktur und/oder jeweiligen Lageabweichungen.
-
Als Ergebnis wird ein zur Erfüllung der Aufgabe ausreichend trainiertes künstliches neuronales Netz 5.2 erhalten.
-
Mit Hilfe des trainierten künstlichen neuronalen Netzes 5.2 ist die Ausführung des in 2 gezeigten erfindungsgemäßen Verfahrens möglich. So werden Luftbildaufnahmen 2 einer Zielregion in das Wandlungsmodell 3 eingelesen. Das Wandlungsmodell 3 bzw. das trainierte künstliche neuronale Netz 5.2 verarbeiten die entsprechenden Luftbildaufnahmen 2 und leiten daraus die gesuchte Rasterkarte 1 ab. Eine solche Rasterkarte 1 kann eine unterschiedliche Anzahl an Schichten aufweisen, wobei jeder Schicht eine unterschiedliche Art statischer Infrastruktur 4 zugeordnet ist. Bei dem in 2 gezeigten Ausführungsbeispiel handelt es sich bei der aus der Luftbildaufnahme 2 abgeleiteten statischen Infrastruktur 4 um die Spurgrenzen der gezeigten Fahrbahn.
-
Auf eine derartige Art und Weise generierter Rasterkarten 1 können, wie 3 zeigt, in einer zentralen Recheneinrichtung 9 vorgehalten werden. Hierzu umfasst die zentrale Recheneinrichtung 9 eine entsprechende Datenbank 10. Die zentrale Recheneinrichtung 9 kann über eine drahtlose Kommunikationsverbindung 11 mit einer Telekommunikationseinheit 12 eines erfindungsgemäßen Fahrzeugs 7 in Verbindung stehen. Dies ermöglicht es dem Fahrzeug 7 bzw. einer vom Fahrzeug 7 umfassten Recheneinheit 8, die in der Datenbank 10 vorgehaltenen Rasterkarten 1 zu beziehen. Das in 3 dargestellte erfindungsgemäße Fahrzeug 7 ist dazu in der Lage durch eine Verarbeitung einer solchen Rasterkarte 1 durch die Recheneinheit 8 Steuerbefehle zum teilautomatisierten oder gar autonomen Betrieb des Fahrzeugs 7 abzuleiten. Dies ermöglicht eine zuverlässige und sichere Betriebsweise des Fahrzeugs 7.
-
Entsprechende Luftbildaufnahmen 2 sind im Gegensatz zu Rasterkarten 1 oder HD-Straßenkarten 6 global und günstig verfügbar. Mit Hilfe der hier vorgestellten Verfahren zum Trainieren und zur Anwendung des Wandlungsmodells 3 lassen sich somit für einen Großteil der weltweiten Straßennetze entsprechende Rasterkarten 1 erzeugen und anwenden. Neben dem Ableiten von Steuerungsbefehlen für das Fahrzeug 7, ist es darüber hinaus möglich mit Hilfe der derartig erzeugten Rasterkarten 1 Prädiktionen des Verhaltens weiterer Verkehrsteilnehmer durchzuführen. Da, abgesehen vom Training des KI-Modells, keine HD-Straßenkarten 6 zum Erzeugen der Rasterkarten 1 mehr verwendet werden müssen, kann der Aufwand zur Erzeugung der Rasterkarten 1 und damit auch die anfallenden Kosten reduziert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Plan T: Explainable Planning Transformers via Object-Level Representations; Katrin Renz, Kashyap Chitta, Otniel-Bogdan Mercea, A. Sophia Koepke, Zeynep Akata, Andreas Geiger; arXiv:2210.14222; https://arxiv.org/abs/2210.14222 [0005]
- HOME: Heatmap Output for future Motion Estimation; Thomas Gilles, Stefano Sabatini, Dzmitry Tsishkou, Bogdan Stanciulescu, Fabien Moutarde; arXiv:2105.10968; https://arxiv.org/abs/2105.10968 [0006]
- PredictionNet: Real-Time Joint Probabilistic Traffic Prediction for Planning, Control, and Simulation; Alexey Kamenev, Lirui Wang, Ollin Boer Bohan, Ishwar Kulkarni, Bilal Kartal, Artem Molchanov, Stan Birchfield, David Nister, Nikolai Smolyanskiy; arXiv:2109.11094; https://arxiv.org/abs/2109.11094 [0006]
