DE102019215256A1

DE102019215256A1 - Verfahren zum Generieren einer digitalen Lokalisierungskarte zur Bestimmung eines Standortes einer zumindest teilautomatisierten mobilen Plattform

Info

Publication number: DE102019215256A1
Application number: DE102019215256.2A
Authority: DE
Inventors: Carsten Hasberg; Tayyab Naseer; Piyapat Saranrittichai
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-10-02
Filing date: 2019-10-02
Publication date: 2021-04-08

Abstract

Es wird ein Verfahren zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes zur komprimierten Übertragung zumindest eines Bildes einer Umgebung einer zumindest teilautomatisierten mobilen Plattform in einer Pose vorgeschlagen, mit einer Vielzahl von Trainings-Zyklen, wobei jeder Trainings-Zyklus die Schritte aufweist:Bereitstellen zumindest einer Referenz-Pose (S1) der zumindest teilautomatisierten mobilen Plattform;Bereitstellen zumindest eines ersten digitalen Bildes einer Umgebung der mobilen Plattform (S2) in der Referenz-Pose;Verwenden des zumindest einen ersten digitalen Bildes (S3) als Eingangssignal des Encoder-Decoder Netzwerkes;Erstellen einer digitalen Lokalisierungskarte (S4) mittels zumindest einem, aus dem zumindest einen Eingangssignal resultierenden, Ausgangssignal des Encoder-Decoder Netzwerkes;Bestimmen einer Lokalisierungs-Pose (S5) mittels der digitalen Lokalisierungskarte und zumindest einem zweiten digitalen Bild der Umgebung der mobilen Plattform; undAdaptieren des neuronalen Encoder-Decoder Netzwerkes (S6), um bei der Bestimmung der jeweiligen Lokalisierung-Pose eine Abweichung von der jeweiligen Referenz-Pose zu minimieren.

Description

Stand der Technik
Eine präzise Lokalisierung ist Voraussetzung für das automatisierte Fahren zumindest teilautomatisierten Plattformen, wie beispielsweise von autonomen Fahrzeugen.
Die Verwendung von Bildern zum Erstellen von digitalen Lokalisierungskarten für automatisierte Fahranwendungen ist ein weit verbreitetes Feld, da Bilder in der Regel viele Informationen enthalten. Eine solche kamerabasierte Lokalisierung ist sowohl für die Computer Vision als auch in der Robotik wichtig.
Für ein zumindest teilautomatisiertes Fahren für beispielsweise Transportdienstleistungen mit autonomen Taxis und einem Automatisierung-Level4/Level5 verfügt ein zentrales Kartenerstellung-System zur Erstellung digitaler Lokalisierungskarten über die kompletten sensorischen Informationen der Flotte und es verfügt über Bilder in voller Auflösung der Kameras und eine gesamte Velodyne-Punktwolken für Laserscanner etc.
Auf der anderen Seite stehen Automatisierungs-Level 2/3-Funktionalitäten von Konsumerfahrzeugen mit integrierten Sensoren, bei denen aufgrund von Einschränkungen der Datenübertragung in der Regel nicht die gesamte sensorische Information an einen zentralen Kartenerstellung-Server übertragen werden.
Vollbilder für solche automatisierte Fahranwendungen direkt über ein drahtloses System, wie beispielsweise ein System mit Anbindung an das Internet, zu übertragen scheitern an wirtschaftlichen Überlegungen.
Ein typischer Ansatz für eine visuelle Lokalisierung basiert daher auf merkmalsbasierten Verfahren für eine effiziente und genaue Kamera Re-Lokalisierung. Dabei können für diese kamerabasierte Lokalisierung hochauflösende Karten verwendet werden, was wiederum mit hohen Kosten verbunden ist. Daher werden digitale Lokalisierungskarten durch Übertragung von einer beschränkten Menge definierter Merkmale erstellt. Beispielsweise kann mit der ORB-SLAM-Methodik (Oriented FAST and Rotated BRIEF Simultaneous Localization and Mapping) eine digitale Lokalisierungskarte mit entsprechend beschränkten ORB-Merkmalen erstellt werden. Zur Übertragung dieser Merkmale kann die Kommunikationsbandbreite optimieren werden, um ORB-Merkmale über das Netzwerk zu übertragen. Anschließend wird aus diesen Merkmalen eine digitale Lokalisierungskarte mittels eines Kartenerstellung-Systems erstellt.
Offenbarung der Erfindung
Da ein solches Verfahren immer noch auf vordefinierten, begrenzten Merkmalen basiert, führt dies zu sehr spärlichen Karten ohne die umfangreichen Kontextinformationen, die das Originalbild beinhaltet.
Daraus resultiert, dass bei Änderung der Anforderungen an die Funktionalität einer solchen digitalen Lokalisierungskarte Daten aus den Zielbereichen erneut gesammelt werden müssen. Auch andere populäre Ansätze, die semantische Merkmale nutzen, leiden unter diesem Problem. Außerdem bedingt eine Auswahl vorbestimmter Merkmale zur Voraggregation (Merkmalsauswahl), dass sie nicht in allen geographischen Gebieten realisiert werden können. Eine Erstellung von digitalen Lokalisierungskarten mit beispielsweise Fahrspuren kann nicht flächendeckend realisiert werden, da beispielsweise ländliche Gebiete im Allgemeinen sehr wenige Fahrbahnmarkierungen aufweisen.
Die vorliegende Erfindung offenbart ein Verfahren zum Generieren einer digitalen Lokalisierungskarte zur Bestimmung eines Standortes einer zumindest teilautomatisierten mobilen Plattform, ein Verfahren zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes, ein Verfahren zum komprimierten Übertragen digitaler Bilddaten, ein Verfahren zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform, ein Verfahren zur Ansteuerung einer mobilen Plattform, ein Computerprogramm, sowie ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden und ist somit auch offenbart.
Gemäß einem Aspekt wird ein Verfahren zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes zur komprimierten Übertragung zumindest eines Bildes einer Umgebung einer zumindest teilautomatisierten mobilen Plattform in einer Pose vorgeschlagen. Das Verfahren weist eine Vielzahl von Trainings-Zyklen auf, wobei jeder Trainings-Zyklus die folgenden Schritte aufweist.
In einem Schritt wird zumindest einer Referenz-Pose der zumindest teilautomatisierten mobilen Plattform bereitgestellt. In einem weiteren Schritt wird zumindest ein erstes digitales Bild einer Umgebung der mobilen Plattform in der Referenz-Pose bereitgestellt. In einem weiteren Schritt wird zumindest ein erstes digitales Bild als Eingangssignal des Encoder-Decoder Netzwerkes verwendet. In einem weiteren Schritt wird eine digitale Lokalisierungskarte mittels zumindest einem, aus dem zumindest einen Eingangssignal resultierenden, Ausgangssignal des Encoder-Decoder Netzwerkes erstellt. In einem weiteren Schritt wird eine Lokalisierungs-Pose mittels der digitalen Lokalisierungskarte und zumindest einem zweiten digitalen Bild der Umgebung der mobilen Plattform bestimmt. In einem weiteren Schritt wird das neuronale Encoder-Decoder Netzwerk adaptiert, um bei der Bestimmung der jeweiligen Lokalisierung-Pose eine Abweichung von der jeweiligen Referenz-Pose zu minimieren.
Dabei können die Referenz-Pose und das erste digitale Bild der Umgebung der mobilen Plattform von der mobilen Plattform selbst bereitgestellt werden.
Ein Lokalisierungskarten-System kann die digitale Lokalisierungskarte erstellen. Die Lokalisierungspose kann von der mobilen Plattform mittels der digitalen Lokalisierungskarte bestimmt werden.
Bei dem Encoder-Decoder Netzwerk oder auch Autoencoder genannt, werden die Eingangssignale durch den Encoder-Teil komprimiert und in einem Encoding-Vektor dargestellt. Der Encoding-Vektor wird vom Decoder-Teil des Encoder-Decoder Netzwerkes dekodiert. Damit ergibt sich der weiter unten dargestellte Vorteil, dass durch die Übertragung des Encoding-Vektors Bilddaten komprimiert übertragen werden können.
Bei dem hier dargestellten Verfahren wird, zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes, mit dem Ausgangssignal des Encoder-Decoder Netzwerkes eine Lokalisierung-Pose bestimmt und mit einer Referenz-Pose dieser Lokalisierung-Pose verglichen, um eine Abweichung zwischen diesen beiden Posen zu minimieren. Dadurch ergibt sich nicht nur eine Komprimierung der Bilddaten durch eine Anwendung des neuronalen Encoder-Netzwerkes, sondern auch dadurch, dass bei einem erfolgreich trainierten neuronalen Encoder-Decoder Netzwerk nur die Informationen übertragen werden, die für eine Lokalisierung relevant sind. Diese relevanten Informationen sind insbesondere stabile Bildinhalte der Umgebung der mobilen Plattform wie insbesondere statische Merkmale bzw. statische Objekte und Informationen, die irrelevant für die Lokalisierung sind, werden abhängig von der Szene in unterschiedlichen Maß unterdrückt.
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Encoder-Decoder Netzwerk so adaptiert wird, dass der Wert einer Loss-Funktion nach Durchlaufen zumindest eines Teils der Trainings-Zyklen kleiner wird.
Dabei kann die Loss-Funktion durch den folgenden Zusammenhang definiert werden: $L (θ, Φ) = \frac{1}{N} \sum_{i = 1}^{N} (p^{i} - h (x_{2}^{i}, f_{θ} (g_{Φ} (x^{i}))))$
Wobei L die Loss Funktion abhängig von dem Parameter 0 der Dekoderfunktion fe und dem Parameter Φ der Encoderfunktion g_Φ ist. Und xⁱ ist das i-te erste digitale Bild am Eingang des neuronalen Encoder-Decoder Netzwerkes und xⁱ ₂ das i-te zweite digitale Bild, wobei die Anzahl der digitalen Bilder für das Training N ist. Die Funktion h charakterisiert das Erstellen der digitalen Lokalisierungskarte und der daraus resultierenden Bestimmung der Lokalisierung-Pose. Dabei kann das i-te erste digitale Bild xⁱ gleicht dem i-ten zweiten digitale Bild xⁱ ₂ sein.
Ein Feed-Forward neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben zur Verfügung. Solche neuronalen Netzwerke lernen, Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
Ein solches neuronale Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Ergänzend zu den Ausführungen zum Feed-Forward neuronalen Netz oben besteht der Aufbau eines künstlichen Neuronalen-Faltungs-Netzes (Convolutional Neural Network) aus einer oder mehreren Faltungs-Schichten (convolutional layer), gegebenenfalls gefolgt von einem Pooling Layer. Die Abfolge von Schichten können mit oder ohne Normalisierungs-Schichten (z.B. Batch-Normalisierung), Zero-Padding-Schichten, Dropout-Schichten und Aktivierungs-Funktionen, wie z.B. Rectified Linear Unit (ReLU), sigmoid-Funktion, tanh-Funktion oder softmax-Funktion, verwendet werden.
Diese Einheiten können sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von tiefen neuronalen Faltungs-Netzwerken (engl. Deep Convolutional Neural Networks).
Die Architektur solcher neuronalen Encoder-Decoder Faltungsnetzwerke wenn auch Autoencoder genannt.
Ein Autoencoder ist ein künstliches neuronales Netz, das dazu genutzt wird, effiziente Codierungen zu lernen. Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion genutzt werden.
Ein Autoencoder ist typischerweise aus zwei Teilen aufgebaut. Der erste Teil, der Encoder-Teil, ist eine Abfolge von Schichten, die die Eingangsgitter auf eine niedrigere Auflösung herunter abtasten (sampeln), um die gewünschten Informationen zu erhalten und die redundanten Informationen zu speichern.
Der zweite Teil, der Decoder-Teil, ist eine Abfolge von Schichten, die die Ausgabe des ersten Teils erneut in eine vollständig verbundene Schicht abtasten und die gewünschte Ausgangsauflösung erzeugen.
Zum Training einer so definierten Struktur des neuronalen Encoder-Decoder-Faltungsnetzwerkes erhält jedes Neuron z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron gewichtet die Eingangs-Signale mit seinem Gewicht und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird ein Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, und dann das Gewicht jedes Neurons in die Richtung verändern, die den Fehler minimiert. Dann erfolgen rekursiv Trainings-Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte bis der Fehler unter einer vorgegebenen Grenze liegt.
Die Architektur eines neuronalen Encoder-Decoder Netzwerkes ist typischerweise aus 2 Teilen aufgebaut. Der erste Teil ist eine Sequenz von Schichten zum herunter-sampeln des Signals hin zu kleineren Auflösungen, mit dem Ziel die erwünschte Information zu erhalten und die redundante Information zu verwerfen.
Der zweite Teil ist eine Sequenz von Schichten zum herauf-sampeln des Ausgangssignals des ersten Teils des neuronalen Encoder-Decoder Netzwerkes zum Erlangen einer Ausgangsauflösung die der Eingangsauflösung entspricht.
Ein Beispiel für eine Architektur eines Encoder-Decoder Netzwerkes weist ein neuronales Faltungs-Encoder-Netzwerk auf und ein neuronales Faltungs-Decoder-Netzwerk.
Beispielsweise kann der Encoder des Encoder-Decodernetzwerkes eine Anzahl von d (z. B. d=8) Blöcken aufweisen.
Jeder Block kann eine Schicht oder eine Sequenz von Schichten oder andere Blöcke von Schichten aufweisen.
Eine dieser Schichten kann eine Faltungsschicht mit einer Kernelgröße von N1 (z. B. N1=32) und einem stride 2 aufweisen; Leaky RELU Schichten, Faltungsschichten mit Kernelgröße N2 (z. B. N2=64) und stride 2, Normalisierungsschichten (z. B. instance-norm); Leaky RELU Schichten, Faltungsschicht mit Kernelgröße N3 (z. B. N3=128) und stride 2, Normalisierungsschichten (e.g. instance-norm); Vielfache Blöcke von Schichten, wobei jeder Block eine Leaky RELU Schicht aufweist, Faltungsschicht mit Kernelgröße N4 (z. B. N4=256) und stride 2, Normalisierungsschichten (e.g. instance-norm).
Auch der Decoder des Encoder-Decoder-Netzwerkes weist eine Anzahl von d Blöcken auf.
Der Decoder kann eine Vielzahl von Blöcken von Schichten aufweisen wobei jeder Block Leaky RELU Schichten, einer Anzahl von N5 Ent-Faltungsschichten (e.g. N5=256) und stride 2, Normalisierungsschichten (z. B. instance-norm); Leaky RELU Schichten, Ent-Faltungsschichten mit Kernelgröße N6 (z. B. N6=128) und stride 2, Normalisierungsschichten; Leaky RELU Schichten, Ent-Faltungsschichten mit einer Kernelgröße von N7 (z. B. N7=128) und stride 2, Normalisierungsschichten; Leaky RELU Schichten, Ent-Faltungsschichten mit Kernelgröße N8 (z. B. N8=64) und stride 2, Normalisierungsschichten; und Leaky RELU Schichten, Ent-Faltungsschichten mit Kernelgröße N9 (z. B. N9=32) und stride 2, tanh Schichten.
In der Tab. 1 sind die Schichten noch detaillierter aufgeführt.
Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform eingerichtet ist, das erste digitale Bild einer Umgebung der mobilen Plattform bereitzustellen. Dadurch kann die mobile Plattform die Grundlage der für sie benötigten Information bezüglich einer Pose der mobilen Plattform selber bereitstellen.
Eine solche Pose gibt neben der Position der mobilen Plattform im Raum, die mit drei Koordinaten festgelegt werden kann, auch eine Orientierung der mobilen Plattform im Raum an, was beispielsweise durch die Angabe von drei Eulerwinkeln festgelegt werden kann.

Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Blattform eingerichtet ist, die Referenz-Pose der mobilen Plattform bereitzustellen. Mobile Plattformen die eingerichtet sind Referenz-Posen zu bestimmen können verwendet werden, um eine digitale Lokalisierungskarte mit hoher Genauigkeit zu erstellen. Table 1: Struktur eines Encoder-Decoder-Netzwerkes

Eingangssignal: 256x256x3 Bilder

32 conv 4x4. Stride 2.

Leaky RELU, 64 conv 4x4, Stride 2. Instance-norm

Leaky RELU, 128 conv 4x4, Stride 2. Instance-norm

Leaky RELU, 256 conv 4x4, Stride 2. Instance-norm

Leaky RELU, 256 deconv 4x4, Stride 2. Instance-norm

Leaky RELU, 128 deconv 4x4, Stride 2. Instance-norm

Leaky RELU, 64 deconv 4x4, Stride 2. Instance-norm

Leaky RELU, 32 deconv 4x4, Stride 2. Instance-norm

Leaky RELU, 3 deconv 4x4, Stride 2. tanh

Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform eingerichtet ist, das zweite digitale Bild der Umgebung der mobilen Plattform bereitzustellen. Wenn mit diesem zweiten digitalen Bild eine unterschiedliche Perspektive auf die Umgebung verbunden ist, von dieser zweiten Perspektive aus überlappende Merkmale mit der ersten Perspektive des ersten digitalen Bildes erreicht werden, kann dadurch eine höhere Genauigkeit der Posen-Bestimmung erreicht werden
Gemäß einem Aspekt wird vorgeschlagen, dass das erste digitale Bild und das zweite digitale Bild identisch sind. D.h. also, dass das erste digitale Bild zur Bestimmung der Lokalisierung-Pose verwendet wird. Insbesondere, wenn für den Ablauf des Verfahrens nur eine kurze Berechnungs- und Übertragungszeit benötigt wird kann die Lokalisierung mit dem ersten digitalen Bild erfolgen.
Gemäß einem Aspekt wird vorgeschlagen, dass das erste digitale Bild und das zweite digitale Bild zumindest Teile der gleichen Umgebung repräsentieren. Daraus resultiert, dass das erste digitale Bild und das zweite digitale Bild identische Objekte und/oder Strukturen und/oder Merkmale der Umgebung abbilden. Dabei kann eine Perspektive aus der das erste digitale Bild und das zweite digitale Bild identische Objekte und/oder Strukturen und/oder Merkmale der Umgebung abbilden unterschiedlich sein.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das neuronale Encoder-Decoder Netzwerk ein Faltungsnetzwerk ist. Durch die Verwendung von Faltungsnetzwerken für das neuronale Encoder-Decoder Netzwerk erfolgt eine Komprimierung der Bilddaten in Form des so entstehenden Encoding-Vektors.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die digitale Lokalisierungskarte mittels zumindest eines Teils der, für das Training des neuronalen Encoder-Decoder Netzwerkes bereitgestellte, Vielzahl der digitalen Bilder erstellt wird. D.h. bei dem jeweiligen ersten digitalen Bild wird die daraus erstellte digitale Lokalisierungskarte nicht jedes Mal verworfen, sondern sukzessive erweitert.
Dadurch kann erreicht werden, dass die digitale Lokalisierungskarte detaillierter ist, und somit eine größere Genauigkeit der Bestimmung der Lokalisierung-Pose erreicht wird.
Damit kann auch verbunden sein, dass der neuronale Encoder-Decoder eine unterschiedliche und/oder insbesondere optimierte Adaptierung in Bezug auf eine Abweichung der Lokalisierung-Pose von der Referenz-Pose erreicht.
Gemäß einem Aspekt wird ein Verfahren zum komprimierten Übertragen digitaler Bilddaten von einer zumindest teilautomatisierten mobilen Plattform an ein Lokalisierungskarten-System zum Erstellen einer digitalen Lokalisierungskarte, mittels eines oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes vorgeschlagen. Dabei ist die mobile Plattform eingerichtet, Bilder der Umgebung der mobilen Plattform zu generieren. In einem Schritt wird zumindest eine Bild einer Umgebung der zumindest teilautomatisierten mobilen Plattform bereitgestellt. In einem weiteren Schritt wird ein Encoding-Vektor des zumindest einen Bildes unter Verwendung eines Encoder-Teils des oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes erstellt. In einem weiteren Schritt wird der Encoding-Vektor an das Lokalisierungskarten-System übertragen. In einem weiteren Schritt wird der Encoding-Vektor unter Verwendung eines Decoder-Teils des oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes, zum Erstellen der digitalen Lokalisierungskarte, dekodiert.
Mit anderen Worten kann zusammen mit dem oben beschriebenen Verfahren zum Training des neuronalen Encoder-Decoder Netzwerkes mit diesem Verfahren eine vollständige Bildkompression und Bildrekonstruktion am Ort des Lokalisierungskarten-Systems bzw. Mapping-Server erreicht werden. Dadurch wird eine höhere Flexibilität bei der Extraktion von Merkmalen erreicht, die für eine Lokalisierung förderlich sind.
Durch die Verwendung eines neuronalen Encoder-Decoder Faltungs-Netzwerkes wird eine Komprimierung der zu übertragenen Daten erreicht, die dadurch weiter reduziert werden, dass irrelevante Daten beim Trainingsprozess des neuronalen Encoder-Decoder Netzwerkes aufgrund des Trainings zusammen mit der Erstellung einer Karte und der Lokalisierung reduziert werden. Mit anderen Worten wird dadurch erreicht, dass eine bevorzugte Semantik der Szene, die für die Lokalisierung notwendig ist, berücksichtigt wird. Beispielsweise werden dadurch Teile des Bildes die den Himmel oder andere Fahrzeuge betreffen herausgefiltert. Dadurch wird das Problem der Übertragung großer Mengen an Bilddaten über ein Cloud-System, d.h. ein drahtlos gekoppeltes System mit verteilter Rechenleistung, gemildert und es werden mehr als nur vordefinierte Merkmale, wie beispielsweise Fahrbahnmarkierungen, Fahrspuren und Masten übertragen.
Mit anderen Worten wird bei diesem Verfahren die gesamte Bildinformation in einen kurzen Vektor zusammengefasst und für die Erstellung einer digitalen Lokalisierungskarte dekomprimiert, wobei das Originalbild mit einem gewissen Fehler rekonstruiert wird. Dies ermöglicht es den Mapping-Algorithmen, alle Merkmale aus dem Bild zu extrahieren, die für die Anwendung geeignet sind. Somit können alle beliebigen Merkmale daraus extrahiert werden, die es ermöglichen, ein engmaschiges Mapping d.h. eine digitale Lokalisierungskarte zu erstellen.
Gemäß einem Aspekt wird ein Verfahren zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform vorgeschlagen. In einem Schritt wird eine geschätzte Pose der mobilen Plattform an ein Lokalisierungskarten-System übertragen.
In einem weiteren Schritt wird zumindest ein ausgesuchter Teil einer digitalen Lokalisierungskarte empfangen, die so wie oben beschrieben ist, erstellt wurde. In einem weiteren Schritt wird eine Lokalisierung-Pose unter Verwendung von zumindest dem ausgesuchten Teil der Lokalisierungskarte bestimmt.
Dabei kann also sowohl ein Teil der Lokalisierungskarte von der mobilen Plattform empfangen werden als auch die gesamte Lokalisierungskarte empfangen werden.
Die stellt ein einfaches Verfahren für die Bestimmung einer Lokalisierung-Pose einer mobilen Plattform dar.
Gemäß einem Aspekt wird vorgeschlagen, dass der ausgesuchte Teil der Lokalisierungskarte der Teil der Lokalisierungskarte ist, innerhalb der die geschätzte Pose liegt.
Gemäß einem Aspekt wird vorgeschlagen, dass die geschätzte Pose der mobilen Plattform mittels eines Navigationssystems, insbesondere eines globalen Navigationssystems und/oder mobilfunkgestützten Navigationssystem bestimmt wird.
Dadurch, dass mittels einer Schätzung bzw. eines Navigationssystems ein relevanter Teil der digitalen Lokalisierungskarte von der mobilen Plattform empfangen wird, kann das zu übertragende Datenvolumen minimiert werden und die Genauigkeit der Bestimmung der Lokalisierung-Pose erhöht werden.
Dabei kann die mobile Plattform eingerichtet sein. Signale des globalen satellitengestützten Navigationssystem GNSS (global navigation satellite system) zu empfangen, um eine Position der mobilen Plattform zu berechnen.
Alternativ oder zusätzlich kann das Navigationssystem eine Pose für die mobile Plattform bereitstellen indem das Navigationssystem Umgebungsmerkmale und/oder topologische Merkmale auswertet.
Gemäß einem Aspekt wird vorgeschlagen, dass bei dem Verfahren zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform die Lokalisierungs-Pose unter Verwendung eines digitalen Bildes der Umgebung der mobilen Plattform und zumindest des ausgesuchten Teils der Lokalisierungskarte bestimmt wird.
Gemäß einem Aspekt wird ein Verfahren zum Generieren einer digitalen Lokalisierungskarte vorgeschlagen, bei dem eine Vielzahl von zumindest teilautomatisierten mobilen Plattformen zumindest eine Referenz-Pose und zumindest ein zugeordnetes digitales Bild zumindest einer Umgebung der Vielzahl der mobilen Plattformen an ein Lokalisierungskarten-System, mittels des oben beschriebenen generierten neuronalen Encoder-Decoder Netzwerkes überträgt.
Sofern eine große Anzahl von mobilen Plattformen verfügbar ist, die eingerichtet sind Referenz-Posen zu generieren, kann dadurch eine genaue digitale Lokalisierungskarte erstellt werden.
Gemäß einem Aspekt wird ein Verfahren zum Generieren einer digitalen Lokalisierungskarte vorgeschlagen, bei dem eine Vielzahl von zumindest teilautomatisierten mobilen Basis-Plattformen zumindest ein digitales Bild und zumindest eine Lokalisierungs-Pose zumindest einer Umgebung der Vielzahl der mobilen Plattformen an ein Lokalisierungskarten-System mittels eines oben beschriebenen generierten neuronalen Encoder-Decoder Netzwerkes überträgt. Bei der Übertragung von digitalen Bildern von der mobilen Basis-Plattform liegt aufgrund einer kostengünstigen Ausstattung der Basis-Plattform keine Referenz-Pose vor. Daher wird für eine Überprüfung und Aktualisierung der Lokalisierungskarte zusammen mit dem digitalen Bild eine Lokalisierung-Pose übertragen.
Gemäß einem Aspekt wird vorgeschlagen, dass das Lokalisierungskarten-System eingerichtet ist, digitale Lokalisierungskarten zu generieren und für die Bestimmung von Posen zumindest teilautomatisierte mobile Plattformen und/oder zumindest teilautomatisierten mobiler Basis-Plattformen bereitzustellen.
Gemäß einem Aspekt wird vorgeschlagen, dass das Lokalisierungskarten-System ein zentrales System auf einem Server ist und/oder ein verteiltes System und/oder ein zentrales System ist, das auf einem verteilten Netz von Servern basiert. Dabei kann sowohl das verteilte System als auch das zentrale System auf einer Mehrzahl von entsprechend eingerichteten zumindest teilautomatisierten mobilen Plattform untergebracht sein.
Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einer Lokalisierungs-Pose ein Steuersignal zur Ansteuerung einer zumindest teilautomatisierten mobilen Plattform bereitgestellt wird; Alternativ oder zusätzlich wird, basierend auf der Lokalisierung-Pose ein Warnsignal zur Warnung eines Insassen der zumindest teilautomatisierten mobilen Plattform bereitgestellt wird. Wie schon oben dargestellt ist, ist auf der Grundlage von Lokalisierung-Posen eine zumindest teilautomatisierte Fahrt einer mobilen Plattform möglich.
Der Begriff „basierend auf‟ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einer Lokalisierungs-Pose bereitgestellt wird, breit zu verstehen. Es ist so zu verstehen, dass zumindest ein Wert der Lokalisierungs-Pose für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Das gleiche gilt sinngemäß für das Bereitstellen eines Warnsignals.
Es wird eine Vorrichtung angegeben, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Vorrichtung kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
Es wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent, ein Schiff, ein Flugzeug, ein Shuttle, ein Robotaxi, Nutzfahrzeuge oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
Figurenliste
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 und 2 dargestellt und im Folgenden näher erläutert. Es zeigen:

1 eine Skizze eines Flussdiagramms eines Verfahrens zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes; und
2 ein Skizze eines Flussdiagramms eines Verfahrens zum komprimierten Übertragen digitaler Bilddaten sowie eines Verfahrens zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform.

Die 1 skizziert schematisch ein Verfahren 100 zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes 170, das einen Encoder-Teil 130, einen Encoding-Vektor 140 und einen Decoder-Teil 150 aufweist, zur komprimierten Übertragung zumindest eines Bildes 120 einer Umgebung einer zumindest teilautomatisierten mobilen Plattform 210 in einer Pose 110, 180.
Das Verfahren 100 weist eine Vielzahl von Trainings-Zyklen auf, wobei jeder Trainings-Zyklus die folgenden Schritte aufweist:

In einem Schritt S1 wird zumindest eine Referenz-Pose 110 der zumindest teilautomatisierten mobilen Plattform 210 bereitgestellt. In einem weiteren Schritt S2 wird zumindest ein erstes digitales Bild 120 einer Umgebung der mobilen Plattform 210 in der Referenz-Pose 110 bereitgestellt. In einem weiteren Schritt S3 wird zumindest ein erstes digitales Bild 120 als Eingangssignal des Encoder-Decoder-Netzwerkes 170 verwendet. In einem weiteren Schritt S4 wird eine digitale Lokalisierungskarte 160 mittels zumindest einem, aus dem zumindest einen Eingangssignal resultierenden, Ausgangssignal des Encoder-Decoder-Netzwerkes 170 erstellt. In einem weiteren Schritt S5 wird eine Lokalisierungs-Pose 180 mittels der digitalen Lokalisierungskarte 160 und zumindest einem zweiten digitalen Bild 190 der Umgebung der mobilen Plattform 210 bestimmt. In einem weiteren Schritt S6 wird das neuronale Encoder-Decoder-Netzwerk 170 adaptiert, um bei der Bestimmung der jeweiligen Lokalisierung-Pose 180 eine Abweichung von der jeweiligen Referenz-Pose 110 zu minimieren.

Dabei kann die Lokalisierung-Pose 180 alternativ mit dem erste Bild 120 statt dem zweiten Bild 190 bestimmt werden, wie durch den gestrichelten Pfeil angedeutet ist.
Die 2 skizziert ein Verfahren 200 zum komprimierten Übertragen digitaler Bilddaten 120 von einer zumindest teilautomatisierten mobilen Plattform 210 an ein Lokalisierungskarten-System 220 zum Erstellen einer digitalen Lokalisierungskarte 160 mittels eines oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes 170, das einen Encoder-Teil 130, einen Encoding-Vektor 140 und einen Decoder-Teil 150 aufweist. Dabei ist die mobile Plattform 210 eingerichtet, Bilder 120 der Umgebung der mobilen Plattform 210 zu generieren. In einem Schritt S11 wird zumindest eine Bild 120 einer Umgebung der zumindest teilautomatisierten mobilen Plattform 210 bereitgestellt. In einem weiteren Schritt S12 wird ein Encoding-Vektor 140 des zumindest einen Bildes 120 unter Verwendung eines Encoder-Teils 130 des oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes 170 erstellt. In einem weiteren Schritt S13 wird der Encoding-Vektor 140 an das Lokalisierungskarten-System 220 übertragen. In einem weiteren Schritt S14 wird der Encoding-Vektor 140 unter Verwendung eines Decoder-Teils 150 des oben beschriebenen trainierten neuronalen Encoder-Decoder Netzwerkes 170, zum Erstellen der digitalen Lokalisierungskarte 160, dekodiert.
Die 2 skizziert weiterhin ein Verfahren 300 zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform 210. In einem Schritt S14 wird eine geschätzte Pose 230 der mobilen Plattform 210 an ein Lokalisierungskarten-System 220 übertragen.
In einem weiteren Schritt S15 wird zumindest ein ausgesuchter Teil einer digitalen Lokalisierungskarte empfangen, die so wie vorher beschrieben ist, erstellt wurde. In einem weiteren Schritt S16 wird eine Lokalisierung-Pose 180 unter Verwendung von zumindest dem ausgesuchten Teil der Lokalisierungskarte 160 bestimmt.
Dabei kann also sowohl ein Teil der Lokalisierungskarte 160 von der mobilen Plattform 210 empfangen werden, als auch die gesamte Lokalisierungskarte 160 empfangen werden.

Claims

Verfahren (100) zum Generieren eines trainierten neuronalen Encoder-Decoder Netzwerkes (170) zur komprimierten Übertragung zumindest eines Bildes (120) einer Umgebung einer zumindest teilautomatisierten mobilen Plattform (210) in einer Pose (110, 180) mit einer Vielzahl von Trainings-Zyklen, wobei jeder Trainings-Zyklus die Schritte aufweist: Bereitstellen zumindest einer Referenz-Pose (110) (S1) der zumindest teilautomatisierten mobilen Plattform (210); Bereitstellen zumindest eines ersten digitalen Bildes (120) einer Umgebung der mobilen Plattform (210) (S2) in der Referenz-Pose (110); Verwenden des zumindest einen ersten digitalen Bildes (120) (S3) als Eingangssignal des Encoder-Decoder Netzwerkes (170); Erstellen einer digitalen Lokalisierungskarte (160) (S4) mittels zumindest einem, aus dem zumindest einen Eingangssignal resultierenden, Ausgangssignal des Encoder-Decoder Netzwerkes (170); Bestimmen einer Lokalisierungs-Pose (180) (S5) mittels der digitalen Lokalisierungskarte (160) und zumindest einem zweiten digitalen Bild (190) der Umgebung der mobilen Plattform (210); und Adaptieren des neuronalen Encoder-Decoder Netzwerkes (S6), um bei der Bestimmung der jeweiligen Lokalisierung-Pose (180) eine Abweichung von der jeweiligen Referenz-Pose (110) zu minimieren.
Verfahren (100) gemäß Anspruch 1, wobei das erste digitale Bild (120) und das zweite digitale Bild (190) identisch sind.
Verfahren (100) gemäß Anspruch 1 oder 2, wobei das erste digitale Bild (120) und das zweite digitale Bild (190) zumindest Teile der gleichen Umgebung repräsentieren.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei das neuronale Encoder-Decoder Netzwerk (170) ein Faltungsnetzwerk ist.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die digitale Lokalisierungskarte (160) mittels zumindest einem Teil der, für das Training des neuronalen Encoder-Decoder Netzwerkes (170) bereitgestellten, Vielzahl der digitalen Bilder (120) erstellt wird.
Verfahren (200) zum komprimierten Übertragen digitaler Bilddaten (120) von einer zumindest teilautomatisierten mobilen Plattform (210) an ein Lokalisierungskarten-System (220) zum Erstellen einer digitalen Lokalisierungskarte (160), mittels eines trainierten neuronalen Encoder-Decoder Netzwerkes (170) gemäß einem der vorhergehenden Ansprüche, wobei die mobile Plattform (210) eingerichtet ist, Bilder der Umgebung der mobilen Plattform zu generieren, mit den Schritten: Bereitstellen zumindest eines Bildes einer Umgebung (120) (S11) der zumindest teilautomatisierten mobilen Plattform (210); Erstellen eines Encoding-Vektors (S12) des zumindest einen Bildes (120) unter Verwendung eines Encoder-Teils (130) des trainierten neuronalen Encoder-Decoder Netzwerkes (170); Übertragen des Encoding-Vektors (140) (S13) an das Lokalisierungskarten-System (220); und Dekodieren des Encoding-Vektors (140) (S14) unter Verwendung eines Decoder-Teils (150) des trainierten neuronalen Encoder-Decoder Netzwerkes (170), zum Erstellen der digitalen Lokalisierungskarte (160).
Verfahren (300) zum Lokalisieren einer zumindest teilautomatisierten mobilen Plattform (210) gemäß einem der Ansprüche 1 bis 6, mit den Schritten: Übertragen einer geschätzten Pose (230) (S14) der mobilen Plattform (210) an ein Lokalisierungskarten-System (220); Empfangen von zumindest einem ausgesuchten Teil einer digitalen Lokalisierungskarte (160) (S15); Bestimmen einer Lokalisierung-Pose (180) (S16) unter Verwendung von zumindest dem ausgesuchten Teil der Lokalisierungskarte (160).
Verfahren (300) gemäß Anspruch 7, wobei die geschätzte Pose (230) der mobilen Plattform (210) mittels eines Navigationssystems, insbesondere eines globalen Navigationssystems und/oder mobilfunkgestützten Navigationssystem bestimmt wird.
Verfahren (300) gemäß Anspruch 7 oder 8, wobei die Lokalisierungs-Pose (180) unter Verwendung eines Bildes (120, 190) der Umgebung der mobilen Plattform (210) und zumindest des ausgesuchten Teils der Lokalisierungskarte (160) bestimmt wird.
Verfahren zum Generieren einer digitalen Lokalisierungskarte (160) gemäß einem der Ansprüche 1 bis 6, bei dem eine Vielzahl von zumindest teilautomatisierten mobilen Plattformen (210) zumindest eine Referenz-Pose (110) und zumindest ein zugeordnetes digitales Bild (120) zumindest einer Umgebung der Vielzahl der mobilen Plattformen (210) an ein Lokalisierungskarten-System (220) mittels eines generierten neuronalen Encoder-Decoder Netzwerkes (170) überträgt.
Verfahren zum Generieren einer digitalen Lokalisierungskarte (160) gemäß einem der Ansprüche 1 bis 6, bei dem eine Vielzahl von zumindest teilautomatisierten mobilen Basis-Plattformen zumindest ein digitales Bild (190) und zumindest eine Lokalisierungs-Pose (180) zumindest einer Umgebung der Vielzahl der mobilen Plattformen (210) an ein Lokalisierungskarten-System (220) mittels eines generierten neuronalen Encoder-Decoder Netzwerkes (170) überträgt.
Verfahren nach einem der Ansprüche 7 bis 9, wobei basierend auf einer Lokalisierungs-Pose (180) ein Steuersignal zur Ansteuerung einer zumindest teilautomatisierten mobilen Plattform bereitgestellt wird; und/oder basierend auf der Lokalisierung-Pose (180) ein Warnsignal zur Warnung eines Insassen der zumindest teilautomatisierten mobilen Plattform bereitgestellt wird.
Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.