-
Die vorliegende Erfindung betrifft ein computer-implementiertes Verfahren zum Bereitstellen von Radardaten, eine Vorrichtung zum Bereitstellen von Radardaten, ein Computerprogramm und ein nichtflüchtiges computerlesbares Speichermedium.
-
Stand der Technik
-
Im Bereich des automatisierten Fahrens ist die genaue Lokalisierung des Fahrzeugs erforderlich, woraus die Positionen der Komponenten des Fahrzeugs abgeschätzt werden können. Zur Lokalisierung können Radardaten verwendet werden. Die Radardaten können dichte Punktwolken umfassen, welche anhand von Radarmessungen erzeugt werden. Fahrzeuge können durch die Gebiete fahren, welche erfasst werden sollen, wobei anhand von Radarmessungen der Fahrzeuge Radarkarten generiert werden. Die Erzeugung der Radarkarte ist dadurch jedoch zeitaufwendig, das sämtliche Wege in dem zu erfassenden Gebiet abgefahren werden müssen. Ebenfalls ist die Erzeugung der Radarkarten teuer, da für Fahrzeuge, Kraftstoff und Fahrer hohe Kosten anfallen können.
-
Eine Lokalisierung basierend auf 3D-Karten ist aus Carle et al., „Global rover localization by matching lidar and orbital 3D maps", IEEE International Conference on Robotics and Automation, 2010, bekannt.
-
Ein Verfahren zur Verbesserung bestehender Karten ist bekannt aus Vysotska et al., „Exploiting Building Information from Publicly Available Maps in Graph-Based SLAM", IEEE/RSJ International Conference on Intelligent Robots and Systems, 2016.
-
Ein Verfahren zu Straßensegmentierung ist bekannt aus Wang et al., „A review of road extraction from remote sensing images," Journal of Traffic and Transportation Engineering, 3(3), 271-282, 2016. Ein weiteres derartiges Verfahren findet sich in Mnih et al., „Learning to Detect Roads in High-Resolution Aerial Images,“ European Conference on Computer Vision (ECCV), 2010.
Ein Verfahren, welches auf neuronalen Netzen basiert, ist bekann aus Xia et al. „Road Extraction from High Resolution Image with Deep Convolution Network-A Case Study of GF-2 Image,“ International Electronic Conference on Remote Sensing, 2018.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt betrifft die Erfindung ein computer-implementiertes Verfahren zum Bereitstellen von Radardaten. Eingangsdaten werden empfangen, wobei die Eingangsdaten Satellitenaufnahmen umfassen. Unter Verwendung eines trainierten maschinellen Lernalgorithmus, welcher auf die Eingangsdaten angewendet wird, werden Radardaten generiert. Die generierten Radardaten werden ausgegeben.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zum Bereitstellen von Radardaten, mit einer Eingangsschnittstelle, einer Recheneinrichtung und einer Ausgangsschnittstelle. Die Eingangsschnittstelle ist dazu ausgebildet, Eingangsdaten zu empfangen, wobei die Eingangsdaten Satellitenaufnahmen umfassen. Die Recheneinrichtung ist dazu ausgebildet, unter Verwendung eines trainierten maschinellen Lernalgorithmus, welcher auf die Eingangsdaten angewendet wird, Radardaten zu generieren. Die Ausgangsschnittstelle ist dazu ausgebildet ist, die generierten Radardaten auszugeben.
-
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm, welches bei Ausführung auf einem Computer diesen dazu veranlasst, die Ausführung der Schritte des computer-implementierten Verfahrens gemäß dem ersten Aspekt zu steuern.
-
Gemäß einem vierten Aspekt betrifft die Erfindung ein nichtflüchtiges computerlesbares Speichermedium, das ein ausführbares Computerprogramm speichert, welches bei Ausführung auf einem Computer diesen dazu veranlasst, die Ausführung der Schritte des computer-implementierten Verfahrens gemäß dem ersten Aspekt zu steuern.
-
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
-
Vorteile der Erfindung
-
Satellitenaufnahmen sind gut geeignet, um große Gebiete zu erfassen. Weiter stehen Satellitenaufnahmen typischerweise kostengünstig zur Verfügung. Die Erfindung macht sich zugute, dass bestimmte Strukturen sowohl in Satellitenaufnahmen als auch in Radarmessungen gut erkennbar sind. Insbesondere Straßenstrukturen wie Pfosten, Leitplanken oder Verkehrsschilder sind mit beiden Verfahren gut zu detektieren. Dadurch ist eine computer-implementierte Übertragung der Satellitenaufnahmen in Radardaten möglich.
-
Weiter können die Radardaten ohne großen Zeitaufwand generiert werden, da ein Abfahren der Straßen in dem zu erfassenden Gebiet nicht notwendig ist.
-
Gemäß der Erfindung sind unter den „generierten Radardaten“ synthetische Radardaten zu verstehen, welche anhand der Satellitenaufnahmen generiert werden. Diese sollen realen Radardaten, welche durch Radarmessungen generiert werden, möglichst exakt entsprechen.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens werden Radardaten durch Radarsensoren eines Kraftfahrzeugs erzeugt. Die anhand der Radarsensoren des Kraftfahrzeugs erzeugten Radardaten werden mit den anhand der Satellitenaufnahmen erzeugten Radardaten verglichen. Das Kraftfahrzeug wird anhand des Vergleichs lokalisiert. Dabei ist die gute Skalierbarkeit vorteilhaft. Falls Satellitenaufnahmen in einem Gebiet verfügbar sind, kann die Lokalisierung dort direkt durchgeführt werden. Dadurch ist die Lokalisierung in vielen Gebieten möglich.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens umfasst das Anwenden des trainierten maschinellen Lernalgorithmus auf die Eingangsdaten eine semantische Segmentierung der Satellitenaufnahmen. Insbesondere können bestimmte Strukturen, etwa Fahrbahnmarkierungen, Straßenschilder, Leitplanken und Ähnliches automatisch erkannt werden.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens werden anhand der semantischen Segmentierung Radarsegmentbilder erzeugt, in welchen Radarmessungen zu erwarten sind. Den Pixeln in den Radarsegmentbildern werden durch den maschinellen Lernalgorithmus Werte für den Radarquerschnitt (englisch: radar cross section, RCS) zugeordnet.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens sind die Pixel der Satellitenaufnahmen zuerst zweidimensional. Die den Pixeln zugeordneten Werte für den Radarquerschnitt werden in Punktwolken von Radarmessungen in einem dreidimensionalen Weltkoordinatensystem transformiert.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens werden beim Transformieren der zweidimensionalen Koordinaten in die dreidimensionalen Koordinaten Höheninformationen berücksichtigt.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens umfassen die generierten Radardaten Punktwolken. Alternativ oder zusätzlich können die generierten Radardaten Gaußverteilungen umfassen.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens werden durch Extraktion von Merkmalen anhand der Punktwolken und/oder Gaußverteilungen Radarkarten erzeugt.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens wird der maschinelle Lernalgorithmus durch überwachtes Lernen trainiert. Der maschinelle Lernalgorithmus kann insbesondere auf einem Deep-Learning-Modell für semantische Segmentierung basieren.
-
Gemäß einer Ausführungsform des computer-implementierten Verfahrens erfolgt das Trainieren des maschinellen Lernalgorithmus durch überwachtes Lernen anhand von Trainingsdaten, wobei die Trainingsdaten Satellitenaufnahmen als Eingangsdaten und reale Radardaten als Ausgangsdaten umfassen. Die realen Radardaten entsprechen Radarsegmentbildern, welche Projektionen der Werte von Radarquerschnitten von realen Radarmessungen entsprechen. Die bei den realen Radarmessungen erfassten Radardaten liegen typischerweise in einem Radar-Koordinatensystem vor. Die Radardaten werden von dem Radar-Koordinatensystem in ein Weltkoordinatensystem transformiert. Dadurch können die Radardaten direkt auf die Satellitenaufnahmen abgebildet werden.
-
Figurenliste
-
Es zeigen:
- 1 ein schematisches Blockdiagramm einer Vorrichtung zum Bereitstellen von Radardaten gemäß einer Ausführungsform der Erfindung;
- 2 ein schematisches Blockdiagramm zur Erläuterung der Lokalisierung eines Kraftfahrzeugs anhand von Radardaten, welche anhand von Satellitenaufnahmen generiert wurden;
- 3 ein schematisches Blockdiagramm zur Erläuterung der Generierung von Radardaten anhand von Satellitenaufnahmen;
- 4 ein Flussdiagramm eines computer-implementierten Verfahrens zum Bereitstellen von Radardaten gemäß einer Ausführungsform der Erfindung;
- 5 ein schematisches Blockdiagramm eines Computerprogramms gemäß einer Ausführungsform der Erfindung; und
- 6 ein schematisches Blockdiagramm eines nichtflüchtigen computerlesbaren Speichermediums gemäß einer Ausführungsform der Erfindung.
-
Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt ein schematisches Blockdiagramm einer Vorrichtung 1 zum Bereitstellen von Radardaten gemäß einer Ausführungsform der Erfindung. Die Vorrichtung 1 umfasst eine Eingangsschnittstelle 11 zum Bereitstellen von Eingangsdaten. Die Eingangsschnittstelle kann über eine Kabelverbindung oder eine drahtlose Verbindung mit mindestens einer externen Vorrichtung, insbesondere mit einem Satellitensystem oder einem Server verbunden sein, um die Eingangsdaten zu empfangen. Die Eingangsdaten umfassen Satellitenaufnahmen. Satellitenaufnahmen kann hierbei ein einzelnes Satellitenbild oder auch eine Vielzahl von Satellitenbildern verstanden werden. Die Eingangsdaten können zusätzliche Informationen umfassen, etwa Höheninformationen oder semantische Labels der Satellitenaufnahmen.
-
Die Vorrichtung 1 weist weiter einen Speicher 12 auf, in welchem die empfangenen Eingangsdaten gespeichert werden. In dem Speicher 12 können weiter Daten gespeichert sein, welche zur Ausführung eines trainierten maschinellen Lernalgorithmus erforderlich sind.
-
Die Vorrichtung 1 weist weiter eine Recheneinrichtung 13 auf, welche dazu ausgebildet ist, den trainierten maschinellen Lernalgorithmus auszuführen. Die Recheneinrichtung 13 kann mindestens eines von Prozessoren, Mikroprozessoren, integrierten Schaltungen, ASICs und dergleichen umfassen. Die Recheneinrichtung 13 greift auf die in dem Speicher 12 gespeicherten Eingangsdaten zu. Unter Verwendung des trainierten maschinellen Lernalgorithmus erkennt die Recheneinrichtung 13 Segmente in den Satellitenaufnahmen, in welchen Radarmessungen auftreten können. Die Segmente entsprechen somit Objekten oder Strukturen, an welchen die Radarstrahlen reflektiert werden. Die Recheneinrichtung 13 kann Pixel in den Satellitenaufnahmen identifizieren, welche diesen Segmenten entsprechen. Die Pixel entsprechen räumlichen Positionen, an welchen Radarreflexionen auftreten können.
-
Der maschinelle Lernalgorithmus kann hierbei anhand von Trainingsdaten trainiert worden sein, welche Satellitenaufnahmen als Eingangsdaten sowie reale Radardaten als Ausgangsdaten umfassen. Die Recheneinrichtung 13 kann dazu ausgebildet sein, das Trainieren des maschinellen Lernalgorithmus selbst auszuführen. Alternativ kann auch vorgesehen sein, dass bereits ein trainierter maschineller Lernalgorithmus bereitgestellt wird.
-
Die Recheneinrichtung 13 kann den Pixeln, welche räumlichen Positionen entsprechen, an welchen Radarreflexionen auftreten können, Werte für einen Radarquerschnitt zuordnen. Die Werte können ebenfalls anhand des trainierten maschinellen Lernalgorithmus generiert werden.
-
Die Recheneinrichtung 13 kann weiter ausgebildet sein, die den zweidimensionalen Pixeln zugeordneten Werte für die Radarreflexionen in dreidimensionale Punktwolken zu transformieren, wobei Höheninformationen berücksichtigt werden können.
-
Schließlich kann die Recheneinrichtung 13 dazu ausgebildet sein, anhand der dreidimensionalen Punktwolken Radarkarten zu erstellen, wobei Merkmale extrahiert werden können.
-
Die Radarkarten können in einer beliebigen Darstellungsweise bereitgestellt werden. Anstelle von Punktwolken oder zusätzlich zu den Punktwolken können beispielsweise Gaußverteilungen erzeugt werden.
-
Weiter kann die Eingangsschnittstelle 11 reale Radardaten empfangen, welche durch Radarsensoren eines Kraftfahrzeugs erzeugt werden. Die Recheneinrichtung 13 ist dazu ausgebildet, die empfangenen realen Radardaten mit den anhand der Satellitenaufnahmen generierten synthetischen Radardaten zu vergleichen. Anhand des Vergleichs, etwa durch Registrierung der realen Radardaten und der synthetischen Radardaten, kann das Kraftfahrzeug lokalisiert werden. Die Recheneinrichtung 13 kann die Position des Kraftfahrzeugs ausgeben. Insbesondere können Fahrerassistenzsysteme anhand der Lokalisierung des Kraftfahrzeugs Funktionen des Kraftfahrzeugs steuern.
-
Weiter umfasst die Vorrichtung 1 eine Ausgangsschnittstelle 14 zum Ausgeben der synthetischen Radardaten bzw. der Lokalisierung des Kraftfahrzeugs. Die Ausgangsschnittstelle 14 kann mit der Eingangsschnittstelle 11 identisch sein
-
2 zeigt ein schematisches Blockdiagramm zur Erläuterung der Lokalisierung eines Kraftfahrzeugs anhand von Radardaten, welche anhand von Satellitenaufnahmen generiert wurden. Satellitenaufnahmen 21 werden bereitgestellt. Auf die Satellitenaufnahmen 21 wird ein Transformationsalgorithmus 22 angewendet, welcher synthetische Radardaten 23 generiert. Der Transformationsalgorithmus basiert auf dem oben beschriebenen trainierten maschinellen Lernalgorithmus. Weiter werden reale Radardaten 24, welche von Radarsensoren eines Kraftfahrzeugs generiert werden, bereitgestellt. Anhand eines Vergleichs wird eine Lokalisierung 25 des Kraftfahrzeugs durchgeführt. Anhand der Lokalisierung des Kraftfahrzeugs kann die Pose 26 des Kraftfahrzeugs ermittelt werden.
-
3 zeigt ein schematisches Blockdiagramm zur Erläuterung der Generierung von Radardaten anhand von Satellitenaufnahmen. Eine Satellitenaufnahme 31 wird bereitgestellt, in welcher bestimmte Strukturen zu erkennen sind, etwa Fahrbahnbegrenzungen. Durch semantische Segmentierung werden mittels des trainierten maschinellen Lernalgorithmus Pixel bzw. Segmente identifiziert, welche Strukturen entsprechen, welche Radarstrahlen reflektieren. Den Pixeln werden darüber hinaus Werte für den Radarquerschnitt zugeordnet. Hieraus werden Punktwolken 33 generiert. Durch Extrahieren von Merkmalen werden Radarkarten 34 erzeugt.
-
4 zeigt ein Flussdiagramm eines computer-implementierten Verfahrens zum Bereitstellen von Radardaten gemäß einer Ausführungsform der Erfindung. Das Verfahren kann durch eine oben beschriebene Vorrichtung 1 durchgeführt werden. Umgekehrt kann die Vorrichtung 1 ausgebildet sein, das im folgenden beschriebenen Verfahren durchzuführen.
-
In einem ersten Verfahrensschritt S1 werden Eingangsdaten empfangen, welche Satellitenaufnahmen umfassen.
-
In einem Verfahrensschritt S2 wird ein maschineller Lernalgorithmus trainiert. Hierzu werden bestimmte Satellitenaufnahmen als Eingangsdaten und den Satellitenaufnahmen entsprechende Radardaten als Ausgangsdaten bereitgestellt, um ein überwachtes Lernen durchzuführen. Der derart trainierte maschinelle Lernalgorithmus ist dann auf beliebige Satellitenaufnahmen anwendbar. Optional können die Radardaten für das Trainieren vorbereitet werden. Beispielsweise kann eine Annotation durch einen Benutzer durchgeführt werden. Es kann auch vorgesehen sein, eine automatische Annotation durchzuführen. Dadurch kann mit reduziertem Arbeitsaufwand eine gute globale Lokalisierung der Radardaten erreicht werden.
-
In einem Verfahrensschritt S3 werden synthetische Radardaten generiert, indem der trainierte maschinelle Lernalgorithmus auf die Eingangsdaten angewendet wird. Hierzu können zuerst Radarsegmente bzw. Pixel identifiziert werden, welche Objekten entsprechen, von welchen Radarstrahlung reflektiert wird. Weiter werden für die Pixel Werte für den Radarquerschnitt angegeben. Etwa anhand von Höheninformationen können dreidimensionale Radardaten erzeugt werden, etwa in Form von Punktwolken und/oder Gaußverteilungen. Durch Extrahieren von Merkmalen können weiter Radarkarten erzeugt werden, welche zusätzlich Information bezüglich bestimmter Strukturen umfassen.
-
In einem Verfahrensschritt S4 werden die generierten Radardaten ausgegeben.
-
Das Verfahren kann weiter zum Lokalisieren eines Kraftfahrzeugs verwendet werden. Hierzu werden in einem fünften Verfahrensschritt S5 reale Radardaten durch Radarsensoren eines Kraftfahrzeugs erzeugt.
-
In einem Verfahrensschritt S6 werden die anhand der Radarsensoren erzeugten realen Radardaten mit den anhand der Satellitenaufnahmen erzeugten synthetischen Radardaten verglichen. Insbesondere kann eine Registrierung durchgeführt werden, d. h. die realen Radardaten werden derart rotiert und verschoben dass sie möglichst genau mit den synthetischen Radardaten übereinstimmen bzw. zusammenfallen.
-
Dadurch kann das Kraftfahrzeug in einem weiteren Verfahrensschritt S7 lokalisiert werden. Insbesondere kann eine Pose des Kraftfahrzeugs berechnet werden. Bestimmte Fahrfunktionen können unter Verwendung der Lokalisierung des Kraftfahrzeugs automatisch gesteuert werden.
-
5 zeigt ein schematisches Blockdiagramm eines Computerprogramms 5 gemäß einer Ausführungsform der Erfindung. Das Computerprogramm 5 umfasst ausführbaren Programmcode 51, welcher bei Ausführung auf einem Computer den Computer dazu veranlasst, das oben beschriebene computer-implementierte Verfahren zum Bereitstellen von Radardaten zu steuern bzw. durchzuführen.
-
6 zeigt ein schematisches Blockdiagramm eines nichtflüchtigen computerlesbaren Speichermediums 6 gemäß einer Ausführungsform der Erfindung. Das Speichermedium 6 umfasst ausführbaren Programmcode 61, welcher bei Ausführung auf einem Computer den Computer dazu veranlasst, das oben beschriebene computer-implementierte Verfahren zum Bereitstellen von Radardaten zu steuern bzw. durchzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Carle et al., „Global rover localization by matching lidar and orbital 3D maps“, IEEE International Conference on Robotics and Automation, 2010 [0003]
- Vysotska et al., „Exploiting Building Information from Publicly Available Maps in Graph-Based SLAM“, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2016 [0004]
- Wang et al., „A review of road extraction from remote sensing images,“ Journal of Traffic and Transportation Engineering, 3(3), 271-282, 2016 [0005]
