-
Die Erfindung betrifft ein Verfahren zum Bereitstellen von Daten zum Erstellen einer digitalen Karte. Die Erfindung betrifft eine Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte. Die Erfindung betrifft ferner ein Computerprogrammprodukt.
-
Stand der Technik
-
Für automatisiertes Verfahren ist ein zuverlässiges Erstellen von digitalen Karten (digitales Mapping) von großer Wichtigkeit. Bekannt sind rechnende Architekturen, die unstrukturierte dreidimensionale Daten verarbeiten, wobei diese Architekturen Merkmale aus Punktwolkendaten extrahieren, die für eine Objektklassifikationsaufgaben genutzt werden. Bekannt sind derartige Architekturen zum Beispiel aus der folgenden Schrift:
-
Qi CR, Su H, Mo K, Guibas LJ. PointNet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2017, pp. 652-660.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Bereitstellen von Daten zum Erstellen einer digitalen Karte bereitzustellen.
-
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem Verfahren zum Bereitstellen von Daten zum Erstellen einer digitalen Karte mit den Schritten:
- - Erfassen von Umfeldsensordaten eines Umfelds während einer Messfahrt eines physikalischen Systems, vorzugsweise Fahrzeugs, wobei die Umfeldsensordaten das Umfeld wenigstens teilweise überlappend erfassen, wobei erste Umfeldsensordaten dreidimensionale Informationen und wobei zweite Umfeldsensordaten zweidimensionale Informationen aufweisen;
- - Extrahieren von wenigstens einem definierten Objekt mittels eines im physikalischen System angeordneten ersten neuronalen Netzes aus den ersten und zweiten Umfeldsensordaten in erste extrahierte Daten; und
- - Extrahieren von charakteristischen Merkmalen mit Deskriptoren aus den ersten extrahierten Daten mittels eines im physikalischen System angeordneten zweiten neuronales Netzes in zweite extrahierte Daten, wobei die Deskriptoren zu einem definierten Ausrichten der zweiten extrahierten Daten in einem Kartenerstellungsprozess vorgesehen sind.
-
Vorteilhaft werden auf diese Weise zum Erstellen der digitalen Karte definiert komprimierte, d.h. umfangsmäßig reduzierte Daten bereitgestellt. Im Ergebnis sind dadurch nur kleinere Datenmengen an eine Kartenerstellungseinheit zu übertragen, was vorteilhaft Übertragungsaufwand und Rechenaufwand zum Erstellen der digitalen Karte sparen kann. Auf diese Art und Weise wird ein Teil einer Prozesskette zum Erstellen einer digitalen Karte vorgeschlagen, die vorzugsweise auf einem Messfahrzeug während einer oder mehrerer Messfahrten durchgeführt wird.
-
Deskriptoren sind im Sinne der Anmeldung semantische Informationen, die die jeweiligen charakteristischen Merkmale beziehungsweise das jeweilige Objekt beschreiben.
-
Die Aufgabe wird gemäß einem zweiten Aspekt gelöst mit einer Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte, aufweisend:
- - ein erstes neuronales Netz, das eingerichtet ist, wenigstens ein definiertes Objekt aus ersten und zweiten Umfeldsensordaten in erste extrahierte Daten zu extrahieren, wobei die Umfeldsensordaten das Umfeld wenigstens teilweise überlappend erfassen wobei erste Umfeldsensordaten dreidimensionale Informationen und wobei zweite Umfeldsensordaten zweidimensionale Informationen aufweisen; und
- - ein zweites neuronales Netz, das eingerichtet ist, charakteristischen Merkmalen mit Deskriptoren aus den ersten extrahierten Daten in zweite extrahierte Daten zu extrahieren, wobei die Deskriptoren zu einem definierten Ausrichten der zweiten extrahierten Daten in einem Kartenerstellungsprozess vorgesehen sind.
-
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerprogrammprodukt mit Programmcodemitteln zur Durchführung des vorgeschlagenen Verfahrens, wenn es auf einer vorgeschlagenen elektronischen Vorrichtung abläuft oder auf einem computerlesbaren Datenträger gespeichert ist.
-
Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von jeweils abhängigen Ansprüchen.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass als erste Umfeldsensordaten wenigstens eines aus Folgendem verwendet wird: Radardaten, Lidardaten, Stereokameradaten und wobei als zweite Umfeldsensordaten Kameradaten verwendet werden. Vorteilhaft können auf diese Art und Weise für das vorgeschlagene Verfahren unterschiedliche Arten von Sensordaten genutzt werden, wobei als dreidimensionale Daten auch diskretisierte Daten verwendet werden können.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass als Eingangsdaten für die neuronalen Netze definierte Ungenauigkeitsbereiche der zugeführten Daten verwendet werden. Vorteilhaft können auf diese Art weitere Parameter als Eingangsdaten für das erste neuronale Netz bereitgestellt werden, beispielsweise mittels eines Gauss'schen Mischmodells. Nützlich ist dieser zusätzlicher Parameter insbesondere bei Radardaten, weil bei dieser Art von Daten die Punktwolkendaten in der Regel weniger genau sind als bei entsprechenden Lidardaten.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die charakteristischen Merkmale und der Deskriptor das ermittelte Objekt näher definieren. Dadurch ist vorteilhaft unterstützt, dass im nachfolgenden Kartenerstellungsprozess die zweiten extrahierten Daten noch einfacher aneinander ausgerichtet werden können.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass der Deskriptor eine Dimensionsangabe des charakteristischen Merkmals definiert. Vorteilhaft kann dadurch eine nähere Spezifizierung der charakteristischen Merkmale durchgeführt werden, was eine für die Kartenerstellung zu übertragende Datenmenge effizient reduzieren kann.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Umfeldsensordaten von unterschiedlichen Fahrten des physikalischen Systems und/oder einem physikalischen Systemen zu unterschiedlichen Zeitpunkten bereitgestellt werden. Vorteilhaft wird dadurch berücksichtigt, dass charakteristische Merkmale zu unterschiedlichen Zeiten und von unterschiedlichen Erfassungsfahrzeugen jeweils unterschiedlich aussehen können. Auf vorteilhafte Weise ist dadurch das Ausrichten bzw. Anpassen der charakteristischen Merkmale im Prozess der Kartenerstellung aus einer großen Datenmenge auf effiziente Weise möglich.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sehen vor, dass das wenigstens eine extrahierte Objekt eines aus Folgendem ist:
- Fahrbahnmarkierung, Verkehrszeichen, Fahrspur, Zebrastreifen, Verkehrsschild, Gebäude. Vorteilhaft können dadurch unterschiedliche spezifische Merkmale des Umfelds für die Erstellung der digitalen Karte berücksichtigt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die zweiten extrahierten Umfeldsensordaten an eine Kartenerstellungseinheit übermittelt werden. Vorteilhaft kann dadurch an die Kartenerstellungseinheit eine gegenüber dem Stand der Technik verringerte Datenmenge zur Erstellung der digitalen Karte übermittelt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das erste neuronale Netz ein deep convolutional neural network und das zweite neuronale Netz ein punktwolkenbasiertes neuronales Netz ist. Vorteilhaft werden dadurch für die spezifischen Aufgaben der Merkmalsextraktion jeweils gut geeignete Typen von neuronalen Netzen verwendet. Zur Extraktion der charakteristischen Merkmale mittels des zweiten neuronalen Netzes kann zum Beispiel das oben genannte Verfahren gemäß Qi CR, Yi L, Su H, Guibas LJ. PointNet++: Deep hierarchical feature learning on point sets in a metric space in Advances, Neural Information Processing Systems 2017, pp. 5099-5108 oder gemäß Yew ZJ, Lee GH. 3DFeat-Net: Weakly supervised local 3d features for point cloud registration, European Conference on Computer Vision 2018 Sep 8, pp. 630-646, genutzt werden. Mit den genannten Typen von neuronalen Netzen ist eine generische Merkmalsextraktion auf vorteilhafte Weise gut unterstützt.
-
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von drei Figuren näher beschrieben. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung, sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in den Figuren.
-
Offenbarte Merkmale und Vorteile des Verfahrens ergeben sich in analoger Weise aus offenbaren Merkmalen und Vorteilen der Vorrichtung und umgekehrt.
-
In den Figuren zeigt:
- 1 eine prinzipielle Darstellung einer Funktionsweise des ersten neuronalen Netzes zum Extrahieren von Objektmerkmalen aus Sensordaten;
- 2 ein prinzipielles Blockschaltbild einer vorgeschlagenen elektronischen Vorrichtung zur Durchführung des vorgeschlagenen Verfahrens; und
- 3 einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens.
-
Beschreibung von Ausführungsformen
-
Ein Kerngedanke der vorliegenden Erfindung liegt insbesondere in einem verbesserten Verfahren zum Bereitstellen von Daten zum Erstellen einer hochauflösenden digitalen Karte, insbesondere zum Zwecke des automatisierten Fahrens für wenigstens teilweise automatisierte Fahrzeuge.
-
Nachfolgend wird der Begriff „automatisiertes Fahrzeug“ synonym mit den Begriffen „vollautomatisiertes Fahrzeug“, „autonomes Fahrzeug“ und „teilautonomes Fahrzeug“ verwendet.
-
Mit einem oder mehreren Messfahrzeugen wird im Rahmen einer oder mehrerer Messfahrten ein sensorisches Erfassen von Umgebungsdaten mittels einer Umfeldsensoreinrichtung durchgeführt, wobei als Umfeldsensoreinrichtungen z.B. ein Lidarsensor und/oder ein Radarsensor zum Erfassen von dreidimensionalen Umfeldsensordaten D1 und eine Kamera zum Erfassen von zweidimensionalen Umfeldsensordaten D2 verwendet werden können.
-
Die erfassten Umfeldsensordaten stellen Beschreibungen unterschiedlicher Abschnitte einer Umgebung des Fahrzeugs dar und dienen zum Erstellen einer Kartendarstellung der Umgebung. Eine Kartendarstellung der Umgebung des Fahrzeugs kann dadurch erreicht werden, dass mehrere Sätze von Umfeldsensordaten, die verschiedene Abschnitte der Umgebung beschreiben, zusammengefasst werden, sodass eine durchgehende zusammenhängende Kartendarstellung der Umgebung bestehend aus einer Mehrzahl zusammengefasster Sätze von Umfeldsensordaten aneinander anschließender Abschnitte der Umgebung des Fahrzeugs erzielt werden kann.
-
Zum Zusammenfassen von Umfeldsensordaten, die jeweils eine Beschreibung aneinander angrenzender Abschnitte der Umgebung darstellen, können die jeweiligen Sätze von Umfeldsensordaten derart miteinander verbunden werden, dass Überschneidungsbereiche jeweils zwei aneinander angrenzender Sätze von Umfeldsensordaten, in denen identische Abschnitte der Umgebung dargestellt sind, in Deckung gebracht werden. Überscheidungsbereiche können hierbei aus einzelnen Messpunkten bestehen.
-
Eine Kartendarstellung und insbesondere ein Zusammenfassen verschiedener Sätze von Umfeldsensordaten setzt hierbei voraus, dass zusammenzufassende beziehungsweise miteinander zu verbindende Sätze von Umfeldsensordaten, zueinander ausgerichtet sind, sodass durch ein Verbinden der Sätze von Umfeldsensordaten eine zusammenhängende Kartendarstellung der Umgebung erreicht werden kann. Eine Ausrichtung verschiedener Sätze von Umfeldsensordaten kompensiert hierbei, dass bei verschiedenen Sätzen von Umfeldsensordaten, die beispielsweise zu unterschiedlichen Zeiten von einem Fahrzeug und/oder von verschiedenen Fahrzeugen aufgenommen wurden, die jeweiligen Umfeldsensoren unterschiedliche Ausrichtungen zur Umgebung aufweisen können.
-
Vorgeschlagen wird ein Verfahren zum Bereitstellen von Daten für die Kartenerstellung, die ein Ausrichten von dreidimensionalen Punktwolken unter Verwendung von Merkmalen vorsieht, die mittels zweier neuronaler Netze 10, 20 aus spezifischen Umgebungsmerkmalen (z.B. Fahrbahnmarkierungen, Verkehrsschilder, Gebäuden, usw.) extrahiert werden. Die zu Grunde liegenden Rohdaten werden in Form der zweidimensionalen Umfeldsensordaten D2 (z.B. Kameradaten) und in Form der dreidimensionalen Umfeldsensordaten D1 (z.B. Lidardaten, Radardaten) bereitgestellt und an das erste neuronale Netz 10 zugeführt.
-
Mit dem vorgeschlagenen Datenbereitstellungsprozess ergeben sich insbesondere folgende Vorteile:
- - Vorteilhaft kann durch das erfindungsgemäße Verfahren eine Datentransferrate wesentlich reduziert werden, indem zur Ausrichtung zweier Punktwolken zueinander, lediglich eine Ausrichtung zweier Untermengen der beiden Punktwolken durchgeführt wird, auf deren Basis eine Ausrichtung der zwei vollständigen Punktwolken ermöglicht ist. Durch die Betrachtung der zwei Untermengen der beiden Punktwolken, die jeweils ein wesentlich geringeres Datenvolumen aufweisen als die jeweiligen Punktwolken, kann das zu bearbeitenden und damit verbunden das zu übertragende Datenvolumen substantiell verringert werden. Im Ergebnis ist dadurch eine Bandbreite, die zur Übertragung der für die Kartenerstellung notwendigen Daten erforderlich ist, wesentlich verringert und damit kostengünstiger.
- - Reduzierung von nachfolgenden Berechnungskosten: Das Verarbeiten von kleineren Datenmengen kann die Kosten der Erstellung der digitalen Karte mittels einer nachgeordneten Kartenerstellungseinheit deutlich reduzieren.
- - Verbesserte Objektmerkmale: Die durch neuronale Netze ermittelten charakteristischen Merkmale eines detektierten Objekts und die danach ermittelten charakteristischen Punkte der Punktwolke, die den jeweiligen Merkmalen des Objekts entsprechen, können exakter bestimmt sein, als charakteristische Punkte einer Punktwolke, die händisch ermittelt wurden. Hierdurch kann eine exaktere Ausrichtung zweier Punktwolken auf Basis einer Ausrichtung der charakteristischen Punkte der beiden Punktwolken zueinander erreicht werden. Eine händische Ermittlung von charakteristischen Punkten kann hierbei mittels entsprechender Software-Tools erreicht werden, die dem Nutzer ermöglichen einzelnen Punkte einer Punktwolke als charakteristische Punkte zu markieren, auf deren Basis dann eine ausrichtung mehrerer Punktwolken, in denen jeweils charakteristische Punkte markiert sind, erreicht werden kann.
- - Steigerung von Robustheit: die Kombination von dreidimensionalen mit zweidimensionalen Umfeldsensordaten (z.B. Lidar- und Bilddaten) für semantische Zwecke im Sinne von maschinellem Lernen ergibt vorteilhaft eine Kombination von günstigen Effekten. Der Reflexionsgrad der Lidardaten ist z.B. robust gegenüber wechselnden Lichtbedingungen und die texturreiche Information von RGB-Kameradaten unterstützt Laserdaten z.B. bei gutausgeleuchteten Umgebungsbedingungen. 1 zeigt eine prinzipielle Funktionsweise eines Schritts des vorgeschlagenen Verfahrens. Man erkennt, dass dreidimensionale Umfeldsensordaten D1 (z.B. Lidardaten, Radardaten, Stereokameradaten, usw.) und zweidimensionale Umfeldsensordaten D2 (z.B. Kameradaten), die einander definiert zugeordnet sind (z.B. dadurch, dass die entsprechenden Umfeldsensoren einen Umfeldabschnitt des Fahrzeugs wenigstens teilweise überlappend erfassen oder durch eine Projektion der Lidarmessungen auf eine Bildebene der Kamera realisieren), einem im Messfahrzeug angeordneten ersten neuronalen Netz 10 zugeführt werden.
-
Die dreidimensionalen Umfeldsensordaten D1 können als Messwerte von Lidar-Sensoren in dreidimensionalen Punktwolken zusammengefasst sein, die jeweils eine Beschreibung einer Umgebung des Fahrzeugs darstellen. Die zweidimensionalen Umfeldsensordaten D2 können beispielsweise zweidimensionale Bildaufnahmen der Umgebung des Fahrzeugs sein, die mittels eines entsprechenden Kamerasystems aufgenommen werden. Die zweidimensionalen Umfelddate D2 können insbesondere RGB-Daten (Rot-Grün-Blau-Daten) umfassen.
-
Die Kombination von Lidardaten und Bilddaten beziehungsweise RGB-Kameradaten ermöglicht eine präzise Kartendarstellung der Umgebung. RGB-Kameradaten ermöglichen hierbei eine möglichst detaillierte Beschreibung der Umgebung und das Ermitteln einzelner Objekte der Umgebung. Lidardaten stellen darüber hinaus präzise Entfernungsinformationen der Objekte der Umgebung bereit.
-
Im Folgenden wird das erfindungsgemäße Verfahren anhand eines Ausführungsbeispiels beschrieben. Das Verfahren soll nicht auf das im Folgenden beschriebene Beispiel beschränkt sein.
-
In einem ersten Schritt des Verfahrens werden Lidardaten in Form einer dreidimensionalen Punktwolke von dreidimensionalen Umfeldsensordaten D1 und Bilddaten in Form von einer zweidimensionalen Bildaufnahme von zweidimensionalen Umfeldsensordaten D2 von einer zu kartografierenden Umgebung eines Fahrzeugs aufgenommen. Das Fahrzeug ist hierzu mit entsprechenden Umfeldsensoren ausgestattet und kann sich auf einer entsprechenden Messfahrt befinden, während der in einem vorbestimmten zeitlichen Zeitraum eine Mehrzahl von Sätzen von dreidimensionalen Umfeldsensordaten D1 und zweidimensionalen Umfeldsensordaten D2 aufgenommen werden.
-
In einem weiteren Schritt des Verfahrens wird eine Projektion einer dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 auf eine zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 durchgeführt. Die dreidimensionale Punktwolke der dreidimensionalen Umfeldsensordaten D1 und die zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 sind hierzu zu gleichen Zeiten aufgenommen beziehungsweise beschreiben einen identischen Ausschnitt der Umgebung des Fahrzeugs.
-
Durch die Projektion der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 auf die zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 kann jedem Punkt der dreidimensionalen Punktwolke ein Pixel der zweidimensionalen Bildaufnahme zugeordnet werden.
-
Die genannte Zuordnung beziehungsweis die Projektion der dreidimensionalen Umfeldsensordaten D1 auf die Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 kann beispielsweise mittels eines gut kalibrierten Lidar- und Kamerasystems erreicht werden. Die Daten beider Sensoren werden somit zum Zwecke einer weiteren Objektsegmentierung basierend auf dem ersten neuronalen Netz 10 in einem einzelnen Tensor kombiniert. 1 zeigt eine Struktur zur Durchführung eines weiteren Schritts des Verfahrens vorgesehenen ersten neuronalen Netzes 10 lediglich schematisch, wobei Ziffern Schichttiefen bzw. Schichtstrukturen des ersten neuronalen Netzes 10 qualitativ definieren. Im Ergebnis soll dadurch nur angedeutet werden, dass das trainierte erste neuronalen Netz 10 aus den zugeführten Umfeldsensordaten D1, D2 erste extrahierte Daten OD1a...OD1n erzeugt, die ein aus den Umfeldsensordaten D1, D2 gewonnenes definiertes Merkmal (z.B. in Form einer Fahrbahnmarkierung) spezifizieren. Auf diese Art und Weise ist von jedem Punkt der dreidimensionalen Lidarpunktwolke bekannt, ob er einem Objekt (z.B. einer Fahrbahnspur) zugeordnet ist oder nicht.
-
Hierzu wird in einem weiteren Schritt des Verfahrens durch das erste neuronale Netz 10 auf Basis der zweidimensionalen Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 ein Objekt der Umgebung erkannt. Im vorliegenden Beispiel ist das erkannte Objekte eine Fahrbahn beziehungsweise eine Fahrbahnoberfläche, auf der sich das Fahrzeug bewegt. Alternativ kann ein anderes Objekt ausgewählt werden. Vorzugsweise wird ein Objekt ausgewählt, das in allen aufgenommenen Bildaufnahmen enthalten ist. Alternativ zur Fahrbahnoberfläche bieten sich Fahrbahnbegrenzungen oder ähnliche Objekte an, die in allen Aufnahmen durchgehend ermittelbar sind.
-
Auf Basis der zuvor durchgeführten Projektion der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 auf die zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 können indem durch das erste neuronale Netz 10 die Pixel der zweidimensionalen Bilddarstellung der zweidimensionalen Umfeldsensordaten D2 ausgewählt werden, die das erkannte Objekt, sprich die Fahrbahnoberfläche, darstellen, die Punkte der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 bestimmt werden, die in der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 das erkannte Objekt darstellen. Die Punkte, die in der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 das erkannte Objekt darstellen, entsprechen den Punkten der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1, die durch die Projektion in die Pixel der zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 projiziert sind, die das erkannte Objekt beschreiben. Durch Auswahl der jeweiligen Pixel der zweidimensionale Bildaufnahme der zweidimensionalen Umfeldsensordaten D2 ist somit eine Auswahl der Punkte erreicht, die in der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 das erkannte Objekt darstellen.
-
Hierzu werden die Punkte der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1, die das erkannte Objekt beschreiben mit dem Wert 1 versehen, während den restlichen Punkten dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 der Zahlenwert 0 zugeordnet wird.
-
Somit kann eine Untermenge der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 ermittelt werden, die die Punkte enthält, die das erkannte Objekt beschreiben. Die Ermittlung der Untermenge der Punkte der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 kann durch das erste neuronale Netz durchgeführt werden. Alternativ kann eine geeigneter Auswahlalgorithmus verwendet werden Die ermittelte Untermenge an Punkten der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1, die das erkannte Objekt beschreiben, umfasst erste extrahierte Daten OD1a...OD1n, die den Punkten der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1 der ermittelten Untermenge entsprechen.
-
Das erste neuronale Netz 10 kann als ein Deep Convolutional Network ausgebildet sein und darauf trainiert sein, in Bildaufnahmen entsprechende Objekte, im vorliegenden Beispiel Fahrbahnoberflächen, zu erkennen und gegebenenfalls, die jeweiligen Pixel der Bildaufnahme, durch die das erkannte Objekt dargestellt ist, zu ermitteln.
-
In einem weiteren Verfahrensschritt wird auf die ersten extrahierten Daten OD1a...OD1n, sprich auf die Punkte der ermittelten Untermenge der dreidimensionalen Punktwolke der dreidimensionalen Umfeldsensordaten D1, die das erkannte Objekt, sprich die erkannte Fahrbahnoberfläche, beschreiben, ein zweites neuronales Netz 20 angewendet. Das zweite neuronale Netz 20 ist hierbei darauf trainiert, charakteristische Punkte des durch das erste neuronale Netz 10 erkannten Objekts zu bestimmen. Charakteristische Punkte des erkannten Objekts können hierbei Punkte einer Umrandung des Objekts, wie beispielsweise Eckpunkte sein. In der vorliegenden Ausführungsform, in der als erkanntes Objekt eine Fahrbahnoberfläche erkannt wird, können die charakteristischen Punkte Punkte einer Fahrbahnbegrenzung und/oder Punkte entsprechender Fahrbahnmarkierungen sein.
-
Neben der Ermittlung der charakteristischen Punkte liefert das zweite neuronale Netz ferner zu jedem der ermittelten charakteristischen Punkte des ermittelten Objekts, sprich der Fahrbahnoberfläche, einen Deskriptor, der semantische Information bezügliche des ermittelten charakteristischen Punkts umfasst. Der Deskriptor kann beispielsweise Information bezüglich der Orientierung des Punktes innerhalb des erkannten Objekts beziehungsweise Information umfassen, zu welchem Teil des erkannten Objekts ein jeweiliger Punkt gehört. Im vorliegenden Beispiel kann der Deskriptor beispielsweise angeben, zu welcher Fahrbahnmarkierung der jeweilige Punkt gehört. Darüber hinaus können weitere Informationen, beispielsweise welche zusätzlichen Punkte zur selben Fahrbahnmarkierung gehören, im jeweiligen Deskriptor enthalten sein. Alternativ können in jedem Deskriptor zusätzliche und von dem hier angeführten abweichende Information umfassen.
-
Das zweite neuronale Netz kann als ein neuronales Netz ausgebildet sein, dass eingerichtet ist, Punktwolken, insbesondere dreidimensionale Punktwolken, als Eingabedaten zu verarbeiten. Aus dem Stand der Technik sind verschiedene Lösungen bekannt:
- Qi CR, Yi L, Su H, Guibas LJ. PointNet++: Deep hierarchical feature learning on point sets in a metric space, Advances in Neural Information Processing Systems 2017, pp. 5099-5108.
-
Ferner ist das zweite neuronale Netz 20 in einem entsprechenden Trainingsprozess darauf trainitert, in dreidimensionalen Punktwolken von Objekten charakteristische Punkte zu erkennen, die ein charakteristisches Merkmal des jeweiligen Objekts beschreiben, und diese mit entsprechenden semantischen Informationen zu versehen. Hierzu kann das zweite neuronale Netz 20 im Trainingsprozess auf Trainingsdaten in Form von dreidimensionalen Punktwolken von Objekten trainiert sein, wobei in den Trainingsdaten entsprechende charakteristische Punkte markiert und mit entsprechenden Deskriptoren in Form von semantischer Information die jeweiligen Punkte, beziehungsweise die durch die charakteristischen Punkte dargestellten Merkmale des Objekts, betreffend versehen sein. Im beschriebenen Beispiel kann des zweite neuronale Netz 20 mit Traningsdaten in Form von dreidimensionalen Punktwolken von Fahrbahnoberflächen mit Markierungen und Begrenzungen und entsprechenden charakteristischen Punkten trainiert sein.
-
Die im Verfahren durch das zweite neuronale Netz 20 ermittelten charakteristischen Punkte des erkannten Objekts können als eine Untermenge der ersten extrahierten Daten OD1a,...,OD1n als zweite extrahierte Daten OD2a,...,OD2n zusammengefasst werden.
-
Für verschiedene zweidimensionale Bildaufnahmen der zweidimensionalen Umfeldsensordaten D2 und die entsprechende dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1, die jeweils für angrenzende Abschnitte der zu kartografierenden Umgebung des Fahrzeugs aufgenommen werden, können jeweils ein identisches Objekt, beispielsweise die Fahrbahnoberfläche, auf der das Fahrzeug fährt, und die somit in jeder der jeweiligen Bildaufnahmen abgebildet ist, erkannt und entsprechende erste extrahierte Daten OD1a,...,OD1n bestimmt werden, die jeweils die Untermenge von Punkten der dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 darstellen, die in den dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 dem erkannten Objekt entsprechen.
-
Aus den ersten extrahierten Daten OD1a,...,OD1n können zweite extrahierte Daten OD2a,...,OD2n in Form von charakteristischen Punkten des ermittelten Objekts ermitteln. Indem für die verschiedenen Sätze von ersten extrahierten Daten OD1a,...,OD1n der verschiedenen dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten identische charakteristische Punkte des erkannten Objekts in Form von zweiten extrahierten Daten OD2a,...,OD2n aufgenommen werden, besteht für jede der mehreren dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 eine Menge von Datenpunkten, die als Referenzpunkte für eine Ausrichtung der mehreren dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 zueinander verwendet werden können, da zu jedem dieser Datenpunkte in den weiteren dreidimensionalen Punktwolken entsprechende Punkte enthalten sind.
-
Zur Ausrichtung der verschiedenen dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 zueinander ist es somit ausreichend, eine Ausrichtung der verschiedenen Sätze von zweiten extrahierten Daten OD2a,...,OD2n zu erzielen. Indem die einander entsprechenden charakteristischen Punkte der verschiedenen Sätze von zweiten extrahierten Daten OD2a,...,OD2n in Deckung gebracht werden, sprich eine Ausrichtung dieser Punkte verschiedener dreidimensionaler Punktwolken erzielt wird, ist gleichzeitig eine Ausrichtung der jeweiligen dreidimensionalen Punktwolken der dreidimensionalen Umfeldsensordaten D1 zueinander erreicht. Zur Ausrichtung verschiedener dreidimensionaler Punktwolken müssen somit lediglich die vom Datenvolumen substantiell kleineren Sätze von zweiten extrahierten Daten OD2a,...,OD2n berücksichtigt werden.
-
Eine Ausrichtung der mehreren Sätze von zweiten extrahierten Daten OD2a,...,OD2n kann durch einen geeigneten Ausrichtungsalgorithmus, beispielsweise durch den RANSAC Algorithmus durchgeführt werden.
-
2 zeigt ein prinzipielles Blockschaltbild einer vorgeschlagenen elektronischen Vorrichtung 100 zum Bereitstellen von Daten zum Erstellen einer hochauflösenden digitalen Karte (nicht dargestellt).
-
In 2 ist angedeutet, dass die ersten extrahierten Daten OD1a...OD1n in Form von Objektpunktwolkendaten dem zweiten neuronalen Netz 20 zugeführt werden, welche aus jeder Objektpunktwolke der ersten extrahierten OD1a... OD1n die zweiten extrahierten Daten OD2a...OD2n mit Eckpunkten beziehungsweise charakteristischen Punkten und zugeordneten Deskriptoren extrahiert.
-
Die Eckpunkte beziehungsweise charakteristischen Punkte definieren dabei das extrahierte Objekt näher (z.B. Koordinaten des Objekts, beispielsweise Mitte, Zentrum, Rand einer Fahrspur, usw.). Mittels des Deskriptors kann das extrahierte Objekt noch näher beschrieben werden (zum Beispiel in Form einer Dimensionsangabe des Objekts), wobei davon ausgegangen wird, dass Deskriptoren desselben Objekts zumindest ähnlich, idealerweise identisch sind. Dabei kann der Deskriptor zum Beispiel eine Dimensionsangabe eines charakteristischen Merkmals, beispielsweise in Form eines Vektors spezifizieren. Die extrahierten zweiten Daten OD2a...OD2n werden nunmehr an eine Kartenerstellungseinheit (nicht dargestellt), die beispielsweise in der Cloud angeordnet sein kann, vorzugsweise drahtlos bzw. funkbasiert übermittelt.
-
In einem nachgeordneten Kartenerstellungsprozess ist es mithilfe der charakteristischen Merkmale und der Deskriptoren der zweiten extrahierten Daten OD2a...OD2n auf einfache Weise möglich, die zweiten extrahierten Daten OD2 aneinander auszurichten und damit die hochauflösende digitale Karte mit geringem Datenaufwand zu erstellen.
-
Mittels der Kartenerstellungseinheit wird auf diese Weise mit den jeweiligen Deskriptoren somit eine Ausrichtung der genannten zweiten extrahierten Daten OD2a...OD2n durchgeführt. Das genannte Ausrichten der genannten zweiten extrahierten Daten OD2a...OD2n kann zum Beispiel mittels einer RANSACbasierten (engl. random sample consensus) Transformation durchgeführt werden, die eine robuste 6 DOF-Transformation mit den zweiten extrahierten Daten OD2a...OD2n durchführt. Eine 6 DOF Transformation umfasst hierbei 3 DOF (Freiheitsgrade) der Translation und 3 DOF (Freiheitsgrade) der Rotation. Dabei werden Rahmen der Daten mittels einer 6-DOF-Transformation ineinander überführt. Das RANSAC-Verfahren schafft einen Ausgleich zwischen den einzelnen Datensätzen der zweiten extrahierten Daten OD2a... OD2n, die somit effizient zum Erstellen der digitalen Karte genutzt werden können.
-
Das vorgeschlagene Verfahren kann von einem einzelnen Messfahrzeug zu unterschiedlichen Zeitpunkten oder auch von mehreren Messfahrzeugen durchgeführt werden, wodurch dadurch eine Vielfalt an extrahierten Daten OD1a...OD1n, OD2a...OD2n bereitgestellt werden kann.
-
In Szenarien, in denen aus den Umfeldsensordaten keine geeigneten Objekte extrahiert werden können, kann eine Rückgriffstrategie z.B. darin bestehen, dass vollständige Umfeldsensordaten genutzt werden. Um in diesem Fall die Umfeldsensordaten effizient zu handhaben, kann vorab ein Downsampling der genannten Daten vorgesehen sein.
-
Denkbar ist das vorgeschlagene Verfahren auch bei dreidimensionalen Umfeldsensordaten in Form von komprimierten Radardatenwolken. Dabei können z.B. Rohradardaten komprimiert und geclustert werden, die als ein Gauss'sches Mischmodell repräsentiert sind. In diesem Fall werden örtliche Positionen des Clusters als 3D-Positionen benutzt, wobei der Mittelwert und die Kovarianz als Merkmale dieser Punkte genutzt werden, die eine gewisse Unsicherheit darstellen und dem ersten neuronalen Netz 10 als weitere Parameter zum Extrahieren der ersten extrahierten Daten OD1a...OD1n zugeführt werden.
-
Trainingsprozesse der genannten neuronalen Netze 10, 20 erfolgen vorzugsweise offline mittels geeigneter Trainingsdaten, bei denen jeweils für jedes neuronale Netz 10, 20 ein individuelles Lernziel definiert wird, das es im Training zu erreichen gilt. Dabei ist das erste neuronale Netz 10 vorzugsweise als ein deep convolutional network ausgebildet und das zweite neuronale Netz 20 als ein punktwolkenbasiertes neuronales Netzwerk, z.B. ein PointNet++ ausgebildet. Entsprechende Lernziele werden definiert, wobei das Training der neuronalen Netze 10, 20 bis zum Erreichen des jeweiligen Lernziels durchgeführt wird.
-
Vorzugsweise wird das vorgeschlagene Verfahren mit den beiden neuronalen Netzen 10, 20 vollständig im Fahrzeug durchgeführt.
-
Obwohl vorgehend das Verfahren mit Objekten in Form von Fahrbahnspuren beziehungsweise Fahrbahnoberflächen offenbart wurde ist es selbstverständlich auch denkbar, dass andere bzw. zusätzliche Objekte aus den Umfeldsensordaten D1, D2 extrahiert werden, beispielsweise in Form von Fahrbahnbegrenzungen, Verkehrszeichen, Gebäude, usw.
-
Vorzugsweise ist somit das vorgeschlagene Verfahren unabhängig von spezifischen Merkmalstypen und von einer Dimensionalität der zugeführten Umfeldsensordaten.
-
Vorteilhaft lässt sich das erfindungsgemäße Verfahren als eine Software realisieren, die beispielsweise auf der Vorrichtung 100 im Fahrzeug abläuft. Eine einfache Adaptierbarkeit des Verfahrens ist auf diese Weise unterstützt.
-
3 zeigt stark schematisch einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens.
-
In einem Schritt 200 erfolgt ein Erfassen von Umfeldsensordaten D1, D2 eines Umfelds während einer Messfahrt eines physikalischen Systems, vorzugsweise Fahrzeugs, wobei die Umfeldsensordaten D1, D2 das Umfeld wenigstens teilweise überlappend erfassen, wobei erste Umfeldsensordaten D1 dreidimensionale Informationen und wobei zweite Umfeldsensordaten D2 zweidimensionale Informationen aufweisen.
-
In einem Schritt 210 wird ein Extrahieren von wenigstens einem definierten Objekt mittels eines im physikalischen System angeordneten ersten neuronalen Netzes 10 aus den ersten und zweiten Umfeldsensordaten D1, D2 in erste extrahierte Daten OD1 durchgeführt.
-
In einem Schritt 220 erfolgt schließlich ein Extrahieren von charakteristischen Merkmalen mit Deskriptoren aus den ersten extrahierten Daten OD1 mittels eines im physikalischen System angeordneten zweiten neuronales Netzes 20 in zweite extrahierte Daten OD2, wobei die Deskriptoren zu einem definierten Ausrichten der zweiten extrahierten Daten OD2 in einem Kartenerstellungsprozess vorgesehen sind.
-
Der Fachmann wird die Merkmale der Erfindung in geeigneter Weise abändern und/oder miteinander kombinieren, ohne vom Kern der Erfindung abzuweichen.
