-
Die Erfindung betrifft ein Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer dreidimensionalen Assistenzkarte einer durch das Kraftfahrzeug befahrenen Umgebung, wobei mit wenigstens einem bildgebenden Sensor, insbesondere einer Kamera, des Kraftfahrzeugs Umgebungsbilder aufgenommen werden, die mit der Assistenzkarte zur Ermittlung einer eine aktuelle Position und Orientierung des Kraftfahrzeugs in der Assistenzkarte beschreibenden Kraftfahrzeugpose abgeglichen werden, wobei die Assistenzkarte jedem Objekt zugeordnet eine Semantikklasse umfasst. Daneben betrifft die Erfindung ein Kraftfahrzeug, ein Computerprogramm und einen elektronisch lesbaren Datenträger.
-
Ein wichtiges Forschungsgebiet für moderne Kraftfahrzeuge ist die vollständig automatische Führung des Kraftfahrzeugs (autonomer Betrieb). Dabei soll eine höchstmögliche Sicherheit durch bestmögliche Kenntnis der Umgebung des Kraftfahrzeugs bereitgestellt werden. Es ist daher bekannt, voraufgezeichnete Assistenzkarten einer durch das Kraftfahrzeug befahrenen Umgebung, beispielsweise einer Straßenumgebung und/oder einer Parkumgebung, zu verwenden, um die Navigation und Aktionsplanung in einen die vollständig automatische Fahrzeugführungsfunktion bereitstellenden Fahrzeugsystem umzusetzen. Detaillierte semantische Assistenzkarten stellen eine deutlich bessere Beschreibung der Umgebung des Kraftfahrzeugs bereit, indem die verfügbaren Sensordaten von Sensoren des Kraftfahrzeugs erweitert werden. Beispielsweise können durch die Assistenzkarte beschriebenen Objekten bestimmte Semantikklassen, die das Objekt beschreiben, zugeordnet sein.
-
Um eine solche Assistenzkarte, insbesondere eine semantische Assistenzkarte, nutzen zu können, muss die Position und Orientierung (Pose) des Kraftfahrzeugs in der Assistenzkarte bekannt sein. Mit anderen Worten muss ein kraftfahrzeugseitiges Koordinatensystem mit dem Koordinatensystem der Assistenzkarte zumindest registriert sein. Entsprechend wurden bereits Lokalisierungsverfahren zur Bestimmung einer Kraftfahrzeugpose bezüglich einer solchen dreidimensionalen Assistenzkarte vorgeschlagen, die auf der Basis von zweidimensionalen Umgebungsbildern eines bildgebenden Sensors, insbesondere einer Kamera, arbeiten. Die Karten können dabei beispielsweise selbst auf Kameradaten basieren.
-
Im Stand der Technik sind drei Gruppen von Verfahren bekannt, die auf Basis von Kameradaten ein Kraftfahrzeug innerhalb einer dreidimensionalen Assistenzkarte verorten können. Die erste Gruppe umfasst Lokalisierungsverfahren, die auf Basis natürlicher Landmarken arbeiten, wobei derartige natürliche Landmarken beispielsweise durch Fahrbahnmarkierungen, Verkehrsschilder, Ampeln, Pfosten und dergleichen gegeben sein können. Die zweite Gruppe nutzt bestimmte Abbildungseigenschaften, die auch als künstliche Bild-Landmarken bezeichnet werden können („feature-based localisation“). Die dritte Gruppe nutzt einen semantischen Abgleich in einem Zustandsschätzer, der üblicherweise als Partikelfilter umgesetzt wird.
-
Verfahren der ersten Gruppe verwenden Detektor-Softwaremittel, welche von Hand programmiert oder auf Basis großer Datenmengen trainiert werden, um in Sensor-Rohdaten, insbesondere Umgebungsbildern der Kamera, bestimmte natürliche Landmarken aufzufinden, beispielsweise Fahrbahnmarkierungen und/oder Verkehrsschilder. Diese Landmarken werden üblicherweise durch einfache geometrische Primitive wie Bounding-Boxen, Punkte und/oder Polygonzüge angenähert. Für jede Art bzw. Klasse von Landmarken sind dafür entsprechende Detektor-Softwaremittel notwendig. Die detektierten Landmarken in den Umgebungsbildern müssen anschließend mit den Landmarken in der dreidimensionalen Assistenzkarte assoziiert werden, beispielsweise auf Basis ihrer Position und/oder von Objekteigenschaften. Danach wird die Kraftfahrzeugpose auf Basis einer Abstandsminimierung im 2D-2D, 2D-3D oder 3D-3D-Raum bestimmt und gegebenenfalls über mehrere Zeitschritte nachverfolgt oder gefiltert.
-
Verfahren der zweiten Gruppe sind in ihrer Funktionsweise mit den Verfahren der ersten Gruppe vergleichbar, nutzen jedoch keine „natürlichen“ Landmarken, sondern besondere Merkmale in den Bilddaten, beispielsweise Ecken, Kanten, Farbübergänge und dergleichen. Der Vorteil solcher künstlicher, sozusagen handgefertigter Landmarken ist, dass natürliche Landmarken unter Umständen nicht immer in ausreichender Zahl vorhanden sein. Künstliche Landmarken sind einfacher extrahierbar, jedoch aufgrund der Vielzahl an Landmarken oft nicht eindeutig assoziierbar.
-
Verfahren der dritten Gruppe nutzen im Gegensatz zu den Verfahren der ersten und der zweiten Gruppe keine explizite Landmarkenassoziation zwischen in den Umgebungsbildern detektierten Objekten und Objekten der Assistenzkarte. Stattdessen wird in jedem Zeitschritt auf Basis einer oder mehrerer aktueller Zustandshypothesen (Partikel) für die Kraftfahrzeugpose die aktuelle Sensorwahrnehmung mit den Karteninformationen der Assistenzkarte abgeglichen. Dies kann beispielsweise dadurch geschehen, dass einzelne, mit einer semantischen Klasse versehene Punkte in das Umgebungsbild projiziert werden und mit der Detektion an der jeweiligen Position im Umgebungsbild verglichen werden. Hieraus lässt sich ein Kostenmaß ermitteln, auf dessen Basis jede Zustandshypothese bewertet werden kann.
-
Diese bekannten Gruppen von Verfahren weisen jedoch alle jeweilige Nachteile auf. Bezüglich der Verfahren der ersten Gruppe ist für jede Art bzw. Klasse von verwendeten Landmarken, beispielsweise Fahrbahnmarkierung, Ampel oder Verkehrsschild, ein entsprechendes Detektor-Softwaremittel notwendig. Ferner ist die Assoziation zwischen Umgebungsbildlandmarken und Kartenlandmarken aufgrund der geringen Anzahl und schlechten Unterscheidbarkeit oft nicht eindeutig möglich. Die Verfahren der ersten Gruppe liefern häufig keine ausreichende Lokalisierungsgüte, da verwendete Landmarken nur stark abstrahiert, z. B. als umschließende Bounding-Box oder durch andere geometrische Näherung, vorliegen.
-
Für Verfahren der zweiten Gruppe gilt, dass spezielle, zusätzliche, künstliche Landmarken benötigt werden, welche in heute verfügbaren dreidimensionalen Assistenzkarten nicht abgelegt sind, so dass eine Assoziation nicht möglich wäre. Würde man sie in die dreidimensionale Assistenzkarte einspeichern, würde Speicherplatz für eine Information verbraucht werden, die für entsprechende Assistenzfunktionen im Kraftfahrzeug keinerlei Nutzen hätte.
-
Verfahren der dritten Gruppe benötigen aufgrund der Zustandsschätzung (Partikelfilter) unverhältnismäßig viel Rechenleistung, welche in Kraftfahrzeugen bislang nicht im benötigten Maß zur Verfügung steht, um eine Echtzeitfähigkeit im Kraftfahrzeug zu ermöglichen.
-
DE 10 2019 206 036 A1 offenbart ein Verfahren und eine Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs. Dabei wird mit mindestens einer Kamera des Fahrzeugs ein Bild des Fahrzeugumfelds erfasst, wobei das erfasste Bild zumindest teilweise Bereiche des Fahrzeugumfelds auf Bodenniveau umfasst. Für die einzelnen Pixel des erfassten Bildes wird jeweils eine Klassifizierungsinformation generiert, die eine Zuordnung zu einer von mehreren vorgegebenen Objektklassen angibt, wobei basierend auf dieser Zuordnung eine semantische Segmentierung des Bildes erfolgt. Es werden Bodentexturübergänge basierend auf der semantischen Segmentierung des Bildes detektiert, welche auf das Bodenniveau des Fahrzeugumfelds projiziert werden. Die Abweichung zwischen den auf das Bodenniveau des Fahrzeugumfelds projizierten Bodentexturübergängen und Bodentexturübergängen in einer globalen Referenzkarte wird minimiert, wobei basierend auf der minimierten Abweichung die aktuelle Position und Orientierung des Fahrzeugs im Raum ausgegeben wird.
-
US 2015/0142248 A1 offenbart eine Vorrichtung und ein Verfahren zur Bereitstellung von Orts- und Orientierungsinformationen eines autonom fahrenden Fahrzeugs auf einer Straße innerhalb eines Wohnkomplexes. Ein Bildsensor nimmt Bilder der Umgebung des autonom fahrenden Fahrzeugs auf. Eine dem Komplex zugeordnete Managementeinrichtung überträgt eine GIS-Karte drahtlos an das Fahrzeug, welches die Karte und die Bildinformationen des Bildsensors nutzt, um Position und Orientierung des Kraftfahrzeugs zu ermitteln. Hierbei können insbesondere Straßenmarkierungen extrahiert werden, wobei zur Lokalisierung eine Kombination aus Partikelfilter mit einem nachgelagerten erweiterten Kalman-Filter verwendet wird.
-
US 2020/0202143 A1 offenbart ein Verfahren und eine Vorrichtung zur Lokalisierung durch Einschränkung des Suchraums. Dabei werden Sensordaten von einem Fahrzeug, das entlang einer Straße fährt, empfangen, wonach ein oder mehrere Features der Umgebung aus den Sensordaten abgeleitet werden. Die Features werden in eine oder mehrere einer Mehrzahl semantischer Klassen einsortiert. Die identifizierten Features werden aufgrund ihrer Semantikklasse mit Features einer Karte assoziiert und für die Lokalisierung verwendet.
-
US 2019/0050648 A1 betrifft eine Objektlokalisierung innerhalb einer semantischen Domäne. Dabei wird insbesondere die Lokalisierung eines Fahrzeugs auf der Oberfläche der Erde durch Registrierung einer Karte mit Echtzeitbildern der Umgebung des Fahrzeugs diskutiert. Auch die Echtzeitbilder sind dabei aus einer Vogelperspektive aufgenommene zweidimensionale Repräsentationen der Erdoberfläche, wobei sowohl die Karte als auch diese Echtzeitbilder in einer semantischen Domäne vorliegen. Durch Bildregistrierung wird die absolute Position und Orientierung des Fahrzeugs basierend auf einer räumlichen und rotationsbezogenen Korrespondenz zwischen den absoluten und relativen Positionen dargestellter Objekte ermittelt.
-
CN 111323004 A betrifft ein Verfahren zur Bestimmung einer Initialposition im Kontext des automatisierten Fahrens. Hierbei wird zunächst eine grobe Position des Fahrzeugs gemeinsam mit einem Initialisierungsbereich, erster semantischer Karteninformation und erster geografischer Information entsprechend des Initialisierungsbereichs bestimmt werden. Die ersten Informationen werden mit entsprechenden zweiten semantischen Karteninformationen und zweiten geografischen Informationen verglichen, um mögliche Orte innerhalb des Initialisierungsbereichs zu ermitteln, für die dann dritte entsprechende Informationen zum Abgleich mit den zweiten jeweiligen Informationen ermittelt werden.
-
Der Erfindung liegt die Aufgabe zugrunde, ein demgegenüber verbessertes Verfahren zur Lokalisierung eines Kraftfahrzeugs bezüglich einer Assistenzkarte anzugeben.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass
- - aus wenigstens einem aktuellen Umgebungsbild mittels eines Klassifizierungsalgorithmus ein zugeordnetes Semantikbild in der Erfassungsgeometrie des Umgebungsbilds ermittelt wird, in dem jedem Pixel wenigstens die darin am wahrscheinlichsten gezeigte Semantikklasse zugeordnet ist,
- - wonach ausgehend von einer eine Initialvermutung für die Kraftfahrzeugpose beschreibenden Initialpose eine Optimierungspose definiert wird, wobei für die Optimierungspose in einem Optimierungsverfahren aus der Assistenzkarte durch Vorwärtsprojektion für jedes des wenigstens einen Umgebungsbildes in dessen Erfassungsgeometrie ein semantisches Vergleichsbild aus der Assistenzkarte ermittelt wird, und
- - eine durch wenigstens teilweisen Vergleich des wenigstens einen Semantikbildes mit dem wenigstens einen Vergleichsbild ermittelte Abweichungsinformation durch Anpassung der Optimierungspose minimiert wird, bis ein Abbruchkriterium erfüllt ist, bei dessen Erfüllung die aktuelle Optimierungspose als Kraftfahrzeugpose bestimmt wird.
-
Die Erfindung kann dabei im Stand der Technik bereits grundsätzlich bekannte, dreidimensionale Assistenzkarten nutzen, in denen auch eine Semantikinformation, insbesondere eine den Objekten entsprechend zugeordnete Semantikklasse, enthalten ist. Beispielsweise kann die Assistenzkarte eine vektorisierte Karte sein, die die Geometrie der Umgebung umfassend ihre Objekte abstrahiert von zugrunde liegenden Sensordaten beschreibt, wobei jedem der Objekte wenigstens eine Semantikklasse zugeordnet ist.
-
Ferner sei an dieser Stelle noch angemerkt, dass aufgrund der festen und bekannten Anordnung des Sensors, insbesondere der Kamera, in dem Kraftfahrzeug die Kraftfahrzeugpose und die Sensorpose (Kamerapose) in einem festen, bekannten Verhältnis stehen, mithin problemlos ineinander umgerechnet werden können. Daher werden die Begriffe der einfachen Darstellung wegen im Folgenden äquivalent verwendet, so dass beispielsweise eine abgeschätzte Initialpose für das Kraftfahrzeug einer eindeutigen, unmittelbar folgenden Initialpose für den bildgebenden Sensor entspricht, und dergleichen.
-
Gemäß dem erfindungsgemäßen Verfahren wird zunächst in einem ersten Schritt zu wenigstens einem aktuellen, zweidimensionalen Umgebungsbild mittels eines Klassifizierungsalgorithmus, wie er im Stand der Technik grundsätzlich bekannt ist, ein zugeordnetes Semantikbild bestimmt, welches in derselben Erfassungsgeometrie wie das zugehörige Umgebungsbild vorliegt. In diesem Semantikbild ist jedem Pixel wenigstens die darin am wahrscheinlichsten gezeigte Semantikklasse zugeordnet. Dabei ist es in diesem Zusammenhang besonders bevorzugt, wenn der Klassifizierungsalgorithmus eine trainierte Funktion der künstlichen Intelligenz, insbesondere ein Convolutional Neural Network, umfasst. Derartige Klassifizierungsalgorithmen der künstlichen Intelligenz, die häufig auch als Klassifikatoren bezeichnet werden, sind im Stand der Technik grundsätzlich bekannt und liefern als Ergebnis üblicherweise für jedes Pixel eine Wahrscheinlichkeit, dass es ein Objekt zeigt, das zu einer bestimmten Semantikklasse gehört. Beurteilt der Klassifikator mehrere Semantikklassen, kann eine semantische Wahrscheinlichkeitsverteilung ermittelt werden, in der jeder Semantikklasse ein Wahrscheinlichkeitswert zugeordnet ist, der angibt, mit welcher Wahrscheinlichkeit der Bildpunkt ein Objekt dieser Semantikklasse zeigt. Dabei sind letztlich beliebige, im Stand der Technik bereits eingesetzte Semantikklassen denkbar. Beispielsweise können als Semantikklassen befahrbarer Untergrund und/oder Fahrbahnmarkierungen und/oder Verkehrsschilder und/oder dynamische Objekte und/oder Randbebauung und/oder Vegetation verwendet werden. Dabei sind auch feinere Unterscheidungen bei den hier genannten Beispielen denkbar, wie beispielsweise Straße (Asphalt), Schotter und dergleichen für befahrbaren Untergrund.
-
Auch andere Semantikklassen sind selbstverständlich möglich, beispielsweise Pfosten, Fußgänger und dergleichen.
-
Ferner wird im Rahmen der vorliegenden Erfindung vorgeschlagen, die dreidimensionalen Karteninformationen der Assistenzkarte in den zweidimensionalen Bildraum des Umgebungsbilds und somit auch des Semantikbilds durch Vorwärtsprojektion zu übertragen, so dass ein virtuelles Vergleichsbild, bestehend aus den semantischen Informationen sowie bevorzugt auch der dazugehörigen Entfernung (Tiefe) entsteht. Diese Vorwärtsprojektion erfolgt an einer initialen Vermutung für die tatsächliche Fahrzeugposition und Fahrzeugorientierung (Initialpose). Die grundlegende Idee der Erfindung ist es nun, die im Stand der Technik grundsätzlich bekannte Technik des „Direct Image Alignment“ zu nutzen, um von der Initialpose zu einer Optimierungspose zu finden, die hinreichend genau der tatsächlichen Kraftfahrzeugpose entspricht und die als Kraftfahrzeugpose, also Kraftfahrzeugposition und Kraftfahrzeugorientierung, verwendet werden kann. Dabei schlägt die vorliegende Erfindung jedoch vor, diese bislang auf den Bilddaten (Intensitäten) durchgeführte Technik auf semantische Informationen zu übertragen, das bedeutet, es wird die Abweichung zwischen Semantikbildern beurteilt. Dabei kann die Optimierung beispielsweise durch Maximierung der Wahrscheinlichkeit der Semantikklasse an der Stelle der Vorwärtsprojektion des dreidimensionalen Punkts der Assistenzkarte im wahrgenommenen semantisch segmentierten Umgebungsbild erfolgen. Es wird nicht das von der Kamera aufgenommene Rohbild, also das Umgebungsbild, verwendet, sondern eine daraus abgeleitete semantische Segmentierung, nämlich das weiterhin zweidimensionale Semantikbild, welches mit Methoden der Bildverarbeitung, nämlich durch den Klassifizierungsalgorithmus, aus dem Umgebungsbild gewonnen werden kann. Das wenigstens eine aus dem wenigstens einen aktuell aufgenommenen Umgebungsbild hergeleitete, semantisch segmentierte Semantikbild wird mit einer virtuellen Kamerasicht der Assistenzkarte abgeglichen, nämlich dem Vergleichsbild.
-
Dabei kann das Vergleichsbild an der Initialpose mit besonderem Vorteil durch 3D-Rendering ermittelt werden. Wie im Folgenden noch genauer dargelegt werden wird, können bevorzugt auch Tiefeninformationen beibehalten werden, die es ermöglichen, die Optimierung im Hinblick auf die Relativpose zur Initialpose durchzuführen, so dass dann kein erneutes Rendering für jeden Optimierungsschritt erfolgen muss, sondern die neue Vergleichsbasis durch Rück- und Vorwärtsprojektion (Warping) erfolgen kann, insbesondere implizit in einer die Abweichungsinformation beschreibenden Kostenfunktion.
-
Zusammenfassend stellt die vorliegende Erfindung also einen neuartigen, robusten und effizienten, bildbasierten Lokalisierungsansatz in semantischen, dreidimensionalen Assistenzkarten bereit, welcher Semantikinformationen zum „Direct Image Alignment“ nutzt. Dabei wird mithin abgegangen von Bildhelligkeiten/Intensitäten in den Umgebungsbildern selbst nutzenden Ansätzen und stattdessen semantische Information als robuste Lokalisierungseigenschaft verwendet, welche üblicherweise ohnehin in verfügbaren Assistenzkarten vorhanden ist. Eine explizite Assoziation von Objekten kann vermieden werden. Durch diese erfindungsgemäße Verwendung von „Direct Image Alignment“ mit semantischer Segmentierung für kartenbasierte Lokalisierung wird eine Vielzahl von Vorteilen erreicht.
-
Im Vergleich zu den Verfahren der ersten Gruppe wird durch die Nutzung einer semantischen Segmentierung ein deutlich verbessertes Szenenverständnis ermöglicht und mehr Elemente in der Fahrzeugumgebung können zur Lokalisierung herangezogen werden, was eine genauere Lokalisierung zur Folge hat. -Darüber hinaus ist keine explizite, oft fehlerbehaftete Landmarkenassoziation notwendig. Eine bereits existierende semantische Segmentierung in der Assistenzkarte welche auch für andere Komponenten in einem vollständig automatisch betriebenen Kraftfahrzeug bzw. für andere Assistenzfunktionen verwendet werden kann, kann auch im Rahmen der Lokalisierung eingesetzt werden. Es ist keine Programmierung von speziellen Landmarken-Detektoren und dergleichen notwendig. Gegenüber den eingangs genannten Verfahren der zweiten Gruppe kommt dazu, dass keine zusätzlichen, künstlichen Landmarken in der Assistenzkarte notwendig sind. Die Lokalisierung kann mit heute verfügbaren semantischen dreidimensionalen Assistenzkarten erfolgen. Durch die Verwendung von Semantik ist das Verfahren darüber hinaus robuster gegenüber Änderungen in der Umgebung, beispielsweise durch saisonale Einflüsse. Im Vergleich zu Verfahren der dritten Gruppe ist die hier vorgeschlagene Vorgehensweise deutlich ressourcenschonender und kann in Echtzeit in Kraftfahrzeugen eingesetzt werden.
-
Im Vergleich zu Ansätzen wie in der eingangs bereits genannten
DE 10 2019 206 036 A1 können nicht nur Bodenelemente, sondern sämtliche dreidimensionalen Objekte, beispielsweise Gebäude, Schilder, Ampeln, Vegetation, etc., zur Lokalisierung herangezogen werden, wodurch die Lokalisierung in Situationen ohne ausreichende Bodenmerkmale verfügbar ist und gleichzeitig die Lokalisierungsgüte gesteigert wird. Ferner kann im Vergleich zu diesem Ansatz das vorgeschlagene Verfahren auch dann genutzt werden, wenn die Annahme, dass sich das Kraftfahrzeug auf einer ebenen Bodenfläche befindet oder ein Sensor zur Generierung von pixelweiser Tiefeninformation vorhanden ist, nicht zutrifft. Während erstes auf sämtlichen unebenen Untergründen, beispielsweise Rampen und Steigungen, der Fall ist, würden für den zweiten Fall signifikante erhöhte Kosten für benötigte Hardware und Kalibrierung fällig werden.
-
Es sei noch angemerkt, dass die Segmentierung des Umgebungsbildes unabhängig von oder gemeinsam mit der Zuordnung von Semantikklassen zu statischen Objekten selbstverständlich auch die Identifikation von dynamischen Objekten enthalten kann, beispielsweise von Fußgängern, anderen Kraftfahrzeugen und dergleichen. Auch diese semantische Segmentierung im Umgebungsbild kann auch anderweitig weiterverwendet werden.
-
Wie bereits erwähnt, geht die erfindungsgemäße Vorgehensweise von einer Initialpose, also einer Initialposition und Initialorientierung, aus. Diese stellt eine initiale Vermutung dar, wobei, je besser diese initiale Vermutung ist, desto robuster das Verfahren zu hervorragenden Ergebnissen führt. Während, wenn in einem vorangehenden Zeitschritt bereits eine Kraftfahrzeugpose durch das erfindungsgemäße Vorgehen bestimmt wurde, diese herangezogen werden kann, bieten sich auch anderweitig gute Möglichkeiten, zu einem hervorragenden Ausgangspunkt für die Optimierung zu finden. So kann, allgemein gesagt, vorgesehen sein, dass die Initialpose aus einer GNSS-Messung und/oder einer Odometriemessung und/oder aus einem Abgleich mit einer digitalen Straßenkarte und/oder durch visuelle Vergleichsermittlung auf Basis wenigstens eines des wenigstens einen Umgebungsbildes und/oder aus einer zuvor bestimmten Kraftfahrzeugpose ermittelt wird. Globale Navigationssatellitensysteme (GNSS) weisen inzwischen eine hohe Genauigkeit auf, so dass sich eine sehr gute initiale Vermutung aus ihnen herleiten lässt. Hierzu kann das Kraftfahrzeug einen entsprechenden GNSS-Sensor, beispielsweise einen GPS-Sensor, aufweisen. Eine andere Möglichkeit, eine derartige erste Abschätzung zu erhalten, ist eine visuelle Vergleichsermittlung auf Basis wenigstens eines des wenigstens einen Umgebungsbildes. Derartige Vorgehensweisen sind im Stand der Technik auch als „Visual Place Recognition Methods“ bekannt. Auch alternative Herangehensweisen sind denkbar, beispielsweise aus gröber aufgelösten anderen Karten, beispielsweise Straßenkarten, bekannte Informationen.
-
In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass in dem Semantikbild jedem Bildpunkt zu jeder ihm zugeordneten Semantikklasse auch ein Wahrscheinlichkeitswert für das Vorliegen dieser Semantikklasse zugeordnet wird, wobei insbesondere jedem Bildpunkt mehrere Semantikklassen mit zugeordneten Wahrscheinlichkeitswerten als eine semantische Wahrscheinlichkeitsverteilung zugeordnet sind. Um derartige Wahrscheinlichkeitswerte bzw. sogar semantische Wahrscheinlichkeitsverteilungen, die sich auf alle mit dem Klassifizierungsalgorithmus abgedeckten Semantikklassen beziehen können, zu ermitteln, können beispielsweise bekannte Klassifikatoren der Bildverarbeitung, insbesondere solche, die eine trainierte Funktion der künstlichen Intelligenz umfassen, eingesetzt werden, nachdem diese üblicherweise bereits Wahrscheinlichkeiten liefern. Insbesondere dann, wenn, was bevorzugt ist, Pixeln mehreren Semantikklassen zugeordnet werden können, können somit auch Fälle abgedeckt werden, in denen ein Pixel Anteile, die unterschiedlichen Semantikklassen zuzuordnen sind, enthält, so dass letztendlich eine Sub-Pixelauflösung gegeben ist. Mit anderen Worten liegt bei der Verwendung solcher Wahrscheinlichkeitswerte in jedem Fall eine genauere Semantikinformation vor, die zu robusteren Ergebnissen führt, insbesondere in im Rahmen der vorliegenden Erfindung bevorzugt betrachteten Kantenbereichen, mithin Übergängen zwischen Objekten unterschiedlicher Semantikklassen.
-
Ein anderer Anwendungsfall, in dem die Nutzung von semantischen Wahrscheinlichkeitsverteilungen besonders nützlich ist, ist gegeben, wenn die Optimierung sukzessive für unterschiedliche Bildauflösungen des Semantikbilds und des Vergleichsbilds erfolgt, wobei mit der größten Auflösung begonnen wird und das Optimierungsergebnis für wenigstens eine höhere Auflösung verfeinert wird. Eine derartige Vorgehensweise ist auch als Mehrskalen-Optimierung im Stand der Technik bereits für die Angleichung von Bildern bekannt. Aus dem Semantikbild und dem Vergleichsbild werden dann über übliche Verfahren niedriger aufgelöste Versionen erzeugt, die zunächst dem „Direct Image Alignment“ unterzogen werden. Dabei wird mit der niedrigsten Auflösung begonnen, wobei dann iterativ zu den höheren Auflösungen fortgeschritten wird. Dabei ist es besonders vorteilhaft, wenn semantische Wahrscheinlichkeitsverteilungen vorliegen, da üblicherweise größere Pixel mehrere Objekte und somit auch mehrere Semantikklassen zeigen, was entsprechend abgegriffen werden kann und die Mehrskalen-Optimierung zu einem besonders nützlichen Werkzeug macht, so dass zunächst unter Verwendung der niedrigeren Auflösungen eine Grobausrichtung erfolgen kann, wonach sukzessive Verfeinerungen bei geringeren Auflösungen vorgenommen werden können, was insbesondere auch zu einem schnelleren Auffinden der optimalen Optimierungspose führen kann.
-
In der konkreten Umsetzung ist es im Rahmen der vorliegenden Erfindung besonders bevorzugt, wenn die Optimierung relativ zu der Initialpose erfolgt. In diesem Fall setzt sich also die Optimierungspose aus der Initialpose und einer Relativpose, die die zu optimierenden Parameter bietet, zusammen. Der große Vorteil hierbei ist, dass nur für die Initialpose ein tatsächliches Rendern zur Ermittlung des Vergleichsbilds erforderlich ist. Denn ist den einzelnen Bildpunkten (Pixeln) des durch Rendern für die Initialpose ermittelten Vergleichsbilds jeweils eine Tiefeninformation zugeordnet, kann zur Ermittlung des Vergleichsbilds für eine von Null verschiedene Relativpose der zugehörige Punkt im dreidimensionalen Raum wieder bestimmt und erneut in der Erfassungsgeometrie in der sich aus Initialpose und Relativpose ergebenden Optimierungspose vorwärtsprojiziert werden. Dem liegt der Gedanke zugrunde, dass durch das initiale Rendering für die Initialpose letztlich die Objekte, die grundsätzlich sichtbar sind und auch bei kleineren Abweichungen sichtbar bleiben, ermittelt werden, so dass für spätere Vergleiche kein komplett neues, ressourcenaufwändiges Rendering erforderlich ist. In konkreten Umsetzungen dieses Vorgehens wird der Vorgang des Rückprojizierens und erneuten Vorwärtsprojizierens hinsichtlich einer Relativpose auch als „Warping“ bezeichnet und kann auch in die Ermittlungen eines Wertes für die Kostenfunktion implizit integriert sein. Anders gesagt kann vorgesehen sein, dass die Ermittlung des Vergleichsbilds implizit bei der Ermittlung einer die Abweichungsinformation beschreibenden Kostenfunktion unter Verwendung einer den Bildpunkten des Vergleichsbilds für die Initialpose zugeordneten Tiefeninformation erfolgt.
-
Dabei sei auch allgemein angemerkt, dass, je nach konkret verwendetem Optimierungsverfahren, in der konkreten Umsetzung auch die Abweichungsinformation bzw. Kosteninformation unmittelbar, beispielsweise implizit in einem Formelausdruck, in eine Anpassungsinformation eingehen kann, welche zur Ermittlung der nächsten Optimierungspose genutzt wird. Dies ändert selbstverständlich nichts daran, dass das Optimierungsverfahren die Ermittlung des Vergleichsbilds, den Vergleich und die daraus folgende Anpassung vornimmt.
-
In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung ist vorgesehen, dass der Vergleich zwischen dem Semantikbild und dem Vergleichsbild eingeschränkt auf wenigstens eine Merkmalsgruppe von in der Assistenzkarte bekannten Semantikmerkmalen erfolgt. Das bedeutet, diese zweckmäßige Ausgestaltung der vorliegenden Erfindung konzentriert die Vergleichstätigkeit auf Teilbereiche des zweidimensionalen Bildraums, mithin bestimmte Semantikmerkmale, die eine tatsächlich für die korrekte Ausrichtung des einen Bilds auf das andere Bild relevante Abweichungsinformation liefern. So können beispielsweise in jedem Fall Bildanteile, für die gar keine Semantikinformation innerhalb der Assistenzkarte vorliegt, dem Vergleich entzogen werden, was genauso für beispielsweise Objekte aus Semantikklassen gilt, die in der Assistenzkarte überhaupt nicht enthalten sein können, beispielsweise dynamische Objekte wie andere Verkehrsteilnehmer und dergleichen. Mit besonderem Vorteil ist im Rahmen der vorliegenden Erfindung jedoch vorgesehen, dass als Semantikmerkmale der Merkmalsgruppe, insbesondere bei Verwendung von semantischen Wahrscheinlichkeitsverteilungen, Kanten zwischen Bereichen unterschiedlicher Semantikklassen verwendet werden. Im Rahmen der vorliegenden Erfindung wurde erkannt, dass beispielsweise ausgedehnte Bereiche einer Semantikklasse deutlich weniger relevante Abweichungsinformationen liefern können, da beispielsweise durch kleine Unterschiede in der Pose betrachtete Objektpunkte eines ausgedehnten Objekts einer Semantikklasse kaum verschoben sind und noch immer innerhalb des Objekts der Semantikklasse liegen. Beispielsweise liegt ein leicht verschobenes Straßenpixel, das die Semantikklasse „Straße“ zeigt, dann an der Position eines anderen Pixels, das ohnehin „Straße“ zeigt, so dass die bestehende Abweichung hier nicht auffällt. Anders ist es jedoch bei Semantikkanten, an denen sich Unterschiede in der Betrachtungsposition und der Betrachtungsorientierung deutlicher niederschlagen und die auch einen deutlichen Hinweis geben, in welche Richtung eine Verbesserung erzielt wird.
-
Mit anderen Worten kann durch die Einschränkung auf relevante Semantikmerkmale vermieden werden, für jedes Pixel eine Abweichungsinformation zu ermitteln, wobei mit besonderem Vorteil nur relevante Pixel mit einem hohen Gradienten im Semantikbildraum ausgewählt werden, um die Abweichungsinformation zu bestimmen, die beispielsweise durch Kostenterme für jedes Pixel bzw. insgesamt durch ein Residuum gebildet sein kann. Für die semantische Angleichung bedeutet dies in einer konkreten Ausführungsform, dass jedes Pixel, das benachbart zu einer Kante zwischen zwei unterschiedlichen semantischen Regionen in dem gerenderten Vergleichsbild liegt, ausgewählt wird. Solche Kantenpixel an Kanten zwischen Bereichen unterschiedlichen Semantikklassen erlauben die Unterscheidung zwischen unterschiedlichen semantischen Regionen und fallen üblicherweise in Regionen hoher Gradienten im entsprechenden Semantikbild, was zu einer schnellen und akkuraten Konvergenz führt.
-
Die Tatsache, dass ohnehin eine Beschränkung auf wenigstens eine Merkmalsgruppe von in der Assistenzkarte bekannten Semantikmerkmalen erfolgt, kann auch weitergehend zur Verbesserung der Vorgehensweise im Rahmen der vorliegenden Erfindung genutzt werden. So kann vorgesehen sein, dass die Semantikmerkmale in der Assistenzkarte lokalisiert werden und der Rückprojektionsvorgang zur Ermittlung des Vergleichsbilds auf die Semantikmerkmale eingeschränkt wird. Das bedeutet, es ist kein vollständiges Rendern zur Ermittlung insbesondere des Vergleichsbilds für die Initialpose notwendig, sondern der Rendervorgang kann auf die Semantikmerkmale geschränkt werden, die später der Optimierung zugrunde gelegt werden sollen, so dass der ressourcenaufwändigere Rendervorgang auf die relevanten Bereiche beschränkt werden kann.
-
In einer weiteren, besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass die Optimierung für in unterschiedlichen, aufeinanderfolgenden Zeitschritten eines Zeitfensters aufgenommene Umgebungsbilder gleichzeitig erfolgt, wobei die Fahrzeugbewegung über die Zeitschritte in einer Odometriemessung erfasst und in der Optimierung verwendet wird. Dabei kann bevorzugt für aufeinanderfolgende Ermittlungen der Kraftfahrzeugposen ein gleitendes Zeitfenster verwendet werden. Dem liegt der Gedanke zugrunde, dass die Genauigkeit der Angleichung wenigstens eines zu einem bestimmten Zeitpunkt aufgenommenen Umgebungsbilds an eine gerenderte Ansicht äußerst deutlich von der semantischen Komplexität der Szene abhängt. Für Szenen mit sehr geringem semantischem Inhalt oder mit vielen Verdeckungen könnten die vorhandenen Semantikmerkmale, insbesondere Kanten, wie beschrieben, nicht ausreichen, um eine hinreichende Genauigkeit zur Bestimmung der Kraftfahrzeugpose zu liefern. Dies kann beispielsweise auf einer Landstraße oder dergleichen auftreten, wo lediglich repetitive Fahrbahnmarkierungen und/oder regelmäßige Randpfosten vorhanden sind. Daher wird, wie aus anderen Odometrie- und Lokalisierungsansätzen bekannt, vorgeschlagen, die Optimierung innerhalb eines Zeitfensters aufeinanderfolgender Frames durchzuführen, um die Beurteilungsbasis zu erweitern, die zeitliche Konsistenz aufrechtzuerhalten und die Abschätzung der Kraftfahrzeugpose zu stabilisieren. Dabei werden zweckmäßigerweise Odometriedaten des Kraftfahrzeugs verwendet, um die Bewegung des Kraftfahrzeugs zwischen der Aufnahme der einzelnen Frames, konkret also zwischen den einzelnen Messzeitpunkten, ebenso berücksichtigen zu können. Solche Odometriedaten können beispielsweise von Beschleunigungssensoren und/oder Inertialsensoren, beispielsweise einer Inertialplattform, geliefert werden. Auch visuelle Odometrie ist denkbar. Die Länge des Zeitfensters kann beispielsweise zwischen 100 ms und 1 s betragen.
-
Mit besonderem Vorteil kann die Optimierung nach der Methode der kleinsten Quadrate, insbesondere in einem Gauß-Newton-Verfahren, erfolgen. Derartige Optimierungsansätze haben sich bereits beim „Direct Image Alignment“ für übliche Bilddaten als nützlich und besonders vorteilhaft einsetzbar erwiesen. Beim Gauß-Newton-Verfahren wird letztlich ein Maß für eine verbleibende Abweichung (Residuum), das als eine Kostenfunktion verstanden werden kann, ermittelt, aus dem auch unmittelbar die Anpassungsinformation zur Ermittlung der nächsten Optimierungspose hergeleitet werden kann. In diesem Zusammenhang, aber auch allgemein, kann es vorteilhaft sein, wenn zur Ermittlung der Abweichungsinformation bei Verwendung einer semantischen Wahrscheinlichkeitsverteilung ein Kreuzentropieverlust verwendet wird. Ein solcher Kreuzentropieverlust (Cross-Entropy Loss) wandelt letztlich einzelne Wahrscheinlichkeitswerte umfassende semantische Wahrscheinlichkeitsverteilungen in eine Wahrscheinlichkeitsdichtefunktion um, welche zur Definition der Abweichungsinformation, bei Verwendung eines Gauß-Newton-Verfahrens insbesondere des Residuums, verwendet werden kann.
-
Die Lokalisierung des Kraftfahrzeugs in Bezug auf die Assistenzkarte ermöglicht die Verwendung von deren Informationen für diverse Fahrzeugfunktionen, insbesondere Assistenzfunktionen, die durch Fahrzeugsysteme umgesetzt sein können. Besonders vorteilhaft lässt sich die Assistenzkarte beim autonomen Fahren, also bei der vollständig automatischen Fahrzeugführung, einsetzen. Mithin sieht eine Weiterbildung der vorliegenden Erfindung vor, dass die Assistenzkarte und die Kraftfahrzeugpose in einer Fahrzeugfunktion zur vollständig automatischen Führung des Kraftfahrzeugs verwendet werden. So kann für die Fahrzeugfunktion zur vollständig automatischen Führung des Kraftfahrzeugs die Datenbasis erweitert und eine Verbesserung und Erhöhung der Robustheit erreicht werden.
-
Die Erfindung betrifft ferner ein Kraftfahrzeug, aufweisend einen bildgebenden Sensor, insbesondere eine Kamera, und ein zur Ausführung eines Verfahrens nach einem der vorangehenden Ansprüche ausgebildetes Fahrzeugsystem. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, mit welchem mithin ebenso die bereits genannten Vorteile erhalten werden können.
-
Das Fahrzeugsystem kann dabei ein Steuergerät als eine Recheneinrichtung aufweisen, die beispielsweise wenigstens einen Prozessor und wenigstens ein Speichermittel umfassen kann. In dem Speichermittel kann beispielsweise die Assistenzkarte gespeichert sein. Der wenigstens eine Prozessor und wenigstens ein in dem wenigstens einen Speichermittel gespeichertes Softwaremittel können zusammenwirken, um Funktionseinheiten zur Durchführung des erfindungsgemäßen Verfahrens zu bilden. Entsprechend kann das Fahrzeugsystem bzw. die Recheneinrichtung beispielsweise eine Ermittlungseinheit zur Ermittlung des Semantikbildes und eine Optimierungseinheit zur Durchführung des Optimierungsvorgangs umfassen.
-
Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in ein Speichermittel eines Fahrzeugsystems ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm in dem Fahrzeugsystem ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte Steuerinformationen umfasst, die wenigstens ein erfindungsgemäßes Computerprogramm umfassen und bei Verwendung des Datenträgers in einem Fahrzeugsystem bewirken, dass ein erfindungsgemäßes Verfahren ausgeführt wird. Bei dem Datenträger kann es sich um einen nicht-transienten Datenträger, beispielsweise eine CD-ROM, handeln.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
- 1 ein Schaubild zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 2 schematisch ein Semantikbild,
- 3 schematisch ein Vergleichsbild,
- 4 eine Skizze zur Durchführung des Optimierungsprozesses,
- 5 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs, und
- 6 den funktionalen Aufbau eines Fahrzeugsystems des Kraftfahrzeugs.
-
1 illustriert ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Ermittlung einer Kraftfahrzeugposition und einer Kraftfahrzeugorientierung (zusammenfassend Kraftfahrzeugpose) bezüglich einer dreidimensionalen, semantischen Assistenzkarte 1. Die Assistenzkarte 1 beschreibt Objekte in einer durch das Kraftfahrzeug befahrenen Umgebung sowohl geometrisch als auch semantisch, indem den Objekten jeweils eine Semantikklasse zugeordnet ist, beispielsweise Pfosten, Straße, Gehweg, Schild, Vegetation und dergleichen. Die Inhalte und Informationen der Assistenzkarte 1 sollen für wenigstens eine Fahrzeugfunktion in dem Kraftfahrzeug genutzt werden, vorliegend eine Fahrzeugfunktion zur vollständig automatischen Führung des Kraftfahrzeugs, die durch ein Fahrzeugsystem umgesetzt ist. Dasselbe Fahrzeugsystem, gegebenenfalls jedoch auch ein weiteres Fahrzeugsystem, ist auch zur Lokalisierung des Kraftfahrzeugs innerhalb der Assistenzkarte 1 ausgebildet, das bedeutet, zur Bestimmung der aktuellen Kraftfahrzeugposition und Kraftfahrzeugorientierung in der Assistenzkarte 1.
-
Diese Lokalisierung wird vorliegend anhand wenigstens eines aktuellen Umgebungsbildes 2 eines bildgebenden Sensors, hier einer Kamera, des Kraftfahrzeugs durchgeführt. Nachdem die Position der Kamera im Kraftfahrzeug fest und bekannt ist, hängen die Kraftfahrzeugposition und Kraftfahrzeugorientierung, mithin die Kraftfahrzeugpose, mit der Kameraposition und Kameraorientierung, mithin der Kamerapose, eindeutig zusammen und sind einfach ineinander umrechenbar, weshalb die Bezeichnungen der folgenden Posen sowohl für die Kamera als auch das Kraftfahrzeug gelten sollen. Das vorliegende Ausführungsbeispiel wird unter Nutzung eines Umgebungsbilds 2 zu jedem Zeitschritt erläutert, wobei selbstverständlich in jedem Zeitschritt durch mehrere Kameras auch mehrere Umgebungsbilder 2 aufgenommen und verwendet werden können.
-
Im Verfahren zur Lokalisierung ist nun vorgesehen, ein aus dem aktuell aufgenommenen Umgebungsbild 2 abgeleitetes, durch semantische Segmentierung in einem Schritt 3 ermitteltes Semantikbild 4 mit einer virtuellen Kamerasicht der Assistenzkarte 1, welche ebenso die entsprechende Semantikinformation wiedergibt, abzugleichen.
-
In dem Schritt 3 wird zunächst ein im Stand der Technik grundsätzlich bekannter Klassifizierungsalgorithmus, der vorzugsweise eine trainierte Funktion der künstlichen Intelligenz umfasst, verwendet, um für die Bildpunkte (Pixel) des Umgebungsbilds 2 jeweils zu bestimmen, mit welcher Wahrscheinlichkeit jede der betrachteten Semantikklassen dort vorliegt. Mit anderen Worten wird eine semantische Wahrscheinlichkeitsverteilung für jeden Bildpunkt bestimmt, die für jede Semantikklasse einen Wahrscheinlichkeitswert enthält, mit dem diese in dem Pixel vorliegt. Eine schematische, beispielhafte Ansicht eines derart entstehenden Semantikbilds 4 zeigt 2, wobei als Semantikklassen beispielsweise Straße 5, Fahrbahnmarkierungen 6, Gehweg 7, Pfosten 8, Schild 9, Vegetation 10, Himmel 11 und dergleichen betrachtet werden können. Auch dynamische Objekte 12, hier ein anderes Kraftfahrzeug, können durch wenigstens eine Semantikklasse abgebildet werden.
-
Besonders vorteilhaft kann dabei im Schritt 3 ein Klassifizierungsalgorithmus verwendet werden, der mehrere oder sogar alle Semantikklassen behandelt. Denkbar ist es selbstverständlich auch, für jede Semantikklasse jeweils einen Klassifizierungsalgorithmus, insbesondere einen Klassifikator der künstlichen Intelligenz, einzusetzen. Nachdem eine semantische Segmentierung dieser Art mit Klassifizierungsalgorithmen im Stand der Technik grundsätzlich bekannt ist, soll dies hier nicht näher dargelegt werden. Die Lokalisierung durch semantischen Abgleich wird ausgehend von einer Initialpose 13, die eine Initialvermutung für die Position und Orientierung des Kraftfahrzeugs beschreibt, vorgenommen. Die Initialpose 13, die eine Initialposition und eine Initialorientierung umfasst, kann, falls ein unmittelbar vorangehender Durchlauf der Lokalisierung stattgefunden hat, deren Ergebnis, gegebenenfalls angepasst um Odometriedaten einer Odometriemessung, sein; zur Erstschätzung eignen sich jedoch Positions- und Orientierungsdaten eines GNSS-Sensors, insbesondere GPS-Sensors, des Kraftfahrzeugs besonders. Alternativ oder zusätzlich können selbstverständlich auch andere Quellen herangezogen werden, beispielsweise eine Groblokalisierung durch Bildvergleich mit Bildern einer Datenbank oder dergleichen.
-
Unter Nutzung dieser Initialpose 13 wird in einem Schritt 14 ein dreidimensionales Rendering auf Basis der Assistenzkarte 1 durchgeführt, um zum einen ein Vergleichsbild 15 in der Erfassungsgeometrie, in der auch die Kamera für das Umgebungsbild 2 gemessen hat, zu erhalten. In dem Vergleichsbild 15 ist jedem Pixel die Semantikklasse gemäß der Assistenzkarte 1 zugeordnet. Gleichzeitig ist aber auch eine Tiefeninformation 16 im Schritt 14 bestimmt worden, die für jedes Pixel angibt, welchen Abstand es zu der virtuellen Kameraposition gemäß Initialpose 13 aufweist.
-
Im vorliegenden Ausführungsbeispiel erfolgt der Abgleich im späteren Verlauf jedoch nicht für jeden Bildpunkt des Semantikbilds 4 bzw. Vergleichsbilds 15, sondern es werden Pixel ausgewählt, die besondere Semantikmerkmale einer Merkmalsgruppe enthalten, wobei als Semantikmerkmale in diesem Fall Kanten zwischen unterschiedlichen Semantikklassen verwendet werden. Zur Erläuterung zeigt 3 ein beispielhaftes Vergleichsbild 15, in welchem beispielsweise die Semantikklassen für die Straße 5, Fahrbahnmarkierungen 6, Gehweg 7, Pfosten 8 und Schild 9 vorkommen. Zwischen diesen Bereichen unterschiedlicher Semantikklassen liegen Kanten 17, wobei die jeweils an diese Kanten 17 angrenzenden Pixel als Grundlage des Abgleichs ausgewählt werden, wobei die Auswahl dieser Pixel aufgrund der Informationen in der Assistenzkarte 1 und dem Vergleichsbild 15 problemlos möglich ist. Die entsprechende Auswahlinformation 18 bildet eine Grundlage des nun folgenden Optimierungsvorgangs.
-
Dabei sei an dieser Stelle noch angemerkt, dass, da ja die Semantikmerkmale bereits in der Assistenzkarte 1 feststellbar sind, zur Reduzierung des Rechenaufwands und der Komplexität es in Ausführungsbeispielen auch denkbar ist, bereits das Rendering im Schritt 14 auf die Semantikmerkmale der Merkmalsgruppen zu beschränken.
-
Die nun vorzunehmende Optimierung zur Bestimmung der Kraftfahrzeugpose erfolgt dabei relativ zur Initialpose 13. Das bedeutet, um nicht jedes Vergleichsbild für eine aktuelle Optimierungspose, die sich aus der Initialpose 13 und der Relativpose zusammensetzt, das Vergleichsbild 15 neu rendern zu müssen, wird die Tiefeninformation 16 genutzt, um die semantischen Wahrscheinlichkeitsverteilungen in einem Schritt 19 zu „warpen“. Dies wird durch 4 näher erläutert, worin die Initialpose 13 angedeutet ist. Wie bereits erläutert, ergibt sich mit der durch den Pfeil 20 angedeuteten Relativpose hieraus eine aktuelle Optimierungspose 21, wobei selbstverständlich im ersten Schritt, wenn mit der Initialpose 13 begonnen wird, die Relativpose Null beträgt. Gemäß dem Pfeil 22 kann anhand der Tiefeninformation 16 für jedes ausgewählte Pixel gemäß der Auswahlinformation 18, insbesondere für jeden Kostenterm einer Kostenfunktion, der 3D-Punkt 23, der zu der Semantikinformation, insbesondere der semantischen Wahrscheinlichkeitsverteilung, in einem ausgewählten Pixel des Vergleichsbilds 15 gehört, rekonstruiert werden (Rückprojektion). Gemäß dem Pfeil 24 kann dieser 3D-Punkt 23 zur Bestimmung der Position der Semantikinformation in der Optimierungspose 21 wieder vorwärtsprojiziert werden, um die Vergleichsgrundlage zu erhalten. Ein erneutes Rendering ist nicht nötig. Der Vorgang kann, wie bereits erwähnt, als „Warpen“ der im Vergleichsbild 15 abgelegten Semantikinformation verstanden werden und ist für Bildinformationen aus „Direct Image Alignment“ von der Grundlage her bekannt.
-
Allgemein gesprochen entsteht auf diese Weise implizit oder explizit ein aktualisiertes Vergleichsbild 15, welches für die ausgewählten Pixel mit dem Semantikbild 4 verglichen werden kann, um eine Abweichungsinformation 25 zu bestimmen, bezüglich derer zur Minimierung der Abweichung optimiert werden soll, wobei der Schritt 26 diesen Optimierungsprozess anzeigt, aus dem auf Basis der aktuellen Abweichungsinformation 25 eine Anpassungsinformation für die Optimierungspose, hier mithin die Relativpose, folgt, mithin ein neuer Vergleich möglich ist, bis ein Abbruchkriterium erfüllt ist, beispielsweise die Abweichung und/oder die Anpassung gemäß der Anpassungsinformation einen Abbruchschwellwert unterschreitet und/oder eine maximale Anzahl von Optimierungsschritten erreicht ist.
-
Im vorliegenden Fall wird eine Gauß-Newton-Optimierung durchgeführt, wie sie für das „Direct Image Alignment“ grundsätzlich bekannt ist. Dabei wird ein quadrierter Bildausrichtungsverlust definiert, der über ein Residuum formulierbar ist, so dass ein nichtlineares kleinste-Quadrate-Problem gegeben ist, welches durch Gauß-Newton-Optimierung gelöst werden kann. Hierbei wird das Residuum und somit der Verlust als Kostenfunktion bzw. allgemein gesprochen Abweichungsinformation 25 über den Kreuzentropieverlust definiert, welcher die semantischen Wahrscheinlichkeitsverteilungen in Wahrscheinlichkeitsdichten umwandeln kann, welche zur Definition des Residuums und somit des Verlustes genutzt werden können.
-
In diesem besonders vorteilhaften Ausführungsbeispiel findet die Optimierung sukzessive auf unterschiedlichen Skalen statt, wofür beispielsweise eine Bildpyramide mit den verschiedenen Auflösungen ermittelt werden kann, wobei die Optimierung bei der niedrigsten Auflösung beginnt. Dabei lässt sich auch bei einer äußerst groben Auflösung, beispielsweise bei einer Breite und Höhe im niedrigen zweistelligen Bereich der Anzahl der Pixel, noch eine sinnvolle Analyse durchführen, da ja semantische Wahrscheinlichkeitsverteilungen verwendet werden und somit auch das Vorliegen mehrerer Semantikklassen in einem Pixel abgebildet werden kann.
-
Ferner erfolgt eine zeitgefensterte Optimierung, wobei im Rahmen des Optimierungsvorgangs Umgebungsbilder unterschiedlicher Zeitschritte eines gleitenden Zeitfensters betrachtet werden, wobei die Bewegung des Kraftfahrzeugs zwischen unterschiedlichen Zeitschritten in einer Odometriemessung gemessen und die entsprechenden Odometriedaten 27, beispielsweise zur Ermittlung von Odometriekosten, bei der Optimierung verwendet werden können.
-
Ist schließlich das Abbruchkriterium erfüllt, ist die Optimierung abgeschlossen und aus der zuletzt bestimmten Optimierungspose 21 ergibt sich die Kraftfahrzeugpose.
-
Dabei sei an dieser Stelle noch angemerkt, dass eine explizite Ermittlung der Abweichungsinformation 25 erfolgen kann, aber nicht zwangsläufig muss; es ist beispielsweise denkbar, die Schritte 19 und 26 integriert über einen entsprechenden Formelausdruck umzusetzen.
-
5 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 28. Als bildgebende Sensoren 29 des Kraftfahrzeugs 28 sind vorliegend eine Frontkamera 30 und eine Rückkamera 31 gezeigt, mit denen Umgebungsbilder 2 aufgenommen werden können. Selbstverständlich sind auch weitere Kameras denkbar.
-
Über eine Inertialplattform 32, die Beschleunigungssensoren und/oder Initia-Isensoren umfassen kann, kann eine Odometriemessung erfolgen.
-
Das Kraftfahrzeug 28 weist ferner ein Fahrzeugsystem 33 mit wenigstens einem als Recheneinrichtung wirkenden Steuergerät 34 auf, das zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Vorliegend dient das Fahrzeugsystem 33 auch der Umsetzung einer Fahrzeugfunktion zur vollständig automatischen Führung des Kraftfahrzeugs 28. Mithin kann das Kraftfahrzeug in der Assistenzkarte 1 lokalisiert werden und die Informationen der Assistenzkarte 1, insbesondere auch die darin enthaltenen Semantikinformationen, können bei der vollständig automatischen Führung des Kraftfahrzeugs 28 entsprechend genutzt werden.
-
6 zeigt die funktionale Struktur des Steuergeräts 34 des Fahrzeugsystems 33 genauer. Dieses weist zunächst ein Speichermittel 35 auf, in dem beispielsweise die Assistenzkarte 1 abgelegt sein kann. In einer Ermittlungseinheit 36 kann das Semantikbild 4 gemäß Schritt 3 ermittelt werden, wobei eine Rendering-Einheit 37 genutzt werden kann, um das Vergleichsbild 15 für die Initialpose 13 aus der Assistenzkarte 1 vorwärtsprojizierend zu errechnen, vgl. Schritt 14. Der Optimierungsprozess wird durch eine Optimierungseinheit 38 umgesetzt, vgl. insbesondere die Schritte 19 und 26.
-
Dient das Fahrzeugsystem 33, wie beschrieben, auch der vollständig automatischen Führung des Kraftfahrzeugs 28, kann zudem eine Führungseinheit 39 entsprechend vorgesehen werden. Die hier beschriebenen Funktionseinheiten können selbstverständlich Subeinheiten für verschiedene Teilfunktionen aufweisen.
