-
Die vorliegende Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung mittels Bilddaten eines Kamerasystems des Fahrzeugs. Auch betrifft die vorliegende Erfindung eine Steuereinrichtung für ein Fahrunterstützungssystem eines Fahrzeugs. Des Weiteren betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zum Lokalisieren eines Fahrzeugs in einer Umgebung mittels Bilddaten eines Kamerasystems des Fahrzeugs. Auch betrifft die vorliegende Erfindung ein Computerprogrammprodukt.
-
Fahrunterstützungssysteme umfassen bereits heute weit verbreitete Fahrerassistenzsysteme, die einem Fahrzeugführer beim Führen des Fahrzeugs assistieren. Solche Fahrerassistenzsysteme umfassen beispielsweise Parkassistenzsysteme oder Abstandswarnsysteme, die typischerweise bei niedrigen Geschwindigkeiten aktiv sind, sowie zunehmend weitere Assistenzsysteme, die auch das Fahren bei höheren Geschwindigkeiten unterstützen, beispielsweise Spurwechselassistenzsysteme und Totwinkel-Assistenzsysteme. Die Fahrunterstützungssysteme können auch in autonomen Fahrzeugen entsprechende Funktionen bereitstellen, um eine teil-autonome oder autonome Bewegung des Fahrzeugs zu unterstützen.
-
Bei den im Stand der Technik bekannten Fahrunterstützungssystemen ist es häufig erforderlich, eine Umgebung eines jeweiligen Fahrzeugs, das oft als Ego-Fahrzeug bezeichnet wird, zu überwachen. Dies erfolgt mit Umgebungssensoren des Fahrzeugs bzw. des in dem Fahrzeug verwendeten Fahrunterstützungssystems. Solche Umgebungssensoren können als Ultraschallsensor, als Radarsensor oder als LiDAR-Sensor ausgeführt sein. Alternativ oder zusätzlich können die Umgebungssensoren Kameras umfassen. Die Umgebungssensoren sind ausgeführt, Sensorinformationen mit Umgebungsinformationen einer Umgebung des Fahrzeugs zu liefern. Dabei können Sensorinformationen einer Mehrzahl gleichartiger und/oder unterschiedlicher Umgebungssensoren kombiniert werden. Die Umgebungssensoren können dabei verschiedenen Fahrerassistenzsystemen gemeinsam zugeordnet sein, oder jeweils einem einzigen.
-
Zum autonomen Manövrieren eines Fahrzeugs, beispielsweise durch ein autonomes Steuersystem des Fahrzeugs, wird häufig auf Kartendaten zurückgegriffen. Derartige Kartendaten existieren üblicherweise jedoch nur für den öffentlichen Raum. Zum autonomen Manövrieren des Fahrzeugs auf nicht öffentlichem Raum, beispielsweise einem Privatgrund, stehen somit üblicherweise keine Kartendaten zur Verfügung. Soll das Fahrzeug in einer derartigen nicht kartierten Umgebung autonom bewegt werden, so stehen nur Sensordaten von den Sensoren des Fahrzeugs für die autonome Navigation zur Verfügung. In diesem Kontext ist es bekannt, dass sich das Fahrzeug anhand von Sensordaten, insbesondere Kamerabildern, bewegt.
-
Um die Bewegung des Fahrzeugs mittels Odometrie möglichst genau erfassen zu können, bedarf eines genauen Odometriemodells. In der Realität können aber beispielsweise infolge von Fertigungstoleranzen des Fahrzeugs, Modifikationen am Fahrzeug, beispielsweise einer Verwendung von Reifen mit einem abweichenden Durchmesser, oder auch Toleranzen von Fahrzeugparametern, beispielsweise einem Reifenluftdruck, Abweichungen von dem Odometriemodell auftreten. Dies umfasst weiterhin, dass das Lenksystem des Fahrzeugs entsprechende Toleranzen aufweist, oder dass Toleranzen bezüglich des Chassis und der Fahrzeuggeometrie, beispielsweise der Spurweite, einer Parallelität der Räder oder dergleichen, oder auch eine Asymmetrie des Fahrzeugs vorliegen.
-
Um diese Fehler in der Odometrie ausgleichen zu können, wird beispielsweise das sogenannte SLAM-Verfahren (SLAM - Simultaneous Localization and Mapping) verwendet. Bei diesem Verfahren kann beispielsweise eine Karte der Umgebung des Fahrzeugs erstellt und die räumliche Lage des Fahrzeugs innerhalb dieser Karte geschätzt werden.
-
Eine Grundvoraussetzung für eine allgemeine Anwendung von SLAM ist, dass ein Merkmal, d.h. ein Objekt auf der Karte, identifiziert werden kann, um dieses Objekt bei einer Bewegung des Fahrzeugs sukzessive nachverfolgen zu können. Eine solche Nachverfolgung wird bereits auf Basis von verschiedenartigen Umgebungssensoren realisiert, beispielsweise Kameras, LiDAR-basierten Sensoren, beispielsweise Laserscanner, Radarsensoren, oder anderen, die ein weites Sichtfeld aufweisen, so dass die selben Objekte nachverfolgt werden können, auch während einer Bewegung des Ego-Fahrzeugs.
-
Zentimetergenaue Lokalisierung ist für das hochautomatisierte Fahren fundamental. Videobasierte Ansätze, die eine vorab erzeugte Karte verwenden, ermöglichen eine Lokalisierung in Gebieten, in denen globale Satellitennavigationssysteme aufgrund von Abschattung und Mehrwegeausbreitung unzuverlässig sind. Jedoch hat eine einmalig erzeugte Karte nur eine begrenzte Gültigkeitsspanne, da sich die Umgebung aufgrund äußerer Einflüsse verändert. Visual SLAM ist ein Algorithmus zur Lokalisierung und Zuordnung von Objekten innerhalb einer Umgebung. Die Idee bei Visual SLAM ist es, Merkmale oder Verläufe in verschiedenen Bildern eines Videostroms zu finden, um ein 3D-Modell der umgebenden (gemessenen) Welt zu erzeugen und die Ich-Pose innerhalb der Welt abzuschätzen.
-
Aus der
US 8,649,565 B1 ist ein System zur automatischen Objektlokalisierung auf Basis der visuellen simultanen Lokalisierung und Zuordnung (SLAM) und der kognitiven Schwarmerkennung bekannt. Das System ist konfiguriert, um einen Satz von Positionsdaten zu erfassen, die einem aktuellen Standort eines auf einer Plattform positionierten Sensors entsprechen. Ein Kartenmodell einer den Sensor umgebenden Umgebung wird basierend auf einem Eingangsbild des Sensors und den Standortdaten erzeugt. In einem gewünschten Aspekt wird ein kognitives Schwarmobjekt-Erkennungsmodul verwendet, um nach einem Objekt von Interesse zu suchen und zu erkennen. Die dreidimensionale Position des Objekts von Interesse in Bezug auf die Plattform wird dann basierend auf dem Kartenmodell und den Positionsdaten des Sensors geschätzt. Das beschriebene System ermöglicht eine kontinuierliche dreidimensionale Echtzeit-Ortungsaktualisierung für bewegliche Objekte von Interesse von einer mobilen Plattform aus. Ein computerimplementiertes Verfahren und ein Computerprogrammprodukt werden ebenfalls beschrieben.
-
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung bereitzustellen, bei dem die Kartierungsfehler minimiert werden und eine Verbesserung der Posen und Landmarkenschätzung erreicht wird. Sowie liegt der Erfindung die Aufgabe zugrunde, eine Steuereinrichtung für ein Fahrunterstützungssystem eines Fahrzeugs, ein Fahrunterstützungssystem für ein Fahrzeug mit einer solchen Steuereinrichtung sowie ein Computerprogrammprodukt anzugeben, die eine zuverlässige Bestimmung einer Position des Fahrzeugs in Bezug auf seine Umgebung ermöglichen.
-
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
-
Erfindungsgemäß ist somit ein Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung mittels Bilddaten eines Kamerasystems des Fahrzeugs angegeben mit folgenden Schritten: Bereitstellen eines Kamerasystems zur Erfassung der Umgebung, wobei das Kamerasystem mehrere Kameras umfasst, wobei zumindest eine erste Kamera ein erstes Sichtfeld umfasst und zumindest eine zweite Kamera ein zweites Sichtfeld umfasst, Empfang von Bilddaten der Kameras des Kamerasystems, Wichtung der Bilddaten der Kameras in Abhängigkeit des Winkels zwischen einer Mittelachse des Sichtfelds der Kameras und einer Fahrtrichtung des Fahrzeugs, wobei Bilddaten einer Kamera mit einem Gewicht versehen werde, welches umso größer ist, desto größer der Winkel zwischen der Mittelachse des Sichtfelds der Kamera und der Fahrtrichtung des Fahrzeugs ist, Lokalisierung des Fahrzeugs in der Umgebung mittels Durchführung eines Verfahrens zur Simultanen Lokalisierung und Kartenzuordnung (SLAM) basierend auf den gewichteten Bilddaten der Kameras.
-
Grundidee der vorliegenden Erfindung ist es also, eine Lokalisierung eines Fahrzeugs in einer Umgebung mittels Durchführung eines Verfahrens zur simultanen Lokalisierung und Kartenzuordnung (SLAM) anzugeben, wobei die für die Durchführung des SLAM-Verfahrens notwendigen Bilddaten in Abhängigkeit des Winkels zwischen einer Mittelachse des Sichtfelds der Kamera und einer Fahrtrichtung des Fahrzeugs gewichtet werden. Die Bilddaten einer Kamera werden dabei mit einem Gewicht versehen, welches umso größer ist, desto größer der Winkel zwischen der Mittelachse des Sichtfelds der Kamera und der Fahrtrichtung des Fahrzeugs ist. Mit anderen Worten erhalten lateral oder rückwärts zur Fahrrichtung gerichtete Kameras stets eine höhere Wichtung als vorwärtsgerichtete Kameras. Dies hat den Vorteil, dass Bilddaten von fehleranfälligen Kameras, wie beispielsweise vorwärtsgerichtete Kameras mit einem geringeren Gewicht in die spätere simultane Lokalisierung und Kartenzuordnung eingehen. Dadurch wir der Kartierungsfehler durch die Wichtung der Bilddaten der Kameras minimiert.
-
Das Verfahren zur simultanen Lokalisierung und Kartenzuordnung (SLAM) wird somit basierend auf gewichteten Bilddaten der Kameras durchgeführt. Vorzugsweise wird das Verfahren zur simultanen Lokalisierung und Kartenzuordnung kontinuierlich durchgeführt, um sich ergebende Kartierungsfehler fortlaufend zu korrigieren. Dabei kann es insbesondere vorgesehen sein, dass für die Lokalisierung des Fahrzeugs gleichzeitig die Bilddaten aller Kameras verwendet und entsprechend gewichtet werden.
-
Das Fahrzeug ist ein prinzipiell beliebiges Fahrzeug mit dem Fahrunterstützungssystem. Das Fahrunterstützungssystem kann ein bereits heute weit verbreitetes Fahrerassistenzsystem sein, das einen Fahrzeugführer beim Führen des Fahrzeugs unterstützt. Das Fahrunterstützungssystem kann auch in einem autonomen oder semiautonomen Fahrzeug eine entsprechende Funktion bereitstellen, um eine autonome oder semi-autonome Führung des Fahrzeugs zu unterstützen.
-
In vorteilhafter Ausgestaltung der Erfindung beinhaltet der Schritt der Wichtung der Bilddaten der Kameras in Abhängigkeit des Winkels zwischen einer Mittelachse des Sichtfelds der Kameras und einer Fahrtrichtung des Fahrzeugs, eine dynamische Anpassung der Wichtung der Bilddaten in Abhängigkeit der Fahrtrichtung des Fahrzeugs. Eine dynamische Wichtung der Bilddaten ist von Vorteil, da dadurch eine fortlaufende Korrektur von Kartierungsfehlern für verschieden Fahrsituation wie beispielsweise Vorwärtsfahrten, Rückwärtsfahren oder auch Kurvenfahren abdeckt werden können, wodurch eine schnelle und robuste Datengenerierung resultiert.
-
In weiter vorteilhaften Ausgestaltung der Erfindung umfasst das Kamerasystem mindestens vier Kameras, wobei die Kameras derart angeordnet sind, die gesamte Umgebung des Fahrzeugs abzudecken. Mittel einer entsprechenden Anzahl an Kameras wird zum einen ermöglicht, den kompletten Bereich um das Fahrzeug zu überwachen und zum anderen können mehr Bilder aufgenommen und mehr Daten generiert werden, wodurch eine entsprechende Umgebungskarte größer und detaillierter wird.
-
Gemäß einer Weiterbildung ist vorgesehen, dass zumindest zwei Kameras diametral angeordnet. Die diametrale Anordnung der Kameras hat den Vorteil, dass unterschiedliche Bereiche der Umgebung abgedeckt und aufgenommen werden können.
-
In einer vorteilhaften Ausgestaltung der Erfindung sind die Kameras Fischaugen-Kameras. Fischaugen-Kameras zeichnen sich u.a. durch ihren großen Sichtbereich von teilweise mehr als 180° aus.
-
Gemäß einer Weiberbildung der Erfindung ist das Kamerasystem Bestandteil eines Surround-View Systems des Fahrzeugs. Surround View Systeme sind bereits fester Bestandteil von Fahrzeugen. Sie basieren häufig auf vier Fischaugen-Kameras mit einem horizontalen Blickwinkel von mehr als 180° und ermöglichen es, den kompletten Bereich um das Fahrzeug zu überwachen. Durch Kombination dieser Kameras können beliebige Ansichten um das Fahrzeug generiert werden. Da Surround-View Systeme bereits Bestandteil von Fahrzeugen sind, muss keine teure Sensorik verbaut werden, wodurch eine kostengünstige Möglichkeit der Lokalisierung des Fahrzeugs in einer Umgebung ermöglicht wird.
-
Erfindungsgemäß ist außerdem eine Steuereinrichtung für ein Fahrunterstützungssystem eines Fahrzeugs angeben, wobei die Steuereinrichtung eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen. Die zuvor im Rahmen des Verfahrens beschriebenen Weiterbildungen und Ausführungsformen bilden ebenfalls die erfindungsgemäße Steuereinrichtung weiter.
-
In vorteilhafter Ausgestaltung der Erfindung ist die Steuereinrichtung derart eingerichtet eine Wichtung der Bilddaten der Kameras in Abhängigkeit des Winkels zwischen einer Mittelachse des Sichtfelds der Kameras und einer Fahrtrichtung des Fahrzeugs durchzuführen.
-
Weiter ist erfindungsgemäß ein Fahrunterstützungssystem zum Lokalisieren eines Fahrzeugs in einer Umgebung mittels Bilddaten eines Kamerasystems des Fahrzeugs angegeben, mit einem Kamerasystem zur Erfassung der Umgebung, wobei das Kamerasystem mehrere Kameras umfasst, wobei zumindest eine erste Kamera ein erstes Sichtfeld umfasst und zumindest eine zweite Kamera ein zweites Sichtfeld umfasst, und einer Steuereinrichtung der oben beschriebenen Art.
-
Ebenfalls erfindungsgemäß ist ein Computerprogrammprodukt mit Programmcodemitteln angegeben, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung mittels Bilddaten eines Kamerasystems des Fahrzeugs der oben beschriebenen Art durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung abgearbeitet wird. Dementsprechend gehört zur Erfindung außerdem ein computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das Verfahren zum Lokalisieren des Kraftfahrzeugs in der Umgebung der zuvor beschriebenen Art durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuereinrichtung geladen und auf einem Prozessor der elektronischen Steuereinrichtung abgearbeitet werden.
-
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
-
Es zeigt
- 1 eine schematische Darstellung eines Fahrzeugs gemäß einer ersten, bevorzugten Ausführungsform der Erfindung mit einen Fahrunterstützungssystem mit einer Mehrzahl Kameras zum Erfassen einer Umgebung in einer Draufsicht,
- 2 ein Ablaufdiagramm eines Verfahrens gemäß einer weiteren bevorzugten Ausführungsform der Erfindung,
- 3 ein Blockdiagramm einer weiteren bevorzugten Ausführungsform der Erfindung.
-
Die 1 zeigt ein Fahrzeug 1 gemäß einer ersten, bevorzugten Ausführungsform der vorliegenden Erfindung. Das Fahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Fahrzeug 1 umfasst dabei ein Fahrunterstützungssystem 2, wobei das Fahrunterstützungssystem 2 eine Steuereinrichtung 3 umfasst, die hier durch ein elektronisches Steuergerät (ECU - Electronic Control Unit) des Fahrzeugs gebildet ist. Darüber hinaus umfasst das Fahrunterstützungssystem 2 eine Mehrzahl von Kameras 4. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrunterstützungssystem 2 vier Kameras 4, von denen eine in einem Frontbereich 7, eine in einem Heckbereich 8 und zwei an jeder Seite 9 des Fahrzeugs 1 angeordnet sind. Jede Kamera 4 ist derart eingerichtet die Umgebung 10 des Fahrzeugs 1 zu erfassen. Dabei ist insbesondere von Vorteil, wenn die Kameras 4 ein großes Sichtfeld 14 aufweisen. Daher sind insbesondere Fischaugen-Kameras 4 vorteilhaft, da Fischaugen-Kameras 4 sich durch ein großes Sichtfeld 14 von mehr als 180° auszeichnen. Dadurch kann beispielsweise mit vier Fischaugen-Kameras 4, wobei jeweils zwei Kameras diametral voneinander angeordnet sind, das gesamte 360° Sichtfeld erfasst werden. Insbesondere kann es auch vorgesehen sein, dass die Fischaugen-Kameras 4 bereits Bestandteil eines Surround View Systems des Fahrzeugs 1 sind. Der große Vorteil ist, dass in kurzer Zeit, aufgrund der Anzahl der Kameras 4, viel mehr Daten gesammelt werden können, da alle erzeugten Daten in derselben Karte gespeichert werden. Ein weiterer großer Vorteil liegt in der Verbesserung der Posenschätzung. Dadurch kann eine anforderungsgerechte Fahrzeuglokalisierung mit kontinuierlicher Posenschätzung genauer durchgeführt werden.
-
Die Kameras 4 sind jeweils zur Datenübertragung mit der Steuereinrichtung 3 über einen hier nicht dargestellten Datenbus verbunden. Von den Kameras 4 erzeugte Bilddaten werden über den Datenbus an die Steuereinrichtung 3 übertragen, und dort gemeinsam ausgewertet und weiterverarbeitet. Die gleichzeitige Ausführung eines visuellen SLAMs mit vier Kameras 4 auf derselben Karte führt zu einer viermal dichteren Punktwolke und einem viermal geringeren Lokalisierungsfehler für die Posenschätzung, da jede Pose durch die anderen drei Posenschätzungen aufgrund der bekannten Einbaulage der Kameras 4 verbessert werden kann und umgekehrt. Durch die vorausgesetzte Kalibrierung sind alle Kameras 4 zueinander referenziert. Jede Kamera 4 sagt eine Pose aufgrund ihrer Bilddaten voraus, die Posen sind untereinander fixiert, so dass jede Posenschätzung durch die parallele Posenschätzung verbessert werden kann.
-
Die von den Kameras 4 aufgenommen Bilddaten werden außerdem noch gewichtet. Die Wichtung erfolgt dabei in Abhängigkeit von der Fahrtrichtung 5, 6 des Fahrzeugs 1. Dabei werden Bilddaten einer Kamera 4 mit einem Gewicht versehen werde, welches umso größer ist, desto größer der Winkel 16 zwischen der Mittelachse 15 des Sichtfelds 14 der Kamera 4 und der Fahrtrichtung 5, 6 des Fahrzeugs 1 ist. Insbesondere kann es vorgesehen sein, dass die Wichtung dynamisch angepasst wird. Beispielsweise kann die Wichtung kontinuierlich mit dem Lenkwinkel 13 des Fahrzeugs 1 verglichen und angepasst werden. Dadurch kann eine Wichtung dynamisch zur Fahrrichtung 5,6 erzielt werden. Dabei erhalten Bilddaten lateral oder rückwärts zur Fahrtrichtung 5, 6 gerichtete Kameras 4 stets eine höhere Wichtung als vorwärtsgerichtete Kameras 4, da diese fehleranfälliger sind. Daraus resultiert eine schnelle robuste, kostengünstige Datengenerierung.
-
Nachfolgend wird ein Verfahren gemäß einer ersten Ausführungsform zum Lokalisieren eines Fahrzeugs 1 in einer Umgebung 10 unter Bezug auf 1 beschrieben. Das Verfahren wird mit dem Fahrunterstützungssystem 2 des Fahrzeugs 1 der ersten Ausführungsform durchgeführt.
-
Das Verfahren beginnt in Schritt S100 mit dem Bereitstellen eines Kamerasystems an einem Fahrzeug 1. Das Kamerasystem kann insbesondere ein mit Fischaugen-Kameras 4 ausgestattetes Surround-View System sein. Das Kamerasystem ist dabei derart eingerichtet, die gesamte Umgebung des Fahrzeugs 1 mittels der Kameras 4 aufnehmen zu können.
-
In Schritt S110 werden Bilddaten der Umgebung 10 des Fahrzeugs 1 mit einer an dem Fahrzeug positionierten Kamera erfasst. Das Erfassen der Umgebung erfolgt beispielsweise bei einer Vorbeifahrt des Fahrzeugs an einem Objekt 11.
-
In Schritt S120 wird eine Wichtung der Bilddaten vorgenommen. Dabei wird die Wichtung der Bilddaten der Kameras 4 in Abhängigkeit des Winkels 16 zwischen einer Mittelachse 15 des Sichtfelds 14 der Kameras 4 und einer Fahrtrichtung 5, 6 des Fahrzeugs 1 vorgenommen, wobei Bilddaten einer Kamera 4 mit einem Gewicht versehen werden, welches umso größer ist, desto größer der Winkel 16 zwischen der Mittelachse 15 des Sichtfelds 14 und der Fahrrichtung 5, 6 ist. Mit anderen Worten erhalten damit lateral oder rückwärts zur Fahrrichtung 5, 6 gerichtete Kameras 4 stets eine höhere Wichtung als vorwärtsgerichtete Kameras 4. Die Wichtung kann beispielsweise mit Hilfe weitere Informationen des Fahrzeugs 1 bereitgestellt werden. Beispielsweise kann die Wichtung mit dem Lenkwinkel 13 der Reifen angepasst werden.
-
Schritt S130 betrifft das Durchführen eines Verfahrens zur simultanen Lokalisierung und Kartenzuordnung (SLAM) basierend auf den gewichteten Bilddaten. Dabei wird die Position des Fahrzeugs 1 basierend auf den Bilddaten des Kamerasystems bestimmt. Die Bestimmung erfolgt basierend auf Informationen, die von dem Fahrzeug 1 selbst basierend auf seinen Kameras 4 gewonnen werden. Dabei kann insbesondere vorgesehen sein, dass eine Posenschätzung gleichzeitig mittels aller vier Kameras 4 mit dynamischer Wichtung der Bilddaten durchgeführt wird. Außerdem führt die gleichzeitige Ausführung eines visuellen SLAMs mit vier Kameras auf derselben Karte zu einer viermal dichteren Punktwolke und einem viermal geringeren Lokalisierungsfehler für die Posenschätzung, da jede Pose durch die anderen drei Posenschätzungen aufgrund der festen Einbaulage der Kameras 4 verbessert werden könnte und umgekehrt.
-
Die 3 zeigt ein Blockdiagramm einer weiteren bevorzugten Ausführungsform der Erfindung. Das Blockdiagramm zeigt beispielhaft eine Ausführungsform mit vier Kameras 4, wobei die Kameras 4 die Bilddaten jeweils einem Tracker 17 zur Verfügung stellen. Die Bilddaten sind in Abhängigkeit des Winkels 16 der Mittelachse 15 des Sichtfelds 14 der Kameras 4 gegenüber der Fahrtrichtung 5, 6 des Fahrzeugs 1 gewichtet. Die simultane Lokalisierung und Kartenzuordnung wird nur für bestimmte Referenzbereiche in den Bilddaten angewendet, um eine höhere Leistung zu erzielen. Diese Referenzbereiche sind als Keyframes 18 bekannt und werden nach bestimmten zeitlichen und räumlichen Kriterien ausgewählt. Daher werden von dem Tracker 17 nur Keyframes 18 für die globale Posenschätzung 19 zur Verfügung gestellt. Aus der globalen Posenschätzung 19 wird wiederum eine robuste Karte 20 generiert. Die gleichzeitige Ausführung eines visuellen SLAMs mit vier Kameras 4 auf derselben Karte führt zu einer viermal dichteren Punktwolke und einem viermal geringeren Lokalisierungsfehler für die Posenschätzung, da jede Pose durch die anderen drei Posenschätzungen aufgrund der festen Einbaulage der Kameras verbessert werden kann.
-
Das vorliegende Verfahren zur Lokalisierung von Fahrzeugen ist ein Beispiel für ein kamerabasiertes Verfahren zur simultanen Lokalisierung und Kartenzuordnung wobei eine semi-dichte oder dichte Umgebungskarte erzeugt wird. Aufgrund der Wichtung der Bilddaten ist das vorliegende Verfahren besonders robust gegenüber Veränderungen in der Umgebung einerseits und gegenüber Kartierungsfehlern andererseits. Ein Beispiel für eine Veränderung in der Umgebung sind beispielsweise neu hinzukommende Objekte. Dadurch kann die Genauigkeit der Lokalisierung insgesamt gesteigert werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Fahrunterstützungssystem
- 3
- Steuereinrichtung
- 4
- Kamera
- 5
- Fahrtrichtung bei Vorwärtsfahrt
- 6
- Fahrtrichtung bei Rückwärtsfahrt
- 7
- Frontbereich des Fahrzeugs
- 8
- Heckbereich des Fahrzeugs
- 9
- Seite des Fahrzeugs
- 10
- Umgebung
- 11
- Objekt
- 12
- Reifen
- 13
- Lenkwinkel
- 14
- Sichtfeld der Kamera
- 15
- Mittelachse des Sichtfelds
- 16
- Winkel
- 17
- Tracker
- 18
- Keyframes
- 19
- Globale Posenschätzung
- 20
- Robuste Kartenerstellung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
