DE102018210712A1 - System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung - Google Patents

System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung Download PDF

Info

Publication number
DE102018210712A1
DE102018210712A1 DE102018210712.2A DE102018210712A DE102018210712A1 DE 102018210712 A1 DE102018210712 A1 DE 102018210712A1 DE 102018210712 A DE102018210712 A DE 102018210712A DE 102018210712 A1 DE102018210712 A1 DE 102018210712A1
Authority
DE
Germany
Prior art keywords
sensor
feature
surrounding area
vehicle
processor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018210712.2A
Other languages
English (en)
Inventor
Johannes Paas
Florian Maile
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102018210712.2A priority Critical patent/DE102018210712A1/de
Publication of DE102018210712A1 publication Critical patent/DE102018210712A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft die Verwendung von Merkmalen unterschiedlicher Art in einem System und in einem Verfahren zur gleichzeitigen Lokalisierung und Kartierung (SLAM). Gemäß einem Aspekt der Erfindung wird ein System zur gleichzeitigen Lokalisierung und Kartierung vorgeschlagen, das einen ersten Sensor (2) von einem ersten Sensortyp, einen zweiten Sensor (3) von einem zweiten Sensortyp, welcher von dem ersten Sensortyp abweicht, und eine Prozessoreinheit (12) umfasst. Der erste Sensor (2) ist dazu eingerichtet, an einem Fahrzeug (1) angeordnet zu werden, sodass der erste Sensor (2) einen ersten Umgebungsbereich (21) des Fahrzeugs (1) erfassen kann. Der zweite Sensor (3) ist dazu eingerichtet, an dem Fahrzeug (1) angeordnet zu werden, sodass der zweite Sensor (3) einen zweiten Umgebungsbereich (22) des Fahrzeugs (1) erfassen kann. Die Prozessoreinheit (12) ist dazu eingerichtet, basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) und basierend auf dem von dem zweiten Sensor (3) erfassten zweiten Umgebungsbereich (22) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.

Description

  • Die Erfindung betrifft ein System und ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung. Weitere Ansprüche sind auf ein Fahrerassistenzsystem, ein Fahrzeug, ein Programmelement und ein computerlesbares Medium gerichtet.
  • Es sind Algorithmen zur gleichzeitigen Lokalisierung und Kartierung bekannt. In der Fachsprache wird typischerweise der englischsprachige Begriff „Simultaneous Localization And Mapping“ (oder abgekürzt: „SLAM“) verwendet. SLAM-Algorithmen konzentrieren sich zumeist auf Daten, die von einem einzigen Sensor erfasst werden. Die Algorithmen können auf Scans eines Sensor-Frames angewendet werden, um einzelne Punkte zu extrahieren. Die einzelnen Punkte können in folgenden Scans wiedererkannt werden. Eine Translation und eine Rotation dieser einzelnen Punkte zwischen aufeinanderfolgenden Sensor-Frames kann verwendet werden, um eine Ego-Bewegung eines Fahrzeugs zu berechnen und um eine Merkmals-Karte zu erstellen. Weiterhin kann eine Wiedererkennung von bekannten Merkmalskombinationen genutzt werden, um innerhalb einer zuvor erstellten Karte eine Lokalisierung des Fahrzeugs durchzuführen. Es kann zu Problemen während des SLAM-Prozesses führen, wenn unter veränderten Bedingungen diejenigen Merkmale, die genutzt werden, um die Umgebung zu repräsentieren, nicht länger zur Verfügung stehen oder nicht länger in derselben Weise erscheinen. Entsprechende Beispiele für Bedingungen, welche die Wiedererkennungsfähigkeit beeinflussen können, sind Beleuchtung, Wetter, Umgebungsarten und Sensorzustände. Wenn eine Karte erstellt wird, können derartige Bedingungen zu ungenauen Karten führen und in einem Lokalisierungsmodus kann die Positionsschätzung beeinträchtigt werden.
  • Eine Aufgabe der vorliegenden Erfindung kann darin gesehen werden, ein SLAM-System und ein SLAM-Verfahren bereitzustellen, die eine genauere Kartierung und eine erhöhte Wiedererkennungsrate ermöglichen.
  • Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der Unteransprüche, der folgenden Beschreibung sowie der Figuren.
  • Die vorliegende Erfindung schlägt ein Multi-Merkmal-SLAM vor. Dabei können Merkmale unterschiedlicher Merkmal-Arten basierend auf einer Sensor-Technologie oder basierend auf einer Kombination aus mehreren Sensor-Technologien erkannt oder extrahiert werden. Beispielsweise können verschiedene Merkmale unterschiedlicher Merkmal-Arten von mehr als einer Sensor-Technologie integriert in einer Karte hinterlegt und in einem SLAM Algorithmus verarbeitet werden. Es kann ein einziger Sensor vorgesehen werden, der Merkmale unterschiedlicher Merkmal-Art aus einem Umgebungsbereich eines Fahrzeugs extrahieren und für die Durchführung eines SLAM-Verfahrens nutzbar machen kann. Weiterhin können zwei unterschiedliche Sensor-Typen, drei unterschiedliche Sensortypen oder mehr als drei unterschiedliche Sensor-Typen zum Einsatz kommen, wie im Folgenden näher beschrieben wird. Pro Sensortyp kann jeweils ein Sensortyp zum Einsatz kommen. Weiterhin können pro Sensortyp auch mehrere Sensoren zum Einsatz kommen, z.B. zwei oder mehr Sensoren von einem ersten Sensortyp, zwei oder mehr Sensoren von einem zweiten Sensortyp usw. Ferner kann insbesondere eine Gewichtung von erkennbaren Merkmalen vorgenommen werden, ggfs. In Kombination mit einer Sensor-Technologie oder unterschiedlichen Sensor-Technologien bzw. Sensor-Typen. Der Vorteil hierbei ist, dass die Art, auf die eine Pose bestimmbar ist, fließende Übergänge haben kann, auch mit Hinblick auf die Verfügbarkeit und den Detailgrad von HD-Karten, die nicht selbst aufgezeichnet wurden.
  • Mit anderen Worten basiert die vorliegende Erfindung auf dem grundlegenden SLAM Prinzip, allerdings erweitert um das Einbeziehen von mindestens zwei Merkmalen unterschiedlicher Merkmal-Art, insbesondere von mehr als nur einer Sensor-Technologie. Es wird vorgeschlagen, z.B. von einer Kamera und/oder einem Radar-Sensor und/oder von einem Lidar-Sensor extrahierte oder (wieder-)erkannte Merkmale zu nutzen, um den typischen SLAM-Algorithmus durchzuführen. Außerdem sind mehrere unterschiedliche Merkmal-Arten pro Sensor-Technologie denkbar. Beispielsweise kann eine Kamera klassische Ecken und Kanten liefern sowie zusätzlich semantische Merkmale (z.B. Schilder, Spurmarkierungen oder Ampeln) erkennen, wodurch ein Bezug zu HD-Karten hergestellt werden kann. Weiterhin kann ein Lidar-Sensor Kanten und Flächen liefern, die beispielsweise in einem Tunnel oder in einer Wüste unterschiedlich gewichtet werden können.
  • Gemäß einem ersten Aspekt der Erfindung wird ein System zur gleichzeitigen Lokalisierung und Kartierung bereitgestellt. Das System umfasst wenigstens einen ersten Sensor von einem ersten Sensortyp. Die Systeme gemäß der vorliegenden Erfindung können weiterhin wenigstens einen zweiten Sensor von einem zweiten Sensortyp aufweisen, welcher von dem ersten Sensortyp abweicht. Insbesondere kann ein Arbeitsverfahren, nach welchem der zweite Sensor die Umgebung des Fahrzeugs erfasst, insbesondere die Umgebung eines Kraftfahrzeugs oder Roboters, auf einem anderen Prinzip beruhen als ein Erfassungsprinzip, nach welchem der erste Sensor die Umgebung des Fahrzeugs erfasst. Beispielsweise kann es sich bei dem ersten Sensor um einen visuellen Sensor bzw. einen Bildverarbeitungs-Sensor handeln, z.B. eine digitale Kamera oder ein digitales Stereo-Kamerasystem. Bei dem zweiten Sensor kann es sich beispielsweise um einen Laser-basierten Sensor wie Lidar oder um einen Radar-basierten Sensor handeln. Auch SONAR-basierte Sensoren können eingesetzt werden, insbesondere bei Unterwasser-Fahrzeugen oder Unterwasser-Robotern. Ferner kann das System eine Prozessoreinheit umfassen.
  • Der erste Sensor ist dazu eingerichtet, an einem Fahrzeug angeordnet zu werden, sodass der erste Sensor einen ersten Umgebungsbereich des Fahrzeugs erfassen kann. Der zweite Sensor kann dazu eingerichtet sein, an dem Fahrzeug angeordnet zu werden, sodass der zweite Sensor einen zweiten Umgebungsbereich des Fahrzeugs erfassen kann. Der erste Sensor kann weiterhin eine Vielzahl weiterer Umgebungsbereiche erfassen, insbesondere je nach Pose des Fahrzeugs, an welchem der erste Sensor angeordnet sein kann. Auf ähnliche Weise kann der zweite Sensor ferner eine Vielzahl weiterer Umgebungsbereiche erfassen, insbesondere je nach Pose des Fahrzeugs, an welchem der zweite Sensor angeordnet sein kann.
  • Der erste Umgebungsbereich und der zweite Umgebungsbereich können sich teilweise überlappen, deckungsgleich verlaufen oder sich gar nicht überlappen. Insbesondere können die im Rahmen der vorliegenden Erfindung beschriebenen Sensoren dazu eingerichtet sein, Bilder von den beschriebenen erfassten Umgebungsbereichen aufzunehmen (insbesondere wenn der Sensor eine Kamera ist) bzw. die betreffenden Umgebungsbereiche zu vermessen bzw. zu erfassen (insbesondere wenn der Sensor ein Radar-basierter Sensor, ein Lidar-basierter Sensor oder ein Sonarbasierter Sensor ist). Dies kann insbesondere durch hintereinander folgendes Aufnehmen von Bildern in einer Bildfolge geschehen, wobei eine bestimmte Anzahl von Bildern/Frames innerhalb einer Sekunde (je nach verwendetem Sensor) aufgenommen werden können.
  • Die Prozessoreinheit ist dazu eingerichtet, basierend auf dem von dem ersten Sensor erfassten ersten Umgebungsbereich ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung (SLAM) durchzuführen. Dabei kann die Prozessoreinheit insbesondere basierend auf dem in dem ersten Umgebungsbereich durch den ersten Sensor erfassten ersten Merkmal das SLAM-Verfahren durchführen. Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem von dem zweiten Sensor erfassten zweiten Umgebungsbereich ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Dabei kann die Prozessoreinheit insbesondere basierend auf dem in dem zweiten Umgebungsbereich durch den zweiten Sensor erfassten zweiten Merkmal das SLAM-Verfahren durchführen. Die Prozessoreinheit kann somit entweder den ersten Sensor oder den zweiten Sensor für die Durchführung eines SLAM-Verfahrens nutzen. Weiterhin kann die Prozessoreinheit auch sowohl den ersten Sensor als auch den zweiten Sensor für die Durchführung eines SLAM-Verfahrens nutzen. Die Prozessoreinheit kann in einen der Sensoren integriert sein oder als externes Bauteil bereitgestellt sein.
  • Durch den Gebrauch mehr als eines Sensortyps bzw. mehr als einer Sensor-Technologie, also mehrerer unterschiedlicher Sensoren (z.B. Kamera, Lidar und/oder Radar), mit überlappendem oder unterschiedlichem Erfassungsbereich (Field of View) kann die allgemeine Verfügbarkeit von Merkmalen zu jedem Zeitschritt (z.B. definiert durch eine mögliche oder vorgegebene Anzahl Messungen, insbesondere Aufnahmen oder Frames pro Zeiteinheit, insbesondere pro Sekunde) gesteigert werden. Der Begriff „Merkmal“ kann im Rahmen der vorliegenden Erfindung generisch verstanden werden, d.h. es kann sich um von einem Sensortyp oder von mehreren verschiedenen Sensortypen bzw. Sensor-Technologien erkannte, extrahierte und/oder wiederkannte Merkmale handeln. Das Merkmal „extrahieren“ kann das Erkennen des betreffenden Merkmals durch den betreffenden Sensor und das Einfügen von Informationen oder Daten, die das Merkmal repräsentieren, in die Karte beinhalten. Das Einfügen der Informationen oder Daten kann dabei beispielsweise durch den Sensor oder durch die Prozessoreinheit erfolgen. Unter einer „Karte“ kann im Rahmen der vorliegenden Erfindung insbesondere eine Ebene mit Merkmalen verstanden werden. Die Karte kann weiterhin mehrere Unter-Ebenen umfassen. So kann beispielsweise pro Sensor eine Unter-Ebene einer Karte erstellt werden, z.B. eine erste Unter-Ebene für Merkmale, die durch den ersten Sensor extrahiert werden, eine zweite Unter-Ebene für Merkmale, die durch den zweiten Sensor extrahiert werden, eine dritte Unter-Ebene für Merkmale, die durch den dritten Sensor ermittelt werden usw. Mehrere solcher Unter-Ebenen können zusammengeführt werden. Dadurch kann beispielsweise ein sogenanntes „HD Localization Model“ erzeugt werden.
  • Dabei können die verschiedenen Sensortypen in von ihnen gemachten Aufnahmen bzw. in unterschiedlichen Frames verschiedene Merkmal-Arten erkennen, extrahieren und in einer Karte hinterlegen. Ein physisches Merkmal, welches durch seine Umrisse oder durch seine Geometrie (eindimensional, zweidimensional oder dreidimensional) definiert ist, ist ein Beispiel für ein Merkmal einer Merkmal-Art. Ein semantisches Merkmal (z.B. ein Verkehrsschild mit einer Beschriftung oder mit einem Symbol, eine Spurmarkierung etc.), welches eine Bedeutung (beispielsweise eine Verkehrsregel) innehat, ist ein weiteres Beispiel für ein Merkmal einer Merkmal-Art. Ein durch einen bestimmten Sensor-Typ erkanntes und extrahiertes Merkmal ist ein weiteres Beispiel für ein Merkmal einer Merkmal-Art, z.B. ein Kamera-Merkmal, ein Radar-Merkmal oder ein Lidar-Merkmal. Der englischsprachige Begriff „Feature“ wird in der Fachliteratur im Zusammenhang mit SLAM ebenso genutzt wie die Begriffe „Merkmal“ oder „Landmark“.
  • Das Fahrzeug oder die Systeme gemäß der vorliegenden Erfindung können weiterhin ein Gerät umfassen, welches dazu eingerichtet ist, eine Position und eine Orientierung des Fahrzeugs zu ermitteln. Insbesondere können die Systeme oder das Fahrzeug ein Hodometer umfassen, welches eine relative Positionsermittlung ermöglicht. Das Hodometer kann insbesondere dazu eingerichtet sein, Umdrehungen von Rädern des Fahrzeugs zwischen zwei Messzeitpunkten zu zählen und über einen bekannten Radius der Räder des Fahrzeugs eine Distanz zu ermitteln, welche das Fahrzeug zwischen den Messzeitpunkten zurückgelegt hat. Insbesondere kann das Hodometer dazu eingerichtet sein, über unterschiedliche Drehzahlen der Räder des Fahrzeugs und/oder über einen Lenkeinschlag von Rädern des Fahrzeugs eine Bewegungsrichtung des Fahrzeugs zu ermitteln. Ferner können auch von einer Inertial Measurement Unit (IMU) generierte Werte oder Fahrzeugdaten wie z.B. Geschwindigkeit oder Gierrate ebenso zur Bestimmung der Pose und der Bewegung des Fahrzeugs hinzugezogen werden. Bei laufenden Robotern ohne Räder kann ein Pedometer eingesetzt werden, das Schritte zwischen zwei Messzeitpunkten zählen und mit einer bekannten Schrittweite multiplizieren kann.
  • Die SLAM-Systeme gemäß der vorliegenden Erfindung können dazu eingerichtet sein, basierend auf der durch das Hodometer ermittelten relativen Position und Orientierung des Fahrzeugs eine absolute Position und Orientierung zu ermitteln. Beispielsweise kann eine absolute Position vorgegeben werden (beispielsweise der Ursprung eines Koordinatensystems, durch welches die Position und die Orientierung des Fahrzeugs beschrieben werden kann), von welcher aus das Fahrzeug eine relative Bewegung starten kann. Bei Kraftfahrzeugen kann ein Hodometer in Form eines Kilometerzählers eingesetzt werden, welcher typischerweise auf Messgrößen aus dem Fahrwerk zugreifen kann, insbesondere auf gemessene Radumdrehungen und Lenkdaten wie Radlenkwinkel oder Lenkradwinkel. Weiterhin kommen in Kraftfahrzeugen typischerweise Satelliten gestützte Ortungsverfahren wie GPS zum Einsatz. Diese Ortungsverfahren bzw. diese ausführende Ortungsgeräte können durch das Hodometer, insbesondere den Kilometerzähler, unterstützt werden, z.B. um Bereiche ohne Satellitenempfang zu überbrücken.
  • Die im Rahmen der vorliegenden Anmeldung offenbarten Sensoren sind dazu eingerichtet, derart an einem Fahrzeug angeordnet, insbesondere befestigt zu werden, dass sie eine Umgebung des Fahrzeugs erfassen können. Der Bereich der Umgebung, welchen der betreffende Sensor dabei erfasst, kann als sogenanntes „Field of View“ bezeichnet werden. Dieser Bereich kann je nach verwendetem Sensor eindimensional, zweidimensional oder dreidimensional sein. Weiterhin ist es möglich, dass der durch den Sensor erfassbare Bereich einen Teil der Umgebung des Fahrzeugs erfassen kann, z.B. einen Sektor im Vorausbereich, im seitlichen Bereich oder im Hinterausbereich des Fahrzeugs. Außerdem kann der betreffende Sensor dazu eingerichtet sein, die vollständige Umgebung des Fahrzeugs zu erfassen, z.B. beim Einsatz sogenannter Surround View Systeme.
  • Unter einem Fahrzeug kann insbesondere ein Objekt verstanden werden, welches seine Position und/oder seine Orientierung oder Ausrichtung verändern kann. Die Kombination aus einer Position und einer Orientierung des Fahrzeugs, welches das Fahrzeugs an der Position einnimmt, kann als sogenannte „Pose“ bezeichnet werden. Die Veränderung der Pose kann beispielsweise ferngesteuert und/oder (teil-)autonom erfolgen. Alternativ kann auch ein Fahrer das Fahrzeug steuern (möglicherweise unterstützt durch ein Fahrerassistenzsystem), um dessen Position und/oder Orientierung zu verändern. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug wie Automobil, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug wie Helikopter oder Flugzeug. Mit anderen Worten ist die Erfindung in allen Bereichen des Transportwesens wie Automotive, Aviation, Nautik, Astronautik etc. einsetzbar.
  • In einer Ausführungsform können die Systeme gemäß der vorliegenden Erfindung weiterhin wenigstens einen dritten Sensor von einem dritten Sensortyp umfassen, wobei der dritte Sensortyp von dem ersten Sensortyp und/oder von dem zweiten Sensortyp abweicht. Der dritte Sensor ist dazu eingerichtet, an dem Fahrzeug angeordnet zu werden, sodass der dritte Sensor einen dritten Umgebungsbereich des Fahrzeugs erfassen kann. Ferner kann der dritte Sensor eine Vielzahl weiterer Umgebungsbereiche erfassen, insbesondere je nach Pose des Fahrzeugs, an welchem der dritte Sensor angeordnet sein kann. Die Prozessoreinheit kann dazu eingerichtet sein, basierend auf dem von dem dritten Sensor erfassten dritten Umgebungsbereich ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Dabei kann die Prozessoreinheit insbesondere basierend auf dem in dem dritten Umgebungsbereich durch den dritten Sensor erfassten dritten Merkmal das SLAM-Verfahren durchführen. Die Prozessoreinheit kann somit entweder den ersten Sensor, den zweiten Sensor oder den dritten Sensor für die Durchführung eines SLAM-Verfahrens nutzen. Weiterhin kann die Prozessoreinheit auch alle drei Sensoren, den ersten Sensor zusammen mit dem zweiten Sensor oder den ersten Sensor zusammen mit dem dritten Sensor für die Durchführung eines SLAM-Verfahrens nutzen. Der dritte Umgebungsbereich und der zweite Umgebungsbereich können sich teilweise überlappen, deckungsgleich verlaufen oder sich gar nicht überlappen. Ebenfalls können sich der dritte Umgebungsbereich und der erste Umgebungsbereich teilweise überlappen, deckungsgleich verlaufen oder sich gar nicht überlappen. Durch das Vorsehen des dritten Sensors kann die Verfügbarkeit von Merkmalen weiter erhöht werden und es kann die Validität der Merkmalserkennung weiter gesteigert werden.
  • Gemäß einer weiteren Ausführungsform ist die Prozessoreinheit dazu eingerichtet, basierend auf dem von dem ersten Sensor erfassten ersten Umgebungsbereich eine Kartierung durchzuführen. Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem von dem zweiten Sensor erfassten ersten Umgebungsbereich eine Kartierung durchzuführen. Ferner kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem von dem dritten Sensor erfassten dritten Umgebungsbereich eine Kartierung durchzuführen. Somit kann die Prozessoreinheit mittels aller Sensoren, mittels eines der Sensoren oder mittels einer Kombination aus mindestens zwei der Sensoren eine Kartierung im Rahmen eines SLAM-Verfahrens durchführen. So können beispielsweise die Merkmale aller Merkmalarten basierend auf einer gemeinsamen Pose in die Karte eingetragen werden. Diese Pose kann aus einer Merkmal-Art oder aus einer Kombination mehrerer Merkmal-Arten bestimmt werden. Somit können zu jeder Zeit „schwache“/weniger glaubwürdige Merkmal-Arten von „stärkeren“/glaubwürdigeren Merkmal-Arten profitieren (siehe diesbezüglich auch die weiter unten beschriebene Gewichtung der Merkmale und Merkmal-Arten).
  • Eine resultierende Karte kann alle Merkmal-Arten in einer gemeinsamen Ebene einer Karte oder in unterschiedlichen Unter-Ebenen einer Karte beinhalten. Objekte bzw. Merkmale können mit einer einzigen Sensortechnologie oder mit mehreren Sensor-Technologien extrahiert und erkannt werden. Diese Ausführungsform ermöglicht die Erstellung einer besonders dichten und besonders genauen Karte, insbesondere weil Nachteile von in Handarbeit und nicht perfekten Merkmals-Extraktoren durch die Verwendung mehrere Merkmals-Extraktoren ausgeglichen werden können. Dies erlaubt eine konsistentere und genauere Lokalisierung, woraus eine bessere Ausführung von Fahraufgaben insbesondere von automatisierten und autonomen Fahrzeugen resultieren kann.
  • Der erste Sensor, insbesondere ein Bildverarbeitungs-Sensor (z.B. eine Kamera), kann dazu eingerichtet sein, ein erstes Bild des ersten Umgebungsbereichs aufzunehmen, und in dem ersten Bild ein erstes Merkmal einer ersten Merkmal-Art zu erkennen. Der erste Sensor kann weiterhin dazu eingerichtet sein, über das erste Merkmal hinaus eine Vielzahl weiterer Merkmale weiterer Merkmal-Arten in dem ersten Bild zu erkennen. Die Bezeichnung mit „erstem Merkmal“ dient vorliegend der leichteren Bezugnahme und Erläuterung.
  • Auf ähnliche Weise kann der zweite Sensor, insbesondere ein Radar-Sensor, dazu eingerichtet sein, in dem erfassten zweiten Umgebungsbereich ein zweites Merkmal einer zweiten Merkmal-Art zu erkennen. Der zweite Sensor kann weiterhin dazu eingerichtet sein, über das zweite Merkmal hinaus eine Vielzahl weiterer Merkmale weiterer Merkmal-Arten in dem erfassten zweiten Umgebungsbereich zu erkennen. Die Bezeichnung mit „zweitem Merkmal“ dient vorliegend der leichteren Bezugnahme und Erläuterung. Der Radar-basierte Sensor kann beispielsweise Abstände zu Objekten innerhalb des erfassten Umgebungsbereichs messen. Weiterhin kann der Radar-basierte Sensor beispielsweise auch Azimut-Werte, Höhen-Werte (Elevation), Intensitäts-Werte und Radialgeschwindigkeits-Werte messen. Ein entsprechender Messzyklus, in dem der Radar-basierte Sensor den zweiten Umgebungsbereich erfasst bzw. auf die beschriebene Art vermessen hat, kann dabei als ein „Frame“ bezeichnet werden. Der Radar-basierte Sensor kann den zweiten Umgebungsbereich somit N-dimensional abtasten bzw. erfassen, wodurch Punktewolken generiert werden können. Dabei kann der zweite Sensor ebenso wie das Fahrzeug, der erste Sensor, der dritte Sensor und jeder mögliche weitere Sensor ein Koordinaten-System aufweisen. Aus erfassten Punktewolken kann der Radar-basierte Sensor Merkmale extrahieren. Die Punktewolke kann entsprechend mehrere Dimensionen umfassen (N-dimensionale Punktewolke), wenn man beispielsweise auch Intensitäten und Radialgeschwindigkeiten beachtet.
  • Außerdem kann der der dritte Sensor, insbesondere ein Laser-basierter Sensor (z.B. ein Lidar-Sensor), dazu eingerichtet sein, in dem erfassten dritten Umgebungsbereich ein drittes Merkmal einer dritten Merkmal-Art zu erkennen. Der dritte Sensor kann weiterhin dazu eingerichtet sein, über das dritte Merkmal hinaus eine Vielzahl weiterer Merkmale weiterer Merkmal-Arten in dem erfassten dritten Umgebungsbereich zu erkennen. Die Bezeichnung mit „drittem Merkmal“ dient vorliegend der leichteren Bezugnahme und Erläuterung. Der Laser-basierte Sensor kann beispielsweise innerhalb des dritten Umgebungsbereichs Intensitäten in einer x-Richtung, in einer y-Richtung und in einer z-Richtung eines kartesischen Koordinatensystems des Laser-basierten Sensors messen. Insbesondere misst ein Lidar-Sensor Intensitäten von Reflektionen und/oder Pulsweiten der Reflexionen eines Laserstrahls. Daher ist auch eine n-dimensionale Messung möglich. Ein entsprechender Messzyklus, in dem der Laser-basierte Sensor den dritten Umgebungsbereich erfasst bzw. auf die beschriebene Art vermessen hat, kann dabei als ein „Frame“ bezeichnet werden. Der Laser-basierte Sensor kann den dritten Umgebungsbereich N-dimensional abtasten bzw. erfassen, wodurch Punktewolken generiert werden können. Aus erfassten Punktewolken kann der Laser-basierte Sensor Merkmale extrahieren. Die Punktewolke kann entsprechend mehrere Dimensionen umfassen (N-dimensionale Punktewolke).
  • Die Prozessoreinheit kann dazu eingerichtet sein, das erkannte erste Merkmal aus dem ersten Bild zu extrahieren und in einer Karte zu hinterlegen. Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, das erkannte zweite Merkmal in einer Karte zu hinterlegen. Ferner kann die Prozessoreinheit dazu eingerichtet sein, das erkannte dritte Merkmal in einer Karte zu hinterlegen. Die Prozessoreinheit kann dazu eingerichtet sein, die Merkmale in einer gemeinsamen Karte zu hinterlegen. Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, die Merkmale in mehreren Unter-Ebenen der Karte abzulegen, z.B. in einer Unter-Ebene für durch den ersten Sensor erkannte Merkmale, in einer Unter-Ebene für durch den zweiten Sensor erkannte Merkmale usw. Über die genannten Merkmale hinaus kann die Prozessoreinheit eine Vielzahl weiterer durch die jeweiligen Sensoren erkannte Merkmale aus den betreffenden Bildern und Frames extrahieren und in einer Karte oder in mehreren Unter-Ebenen der Karte einfügen.
  • Die Systeme gemäß der vorliegenden Erfindung können weiterhin dazu eingerichtet sein, ein Loop-Closing durchzuführen. Insbesondere kann die Prozessoreinheit dazu eingerichtet ist, basierend auf dem von dem ersten Sensor erfassten ersten Umgebungsbereich ein Loop-Closing durchzuführen. Ebenfalls kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem von dem zweiten Sensor erfassten zweiten Umgebungsbereich ein Loop-Closing durchzuführen. Ferner kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem von dem dritten Sensor erfassten dritten Umgebungsbereich ein Loop-Closing durchzuführen.
  • Die Prozessoreinheit kann dazu eingerichtet sein, einem SLAM-Algorithmus Merkmale aus den erfassten Umgebungsbereichen zuzuführen, wobei der SLAM-Algorithmus versucht, erkannte Merkmale zuvor erkannten Merkmalen zuzuordnen. Ist eine solche Zuordnung erfolgreich (in diesem Fall kann von einer sogenannten „Loop Closure“ gesprochen werden), dann kann der SLAM-Algorithmus darauf schließen, dass das Fahrzeug an einen bereits besuchten Ort zurückgehrt ist. Dieser Verfahrensschritt kann als „Loop-Closing“ bezeichnet werden. Unter „Loop Closing“ kann somit ein Verfahrensschritt verstanden werden, bei dem richtigerweise festgestellt wird, dass ein Fahrzeug zu einem Ort zurückgekehrt ist, den das Fahrzeug zuvor besucht hat.
  • Wenn basierend auf einem durch den ersten Sensor wiedererkannten Merkmal eine Loop Closure detektiert wird, nicht jedoch basierend auf Merkmalen des zweiten Sensors und/oder dritten Sensors, dann kann eine Bestimmung und eine Korrektur der Pose des Fahrzeugs auch für alle Merkmale erfolgen, aufgrund derer keine Loop Closure detektiert wurde.
  • Beim Loop-Closing kann somit mittels eines wiedererkannten Merkmals eine Pose des Fahrzeugs ermittelt werden (Lokalisierung oder auch Re-Lokalisierung). Wenn das Fahrzeug beispielsweise einen Streckenabschnitt passiert, an dem z.B. mehrere Leitpfosten (Merkmal) rechts der Straße stehen, kann es für einen Radar-Sensor schwierig sein, die Re-Lokalisierung anhand der Leitpfosten durchzuführen, weil die Leitpfosten relativ ähnlich aussehen können. In diesem Falle können die Radar-Features lediglich eine gute Odometrie-Schätzung liefern. Der Radar-Sensor kann jedoch davon profitieren, dass beispielsweise die Kamera mit einer größeren Sicherheit eine korrekte Re-Lokalisierung liefert. Da die Bestimmung der Pose mit Unsicherheiten behaftet ist, handelt es sich bei der ermittelten Pose um eine Posen-Hypothese. Die Posen-Hypothese kann an einen bereits bekannten Punkt in der zuvor erstellten Karte gesetzt werden.
  • Es kann eine Transformationsbeziehung berechnet werden, beispielsweise über eine Distanz, die das Fahrzeug zwischen zwei aufeinanderfolgenden Aufnahmen/Bildern/Frames zurückgelegt hat. Eine Lücke, welche durch die Re-Lokalisierung entsteht, kann entlang der gefahrenen Strecke relaxiert werden, z.B. mittels der Methode der kleinsten Quadrate (Least-Square-Optimization). Die verschiedenen Merkmale unterschiedlicher Merkmal-Arten (z.B. das erste Merkmal der ersten Merkmal-Art, das zweite Merkmal der zweiten Merkmal-Art und das dritte Merkmal der dritten Merkmal-Art) können durch den entsprechenden Sensor pro Frame aus derselben Pose aufgenommen werden. Wenn die Prozessoreinheit beispielsweise basierend auf einem durch eine Kamera wiedererkannten Merkmal die Re-Lokalisierung durchführt, dann können auch alle anderen Merkmale basierend auf der Transformationsbeziehung korrigiert werden, und zwar insbesondere entlang der gesamten gefahrenen Strecke.
  • Während des Loop-Closings kann eine Wahrscheinlichkeit dafür berechnet werden, dass die Zuordnung richtig ist. Bei der Berechnung dieser Wahrscheinlichkeit kann insbesondere die Genauigkeit der Zuordnung berücksichtigt werden. Weiterhin kann auch die Anzahl einander zugeordneter Punkte bzw. Merkmale berücksichtigt werden. Ferner kann auch eine Position zugeordneter Merkmale bzw. Punkte relativ zu dem betreffenden Sensor dazu genutzt werden, um die Wahrscheinlichkeit dafür zu berechnen, dass die Zuordnung richtig ist. Gleiches gilt für eine Position zugeordneter Merkmale bzw. Punkte zueinander.
  • Diese statistische Information kann innerhalb des allgemeinen Zuordnungs-Prozesses genutzt werden, um eine Pose (Position des Fahrzeugs und dessen Orientierung bzw. Ausrichtung an der Position) des Fahrzeugs zu bestimmen. Die Bestimmung der Pose kann erfolgen, indem eine verbundene maximale Wahrscheinlichkeits-Schätzung für sämtliche Typen von Merkmalen berechnet wird. Weil eine Transformation zwischen den unterschiedlichen Sensor-Frames bekannt ist, können sogar Posen von Sensoren mit zeitweise schlechter Merkmals-Wiedererkennung genau bestimmt werden.
  • Der erste Sensor, insbesondere ein Bildverarbeitungs-Sensor (z.B. eine Kamera), kann insbesondere dazu eingerichtet sein, ein erstes Wiederholungsbild des ersten Umgebungsbereichs aufzunehmen und in dem ersten Wiederholungsbild das in die Karte hinterlegte erste Merkmal wiederzuerkennen. Wenn der erste Sensor eine zweite (Wiederholungs-)Pose einnimmt, von welcher aus er den ersten Umgebungsbereich zumindest teilweise erneut erfassen kann, dann kann der erste Sensor den ersten Umgebungsbereich (oder zumindest einen Teil davon) nach einer erfolgten Kartierung erneut erfassen und eine weitere Aufnahme (erstes Wiederholungsbild) von dem ersten Umgebungsbereich (oder zumindest eines Teils davon) machen. Natürlich wird der erste Sensor neben dem ersten Bild und dem ersten Wiederholungsbild eine Vielzahl entsprechender weiterer Bilder und Wiederholungsbilder weiterer Umgebungsbereiche des Fahrzeugs aufnehmen. Die Nummerierung mit „erstem Bild“ und „erstem Wiederholungsbild“ dient vorliegend der leichteren Bezugnahme und Erläuterung.
  • Der zweite Sensor, insbesondere ein Radar-basierter Sensor, kann dazu eingerichtet sein, den zweiten Umgebungsbereich erneut zu erfassen und in dem erneut erfassten zweiten Umgebungsbereich das in der Karte hinterlegte zweite Merkmal wiederzuerkennen. Wenn der zweite Sensor eine zweite (Wiederholungs-)Pose einnimmt, von welcher aus er den zweiten Umgebungsbereich zumindest teilweise erfassen kann, dann kann der zweite Sensor den zweiten Umgebungsbereich (oder zumindest einen Teil davon) nach einer erfolgten Kartierung erneut erfassen. Weiterhin kann der zweite Sensor zusätzlich eine Vielzahl entsprechender weiterer Wiederholungs-Messungen weiterer Umgebungsbereiche des Fahrzeugs aufnehmen.
  • Der dritte Sensor, insbesondere ein Laser-basierter Sensor (z.B. ein Lidar-Sensor), kann dazu eingerichtet sein, den dritten Umgebungsbereich erneut zu erfassen und in dem erneut erfassten dritten Umgebungsbereich das in der Karte hinterlegte dritte Merkmal wiederzuerkennen. Wenn der dritte Sensor eine dritte (Wiederholungs-)Pose einnimmt, von welcher aus er den dritten Umgebungsbereich zumindest teilweise erfassen kann, dann kann der dritte Sensor den dritten Umgebungsbereich (oder zumindest einen Teil davon) nach einer erfolgten Kartierung erneut erfassen. Weiterhin kann der dritte Sensor zusätzlich eine Vielzahl entsprechender weiterer Wiederholungs-Messungen weiterer Umgebungsbereiche des Fahrzeugs durchführen.
  • Die Prozessoreinheit kann dazu eingerichtet sein, basierend auf wenigstens einem Merkmal, welches durch einen der Sensoren wiedererkannt worden ist, eine Bestimmung einer Pose des Fahrzeugs durchzuführen. Ein wiedererkanntes Merkmal ist somit für ein Loop-Closing ausreichend. Insbesondere ist die Prozessoreinheit dazu eingerichtet, basierend auf dem durch den ersten Sensor wiederkannten ersten Merkmal eine Bestimmung einer Pose des Fahrzeugs durchzuführen. Ebenfalls kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem durch den zweiten Sensor wiederkannten zweiten Merkmal eine Bestimmung einer Pose des Fahrzeugs durchzuführen. Außerdem kann die Prozessoreinheit dazu eingerichtet sein, basierend auf dem durch den dritten Sensor wiederkannten dritten Merkmal eine Bestimmung einer Pose (Sensor-Pose) des Fahrzeugs durchzuführen.
  • Die Prozessoreinheit kann weiterhin dazu eingerichtet sein, basierend auf einer bestimmten Pose des Fahrzeugs (Sensor-Pose) eine Loop-Closing-Korrektur durchzuführen. Die Loop-Closure-Korrektur kann durch die Anwendung eines sogenannten Bundle-Adjustments erfolgen. Bei einem Bundle-Adjustment können alle erkannten Merkmale/Posen dahingehend optimiert werden, dass (im Sinne einer Konsistenz) eine in sich geschlossene Strecke bzw. ein in sich geschlossener Posen-Graph dargestellt werden kann. Dabei kann insbesondere ein Driften der Pose des Fahrzeugs korrigiert werden. Die Prozessoreinheit kann dabei insbesondere dazu eingerichtet sein, die vorstehend beschriebene, mittels der Sensoren bestimmte Sensor-Pose mit einer durch ein Hodometer ermittelten Hodometer-Pose zu vergleichen. Falls die Prozessoreinheit dabei eine Abweichung feststellt, kann sie beispielsweise die Hodometer-Pose basierend auf der Sensor-Pose korrigieren. Beispielsweise kann die Prozessoreinheit die Hodometer-Pose durch die Sensor-Pose ersetzen.
  • Bisher wurde im Stand der Technik eine Loop Closure nur auf der Basis von einer Sensor-Technologie detektiert und somit eine Korrektur im Anschluss auf dessen Features angewandt. Gemäß der vorliegenden Erfindung wird vorgeschlagen, im Sinne eines intelligenten Multi-Feature SLAMs bei einer erkannten Loop Closure durch einen der Sensoren (z.B. Radar-Sensor, Kamera-Sensor oder Lidar-Sensor) oder durch die Detektion durch mehrere Sensor-Technologien die Loop-Closing-Korrektur auch für alle Features durchführen, die keine Loop Closure detektiert haben. Ein einfaches Beispiel hierfür ist ein Auto mit einem Radar-Sensor, mit einer Kamera und mit einem Lidar-Sensor. Das Fahrzeug fährt um einen Block. Durch beispielsweise einen im Vergleich zum Radar-Sensor und zum Lidar-Sensor relativ großen Field-of-View (auch Öffnungswinkel) der Kamera erkennt die Kamera eine bereits bekannte Strecke bzw. sich auf dieser Strecke befindliche Merkmale beim Umfahren einer Kurve sehr viel früher, der Radar-Sensor und der Lidar-Sensor allerdings noch nicht oder eventuell gar nicht. Die gemeinsame Loop-Closing-Korrektur (ausgelöst durch die Kamera) kann nun auch auf die Features des Lidar-Sensors und des Radar-Sensors angewendet werden. Infolgedessen sind in dem erläuterten Beispiel alle drei Feature-Karten bzgl. der Loop Closure korrigiert. Somit wird eine simultane Loop-Closing-Korrektur aller Feature-Arten in der Karte gewährleistet, wobei eine „glaubwürdige“ Loop Closure Detektion einer einzelnen Feature-Art (z.B. Radar-Sensor oder Lidar-Sensor oder Kamera) ausreicht.
  • In einer Ausführungsform ist zumindest einer der Sensoren ein Bildverarbeitungs-Sensor (oft auch mit dem englischsprachigen Begriff „Vision“-Sensor bezeichnet). Dabei kann es sich insbesondere um eine digitale Kamera oder um ein digitales Kamerasystem, z.B. ein Stereo-Kamerasystem oder ein Surround-View-System handeln. Zwar können unter Umständen wechselnde, nicht vorhandene oder zu starke Beleuchtung sowie schlechtes Wetter dem Bildverarbeitungs-Sensor Probleme bereiten. Dafür können mittels des Bildverarbeitungs-Sensors jedoch anspruchsvolle und detailreiche Merkmale extrahiert werden. Der Bildverarbeitungs-Sensor eignet sich somit besonders für die Erkennung und Wiedererkennung einzigartiger Merkmale bzw. Merkmalskombinationen. Mittels des Bildverarbeitungs-Sensors können Merkmale unterschiedlicher Merkmal-Art aus einem durch den Bildverarbeitungs-Sensor erfassten Umgebungsbereich extrahiert werden. In einer besonders einfachen Konfiguration des Systems zur gleichzeitigen Kartierung und Lokalisierung kann der erste Sensor ein Bildverarbeitungs-Sensor sein und auf den zweiten Sensor sowie auf den dritten Sensor kann verzichtet werden. Mit anderen Worten kann das System lediglich einen Bildverarbeitungs-Sensor aufweisen, der ein erstes Merkmal einer ersten Merkmal-Art und ein zweites Merkmal einer zweiten Merkmal-Art innerhalb des durch den Bildverarbeitungs-Sensor erfassbaren Umgebungsbereichs des Fahrzeugs erkennen kann. Ein solches System wird weiter unten im Zusammenhang mit einem achten Aspekt der Erfindung näher definiert.
  • In einer weiteren Ausführungsform ist zumindest einer der Sensoren ein Laser-basierter Sensor, z.B. ein Lidar-Sensor. Laser-basierte Sensoren liefern sehr genaue Messungen, arbeiten besonders effizient und ihre Messergebnisse können relativ leicht weiterverarbeitet werden. Zwar können unter Umständen Emissionen anderer Fahrzeuge und schlechtes Wetter dem Laser-basierten Sensor Probleme bereiten. Dafür liefern insbesondere Lidar-Sensoren besonders robuste Ergebnisse hinsichtlich schlechter oder wechselnder Beleuchtung.
  • In einer weiteren Ausführungsform ist zumindest einer der Sensoren ein Radar-basierter Sensor. Zwar ist die Auflösung eines Radar-basierten Sensors vergleichsweise gering, sodass es sich schwierig gestalten kann, Merkmale zu separieren. Allerdings liefern Radar-basierte Sensoren jedoch besonders robuste Ergebnisse bei schlechter oder wechselnder Beleuchtung und bei schlechtem Wetter.
  • In einer weiteren Ausführungsform ist zumindest einer der Sensoren ein Sonarbasierter Sensor. Sonar-basierte Sensoren sind besonders gut für den Einsatz unter Wasser geeignet, z.B. in (Unter-)Wasserfahrzeugen. Sonar-basierte Sensoren sind weiterhin insbesondere im Vergleich zu Laser-basierten Sensoren günstig zu beschaffen. Allerdings liefern Laser-basierte Sensoren typischerweise genauere Ergebnisse als Sonar-Sensoren.
  • Die Prozessoreinheit kann weiterhin dazu eingerichtet sein, eine wie im Folgenden beschriebene Gewichtung von Merkmalen und/oder Sensoren in der Karte vorzunehmen. Beim Re-Lokalisieren kann nach einer möglichst großen Überdeckung von dem gesucht werden, was einerseits in der Karte hinterlegt ist, und von dem, was andererseits in einem aktuellen Wiederholungsbild bzw. in einem erneut erfassten Umgebungsbereich enthalten ist. Eine Pose oder eine Posen-Hypothese kann dahingehend optimiert werden. Es kann dabei ein Minimum in einer Kostenfunktion bestimmt werden, z.B. basierend auf der Methode der kleinsten Quadrate. Basierend darauf kann eine Güte der Re-Lokalisierung („Glaubwürdigkeit“) bestimmt werden. Beispielsweise kann eine hohe Güte für ein Merkmal einer Merkmal-Art dort vorliegen, wo eine relativ hohe Überdeckung vorliegt, wohingegen eine relativ geringe Überdeckung eines weiteren Merkmals einer anderen Merkmal-Art zu einer relativ niedrigen Güte führen kann.
  • Wenn man die unterschiedlichen Merkmale der unterschiedlichen Merkmal-Arten miteinander vergleicht, dann kann man aufgrund der ermittelten Güte der Re-Lokalisierung festlegen, welches Merkmal an einer jeweiligen Position besonders gut für eine Re-Lokalisierung geeignet ist. Dies kann online erfolgen, indem ein Matching bzw. die Überdeckung bewertet wird.
  • In diesem Sinne ist in einer weiteren Ausführungsform die Prozessoreinheit dazu eingerichtet, das extrahierte erste Merkmal gewichtet in der Karte zu hinterlegen. Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, das extrahierte zweite Merkmal gewichtet in der Karte zu hinterlegen. Ferner kann die Prozessoreinheit dazu eingerichtet sein, das extrahierte dritte Merkmal gewichtet in der Karte zu hinterlegen. Unter „gewichtet“ kann insbesondere verstanden werden, dass die durch den Sensor oder durch die Sensoren erkannten Merkmale mit einer Wahrscheinlichkeit abgelegt werden, dass sie richtig erkannt worden sind oder wiedererkannt werden können. In die Ermittlung der Wahrscheinlichkeit kann einfließen, in welchem Maße ein betreffender Sensor in einer jeweiligen Situation dazu geeignet ist, das betreffende Merkmal zu erkennen, zu extrahieren und/oder wiederzuerkennen („Glaubwürdigkeit“ des Sensors).
  • In wenigstens eine der ersten Gewichtung, der zweiten Gewichtung und der dritten Gewichtung können weiterhin Wetterdaten, Situationsdaten oder Umgebungsdaten einfließen. Mit anderen Worten kann die Gewichtung kann beispielsweise situationsbedingt, umgebungsbedingt, wetterbedingt oder ortsabhängig erfolgen. Insbesondere kann in der Karte an bestimmten Positionen oder in bestimmten Bereichen die Glaubwürdigkeit bestimmter Sensoren höher eingestuft werden als die Glaubwürdigkeit anderer Sensoren. Beispielsweise kann an einem zuvor durchfahrenen Tunnel an dessen Tunnelausgang die Glaubwürdigkeit eines Lidar-Sensors höher eingestuft werden als die Glaubwürdigkeit einer Kamera. An einer entsprechenden Position innerhalb der Karte kann diese Gewichtung hinterlegt oder eingetragen werden. Alternativ kann die Gewichtung auch dynamisch bestimmt werden, beispielsweise auf Basis der Wiedererkennungsrate (beeinflusst beispielsweise durch Wettereinflüsse) oder basierend auf zusätzlichen Daten (z.B. von einem Licht-Sensor oder von einem Regen-Sensor generierten Daten). Auch empfangene Wetterdaten (Regen, Schnee, etc.) können Einfluss auf die Gewichtung nehmen.
  • Weiterhin kann die Glaubwürdigkeit eines Merkmals einer Merkmal-Art mit einer Glaubwürdigkeit eines Sensors für das Merkmal kombiniert werden. Ein Beispiel wäre eine relativ hohe Dichte von Verkehrsschildern in einem bestimmten Bereich (z.B. in einem Baustellenbereich oder in Ländern oder Regionen mit besonders hoher Verkehrsschilderdichte, z.B. in China). Eine Kamera kann hier aufgrund der erschwerten Erkennung unter Umständen nur wenig aussagekräftig sein. In diesem Bereich kann es sinnvoller sein, sich beispielsweise mittels eines Lida-Sensors zu re-lokalisieren, der Bordsteinkanten erkennt, anstatt die vielen einzelnen Schilder mit der Kamera auszuwerten und zu identifizieren. In diesem Beispiel kann den Bordsteinkanten in der Karte eine höhere Glaubwürdigkeit des Lidar-Sensors zugeordnet werden als den Verkehrsschildern in Kombination mit der Kamera.
  • In diesem Sinne kann gemäß einer weiteren Ausführungsform dem ersten Sensor-Typ bezogen auf eine Merkmal-Art in einem bestimmten Bereich eine erste Gewichtung zugeordnet sein. Weiterhin kann dem zweiten Sensortyp eine zweite Gewichtung bezüglich der Merkmal-Art zugeordnet sein. Ferner kann dem dritten Sensortyp eine dritte Gewichtung bezüglich der Merkmal-Art zugeordnet sein. Diese Ausführungsform erlaubt bei verschiedenen Merkmal-Arten verschiedene Merkmale einer Sensortechnologie hervorzuheben. Beispielsweise kann die Kamera die klassischen Ecken/Kanten sehen, aber auch semantische Features wie Schilder oder Ampeln, die besonders in Bezug auf nicht selbst generierte HD-Karten wichtig werden. Diese können auch durch Sensorfusion detektiert werden.
  • Weiterhin kann die Prozessoreinheit dazu eingerichtet sein, die Positionen und die Ausrichtungen der Sensoren bezüglich des Fahrzeugs (bestimmt durch die Anordnung der Sensoren am Fahrzeug) sowie die (damit verbundenen) Erfassungsbereiche der Sensoren für die Gewichtung zu nutzen. Beispielsweise können die Erfassungsbereiche durch die Arten der Sensoren und deren Anordnung an dem Fahrzeug derart voneinander abweichen bzw. sich lediglich teilweise überlappen, sodass einige Merkmale in einer bestimmten Pose des Fahrzeugs beispielsweise von einem der Sensoren erfasst (sowie erkannt, extrahiert und wiedererkannt) können, durch einen anderen der Sensoren oder durch die anderen Sensoren jedoch nicht. Dem Sensor, der in dieser Pose das Merkmal erfassen kann, kann eine höhere Gewichtung zugeordnet werden als dem anderen Sensor bzw. als den anderen Sensoren.
  • Mit anderen Worten kann die Güte der Re-Lokalisierung als Gewichtung der verschiedenen Feature-Arten in der Karte hinterlegt werden. Es können zur gleichen Zeit Merkmale einer Kamera oder eines Radar-Sensors oder eines Lidar-Sensors genutzt werden und auf der Basis von Wetter, Umgebung und/oder Fahrsituation (Tunnelausgang, etc.) entschieden werden, welcher Merkmal-Art mehr vertraut wird. Dabei wird insbesondere nur eine Pose geschätzt (nicht mehrere Posen die fusioniert werden), deren Bezug zu den unterschiedlichen Feature-Detektionen durch Gewichte bestimmt wird. In der Karte können ortsbezogene Gewichtsverteilungen hinterlegt werden (z.B. „traue nicht der Kamera am Tunnelausgang“) oder z.B. wetterbedingt Gewichte von Merkmal-Arten verändert werden (z.B. „weniger Lidar bei Nebel“, „weniger Radar wenn viel Ghost/Multipath-Objekte auftauchen“).
  • Außerdem können statistische Informationen über die Merkmal-Arten durch generelle Umgebungsinformationen erweitert werden, z.B. Belichtung, Umgebungsart, Fahrzeugstatus oder Sensorstatus. Dies kann bei der Gewichtung der Merkmale oder der Merkmal-Arten in der Karte helfen. Der Entscheidungsprozess der Gewichtung kann mehrere Freiheitsgrade haben, woraus unterschiedliche Entscheidungsprozesse angewendet werden können. So können beispielsweise Techniken des maschinellen Lernens angewandt werden. Insbesondere kann versichertes Lernen („reassured learning“) genutzt werden, um die Gewichtungen der Merkmal-Arten zu bestimmen, sodass die resultierende Überdeckungs-Wahrscheinlichkeit über alle Merkmal-Arten möglichst groß ist.
  • Gemäß einem zweiten Aspekt der Erfindung wird ein Fahrerassistenzsystem bereitgestellt, welches ein System nach dem ersten Aspekt oder dem achten Aspekt (siehe weiter unten) der Erfindung umfasst.
  • Gemäß einem dritten Aspekt der Erfindung wird ein Fahrzeug, insbesondere ein Kraftfahrzeug oder ein Roboter bereitgestellt, welches ein Fahrerassistenzsystem gemäß dem zweiten Aspekt der Erfindung umfasst. Bei dem Kraftfahrzeug kann es sich insbesondere um ein zumindest teilweise autonom verfahrbares Kraftfahrzeug handeln.
  • Gemäß einem vierten Aspekt der Erfindung wird ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung (SLAM) bereitgestellt. Das Verfahren kann insbesondere die folgenden Schritte umfassen:
    • (100)
    Anordnen eines ersten Sensors von einem ersten Sensortyp an einem Fahrzeug, sodass der erste Sensor einen ersten Umgebungsbereich des Fahrzeugs erfassen kann,
    (200)
    Optionales Anordnen eines zweiten Sensors an dem Fahrzeug, sodass der zweite Sensor einen zweiten Umgebungsbereich des Fahrzeugs erfassen kann, wobei der zweite Sensor von einem zweiten Sensortyp ist, der von dem ersten Sensortyp abweicht (Der erste Umgebungsbereich
    (300)
    und der zweite Umgebungsbereich können sich teilweise überlappen, deckungsgleich verlaufen oder sich gar nicht überlappen.), Bereitstellen einer Prozessoreinheit, welche in kommunikativer Verbindung mit dem ersten Sensor und optional auch mit dem zweiten Sensor steht,
    (400)
    Erfassen eines ersten Umgebungsbereichs des Fahrzeugs mittels des ersten Sensors,
    (500)
    Optionales Erfassen eines zweiten Umgebungsbereichs des Fahrzeugs mittels des zweiten Sensors,
    (600.1)
    Durchführen eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung mittels der Prozessoreinheit basierend auf dem von dem ersten Sensor erfassten ersten Umgebungsbereich und/oder
    (600.2)
    Durchführen eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung mittels der Prozessoreinheit basierend auf dem von dem zweiten Sensor erfassten zweiten Umgebungsbereich.
  • Die vorstehend im Zusammenhang mit den Systemen gemäß dem ersten und achten Aspekt der Erfindung beschriebenen Merkmale und Funktionen können als entsprechende Verfahrensschritte in dem Verfahren gemäß dem vierten Aspekt der Erfindung implementiert sein.
  • Gemäß einem fünften Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einer Prozessoreinheit ausgeführt wird, die Prozessoreinheit anleitet, die Verfahrensschritte gemäß dem Verfahren nach dem vierten Aspekt der Erfindung durchzuführen.
  • Gemäß einem sechsten Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gespeichert ist, das, wenn es auf einer Prozessoreinheit ausgeführt wird, die Prozessoreinheit anleitet, die Verfahrensschritte nach dem vierten Aspekt der Erfindung durchzuführen.
  • Gemäß einem siebten Aspekt der Erfindung wird eine Verwendung von Merkmalen unterschiedlicher Merkmal-Art in einem Verfahren zur gleichzeitigen Lokalisierung und Kartierung vorgeschlagen.
  • Gemäß einem achten Aspekt der Erfindung wird ein weiteres System zur gleichzeitigen Lokalisierung und Kartierung vorgeschlagen, wobei das System einen Sensor und eine Prozessoreinheit umfasst. Der Sensor ist dazu eingerichtet, an einem Fahrzeug angeordnet zu werden, sodass der Sensor einen Umgebungsbereich des Fahrzeugs erfassen kann. Der Sensor ist dazu eingerichtet, ein erstes Merkmal einer ersten Merkmal-Art innerhalb eines erfassten Umgebungsbereichs zu erkennen. Der Sensor ist weiterhin dazu eingerichtet, ein zweites Merkmal einer zweiten Merkmal-Art innerhalb eines erfassten Umgebungsbereichs zu erkennen, wobei die zweite Merkmal-Art verschieden von der ersten Merkmalsart ist. Die Prozessoreinheit ist dazu eingerichtet, basierend auf dem von dem Sensor erkannten ersten Merkmal ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Weiterhin ist die Prozessoreinheit dazu eingerichtet, basierend auf dem von dem Sensor erkannten zweiten Merkmal ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Bei dem Sensor kann es sich beispielsweise um einen Bildverarbeitungs-Sensor handeln, wobei jedoch z.B. auch Radar-Sensoren, Laser-Sensoren oder Sonar-Sensoren zur Erkennung von Merkmalen unterschiedlicher Art eingerichtet sein können. Mittels der Prozessoreinheit können die Merkmale beispielsweise zur Kartierung und zur (Re-)Lokalisierung genutzt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist. Ferner können weitere Sensoren hinzugefügt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist.
  • Gemäß einem neunten Aspekt der Erfindung wird eine Prozessoreinheit bereitgestellt. Die Prozessoreinheit umfasst eine Schnittstelle. Die Schnittstelle ist insbesondere eine Kommunikations-Schnittstelle, welche dazu eingerichtet ist, mit einem im Folgenden beschriebenen Sensor Daten auszutauschen. Die Schnittstelle ist dazu eingerichtet, auf ein von einem Sensor innerhalb eines Umgebungsbereichs erfasstes erstes Merkmal einer ersten Merkmal-Art zuzugreifen. Weiterhin ist die Schnittstelle dazu eingerichtet, auf ein von dem Sensor innerhalb des Umgebungsbereichs erfasstes zweites Merkmal einer zweiten Merkmal-Art zuzugreifen, wobei die zweite Merkmal-Art verschieden von der ersten Merkmal-Art ist. Die Prozessoreinheit ist dazu eingerichtet, basierend auf dem von dem Sensor erfassten ersten Merkmal, auf das die Schnittstelle zugreifen kann, ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Weiterhin ist die Prozessoreinheit dazu eingerichtet, basierend auf dem von dem Sensor erfassten zweiten Merkmal, auf das die Schnittstelle ebenfalls zugreifen kann, ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
  • Bei dem Sensor kann es sich beispielsweise um einen Bildverarbeitungs-Sensor handeln (insbesondere eine Kamera oder ein Kamerasystem), wobei jedoch z.B. auch Radar-Sensoren, Laser-Sensoren oder Sonar-Sensoren zur Erkennung von Merkmalen unterschiedlicher Art eingerichtet sein können. Mittels der Prozessoreinheit können die Merkmale beispielsweise zur Kartierung und zur (Re-)Lokalisierung genutzt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist. Ferner können weitere Sensoren hinzugefügt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist.
  • Gemäß einem zehnten Aspekt der Erfindung wird eine Prozessoreinheit bereitgestellt. Die Prozessoreinheit umfasst eine erste Schnittstelle und eine zweite Schnittstelle. Die Schnittstellen sind insbesondere Kommunikations-Schnittstellen, welche dazu eingerichtet sind, mit einem im Folgenden beschriebenen Sensor Daten auszutauschen. Die erste Schnittstelle ist dazu eingerichtet, auf ein von einem ersten Sensor eines ersten Sensortyps innerhalb eines ersten Umgebungsbereichs erfasstes erstes Merkmal einer ersten Merkmal-Art zuzugreifen. Die zweite Schnittstelle ist dazu eingerichtet, auf ein von einem zweiten Sensor eines zweiten Sensortyps innerhalb eines zweiten Umgebungsbereichs erfasstes zweites Merkmal einer zweiten Merkmal-Art zuzugreifen, wobei der zweite Sensortyp von dem ersten Sensortyp abweicht, und wobei die zweite Merkmal-Art verschieden von der ersten Merkmal-Art ist. Die Prozessoreinheit ist dazu eingerichtet, basierend auf dem von dem ersten Sensor erfassten ersten Umgebungsbereich (insbesondere basierend auf dem in dem ersten Umgebungsbereich durch den ersten Sensor erfassten ersten Merkmal) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen. Die Prozessoreinheit ist weiterhin dazu eingerichtet, basierend auf dem von dem zweiten Sensor erfassten zweiten Umgebungsbereich (insbesondere basierend auf dem in dem zweiten Umgebungsbereich durch den zweiten Sensor erfassten zweiten Merkmal) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
  • Beispielsweise kann der erste Sensor eine Kamera sein, und der zweite Sensor kann ein Radar-basierter Sensor, ein Laser-basierter Sensor wie Lidar oder ein Sonarbasierter Sensor sein. Mittels der Prozessoreinheit können die Merkmale beispielsweise zur Kartierung und zur (Re-)Lokalisierung genutzt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist. Ferner können weitere Sensoren hinzugefügt werden, wie dies im Zusammenhang mit dem System gemäß dem ersten Aspekt der Erfindung und den zugehörigen Ausführungsformen sowie im Folgenden beschrieben ist.
  • Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert, wobei gleiche oder ähnliche Elemente mit dem gleichen Bezugszeichen versehen sind. Hierbei zeigt
    • 1 eine Seitenansicht eines Fahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Systems zur gleichzeitigen Lokalisierung und Kartierung,
    • 2 eine Draufsicht auf das Fahrzeug nach 1,
    • 3 eine Seitenansicht eines Roboters mit einem Ausführungsbeispiel eines erfindungsgemäßen Systems zur gleichzeitigen Lokalisierung und Kartierung, 4 eine Draufsicht auf das Fahrzeug nach 1 auf einer Straße während der Extrahierung oder Wiedererkennung von Merkmalen und
    • 5 einen Ablaufplan eines Ausführungsbeispiels eines erfindungsgemäßen SLAM-Verfahrens.
  • 1 und 2 zeigen ein Fahrzeug 1, in dem gezeigten Ausführungsbeispiel einen Personenkraftfahrwagen. Das Fahrzeug 1 kann von einem Fahrer in einem manuellen Fahrmodus gefahren bzw. gesteuert werden. Weiterhin kann das Fahrzeug 1 auch dazu eingerichtet sein, insbesondere mittels eines dazu eingerichteten Fahrerassistenzsystems, teil-autonom oder autonom verfahren zu werden.
  • Das Fahrzeug 1 umfasst ein System zur gleichzeitigen Lokalisierung und Kartierung (im Folgenden: SLAM-System). Das SLAM-System kann einen Teil eines Fahrerassistenzsystems des Fahrzeugs 1 bilden. Das SLAM-System umfasst einen ersten Sensor 2. Das SLAM-System kann weiterhin einen zweiten Sensor 3 umfassen. Ferner ist in dem gezeigten Ausführungsbeispiel ein optionaler dritter Sensor 4 des SLAM-Systems gezeigt. Der erste Sensor ist in dem gezeigten Ausführungsbeispiel eine digitale Kamera 2, der zweite Sensor ist in dem gezeigten Ausführungsbeispiel ein Radar-Sensor 3 und der dritte Sensor ist in dem gezeigten Ausführungsbeispiel ein Lidar-Sensor 4.
  • 3 zeigt einen verfahrbaren Roboter 5, der ebenfalls ein SLAM-System mit einer Kamera 2, einem Radar-Sensor 3 und einem Lidar-Sensor 4 umfasst. Die Funktionsweise eines SLAM-Systems wird im Folgenden überwiegend im Zusammenhang mit dem Fahrzeug 1 nach 1 und 2 erläutert. Die Erläuterungen gelten jedoch sinngemäß auch für den Roboter 5 nach 3.
  • In dem durch 1 und 2 gezeigten Ausführungsbeispiel ist die Kamera 2 im Bereich einer Frontscheibe 6 des Fahrzeugs 1 angebracht, sodass ein Erfassungsbereich (Field of View) der Kamera 2 einen vorderen Bereich einer äußeren Umgebung 7 (Vorausbereich 8) des Fahrzeugs 1 abdeckt. Ebenfalls kann die Kamera 2 Bereiche seitlich neben dem Fahrzeug 1 erfassen. Dies ist jedoch rein beispielhaft. Alternativ oder zusätzlich kann (wie durch 2 gezeigt) eine digitale Kamera 2 auch beispielsweise im Bereich einer Heckscheibe 9 des Fahrzeugs 1 angebracht sein, sodass ein Erfassungsbereich dieser Kamera 2 einen hinteren Bereich der äußeren Umgebung 7 (Hinterausbereich 10) des Fahrzeugs 1 abdeckt. Ferner kann auch ein Surround View System mit mehreren digitalen Kameras an dem Fahrzeug 1 angebracht sein, sodass ein Bereich von bis zu 360° um das Fahrzeug 1 herum erfasst werden kann.
  • Der Radar-Sensor 3 und der Lidar-Sensor 4 sind in dem gezeigten Ausführungsbeispiel im Bereich der Front des Fahrzeugs 1 angeordnet, sodass die Sensoren 3 und 4 zumindest einen Vorausbereich des Fahrzeugs 1 erfassen können. In dem nach 2 gezeigten Ausführungsbeispiel sind die Kamera 2, der Radar-Sensor 3 und der Lidar-Sensor 4 im Bereich der Front des Roboters 5 angeordnet, sodass die Sensoren 2, 3 und 4 einen Vorausbereich des Roboters 5 erfassen können. Auch die in diesem Absatz beschriebenen Positionen der Sensoren 2, 3 und 4 sind rein beispielhaft und erweiterbar oder austauschbar.
  • Das Slam-System kann weiterhin eine Computer-Einheit 11 mit einer Prozessoreinheit 12 aufweisen (2). Die Computer-Einheit 11 kann wie durch 2 gezeigt eine (externe) Computer-Einheit sein, die außerhalb der Sensoren 2, 3 und 4 angeordnet ist. Über Daten-Leitungen (nicht gezeigt) oder über eine drahtlose Datenverbindung kann die Computer-Einheit 11 mit den Sensoren 2, 3 und 4 kommunizieren. Insbesondere kann die Computer-Einheit 11 von den Sensoren 2, 3 und 4 generierte Messwerte bzw. Bilddaten empfangen. Weiterhin kann die Computer-Einheit 11 den Sensoren 2, 3 und 4 Steuerungsbefehle erteilen.
  • Alternativ kann die Computer-Einheit 11 auch beispielsweise in einen der Sensoren 2, 3 und 4 integriert sein. Die Computer-Einheit 11 kann weiterhin ein computerlesbares Medium, in dem gezeigten Ausführungsbeispiel, eine Speicher-Einheit 13 (beispielsweise eine Festplatte oder ein Speicherchip), aufweisen. Auf der Speicher-Einheit 13 kann ein Programmelement gespeichert sein, das einen SLAM-Algorithmus umfasst. Das Programmelement kann, wenn es auf der Prozessoreinheit 12 ausgeführt wird, die Prozessoreinheit 12 anleiten, die Sensoren 2, 3 und 4 zu steuern, auf von den Sensoren 2, 3 und 4 generierte Messwerte zuzugreifen und im Rahmen eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung (SLAM) gemäß der vorliegenden Erfindung auszuwerten und zu verwerten.
  • Die Computer-Einheit 11, insbesondere deren Prozessoreinheit 12, kann - wie durch 2 und 4 gezeigt - weiterhin eine oder mehrere Schnittstellen 25 und 26 insbesondere zur Kommunikation mit den Sensoren 2, 3 und 4 umfassen. In dem gezeigten Ausführungsbeispiel umfasst die Prozessoreinheit 12 eine erste Schnittstelle 25 und eine zweite Schnittstelle 26. Wie im Folgenden beschrieben wird, kann die erste Schnittstelle 25 auf ein von dem ersten Sensor 2 innerhalb eines ersten Umgebungsbereichs 21 erfasstes erstes Merkmal 17 einer ersten Merkmal-Art zugreifen. Auf ähnliche Weise kann die zweite Schnittstelle 26 auf ein von dem zweiten Sensor 3 innerhalb eines zweiten Umgebungsbereichs 22 erfasstes zweites Merkmal 18 einer zweiten Merkmal-Art zugreifen, wobei die zweite Merkmal-Art verschieden von der ersten Merkmal-Art ist. Die Prozessoreinheit 12 kann basierend auf dem von dem ersten Sensor 2 erfassten ersten Umgebungsbereich 21 (insbesondere basierend auf dem in dem ersten Umgebungsbereich 21 durch den ersten Sensor 2 erfassten ersten Merkmal 17) und basierend auf dem von dem zweiten Sensor 3 erfassten zweiten Umgebungsbereich 22 (insbesondere basierend auf dem in dem zweiten Umgebungsbereich 22 durch den zweiten Sensor 3 erfassten zweiten Merkmal 18) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchführen.
  • Alternativ kann eine einzige Schnittstelle 25 ausreichen, die sowohl auf ein von einem der Sensoren, beispielsweise von dem ersten Sensor 2, innerhalb eines Umgebungsbereichs 21 erfasstes erstes Merkmal 17 einer ersten Merkmal-Art als auch auf ein von dem Sensor 2 innerhalb des Umgebungsbereichs 21 erfasstes zweites Merkmal 17' einer zweiten Merkmal-Art zugreifen kann, wobei die zweite Merkmal-Art verschieden von der ersten Merkmalsart ist. Die Prozessoreinheit 12 kann in diesem Beispiel sowohl basierend auf dem von dem Sensor 2 erfassten ersten Merkmal 17 ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung als auch basierend auf dem von dem Sensor 2 erfassten zweiten Merkmal 17' ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchführen.
  • 4 zeigt eine Momentaufnahme des Fahrzeugs 1 aus 1 in einer Draufsicht. Das Fahrzeug 1 fährt auf einer Straße 14 um einen Häuserblock 15 und nimmt dabei eine Kurve 16. 4 zeigt exemplarisch ein erstes Merkmal 17 (erste Landmark 17), ein zweites Merkmal 18 (zweite Landmark 18) und ein drittes Merkmal 19 (dritte Landmark 19).
  • Das erste Merkmal 17 befindet sich in dem durch 4 gezeigten Beispiel in einem ersten Umgebungsbereich 21 (dessen beispielhafte seitliche äußere Begrenzungen in 4 durch zwei gestrichelte Linien dargestellt sind), den der erste Sensor 2 in der durch 4 gezeigten Pose des Fahrzeugs 1 (Position und Orientierung/Ausrichtung des Fahrzeugs 1) erfassen kann. Das zweite Merkmal 18 befindet sich in dem durch 4 gezeigten Beispiel in einem zweiten Umgebungsbereich 22 (dessen beispielhafte seitliche äußere Begrenzungen in 4 durch zwei gestrichelte Linien dargestellt sind), den der zweite Sensor 3 in der durch 4 gezeigten Pose des Fahrzeugs 1 erfassen kann. Das dritte Merkmal 19 befindet sich in dem durch 4 gezeigten Beispiel in einem dritten Umgebungsbereich 23 (dessen beispielhafte seitliche äußere Begrenzungen in 4 durch zwei gestrichelte Linien dargestellt sind), den der dritte Sensor 4 in der durch 4 gezeigten Pose des Fahrzeugs 1 erfassen kann. In dem durch 4 gezeigten Beispiel überlappen sich die rein beispielhaft dargestellten Umgebungsbereiche 21 bis 23 teilweise.
  • Bei dem ersten Merkmal 17 kann es sich beispielsweise um ein Merkmal handeln, das der erste Sensor 2 besonders gut in durch den ersten Sensor 2 aufgenommenen Bildern erkennen und aus den Bildern extrahieren kann, wohingegen es dem zweiten Sensor 3 und dem dritten Sensor 4 Probleme bereiten kann, das erste Merkmale 17 aus von ihnen durchgeführten Messungen zu extrahieren. Dies kann beispielsweise daran liegen, dass ein Erfassungsbereich des ersten Sensors 2 größer sein kann als der Erfassungsbereich des zweiten Sensors 3 und/oder des dritten Sensors 4. Das zweite Merkmal 18 kann beispielsweise eine Bordsteinkante sein, die besonders gut durch den Lidar-Sensor 4 erkannt werden kann. Das dritte Merkmal 19, z.B. ein Leitpfosten, kann beispielsweise in der durch 4 gezeigten Pose des Fahrzeugs 1 innerhalb des Erfassungsbereichs des Radar-Sensors 4 liegen und besonders gut beispielsweise bei Regen durch den Radar-Sensor erfasst werden.
  • Beispielsweise kann es sich bei dem ersten Merkmal 17 um ein Verkehrsschild handeln. Das Verkehrsschild kann eine Form (erstes Merkmal einer geometrischen Merkmal-Art) und/oder eine Beschriftung bzw. ein aufgedrucktes Symbol/Piktogramm (zweites Merkmal einer semantischen Merkmal-Art) aufweisen, die beispielsweise eine Vorfahrtsregelung repräsentieren (z.B. ein Stopp-Schild). Ferner kann das Verkehrsschild 17 als Kamera-Merkmal klassifiziert werden (Merkmal einer Sensor-Merkmal-Art), da es von der Kamera 2 generiert worden ist. Analog kann das zweite Merkmal 18 als Radar-Merkmal klassifiziert werden (Merkmal einer Sensor-Merkmal-Art), da es von dem Radar-Sensor 3 generiert worden ist, und das dritte Merkmal 19 kann als Lidar-Merkmal klassifiziert werden (Merkmal einer Sensor-Merkmal-Art), da es von dem Lidar-Sensor 4 generiert worden ist.
  • Die Form des Verkehrsschilds (als ein erstes Merkmal 17 für ein SLAM-System gemäß dem achten Aspekt der Erfindung) und die Beschriftung bzw. das aufgedruckte Symbol/Piktogramm des Verkehrsschilds (als ein zweites Merkmal 17' für ein SLAM-System gemäß dem achten Aspekt der Erfindung) können beispielsweise mittels Methoden der Bildverarbeitung und/oder Bildauswertung durch die Kamera 2 besonders gut in einem durch die Kamera 2 aufgenommenen ersten Bild erkannt werden. Somit kann der erste Sensor 2 allein (auch ohne den zweiten Sensor 3 und den dritten Sensor 4) bereits ein erstes Merkmal 17 einer ersten Merkmal-Art und ein zweites Merkmal 17' einer zweiten Merkmal-Art aus dem Umgebungsbereich 21 extrahieren. Dahingegen kann es sich als schwierig gestalten, mit einem Radar-Sensor (zweiter Sensor 3) oder mit einem Lidar-Sensor (dritter Sensor 4) die Beschriftung bzw. das aufgedruckte Symbol/Piktogramm zu erkennen.
  • Wenn das Fahrzeug 1 beispielsweise zum ersten Mal auf der Straße 14 um den Häuserblock 15 fährt, dann kann der erste Sensor 2 in Form der digitalen Kamera 2 das Verkehrsschild 17 in einem durch die Kamera 2 gemachten ersten Bild als erstes Merkmal 17 erkennen. Weiterhin kann der Radar-Sensor 3 den Bordstein in einem durch den Radar-Sensor 3 generierten zweiten Frame als zweites Merkmal 18 erkennen. Ferner kann der Lidar-Sensor 4 den Leitpfosten in einem durch den Lidar-Sensor 4 generierten Frame als drittes Merkmal 19 erkennen.
  • Das Verkehrsschild 17 bildet somit ein erstes Merkmal 17 einer ersten Merkmal-Art (geometrische Merkmal-Art), die durch die äußeren Umrisse des Stopp-Schilds definiert ist. Das erste Merkmal 17 bildet weiterhin auch ein zweites Merkmal-Art (semantische Merkmal-Art), welche die Bedeutung der Beschriftung bzw. des Symbols auf dem Stopp-Schild beinhaltet. Die Kamera 2 oder die Prozessoreinheit 12 kann die Umrisse des Stopp-Schilds 17 und dessen Beschriftung 17 bzw. Symbol aus dem ersten Bild extrahieren und in einer ersten Unter-Ebene einer Karte 20 hinterlegen, beispielsweise indem in der ersten Karte 20 ein Bild eines Stopp-Schilds mit entsprechendem Aufdruck dargestellt wird. Die erste Unter-Ebene der Karte 20 kann beispielsweise der Darstellung nach 4 ähneln (Unter-Ebene einer zweidimensionalen Karte aus der Vogelperspektive). Die erste Unter-Ebene der Karte 20 kann vollständig neu durch das SLAM-System erstellt werden, beispielsweise wenn sich das Fahrzeug 1 in einem Gebiet befindet, das noch nicht kartiert ist. Weiterhin kann ein Teil der ersten Unter-Ebene der Karte 20 bereitgestellt sein (z.B. mit dem Häuserblock und mit der Straße 16 jedoch ohne die Merkmale 17, 18 und/oder 19), beispielsweise durch ein Navigationssystem des Fahrzeugs 1.
  • Der Radar-Sensor 3 oder die Prozessoreinheit 12 kann das zweite Merkmal 18 aus dem erfassten zweiten Umgebungsbereich 22 extrahieren und in einer zweiten Unterebene einer Karte hinterlegen. Die zweite Unterebene der Karte kann mit der ersten Unterebene der Karte 20 fusioniert werden, sodass eine gemeinsame Karte entsteht, die insbesondere das erste Merkmal 17 und das zweite Merkmal 18 enthält. Auf ähnliche Weise kann auch der Lidar-Sensor 4 oder die Prozessoreinheit 12 das dritte Merkmal 19 aus dem erfassten dritten Umgebungsbereich 23 extrahieren und in einer dritten Unter-Ebene der Karte hinterlegen. Die dritte Unter-Ebene der Karte kann mit der ersten Unter-Ebene der Karte 20 und/oder mit der zweiten Unter-Ebene der Karte fusioniert werden, sodass eine gemeinsame Karte entsteht, die insbesondere das erste Merkmal 17, das zweite Merkmal 18 und das dritte Merkmal 19 enthält.
  • In der gemeinsamen Karte 20 oder in den einzelnen Unter-Ebenen, die jeweils einem der Sensoren 2, 3 bzw. 4 oder einer Merkmal-Art zugeordnet sind, können insbesondere mittels der Prozessoreinheit 12 Merkmale (beispielsweise das erste Merkmal 17, das zweite Merkmal 18 und das dritte Merkmal 19) mit einer Gewichtung hinterlegt sein, die beispielsweise eine Glaubwürdigkeit einer Re-Lokalisierung repräsentiert.
  • Beim Re-Lokalisieren kann nach einer möglichst großen Überdeckung von dem gesucht werden, was einerseits in der Karte 20 hinterlegt ist, und von dem, was andererseits in einem aktuellen Wiederholungsbild bzw. in einem erneut erfassten Umgebungsbereich 22 und/oder 23 enthalten ist. Eine Bestimmung der Pose oder einer Posen-Hypothese des Fahrzeugs 1 kann dahingehend optimiert werden. Es kann dabei ein Minimum in einer Kostenfunktion bestimmt werden, z.B. basierend auf der Methode der kleinsten Quadrate. Basierend darauf kann eine Güte der Re-Lokalisierung („Glaubwürdigkeit“) bestimmt werden.
  • Wenn man die unterschiedlichen Merkmale der unterschiedlichen Merkmal-Arten miteinander vergleicht, dann kann man aufgrund der ermittelten Güte der Re-Lokalisierung festlegen, welches Merkmal an einer jeweiligen Position besonders gut für eine Re-Lokalisierung geeignet ist. Dies kann online erfolgen, indem ein Matching bzw. die Überdeckung bewertet wird. Beispielsweise kann eine hohe Güte für ein Merkmal einer Merkmal-Art dort vorliegen, wo eine relativ hohe Überdeckung vorliegt, wohingegen eine relativ geringe Überdeckung eines weiteren Merkmals einer anderen Merkmal-Art zu einer relativ niedrigen Güte führen kann.
  • Unter „gewichtet“ kann insbesondere verstanden werden, dass die durch die Sensoren 2 bis 4 erkannten Merkmale 17 bis 19 mit einer Wahrscheinlichkeit abgelegt werden, dass sie richtig erkannt worden sind oder wiedererkannt werden können. In die Ermittlung der Wahrscheinlichkeit kann einfließen, in welchem Maße der betreffende Sensor 2 bis 4 in einer jeweiligen Situation dazu geeignet ist, das betreffende Merkmal zu erkennen, zu extrahieren und/oder wiederzuerkennen („Glaubwürdigkeit“ des Sensors). Wenn z.B. die Prozessoreinheit 12 eine nahezu vollständige Überdeckung zwischen dem ersten Merkmal 17 in dem ersten Bild und in dem ersten Wiederholungsbild der Kamera 2 feststellt, und dadurch mit hoher Wahrscheinlichkeit auf eine Wiedererkennung schließt, dann kann dem ersten Merkmal eine hohe Gewichtung zugeordnet werden und dieser Wert entsprechend in der Karte 20 an der Position des ersten Merkmals 17 hinterlegt sein. Ähnliches gilt für den durch den Radar-Sensor 3 erkannten Bordstein 18 und den durch den Lidar-Sensor 4 erkannten Leitpfosten 19.
  • Weiterhin kann die Glaubwürdigkeit eines Merkmals einer Merkmal-Art mit einer Glaubwürdigkeit eines Sensors für das Merkmal kombiniert werden, ggfs. erweitert durch beispielsweise Wetterdaten oder Umgebungsdaten. Beispielsweise kann der Erkennung des Stopp-Schilds 17 durch die Kamera 2 eine höhere Gewichtung zugeordnet werden als der Erkennung des Stopp-Schilds 17 durch den Radar-Sensor 3 und/oder durch den Lidar-Sensor 4. Weiterhin kann z.B. der Erkennung des Bordsteins 18 durch einen sehr genaue Messergebnisse liefernden Lidar-Sensor 4 eine höhere Gewichtung zugeordnet werden als der Erkennung des Bordsteins durch den Radar-Sensor 3 oder die Kamera 2, wenn sich das Fahrzeug 1 in der durch 4 gezeigten Pose beispielsweise an einem Tunnelausgang befindet. Ferner kann beispielsweise der Erkennung des Leitpfostens 19 durch den Radar-Sensor 4 eine höhere Gewichtung zugeordnet werden als einer Erkennung durch die Kamera 2, wenn es regnet.
  • Zur gleichen Zeit können die Merkmale 17 bis 19 der Sensoren 2 bis 4 genutzt werden, um insbesondere eine Karte 20 der Umgebung des Fahrzeugs 1 zu erstellen und um eine Pose des Fahrzeugs 1 zu ermitteln. Auf der Basis von Wetterdaten, Umgebungsdaten und/oder Fahrsituationsdaten (Tunnelausgang, etc.) kann entschieden werden, welchem Merkmal 17 bis 19 welcher Merkmal-Art mehr vertraut wird. Dabei wird insbesondere nur eine Pose des Fahrzeugs 1 geschätzt (nicht mehrere Posen die fusioniert werden), deren Bezug zu den unterschiedlichen Feature-Detektionen durch Gewichte bestimmt wird. In der Karte 20 können ortsbezogene Gewichtsverteilungen hinterlegt werden (z.B. „traue nicht der Kamera am Tunnelausgang“) oder z.B. wetterbedingt Gewichte von Merkmal-Arten verändert werden (z.B. „weniger Lidar bei Nebel“, „weniger Radar wenn viel Ghost/Multipath Objekte auftauchen“).
  • Wenn das Fahrzeug 1 zum zweiten Mal auf der Straße 16 um den Häuserblock 15 fährt und sich beispielsweise in der gleichen Pose (Position und Orientierung/Ausrichtung) wie durch 4 gezeigt befindet, dann kann die Kamera 2 ein erstes Wiederholungsbild des ersten Umgebungsbereichs 21 aufnehmen. Die Kamera 2 kann das erste Merkmal 17 in dem ersten Wiederholungsbild wiedererkennen und daraus schlussfolgern, dass das Fahrzeug 1 sich an einem bereits zuvor aufgesuchten Ort befindet. Dabei kann die Prozessoreinheit 12 das in dem ersten Wiederholungsbild erkannte erste Merkmal 17 extrahieren und dem SLAM-Algorithmus zuführen. Der SLAM-Algorithmus kann dann versuchen, das ihm zugeführte erste Merkmal 17 den zuvor erkannten Merkmalen 17 bis 19 zuzuordnen. Sofern der SLAM-Algorithmus das ihm zugeführte erste Merkmal 17 erfolgreich dem in der Karte bereits hinterlegten ersten Merkmal 17 zuordnet, dann kann der SLAM-Algorithmus darauf schließen, dass das Fahrzeug 1 an einen bereits besuchten Ort zurückgehrt ist (Loop Closure). Analoges gilt für die Merkmale 18 und 19.
  • Weiterhin kann die Prozessoreinheit 12 sich basierend auf dem wiedererkannten ersten Merkmal 17 re-lokalisieren. Dabei kann die Prozessoreinheit 12 anhand des wiedererkannten Merkmals 17 eine Sensor-Pose des Fahrzeugs 1 bestimmen, die das Fahrzeug 1 zum Zeitpunkt der Aufnahme des Wiederholungsbilds eingenommen hat. Das Fahrzeug 1 kann weiterhin ein Hodometer 24 aufweisen, das beispielsweise dazu eingerichtet ist, basierend auf Radumdrehungen und Lenkwinkeln des Fahrzeugs 1 eine relative Hodometer-Pose des Fahrzeugs 1 zu bestimmen. Die Prozessoreinheit 12 kann dazu eingerichtet sein, die Sensor-Pose mit der Hodometer-Pose zu vergleichen und eine Loop-Closing-Korrektur durchzuführen, bei welcher beispielsweise die Hodometer-Pose durch die Sensor-Pose ersetzt wird.
  • Die Prozessoreinheit 12 kann eine Transformationsbeziehung berechnen, beispielsweise über eine Distanz, die das Fahrzeug 1 zwischen zwei aufeinanderfolgend aufgenommenen Bildern zurückgelegt hat. Eine Lücke, welche durch die Re-Lokalisierung entsteht, kann entlang der gefahrenen Strecke relaxiert werden, z.B. mittels der Methode der kleinsten Quadrate (Least-Square-Optimization). Die verschiedenen Merkmale 17, 18 und 19 unterschiedlicher Merkmal-Arten können durch den entsprechenden Sensor 2, 3 bzw. 4 pro Bild aus derselben Pose aufgenommen werden (z.B. aus der durch 4 gezeigten Pose). Wenn die Prozessoreinheit 12 beispielsweise basierend auf dem durch die Kamera 2 wiedererkannten ersten Merkmal die Re-Lokalisierung durchführt, dann können auch alle anderen Merkmale (beispielsweise das zweite Merkmal 18 und das dritte Merkmal 19) basierend auf der Transformationsbeziehung korrigiert werden, und zwar insbesondere entlang der gesamten gefahrenen Strecke.
  • Durch den im Vergleich zum Radar-Sensor 3 und Lidar-Sensor 4 relativ großen Erfassungsbereich (Field of View bzw. Öffnungswinkel) der Kamera 2 erkennt die Kamera 2 in dem durch 4 gezeigten Beispiel das bereits zuvor erkannte erste Merkmal 17 wieder, der Radar-Sensor 3 und der Lidar-Sensor 4 jedoch nicht oder noch nicht. Somit kann die Prozessoreinheit 12 basierend auf dem durch die Kamera 2 wiedererkannten ersten Merkmal 17 eine Loop Closure detektieren und eine gemeinsame Loop-Closing-Korrektur (ausgelöst durch die Kamera 2) auf die durch den Radar-Sensor 3 und durch den Lidar-Sensor 4 erkannten Merkmale (z.B. auf das zweite Merkmal 18 und auf das dritte Merkmal 19) anwenden. Infolgedessen können alle drei Merkmal-Karten 20 bezüglich der erkannten Loop Closure korrigiert sein.
  • 5 veranschaulicht ergänzend, wie die drei Sensoren 2, 3 und 4 im Rahmen eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur gleichzeitigen Lokalisierung und Kartierung (SLAM) eingesetzt werden können. Zunächst werden in Verfahrensschritten 100, 200 und 250 der erste Sensor 2, der zweite Sensor 3 und der dritte Sensor 4 bereitgestellt und an dem Fahrzeug 1 wie durch 2 gezeigt angeordnet. Ebenfalls wird in einem Verfahrensschritt 300 die Prozessoreinheit 12 bereitgestellt, welche in kommunikativer Verbindung mit dem ersten Sensor 2, mit dem zweiten Sensor 3 und mit dem dritten Sensor 4 steht. Das Bereitstellen und Anordnen der Sensoren 2 bis 4 sowie das Bereitstellen der Prozessoreinheit 12 kann gleichzeitig oder nacheinander erfolgen. Nach dem Anordnen 100, 200 und 250 können die Sensoren 2 bis 4 Umgebungsbereiche 21 bis 23 des Fahrzeugs 1 erfassen, wie es beispielsweise durch 4 gezeigt ist.
  • In einem Verfahrensschritt 400 wird mittels des ersten Sensors 2 der erste Umgebungsbereich 21 des Fahrzeugs 1 erfasst, wobei z.B. das erste Merkmal 17 in dem ersten Bild erkannt und aus dem ersten Bild extrahiert wird. In einem Verfahrensschritt 500 wird mittels des zweiten Sensors 3 der zweite Umgebungsbereich 22 des Fahrzeugs 1 erfasst, wobei z.B. das zweite Merkmal 18 in dem erfassten zweiten Umgebungsbereich 22 erkannt und daraus extrahiert wird. In einem Verfahrensschritt 550 wird mittels des dritten Sensors 4 der dritte Umgebungsbereich 23 des Fahrzeugs 1 erfasst, wobei z.B. das dritte Merkmal 19 in dem dritten Umgebungsbereich 23 erkannt und daraus extrahiert wird. Die Verfahrensschritte 400, 500 und 550 können gleichzeitig oder nacheinander ablaufen.
  • Die Prozessoreinheit 12 kann innerhalb des SLAM-Verfahrens eine Beurteilungs- und Entscheidungsfunktion erfüllten („Rating and Decision Module“). Insbesondere kann die Prozessoreinheit 12 in einem Verfahrensschritt 600 einem SLAM-Algorithmus die extrahierten Merkmale 17 bis 19 zuführen und basierend auf den extrahierten Merkmalen 17 bis 19 ein SLAM-Verfahren durchführen. Das SLAM-Verfahren kann insbesondere die vorstehend im Zusammenhang mit 4 beschriebene Schritte der Kartierung der Merkmale 17 bis 19 (Verfahrensschritt 700, insbesondere mit der vorstehend beschriebenen Gewichtung der Merkmale oder Merkmal-Arten) sowie des Loop-Closings (Verfahrensschritt 800) und der Loop-Closing-Korrektur (Verfahrensschritt 900) umfassen. Dem SLAM-Algorithmus können in einem optionalen weiteren Verfahrensschritt 1000 ergänzend Umgebungsdaten des Fahrzeugs 1 zugeführt werden, z.B. ob sich das Fahrzeug innerhalb eines Tunnels befindet oder Wetterdaten.
  • Eine resultierende Karte 20 kann alle Merkmale 17 bis 19 in einer gemeinsamen Ebene einer Karte oder in unterschiedlichen Unter-Ebenen einer Karte beinhalten. Die Merkmale 17 bis 19 können mittels eines einzigen der Sensoren 2 bis 4 oder mittels mehrerer der Sensoren 2 bis 4 erkannt, extrahiert und wiedererkannt werden.
  • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    erster Sensor (Kamera)
    3
    zweiter Sensor (Radar)
    4
    dritter Sensor (Lidar)
    5
    Roboter
    6
    Frontscheibe
    7
    äußere Umgebung des Fahrzeugs
    8
    Vorausbereich des Fahrzeugs
    9
    Heckscheibe
    10
    Hinterausbereich des Fahrzeugs
    11
    Computer-Einheit
    12
    Prozessoreinheit
    13
    Computerlesbares Medium (Speicher-Einheit)
    14
    Straße
    15
    Häuserblock
    16
    Kurve
    17
    erstes Merkmal
    18
    zweites Merkmal
    19
    drittes Merkmal
    20
    Karte
    21
    erster Umgebungsbereich des Fahrzeugs
    22
    zweiter Umgebungsbereich des Fahrzeugs
    23
    dritter Umgebungsbereich des Fahrzeugs
    24
    Hodometer
    25
    erste Schnittstelle
    26
    zweite Schnittstelle
    100
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    200
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    250
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    300
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    400
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    500
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    550
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    600
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    700
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    800
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    900
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens
    1000
    Verfahrensschritt eines erfindungsgemäßen SLAM Verfahrens

Claims (15)

  1. System zur gleichzeitigen Lokalisierung und Kartierung, das System umfassend: - einen ersten Sensor (2) von einem ersten Sensortyp, - einen zweiten Sensor (3) von einem zweiten Sensortyp, welcher von dem ersten Sensortyp abweicht, und - eine Prozessoreinheit (12), wobei - der erste Sensor (2) dazu eingerichtet ist, an einem Fahrzeug (1, 5) angeordnet zu werden, sodass der erste Sensor (2) einen ersten Umgebungsbereich (21) des Fahrzeugs (1, 5) erfassen kann, - der zweite Sensor (3) dazu eingerichtet ist, an dem Fahrzeug (1, 5) angeordnet zu werden, sodass der zweite Sensor (3) einen zweiten Umgebungsbereich (22) des Fahrzeugs (1, 5) erfassen kann, - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen und - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem von dem zweiten Sensor (3) erfassten zweiten Umgebungsbereich (22) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
  2. System nach Anspruch 1, das System weiterhin umfassend einen dritten Sensor von (4) einem dritten Sensortyp, wobei - der dritte Sensortyp von dem ersten Sensortyp und/oder von dem zweiten Sensortyp abweicht, - der dritte Sensor (4) dazu eingerichtet ist, an dem Fahrzeug (1, 5) angeordnet zu werden, sodass der dritte Sensor (4) einen dritten Umgebungsbereich (23) des Fahrzeugs (1, 5) erfassen kann, und wobei - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem von dem dritten Sensor (4) erfassten dritten Umgebungsbereich (23) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
  3. System nach Anspruch 1 oder 2, wobei die Prozessoreinheit (12) dazu eingerichtet ist, - basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) eine Kartierung durchzuführen, - basierend auf dem von dem zweiten Sensor (3) erfassten ersten Umgebungsbereich (22) eine Kartierung durchzuführen, und/oder - basierend auf dem von dem dritten Sensor (4) erfassten dritten Umgebungsbereich (23) eine Kartierung durchzuführen.
  4. System nach Anspruch 2, wobei - der erste Sensor (2) ein Bildverarbeitungs-Sensor (2) und dazu eingerichtet ist, ein erstes Bild des ersten Umgebungsbereichs (21) aufzunehmen und in dem ersten Bild ein erstes Merkmal (17) einer ersten Merkmal-Art zu erkennen, - der zweite Sensor (3) ein Radar-basierter Sensor (3) und dazu eingerichtet ist, in dem zweiten Umgebungsbereich (22) ein zweites Merkmal (18) einer zweiten Merkmal-Art zu erkennen, und/oder - der dritte Sensor (4) ein Laser-basierter Sensor (4) und dazu eingerichtet ist, in dem dritten Umgebungsbereich (23) ein drittes Merkmal (19) einer dritten Merkmal-Art zu erkennen, und - die Prozessoreinheit (12) dazu eingerichtet ist, das erkannte erste Merkmal (17) aus dem ersten Bild zu extrahieren und in einer Karte (20) zu hinterlegen, das erkannte zweite Merkmal (18) in einer Karte (20) zu hinterlegen und/oder das erkannte dritte Merkmal (19) in einer Karte (20) zu hinterlegen.
  5. System nach einem der vorstehenden Ansprüche, wobei die Prozessoreinheit (12) dazu eingerichtet ist, - basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) ein Loop-Closing durchzuführen, - basierend auf dem von dem zweiten Sensor (3) erfassten zweiten Umgebungsbereich (22) ein Loop-Closing durchzuführen und/oder - basierend auf dem von dem dritten Sensor (4) erfassten dritten Umgebungsbereich ein (23) Loop-Closing durchzuführen.
  6. System nach Anspruch 5, wobei - der erste Sensor (2) ein Bildverarbeitungs-Sensor (2) und dazu eingerichtet ist, ein erstes Wiederholungsbild des ersten Umgebungsbereichs (21) aufzunehmen und in dem ersten Wiederholungsbild das in der Karte (20) hinterlegte erste Merkmal (17) wiederzuerkennen, - der zweite Sensor (3) ein Radar-basierter Sensor (3) und dazu eingerichtet ist, den zweiten Umgebungsbereich (22) erneut zu erfassen und in dem erneut erfassten zweiten Umgebungsbereich (22) das in der Karte (20) hinterlegte zweite Merkmal (18) wiederzuerkennen, und/oder - der dritte Sensor (4) ein Laser-basierter Sensor (4) und dazu eingerichtet ist, den dritten Umgebungsbereich (23) erneut zu erfassen und in dem erneut erfassten dritten Umgebungsbereich (23) das in der Karte (20) hinterlegte dritte Merkmal (19) wiederzuerkennen, - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem durch den ersten Sensor (2) wiederkannten ersten Merkmal (17), basierend auf dem durch den zweiten Sensor (3) wiedererkannten zweiten Merkmal (18) und/oder basierend auf dem durch den dritten Sensor (4) wiedererkannten dritten Merkmal (19) eine Bestimmung einer Pose des Fahrzeugs (1, 5) durchzuführen.
  7. System nach Anspruch 6, wobei die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf einer bestimmten Pose des Fahrzeugs (1, 5) eine Loop-Closing-Korrektur durchzuführen.
  8. System nach einem der vorstehenden Ansprüche, wobei die Prozessoreinheit (12) dazu eingerichtet ist, das extrahierte erste Merkmal (17), das extrahierte zweite Merkmal (18) und/oder das extrahierte dritte Merkmal (19) gewichtet in einer Karte (20) zu hinterlegen.
  9. Fahrerassistenzsystem umfassend ein System nach einem der vorstehenden Ansprüche.
  10. Fahrzeug (1, 5), insbesondere ein Kraftfahrzeug (1) oder ein Roboter (5), umfassend ein Fahrerassistenzsystem nach Anspruch 9.
  11. Verfahren zur gleichzeitigen Lokalisierung und Kartierung (SLAM), das Verfahren umfassend die Schritte: (100) Anordnen eines ersten Sensors (2) von einem ersten Sensortyp an einem Fahrzeug (1, 5), sodass der erste Sensor (2) einen ersten Umgebungsbereich (21) des Fahrzeugs (1, 5) erfassen kann, (200) Anordnen eines zweiten Sensors (3) an dem Fahrzeug (1, 5), sodass der zweite Sensor (3) einen zweiten Umgebungsbereich (22) des Fahrzeugs (1, 5) erfassen kann, wobei der zweite Sensor (3) von einem zweiten Sensortyp ist, der von dem ersten Sensortyp abweicht, (300) Bereitstellen einer Prozessoreinheit (12), welche in kommunikativer Verbindung mit dem ersten Sensor (2) und mit dem zweiten Sensor (3) steht, (400) Erfassen eines ersten Umgebungsbereichs (21) des Fahrzeugs (1, 5) mittels des ersten Sensors (2), (500) Erfassen eines zweiten Umgebungsbereichs (22) des Fahrzeugs (1, 5) mittels des zweiten Sensors (3), (600) Durchführen eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung mittels der Prozessoreinheit (12) basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) und/oder Durchführen eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung mittels der Prozessoreinheit (12) basierend auf dem von dem zweiten Sensor (3) erfassten zweiten Umgebungsbereich (22).
  12. Programmelement, das, wenn es auf einer Prozessoreinheit (12) ausgeführt wird, die Prozessoreinheit (12) anleitet, die Verfahrensschritte gemäß Anspruch 11 durchzuführen.
  13. Verwendung von Merkmalen unterschiedlicher Merkmal-Art in einem Verfahren zur gleichzeitigen Lokalisierung und Kartierung.
  14. System zur gleichzeitigen Lokalisierung und Kartierung, das System umfassend: - einen Sensor (2) und - eine Prozessoreinheit (12), wobei - der Sensor (2) dazu eingerichtet ist, an einem Fahrzeug (1, 5) angeordnet zu werden, sodass der Sensor (2) einen Umgebungsbereich (21) des Fahrzeugs (1, 5) erfassen kann, - der Sensor (2) dazu eingerichtet ist, ein erstes Merkmal (17) einer ersten Merkmal-Art innerhalb eines erfassten Umgebungsbereichs (21) zu erkennen, - der Sensor (2) dazu eingerichtet ist, ein zweites Merkmal (17') einer zweiten Merkmal-Art innerhalb eines erfassten Umgebungsbereichs (21) zu erkennen, wobei die zweite Merkmal-Art verschieden von der ersten Merkmalsart ist, - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem von dem Sensor (2) erkannten ersten Merkmal (17) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen und - die Prozessoreinheit (12) dazu eingerichtet ist, basierend auf dem von dem Sensor (2) erkannten zweiten Merkmal (17') ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
  15. Prozessoreinheit (12), insbesondere für ein System zur Durchführung eines Verfahrens zur gleichzeitigen Lokalisierung und Kartierung nach einem der Ansprüche 1 bis 8 oder 14, die Prozessoreinheit umfassend entweder (A): eine Schnittstelle (25), welche dazu eingerichtet ist, - auf ein von einem Sensor (2) innerhalb eines Umgebungsbereichs (21) erfasstes erstes Merkmal (17) einer ersten Merkmal-Art zuzugreifen, - auf ein von dem Sensor (2) innerhalb des Umgebungsbereichs (21) erfasstes zweites Merkmal (17') einer zweiten Merkmal-Art zuzugreifen, wobei die zweite Merkmal-Art verschieden von der ersten Merkmal-Art ist, wobei die Prozessoreinheit (12) dazu eingerichtet ist, - basierend auf dem von dem Sensor (2) erfassten ersten Merkmal (17) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen, und - basierend auf dem von dem Sensor (2) erfassten zweiten Merkmal (17') ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen; oder (B): - eine erste Schnittstelle (25), welche dazu eingerichtet ist, auf ein von einem ersten Sensor (2) eines ersten Sensortyps innerhalb eines ersten Umgebungsbereichs (21) erfasstes erstes Merkmal (17) einer ersten Merkmal-Art zuzugreifen, und - eine zweite Schnittstelle (26), welche dazu eingerichtet ist, auf ein von einem zweiten Sensor (3) eines zweiten Sensortyps innerhalb eines zweiten Umgebungsbereichs (22) erfasstes zweites Merkmal (18) einer zweiten Merkmal-Art zuzugreifen, wobei der zweite Sensortyp von dem ersten Sensortyp abweicht, und wobei die zweite Merkmal-Art verschieden von der ersten Merkmal-Art ist, wobei die Prozessoreinheit (12) dazu eingerichtet ist, - basierend auf dem von dem ersten Sensor (2) erfassten ersten Umgebungsbereich (21) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen, und - basierend auf dem von dem zweiten Sensor (3) erfassten zweiten Umgebungsbereich (22) ein Verfahren zur gleichzeitigen Lokalisierung und Kartierung durchzuführen.
DE102018210712.2A 2018-06-29 2018-06-29 System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung Pending DE102018210712A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018210712.2A DE102018210712A1 (de) 2018-06-29 2018-06-29 System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018210712.2A DE102018210712A1 (de) 2018-06-29 2018-06-29 System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Publications (1)

Publication Number Publication Date
DE102018210712A1 true DE102018210712A1 (de) 2020-01-02

Family

ID=68886030

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018210712.2A Pending DE102018210712A1 (de) 2018-06-29 2018-06-29 System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Country Status (1)

Country Link
DE (1) DE102018210712A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209637A1 (de) * 2019-07-02 2021-01-07 Zf Friedrichshafen Ag Generieren einer Fahrzeugumgebungskarte

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043534A1 (de) * 2007-09-12 2009-03-19 Robert Bosch Gmbh Anordnung zum Erfassen einer Umgebung
US20140376777A1 (en) * 2012-02-10 2014-12-25 Isis Innovation Limited Method Of Locating A Sensor And Related Apparatus
DE102015008879A1 (de) * 2015-07-09 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102016222664A1 (de) * 2016-11-17 2018-05-17 Robert Bosch Gmbh Verfahren zur Installation eines Lokalisierungssystems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043534A1 (de) * 2007-09-12 2009-03-19 Robert Bosch Gmbh Anordnung zum Erfassen einer Umgebung
US20140376777A1 (en) * 2012-02-10 2014-12-25 Isis Innovation Limited Method Of Locating A Sensor And Related Apparatus
DE102015008879A1 (de) * 2015-07-09 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102016222664A1 (de) * 2016-11-17 2018-05-17 Robert Bosch Gmbh Verfahren zur Installation eines Lokalisierungssystems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jacobson A., et al., "Autonomous Multisensor Calibration and Closed-Loop Fusion for SLAM". In: Journal of Field Robotics, (2015) Vol. 32, Nr (1), S. 85-122. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209637A1 (de) * 2019-07-02 2021-01-07 Zf Friedrichshafen Ag Generieren einer Fahrzeugumgebungskarte
DE102019209637B4 (de) 2019-07-02 2022-05-19 Zf Friedrichshafen Ag Generieren einer Fahrzeugumgebungskarte

Similar Documents

Publication Publication Date Title
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102014223363B4 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE102020113848A1 (de) Ekzentrizitätsbildfusion
EP3529561B1 (de) System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
EP3490862B1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
WO2020229002A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
WO2017089137A1 (de) Verfahren und system zum erstellen einer digitalen karte
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102019214628A1 (de) Validierung von Umfelderfassung mittels Satelitenbildern und SAR-Radardaten
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102021106900A1 (de) Fahrzeugunsicherheitsaustausch
DE102018206344A1 (de) Verfahren und Fahrzeugsystem zur Passagiererkennung durch autonome Fahrzeuge
WO2020126167A1 (de) Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät
EP3621035A1 (de) Verfahren zum führen eines fahrzeugs hinter einem vorausfahrenden fahrzeug
DE102021206075A1 (de) Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung
DE102019102922A1 (de) Verfahren und Vorrichtung zur Multi-Sensor-Datenfusion für automatisierte und autonome Fahrzeuge
DE102022125914A1 (de) Fusion von bilddaten und lidar-daten zur verbesserten objekterkennung
DE102021117608A1 (de) Fahrzeugbasierte datenerfassung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01C0021280000

Ipc: G01C0007060000

R016 Response to examination communication