DE102022202400A1 - Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges - Google Patents

Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges Download PDF

Info

Publication number
DE102022202400A1
DE102022202400A1 DE102022202400.1A DE102022202400A DE102022202400A1 DE 102022202400 A1 DE102022202400 A1 DE 102022202400A1 DE 102022202400 A DE102022202400 A DE 102022202400A DE 102022202400 A1 DE102022202400 A1 DE 102022202400A1
Authority
DE
Germany
Prior art keywords
vehicle
map
sensor
objects
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022202400.1A
Other languages
English (en)
Inventor
Alice Natoli
Stefan Luthardt
Julien Seitz
Annemarie Albrecht
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102022202400.1A priority Critical patent/DE102022202400A1/de
Publication of DE102022202400A1 publication Critical patent/DE102022202400A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Verfahren zum Lokalisieren eines Fahrzeuges (1), wobei eine Umgebungskarte anhand von Sensordaten einer visuellen Sensorvorrichtung erstellt wird, wobei die visuelle Sensorvorrichtung Objekte erfassen und zu den Objekten eine Höheninformation bestimmen kann, die Objekte entsprechend ihrer Höheninformation in die Umgebungskarte eingetragen werden und anhand der Höheninformation eine Höhendifferenzenkarte erstellt wird, wobei eine Steuereinrichtung (2) des Fahrzeuges (1), die auf die Höhendifferenzenkarte zugreifen kann, und Objekte in der Umgebung des Fahrzeugs (1) mittels eines Umfeldsensors des Fahrzeugs (1) detektiert werden, wobei die Detektionen mit der Höhendifferenzenkarte abgeglichen werden, und so die Lokalisierung des Fahrzeuges (1) erfolgt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Lokalisierung eines Fahrzeuges sowie ein Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges, bei der die Lokalisierung anhand eines erfindungsgemäßen Verfahrens durchgeführt wird.
  • Technologischer Hintergrund
  • Für die (teil-) autonome Fahrzeugsteuerung sind Sensorsysteme, welche die Umgebung erfassen, Verkehrssituation erkennen und die Fahrzeugführung ermöglichen oder den Fahrer unterstützen unerlässlich. Als Sensorsysteme zur Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt.
  • Die Umgebungserfassung mittels Radarsensoren basiert auf der Aussendung von gebündelten elektromagnetischen Wellen (Radarwellen bzw. Radarsignale) und deren Reflexion, z. B. durch andere Verkehrsteilnehmer, Hindernisse auf der Fahrbahn oder die Randbebauung der Fahrbahn. Die Unterscheidung von Hindernissen bzw. Objekten, wie z. B. anderen Verkehrsteilnehmern, Verkehrsschildern, Straßenmarkierungen, Randbebauungen, Leitplanken und dergleichen ist dabei von großer Bedeutung, um zu ermitteln, wann z. B. ein Brems- oder Lenkeingriff eingeleitet werden soll. Ferner werden auch zunehmend Lidarsensoren oder LiDAR (Light Detecting and Ranging)-Sensoren zur Umgebungserfassung eingesetzt. Der Lidarsensor sendet dabei Lichtstrahlen oder Laserimpulse aus und detektieren das im Anschluss von Objekten zurückgestreute Licht. Beispielsweise kann dann aus der erfassten Lichtlaufzeit der Signale die Entfernung zum jeweiligen Objekt berechnet bzw. bestimmt werden. Die gesamte Szene wird vom Lidarsensor gleichzeitig beleuchtet, wobei die reflektierten Signale wieder aufgefangen werden. So entsteht eine flächige Punktwolke bzw. Lidar Punktwolke (Lidar Point Cloud). Aus den durch die Sensoren ermittelten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden.
  • Ein wichtiges Element für die Steuerung und Entwicklung autonom fahrender Fahrzeuge ist die Lokalisierung des Fahrzeuges in einer auf einem Steuersystem des Fahrzeuges hinterlegten bestehenden Umgebungskarte bzw. Navigationskarte. Eine grundlegende Technik ist dabei die Lokalisierung des Fahrzeugs über ein Global Positioning/Inertial Navigation-System (GPS/INS). Ferner existieren Ansätze, bei denen die Lokalisierung durch Akkumulation von Odometrie-Daten erfolgt. Von besonderer Bedeutung ist die Lokalisierung des Fahrzeuges auf einer Umgebungskarte mittels der Umgebungs-Sensorik. Hierbei wurden bereits viele visuelle bzw. Kamera-basierte oder Lidar-basierte Ansätze vorgeschlagen, wobei die visuelle Lokalisierung auf einer visuellen Karte oder einer Lidarkarte erschwert wird, wenn sich die Umgebung ändert, z. B. durch Wetter- oder Jahreszeit-bedingte Einflüsse.
  • Die Lidarlokalisierung kann über eine Lidar-Punktwolkenregistrierung, eine sogenannte „point cloud registration“, erfolgen, wobei zuvor erstellte Lidarkarten verwendet werden. Die spätere Lokalisierung des Fahrzeugs in der Lidarkarte kann jedoch gerade bei extremen Wetterbedingungen, wie Nebel und Schnee, unzuverlässig sein, da die Sensorfunktion bei derartigen Bedingungen eingeschränkt ist. Darüber hinaus kann die Lokalisierung auch mittels Radar erfolgen, um auf Basis von Radardaten ein robusteres Lokalisierungssystem zu erstellen, da die Radarsensorik weniger anfällig ist für Wettereinflüsse. Es ist daher ein verbreiteter Ansatz, eine Radarkarte (z. B. ein Besetzungsraster, Radargrid oder Occupancy-Grid-Map) mittels Radarsensorik zu erstellen und dann das Fahrzeug zu lokalisieren, indem die Radarmessungen an der Radarkarte ausgerichtet werden. Nachteilig dabei ist jedoch, dass die Radardatenverarbeitung für die präzise Kartierung sehr aufwendig ist und dass die Verarbeitung und Darstellbarkeit der Radarkarte weitaus weniger anwenderfreundlich ist. Radarsensoren sind zwar in der Regel günstiger als Lidarsensoren. Die Kartenanbieter verwenden jedoch oftmals Lidarsensoren in ihren Kartierfahrzeugen, da die Lidardaten als zugänglicher und benutzerfreundlicher angesehen werden. Ferner liefert ein Lidar auch eine deutlich höhere Winkelauflösung und stellt zudem eine präzise Höheninformation bereit. Hiermit ist es möglich eine 3D-Karte zu erstellen.
  • Bei bestehenden Ansätzen erfolgt die Lokalisierung, in der Regel mit denselben Sensorentypen, anhand derer auch die Umgebungskarte erstellt wurde, d. h. Lokalisierung mittels Radarsensor in einer Radarkarte und Lokalisierung mittels Lidarsensor in einer Lidarkarte. Beispielsweise wird zuerst mittels Radarsensorik eine Radarkarte erstellt. Anschließend wird das Lokalisierungsproblem gelöst, indem aktuelle Radarmessungen des Radarsensors im Fahrzeug mit der zuvor erstellten und im Fahrzeug hinterlegten Radarkarte abgeglichen werden. Gleiches gilt für die Lokalisierung mittels Lidarsensor auf einer Lidarbasierten Karte.
  • Druckschriftlicher Stand der Technik
  • In Yin, Huan & Wang, Yue & Chen, Runjian & Xiong, Rong, „RaLL: End-to-end Radar Localization on Lidar Map Using Differentiable Measurement Model“ (2020) wird ein Deep-Learning-Ansatz verwendet, der zur Lokalisierung des Fahrzeugs in einer Radarkarte verwendet wird. Dieser Ansatz verursacht jedoch hohe Rechenkosten und bedingt eine eher geringe Lokalisierungsgenauigkeit aufgrund der hohen Komplexität des Ansatzes. In Y. S. Park, J. Kim und A. Kim, „Radar Localization and Mapping for Indoor Disaster Environments via Multi-modal Registration to Prior LiDAR Map“ (IROS 2019) wird ein dichte-unabhängiger Punktregistrierungsalgorithmus verwendet, um die Radarerkennung an eine Lidar-PunktWolke (Lidar-Point-Cloud) anzupassen. Ferner wird in H. Yin, Y. Wang, L. Tang und R. Xiong, „Radar-on-Lidar: metric radar localization on prior lidar maps“ (RCAR 2020) ein neuronales Netz verwendet, um die Rohradar-Daten während der Lokalisierung in künstliche Lidar-Daten umzuwandeln.
  • Aufgabe der vorliegenden Erfindung
  • Die Aufgabe der vorliegenden Erfindung besteht nunmehr darin, ein Verfahren zur Lokalisierung eines Fahrzeuges zur Verfügung zu stellen, mittels dem die Lokalisierung unabhängig von Wettereinflüssen und Sichteinschränkungen erfolgt, bei geringerem Speicherbedarf und gleichbleibender Qualität und Anwendungsfreundlichkeit.
  • Lösung der Aufgabe
  • Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
  • Bei dem erfindungsgemäße Verfahren zum Lokalisieren eines Fahrzeuges in einer Karte, wird die Umgebungskarte zunächst anhand von Sensordaten einer ersten visuellen Sensorvorrichtung erstellt (z. B. ein Sensorsystem in einem Kartierfahrzeug). Die visuelle Sensorvorrichtung detektiert bzw. erfasst hierzu Objekte (z. B. im Rahmen einer Kartierfahrt des Kartierfahrzeuges), wobei zu den Objekten zusätzlich eine Höheninformation bestimmt wird, um die Objekte entsprechend ihrer Höheninformation in die Umgebungskarte einzutragen. Somit wird anhand der Höheninformation aus der Umgebungskarte eine Höhendifferenzenkarte erstellt. Diese Höhendifferenzenkarte wird dann einem anderen Fahrzeug bzw. einem späteren Serienfahrzeug zur Verfügung gestellt, d. h. eine Steuereinrichtung des Serienfahrzeuges hat später Zugriff auf die Höhendifferenzkarte (z. B. über einen internen Speicher des Serienfahrzeuges oder über eine Datenverbindung, einen Cloudspeicher oder dergleichen). Das Serienfahrzeug kann dann das Umfeld bzw. Objekte in der Umgebung des Serienfahrzeugs mittels einer zweiten Sensorvorrichtung zur Umfelderfassung des Serienfahrzeugs, insbesondere einem Radarsensor, erfassen bzw. detektieren, wobei dann die Detektionen mit der Höhendifferenzenkarte oder darin eingetragenen Objekten abgeglichen werden, sodass die Lokalisierung des Fahrzeuges anhand des Abgleichs der erfassten Objekte erfolgt. Explizit unterscheiden sich die erste Sensoreinrichtungen des Kartierfahrzeuges und der Umfeldsensor zur Umfelderfassung des Serienfahrzeuges hinsichtlich des Sensortyps voneinander, wobei die erste Sensorvorrichtung einen visuellen Sensor (z. B. Lidar oder Kamera) umfasst und die zweite Sensorvorrichtung im Serienfahrzeug bzw. der Umfeldsensor z. B. einen Radar- und/oder Ultraschallsensor umfasst. Der Radarsensor ist dabei vergleichsweise günstig in Bezug auf Anschaffungs- und Herstellungskosten, und erlaubt in praktischer Weise den Einsatz auch bei schlechten Witterungsbedingungen, wie Schnee oder Nebel.
  • Daraus resultiert der Vorteil, dass eine einfache und rechnerisch günstige Transformation der Lidar-/Kamera-daten durchgeführt wird, wobei eine einer Radar-Belegungsrasterkarte ähnliche Umgebungskarte mit Höheninformationen erstellt wird, die eine Lokalisierung mit Radarsensoren ermöglicht. Im Gegensatz zum Stand der Technik ist hierbei keine besondere Handhabung der Sensordaten erforderlich, um das Fahrzeug oder auch Objekte mittels Radarsensoren bzw. Radardaten innerhalb der Lidarkarte zu lokalisieren. Infolgedessen können die Vorteile einer Lidar- bzw. visuellen Umgebungskarte sowie die Vorteile der Radarobjektdetektion genutzt werden, um eine robuste Lösung für die Lokalisierung des Fahrzeuges oder von Objekten/anhand innerhalb der mittels visuellen Sensoren erstellten Karte zu erzielen. Ferner können für das Verfahren Radarsensoren mit unterschiedlichen Frequenzen (z. B. 24 GHz, 77 GHz oder dergleichen) genutzt werden. Darüber hinaus hat sich gezeigt, dass das Verfahren als in besonderem Maße robust und unabhängig von den Spezifikationen der Radarsensoren ist.
  • Vorzugsweise ist als visuelle Sensorvorrichtung ein Lidarsensor vorgesehen, insbesondere ein Flashlidar oder MEMS (Microelectromechanical systems)-Lidar, der beispielsweise auf einem Kartierfahrzeug montiert ist und zur Erstellung einer Umgebungskarte bzw. Navigationskarte dient. Ferner sind hier auch andere visuelle Detektionsverfahren denkbar, wie z. B. mittels Kamera.
  • Zweckmäßigerweise ist als Umfeldsensor bzw. Sensorvorrichtung zur Umgebungsdetektion des Fahrzeuges ein Radarsensor vorgesehen. Dieser kann auch derart ausgelegt sein, dass er die Höheninformation eines erfassten Objekts bestimmen kann (d. h. die Höhe, Elevation, Altitude bestimmen kann), so dass für jede Detektion bzw. jedes Objekt die Höhe z. B. als Winkel eines Punktes über dem Horizont angegeben werden kann.
  • Ferner können die vom Umfeldsensor bzw. vom Radarsensor erfassten Objekte entsprechend ihrer Höheninformation mit den in der Umgebungskarte eingetragen Objekten abgeglichen werden. Die Lokalisierung kann dadurch noch genauer erfolgen, da dadurch eine zusätzliche Lokalisationsgröße herangezogen werden kann.
  • Alternativ oder zusätzlich kann als Umfeldsensor auch ein Ultraschallsensor vorgesehen sein, welcher optional auch eine Höheninformation eines Objekts erfassen kann.
  • In bevorzugter Weise wird die Umgebungskarte georeferenziert, insbesondere herstellerseitig und bevor die Steuereinrichtung des Fahrzeuges auf die Umgebungskarte zugreifen kann. Dadurch kann die Umgebungskarte noch genauer ausgestaltet werden, sodass die Lokalisierung noch zuverlässiger erfolgen kann. Hierbei können z. B. Objekten Georeferenzen bzw. Koordinaten zugeordnet werden. Die Lokalisierung wird dadurch in besonderem Maße erleichtert.
  • Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der Umgebungskarte eine 3D-Umgebungskarte handelt, bei der die Umgebungskarte in den drei Raumdimensionen Länge, Breite und Höhe dargestellt wird.
  • Ferner umfasst die vorliegende Erfindung ein Sensorsystem für ein Fahrzeug, umfassend eine Steuereinrichtung und einen Radarsensor. Die Steuereinrichtung kann dabei auf eine Höhendifferenzenkarte zugreifen, die zuvor anhand von Sensordaten einer visuellen Sensorvorrichtung, insbesondere eines Lidarsensors und/oder eines anderen visuellen Sensors (z. B. Kamera) eines Kartierfahrzeuges erstellt wird, indem Objekte vom visuellen Sensor erfasst und entsprechend ihrer Höheninformation in eine Umgebungskarte eingetragen werden. Die Steuereinrichtung des Fahrzeuges kann dann auf diese Höhendifferenzenkarte zugreifen (z. B. indem diese in einem Speicher des Serienfahrzeuges hinterlegt wird). Ferner werden Objekte in der Umgebung des Fahrzeugs mittels des Radarsensors erfasst, wobei die Steuereinrichtung dazu hergerichtet ist, die Radardetektionen mit der Höhendifferenzenkarte bzw. Objekten darin abzugleichen und so die Lokalisierung anhand der Detektionen durchzuführen. In einfacher Weise kann somit die Radarlokalisierung mithilfe von z. B. Lidardaten auf Lidar-kartographierte Bereiche skaliert werden. Zudem können in den kommerziell vertriebenen Fahrzeugen (Serienfahrzeugen) vermehrt Radarsensoren verbaut werden, die günstiger und robuster als Lidarsensoren sind, wodurch in besonderem Maße Kosten eingespart werden können. Ein weiterer wichtiger Punkt ist, dass die Lidarkarte als Belegungsgitter (insbesondere binär) ausgestaltet ist und dadurch z. B. nur wenige kB pro Quadratkilometer belegt (d. h. rechensparsam und speichereffizient umgesetzt werden kann). Darüber hinaus lassen sich die Speicheranforderungen durch Standard-Datenkomprimierungstechniken noch weiter reduzieren.
  • Beschreibung der Erfindung anhand von Ausführungsbeispielen
  • Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher erläutert. Es zeigen:
    • 1 eine vereinfachte schematische Darstellung einer Ausgestaltung eines Fahrzeuges mit einer erfindungsgemäßen Sensoreinheit;
    • 2a eine vereinfachte Darstellung einer Ausgestaltung einer Umgebungskarte;
    • 2b eine vereinfachte Darstellung einer Ausgestaltung einer Höhendifferenzenkarte, die anhand des erfindungsgemäßen Verfahrens erstellt wurde, sowie
    • 3 eine weitere vereinfachte Darstellung einer Ausgestaltung einer Höhendifferenzenkarte, die anhand des erfindungsgemäßen Verfahrens erstellt wurde.
  • Bezugsziffer 1 in 1 bezeichnet ein Fahrzeug bzw. Serienfahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), durch die z. B. eine Sensorsteuerung, Sensordatenfusion, Umfeld- und/oder Objekterkennung, Trajektorienplanung und/oder Fahrzeugsteuerung, insbesondere (teil-) autonome Fahrzeugsteuerung, erfolgen kann. Zur Fahrzeugsteuerung kann die Steuereinrichtung 2 auf verschiedenen Aktoren (Lenkung, Motor, Bremse) zugreifen. Zur Umgebungserfassung weist das Fahrzeug 1 zudem einen Radarsensor 3 als Umfeldsensor zur Umfelderfassung auf. Darüber hinaus kann das Fahrzeug 1 zur Umfelderfassung verschiedene andere Sensoren aufweisen, wie z. B. einen Lidarsensor 4, Ultraschallsensoren (in 1 nicht dargestellt) und/oder eine Kamera 5. In vorteilhafter Weise können die Sensordaten zur Umfeld- und Objekterkennung genutzt werden, sodass verschiedene Assistenzfunktionen, wie z. B. Notbremsassistent (EBA, Emergency Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist), bis hin zum teil- oder vollautonomen Fahren realisiert werden können. Ferner kann die Ausführung der Assistenzfunktionen bzw. der autonomen Fahrzeugsteuerung ebenfalls über die Steuereinrichtung 2 oder eine andere, dafür vorgesehene Steuereinheit erfolgen.
  • Bezugsziffer 10 in 1 bezeichnet ein Fahrzeug bzw. Kartierfahrzeug mit einer Steuereinrichtung 11, durch die mindestens ein visueller Sensor, z. B. ein Lidarsensor 12 oder eine Kamera 13, zur Umgebungserfassung gesteuert werden kann. Erfindungsgemäß wird zunächst anhand der Sensordaten des visuellen Sensors eine Umgebungskarte erstellt (siehe 2a), insbesondere 3D-Umgebungskarte. Diese Umgebungskarte, welche z. B. nach Breite, Länge und Höhe aufgespannt sein kann, das heißt eine Art Koordinatensystem darstellt. Die erstellte Umgebungskarte basiert somit nur auf den Sensordaten des visuellen Sensors, z. B. Lidardaten und/oder Kameradaten. Ferner erfasst die visuelle Sensorvorrichtung zu den Objekten eine Höheninformation, wobei die Objekte entsprechend ihrer Höheninformation in die Umgebungskarte eingetragen werden, sodass anhand der Höheninformation eine Art Gradientenkarte bzw. Höhendifferenzenkarte oder Höhenunterschiedskarte (siehe 2b) erstellt wird. Diese Umgebungskarte bzw. Höhendifferenzenkarte wird dann der Steuereinrichtung des Fahrzeuges 1 zugänglich gemacht, z. B. in einem Speicher hinterlegt oder via Datenverbindung während des Betriebs übertragen. Die Lokalisierung erfolgt dann auf Basis von Daten einer Sensorvorrichtung zur Umfelderfassung des Fahrzeuges 1, insbesondere des Radarsensors 3 und somit auf Basis von Radarmessungen bzw. Radardaten, wobei die mittels Radarsensor 3 erfassten Objekte mit den in der Umgebungskarte eingetragen Objekten abgeglichen werden.
  • Die Erstellung der Umgebungskarte erfolgt bevorzugt ausgehend von einer dichten Lidarpunktwolke (Lidar-Point-Cloud), die bereits georeferenziert ist. Diese Punktwolke wird anschließend nach ihrer Höhe gefiltert. Die vom Radarsensor beobachteten Hauptobjekte/Punkte befinden sich in der Regel in einem bestimmten Höhenbereich (z. B. zwischen 0 Metern und 2 bis 3 Metern Höhe) von der Bodenebene abhängig vom Sensorfeld und der Einbaulage des Sensors im Fahrzeug 1. Die Daten werden dann in einem regulären Raster der gewünschten Auflösung zusammengefasst und entsprechend projiziert. Ferner kann die Höhendifferenzenkarte z. B. mittels eines Resampling- bzw. Interpolations-Algorithmus erstellt werden. Diese Informationen können verwendet werden, um eine Art Belegungsgitter zu erstellen. Die Höhe des Gefälles dieser Karte kann dann für Lokalisierungszwecke genutzt werden. Mit einer einfachen Grenzwertfestlegung auf einem gewissen Höhenunterschied kann dabei eine (binäre) „Vertikalitäts“-Karte (d. h. die Gradientenkarte oder Höhendifferenzenkarte) erstellt werden (wie in 3 gezeigt). Der Radarsensor 3 erkennt hierbei z. B. einen niedrigen Bordstein bzw. Randstein, der zwar keine große absolute Höhe hat (nur einige cm), aber dennoch vertikal ist. Er zeigt daher immer noch eine entsprechende Steigung und somit einen Höhenverlauf in der Höhenkarte an. Schließlich kann diese Art von Belegungsraster im Fahrzeug 1 für die radarbasierte Lokalisierung verwendet werden, indem eine Standardlösung wie ein Partikelfilter verwendet wird. Für jedes Teilchen, das eine hypothetische Position des Fahrzeugs 1 im globalen Bezugssystem darstellt, wird ein Vergleich zwischen einer tatsächlichen Radarerkennung und der zuvor beschriebenen Karte vorgenommen, was zu einer Wahrscheinlichkeitsschätzung für jede Positionshypothese führt.
  • Die abgeleitete Höhendifferenzenkarte kann z. B. als binäre Karte behandelt aber auch mit ihren ursprünglichen Gradientenwerten verwendet werden (z. B. kann diese normalisiert werden oder ein Glättungsfilter angewendet werden, um etwaige Unschärfen oder die Unsicherheiten an den Rändern zu inkludieren bzw. zu modellieren). Es können auch weitere aus dem Stand der Technik bekannte Interpolationsmethoden angewendet werden. Andere Implementierungen können z. B. eine Kombination aus Höhenkarte und Höhendifferenzkarte sein, z. B. eine lineare Kombination dieser. Die Parameter können dabei entsprechend der Kartenauflösung gewählt werden, indem z. B. eine Gradientenschwelle, ein Glättungsfilter oder eine lineare Kombination aus Höhenkarte und Höhendifferenzkarte oder dergleichen verwendet wird. Mittels herkömmlich bekannter Optimierungsmethoden können dann die optimalen Werte der Parameter eingestellt bzw. gefunden werden durch Vergleich mit einer tatsächlichen Radarbelegungsradarkarte („Groundtruth“). Ferner können Deep-Learning-Ansätze genutzt werden, um ein (neurales) Netz auszubilden, das ein Radarbelegungsraster direkt von der Höhenkarte oder der LidarPunktwolke ausgibt. Ferner können dann die Sensoreigenschaften des Radarsensors entsprechend angepasst und parametrisiert werden.
  • Als „Deep Learning“ (DL) bzw. „Tiefes Lernen“ im Sinne der Erfindung wird eine Kaskade aus mehreren Schichten nichtlinearer Verarbeitungseinheiten (meist künstliche neuronale Netze) zur Merkmalsextraktion und -transformation (bzw. Parameterextraktion und - transformation) verstanden. Der Begriff „Machine Learning (ML)“ bzw. „Maschinelles Lernen“ beschreibt dabei das Verwenden von Algorithmen, um Daten zu analysieren, daraus zu lernen und dann eine Bestimmung oder Vorhersage über etwas (noch nicht sichtbares) zu treffen. Dabei kann das überwachte als auch das unüberwachte Lernen Anwendung finden. Für die Analyse der Daten ist unter anderem die Labelling-Strategie bzw. Etikettierung oder Beschriftung der Daten von entscheidender Bedeutung. Hierbei wird unter „Training“ das Anpassen von Parametern des Modells im Bereich des Maschinellen Lernens verstanden, sodass ein zuvor festgelegtes Fehlermaß für das angepasste Modell kleiner wird. Ferner umfasst der Begriff „Artificial Neural Network“ (ANN) oder „Convolutional Neural Network“ (CNN) bzw. „Künstliche neuronale Netze“ (KNN) im Sinne der Erfindung, Netze aus künstlichen Neuronen, welche in Hinblick auf ihre Informationsverarbeitung abstrahierend ausgedrückt wie in einem Nervensystem eines Lebewesens vernetzt sind. Hierbei können die Neuronen als Knoten und ihre Verbindungen als Kanten in einem Graphen dargestellt werden, wobei die hinterste (Knoten-) Schicht des Netzes als Ausgabeschicht („output layer“) und davorliegende (Knoten-) Schichten („nicht sichtbare“) als verdeckte Schichten („hidden layer“) bezeichnet werden. Derartige Künstliche neuronale Netze können vom Aufbau einschichtig (eine Ausgabeschicht), zweischichtig (eine Ausgabeschicht und eine verdeckte Schicht zur Verbesserung der Abstraktion) oder mehrschichtig (mindestens eine Ausgabeschicht sowie mehrere verdeckte Schichten zur Verbesserung der Abstraktion) sein. Zudem können diese in Hinblick auf ihre Datenübertragung vorwärtsgerichtet (feedforward) und/oder mit rückgerichteten Kanten (rekurrente Verbindungen) ausgestaltet sein (Rückkopplung; Feedbacknetz).
  • Infolgedessen können diese Deep-Learning Ansätze z. B. bei der Ausgabe des Radarbelegungsrasters auch als rein computerimplementiertes Verfahren ausgestaltet sein. Der Begriff „computerimplementiertes Verfahren“ im Sinne der Erfindung beschreibt dabei eine Ablaufplanung oder Vorgehensweise, welche anhand eines Rechners verwirklicht bzw. durchgeführt wird. Der Rechner, wie z. B. ein Computer, ein Computernetzwerk oder eine andere aus dem Stand der Technik bekannte programmierbare Vorrichtung (z. B. auch die Steuereinrichtung 2), kann dabei mittels programmierbarer Rechenvorschriften Daten verarbeiten. In Bezug auf das Verfahren können dabei wesentliche Eigenschaften z. B. durch ein neues Programm, neue Programme, einen Algorithmus oder dergleichen bewirkt werden.
  • Zusammenfassend ermöglicht das vorliegende Verfahren die Aufbereitung einer ursprünglichen Lidar-/Kamera-basierten Umgebungskarte in Form einer Art Gradientenkarte bzw. Höhendifferenzenkarte. Im Vergleich zum Stand der Technik, bei dem z. B. eine Umgebungskarte mit Lidar erstellt und eine spätere Lokalisierung in der Umgebungskarte mit Radar beschrieben wird, verfolgt die vorliegende Erfindung den Ansatz, eine Gradientenkarte bzw. Höhenunterschiedskarte als Umgebungskarte zu erstellen. Eine solche Karte, die Höhenunterschiede bzw. die „Vertikalität“ erfasst, kann dabei größtenteils genau die Strukturen abbilden, die z. B. auch von einem Radar gut erfasst werden können, weshalb eine Radar-Lokalisierung auf einer solchen Höhenunterschiedskarte sehr erfolgreich ist.
  • Im Rahmen des Verfahrens wird beispielsweise zunächst eine Art Kartierfahrzeug genutzt, welches mit mindestens einem visuellen Sensor (Lidar 12 und/oder Kamera 13) ausgestattet ist und anhand dessen Sensordaten Objekte in die Umgebungskarte eingetragen werden. Die Höheninformation der Objekte wird dabei während der Kartierung vom visuellen Sensor erfasst und zum Erstellen der Höhenunterschiedskarte genutzt. Kameras und Lidarsensoren sind hierbei besonders gut geeignet, die Höhe von Objekten zu erfassen. Radare können dies nur sehr eingeschränkt, wobei neuere Generation auch Höheninformation (Elevations-Winkel) liefern können. Die Steuereinrichtung 2 eines Serienfahrzeuges 1 kann auf die erzeugte Höhenunterschiedskarte zugreifen - z. B. über eine Drahtlosverbindung oder über einen Speicher, der z. B. Teil der Steuereinrichtung 2 sein kann, auf dem die Höhenunterschiedskarte hinterlegt ist. Bei der Lokalisierung des Fahrzeugs 1, werden dann Detektionen des Radarsensor 3 des Fahrzeuges 1 mit den Objekten in der Karte abgeglichen bzw. diesen zugeordnet, wodurch eine Lokalisierung erfolgt. Zudem können auch optional vom Radarsensor 3 erfasste Höheninformationen der erfassten Objekte zusätzlich abgeglichen werden.
  • BEZUGSZEICHENLISTE
    • 1
    Fahrzeug (Serienfahrzeug)
    2
    Steuereinrichtung
    3
    Radarsensor
    4
    Lidarsensor
    5
    Kamera
    10
    Fahrzeug (Kartierfahrzeug)
    11
    Steuereinrichtung
    12
    Lidarsensor
    13
    Kamera

Claims (8)

  1. Verfahren zum Lokalisieren eines Fahrzeuges (1), wobei eine Umgebungskarte anhand von Sensordaten einer visuellen Sensorvorrichtung erstellt wird, wobei - die visuelle Sensorvorrichtung Objekte erfassen und zu den Objekten eine Höheninformation bestimmen kann, - die Objekte entsprechend ihrer Höheninformation in die Umgebungskarte eingetragen werden und - anhand der Höheninformation eine Höhendifferenzenkarte erstellt wird, wobei eine Steuereinrichtung (2) des Fahrzeuges (1), die auf die Höhendifferenzenkarte zugreifen kann, und Objekte in der Umgebung des Fahrzeugs (1) mittels eines Umfeldsensors des Fahrzeugs (1) detektiert werden, wobei die Detektionen mit der Höhendifferenzenkarte abgeglichen werden, und so die Lokalisierung des Fahrzeuges (1) erfolgt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als visuelle Sensorvorrichtung ein Lidarsensor (12) und/oder eine Kamera (13) vorgesehen ist.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Umfeldsensor ein Radarsensor (3) und /oder ein Ultraschallsensor vorgesehen ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Umfeldsensor dazu hergerichtet ist, eine Höheninformation eines erfassten Objekts zu bestimmen.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die vom Umfeldsensor (3) erfassten Objekte entsprechend ihrer Höheninformation mit den in der Höhendifferenzenkarte eingetragen Objekte abgeglichen werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungskarte und/oder die Höhendifferenzenkarte georeferenziert wird, insbesondere bevor die Steuereinrichtung (2) des Fahrzeuges (1) auf diese zugreifen kann.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der Umgebungskarte und/oder der Höhendifferenzenkarte um eine 3D-Umgebungskarte handelt, bei der die Umgebungskarte in den drei Raumdimensionen Länge, Breite und Höhe dargestellt wird.
  8. Sensorsystem für ein Fahrzeug (1) zur Lokalisierung des Fahrzeuges (1), umfassend eine Steuereinrichtung (2) und einen Umfeldsensor, wobei eine Höhendifferenzenkarte anhand von Sensordaten einer visuellen Sensorvorrichtung erstellt wird und der Steuereinrichtung (2) des Fahrzeuges (1) zugänglich ist, und Objekte in der Umgebung des Fahrzeuges (1) mittels des Umfeldsensors detektiert werden, wobei die Steuereinrichtung (2) dazu hergerichtet ist, die Detektionen mit der Höhendifferenzenkarte abzugleichen und die Lokalisierung des Fahrzeuges (1) anhand des Abgleichs durchzuführen, insbesondere anhand eines Verfahrens nach einem der vorhergehenden Ansprüche.
DE102022202400.1A 2022-03-10 2022-03-10 Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges Pending DE102022202400A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022202400.1A DE102022202400A1 (de) 2022-03-10 2022-03-10 Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022202400.1A DE102022202400A1 (de) 2022-03-10 2022-03-10 Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges

Publications (1)

Publication Number Publication Date
DE102022202400A1 true DE102022202400A1 (de) 2023-09-14

Family

ID=87759881

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022202400.1A Pending DE102022202400A1 (de) 2022-03-10 2022-03-10 Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges

Country Status (1)

Country Link
DE (1) DE102022202400A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565958B1 (en) 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps
DE102016207181A1 (de) 2016-04-27 2017-11-02 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer Position eines Fahrzeugs auf einer Fahrbahn
US10162363B1 (en) 2014-08-06 2018-12-25 Waymo Llc Using obstacle clearance to measure precise lateral gap

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565958B1 (en) 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps
US10162363B1 (en) 2014-08-06 2018-12-25 Waymo Llc Using obstacle clearance to measure precise lateral gap
DE102016207181A1 (de) 2016-04-27 2017-11-02 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer Position eines Fahrzeugs auf einer Fahrbahn

Similar Documents

Publication Publication Date Title
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
EP3731187B1 (de) Verfahren und vorrichtung zur bestimmung der geografischen position und orientierung eines fahrzeugs
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3298541A1 (de) Verfahren zur schätzung von fahrstreifen
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
WO2020229002A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
EP3008534B1 (de) Verfahren zum modellieren eines umfelds eines fahrzeugs
DE102016214030A1 (de) Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit
DE102012024874A1 (de) Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102016214028A1 (de) Verfahren und System zum Bestimmen einer Position einer mobilen Einheit
EP3490862A1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
WO2020078727A1 (de) Verfahren und system zum bestimmen eines umfeldmodells für ein fahrzeug
WO2022247994A1 (de) System zur sensordatenfusion für die umgebungswahrnehmung
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
EP3721371A1 (de) Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
WO2020160796A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
DE102022202400A1 (de) Verfahren zur Lokalisierung eines Fahrzeuges sowie Sensorsystem für ein Fahrzeug zur Lokalisierung des Fahrzeuges
DE102022000849A1 (de) Verfahren zur Erzeugung einer Umgebungsrepräsentation für ein Fahrzeug
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
DE102021207609A1 (de) Verfahren zur Kennzeichnung eines Bewegungsweges
WO2022069088A1 (de) Kartenplausibilitätsprüfungsverfahren
DE102016222258A1 (de) Verfahren und System zum Bereitstellen von Daten für eine Trajektorie

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

R163 Identified publications notified