DE102016212774B4 - Method and device for generating a map of the surroundings and for locating a vehicle - Google Patents

Method and device for generating a map of the surroundings and for locating a vehicle Download PDF

Info

Publication number
DE102016212774B4
DE102016212774B4 DE102016212774.8A DE102016212774A DE102016212774B4 DE 102016212774 B4 DE102016212774 B4 DE 102016212774B4 DE 102016212774 A DE102016212774 A DE 102016212774A DE 102016212774 B4 DE102016212774 B4 DE 102016212774B4
Authority
DE
Germany
Prior art keywords
vehicle
environment
map
weather
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016212774.8A
Other languages
German (de)
Other versions
DE102016212774A1 (en
Inventor
Marek Stess
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of DE102016212774A1 publication Critical patent/DE102016212774A1/en
Application granted granted Critical
Publication of DE102016212774B4 publication Critical patent/DE102016212774B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten:
- zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs (4, 5, 25) mittels mindestens einer bilderzeugenden Einrichtung (30),
- Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
- Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.

Figure DE102016212774B4_0000
Method for generating an environment map for the purpose of locating a vehicle (4, 5, 25) in its environment, with the steps:
- cyclic creation of images of the surroundings of the vehicle (4, 5, 25) using at least one image-generating device (30),
- Extracting landmarks (27, 28, 29) from the cyclic images of the image-generating device and creating a measurement data set for each image,
- Determining the vehicle position and the vehicle's own movement,
- Creating a map of the surroundings from the measurement data set, with only a specified field of view (26) being taken into account within the measurement data set, as well as the vehicle position and the vehicle's own movement, characterized in that the specified field of view (26) for evaluating the cyclic measurement data sets is a function of the current weather condition .
Figure DE102016212774B4_0000

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld gemäß dem Oberbegriff des Anspruchs 1, eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6, ein Verfahren zur Lokalisierung eines autonomen Fahrzeugs in seiner Umgebung gemäß dem Oberbegriff des Anspruchs 9 sowie eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10.The invention relates to a method for generating an environment map for the purpose of locating a vehicle in its environment according to the preamble of claim 1, a corresponding device according to the preamble of claim 6, a method for locating an autonomous vehicle in its environment according to the preamble of claim 9 and a corresponding device with the features of claim 10.

Automatisches bzw. autonomes Fahren erfordert eine hochgenaue Lokalisierung des Fahrzeugs in seiner Umgebung. Da automatische Fahrzeuge sich nicht in „gutmütigen“ Umgebungen, sondern in der realen Welt bewegen müssen und somit direkt atmosphärischen Störungen, wie zum Beispiel Jahreszeiten, Wetterveränderungen und Lichteffekten, ausgesetzt sind, müssen die Lokalisierungsverfahren robust und die Lokalisierung in jeder Situation gewährleistet sein, da diese atmosphärischen Störungen die Lokalisierung beeinflussen können.Automated or autonomous driving requires a highly accurate localization of the vehicle in its environment. Since automated vehicles do not have to move in "good-natured" environments but in the real world and are therefore directly exposed to atmospheric disturbances such as seasons, weather changes and light effects, the localization methods must be robust and localization must be guaranteed in every situation, since these atmospheric disturbances can affect the localization.

Wird von einer Lokalisierung im Kontext des automatischen Fahrens gesprochen, so besteht die Lokalisierung aus einem zweigeteilten Ansatz. Im ersten Schritt wird aus Beobachtungen während einer oder mehrerer Messfahrten eine Karte erzeugt. Im nächsten Schritt wird versucht sich mit Beobachtungen einer nachfolgenden Fahrt auf den zuvor erstellten Karten zu lokalisieren. In beiden Schritten sind die Beobachtungen für die Lokalisierung von entscheidender Bedeutung. Jedoch hängen diese Beobachtungen von den eingesetzten Sensoren und der das Fahrzeug umgebenden Situation ab. Beispielsweise verhalten sich Beobachtungen aus einem Laserscanner bei Regen anders als bei Trockenheit. Auch eine Kamera liefert unterschiedliche Beobachtungen bei Regen, Nässe und Trockenheit.When talking about localization in the context of automated driving, localization consists of a two-part approach. In the first step, a map is generated from observations made during one or more measurement runs. In the next step, an attempt is made to locate oneself on the previously created maps using observations from a subsequent trip. In both steps, the observations are crucial for the localization. However, these observations depend on the sensors used and the situation surrounding the vehicle. For example, observations from a laser scanner behave differently when it is raining than when it is dry. A camera also provides different observations in rain, wet and dry conditions.

Die oben genannte Problematik wurde bislang durch folgende Herangehensweisen zu lösen versucht:

  • - Sammlung von Beobachtungen in unterschiedlichen Situationen, wie beispielsweise bei Trockenheit, Regen, Nässe, etc., zur Erstellung von Karten, die weitestgehend unabhängig von atmosphärischen Gegebenheit sind. Live-Beobachtungen können so allerdings nicht beeinflusst werden.
  • - Anpassung der Sensor-Detektion der Beobachtungen. Dabei wird der Detektionsalgorithmus für jede atmosphärische Störung trainiert, um beispielsweise die Detektion von Bildobjekten in den jeweiligen Situationen zu verbessern.
So far, attempts have been made to solve the above problem using the following approaches:
  • - Collection of observations in different situations, such as dry, rainy, wet, etc., to create maps that are largely independent of atmospheric conditions. However, live observations cannot be influenced in this way.
  • - Adjustment of the sensor detection of the observations. The detection algorithm is trained for each atmospheric disturbance in order to improve the detection of image objects in the respective situations, for example.

Diese Vorgehensweisen haben zwei inhärente Nachteile:

  • - Werden die Karten aus unterschiedlichen Beobachtungen in unterschiedlichen Situationen erstellt, so bedeutet dies nicht, dass während der Lokalisierung in einer bestimmten Situation, wie beispielsweise Regen, die Beobachtungen gut zur Karte korrespondieren. Eine Robustheit der Lokalisierung gegen atmosphärische Störungen ist deshalb nicht zwingend gegeben.
  • - Durch die reine Anpassung der Sensor-Detektion der Beobachtungen werden die Ausgaben des Sensors zwar direkt für jede Situation verbessert, ob dies jedoch direkt eine Verbesserung der Lokalisierung mit sich bringt ist bislang offen.
These approaches have two inherent disadvantages:
  • - If the maps are created from different observations in different situations, this does not mean that the observations correspond well to the map during the localization in a certain situation, such as rain. A robustness of the localization against atmospheric disturbances is therefore not necessarily given.
  • - By simply adapting the sensor detection of the observations, the outputs of the sensor are improved directly for every situation, but whether this directly results in an improvement in the localization is still open.

Insgesamt führt dies dazu, dass die Anpassungen von Karte und Beobachtungen ohne Betrachtung der Lokalisierungsergebnisse nicht zwingend sinnvoll für eine Lokalisierungsoptimierung gewählt wurden.Overall, this means that the adjustments made to the map and observations without considering the localization results were not necessarily chosen in a sensible manner for localization optimization.

Die Druckschrift EP 0 913 751 B1 betrifft ein autonomes Fahrzeug und ein Verfahren zur Steuerung eines autonomen Fahrzeugs, umfassend eine Eingabeeinheit für einen oder mehrere Fahraufträge, eine Einrichtung zur Routenplanung, umfassend mindestens eine Positionserkennungseinrichtung und eine digitale Straßenkarte, eine Einrichtung zur Generierung eines Weges, eine Anordnung von Sensoren, umfassend jeweils mindestens einen Abstandssensor zur Erfassung von Objekten und Beschaffenheitsmerkmalen des Weges, eine Kollisionsvermeidungseinrichtung, eine Einrichtung zur Zustandsdatenerkennung des Fahrzeuges, eine Fahrzeugkontolleinrichtung und eine Einrichtung zur Steuerung der Fahrzeugaktorik als Funktion der von der Fahrzeugkontrolleinrichtung erzeugten Signale. Dabei umfasst die Anordnung von Sensoren mindestens folgende Sensoren: zwei im wesentlichen horizontal ausgerichtete, im vorderen Bereich des Fahrzeugs angeordnete Abstandssensoren, mindestens einen im vorderen Bereich des Fahrzeugs angeordneten Abstandssensor, mindestens einen im hinteren Bereich des Fahrzeugs angeordneten Abstandssensor, mindestens einen auf dem Dach des Fahrzeugs angeordneten, auf die Fahrbahn gerichteten Abstandssensor mit nachführbarem Abtastwinkel, an den jeweiligen Seiten des Fahrzeugs angeordnete Ultraschallsensoren oder Mikrowellen-Radarsensoren und mindestens jeweils eine im vorderen und hinteren Bereich des Fahrzeugs angeordnete Kamera.The pamphlet EP 0 913 751 B1 relates to an autonomous vehicle and a method for controlling an autonomous vehicle, comprising an input unit for one or more travel orders, a device for route planning, comprising at least one position detection device and a digital road map, a device for generating a route, an arrangement of sensors, each comprising at least one distance sensor for detecting objects and characteristics of the path, a collision avoidance device, a device for status data recognition of the vehicle, a vehicle control device and a device for controlling the vehicle actuators as a function of the signals generated by the vehicle control device. The arrangement of sensors includes at least the following sensors: two substantially horizontally aligned distance sensors arranged in the front area of the vehicle, at least one distance sensor arranged in the front area of the vehicle, at least one distance sensor arranged in the rear area of the vehicle, at least one on the roof of the Vehicle arranged, directed towards the roadway distance sensor with trackable scanning angle, arranged on the respective sides of the vehicle ultrasonic sensors or microwave radar sensors and at least one camera each arranged in the front and rear area of the vehicle.

Die Druckschrift DE 10 2008 034 923 A1 offenbart ein Verfahren zum Steuern der klimatischen Bedingungen eines eine Heizung und/oder eine Klimaanlage enthaltenden Gebäudes mit mindestens einem außerhalb des Gebäudes angeordneten, der Erfassung der Temperatur dienenden Sensor, unter Nutzung von über einen Datenkanal verbreiteten Wetterdaten einer den Ort des Gebäudes einschließenden prognostizierten Großwetterlage und unter Nutzung der von dem Sensor erfassten physikalischen Größe durch Errechnen einer sich auf den Ort des Gebäudes beziehenden Prognose der Kleinstwetterlage, wobei die Prognose zur Steuerung der Heizung oder Klimaanlage dient.The pamphlet DE 10 2008 034 923 A1 discloses a method for controlling the climatic conditions of a building containing a heating and/or air conditioning system with at least one sensor arranged outside the building and used to record the temperature, using weather data distributed via a data channel of a forecast general weather situation including the location of the building and using the physical variable detected by the sensor by calculating a forecast of the smallest weather situation relating to the location of the building, the forecast being used to control the heating or air conditioning system.

Die Druckschrift DE 10 2007 003 014 A1 betrifft eine Fahrzeugpositions-Ermittlungsvorrichtung für ein Fahrzeug, umfassend eine Sensoreinheit zum Erfassen einer von dem Fahrzeug befahrenen oder in der Umgebung des Fahrzeugs befindlichen Fahrbahnunebenheit, eine Sensoreinheit zum Erfassen einer Fahrbahnmarkierung in einer Umgebung des Fahrzeugs und/oder eine Sensoreinheit zum Erfassen einer unterfahrenen Fahrbahnüberdachung und zum Bereitstellen zumindest eines entsprechenden Sensorsignals sowie eine Auswerteeinheit mit einer digitalen Karte, auf welcher die Positionen von Fahrbahnunebenheiten, Fahrbahnmarkierungen und/oder Fahrbahnüberdachungen abgespeichert sind, wobei die Auswerteeinheit dazu ausgelegt ist, in Abhängigkeit von dem räumlichen Bereich und dem zumindest einen Sensorsignal einen eingeschränkten räumlichen Bereich für eine genauere Fahrzeugposition zu ermitteln.The pamphlet DE 10 2007 003 014 A1 relates to a vehicle position determination device for a vehicle, comprising a sensor unit for detecting an unevenness in the roadway on which the vehicle is driving or in the area surrounding the vehicle, a sensor unit for detecting a roadway marking in the area surrounding the vehicle and/or a sensor unit for detecting a roadway roofing underneath and for providing at least one corresponding sensor signal and an evaluation unit with a digital map on which the positions of bumps in the roadway, roadway markings and/or roadway roofing are stored, the evaluation unit being designed to determine a limited spatial area as a function of the spatial area and the at least one sensor signal Determine area for a more accurate vehicle position.

Vollständig autonom fahrende Fahrzeug benötigen eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld, d.h. auf der Straße bzw. der Fahrbahn, was unter Umständen bedingt durch Wetterbedingungen, wie Regen, Schnee, Nebel etc. nicht ausreichend gewährleistet ist.Fully autonomous vehicles require precise localization of the vehicle in its environment, i.e. on the street or lane, which may not be sufficiently guaranteed due to weather conditions such as rain, snow, fog, etc.

Der Erfindung liegt daher die Aufgabe zugrunde, die Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld sowie die Lokalisierung eines Fahrzeugs in seinem Umfeld zu verbessern.The invention is therefore based on the object of improving the generation of an environment map for the purpose of locating a vehicle in its environment and the localization of a vehicle in its environment.

Diese Aufgabe wird durch eine Verfahren zur Erzeugung einer Umfeldkarte mit den Merkmalen des Anspruchs 1, durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6, durch ein Verfahren zu Lokalisierung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a method for generating an environment map with the features of claim 1, by a corresponding device with the features of claim 6, by a method for locating a vehicle with the features of claim 9 and by a corresponding device with the features of Claim 10 solved. Preferred embodiments of the invention are the subject matter of the dependent claims.

Das erfindungsgemäße Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld umfasst die folgenden Schritte:

  • - zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer bilderzeugenden Einrichtung,
  • - Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
  • - Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
  • - Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.
The method according to the invention for generating an environment map for the purpose of locating a vehicle in its environment comprises the following steps:
  • - cyclic creation of images of the environment of the vehicle by means of at least one image-generating device,
  • - Extraction of landmarks from the cyclic images of the imaging device and creation of a measurement data set for each image,
  • - Determining the vehicle position and the vehicle's own movement,
  • - Creation of an environment map from the measurement data set and the vehicle position and the vehicle's own movement, wherein within the measurement data set only a predetermined field of view is taken into account, the predetermined field of view for evaluating the cyclic measurement data sets is a function of the current weather condition.

Durch die Kopplung zwischen Sichtfeld und herrschender Wetterbedingung, wird die Umfeldkarte optimiert.The environment map is optimized through the coupling between the field of view and the prevailing weather conditions.

Vorzugsweise wird das vorgegebene Sichtfeld durch einen Satz von Parametern parametrisiert, wobei der Parametersatz eine Funktion der Wetterbedingung ist. Die Parametrisierung des Sichtfeldes ermöglicht die Beschreibung und Handhabung des Sichtfeldes in dem Ablauf des Algorithmus.Preferably, the predetermined field of view is parameterized by a set of parameters, the set of parameters being a function of the weather condition. The parameterization of the field of view enables the field of view to be described and manipulated in the algorithm run.

Weiter bevorzugt erfolgt eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen. Mit anderen Worten, die aktuell herrschende Wetterbedingung wird einer Klasse, wie beispielsweise „Trocken“, „Nass“ oder „Regen“, zugeordnet, wobei diese drei Klassen nur beispielhaft zu verstehen sind, da eine stetig geschlossene Beschreibung von Wetterbedingungen kaum möglich ist.More preferably, the weather condition is classified into a predetermined number of weather classes. In other words, the currently prevailing weather condition is assigned to a class, such as "dry", "wet" or "rain", whereby these three classes are only to be understood as examples, since a continuously closed description of weather conditions is hardly possible.

Weiter bevorzugt werden die Landmarken durch die Fahrbahnmarkierungen, das Umfeld durch die Fahrbahn vor dem Fahrzeug und das Sichtfeld durch ein Trapez auf der Fahrbahn gebildet, wobei das Trapez zwar erst innerhalb des Messdatensatzes zum Einsatz kommt und sozusagen „imaginär“ ist.More preferably, the landmarks are formed by the lane markings, the environment by the lane in front of the vehicle and the field of vision by a trapezoid on the lane, the trapezoid only being used within the measurement data set and being “imaginary” so to speak.

Vorzugsweise wird das vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für diese Wetterbedingung ermittelt, wobei die Optimierung des Sichtfeldes durch die Durchführung einer Lokalisierung des Fahrzeugs für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt. Durch die Durchführung von einer Vielzahl von Messfahrten für unterschiedliche Wetterbedingungen und unterschiedliche Parametersätze für das Sichtfeld können optimale Parameterwerte für die einzelnen Wetterklassen bestimmt werden, die dann in der Ermittlung und Optimierung der lokalen Umfeldkarte verwendet werden.The specified field of view for a weather condition is preferably determined by a specified number of measurement runs for this weather condition, with the field of view being optimized by localizing the vehicle for each measurement run and comparing each localization determined in this way with a reference localization. By carrying out a large number of measurement runs for different weather conditions and different parameter sets for the field of view, optimal parameter values for the individual weather classes can be determined, which are then used to determine and optimize the local environment map.

Die erfindungsgemäße Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst

  • - eine bilderzeugende Einrichtung zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs,
  • - eine Einrichtung zum Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und zum Erstellen eines Messdatensatzes für jedes Bild,
  • - eine Einrichtung zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
  • - eine Einrichtung zum Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, und
  • - eine Einrichtung zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld eine Funktion der aktuellen Wetterbedingung ist.
The device according to the invention for generating a map of the surroundings for the purpose of locating a vehicle in its surroundings, the device being set up and designed to carry out the method explained above
  • - an image-generating device for generating cyclic images of the surroundings of the vehicle,
  • - a device for extracting landmarks from the cyclic images of the image-generating device and for creating a measurement data set for each image,
  • - a device for determining the vehicle position and the vehicle's own movement,
  • - a device for creating a map of the surroundings from the measurement dataset and the vehicle position and the vehicle's own movement, with only a predetermined field of view being taken into account within the measurement dataset, and
  • - means for determining the current weather condition, the predetermined field of view being a function of the current weather condition.

Weiter bevorzugt führt die Einrichtung zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durch. More preferably, the device for determining the current weather condition classifies the weather condition into a predetermined number of weather classes.

Vorzugsweise ist pro Wetterklasse genau ein Sichtfeld hinterlegt, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.Precisely one field of view is preferably stored for each weather class, which is determined by measuring runs for the respective weather class.

Das erfindungsgemäße Verfahren zur Lokalisierung eines Fahrzeugs in seinem Umfeld führt die folgenden Schritte aus:

  • - Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei die Umfeldkarte mit dem oben erläuterten Verfahren zur Erzeugung einer Umfeldkarte erzeugt wird,
  • - Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
  • - Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld.
The method according to the invention for locating a vehicle in its surroundings carries out the following steps:
  • - Generating an environment map of the current environment of the vehicle, the environment map being generated using the above-explained method for generating an environment map,
  • - Providing a digital map of the current surroundings of the vehicle, the digital map having the landmarks of the current surroundings, and
  • - Merging the environment map and the digital map to generate a localization of the vehicle in its environment.

Die erfindungsgemäße Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahren zur Lokalisierung eines Fahrzeugs eingerichtet und ausgelegt ist, umfasst

  • - eine Einrichtung zum Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei eine oben erläuterte Vorrichtung zur Erzeugung einer Umfeldkarte verwendet wird,
  • - eine Einrichtung zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
  • - eine Einrichtung zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld,
The device according to the invention for locating a vehicle in its surroundings, wherein the device is set up and designed for carrying out the method for locating a vehicle explained above
  • - a device for generating an environment map of the current environment of the vehicle, wherein a device explained above for generating an environment map is used,
  • - A device for providing a digital map of the current surroundings of the vehicle, the digital map having the landmarks of the current surroundings, and
  • - a device for merging the environment map and the digital map to generate a localization of the vehicle in its environment,

Es erfolgt also eine Erweiterung der Landmarken-basierten Lokalisierung um eine adaptive Anpassung an die äußeren atmosphärischen Bedingungen. Das oben erläuterte Verfahren beschreibt, wie Parameter für die Lokalisierung in bestimmten Wettersituationen, wie beispielsweise Nebel, Regen und Trockenheit, bestimmt werden können.The landmark-based localization is thus expanded to include an adaptive adaptation to the external atmospheric conditions. The method explained above describes how parameters for localization in certain weather situations, such as fog, rain and drought, can be determined.

Um diese Parameter zu ermitteln, erfolgt folgende Vorgehensweise:

  • - Durchführen von Messfahrten für die jeweiligen Klassen, wie beispielsweise Regen, Nässe und Trockenheit. Die Messfahrten sollen alle Daten für die Lokalisierung enthalten und zudem muss eine Referenzeinheit zur Referenzlokalisierung mitaufgezeichnet werden.
  • - Einteilen der Fahrten in die jeweiligen Klassen - diese Datengrundlage kann als Trainingsset bezeichnet werden.
  • - Innerhalb jeder Klasse werden jetzt die Parameter optimiert. Hier sei dies am Beispiel des Sichtbereichs der Kamera erläutert. Es werden die minimalen und maximalen Parameterwerte sowie die Schrittweite festgelegt. Für jede Fahrt des Trainingssets werden nun alle Parameterkombinationen durchgetestet. Dabei können unterschiedliche zusätzliche Bedingungen an die Parameterkombinationen festgelegt werden. Als Güte-Maß zu Bewertung einer Parameterkombination wird die Referenzlokalisierung herangezogen. Über ein festgelegtes Distanzmaß, wie beispielsweise das euklidisch Abstandsmaß, kann so der Fehler zwischen Referenzlokalisierung und Parameterkombination ermittelt werden. Nachdem alle Fahrten mit allen Kombinationen durchgetestet wurden, wird die beste Fahrt herangezogen. Da Witterung nicht diskret einteilbar ist, wird versucht das Rauschen der besten Fahrt zu bestimmen. Dies geschieht, indem die Abstände der Lokalisierung zur Referenzlokalisierung der besten Fahrt diskretisiert werden. Über diese diskreten Abstände wird die Standardabweichung gebildet. Alle weiteren getesteten Fahrten werden nur weiter betrachtet, wenn sie innerhalb von 2 Standardabweichungen zur besten Fahrt der Klasse liegen. Anschließend können die Parameterwerte aller betrachteten Fahrten gemittelt werden. Sie gelten als optimale Parameterwerte für die Lokalisierung der jeweiligen Klasse.
To determine these parameters, proceed as follows:
  • - Carrying out measurement runs for the respective classes, such as rain, wet and dry. The measurement runs should contain all the data for the localization and a reference unit for the reference localization must also be recorded.
  • - Dividing the trips into the respective classes - this database can be referred to as a training set.
  • - Within each class the parameters are now optimized. This is explained here using the example of the field of view of the camera. The minimum and maximum parameter values and the increment are specified. All parameter combinations are now tested for each ride in the training set. Various additional conditions can be specified for the parameter combinations. The reference localization is used as a quality measure for evaluating a parameter combination. The error between the reference localization and the parameter combination can be determined using a specified distance measure, such as the Euclidean distance measure. After all rides with all combinations have been tested, the best ride is used. Since the weather cannot be classified discretely, an attempt is made to determine the noise of the best trip. This is done by discretizing the distances between the localization and the reference localization of the best trip. The standard deviation is formed using these discrete distances. All other tested rides are only considered further if they are within 2 standard deviations of the best ride in class. The parameter values of all the trips considered can then be averaged. They are considered the optimal parameter values for localizing the respective class.

Das vorgestellte Verfahren bietet eine robuste präzise Lokalisierung mit folgenden Begebenheiten:

  • - Es wird nicht nur ein Parameterset für alle Wetterbedingungen verwendet, sondern für jede Witterung wird ein spezielles Parameterset ermittelt und eingesetzt,
  • - durch die ermittelten witterungsspezifischen Parametersets kann die Lokalisierung an die jeweilige Situation adaptiv auf Robustheit angepasst werden, um Fehllokalisierungen zu vermieden.
The method presented offers a robust precise localization with the following events:
  • - Not only one parameter set is used for all weather conditions, but a special parameter set is determined and used for each weather condition,
  • - Using the determined weather-specific parameter sets, the localization can be adaptively adapted to the respective situation for robustness in order to avoid incorrect localizations.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt

  • 1 eine schematische Darstellung der Lokalisierungsproblematik anhand einer Verkehrssituation,
  • 2 ein Sichtfeld einer Kamera eines Fahrzeugs,
  • 3 Definition des Sichtfeldes,
  • 4 unterschiedliche Sichtfelder als Funktion der Klasse der Umgebungsbedingung, und
  • 5 eine schematische Darstellung der Vorrichtung zur präzisen Lokalisierung.
A preferred embodiment of the invention is explained below with reference to the drawings. while showing
  • 1 a schematic representation of the localization problem based on a traffic situation,
  • 2 a field of view of a camera of a vehicle,
  • 3 definition of the field of view,
  • 4 different fields of view as a function of the environmental condition class, and
  • 5 a schematic representation of the device for precise localization.

Wie bereits oben erwähnt, benötigt ein autonom fahrendes Fahrzeug eine möglichst präzise Lokalisierung in seinem Verkehrsumfeld. Mit andereren Worten, die Position des Fahrzeugs auf der Straße bzw. der Fahrbahn muss möglichst genau, d.h. innerhalb weniger Zentimeter, bekannt sein.As mentioned above, an autonomously driving vehicle needs to be localized as precisely as possible in its traffic environment. In other words, the position of the vehicle on the road or lane must be known as precisely as possible, i.e. within a few centimetres.

So zeigt 1 eine Verkehrssituation an einer Kreuzung 1, die von den beiden Straßen 2 und 3 gebildet wird. Dabei bewegt sich ein erstes Fahrzeug 4 auf der einen Straße 3 geradeaus über die Kreuzung 1 und ein auf der anderen Straße 2 befindliches zweites Fahrzeug 5 möchte nach links abbiegen und kreuzt den Fahrweg des geradeaus fahrenden Fahrzeugs 4. Beide Fahrzeuge 4, 5 verfügen über ein satellitengestütztes Ortungssystem, wie beispielsweise ein GPS-System.So shows 1 a traffic situation at an intersection 1, which is formed by the two streets 2 and 3. A first vehicle 4 is moving straight ahead on one street 3 via the intersection 1 and a second vehicle 5 on the other street 2 wants to turn left and crosses the path of the vehicle 4 driving straight ahead. Both vehicles 4, 5 have a satellite-based positioning system, such as a GPS system.

Die durch die GPS-Ortung bedingten Ungenauigkeiten sind in 1 als Unsicherheitskreise 6, 8 um die jeweiligen Fahrzeuge 4, 5 dargestellt. So können mit GPS das erste Fahrzeug 4 nur innerhalb des GPS-Unsicherheitskreises 6 und das zweite Fahrzeug 5 nur innerhalb des GPS-Unsicherheitskreises 8 lokalisiert werden. Die GPS-Unsicherheitskreise 6, 8 in der Lokalisierung der beiden Fahrzeuge 4, 5 führen durch die jeweilige Fahrzeugbewegung zu sich überschneidenden GPS-Unsicherheitsbereichen 7 und 9, wobei der schraffiert dargestellte Überschneidungsbereich den GPS-Kollisionsbereich 10 bildet. Mit anderen Worten, aufgrund der Ungenauigkeiten in den GPS-Lokalisierungen der beiden Fahrzeuge 4, 5 ergibt sich ein großer möglicher GPS-Kollisionsbereich 10, was für die Sicherheit sich autonom bewegender Fahrzeuge 4, 5 unzureichend ist.The inaccuracies caused by GPS positioning are in 1 shown as circles of uncertainty 6, 8 around the respective vehicles 4, 5. Thus, with GPS, the first vehicle 4 can only be localized within the GPS circle of uncertainty 6 and the second vehicle 5 within the GPS circle of uncertainty 8 . The GPS uncertainty circles 6, 8 in the localization of the two vehicles 4, 5 lead to overlapping GPS uncertainty areas 7 and 9 due to the respective vehicle movement, the overlapping area shown hatched forming the GPS collision area 10. In other words, due to the inaccuracies in the GPS localizations of the two vehicles 4, 5, there is a large possible GPS collision area 10, which is insufficient for the safety of autonomously moving vehicles 4, 5.

Eine präzise Lokalisierung der beiden Fahrzeuge 4, 5 auf den Straßen 2, 3 führt zu deutlich kleineren Unsicherheitskreisen 11 und 13 um die Fahrzeuge 4, 5, so dass die durch die Fahrzeugbewegungen bedingten Unsicherheitsbereiche 12 und 14 hinsichtlich der präzisen Lokalisierung sich in einem deutlich kleineren Kollisionsbereich 15 schneiden, der zweifach gestrichelt dargestellt ist. Es ist also für ein autonomes Fahren notwendig eine präzise Lokalisierung der Fahrzeuge 4, 5 im Umfeld, hier der Kreuzungsbereich 1, bereitzustellen.A precise localization of the two vehicles 4, 5 on the roads 2, 3 leads to significantly smaller circles of uncertainty 11 and 13 around the vehicles 4, 5, so that the areas of uncertainty 12 and 14 caused by the vehicle movements with regard to the precise localization are in a significantly smaller Intersect collision area 15, which is represented by two dashed lines. It is therefore necessary for autonomous driving to provide a precise localization of the vehicles 4, 5 in the area, here the intersection area 1.

Zur präzisen Lokalisierung wird daher die Position des Fahrzeugs auf der Straße beispielsweise anhand der Fahrbahnmarkierungen und sonstiger Merkmale mittels einer geeigneten Sensorik bestimmt, wobei hier im Beispielsfall eine monokulare Kamera zum Einsatz kommt. Die Ergebnisse der Auswertung der Sensordaten werden mit einer digitalen Karte und der GPS-Position fusioniert, um zu einer präzisen Lokalisierung zu kommen. Da automatische Fahrzeuge, d.h. autonom fahrende Fahrzeuge, sich in der realen Welt bewegen und mit den Begebenheiten der realen Welt auseinandersetzen müssen, wird die präzise Lokalisierung anhand von Fahrbahnmarkierungen durch Wetterbedingungen beeinflusst. So ist es offensichtlich, dass die Erkennbarkeit der Fahrbahnmarkierungen für verschiedene Wetterbedingungen wie Trockenheit, Regen, Schnee oder Nebel unterschiedlich ist. Mit anderen Worten, die präzise Lokalisierung mittels Fahrbahnmarkierungen oder in der digitalen Karte verzeichneter Umfeldobjekte wie Ampeln etc. hängt von den Wetterbedingungen ab.For precise localization, the position of the vehicle on the road is therefore determined, for example using the road markings and other features, using a suitable sensor system, with a monocular camera being used here in the example. The results of the evaluation of the sensor data are merged with a digital map and the GPS position in order to arrive at a precise localization. Since automatic vehicles, i.e. autonomously driving vehicles, move in the real world and have to deal with the real world events, the precise localization based on lane markings is affected by weather conditions. So it is obvious that the visibility of the road markings is different for different weather conditions such as dryness, rain, snow or fog. In other words, the precise localization using road markings or surrounding objects such as traffic lights etc. recorded in the digital map depends on the weather conditions.

2 zeigt den Blick aus einem Fahrzeug 25 auf eine Fahrbahn 20 mit verschiedenen Fahrstreifen 21, 22, 23, 24, wobei das trapezförmige Sichtfeld 26 einer Kamera (nicht dargestellt) des Fahrzeugs 25 der Bereich der Kamera ist, der zur Erkennung von Markierungen der Fahrbahn 20 dient. In 2 sind die bereits erkannten Markierungen 27, 28, 29 als schwarze Balken dargestellt, die aufgrund der Vorwärtsbewegung des Fahrzeugs innerhalb des sich über die Fahrbahn 20 hinweg bewegenden Sichtfeldes 26 aufgetreten sind bzw. gerade auftreten. 2 shows the view from a vehicle 25 onto a roadway 20 with different lanes 21, 22, 23, 24, the trapezoidal field of view 26 of a camera (not shown) of the vehicle 25 being the area of the camera that is used to detect markings on the roadway 20 serves. In 2 the already recognized markings 27, 28, 29 are shown as black bars, which have occurred or are currently occurring within the field of vision 26 moving across the roadway 20 due to the forward movement of the vehicle.

In 3 wird das in der 2 perspektivisch dargestellte trapezförmige Sichtfeld 26 formal genauer definiert. Dabei wird das Sichtfeld 26 einer an der Frontseite eines Fahrzeugs angeordneten Kamera 30 definiert durch die Öffnungswinkel α und β, wobei zur weiteren Diskussion angenommen wird, dass gilt α = β. Falls das Sichtfeld 26 nicht symmetrisch vor dem Fahrzeug angeordnet ist, gilt α ≠ β. Die gesamte Höhe h des in 3 dargestellten Dreiecks setzt sich zusammen aus einer festen Höhe hF und der Höhe des Trapezes hT, d.h.: h = h F + h T .

Figure DE102016212774B4_0001
In 3 will that be in the 2 Perspectively shown trapezoidal field of view 26 formally defined more precisely. In this case, the field of view 26 of a camera 30 arranged on the front side of a vehicle is defined by the aperture angles α and β, it being assumed for further discussion that α=β applies. If the field of view 26 is not arranged symmetrically in front of the vehicle, α≠β applies. The total height h of the in 3 The triangle shown consists of a fixed height h F and the height of the trapezoid h T , ie: H = H f + H T .
Figure DE102016212774B4_0001

Dabei ist die feste Höhe hF durch die Montage der Kamera 30 am Fahrzeug bedingt und daher vorgegeben. Variabel ist die Höhe hT des Trapezes 26 und damit dessen obere Breite w, die sich zusammensetzt aus der linken Breite w1 und der rechten Breite w2. Folglich gilt: w = w 1 + w 2 ,

Figure DE102016212774B4_0002
wobei für α = β gilt w1 = w2. Es können daher die Höhe hT und die Breite w des Trapezes 26 variiert und als veränderliche Parameter des Sichtfeldes 26 der Kamera 30 betrachtet werden.The fixed height h F is due to the mounting of the camera 30 on the vehicle and is therefore predetermined. The height h T of the trapezium 26 and thus its upper width w, which is made up of the left width w 1 and the right width w 2 , are variable. Consequently: w = w 1 + w 2 ,
Figure DE102016212774B4_0002
where for α = β applies w 1 = w 2 . Therefore, the height h T and the width w of the trapezium 26 can be varied and considered to be variable parameters of the field of view 26 of the camera 30 .

4 zeigt das Ergebnis für Sichtfelder 26 vor einem Fahrzeug 25 als Funktion der Wetterklasse, wobei im vorliegenden Beispiel die drei Wetterklassen „Trocken“ (Dry), „Nass“ (Wet) und „Regen“ (Rain) verwendet werden. Es ist offensichtlich, dass weitere Wetterklassen definiert werden können, beispielsweise könnte die Klasse „Regen“ differenziert werden in „leichter Regen“, „mittlerer Regen“ und „starker Regen“. Ferner könnten auch Klassen wie „Nebel“ und „Schneefall“ definiert werden, die in weitere Unterklassen differenzierbar sind. 4 shows the result for fields of vision 26 in front of a vehicle 25 as a function of the weather class, with the three weather classes “dry” (dry), “wet” (wet) and “rain” (rain) being used in the present example. It is obvious that further weather classes can be defined, for example the "rain" class could be differentiated into "light rain", "medium rain" and "heavy rain". Furthermore, classes such as "fog" and "snowfall" could also be defined, which can be differentiated into further subclasses.

Es stellt sich heraus, dass für jede der Wetterklassen „Trocken“, „Nass“ und „Regen“ zur Bildung der jeweiligen Sichtfelder 26 unterschiedliche Parameter zur optimalen Erkennung der Fahrbahnmarkierungen zum Einsatz kommen. Diese unterschiedlichen Parameter für die Höhe h, dfie sich zusammensetzt aus der Trapezhöhe hT und der fixen Höhe hF, und die Breite w des Sichtfeldes 26 führen zu unterschiedlichen Trapezen, nämlich das Trapez TR für die Wetterklasse „Regen“, das Trapez TD für die Wetterklasse „Trocken“ und das Trapez Tw für die Wetterklasse „Nass“. Dabei sind in dem Beispiel die drei Wetterklassen selbsterklärend. So steht „Trocken“ für eine trockene Fahrbahn, „Nass“ für eine nasse Fahrbahn ohne Regen und „Regen“ für eine Fahrbahn bei aktuellem Regen. Die Wetterklassen lassen sich beispielsweise aus den Daten eines geeigneten Sensors, beispielsweise einem Regensensor in Kombination mit weiteren Sensoren, ableiten.It turns out that for each of the weather classes "dry", "wet" and "rain" 26 different parameters are used to form the respective fields of vision for optimal recognition of the lane markings. These different parameters for the height h, dfie composed of the trapezium height h T and the fixed height h F , and the width w of the field of view 26 lead to different trapeziums, namely the trapezium T R for the weather class "rain", the trapezium T D for the "Dry" weather class and the Trapez Tw for the "Wet" weather class. In the example, the three weather classes are self-explanatory. "Dry" stands for a dry road, "wet" for a wet road without rain and "rain" for a road with current rain. The weather classes can be derived, for example, from the Derive data from a suitable sensor, for example a rain sensor in combination with other sensors.

Zur Bestimmung der Parameter werden Trainingsfahrten bei den klassifizierten Wetterbedingungen durchgeführt und die Fahrbahnmarkierungen bestimmt, wobei zur Auswertung der Messungen die Parameter Höhe des Trapezes hT und die Breite w des Trapezes innerhalb vorgegebener Grenzen variiert werden. Mit anderen Worten, es werden der Fahrbahnmarkierungen bei der vorgegebene Wetterklasse für eine vorgegebene Anzahl von Trainingsfahrten vermessen, die Messdaten werden mit vorgegebenen Parametersätzen für das Sichtfeld ausgewertet und für den jeweiligen Parametersatz die Lokalisierung des Fahrzeugs ermittelt und mit Referenzwerten verglichen. Aus der Abweichung der Lokalisierung und den Referenzwerten kann dann eine Lokalisierungsqualität für den verwendeten Parametersatz bei der jeweiligen Wetterklasse bestimmt werden, wobei beispielsweise der absolute euklidsche Abstand mit anschließender Mittelwertbildung verwendet werden kann. Aus der Vielzahl der Trainingsfahrten können dann Mittelwerte der Lokalisierungsquantitäten für die verschiedenen Parametersätze bestimmt werden, so dass für eine vorgegebene Wetterklasse ein optimaler Parametersatz ermittelt werden kann.To determine the parameters, training drives are carried out under the classified weather conditions and the road markings are determined, with the parameters height of the trapezoid h T and width w of the trapezium being varied within specified limits to evaluate the measurements. In other words, the road markings are measured in the specified weather class for a specified number of training drives, the measurement data are evaluated with specified sets of parameters for the field of vision and the localization of the vehicle is determined for the respective set of parameters and compared with reference values. A localization quality for the parameter set used for the respective weather class can then be determined from the deviation of the localization and the reference values, it being possible, for example, to use the absolute Euclidean distance with subsequent averaging. Average values of the localization quantities for the various sets of parameters can then be determined from the large number of training drives, so that an optimal set of parameters can be determined for a given weather class.

Die folgende Tabelle 1 zeigt beispielhaft die durch Trainingsfahrten ermittelten Parameterwerte „Breite w“ und „Gesamthöhe h“ für die hier verwendeten Wetterklassen „Trocken“, „Regen“ und „Nass“: Tabelle 1 Klasse Breite w (m) Höhe h (m) Fläche (m2) Regen 7,3 16,1 99,82 Nass 10 16,4 123,82 Trocken 9,7 15,5 113,96 The following Table 1 shows an example of the parameter values “Width w” and “Total height h” determined by training drives for the weather classes “Dry”, “Rain” and “Wet” used here: Table 1 Class Width w (m) height h (m) Area (m 2 ) Rain 7.3 16.1 99.82 Wet 10 16.4 123.82 Dry 9.7 15.5 113.96

5 zeigt eine schematische Darstellung der Vorrichtung zur präzisen Lokalisierung eines Fahrzeugs in seinem Umfeld, d.h. auf der Fahrbahn. Eine Monokamera 30 erstellt zyklische Bilder der Fahrbahn bzw. des Umfeldes vor dem fahrenden Fahrzeug. Die Bilddaten der Kamera 30 werden einer Einrichtung 31 zur Extraktion der Fahrbahnmarkierungen zugeführt, welche die Fahrbahnmarkierungen aus den Kamerabilder extrahiert und als Messdaten weitergibt. Dabei erfolgt die Extraktion der Fahrbahnmarkierungen aus den Kamerabildern üblicherweise mittels geeigneten Bildverarbeitungsverfahren. Diese Messdaten werden einer Auswerteeinheit 34 zugeführt, welche die Daten zur Verringerung des Messrauschens filter, und speichert. Aus den Daten wird eine aktuelle Karte des Umfelds des Fahrzeugs erstellt, die mit den neuen Daten fortlaufend ergänzt wird, d.h. es wird ein Tracking und Fusionieren der neuen Daten mit den vorherigen Daten, d.h. der Umfeldkarte, durchgeführt. 5 shows a schematic representation of the device for the precise localization of a vehicle in its environment, ie on the roadway. A mono camera 30 creates cyclic images of the roadway or the environment in front of the moving vehicle. The image data from the camera 30 are fed to a device 31 for extracting the lane markings, which extracts the lane markings from the camera images and forwards them as measurement data. The road markings are usually extracted from the camera images using suitable image processing methods. These measurement data are supplied to an evaluation unit 34, which filters and stores the data to reduce the measurement noise. A current map of the surroundings of the vehicle is created from the data, which is continuously supplemented with the new data, ie the new data is tracked and merged with the previous data, ie the surroundings map.

Um die Umfeldkarte in der Auswerteeinrichtung 34 erstellen zu können, werden aus den Daten einer Sensorik 32, die diverse Fahrzeugsensoren, wie ESP und ABS zur Lieferung odometrischer Daten und eine GPS-Einrichtung umfasst, mittels einer nachfolgenden Einrichtung 33 die Fahrzeugposition und die Fahrzeugeigenbewegung bestimmt. Diese Informationen werden der Auswerteeinrichtung 34 zur Erstellung der Umfeldkarte zugeführt. Ferner werden die Informationen der Einrichtung 33 zur Bestimmung der Fahrzeugeigenbewegung einem elektronischen Horizont 36 zugeführt, der aufgrund der Fahrzeugposition eine digitale Karte des entsprechenden Umfelds des Fahrzeugs bereitstellt, wobei die digitale Karte die Fahrbahnmarkierungen enthält. Die elektronische Karte kann dabei über eine Mobilfunkschnittstelle vom elektronischen Horizont 36 angefordert und bereitgestellt werden.In order to be able to create the environment map in the evaluation device 34, the vehicle position and the vehicle's own movement are determined from the data from a sensor system 32, which includes various vehicle sensors such as ESP and ABS for supplying odometric data and a GPS device, by means of a downstream device 33. This information is fed to the evaluation device 34 to create the environment map. Furthermore, the information from the device 33 for determining the vehicle's own movement is supplied to an electronic horizon 36 which, based on the vehicle position, provides a digital map of the corresponding surroundings of the vehicle, the digital map containing the lane markings. The electronic map can be requested and made available by the electronic horizon 36 via a mobile radio interface.

Um in der Auswerteeinheit 34 die Fahrbahnmarkierungen optimal Lokalisieren und Tracken zu können, damit eine optimale Erstellung der Umfeldkarte der Auswerteeinheit 34 möglich ist, müssen der Auswerteeinheit die Wetterbedingungen, d.h. die Wetterklasse, bekannt sein, damit je nach Wetterklasse der entsprechende Parametersatz für das Sichtfeld der Kamera zur Auswertung gewählt werden kann. Die Bestimmung der Wetterklasse erfolgt über eine entsprechende Einrichtung 35, die mittels diverser im Fahrzeug vorhandener Sensorik abklärt, welche Wetterbedingungen im Umfeld des Fahrzeugs herrschen. Dazu können Informationen des Regensensors, der Klimaanlage, der Uhrzeit, der Beleuchtungsanlage des Fahrzeugs, oder einer anderen geeigneten Umfeldsensorik, verwendet werden. Aus den Informationen wird das vorherrschende Wetter bestimmt und in Wetterklassen klassifiziert. Das Ergebnis der Klassifizierung, d.h. die Wetterklasse, wird der Auswerteeinrichtung 34 zur Verwendung bei der Lokalisierung der Fahrbahnmarkierungen zur Erstellung der Umfeldkarte zugeführt.In order to be able to optimally localize and track the road markings in the evaluation unit 34, so that an optimal creation of the environment map of the evaluation unit 34 is possible, the evaluation unit must know the weather conditions, i.e. the weather class, so that, depending on the weather class, the corresponding parameter set for the field of vision of the Camera can be selected for evaluation. The weather class is determined via a corresponding device 35, which uses various sensors present in the vehicle to clarify what weather conditions prevail in the area surrounding the vehicle. Information from the rain sensor, the air conditioning system, the time, the lighting system of the vehicle, or another suitable environment sensor system can be used for this purpose. The prevailing weather is determined from the information and classified into weather classes. The result of the classification, i.e. the weather class, is fed to the evaluation device 34 for use in locating the road markings to create the environment map.

Die von der Auswerteeinrichtung 34 erstellte Umfeldkarte und die vom elektronischen Horizont 36 bereitgestellte digitale Karte werden in einer Fusionseinrichtung 37 fusioniert und eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld durchgeführt. Dazu werden die erkannten Fahrbahnmarkierungen der Umfeldkarte mit den Fahrbahnmarkierungen der digitalen Karte abgeglichen und die Position des Fahrzeugs erneut bestimmt. Die so bestimmte Lokalisierung des Fahrzeugs wird einer Ausgabeeinrichtung 38 zu weiteren Verwendung zugeführt.The environment map created by the evaluation device 34 and the digital map provided by the electronic horizon 36 are merged in a fusion device 37 and a precise localization of the vehicle in its environment is carried out. To do this, the lane markings recognized on the map of the surroundings are compared with the lane markings on the digital map and the position of the vehicle is determined again. The localization of the vehicle determined in this way is supplied to an output device 38 for further use.

BezugszeichenlisteReference List

11
KreuzungCrossing
22
StraßeStreet
33
StraßeStreet
44
erstes Fahrzeugfirst vehicle
55
zweites Fahrzeugsecond vehicle
66
GPS-Unsicherheitkreis erstes FahrzeugGPS uncertainty circle first vehicle
77
GPS-Unsicherheitsbereich erstes FahrzeugGPS uncertainty area first vehicle
88th
GPS-Unsicherheitskreis zweites FahrzeugGPS uncertainty circle second vehicle
99
GPS-Unsicherheitsbereich zweites FahrzeugGPS uncertainty area second vehicle
1010
GPS-KollisionsbereichGPS collision area
1111
Unsicherheitskreis präzise Lokalisierung erstes Fahrzeugcircle of uncertainty precise localization of first vehicle
1212
Unsicherheitsbereich präzise Lokalisierung erstes FahrzeugUncertainty area precise localization of first vehicle
1313
Unsicherheitskreis präzise Lokalisierung zweites Fahrzeugcircle of uncertainty precise localization of second vehicle
1414
Unsicherheitsbereich präzise Lokalisierung zweites FahrzeugUncertainty area precise localization of second vehicle
1515
Kollisionsbereich präzise Lokalisierung Collision area precise localization
2020
Fahrbahnroadway
2121
Fahrstreifenlane
2222
Fahrstreifenlane
2323
Fahrstreifenlane
2424
Fahrstreifenlane
2525
Fahrzeugvehicle
2626
Sichtfeld Kamerafield of view camera
2727
erkannte Markierungrecognized mark
2828
erkannte Markierungrecognized mark
2929
erkannte Markierungrecognized mark
3030
Kameracamera
3131
Extraktion der MarkierungenExtraction of the marks
3232
Fahrzeugsensoren, GPSVehicle sensors, GPS
3333
Bestimmung der absoluten Fahrzeugposition und FahrzeugbewegungDetermination of the absolute vehicle position and vehicle movement
3434
Auswerten der Fahrbahnmarkierungen, Erstellen einer gemessenen UmfeldkarteEvaluation of the road markings, creation of a measured environment map
3535
Umfeldsensorik zur Bestimmung der WetterklasseEnvironment sensors to determine the weather class
3636
Elektronischer Horizont (digitale Umfeldkarte)Electronic horizon (digital environment map)
3737
Fusionierung digitale Karte und UmfeldkarteFusion of digital map and environment map
3838
Ausgabe der präzisen Lokalisierung Precise localization output
hH
Gesamthöheoverall height
hFhF
feste Höhefixed height
hThT
Höhe TrapezHeight trapezoid
ww
Gesamtbreite TrapezOverall width trapezoid
w1w1
linke Breite Trapezleft latitude trapezium
w2w2
rechte Breite Trapezright latitude trapezium
αa
Winkelangle
ββ
Winkel angle
Ff
Fahrzeugvehicle
TRTR
Trapez für Klasse „Regen“ (Rain)Trapeze for class "Rain" (Rain)
TDTD
Trapez für Klasse „Trocken“ (Dry)Trapeze for class "Dry" (Dry)
TWTW
Trapez für Klasse „Nass“ (Wet)Wet Class Trapeze

Claims (10)

Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten: - zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs (4, 5, 25) mittels mindestens einer bilderzeugenden Einrichtung (30), - Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild, - Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung, - Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.Method for generating an environment map for the purpose of locating a vehicle (4, 5, 25) in its environment, with the steps: - cyclic creation of images of the environment of the vehicle (4, 5, 25) using at least one image-generating device (30), - Extracting landmarks (27, 28, 29) from the cyclic images of the image-generating device and creating a measurement data set for each image, - determining the vehicle position and the vehicle's own movement, - creating an environment map from the measurement data set, with only a predetermined field of view within the measurement data set (26) is taken into account, as well as the vehicle position and the vehicle's own movement, characterized in that the specified field of view (26) for evaluating the cyclic measurement data records is a function of the current weather conditions. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) durch einen Satz von Parametern (h, w) parametrisiert ist, wobei der Parametersatz ein Funktion der Wetterbedingung ist.procedure after claim 1 , characterized in that the predetermined field of view (26) is parameterized by a set of parameters (h, w), the set of parameters being a function of the weather condition. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen erfolgt.procedure after claim 2 , characterized in that the weather condition is classified into a predetermined number of weather classes. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Landmarken durch die Fahrbahnmarkierungen (27, 28, 29), das Umfeld durch die Fahrbahn vor dem Fahrzeug (4, 5, 25) und das Sichtfeld (26) durch ein Trapez (26) auf der Fahrbahn (20) gebildet werden.Method according to one of the preceding claims, characterized in that the landmarks are defined by the lane markings (27, 28, 29), the surroundings by the lane in front of the vehicle (4, 5, 25) and the field of vision (26) by a trapezoid (26 ) are formed on the lane (20). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für die jeweilige Wetterbedingung ermittelt wird, wobei die Optimierung des Sichtfeldes (26) durch die Durchführung einer Lokalisierung des Fahrzeugs (4, 5, 25) für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt.Method according to one of the preceding claims, characterized in that the specified field of view for a weather condition is determined by a specified number of measurement runs for the respective weather condition, the optimization of the field of view (26) being carried out by localizing the vehicle (4, 5, 25 ) for each measurement run and comparison of each localization determined in this way with a reference localization. Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, aufweisend: - eine bilderzeugende Einrichtung (30) zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs (4, 5, 25), - eine Einrichtung (31) zum Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung (30) und Erstellen eines Messdatensatzes für jedes Bild, - eine Einrichtung (33) zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung, - eine Einrichtung (34) zum Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, gekennzeichnet durch - eine Einrichtung (35) zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld (26) eine Funktion der aktuellen Wetterbedingung ist.Device for generating an environment map for the purpose of locating a vehicle (4, 5, 25) in its environment, the device being set up and designed for carrying out the method according to one of the preceding claims, having: - an image-generating device (30) for generation cyclic images of the surroundings of the vehicle (4, 5, 25), - a device (31) for extracting landmarks (27, 28, 29) from the cyclic images of the image-generating device (30) and creating a measurement data set for each image, - a device (33) for determining the vehicle position and the vehicle's own movement, - a device (34) for creating a map of the surroundings from the measurement data record, wherein only a predetermined field of view (26) is taken into account within the measurement data record, as well as the vehicle position and the vehicle's own movement, characterized by - means (35) for determining the current weather condition, the predetermined field of view (26) being a function of the current weather condition. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Einrichtung (35) zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durchführt.device after claim 6 , characterized in that the device (35) for determining the current weather condition carries out a classification of the weather condition into a predetermined number of weather classes. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass pro Wetterklasse genau ein Sichtfeld (26) hinterlegt ist, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.device after claim 7 , characterized in that exactly one field of view (26) is stored for each weather class, which is determined by measuring runs for the respective weather class. Verfahren zur Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten: - Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs (4, 5, 25), - Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken (27, 28, 29) des aktuellen Umfelds aufweist, - Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs (4, 5, 25) in seinem Umfeld, dadurch gekennzeichnet, dass die Umfeldkarte mit einem Verfahren nach einem der Ansprüche 1 bis 5 erzeugt wird.Method for locating a vehicle (4, 5, 25) in its environment with the steps: - Generating an environment map of the current environment of the vehicle (4, 5, 25), - Providing a digital map of the current environment of the vehicle, the digital Map has the landmarks (27, 28, 29) of the current environment, - merging the environment map and the digital map to generate a localization of the vehicle (4, 5, 25) in its environment, characterized in that the environment map with a method one of the Claims 1 until 5 is produced. Vorrichtung zur Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld, wobei die Vorrichtung zur Durchführung des Verfahren nach Anspruch 9 eingerichtet und ausgelegt ist, aufweisend - eine Einrichtung (34) zur Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs (4, 5, 25), - eine Einrichtung (36) zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs(4, 5, 25), wobei die digitale Karte die Landmarken (27, 28, 29) des aktuellen Umfelds aufweist, - eine Einrichtung (37) zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs (4, 5, 25) in seinem Umfeld, gekennzeichnet durch eine Vorrichtung zur Erzeugung einer Umfeldkarte nach einem der Ansprüche 6 bis 8.Device for locating a vehicle (4, 5, 25) in its environment, the device for carrying out the method claim 9 is set up and designed, having - a device (34) for generating an environment map of the current environment of the vehicle (4, 5, 25), - a device (36) for providing a digital map of the current environment of the vehicle (4, 5, 25), the digital map having the landmarks (27, 28, 29) of the current environment, - a device (37) for merging the environment map and the digital map to generate a localization of the vehicle (4, 5, 25) in its Environment, characterized by a device for generating an environment map according to one of Claims 6 until 8th .
DE102016212774.8A 2015-07-17 2016-07-13 Method and device for generating a map of the surroundings and for locating a vehicle Active DE102016212774B4 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015009103 2015-07-17
DE102015009103.4 2015-07-17

Publications (2)

Publication Number Publication Date
DE102016212774A1 DE102016212774A1 (en) 2017-01-19
DE102016212774B4 true DE102016212774B4 (en) 2023-04-06

Family

ID=57630172

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016212774.8A Active DE102016212774B4 (en) 2015-07-17 2016-07-13 Method and device for generating a map of the surroundings and for locating a vehicle

Country Status (1)

Country Link
DE (1) DE102016212774B4 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016214028A1 (en) * 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for determining a position of a mobile unit
DE102018220799A1 (en) 2018-12-03 2020-06-04 Robert Bosch Gmbh Method for operating a vehicle
DE102019004652A1 (en) 2019-07-02 2020-01-23 Daimler Ag Driver assistance system for determining a current position of the motor vehicle and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (en) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomous vehicle and guiding method for an autonomous vehicle
DE102007003014A1 (en) 2007-01-20 2008-07-24 Volkswagen Ag Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal
DE102008034923A1 (en) 2008-07-26 2010-01-28 Hkw-Elektronik Gmbh Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (en) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomous vehicle and guiding method for an autonomous vehicle
DE102007003014A1 (en) 2007-01-20 2008-07-24 Volkswagen Ag Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal
DE102008034923A1 (en) 2008-07-26 2010-01-28 Hkw-Elektronik Gmbh Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner

Also Published As

Publication number Publication date
DE102016212774A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
EP3443301B1 (en) Method and system for determining a global position of a first landmark
EP3731187B1 (en) Method and device for determining the geographical position and orientation of a vehicle
EP3380811B1 (en) Method and system for creating a digital map
DE102010006828B4 (en) Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
DE102012207620B4 (en) System and method for light signal detection
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102017108774A1 (en) Tire Track maps estimate
WO2016188523A1 (en) Method for estimating traffic lanes
DE102016117123A1 (en) Vehicle radar perception and localization
EP3292423B1 (en) Diagnostic method for a vision sensor of a vehicle and vehicle having a vision sensor
DE102016203723A1 (en) Method and system for determining the pose of a vehicle
EP3380810B1 (en) Method, device, map processing device and system for precise localization of a vehicle in its surroundings
WO2017089135A1 (en) Method and system for creating a lane-accurate occupancy grid map for lanes
DE102016213817B4 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
EP2116958B1 (en) Method and device for calculating the drive path in the area in front of a vehicle
DE102016213782A1 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
DE102016209232B4 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a roadway
DE102015115012A1 (en) Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
DE102016212774B4 (en) Method and device for generating a map of the surroundings and for locating a vehicle
EP3391086A1 (en) Improved method for determining the roadside development of a road for locating motor vehicles
DE102018215055A1 (en) Method for determining a lane change indication of a vehicle, a computer-readable storage medium and a vehicle
DE102019112279A1 (en) METHOD AND DEVICE FOR DIAGONAL TRACK DETECTION
DE102016220581A1 (en) METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL
DE102016207181B4 (en) Method and system for determining a position of a vehicle on a roadway

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01W0001000000

Ipc: B60W0040020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final