DE102016212774A1 - Method and device for generating an environment map and for locating a vehicle - Google Patents

Method and device for generating an environment map and for locating a vehicle Download PDF

Info

Publication number
DE102016212774A1
DE102016212774A1 DE102016212774.8A DE102016212774A DE102016212774A1 DE 102016212774 A1 DE102016212774 A1 DE 102016212774A1 DE 102016212774 A DE102016212774 A DE 102016212774A DE 102016212774 A1 DE102016212774 A1 DE 102016212774A1
Authority
DE
Germany
Prior art keywords
vehicle
environment
map
view
weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016212774.8A
Other languages
German (de)
Other versions
DE102016212774B4 (en
Inventor
Marek Stess
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of DE102016212774A1 publication Critical patent/DE102016212774A1/en
Application granted granted Critical
Publication of DE102016212774B4 publication Critical patent/DE102016212774B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld und eine entsprechend Vorrichtung führt die folgenden Schritte aus: – zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer Kamera, – Extrahieren von Landmarken aus den zyklischen Bildern der Kamera, wobei innerhalb eines Bildes nur ein vorgegebenes Sichtfeld zur Auswertung bezüglich der Landmarken berücksichtigt wird, – Erstellen einer Umfeldkarte aus den extrahierten Landmarken, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Bilder eine Funktion der herrschenden Wetterbedingungen ist. Durch eine Fusionierung der so erzeugten Umfeldkarte und einer digitalen Karte wird eine präzise Lokalisierung des Fahrzeugs erreicht.A method for generating an environment map for the purpose of localizing a vehicle in its surroundings and a corresponding device performs the following steps: cyclically creating images of the surroundings of the vehicle by means of at least one camera, extracting landmarks from the cyclic images of the camera, wherein within an image only a predetermined field of view for evaluation with respect to the landmarks is taken into account, - creating an environment map from the extracted landmarks, wherein the predetermined field of view for evaluating the cyclic images is a function of the prevailing weather conditions. By fusing the resulting environment map and a digital map, a precise localization of the vehicle is achieved.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld gemäß dem Oberbegriff des Anspruchs 1, eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6, ein Verfahren zur Lokalisierung eines autonomen Fahrzeugs in seiner Umgebung gemäß dem Oberbegriff des Anspruchs 9 sowie eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10.The invention relates to a method for generating an environment map for the purpose of localization of a vehicle in its environment according to the preamble of claim 1, a corresponding device according to the preamble of claim 6, a method for locating an autonomous vehicle in its environment according to the preamble of the claim 9 and a corresponding device with the features of claim 10.

Automatisches bzw. autonomes Fahren erfordert eine hochgenaue Lokalisierung des Fahrzeugs in seiner Umgebung. Da automatische Fahrzeuge sich nicht in "gutmütigen" Umgebungen, sondern in der realen Welt bewegen müssen und somit direkt atmosphärischen Störungen, wie zum Beispiel Jahreszeiten, Wetterveränderungen und Lichteffekten, ausgesetzt sind, müssen die Lokalisierungsverfahren robust und die Lokalisierung in jeder Situation gewährleistet sein, da diese atmosphärischen Störungen die Lokalisierung beeinflussen können.Automatic or autonomous driving requires a highly accurate localization of the vehicle in its environment. Since automated vehicles do not have to move in "good-natured" environments, but in the real world and are thus directly exposed to atmospheric disturbances, such as seasons, weather changes and lighting effects, localization procedures must be robust and localization guaranteed in every situation these atmospheric disturbances can affect the localization.

Wird von einer Lokalisierung im Kontext des automatischen Fahrens gesprochen, so besteht die Lokalisierung aus einem zweigeteilten Ansatz. Im ersten Schritt wird aus Beobachtungen während einer oder mehrerer Messfahrten eine Karte erzeugt. Im nächsten Schritt wird versucht sich mit Beobachtungen einer nachfolgenden Fahrt auf den zuvor erstellten Karten zu lokalisieren. In beiden Schritten sind die Beobachtungen für die Lokalisierung von entscheidender Bedeutung. Jedoch hängen diese Beobachtungen von den eingesetzten Sensoren und der das Fahrzeug umgebenden Situation ab. Beispielsweise verhalten sich Beobachtungen aus einem Laserscanner bei Regen anders als bei Trockenheit. Auch eine Kamera liefert unterschiedliche Beobachtungen bei Regen, Nässe und Trockenheit.When talking about localization in the context of automatic driving, localization consists of a two-part approach. In the first step, a map is generated from observations during one or more test drives. In the next step you will try to locate yourself with observations of a subsequent trip on the previously created maps. In both steps, the observations for localization are of crucial importance. However, these observations depend on the sensors used and the situation surrounding the vehicle. For example, observations from a laser scanner behave differently in rain than in drought. A camera also provides different observations in rain, moisture and drought.

Die oben genannte Problematik wurde bislang durch folgende Herangehensweisen zu lösen versucht:

  • – Sammlung von Beobachtungen in unterschiedlichen Situationen, wie beispielsweise bei Trockenheit, Regen, Nässe, etc., zur Erstellung von Karten, die weitestgehend unabhängig von atmosphärischen Gegebenheit sind. Live-Beobachtungen können so allerdings nicht beeinflusst werden.
  • – Anpassung der Sensor-Detektion der Beobachtungen. Dabei wird der Detektionsalgorithmus für jede atmosphärische Störung trainiert, um beispielsweise die Detektion von Bildobjekten in den jeweiligen Situationen zu verbessern.
The above problem has hitherto been attempted to be solved by the following approaches:
  • - Collection of observations in different situations, such as drought, rain, wet, etc., to create maps that are largely independent of atmospheric conditions. However, live observations can not be influenced.
  • - Adjustment of the sensor detection of the observations. In this case, the detection algorithm is trained for each atmospheric disturbance, for example in order to improve the detection of image objects in the respective situations.

Diese Vorgehensweisen haben zwei inhärente Nachteile:

  • – Werden die Karten aus unterschiedlichen Beobachtungen in unterschiedlichen Situationen erstellt, so bedeutet dies nicht, dass während der Lokalisierung in einer bestimmten Situation, wie beispielsweise Regen, die Beobachtungen gut zur Karte korrespondieren. Eine Robustheit der Lokalisierung gegen atmosphärische Störungen ist deshalb nicht zwingend gegeben.
  • – Durch die reine Anpassung der Sensor-Detektion der Beobachtungen werden die Ausgaben des Sensors zwar direkt für jede Situation verbessert, ob dies jedoch direkt eine Verbesserung der Lokalisierung mit sich bringt ist bislang offen.
These approaches have two inherent disadvantages:
  • - If the maps are created from different observations in different situations, this does not mean that during localization in a given situation, such as rain, the observations correspond well to the map. A robustness of the localization against atmospheric disturbances is therefore not necessarily given.
  • - The mere adaptation of the sensor detection of the observations, although the outputs of the sensor directly improved for each situation, but whether this directly brings an improvement in localization is so far open.

Insgesamt führt dies dazu, dass die Anpassungen von Karte und Beobachtungen ohne Betrachtung der Lokalisierungsergebnisse nicht zwingend sinnvoll für eine Lokalisierungsoptimierung gewählt wurden. Overall, this leads to the fact that the adjustments of map and observations without consideration of the localization results were not necessarily chosen sensibly for a localization optimization.

Die Druckschrift EP 0 913 751 B1 betrifft ein autonomes Fahrzeug und ein Verfahren zur Steuerung eines autonomen Fahrzeugs, umfassend eine Eingabeeinheit für einen oder mehrere Fahraufträge, eine Einrichtung zur Routenplanung, umfassend mindestens eine Positionserkennungseinrichtung und eine digitale Straßenkarte, eine Einrichtung zur Generierung eines Weges, eine Anordnung von Sensoren, umfassend jeweils mindestens einen Abstandssensor zur Erfassung von Objekten und Beschaffenheitsmerkmalen des Weges, eine Kollisionsvermeidungseinrichtung, eine Einrichtung zur Zustandsdatenerkennung des Fahrzeuges, eine Fahrzeugkontolleinrichtung und eine Einrichtung zur Steuerung der Fahrzeugaktorik als Funktion der von der Fahrzeugkontrolleinrichtung erzeugten Signale. Dabei umfasst die Anordnung von Sensoren mindestens folgende Sensoren: zwei im wesentlichen horizontal ausgerichtete, im vorderen Bereich des Fahrzeugs angeordnete Abstandssensoren, mindestens einen im vorderen Bereich des Fahrzeugs angeordneten Abstandssensor, mindestens einen im hinteren Bereich des Fahrzeugs angeordneten Abstandssensor, mindestens einen auf dem Dach des Fahrzeugs angeordneten, auf die Fahrbahn gerichteten Abstandssensor mit nachführbarem Abtastwinkel, an den jeweiligen Seiten des Fahrzeugs angeordnete Ultraschallsensoren oder Mikrowellen-Radarsensoren und mindestens jeweils eine im vorderen und hinteren Bereich des Fahrzeugs angeordnete Kamera. The publication EP 0 913 751 B1 relates to an autonomous vehicle and a method for controlling an autonomous vehicle, comprising an input unit for one or more driving jobs, a route planning device comprising at least one position detection device and a digital road map, means for generating a path, an array of sensors each comprising at least one distance sensor for detecting objects and quality features of the path, a collision avoidance device, a device for detecting the state of the vehicle, a vehicle control device and a device for controlling the vehicle actuation as a function of the signals generated by the vehicle control device. The arrangement of sensors comprises at least the following sensors: two substantially horizontally oriented distance sensors arranged in the front region of the vehicle, at least one distance sensor arranged in the front region of the vehicle, at least one distance sensor arranged in the rear region of the vehicle, at least one on the roof of the vehicle Vehicle arranged on the roadway facing distance sensor with trackable scanning angle, arranged on the respective sides of the vehicle ultrasonic sensors or microwave radar sensors and at least one each arranged in the front and rear of the vehicle camera.

Die Druckschrift DE 10 2008 034 923 A1 offenbart ein Verfahren zum Steuern der klimatischen Bedingungen eines eine Heizung und/oder eine Klimaanlage enthaltenden Gebäudes mit mindestens einem außerhalb des Gebäudes angeordneten, der Erfassung der Temperatur dienenden Sensor, unter Nutzung von über einen Datenkanal verbreiteten Wetterdaten einer den Ort des Gebäudes einschließenden prognostizierten Großwetterlage und unter Nutzung der von dem Sensor erfassten physikalischen Größe durch Errechnen einer sich auf den Ort des Gebäudes beziehenden Prognose der Kleinstwetterlage, wobei die Prognose zur Steuerung der Heizung oder Klimaanlage dient. The publication DE 10 2008 034 923 A1 discloses a method for controlling the climatic conditions of a building containing a heating and / or an air conditioning system with at least one outside the building, the detection of the temperature serving sensor, using distributed over a data channel weather data of a location of the building enclosing predicted large-scale weather situation and using the physical quantity sensed by the sensor by computing a minimum weather condition prognosis relating to the location of the building, the forecast being for controlling the heating or air conditioning.

Vollständig autonom fahrende Fahrzeug benötigen eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld, d.h. auf der Straße bzw. der Fahrbahn, was unter Umständen bedingt durch Wetterbedingungen, wie Regen, Schnee, Nebel etc. nicht ausreichend gewährleistet ist. Fully autonomous vehicles require precise localization of the vehicle in its environment, i. on the road or the road, which is under certain circumstances due to weather conditions, such as rain, snow, fog, etc. is not sufficiently guaranteed.

Der Erfindung liegt daher die Aufgabe zugrunde, die Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld sowie die Lokalisierung eines Fahrzeugs in seinem Umfeld zu verbessern.The invention is therefore based on the object to improve the generation of an environment map for the purpose of localization of a vehicle in its environment and the localization of a vehicle in its environment.

Diese Aufgabe wird durch eine Verfahren zur Erzeugung einer Umfeldkarte mit den Merkmalen des Anspruchs 1, durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6, durch ein Verfahren zu Lokalisierung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a method for generating an environment map with the features of claim 1, by a corresponding device with the features of claim 6, by a method for locating a vehicle with the features of claim 9 and by a corresponding device having the features of Claim 10 solved. Preferred embodiments of the invention are subject of the dependent claims.

Das erfindungsgemäße Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld umfasst die folgenden Schritte:

  • – zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer bilderzeugenden Einrichtung,
  • – Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
  • – Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
  • – Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.
The inventive method for generating an environment map for the purpose of localizing a vehicle in its environment comprises the following steps:
  • - Cyclic creation of images of the environment of the vehicle by means of at least one image-forming device,
  • Extract landmarks from the cyclic images of the imaging device and create a measurement dataset for each image;
  • Determining the vehicle position and the vehicle's own movement,
  • - Creating an environment map from the measurement data set and the vehicle position and the vehicle's own motion, wherein within the measurement data set only a predetermined field of view is taken into account, wherein the predetermined field of view for evaluating the cyclic measurement data sets is a function of the current weather condition.

Durch die Kopplung zwischen Sichtfeld und herrschender Wetterbedingung, wird die Umfeldkarte optimiert.By coupling between field of view and prevailing weather conditions, the environment map is optimized.

Vorzugsweise wird das vorgegebene Sichtfeld durch einen Satz von Parametern parametrisiert, wobei der Parametersatz eine Funktion der Wetterbedingung ist. Die Parametrisierung des Sichtfeldes ermöglicht die Beschreibung und Handhabung des Sichtfeldes in dem Ablauf des Algorithmus. Preferably, the predetermined field of view is parameterized by a set of parameters, the parameter set being a function of the weather condition. The parameterization of the field of view enables the description and handling of the field of view in the course of the algorithm.

Weiter bevorzugt erfolgt eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen. Mit anderen Worten, die aktuell herrschende Wetterbedingung wird einer Klasse, wie beispielsweise "Trocken", "Nass" oder "Regen", zugeordnet, wobei diese drei Klassen nur beispielhaft zu verstehen sind, da eine stetig geschlossene Beschreibung von Wetterbedingungen kaum möglich ist.More preferably, the weather condition is classified into a predetermined number of weather classes. In other words, the currently prevailing weather condition is assigned to a class such as "dry," "wet," or "rain," and these three classes are meant to be exemplary only, as a consistent description of weather conditions is hardly possible.

Weiter bevorzugt werden die Landmarken durch die Fahrbahnmarkierungen, das Umfeld durch die Fahrbahn vor dem Fahrzeug und das Sichtfeld durch ein Trapez auf der Fahrbahn gebildet, wobei das Trapez zwar erst innerhalb des Messdatensatzes zum Einsatz kommt und sozusagen "imaginär" ist.More preferably, the landmarks are formed by the road markings, the environment by the roadway in front of the vehicle and the field of view by a trapezoid on the road, the trapezoid is indeed used only within the measurement data set and is "imaginary", so to speak.

Vorzugsweise wird das vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für diese Wetterbedingung ermittelt, wobei die Optimierung des Sichtfeldes durch die Durchführung einer Lokalisierung des Fahrzeugs für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt. Durch die Durchführung von einer Vielzahl von Messfahrten für unterschiedliche Wetterbedingungen und unterschiedliche Parametersätze für das Sichtfeld können optimale Parameterwerte für die einzelnen Wetterklassen bestimmt werden, die dann in der Ermittlung und Optimierung der lokalen Umfeldkarte verwendet werden.Preferably, the predetermined field of view for a weather condition is determined by a predetermined number of test runs for that weather condition, wherein the optimization of the field of view is performed by performing a localization of the vehicle for each test run and comparing each location thus determined with a reference location. By carrying out a large number of test drives for different weather conditions and different parameter sets for the field of view, it is possible to determine optimum parameter values for the individual weather classes, which are then used in the determination and optimization of the local environment map.

Die erfindungsgemäße Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst

  • – eine bilderzeugende Einrichtung zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs,
  • – eine Einrichtung zum Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und zum Erstellen eines Messdatensatzes für jedes Bild,
  • – eine Einrichtung zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
  • – eine Einrichtung zum Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, und
  • – eine Einrichtung zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld eine Funktion der aktuellen Wetterbedingung ist.
The device according to the invention for generating an environment map for the purpose of localizing a vehicle in its environment, wherein the device is set up and designed for carrying out the method explained above
  • An image-forming device for generating cyclic images of the surroundings of the vehicle,
  • A device for extracting landmarks from the cyclic images of the image-forming device and for generating a measurement data set for each image,
  • A device for determining the vehicle position and the vehicle's own movement,
  • A device for creating an environment map from the measured data set as well as the vehicle position and the vehicle own motion, wherein within the measurement data set only a predetermined field of view is taken into account, and
  • - A device for determining the current weather condition, wherein the predetermined field of view is a function of the current weather condition.

Weiter bevorzugt führt die Einrichtung zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durch.More preferably, the means for determining the current weather condition performs a classification of the weather condition into a predetermined number of weather classes.

Vorzugsweise ist pro Wetterklasse genau ein Sichtfeld hinterlegt, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.Preferably, exactly one field of view is stored per weather class, which is determined by measuring trips for the respective weather class.

Das erfindungsgemäße Verfahren zur Lokalisierung eines Fahrzeugs in seinem Umfeld führt die folgenden Schritte aus:

  • – Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei die Umfeldkarte mit dem oben erläuterten Verfahren zur Erzeugung einer Umfeldkarte erzeugt wird,
  • – Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
  • – Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld.
The method according to the invention for locating a vehicle in its environment carries out the following steps:
  • Generating an environment map of the current environment of the vehicle, wherein the environment map is generated with the above-described method for generating an environment map,
  • Providing a digital map of the current environment of the vehicle, the digital map having the landmarks of the current environment, and
  • - Fusion of the environment map and the digital map to create a localization of the vehicle in its environment.

Die erfindungsgemäße Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahren zur Lokalisierung eines Fahrzeugs eingerichtet und ausgelegt ist, umfasst

  • – eine Einrichtung zum Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei eine oben erläuterte Vorrichtung zur Erzeugung einer Umfeldkarte verwendet wird,
  • – eine Einrichtung zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
  • – eine Einrichtung zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld,
The device according to the invention for locating a vehicle in its surroundings, wherein the device is set up and designed to carry out the method for localizing a vehicle explained above
  • A device for generating an environment map of the current environment of the vehicle, wherein an above-described device is used to generate an environment map,
  • A device for providing a digital map of the current environment of the vehicle, the digital map having the landmarks of the current environment, and
  • A means for merging the environment map and the digital map to create a location of the vehicle in its environment,

Es erfolgt also eine Erweiterung der Landmarken-basierten Lokalisierung um eine adaptive Anpassung an die äußeren atmosphärischen Bedingungen. Das oben erläuterte Verfahren beschreibt, wie Parameter für die Lokalisierung in bestimmten Wettersituationen, wie beispielsweise Nebel, Regen und Trockenheit, bestimmt werden können. Thus, there is an extension of the landmark-based localization to an adaptive adaptation to the external atmospheric conditions. The method described above describes how parameters for localization in certain weather situations, such as fog, rain and drought, can be determined.

Um diese Parameter zu ermitteln, erfolgt folgende Vorgehensweise:

  • – Durchführen von Messfahrten für die jeweiligen Klassen, wie beispielsweise Regen, Nässe und Trockenheit. Die Messfahrten sollen alle Daten für die Lokalisierung enthalten und zudem muss eine Referenzeinheit zur Referenzlokalisierung mitaufgezeichnet werden.
  • – Einteilen der Fahrten in die jeweiligen Klassen – diese Datengrundlage kann als Trainingsset bezeichnet werden.
  • – Innerhalb jeder Klasse werden jetzt die Parameter optimiert. Hier sei dies am Beispiel des Sichtbereichs der Kamera erläutert. Es werden die minimalen und maximalen Parameterwerte sowie die Schrittweite festgelegt. Für jede Fahrt des Trainingssets werden nun alle Parameterkombinationen durchgetestet. Dabei können unterschiedliche zusätzliche Bedingungen an die Parameterkombinationen festgelegt werden. Als Güte-Maß zu Bewertung einer Parameterkombination wird die Referenzlokalisierung herangezogen. Über ein festgelegtes Distanzmaß, wie beispielsweise das euklidisch Abstandsmaß, kann so der Fehler zwischen Referenzlokalisierung und Parameterkombination ermittelt werden. Nachdem alle Fahrten mit allen Kombinationen durchgetestet wurden, wird die beste Fahrt herangezogen. Da Witterung nicht diskret einteilbar ist, wird versucht das Rauschen der besten Fahrt zu bestimmen. Dies geschieht, indem die Abstände der Lokalisierung zur Referenzlokalisierung der besten Fahrt diskretisiert werden. Über diese diskreten Abstände wird die Standardabweichung gebildet. Alle weiteren getesteten Fahrten werden nur weiter betrachtet, wenn sie innerhalb von 2 Standardabweichungen zur besten Fahrt der Klasse liegen. Anschließend können die Parameterwerte aller betrachteten Fahrten gemittelt werden. Sie gelten als optimale Parameterwerte für die Lokalisierung der jeweiligen Klasse.
To determine these parameters, proceed as follows:
  • - Carry out test drives for the respective classes, such as rain, wet and dry conditions. The test drives should contain all data for the localization and also a reference unit for reference localization must be recorded.
  • - Divide the trips into the respective classes - this data base can be called a training set.
  • Within each class, the parameters are now optimized. Here, this is explained using the example of the field of view of the camera. The minimum and maximum parameter values as well as the step size are defined. For each trip of the training set, all parameter combinations are now tested. Different additional conditions can be specified for the parameter combinations. As a quality measure for the evaluation of a parameter combination, the reference localization is used. Over a fixed distance measure, as for example the Euclidean distance measure, so the error between reference localization and parameter combination can be determined. After all the rides with all combinations have been tested, the best ride is used. Since weather is not discretely divisible, it tries to determine the noise of the best ride. This is done by discretizing the distances of the localization to the reference location of the best trip. About this discreet Distances, the standard deviation is formed. All other tested rides will only be considered further if they are within 2 standard deviations from the best ride in the class. Subsequently, the parameter values of all considered journeys can be averaged. They are considered optimal parameter values for the localization of the respective class.

Das vorgestellte Verfahren bietet eine robuste präzise Lokalisierung mit folgenden Begebenheiten:

  • – Es wird nicht nur ein Parameterset für alle Wetterbedingungen verwendet, sondern für jede Witterung wird ein spezielles Parameterset ermittelt und eingesetzt,
  • – durch die ermittelten witterungsspezifischen Parametersets kann die Lokalisierung an die jeweilige Situation adaptiv auf Robustheit angepasst werden, um Fehllokalisierungen zu vermieden.
The presented method provides robust accurate localization with the following events:
  • - Not only is a parameter set used for all weather conditions, but a special parameter set is determined and used for each weather,
  • - By the determined weather-specific parameter sets, the localization can be adaptively adapted to the particular situation to robustness, to avoid mislocalizations.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigtA preferred embodiment of the invention will be explained below with reference to the drawings. It shows

1 eine schematische Darstellung der Lokalisierungsproblematik anhand einer Verkehrssituation, 1 a schematic representation of the localization problem with reference to a traffic situation,

2 ein Sichtfeld einer Kamera eines Fahrzeugs, 2 a field of view of a camera of a vehicle,

3 Definition des Sichtfeldes, 3 Definition of the field of view,

4 unterschiedliche Sichtfelder als Funktion der Klasse der Umgebungsbedingung, und 4 different fields of view as a function of the class of the environmental condition, and

5 eine schematische Darstellung der Vorrichtung zur präzisen Lokalisierung. 5 a schematic representation of the device for precise localization.

Wie bereits oben erwähnt, benötigt ein autonom fahrendes Fahrzeug eine möglichst präzise Lokalisierung in seinem Verkehrsumfeld. MIt andereren Worten, die Position des Fahrzeugs auf der Straße bzw. der Fahrbahn muss möglichst genau, d.h. innerhalb weniger Zentimeter, bekannt sein. As already mentioned above, an autonomously driving vehicle requires a precise localization in its traffic environment. In other words, the position of the vehicle on the road must be as accurate as possible, i. within a few inches, be known.

So zeigt 1 eine Verkehrssituation an einer Kreuzung 1, die von den beiden Straßen 2 und 3 gebildet wird. Dabei bewegt sich ein erstes Fahrzeug 4 auf der einen Straße 3 geradeaus über die Kreuzung 1 und ein auf der anderen Straße 2 befindliches zweites Fahrzeug 5 möchte nach links abbiegen und kreuzt den Fahrweg des geradeaus fahrenden Fahrzeugs 4. Beide Fahrzeuge 4, 5 verfügen über ein satellitengestütztes Ortungssystem, wie beispielsweise ein GPS-System. So shows 1 a traffic situation at an intersection 1 coming from the two streets 2 and 3 is formed. It moves a first vehicle 4 on one street 3 go straight over the intersection 1 and one on the other street 2 located second vehicle 5 wants to turn left and crosses the driveway of the vehicle driving straight ahead 4 , Both vehicles 4 . 5 have a satellite-based location system, such as a GPS system.

Die durch die GPS-Ortung bedingten Ungenauigkeiten sind in 1 als Unsicherheitskreise 6, 8 um die jeweiligen Fahrzeuge 4, 5 dargestellt. So können mit GPS das erste Fahrzeug 4 nur innerhalb des GPS-Unsicherheitskreises 6 und das zweite Fahrzeug 5 nur innerhalb des GPS-Unsicherheitskreises 8 lokalisiert werden. Die GPS-Unsicherheitskreise 6, 8 in der Lokalisierung der beiden Fahrzeuge 4, 5 führen durch die jeweilige Fahrzeugbewegung zu sich überschneidenden GPS-Unsicherheitsbereichen 7 und 9, wobei der schraffiert dargestellte Überschneidungsbereich den GPS-Kollisionsbereich 10 bildet. Mit anderen Worten, aufgrund der Ungenauigkeiten in den GPS-Lokalisierungen der beiden Fahrzeuge 4, 5 ergibt sich ein großer möglicher GPS-Kollisionsbereich 10, was für die Sicherheit sich autonom bewegender Fahrzeuge 4, 5 unzureichend ist.The inaccuracies caused by the GPS location are in 1 as uncertainty circles 6 . 8th around the respective vehicles 4 . 5 shown. So GPS can be the first vehicle 4 only within the GPS uncertainty circle 6 and the second vehicle 5 only within the GPS uncertainty circle 8th be located. The GPS uncertainty circles 6 . 8th in the localization of the two vehicles 4 . 5 lead through the respective vehicle movement to overlapping GPS uncertainty areas 7 and 9 wherein the hatched area of overlap represents the GPS collision area 10 forms. In other words, due to the inaccuracies in the GPS localizations of the two vehicles 4 . 5 results in a large potential GPS collision area 10 , what the safety of autonomously moving vehicles 4 . 5 is insufficient.

Eine präzise Lokalisierung der beiden Fahrzeuge 4, 5 auf den Straßen 2, 3 führt zu deutlich kleineren Unsicherheitskreisen 11 und 13 um die Fahrzeuge 4, 5, so dass die durch die Fahrzeugbewegungen bedingten Unsicherheitsbereiche 12 und 14 hinsichtlich der präzisen Lokalisierung sich in einem deutlich kleineren Kollisionsbereich 15 schneiden, der zweifach gestrichelt dargestellt ist. Es ist also für ein autonomes Fahren notwendig eine präzise Lokalisierung der Fahrzeuge 4, 5 im Umfeld, hier der Kreuzungsbereich 1, bereitzustellen.A precise localization of the two vehicles 4 . 5 on the streets 2 . 3 leads to much smaller uncertainty circles 11 and 13 around the vehicles 4 . 5 , so that the uncertainty caused by the vehicle movements uncertainty 12 and 14 in terms of precise localization in a much smaller collision area 15 cut, which is shown in two dashed lines. So it is necessary for an autonomous driving a precise localization of the vehicles 4 . 5 in the environment, here the crossing area 1 to provide.

Zur präzisen Lokalisierung wird daher die Position des Fahrzeugs auf der Straße beispielsweise anhand der Fahrbahnmarkierungen und sonstiger Merkmale mittels einer geeigneten Sensorik bestimmt, wobei hier im Beispielsfall eine monokulare Kamera zum Einsatz kommt. Die Ergebnisse der Auswertung der Sensordaten werden mit einer digitalen Karte und der GPS-Position fusioniert, um zu einer präzisen Lokalisierung zu kommen. Da automatische Fahrzeuge, d.h. autonom fahrende Fahrzeuge, sich in der realen Welt bewegen und mit den Begebenheiten der realen Welt auseinandersetzen müssen, wird die präzise Lokalisierung anhand von Fahrbahnmarkierungen durch Wetterbedingungen beeinflusst. So ist es offensichtlich, dass die Erkennbarkeit der Fahrbahnmarkierungen für verschiedene Wetterbedingungen wie Trockenheit, Regen, Schnee oder Nebel unterschiedlich ist. Mit anderen Worten, die präzise Lokalisierung mittels Fahrbahnmarkierungen oder in der digitalen Karte verzeichneter Umfeldobjekte wie Ampeln etc. hängt von den Wetterbedingungen ab.For precise localization, therefore, the position of the vehicle on the road is determined for example on the basis of the lane markings and other features by means of a suitable sensor system, in which case a monocular camera is used in the example case. The results of the evaluation of the sensor data are fused with a digital map and the GPS position in order to arrive at a precise localization. Since automatic vehicles, i. autonomous vehicles, moving around in the real world and having to deal with real world events, the precise localization is influenced by lane markings due to weather conditions. So it is obvious that the visibility of the lane markings for different weather conditions such as drought, rain, snow or fog is different. In other words, precise location by means of lane markings or environment objects such as traffic lights, etc., recorded in the digital map depends on the weather conditions.

2 zeigt den Blick aus einem Fahrzeug 25 auf eine Fahrbahn 20 mit verschiedenen Fahrstreifen 21, 22, 23, 24, wobei das trapezförmige Sichtfeld 26 einer Kamera (nicht dargestellt) des Fahrzeugs 25 der Bereich der Kamera ist, der zur Erkennung von Markierungen der Fahrbahn 20 dient. In 2 sind die bereits erkannten Markierungen 27, 28, 29 als schwarze Balken dargestellt, die aufgrund der Vorwärtsbewegung des Fahrzeugs innerhalb des sich über die Fahrbahn 20 hinweg bewegenden Sichtfeldes 26 aufgetreten sind bzw. gerade auftreten. 2 shows the view from a vehicle 25 on a roadway 20 with different lanes 21 . 22 . 23 . 24 , where the trapezoidal field of view 26 a camera (not shown) of the vehicle 25 the area of the camera is that for detecting markings of the roadway 20 serves. In 2 are the already recognized markers 27 . 28 . 29 Shown as black bars, due to the forward movement of the vehicle within the over the lane 20 away moving field of view 26 have occurred or are currently occurring.

In 3 wird das in der 2 perspektivisch dargestellte trapezförmige Sichtfeld 26 formal genauer definiert. Dabei wird das Sichtfeld 26 einer an der Frontseite eines Fahrzeugs angeordneten Kamera 30 definiert durch die Öffnungswinkel α und β, wobei zur weitern Diskussion angenommen wird, dass gilt α = β. Falls das Sichtfeld 26 nicht symmetrisch vor dem Fahrzeug angeordnet ist, gilt α ≠ β. Die gesamte Höhe h des in 3 dargestellten Dreiecks setzt sich zusammen aus einer festen Höhe hF und der Höhe des Trapezes hT, d.h.: h = hF + hT. In 3 will that be in the 2 perspective trapezoidal field of view 26 formally defined more precisely. This is the field of view 26 a camera arranged on the front of a vehicle 30 defined by the aperture angles α and β, it being assumed for further discussion that α = β. If the field of view 26 is not arranged symmetrically in front of the vehicle, α ≠ β. The total height h of the in 3 shown triangle is composed of a fixed height h F and the height of the trapezoid h T , ie: h = h F + h T.

Dabei ist die feste Höhe hF durch die Montage der Kamera 30 am Fahrzeug bedingt und daher vorgegeben. Variabel ist die Höhe hT des Trapezes 26 und damit dessen obere Breite w, die sich zusammensetzt aus der linken Breite w1 und der rechten Breite w2. Folglich gilt: w = w1 + w2, wobei für α = β gilt w1 = w2. Es können daher die Höhe hT und die Breite w des Trapezes 26 variiert und als veränderliche Parameter des Sichtfeldes 26 der Kamera 30 betrachtet werden. Here is the fixed height h F by mounting the camera 30 conditioned on the vehicle and therefore given. Variable is the height h T of the trapezoid 26 and thus its upper width w, which is composed of the left width w 1 and the right width w 2 . Consequently: w = w 1 + w 2 , where for α = β w 1 = w 2 . It can therefore the height h T and the width w of the trapezoid 26 varies and as variable parameters of the field of view 26 the camera 30 to be viewed as.

4 zeigt das Ergebnis für Sichtfelder 26 vor einem Fahrzeug 25 als Funktion der Wetterklasse, wobei im vorliegenden Beispiel die drei Wetterklassen "Trocken" (Dry), "Nass" (Wet) und "Regen" (Rain) verwendet werden. Es ist offensichtlich, dass weitere Wetterklassen definiert werden können, beispielsweise könnte die Klasse "Regen" differenziert werden in "leichter Regen", "mittlerer Regen" und "starker Regen". Ferner könnten auch Klassen wie "Nebel" und "Schneefall" definiert werden, die in weitere Unterklassen differenzierbar sind. 4 shows the result for fields of view 26 in front of a vehicle 25 as a function of the weather class, in the present example the three weather classes "Dry", "Wet" and "Rain" (Rain) are used. It is obvious that more weather classes can be defined, for example the class "rain" could be differentiated into "light rain", "medium rain" and "heavy rain". Furthermore, classes such as "fog" and "snowfall" could be defined, which are differentiable into further subclasses.

Es stellt sich heraus, dass für jede der Wetterklassen "Trocken", "Nass" und "Regen" zur Bildung der jeweiligen Sichtfelder 26 unterschiedliche Parameter zur optimalen Erkennung der Fahrbahnmarkierungen zum Einsatz kommen. Diese unterschiedlichen Parameter für die Höhe h, dfie sich zusammensetzt aus der Trapezhöhe hT und der fixen Höhe hF, und die Breite w des Sichtfeldes 26 führen zu unterschiedlichen Trapezen, nämlich das Trapez TR für die Wetterklasse "Regen", das Trapez TD für die Wetterklasse "Trocken" und das Trapez TW für die Wetterklasse "Nass". Dabei sind in dem Beispiel die drei Wetterklassen selbsterklärend. So steht "Trocken" für eine trockene Fahrbahn, "Nass" für eine nasse Fahrbahn ohne Regen und "Regen" für eine Fahrbahn bei aktuellem Regen. Die Wetterklassen lassen sich beispielsweise aus den Daten eines geeigneten Sensors, beispielsweise einem Regensensor in Kombination mit weiteren Sensoren, ableiten. It turns out that for each of the weather classes "dry", "wet" and "rain" to form the respective fields of vision 26 different parameters are used for optimal recognition of the lane markings. These different parameters for the height h, which is composed of the trapezoid height h T and the fixed height h F , and the width w of the field of view 26 lead to different trapezoids, namely the trapezoid T R for the weather class "rain", the trapezoid T D for the weather class "dry" and the trapezoid T W for the weather class "wet". In the example, the three weather classes are self-explanatory. So "dry" stands for a dry road, "wet" for a wet road without rain and "rain" for a road in the current rain. The weather classes can be derived, for example, from the data of a suitable sensor, for example a rain sensor in combination with other sensors.

Zur Bestimmung der Parameter werden Trainingsfahrten bei den klassifizierten Wetterbedingungen durchgeführt und die Fahrbahnmarkierungen bestimmt, wobei zur Auswertung der Messungen die Parameter Höhe des Trapezes hT und die Breite w des Trapezes innerhalb vorgegebener Grenzen variiert werden. Mit anderen Worten, es werden der Fahrbahnmarkierungen bei der vorgegebene Wetterklasse für eine vorgegebene Anzahl von Trainingsfahrten vermessen, die Messdaten werden mit vorgegebenen Parametersätzen für das Sichtfeld ausgewertet und für den jeweiligen Parametersatz die Lokalisierung des Fahrzeugs ermittelt und mit Referenzwerten verglichen. Aus der Abweichung der Lokalisierung und den Referenzwerten kann dann eine Lokalisierungsqualität für den verwendeten Parametersatz bei der jeweiligen Wetterklasse bestimmt werden, wobei beispielsweise der absolute euklidsche Abstand mit anschließender Mittelwertbildung verwendet werden kann. Aus der Vielzahl der Trainingsfahrten können dann Mittelwerte der Lokalisierungsquantitäten für die verschiedenen Parametersätze bestimmt werden, so dass für eine vorgegebene Wetterklasse ein optimaler Parametersatz ermittelt werden kann.In order to determine the parameters, training runs are carried out in the classified weather conditions and the lane markings are determined, the parameter height of the trapezoid h T and the width w of the trapezoid being varied within predefined limits in order to evaluate the measurements. In other words, the lane markings in the given weather class are measured for a predetermined number of training runs, the measured data are evaluated with predetermined parameter sets for the field of view, and the localization of the vehicle is determined for the respective parameter set and compared with reference values. From the deviation of the localization and the reference values, a localization quality for the parameter set used in the respective weather class can then be determined, wherein, for example, the absolute Euclidean distance with subsequent averaging can be used. From the multiplicity of training runs, mean values of the localization quantities for the different parameter sets can be determined so that an optimal parameter set can be determined for a given weather class.

Die folgende Tabelle 1 zeigt beispielhaft die durch Trainingsfahrten ermittelten Parameterwerte "Breite w" und "Gesamthöhe h" für die hier verwendeten Wetterklassen "Trocken", "Regen" und "Nass": Klasse Breite w (m) Höhe h (m) Fläche (m2) Regen 7,3 16,1 99,82 Nass 10 16,4 123,82 Trocken 9,7 15,5 113,96 Tabelle 1 The following Table 1 shows by way of example the parameter values "width w" and "total height h" determined by training runs for the weather categories "dry", "rain" and "wet" used here: class Width w (m) Height h (m) Area (m 2 ) rain 7.3 16.1 99.82 Wet 10 16.4 123.82 Dry 9.7 15.5 113.96 Table 1

5 zeigt eine schematische Darstellung der Vorrichtung zur präzisen Lokalisierung eines Fahrzeugs in seinem Umfeld, d.h. auf der Fahrbahn. Eine Monokamera 30 erstellt zyklische Bilder der Fahrbahn bzw. des Umfeldes vor dem fahrenden Fahrzeug. Die Bilddaten der Kamera 30 werden einer Einrichtung 31 zur Extraktion der Fahrbahnmarkierungen zugeführt, welche die Fahrbahnmarkierungen aus den Kamerabilder extrahiert und als Messdaten weitergibt. Dabei erfolgt die Extraktion der Fahrbahnmarkierungen aus den Kamerabildern üblicherweise mittels geeigneten Bildverarbeitungsverfahren. Diese Messdaten werden einer Auswerteeinheit 34 zugeführt, welche die Daten zur Verringerung des Messrauschens filter, und speichert. Aus den Daten wird eine aktuelle Karte des Umfelds des Fahrzeugs erstellt, die mit den neuen Daten fortlaufend ergänzt wird, d.h. es wird ein Tracking und Fusionieren der neuen Daten mit den vorherigen Daten, d.h. der Umfeldkarte, durchgeführt. 5 shows a schematic representation of the device for precise localization of a vehicle in its environment, ie on the road. A mono camera 30 creates cyclic images of the road or the environment in front of the moving vehicle. The image data of the camera 30 become an institution 31 for extracting the lane markings, which extracts the lane markings from the camera images and passes them as measurement data. In this case, the extraction of the lane markings from the camera images usually takes place by means of suitable image processing methods. These measurement data become an evaluation unit 34 which filters the data to reduce the measurement noise, and stores. From the data, a current map of the environment of the vehicle is created, which is continuously supplemented with the new data, ie it is a tracking and merging of the new data with the previous data, ie the environment map performed.

Um die Umfeldkarte in der Auswerteeinrichtung 34 erstellen zu können, werden aus den Daten einer Sensorik 32, die diverse Fahrzeugsensoren, wie ESP und ABS zur Lieferung odometrischer Daten und eine GPS-Einrichtung umfasst, mittels einer nachfolgenden Einrichtung 33 die Fahrzeugposition und die Fahrzeugeigenbewegung bestimmt. Diese Informationen werden der Auswerteeinrichtung 34 zur Erstellung der Umfeldkarte zugeführt. Ferner werden die Informationen der Einrichtung 33 zur Bestimmung der Fahrzeugeigenbewegung einem elektronischen Horizont 36 zugeführt, der aufgrund der Fahrzeugposition eine digitale Karte des entsprechenden Umfelds des Fahrzeugs bereitstellt, wobei die digitale Karte die Fahrbahnmarkierungen enthält. Die elektronische Karte kann dabei über eine Mobilfunkschnittstelle vom elektronischen Horizont 36 angefordert und bereitgestellt werden.To the environment map in the evaluation 34 to be able to create, are from the data of a sensor 32 comprising various vehicle sensors, such as ESP and ABS for providing odometrical data and a GPS device, by means of a subsequent device 33 determines the vehicle position and the vehicle's own motion. This information is the evaluation device 34 supplied to create the environment map. Further, the information of the facility 33 for determining the vehicle's own motion an electronic horizon 36 supplied, which provides a digital map of the corresponding environment of the vehicle due to the vehicle position, wherein the digital map includes the lane markings. The electronic card can thereby via a mobile radio interface from the electronic horizon 36 be requested and provided.

Um in der Auswerteeinheit 34 die Fahrbahnmarkierungen optimal Lokalisieren und Tracken zu können, damit eine optimale Erstellung der Umfeldkarte der Auswerteeinheit 34 möglich ist, müssen der Auswerteeinheit die Wetterbedingungen, d.h. die Wetterklasse, bekannt sein, damit je nach Wetterklasse der entsprechende Parametersatz für das Sichtfeld der Kamera zur Auswertung gewählt werden kann. Die Bestimmung der Wetterklasse erfolgt über eine entsprechende Einrichtung 35, die mittels diverser im Fahrzeug vorhandener Sensorik abklärt, welche Wetterbedingungen im Umfeld des Fahrzeugs herrschen. Dazu können Informationen des Regensensors, der Klimaanlage, der Uhrzeit, der Beleuchtungsanlage des Fahrzeugs, oder einer anderen geeigneten Umfeldsensorik, verwendet werden. Aus den Informationen wird das vorherrschende Wetter bestimmt und in Wetterklassen klassifiziert. Das Ergebnis der Klassifizierung, d.h. die Wetterklasse, wird der Auswerteeinrichtung 34 zur Verwendung bei der Lokalisierung der Fahrbahnmarkierungen zur Erstellung der Umfeldkarte zugeführt.In the evaluation unit 34 The lane markings can be optimally localized and tracked so that an optimal creation of the environment map of the evaluation unit 34 is possible, the evaluation unit, the weather conditions, ie the weather class, be known, so depending on the weather class, the appropriate parameter set for the field of view of the camera can be selected for evaluation. The weather class is determined by a corresponding device 35 , which clarifies by means of various existing sensors in the vehicle, which weather conditions prevail in the environment of the vehicle. For this purpose, information of the rain sensor, the air conditioning, the time, the lighting system of the vehicle, or other suitable environment sensors, can be used. From the information, the prevailing weather is determined and classified into weather classes. The result of the classification, ie the weather class, becomes the evaluation device 34 supplied for use in locating the lane markers to create the environment map.

Die von der Auswerteeinrichtung 34 erstellte Umfeldkarte und die vom elektronischen Horizont 36 bereitgestellte digitale Karte werden in einer Fusionseinrichtung 37 fusioniert und eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld durchgeführt. Dazu werden die erkannten Fahrbahnmarkierungen der Umfeldkarte mit den Fahrbahnmarkierungen der digitalen Karte abgeglichen und die Position des Fahrzeugs erneut bestimmt. Die so bestimmte Lokalisierung des Fahrzeugs wird einer Ausgabeeinrichtung 38 zu weiteren Verwendung zugeführt.The of the evaluation device 34 created environment map and that of the electronic horizon 36 provided digital map are in a fusion device 37 fused and carried out a precise localization of the vehicle in his environment. For this purpose, the detected lane markings of the environment map are compared with the lane markings of the digital map and the position of the vehicle is determined again. The thus-determined location of the vehicle becomes an output device 38 supplied for further use.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Kreuzung  crossing
22
Straße Street
33
Straße Street
44
erstes Fahrzeug first vehicle
55
zweites Fahrzeug second vehicle
66
GPS-Unsicherheitkreis erstes Fahrzeug GPS uncertainty circle first vehicle
77
GPS-Unsicherheitsbereich erstes Fahrzeug GPS uncertainty area first vehicle
88th
GPS-Unsicherheitskreis zweites Fahrzeug GPS uncertainty circle second vehicle
99
GPS-Unsicherheitsbereich zweites Fahrzeug  GPS uncertainty area second vehicle
10 10
GPS-Kollisionsbereich GPS-hit area
1111
Unsicherheitskreis präzise Lokalisierung erstes Fahrzeug Uncertainty circle precise localization first vehicle
1212
Unsicherheitsbereich präzise Lokalisierung erstes Fahrzeug Uncertainty area precise localization first vehicle
1313
Unsicherheitskreis präzise Lokalisierung zweites Fahrzeug Uncertainty circle precise localization second vehicle
1414
Unsicherheitsbereich präzise Lokalisierung zweites Fahrzeug Uncertainty area precise localization second vehicle
1515
Kollisionsbereich präzise Lokalisierung Collision area precise localization
2020
Fahrbahn roadway
2121
Fahrstreifen lane
2222
Fahrstreifen lane
2323
Fahrstreifen lane
2424
Fahrstreifen lane
2525
Fahrzeug vehicle
2626
Sichtfeld Kamera Field of view camera
2727
erkannte Markierung recognized mark
2828
erkannte Markierung recognized mark
2929
erkannte Markierung recognized mark
3030
Kamera camera
3131
Extraktion der Markierungen Extraction of the markers
3232
Fahrzeugsensoren, GPS Vehicle sensors, GPS
3333
Bestimmung der absoluten Fahrzeugposition und Fahrzeugbewegung Determination of the absolute vehicle position and vehicle movement
3434
Auswerten der Fahrbahnmarkierungen, Erstellen einer gemessenen Umfeldkarte  Evaluate the lane markings, create a measured environment map
3535
Umfeldsensorik zur Bestimmung der Wetterklasse  Environment sensors for determining the weather class
3636
Elektronischer Horizont (digitale Umfeldkarte) Electronic horizon (digital environment map)
3737
Fusionierung digitale Karte und Umfeldkarte Fusion of digital map and environment map
3838
Ausgabe der präzisen Lokalisierung Output of precise localization
hH
Gesamthöhe total height
hF h F
feste Höhe fixed height
hT h T
Höhe Trapez Height of trapeze
ww
Gesamtbreite Trapez Overall width trapezoid
w1 w 1
linke Breite Trapez left width trapeze
w2 w 2
rechte Breite Trapez right width trapezoid
αα
Winkel angle
ββ
Winkel angle
FF
Fahrzeug vehicle
TR T R
Trapez für Klasse "Regen" (Rain) Trapeze for class "Rain" (Rain)
TD T D
Trapez für Klasse "Trocken" (Dry) Trapeze for class "Dry" (Dry)
TW T W
Trapez für Klasse "Nass" (Wet) Trapeze for class "Wet" (Wet)

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 0913751 B1 [0007] EP 0913751 B1 [0007]
  • DE 102008034923 A1 [0008] DE 102008034923 A1 [0008]

Claims (10)

Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten: – zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs (4, 5, 25) mittels mindestens einer bilderzeugenden Einrichtung (30), – Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild, – Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung, – Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.Method for generating an environment map for the purpose of locating a vehicle ( 4 . 5 . 25 ) in its environment with the steps: - Cyclic creation of images of the environment of the vehicle ( 4 . 5 . 25 ) by means of at least one image-forming device ( 30 ), - Extract landmarks ( 27 . 28 . 29 ) from the cyclic images of the image-forming device and generating a measurement data set for each image, - determining the vehicle position and the vehicle-own motion, - creating an environment map from the measurement data set, wherein within the measurement data set only a predetermined field of view ( 26 ), as well as the vehicle position and the vehicle's own movement, characterized in that the predetermined field of view ( 26 ) is a function of the current weather condition for evaluating the cyclic measurement data sets. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) durch einen Satz von Parametern (h, w) parametrisiert ist, wobei der Parametersatz ein Funktion der Wetterbedingung ist.A method according to claim 1, characterized in that the predetermined field of view ( 26 ) is parameterized by a set of parameters (h, w), the parameter set being a function of the weather condition. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen erfolgt.A method according to claim 2, characterized in that a classification of the weather condition takes place in a predetermined number of weather classes. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Landmarken durch die Fahrbahnmarkierungen (27, 28, 29), das Umfeld durch die Fahrbahn vor dem Fahrzeug (4, 5, 25) und das Sichtfeld (26) durch ein Trapez (26) auf der Fahrbahn (20) gebildet werden.Method according to one of the preceding claims, characterized in that the landmarks by the lane markings ( 27 . 28 . 29 ), the environment by the roadway in front of the vehicle ( 4 . 5 . 25 ) and the field of view ( 26 ) through a trapezoid ( 26 ) on the road ( 20 ) are formed. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für die jeweilige Wetterbedingung ermittelt wird, wobei die Optimierung des Sichtfeldes (26) durch die Durchführung einer Lokalisierung des Fahrzeugs (4, 5, 25) für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt.Method according to one of the preceding claims, characterized in that predetermined field of view for a weather condition is determined by a predetermined number of test runs for the respective weather condition, wherein the optimization of the field of view ( 26 ) by performing a localization of the vehicle ( 4 . 5 . 25 ) for each test drive and comparison of each localization determined with a reference localization. Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, aufweisend: – eine bilderzeugende Einrichtung (30) zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs (4, 5, 25), – eine Einrichtung (31) zum Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung (30) und Erstellen eines Messdatensatzes für jedes Bild, – eine Einrichtung (33) zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung, – eine Einrichtung (34) zum Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, gekennzeichnet durch – eine Einrichtung (35) zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld (26) eine Funktion der aktuellen Wetterbedingung ist.Device for generating an environment map for the purpose of locating a vehicle ( 4 . 5 . 25 ) in its environment, wherein the device for carrying out the method according to one of the preceding claims is set up and designed, comprising: an image-forming device ( 30 ) for generating cyclic images of the environment of the vehicle ( 4 . 5 . 25 ), - An institution ( 31 ) for extracting landmarks ( 27 . 28 . 29 ) from the cyclic images of the image forming device ( 30 ) and creating a measurement dataset for each image, - a device ( 33 ) for determining the vehicle position and the vehicle own movement, - a device ( 34 ) for creating an environment map from the measurement data set, wherein within the measurement data set only a predetermined field of view ( 26 ), as well as the vehicle position and the vehicle's own movement, characterized by - a device ( 35 ) for determining the current weather condition, wherein the predetermined field of view ( 26 ) is a function of the current weather condition. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Einrichtung (35) zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durchführt.Device according to claim 6, characterized in that the device ( 35 ) performs a classification of the weather condition into a predetermined number of weather classes to determine the current weather condition. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass pro Wetterklasse genau ein Sichtfeld (26) hinterlegt ist, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.Apparatus according to claim 7, characterized in that per weather class exactly one field of view ( 26 ), which is determined by measuring trips for the respective weather class. Verfahren zur Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten: – Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs (4, 5, 25), – Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken (27, 28, 29) des aktuellen Umfelds aufweist, – Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs (4, 5, 25) in seinem Umfeld, dadurch gekennzeichnet, dass die Umfeldkarte mit einem Verfahren nach einem der Ansprüche 1 bis 5 erzeugt wird. Method for locating a vehicle ( 4 . 5 . 25 ) in its environment with the steps: - generating an environment map of the current environment of the vehicle ( 4 . 5 . 25 ), - providing a digital map of the current environment of the vehicle, the digital map displaying the landmarks ( 27 . 28 . 29 ) of the current environment, - merging the environment map and the digital map to generate a localization of the vehicle ( 4 . 5 . 25 ) in its environment, characterized in that the environment map with a method according to one of claims 1 to 5 is generated. Vorrichtung zur Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld, wobei die Vorrichtung zur Durchführung des Verfahren nach Anspruch 9 eingerichtet und ausgelegt ist, aufweisend – eine Einrichtung (34) zur Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs (4, 5, 25), – eine Einrichtung (36) zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs (4, 5, 25), wobei die digitale Karte die Landmarken (27, 28, 29) des aktuellen Umfelds aufweist, – eine Einrichtung (37) zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs (4, 5, 25) in seinem Umfeld, gekennzeichnet durch eine Vorrichtung zur Erzeugung einer Umfeldkarte nach einem der Ansprüche 6 bis 8. Device for locating a vehicle ( 4 . 5 . 25 ) in its environment, wherein the device for carrying out the method according to claim 9 is set up and designed, comprising - a device ( 34 ) for generating an environment map of the current environment of the vehicle ( 4 . 5 . 25 ), - An institution ( 36 ) for providing a digital map of the current environment of the vehicle ( 4 . 5 . 25 ), where the digital map displays the landmarks ( 27 . 28 . 29 ) of the current environment, - an institution ( 37 ) for fusing the environment map and the digital map to generate a location of the vehicle ( 4 . 5 . 25 ) in its environment, characterized by a device for generating an environment map according to one of claims 6 to 8.
DE102016212774.8A 2015-07-17 2016-07-13 Method and device for generating a map of the surroundings and for locating a vehicle Active DE102016212774B4 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015009103.4 2015-07-17
DE102015009103 2015-07-17

Publications (2)

Publication Number Publication Date
DE102016212774A1 true DE102016212774A1 (en) 2017-01-19
DE102016212774B4 DE102016212774B4 (en) 2023-04-06

Family

ID=57630172

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016212774.8A Active DE102016212774B4 (en) 2015-07-17 2016-07-13 Method and device for generating a map of the surroundings and for locating a vehicle

Country Status (1)

Country Link
DE (1) DE102016212774B4 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016214028A1 (en) * 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for determining a position of a mobile unit
DE102019004652A1 (en) 2019-07-02 2020-01-23 Daimler Ag Driver assistance system for determining a current position of the motor vehicle and method
DE102018220799A1 (en) 2018-12-03 2020-06-04 Robert Bosch Gmbh Method for operating a vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (en) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomous vehicle and guiding method for an autonomous vehicle
DE102008034923A1 (en) 2008-07-26 2010-01-28 Hkw-Elektronik Gmbh Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007003014A1 (en) 2007-01-20 2008-07-24 Volkswagen Ag Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (en) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomous vehicle and guiding method for an autonomous vehicle
DE102008034923A1 (en) 2008-07-26 2010-01-28 Hkw-Elektronik Gmbh Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016214028A1 (en) * 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for determining a position of a mobile unit
DE102018220799A1 (en) 2018-12-03 2020-06-04 Robert Bosch Gmbh Method for operating a vehicle
CN111252071A (en) * 2018-12-03 2020-06-09 罗伯特·博世有限公司 Method for operating a vehicle
US11415987B2 (en) 2018-12-03 2022-08-16 Robert Bosch Gmbh Method for operating a vehicle
CN111252071B (en) * 2018-12-03 2024-03-22 罗伯特·博世有限公司 Method for operating a vehicle
DE102019004652A1 (en) 2019-07-02 2020-01-23 Daimler Ag Driver assistance system for determining a current position of the motor vehicle and method

Also Published As

Publication number Publication date
DE102016212774B4 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
DE102010006828B4 (en) Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
EP3731187B1 (en) Method and device for determining the geographical position and orientation of a vehicle
EP3298541A1 (en) Method for estimating traffic lanes
WO2013029722A2 (en) Method for representing surroundings
EP2116958B1 (en) Method and device for calculating the drive path in the area in front of a vehicle
DE102016213817B4 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
EP3627386A1 (en) Method and device for providing an image of the vicinity of a mobile device and motor vehicle comprising such a device
DE102015115012A1 (en) Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
EP3391086A1 (en) Improved method for determining the roadside development of a road for locating motor vehicles
DE102014212866A1 (en) Method for determining a parking space from a number of measuring points
DE102016212774B4 (en) Method and device for generating a map of the surroundings and for locating a vehicle
DE102019112279A1 (en) METHOD AND DEVICE FOR DIAGONAL TRACK DETECTION
DE102014202503A1 (en) Method and device for determining a distance of a vehicle to a traffic-regulating object
DE102018220114A1 (en) Device and method for detecting a sensor blockage of an environmental sensor
WO2022069088A1 (en) Map plausibility test method
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
WO2019057252A1 (en) Method and device for detecting lanes, driver assistance system and vehicle
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102018121274B4 (en) Process for visualizing a driving intention, computer program product and visualization system
DE102018220113A1 (en) Device and method for detecting a sensor blockage of an environmental sensor
EP3671125B1 (en) Position determining system and method for operating a position determining system for a mobile unit
WO2023061955A1 (en) Method and device for determining a position of a vehicle
DE102021133089A1 (en) Device for determining a topography of a vehicle environment, vehicle and method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01W0001000000

Ipc: B60W0040020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final