DE102016212774B4 - Method and device for generating a map of the surroundings and for locating a vehicle - Google Patents
Method and device for generating a map of the surroundings and for locating a vehicle Download PDFInfo
- Publication number
- DE102016212774B4 DE102016212774B4 DE102016212774.8A DE102016212774A DE102016212774B4 DE 102016212774 B4 DE102016212774 B4 DE 102016212774B4 DE 102016212774 A DE102016212774 A DE 102016212774A DE 102016212774 B4 DE102016212774 B4 DE 102016212774B4
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- environment
- map
- weather
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 11
- 230000004807 localization Effects 0.000 claims description 57
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 13
- 241000826860 Trapezium Species 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 241001136792 Alle Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001295925 Gegenes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs (4, 5, 25) in seinem Umfeld mit den Schritten:
- zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs (4, 5, 25) mittels mindestens einer bilderzeugenden Einrichtung (30),
- Extrahieren von Landmarken (27, 28, 29) aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
- Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- Erstellen einer Umfeldkarte aus dem Messdatensatz, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld (26) berücksichtigt wird, sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, dadurch gekennzeichnet, dass das vorgegebene Sichtfeld (26) zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.
Method for generating an environment map for the purpose of locating a vehicle (4, 5, 25) in its environment, with the steps:
- cyclic creation of images of the surroundings of the vehicle (4, 5, 25) using at least one image-generating device (30),
- Extracting landmarks (27, 28, 29) from the cyclic images of the image-generating device and creating a measurement data set for each image,
- Determining the vehicle position and the vehicle's own movement,
- Creating a map of the surroundings from the measurement data set, with only a specified field of view (26) being taken into account within the measurement data set, as well as the vehicle position and the vehicle's own movement, characterized in that the specified field of view (26) for evaluating the cyclic measurement data sets is a function of the current weather condition .
Description
Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld gemäß dem Oberbegriff des Anspruchs 1, eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6, ein Verfahren zur Lokalisierung eines autonomen Fahrzeugs in seiner Umgebung gemäß dem Oberbegriff des Anspruchs 9 sowie eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10.The invention relates to a method for generating an environment map for the purpose of locating a vehicle in its environment according to the preamble of
Automatisches bzw. autonomes Fahren erfordert eine hochgenaue Lokalisierung des Fahrzeugs in seiner Umgebung. Da automatische Fahrzeuge sich nicht in „gutmütigen“ Umgebungen, sondern in der realen Welt bewegen müssen und somit direkt atmosphärischen Störungen, wie zum Beispiel Jahreszeiten, Wetterveränderungen und Lichteffekten, ausgesetzt sind, müssen die Lokalisierungsverfahren robust und die Lokalisierung in jeder Situation gewährleistet sein, da diese atmosphärischen Störungen die Lokalisierung beeinflussen können.Automated or autonomous driving requires a highly accurate localization of the vehicle in its environment. Since automated vehicles do not have to move in "good-natured" environments but in the real world and are therefore directly exposed to atmospheric disturbances such as seasons, weather changes and light effects, the localization methods must be robust and localization must be guaranteed in every situation, since these atmospheric disturbances can affect the localization.
Wird von einer Lokalisierung im Kontext des automatischen Fahrens gesprochen, so besteht die Lokalisierung aus einem zweigeteilten Ansatz. Im ersten Schritt wird aus Beobachtungen während einer oder mehrerer Messfahrten eine Karte erzeugt. Im nächsten Schritt wird versucht sich mit Beobachtungen einer nachfolgenden Fahrt auf den zuvor erstellten Karten zu lokalisieren. In beiden Schritten sind die Beobachtungen für die Lokalisierung von entscheidender Bedeutung. Jedoch hängen diese Beobachtungen von den eingesetzten Sensoren und der das Fahrzeug umgebenden Situation ab. Beispielsweise verhalten sich Beobachtungen aus einem Laserscanner bei Regen anders als bei Trockenheit. Auch eine Kamera liefert unterschiedliche Beobachtungen bei Regen, Nässe und Trockenheit.When talking about localization in the context of automated driving, localization consists of a two-part approach. In the first step, a map is generated from observations made during one or more measurement runs. In the next step, an attempt is made to locate oneself on the previously created maps using observations from a subsequent trip. In both steps, the observations are crucial for the localization. However, these observations depend on the sensors used and the situation surrounding the vehicle. For example, observations from a laser scanner behave differently when it is raining than when it is dry. A camera also provides different observations in rain, wet and dry conditions.
Die oben genannte Problematik wurde bislang durch folgende Herangehensweisen zu lösen versucht:
- - Sammlung von Beobachtungen in unterschiedlichen Situationen, wie beispielsweise bei Trockenheit, Regen, Nässe, etc., zur Erstellung von Karten, die weitestgehend unabhängig von atmosphärischen Gegebenheit sind. Live-Beobachtungen können so allerdings nicht beeinflusst werden.
- - Anpassung der Sensor-Detektion der Beobachtungen. Dabei wird der Detektionsalgorithmus für jede atmosphärische Störung trainiert, um beispielsweise die Detektion von Bildobjekten in den jeweiligen Situationen zu verbessern.
- - Collection of observations in different situations, such as dry, rainy, wet, etc., to create maps that are largely independent of atmospheric conditions. However, live observations cannot be influenced in this way.
- - Adjustment of the sensor detection of the observations. The detection algorithm is trained for each atmospheric disturbance in order to improve the detection of image objects in the respective situations, for example.
Diese Vorgehensweisen haben zwei inhärente Nachteile:
- - Werden die Karten aus unterschiedlichen Beobachtungen in unterschiedlichen Situationen erstellt, so bedeutet dies nicht, dass während der Lokalisierung in einer bestimmten Situation, wie beispielsweise Regen, die Beobachtungen gut zur Karte korrespondieren. Eine Robustheit der Lokalisierung gegen atmosphärische Störungen ist deshalb nicht zwingend gegeben.
- - Durch die reine Anpassung der Sensor-Detektion der Beobachtungen werden die Ausgaben des Sensors zwar direkt für jede Situation verbessert, ob dies jedoch direkt eine Verbesserung der Lokalisierung mit sich bringt ist bislang offen.
- - If the maps are created from different observations in different situations, this does not mean that the observations correspond well to the map during the localization in a certain situation, such as rain. A robustness of the localization against atmospheric disturbances is therefore not necessarily given.
- - By simply adapting the sensor detection of the observations, the outputs of the sensor are improved directly for every situation, but whether this directly results in an improvement in the localization is still open.
Insgesamt führt dies dazu, dass die Anpassungen von Karte und Beobachtungen ohne Betrachtung der Lokalisierungsergebnisse nicht zwingend sinnvoll für eine Lokalisierungsoptimierung gewählt wurden.Overall, this means that the adjustments made to the map and observations without considering the localization results were not necessarily chosen in a sensible manner for localization optimization.
Die Druckschrift
Die Druckschrift
Die Druckschrift
Vollständig autonom fahrende Fahrzeug benötigen eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld, d.h. auf der Straße bzw. der Fahrbahn, was unter Umständen bedingt durch Wetterbedingungen, wie Regen, Schnee, Nebel etc. nicht ausreichend gewährleistet ist.Fully autonomous vehicles require precise localization of the vehicle in its environment, i.e. on the street or lane, which may not be sufficiently guaranteed due to weather conditions such as rain, snow, fog, etc.
Der Erfindung liegt daher die Aufgabe zugrunde, die Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld sowie die Lokalisierung eines Fahrzeugs in seinem Umfeld zu verbessern.The invention is therefore based on the object of improving the generation of an environment map for the purpose of locating a vehicle in its environment and the localization of a vehicle in its environment.
Diese Aufgabe wird durch eine Verfahren zur Erzeugung einer Umfeldkarte mit den Merkmalen des Anspruchs 1, durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6, durch ein Verfahren zu Lokalisierung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a method for generating an environment map with the features of
Das erfindungsgemäße Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld umfasst die folgenden Schritte:
- - zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer bilderzeugenden Einrichtung,
- - Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
- - Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- - Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.
- - cyclic creation of images of the environment of the vehicle by means of at least one image-generating device,
- - Extraction of landmarks from the cyclic images of the imaging device and creation of a measurement data set for each image,
- - Determining the vehicle position and the vehicle's own movement,
- - Creation of an environment map from the measurement data set and the vehicle position and the vehicle's own movement, wherein within the measurement data set only a predetermined field of view is taken into account, the predetermined field of view for evaluating the cyclic measurement data sets is a function of the current weather condition.
Durch die Kopplung zwischen Sichtfeld und herrschender Wetterbedingung, wird die Umfeldkarte optimiert.The environment map is optimized through the coupling between the field of view and the prevailing weather conditions.
Vorzugsweise wird das vorgegebene Sichtfeld durch einen Satz von Parametern parametrisiert, wobei der Parametersatz eine Funktion der Wetterbedingung ist. Die Parametrisierung des Sichtfeldes ermöglicht die Beschreibung und Handhabung des Sichtfeldes in dem Ablauf des Algorithmus.Preferably, the predetermined field of view is parameterized by a set of parameters, the set of parameters being a function of the weather condition. The parameterization of the field of view enables the field of view to be described and manipulated in the algorithm run.
Weiter bevorzugt erfolgt eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen. Mit anderen Worten, die aktuell herrschende Wetterbedingung wird einer Klasse, wie beispielsweise „Trocken“, „Nass“ oder „Regen“, zugeordnet, wobei diese drei Klassen nur beispielhaft zu verstehen sind, da eine stetig geschlossene Beschreibung von Wetterbedingungen kaum möglich ist.More preferably, the weather condition is classified into a predetermined number of weather classes. In other words, the currently prevailing weather condition is assigned to a class, such as "dry", "wet" or "rain", whereby these three classes are only to be understood as examples, since a continuously closed description of weather conditions is hardly possible.
Weiter bevorzugt werden die Landmarken durch die Fahrbahnmarkierungen, das Umfeld durch die Fahrbahn vor dem Fahrzeug und das Sichtfeld durch ein Trapez auf der Fahrbahn gebildet, wobei das Trapez zwar erst innerhalb des Messdatensatzes zum Einsatz kommt und sozusagen „imaginär“ ist.More preferably, the landmarks are formed by the lane markings, the environment by the lane in front of the vehicle and the field of vision by a trapezoid on the lane, the trapezoid only being used within the measurement data set and being “imaginary” so to speak.
Vorzugsweise wird das vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für diese Wetterbedingung ermittelt, wobei die Optimierung des Sichtfeldes durch die Durchführung einer Lokalisierung des Fahrzeugs für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt. Durch die Durchführung von einer Vielzahl von Messfahrten für unterschiedliche Wetterbedingungen und unterschiedliche Parametersätze für das Sichtfeld können optimale Parameterwerte für die einzelnen Wetterklassen bestimmt werden, die dann in der Ermittlung und Optimierung der lokalen Umfeldkarte verwendet werden.The specified field of view for a weather condition is preferably determined by a specified number of measurement runs for this weather condition, with the field of view being optimized by localizing the vehicle for each measurement run and comparing each localization determined in this way with a reference localization. By carrying out a large number of measurement runs for different weather conditions and different parameter sets for the field of view, optimal parameter values for the individual weather classes can be determined, which are then used to determine and optimize the local environment map.
Die erfindungsgemäße Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
- - eine bilderzeugende Einrichtung zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs,
- - eine Einrichtung zum Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und zum Erstellen eines Messdatensatzes für jedes Bild,
- - eine Einrichtung zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- - eine Einrichtung zum Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, und
- - eine Einrichtung zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld eine Funktion der aktuellen Wetterbedingung ist.
- - an image-generating device for generating cyclic images of the surroundings of the vehicle,
- - a device for extracting landmarks from the cyclic images of the image-generating device and for creating a measurement data set for each image,
- - a device for determining the vehicle position and the vehicle's own movement,
- - a device for creating a map of the surroundings from the measurement dataset and the vehicle position and the vehicle's own movement, with only a predetermined field of view being taken into account within the measurement dataset, and
- - means for determining the current weather condition, the predetermined field of view being a function of the current weather condition.
Weiter bevorzugt führt die Einrichtung zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durch. More preferably, the device for determining the current weather condition classifies the weather condition into a predetermined number of weather classes.
Vorzugsweise ist pro Wetterklasse genau ein Sichtfeld hinterlegt, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.Precisely one field of view is preferably stored for each weather class, which is determined by measuring runs for the respective weather class.
Das erfindungsgemäße Verfahren zur Lokalisierung eines Fahrzeugs in seinem Umfeld führt die folgenden Schritte aus:
- - Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei die Umfeldkarte mit dem oben erläuterten Verfahren zur Erzeugung einer Umfeldkarte erzeugt wird,
- - Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
- - Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld.
- - Generating an environment map of the current environment of the vehicle, the environment map being generated using the above-explained method for generating an environment map,
- - Providing a digital map of the current surroundings of the vehicle, the digital map having the landmarks of the current surroundings, and
- - Merging the environment map and the digital map to generate a localization of the vehicle in its environment.
Die erfindungsgemäße Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahren zur Lokalisierung eines Fahrzeugs eingerichtet und ausgelegt ist, umfasst
- - eine Einrichtung zum Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei eine oben erläuterte Vorrichtung zur Erzeugung einer Umfeldkarte verwendet wird,
- - eine Einrichtung zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
- - eine Einrichtung zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld,
- - a device for generating an environment map of the current environment of the vehicle, wherein a device explained above for generating an environment map is used,
- - A device for providing a digital map of the current surroundings of the vehicle, the digital map having the landmarks of the current surroundings, and
- - a device for merging the environment map and the digital map to generate a localization of the vehicle in its environment,
Es erfolgt also eine Erweiterung der Landmarken-basierten Lokalisierung um eine adaptive Anpassung an die äußeren atmosphärischen Bedingungen. Das oben erläuterte Verfahren beschreibt, wie Parameter für die Lokalisierung in bestimmten Wettersituationen, wie beispielsweise Nebel, Regen und Trockenheit, bestimmt werden können.The landmark-based localization is thus expanded to include an adaptive adaptation to the external atmospheric conditions. The method explained above describes how parameters for localization in certain weather situations, such as fog, rain and drought, can be determined.
Um diese Parameter zu ermitteln, erfolgt folgende Vorgehensweise:
- - Durchführen von Messfahrten für die jeweiligen Klassen, wie beispielsweise Regen, Nässe und Trockenheit. Die Messfahrten sollen alle Daten für die Lokalisierung enthalten und zudem muss eine Referenzeinheit zur Referenzlokalisierung mitaufgezeichnet werden.
- - Einteilen der Fahrten in die jeweiligen Klassen - diese Datengrundlage kann als Trainingsset bezeichnet werden.
- - Innerhalb jeder Klasse werden jetzt die Parameter optimiert. Hier sei dies am Beispiel des Sichtbereichs der Kamera erläutert. Es werden die minimalen und maximalen Parameterwerte sowie die Schrittweite festgelegt. Für jede Fahrt des Trainingssets werden nun alle Parameterkombinationen durchgetestet. Dabei können unterschiedliche zusätzliche Bedingungen an die Parameterkombinationen festgelegt werden. Als Güte-Maß zu Bewertung einer Parameterkombination wird die Referenzlokalisierung herangezogen. Über ein festgelegtes Distanzmaß, wie beispielsweise das euklidisch Abstandsmaß, kann so der Fehler zwischen Referenzlokalisierung und Parameterkombination ermittelt werden. Nachdem alle Fahrten mit allen Kombinationen durchgetestet wurden, wird die beste Fahrt herangezogen. Da Witterung nicht diskret einteilbar ist, wird versucht das Rauschen der besten Fahrt zu bestimmen. Dies geschieht, indem die Abstände der Lokalisierung zur Referenzlokalisierung der besten Fahrt diskretisiert werden. Über diese diskreten Abstände wird die Standardabweichung gebildet. Alle weiteren getesteten Fahrten werden nur weiter betrachtet, wenn sie innerhalb
von 2 Standardabweichungen zur besten Fahrt der Klasse liegen. Anschließend können die Parameterwerte aller betrachteten Fahrten gemittelt werden. Sie gelten als optimale Parameterwerte für die Lokalisierung der jeweiligen Klasse.
- - Carrying out measurement runs for the respective classes, such as rain, wet and dry. The measurement runs should contain all the data for the localization and a reference unit for the reference localization must also be recorded.
- - Dividing the trips into the respective classes - this database can be referred to as a training set.
- - Within each class the parameters are now optimized. This is explained here using the example of the field of view of the camera. The minimum and maximum parameter values and the increment are specified. All parameter combinations are now tested for each ride in the training set. Various additional conditions can be specified for the parameter combinations. The reference localization is used as a quality measure for evaluating a parameter combination. The error between the reference localization and the parameter combination can be determined using a specified distance measure, such as the Euclidean distance measure. After all rides with all combinations have been tested, the best ride is used. Since the weather cannot be classified discretely, an attempt is made to determine the noise of the best trip. This is done by discretizing the distances between the localization and the reference localization of the best trip. The standard deviation is formed using these discrete distances. All other tested rides are only considered further if they are within 2 standard deviations of the best ride in class. The parameter values of all the trips considered can then be averaged. They are considered the optimal parameter values for localizing the respective class.
Das vorgestellte Verfahren bietet eine robuste präzise Lokalisierung mit folgenden Begebenheiten:
- - Es wird nicht nur ein Parameterset für alle Wetterbedingungen verwendet, sondern für jede Witterung wird ein spezielles Parameterset ermittelt und eingesetzt,
- - durch die ermittelten witterungsspezifischen Parametersets kann die Lokalisierung an die jeweilige Situation adaptiv auf Robustheit angepasst werden, um Fehllokalisierungen zu vermieden.
- - Not only one parameter set is used for all weather conditions, but a special parameter set is determined and used for each weather condition,
- - Using the determined weather-specific parameter sets, the localization can be adaptively adapted to the respective situation for robustness in order to avoid incorrect localizations.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
-
1 eine schematische Darstellung der Lokalisierungsproblematik anhand einer Verkehrssituation, -
2 ein Sichtfeld einer Kamera eines Fahrzeugs, -
3 Definition des Sichtfeldes, -
4 unterschiedliche Sichtfelder als Funktion der Klasse der Umgebungsbedingung, und -
5 eine schematische Darstellung der Vorrichtung zur präzisen Lokalisierung.
-
1 a schematic representation of the localization problem based on a traffic situation, -
2 a field of view of a camera of a vehicle, -
3 definition of the field of view, -
4 different fields of view as a function of the environmental condition class, and -
5 a schematic representation of the device for precise localization.
Wie bereits oben erwähnt, benötigt ein autonom fahrendes Fahrzeug eine möglichst präzise Lokalisierung in seinem Verkehrsumfeld. Mit andereren Worten, die Position des Fahrzeugs auf der Straße bzw. der Fahrbahn muss möglichst genau, d.h. innerhalb weniger Zentimeter, bekannt sein.As mentioned above, an autonomously driving vehicle needs to be localized as precisely as possible in its traffic environment. In other words, the position of the vehicle on the road or lane must be known as precisely as possible, i.e. within a few centimetres.
So zeigt
Die durch die GPS-Ortung bedingten Ungenauigkeiten sind in
Eine präzise Lokalisierung der beiden Fahrzeuge 4, 5 auf den Straßen 2, 3 führt zu deutlich kleineren Unsicherheitskreisen 11 und 13 um die Fahrzeuge 4, 5, so dass die durch die Fahrzeugbewegungen bedingten Unsicherheitsbereiche 12 und 14 hinsichtlich der präzisen Lokalisierung sich in einem deutlich kleineren Kollisionsbereich 15 schneiden, der zweifach gestrichelt dargestellt ist. Es ist also für ein autonomes Fahren notwendig eine präzise Lokalisierung der Fahrzeuge 4, 5 im Umfeld, hier der Kreuzungsbereich 1, bereitzustellen.A precise localization of the two
Zur präzisen Lokalisierung wird daher die Position des Fahrzeugs auf der Straße beispielsweise anhand der Fahrbahnmarkierungen und sonstiger Merkmale mittels einer geeigneten Sensorik bestimmt, wobei hier im Beispielsfall eine monokulare Kamera zum Einsatz kommt. Die Ergebnisse der Auswertung der Sensordaten werden mit einer digitalen Karte und der GPS-Position fusioniert, um zu einer präzisen Lokalisierung zu kommen. Da automatische Fahrzeuge, d.h. autonom fahrende Fahrzeuge, sich in der realen Welt bewegen und mit den Begebenheiten der realen Welt auseinandersetzen müssen, wird die präzise Lokalisierung anhand von Fahrbahnmarkierungen durch Wetterbedingungen beeinflusst. So ist es offensichtlich, dass die Erkennbarkeit der Fahrbahnmarkierungen für verschiedene Wetterbedingungen wie Trockenheit, Regen, Schnee oder Nebel unterschiedlich ist. Mit anderen Worten, die präzise Lokalisierung mittels Fahrbahnmarkierungen oder in der digitalen Karte verzeichneter Umfeldobjekte wie Ampeln etc. hängt von den Wetterbedingungen ab.For precise localization, the position of the vehicle on the road is therefore determined, for example using the road markings and other features, using a suitable sensor system, with a monocular camera being used here in the example. The results of the evaluation of the sensor data are merged with a digital map and the GPS position in order to arrive at a precise localization. Since automatic vehicles, i.e. autonomously driving vehicles, move in the real world and have to deal with the real world events, the precise localization based on lane markings is affected by weather conditions. So it is obvious that the visibility of the road markings is different for different weather conditions such as dryness, rain, snow or fog. In other words, the precise localization using road markings or surrounding objects such as traffic lights etc. recorded in the digital map depends on the weather conditions.
In
Dabei ist die feste Höhe hF durch die Montage der Kamera 30 am Fahrzeug bedingt und daher vorgegeben. Variabel ist die Höhe hT des Trapezes 26 und damit dessen obere Breite w, die sich zusammensetzt aus der linken Breite w1 und der rechten Breite w2. Folglich gilt:
Es stellt sich heraus, dass für jede der Wetterklassen „Trocken“, „Nass“ und „Regen“ zur Bildung der jeweiligen Sichtfelder 26 unterschiedliche Parameter zur optimalen Erkennung der Fahrbahnmarkierungen zum Einsatz kommen. Diese unterschiedlichen Parameter für die Höhe h, dfie sich zusammensetzt aus der Trapezhöhe hT und der fixen Höhe hF, und die Breite w des Sichtfeldes 26 führen zu unterschiedlichen Trapezen, nämlich das Trapez TR für die Wetterklasse „Regen“, das Trapez TD für die Wetterklasse „Trocken“ und das Trapez Tw für die Wetterklasse „Nass“. Dabei sind in dem Beispiel die drei Wetterklassen selbsterklärend. So steht „Trocken“ für eine trockene Fahrbahn, „Nass“ für eine nasse Fahrbahn ohne Regen und „Regen“ für eine Fahrbahn bei aktuellem Regen. Die Wetterklassen lassen sich beispielsweise aus den Daten eines geeigneten Sensors, beispielsweise einem Regensensor in Kombination mit weiteren Sensoren, ableiten.It turns out that for each of the weather classes "dry", "wet" and "rain" 26 different parameters are used to form the respective fields of vision for optimal recognition of the lane markings. These different parameters for the height h, dfie composed of the trapezium height h T and the fixed height h F , and the width w of the field of
Zur Bestimmung der Parameter werden Trainingsfahrten bei den klassifizierten Wetterbedingungen durchgeführt und die Fahrbahnmarkierungen bestimmt, wobei zur Auswertung der Messungen die Parameter Höhe des Trapezes hT und die Breite w des Trapezes innerhalb vorgegebener Grenzen variiert werden. Mit anderen Worten, es werden der Fahrbahnmarkierungen bei der vorgegebene Wetterklasse für eine vorgegebene Anzahl von Trainingsfahrten vermessen, die Messdaten werden mit vorgegebenen Parametersätzen für das Sichtfeld ausgewertet und für den jeweiligen Parametersatz die Lokalisierung des Fahrzeugs ermittelt und mit Referenzwerten verglichen. Aus der Abweichung der Lokalisierung und den Referenzwerten kann dann eine Lokalisierungsqualität für den verwendeten Parametersatz bei der jeweiligen Wetterklasse bestimmt werden, wobei beispielsweise der absolute euklidsche Abstand mit anschließender Mittelwertbildung verwendet werden kann. Aus der Vielzahl der Trainingsfahrten können dann Mittelwerte der Lokalisierungsquantitäten für die verschiedenen Parametersätze bestimmt werden, so dass für eine vorgegebene Wetterklasse ein optimaler Parametersatz ermittelt werden kann.To determine the parameters, training drives are carried out under the classified weather conditions and the road markings are determined, with the parameters height of the trapezoid h T and width w of the trapezium being varied within specified limits to evaluate the measurements. In other words, the road markings are measured in the specified weather class for a specified number of training drives, the measurement data are evaluated with specified sets of parameters for the field of vision and the localization of the vehicle is determined for the respective set of parameters and compared with reference values. A localization quality for the parameter set used for the respective weather class can then be determined from the deviation of the localization and the reference values, it being possible, for example, to use the absolute Euclidean distance with subsequent averaging. Average values of the localization quantities for the various sets of parameters can then be determined from the large number of training drives, so that an optimal set of parameters can be determined for a given weather class.
Die folgende Tabelle 1 zeigt beispielhaft die durch Trainingsfahrten ermittelten Parameterwerte „Breite w“ und „Gesamthöhe h“ für die hier verwendeten Wetterklassen „Trocken“, „Regen“ und „Nass“: Tabelle 1
Um die Umfeldkarte in der Auswerteeinrichtung 34 erstellen zu können, werden aus den Daten einer Sensorik 32, die diverse Fahrzeugsensoren, wie ESP und ABS zur Lieferung odometrischer Daten und eine GPS-Einrichtung umfasst, mittels einer nachfolgenden Einrichtung 33 die Fahrzeugposition und die Fahrzeugeigenbewegung bestimmt. Diese Informationen werden der Auswerteeinrichtung 34 zur Erstellung der Umfeldkarte zugeführt. Ferner werden die Informationen der Einrichtung 33 zur Bestimmung der Fahrzeugeigenbewegung einem elektronischen Horizont 36 zugeführt, der aufgrund der Fahrzeugposition eine digitale Karte des entsprechenden Umfelds des Fahrzeugs bereitstellt, wobei die digitale Karte die Fahrbahnmarkierungen enthält. Die elektronische Karte kann dabei über eine Mobilfunkschnittstelle vom elektronischen Horizont 36 angefordert und bereitgestellt werden.In order to be able to create the environment map in the
Um in der Auswerteeinheit 34 die Fahrbahnmarkierungen optimal Lokalisieren und Tracken zu können, damit eine optimale Erstellung der Umfeldkarte der Auswerteeinheit 34 möglich ist, müssen der Auswerteeinheit die Wetterbedingungen, d.h. die Wetterklasse, bekannt sein, damit je nach Wetterklasse der entsprechende Parametersatz für das Sichtfeld der Kamera zur Auswertung gewählt werden kann. Die Bestimmung der Wetterklasse erfolgt über eine entsprechende Einrichtung 35, die mittels diverser im Fahrzeug vorhandener Sensorik abklärt, welche Wetterbedingungen im Umfeld des Fahrzeugs herrschen. Dazu können Informationen des Regensensors, der Klimaanlage, der Uhrzeit, der Beleuchtungsanlage des Fahrzeugs, oder einer anderen geeigneten Umfeldsensorik, verwendet werden. Aus den Informationen wird das vorherrschende Wetter bestimmt und in Wetterklassen klassifiziert. Das Ergebnis der Klassifizierung, d.h. die Wetterklasse, wird der Auswerteeinrichtung 34 zur Verwendung bei der Lokalisierung der Fahrbahnmarkierungen zur Erstellung der Umfeldkarte zugeführt.In order to be able to optimally localize and track the road markings in the
Die von der Auswerteeinrichtung 34 erstellte Umfeldkarte und die vom elektronischen Horizont 36 bereitgestellte digitale Karte werden in einer Fusionseinrichtung 37 fusioniert und eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld durchgeführt. Dazu werden die erkannten Fahrbahnmarkierungen der Umfeldkarte mit den Fahrbahnmarkierungen der digitalen Karte abgeglichen und die Position des Fahrzeugs erneut bestimmt. Die so bestimmte Lokalisierung des Fahrzeugs wird einer Ausgabeeinrichtung 38 zu weiteren Verwendung zugeführt.The environment map created by the
BezugszeichenlisteReference List
- 11
- KreuzungCrossing
- 22
- StraßeStreet
- 33
- StraßeStreet
- 44
- erstes Fahrzeugfirst vehicle
- 55
- zweites Fahrzeugsecond vehicle
- 66
- GPS-Unsicherheitkreis erstes FahrzeugGPS uncertainty circle first vehicle
- 77
- GPS-Unsicherheitsbereich erstes FahrzeugGPS uncertainty area first vehicle
- 88th
- GPS-Unsicherheitskreis zweites FahrzeugGPS uncertainty circle second vehicle
- 99
- GPS-Unsicherheitsbereich zweites FahrzeugGPS uncertainty area second vehicle
- 1010
- GPS-KollisionsbereichGPS collision area
- 1111
- Unsicherheitskreis präzise Lokalisierung erstes Fahrzeugcircle of uncertainty precise localization of first vehicle
- 1212
- Unsicherheitsbereich präzise Lokalisierung erstes FahrzeugUncertainty area precise localization of first vehicle
- 1313
- Unsicherheitskreis präzise Lokalisierung zweites Fahrzeugcircle of uncertainty precise localization of second vehicle
- 1414
- Unsicherheitsbereich präzise Lokalisierung zweites FahrzeugUncertainty area precise localization of second vehicle
- 1515
- Kollisionsbereich präzise Lokalisierung Collision area precise localization
- 2020
- Fahrbahnroadway
- 2121
- Fahrstreifenlane
- 2222
- Fahrstreifenlane
- 2323
- Fahrstreifenlane
- 2424
- Fahrstreifenlane
- 2525
- Fahrzeugvehicle
- 2626
- Sichtfeld Kamerafield of view camera
- 2727
- erkannte Markierungrecognized mark
- 2828
- erkannte Markierungrecognized mark
- 2929
- erkannte Markierungrecognized mark
- 3030
- Kameracamera
- 3131
- Extraktion der MarkierungenExtraction of the marks
- 3232
- Fahrzeugsensoren, GPSVehicle sensors, GPS
- 3333
- Bestimmung der absoluten Fahrzeugposition und FahrzeugbewegungDetermination of the absolute vehicle position and vehicle movement
- 3434
- Auswerten der Fahrbahnmarkierungen, Erstellen einer gemessenen UmfeldkarteEvaluation of the road markings, creation of a measured environment map
- 3535
- Umfeldsensorik zur Bestimmung der WetterklasseEnvironment sensors to determine the weather class
- 3636
- Elektronischer Horizont (digitale Umfeldkarte)Electronic horizon (digital environment map)
- 3737
- Fusionierung digitale Karte und UmfeldkarteFusion of digital map and environment map
- 3838
- Ausgabe der präzisen Lokalisierung Precise localization output
- hH
- Gesamthöheoverall height
- hFhF
- feste Höhefixed height
- hThT
- Höhe TrapezHeight trapezoid
- ww
- Gesamtbreite TrapezOverall width trapezoid
- w1w1
- linke Breite Trapezleft latitude trapezium
- w2w2
- rechte Breite Trapezright latitude trapezium
- αa
- Winkelangle
- ββ
- Winkel angle
- Ff
- Fahrzeugvehicle
- TRTR
- Trapez für Klasse „Regen“ (Rain)Trapeze for class "Rain" (Rain)
- TDTD
- Trapez für Klasse „Trocken“ (Dry)Trapeze for class "Dry" (Dry)
- TWTW
- Trapez für Klasse „Nass“ (Wet)Wet Class Trapeze
Claims (10)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015009103 | 2015-07-17 | ||
DE102015009103.4 | 2015-07-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102016212774A1 DE102016212774A1 (en) | 2017-01-19 |
DE102016212774B4 true DE102016212774B4 (en) | 2023-04-06 |
Family
ID=57630172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016212774.8A Active DE102016212774B4 (en) | 2015-07-17 | 2016-07-13 | Method and device for generating a map of the surroundings and for locating a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016212774B4 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016214028A1 (en) * | 2016-07-29 | 2018-02-01 | Volkswagen Aktiengesellschaft | Method and system for determining a position of a mobile unit |
DE102018220799A1 (en) | 2018-12-03 | 2020-06-04 | Robert Bosch Gmbh | Method for operating a vehicle |
DE102019004652A1 (en) | 2019-07-02 | 2020-01-23 | Daimler Ag | Driver assistance system for determining a current position of the motor vehicle and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0913751B1 (en) | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomous vehicle and guiding method for an autonomous vehicle |
DE102007003014A1 (en) | 2007-01-20 | 2008-07-24 | Volkswagen Ag | Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal |
DE102008034923A1 (en) | 2008-07-26 | 2010-01-28 | Hkw-Elektronik Gmbh | Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner |
-
2016
- 2016-07-13 DE DE102016212774.8A patent/DE102016212774B4/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0913751B1 (en) | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomous vehicle and guiding method for an autonomous vehicle |
DE102007003014A1 (en) | 2007-01-20 | 2008-07-24 | Volkswagen Ag | Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal |
DE102008034923A1 (en) | 2008-07-26 | 2010-01-28 | Hkw-Elektronik Gmbh | Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner |
Also Published As
Publication number | Publication date |
---|---|
DE102016212774A1 (en) | 2017-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3443301B1 (en) | Method and system for determining a global position of a first landmark | |
EP3731187B1 (en) | Method and device for determining the geographical position and orientation of a vehicle | |
EP3380811B1 (en) | Method and system for creating a digital map | |
DE102010006828B4 (en) | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle | |
DE102014223363B4 (en) | Method and device for localizing a motor vehicle in a fixed reference map | |
DE102012207620B4 (en) | System and method for light signal detection | |
DE102015203016B4 (en) | Method and device for optical self-localization of a motor vehicle in an environment | |
DE102017108774A1 (en) | Tire Track maps estimate | |
WO2016188523A1 (en) | Method for estimating traffic lanes | |
DE102016117123A1 (en) | Vehicle radar perception and localization | |
EP3292423B1 (en) | Diagnostic method for a vision sensor of a vehicle and vehicle having a vision sensor | |
DE102016203723A1 (en) | Method and system for determining the pose of a vehicle | |
EP3380810B1 (en) | Method, device, map processing device and system for precise localization of a vehicle in its surroundings | |
WO2017089135A1 (en) | Method and system for creating a lane-accurate occupancy grid map for lanes | |
DE102016213817B4 (en) | A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane | |
EP2116958B1 (en) | Method and device for calculating the drive path in the area in front of a vehicle | |
DE102016213782A1 (en) | A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane | |
DE102016209232B4 (en) | Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a roadway | |
DE102015115012A1 (en) | Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle | |
DE102016212774B4 (en) | Method and device for generating a map of the surroundings and for locating a vehicle | |
EP3391086A1 (en) | Improved method for determining the roadside development of a road for locating motor vehicles | |
DE102018215055A1 (en) | Method for determining a lane change indication of a vehicle, a computer-readable storage medium and a vehicle | |
DE102019112279A1 (en) | METHOD AND DEVICE FOR DIAGONAL TRACK DETECTION | |
DE102016220581A1 (en) | METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL | |
DE102016207181B4 (en) | Method and system for determining a position of a vehicle on a roadway |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G01W0001000000 Ipc: B60W0040020000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |