DE102016212774A1 - Method and device for generating an environment map and for locating a vehicle - Google Patents
Method and device for generating an environment map and for locating a vehicle Download PDFInfo
- Publication number
- DE102016212774A1 DE102016212774A1 DE102016212774.8A DE102016212774A DE102016212774A1 DE 102016212774 A1 DE102016212774 A1 DE 102016212774A1 DE 102016212774 A DE102016212774 A DE 102016212774A DE 102016212774 A1 DE102016212774 A1 DE 102016212774A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- environment
- map
- view
- weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004807 localization Effects 0.000 claims abstract description 56
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 241001136792 Alle Species 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001295925 Gegenes Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld und eine entsprechend Vorrichtung führt die folgenden Schritte aus: – zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer Kamera, – Extrahieren von Landmarken aus den zyklischen Bildern der Kamera, wobei innerhalb eines Bildes nur ein vorgegebenes Sichtfeld zur Auswertung bezüglich der Landmarken berücksichtigt wird, – Erstellen einer Umfeldkarte aus den extrahierten Landmarken, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Bilder eine Funktion der herrschenden Wetterbedingungen ist. Durch eine Fusionierung der so erzeugten Umfeldkarte und einer digitalen Karte wird eine präzise Lokalisierung des Fahrzeugs erreicht.A method for generating an environment map for the purpose of localizing a vehicle in its surroundings and a corresponding device performs the following steps: cyclically creating images of the surroundings of the vehicle by means of at least one camera, extracting landmarks from the cyclic images of the camera, wherein within an image only a predetermined field of view for evaluation with respect to the landmarks is taken into account, - creating an environment map from the extracted landmarks, wherein the predetermined field of view for evaluating the cyclic images is a function of the prevailing weather conditions. By fusing the resulting environment map and a digital map, a precise localization of the vehicle is achieved.
Description
Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld gemäß dem Oberbegriff des Anspruchs 1, eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6, ein Verfahren zur Lokalisierung eines autonomen Fahrzeugs in seiner Umgebung gemäß dem Oberbegriff des Anspruchs 9 sowie eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10.The invention relates to a method for generating an environment map for the purpose of localization of a vehicle in its environment according to the preamble of claim 1, a corresponding device according to the preamble of
Automatisches bzw. autonomes Fahren erfordert eine hochgenaue Lokalisierung des Fahrzeugs in seiner Umgebung. Da automatische Fahrzeuge sich nicht in "gutmütigen" Umgebungen, sondern in der realen Welt bewegen müssen und somit direkt atmosphärischen Störungen, wie zum Beispiel Jahreszeiten, Wetterveränderungen und Lichteffekten, ausgesetzt sind, müssen die Lokalisierungsverfahren robust und die Lokalisierung in jeder Situation gewährleistet sein, da diese atmosphärischen Störungen die Lokalisierung beeinflussen können.Automatic or autonomous driving requires a highly accurate localization of the vehicle in its environment. Since automated vehicles do not have to move in "good-natured" environments, but in the real world and are thus directly exposed to atmospheric disturbances, such as seasons, weather changes and lighting effects, localization procedures must be robust and localization guaranteed in every situation these atmospheric disturbances can affect the localization.
Wird von einer Lokalisierung im Kontext des automatischen Fahrens gesprochen, so besteht die Lokalisierung aus einem zweigeteilten Ansatz. Im ersten Schritt wird aus Beobachtungen während einer oder mehrerer Messfahrten eine Karte erzeugt. Im nächsten Schritt wird versucht sich mit Beobachtungen einer nachfolgenden Fahrt auf den zuvor erstellten Karten zu lokalisieren. In beiden Schritten sind die Beobachtungen für die Lokalisierung von entscheidender Bedeutung. Jedoch hängen diese Beobachtungen von den eingesetzten Sensoren und der das Fahrzeug umgebenden Situation ab. Beispielsweise verhalten sich Beobachtungen aus einem Laserscanner bei Regen anders als bei Trockenheit. Auch eine Kamera liefert unterschiedliche Beobachtungen bei Regen, Nässe und Trockenheit.When talking about localization in the context of automatic driving, localization consists of a two-part approach. In the first step, a map is generated from observations during one or more test drives. In the next step you will try to locate yourself with observations of a subsequent trip on the previously created maps. In both steps, the observations for localization are of crucial importance. However, these observations depend on the sensors used and the situation surrounding the vehicle. For example, observations from a laser scanner behave differently in rain than in drought. A camera also provides different observations in rain, moisture and drought.
Die oben genannte Problematik wurde bislang durch folgende Herangehensweisen zu lösen versucht:
- – Sammlung von Beobachtungen in unterschiedlichen Situationen, wie beispielsweise bei Trockenheit, Regen, Nässe, etc., zur Erstellung von Karten, die weitestgehend unabhängig von atmosphärischen Gegebenheit sind. Live-Beobachtungen können so allerdings nicht beeinflusst werden.
- – Anpassung der Sensor-Detektion der Beobachtungen. Dabei wird der Detektionsalgorithmus für jede atmosphärische Störung trainiert, um beispielsweise die Detektion von Bildobjekten in den jeweiligen Situationen zu verbessern.
- - Collection of observations in different situations, such as drought, rain, wet, etc., to create maps that are largely independent of atmospheric conditions. However, live observations can not be influenced.
- - Adjustment of the sensor detection of the observations. In this case, the detection algorithm is trained for each atmospheric disturbance, for example in order to improve the detection of image objects in the respective situations.
Diese Vorgehensweisen haben zwei inhärente Nachteile:
- – Werden die Karten aus unterschiedlichen Beobachtungen in unterschiedlichen Situationen erstellt, so bedeutet dies nicht, dass während der Lokalisierung in einer bestimmten Situation, wie beispielsweise Regen, die Beobachtungen gut zur Karte korrespondieren. Eine Robustheit der Lokalisierung gegen atmosphärische Störungen ist deshalb nicht zwingend gegeben.
- – Durch die reine Anpassung der Sensor-Detektion der Beobachtungen werden die Ausgaben des Sensors zwar direkt für jede Situation verbessert, ob dies jedoch direkt eine Verbesserung der Lokalisierung mit sich bringt ist bislang offen.
- - If the maps are created from different observations in different situations, this does not mean that during localization in a given situation, such as rain, the observations correspond well to the map. A robustness of the localization against atmospheric disturbances is therefore not necessarily given.
- - The mere adaptation of the sensor detection of the observations, although the outputs of the sensor directly improved for each situation, but whether this directly brings an improvement in localization is so far open.
Insgesamt führt dies dazu, dass die Anpassungen von Karte und Beobachtungen ohne Betrachtung der Lokalisierungsergebnisse nicht zwingend sinnvoll für eine Lokalisierungsoptimierung gewählt wurden. Overall, this leads to the fact that the adjustments of map and observations without consideration of the localization results were not necessarily chosen sensibly for a localization optimization.
Die Druckschrift
Die Druckschrift
Vollständig autonom fahrende Fahrzeug benötigen eine präzise Lokalisierung des Fahrzeugs in seinem Umfeld, d.h. auf der Straße bzw. der Fahrbahn, was unter Umständen bedingt durch Wetterbedingungen, wie Regen, Schnee, Nebel etc. nicht ausreichend gewährleistet ist. Fully autonomous vehicles require precise localization of the vehicle in its environment, i. on the road or the road, which is under certain circumstances due to weather conditions, such as rain, snow, fog, etc. is not sufficiently guaranteed.
Der Erfindung liegt daher die Aufgabe zugrunde, die Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld sowie die Lokalisierung eines Fahrzeugs in seinem Umfeld zu verbessern.The invention is therefore based on the object to improve the generation of an environment map for the purpose of localization of a vehicle in its environment and the localization of a vehicle in its environment.
Diese Aufgabe wird durch eine Verfahren zur Erzeugung einer Umfeldkarte mit den Merkmalen des Anspruchs 1, durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6, durch ein Verfahren zu Lokalisierung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a method for generating an environment map with the features of claim 1, by a corresponding device with the features of
Das erfindungsgemäße Verfahren zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld umfasst die folgenden Schritte:
- – zyklisches Erstellen von Bilder des Umfelds des Fahrzeugs mittels mindestens einer bilderzeugenden Einrichtung,
- – Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und Erstellen eines Messdatensatzes für jedes Bild,
- – Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- – Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, wobei das vorgegebene Sichtfeld zur Auswertung der zyklischen Messdatensätze eine Funktion der aktuellen Wetterbedingung ist.
- - Cyclic creation of images of the environment of the vehicle by means of at least one image-forming device,
- Extract landmarks from the cyclic images of the imaging device and create a measurement dataset for each image;
- Determining the vehicle position and the vehicle's own movement,
- - Creating an environment map from the measurement data set and the vehicle position and the vehicle's own motion, wherein within the measurement data set only a predetermined field of view is taken into account, wherein the predetermined field of view for evaluating the cyclic measurement data sets is a function of the current weather condition.
Durch die Kopplung zwischen Sichtfeld und herrschender Wetterbedingung, wird die Umfeldkarte optimiert.By coupling between field of view and prevailing weather conditions, the environment map is optimized.
Vorzugsweise wird das vorgegebene Sichtfeld durch einen Satz von Parametern parametrisiert, wobei der Parametersatz eine Funktion der Wetterbedingung ist. Die Parametrisierung des Sichtfeldes ermöglicht die Beschreibung und Handhabung des Sichtfeldes in dem Ablauf des Algorithmus. Preferably, the predetermined field of view is parameterized by a set of parameters, the parameter set being a function of the weather condition. The parameterization of the field of view enables the description and handling of the field of view in the course of the algorithm.
Weiter bevorzugt erfolgt eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen. Mit anderen Worten, die aktuell herrschende Wetterbedingung wird einer Klasse, wie beispielsweise "Trocken", "Nass" oder "Regen", zugeordnet, wobei diese drei Klassen nur beispielhaft zu verstehen sind, da eine stetig geschlossene Beschreibung von Wetterbedingungen kaum möglich ist.More preferably, the weather condition is classified into a predetermined number of weather classes. In other words, the currently prevailing weather condition is assigned to a class such as "dry," "wet," or "rain," and these three classes are meant to be exemplary only, as a consistent description of weather conditions is hardly possible.
Weiter bevorzugt werden die Landmarken durch die Fahrbahnmarkierungen, das Umfeld durch die Fahrbahn vor dem Fahrzeug und das Sichtfeld durch ein Trapez auf der Fahrbahn gebildet, wobei das Trapez zwar erst innerhalb des Messdatensatzes zum Einsatz kommt und sozusagen "imaginär" ist.More preferably, the landmarks are formed by the road markings, the environment by the roadway in front of the vehicle and the field of view by a trapezoid on the road, the trapezoid is indeed used only within the measurement data set and is "imaginary", so to speak.
Vorzugsweise wird das vorgegebene Sichtfeld für eine Wetterbedingung durch eine vorgegebene Anzahl von Messfahrten für diese Wetterbedingung ermittelt, wobei die Optimierung des Sichtfeldes durch die Durchführung einer Lokalisierung des Fahrzeugs für jede Messfahrt und Vergleich jeder so ermittelten Lokalisierung mit einer Referenzlokalisierung erfolgt. Durch die Durchführung von einer Vielzahl von Messfahrten für unterschiedliche Wetterbedingungen und unterschiedliche Parametersätze für das Sichtfeld können optimale Parameterwerte für die einzelnen Wetterklassen bestimmt werden, die dann in der Ermittlung und Optimierung der lokalen Umfeldkarte verwendet werden.Preferably, the predetermined field of view for a weather condition is determined by a predetermined number of test runs for that weather condition, wherein the optimization of the field of view is performed by performing a localization of the vehicle for each test run and comparing each location thus determined with a reference location. By carrying out a large number of test drives for different weather conditions and different parameter sets for the field of view, it is possible to determine optimum parameter values for the individual weather classes, which are then used in the determination and optimization of the local environment map.
Die erfindungsgemäße Vorrichtung zur Erzeugung einer Umfeldkarte zum Zweck der Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
- – eine bilderzeugende Einrichtung zur Erzeugung zyklischer Bilder des Umfelds des Fahrzeugs,
- – eine Einrichtung zum Extrahieren von Landmarken aus den zyklischen Bildern der bilderzeugenden Einrichtung und zum Erstellen eines Messdatensatzes für jedes Bild,
- – eine Einrichtung zum Ermitteln der Fahrzeugposition und der Fahrzeugeigenbewegung,
- – eine Einrichtung zum Erstellen einer Umfeldkarte aus dem Messdatensatz sowie der Fahrzeugposition und der Fahrzeugeigenbewegung, wobei innerhalb des Messdatensatzes nur ein vorgegebenes Sichtfeld berücksichtigt wird, und
- – eine Einrichtung zur Bestimmung der aktuellen Wetterbedingung, wobei das vorgegebene Sichtfeld eine Funktion der aktuellen Wetterbedingung ist.
- An image-forming device for generating cyclic images of the surroundings of the vehicle,
- A device for extracting landmarks from the cyclic images of the image-forming device and for generating a measurement data set for each image,
- A device for determining the vehicle position and the vehicle's own movement,
- A device for creating an environment map from the measured data set as well as the vehicle position and the vehicle own motion, wherein within the measurement data set only a predetermined field of view is taken into account, and
- - A device for determining the current weather condition, wherein the predetermined field of view is a function of the current weather condition.
Weiter bevorzugt führt die Einrichtung zur Bestimmung der aktuellen Wetterbedingung eine Klassifizierung der Wetterbedingung in eine vorgegebene Anzahl von Wetterklassen durch.More preferably, the means for determining the current weather condition performs a classification of the weather condition into a predetermined number of weather classes.
Vorzugsweise ist pro Wetterklasse genau ein Sichtfeld hinterlegt, welches durch Messfahrten für die jeweilige Wetterklasse ermittelt wird.Preferably, exactly one field of view is stored per weather class, which is determined by measuring trips for the respective weather class.
Das erfindungsgemäße Verfahren zur Lokalisierung eines Fahrzeugs in seinem Umfeld führt die folgenden Schritte aus:
- – Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei die Umfeldkarte mit dem oben erläuterten Verfahren zur Erzeugung einer Umfeldkarte erzeugt wird,
- – Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
- – Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld.
- Generating an environment map of the current environment of the vehicle, wherein the environment map is generated with the above-described method for generating an environment map,
- Providing a digital map of the current environment of the vehicle, the digital map having the landmarks of the current environment, and
- - Fusion of the environment map and the digital map to create a localization of the vehicle in its environment.
Die erfindungsgemäße Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld, wobei die Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahren zur Lokalisierung eines Fahrzeugs eingerichtet und ausgelegt ist, umfasst
- – eine Einrichtung zum Erzeugen einer Umfeldkarte des aktuellen Umfelds des Fahrzeugs, wobei eine oben erläuterte Vorrichtung zur Erzeugung einer Umfeldkarte verwendet wird,
- – eine Einrichtung zum Bereitstellen einer digitalen Karte des aktuellen Umfelds des Fahrzeugs, wobei die digitale Karte die Landmarken des aktuellen Umfelds aufweist, und
- – eine Einrichtung zum Fusionieren der Umfeldkarte und der digitalen Karte zum Erzeugen einer Lokalisierung des Fahrzeugs in seinem Umfeld,
- A device for generating an environment map of the current environment of the vehicle, wherein an above-described device is used to generate an environment map,
- A device for providing a digital map of the current environment of the vehicle, the digital map having the landmarks of the current environment, and
- A means for merging the environment map and the digital map to create a location of the vehicle in its environment,
Es erfolgt also eine Erweiterung der Landmarken-basierten Lokalisierung um eine adaptive Anpassung an die äußeren atmosphärischen Bedingungen. Das oben erläuterte Verfahren beschreibt, wie Parameter für die Lokalisierung in bestimmten Wettersituationen, wie beispielsweise Nebel, Regen und Trockenheit, bestimmt werden können. Thus, there is an extension of the landmark-based localization to an adaptive adaptation to the external atmospheric conditions. The method described above describes how parameters for localization in certain weather situations, such as fog, rain and drought, can be determined.
Um diese Parameter zu ermitteln, erfolgt folgende Vorgehensweise:
- – Durchführen von Messfahrten für die jeweiligen Klassen, wie beispielsweise Regen, Nässe und Trockenheit. Die Messfahrten sollen alle Daten für die Lokalisierung enthalten und zudem muss eine Referenzeinheit zur Referenzlokalisierung mitaufgezeichnet werden.
- – Einteilen der Fahrten in die jeweiligen Klassen – diese Datengrundlage kann als Trainingsset bezeichnet werden.
- – Innerhalb jeder Klasse werden jetzt die Parameter optimiert. Hier sei dies am Beispiel des Sichtbereichs der Kamera erläutert. Es werden die minimalen und maximalen Parameterwerte sowie die Schrittweite festgelegt. Für jede Fahrt des Trainingssets werden nun alle Parameterkombinationen durchgetestet. Dabei können unterschiedliche zusätzliche Bedingungen an die Parameterkombinationen festgelegt werden. Als Güte-Maß zu Bewertung einer Parameterkombination wird die Referenzlokalisierung herangezogen. Über ein festgelegtes Distanzmaß, wie beispielsweise das euklidisch Abstandsmaß, kann so der Fehler zwischen Referenzlokalisierung und Parameterkombination ermittelt werden. Nachdem alle Fahrten mit allen Kombinationen durchgetestet wurden, wird die beste Fahrt herangezogen. Da Witterung nicht diskret einteilbar ist, wird versucht das Rauschen der besten Fahrt zu bestimmen. Dies geschieht, indem die Abstände der Lokalisierung zur Referenzlokalisierung der besten Fahrt diskretisiert werden. Über diese diskreten Abstände wird die Standardabweichung gebildet. Alle weiteren getesteten Fahrten werden nur weiter betrachtet, wenn sie innerhalb
von 2 Standardabweichungen zur besten Fahrt der Klasse liegen. Anschließend können die Parameterwerte aller betrachteten Fahrten gemittelt werden. Sie gelten als optimale Parameterwerte für die Lokalisierung der jeweiligen Klasse.
- - Carry out test drives for the respective classes, such as rain, wet and dry conditions. The test drives should contain all data for the localization and also a reference unit for reference localization must be recorded.
- - Divide the trips into the respective classes - this data base can be called a training set.
- Within each class, the parameters are now optimized. Here, this is explained using the example of the field of view of the camera. The minimum and maximum parameter values as well as the step size are defined. For each trip of the training set, all parameter combinations are now tested. Different additional conditions can be specified for the parameter combinations. As a quality measure for the evaluation of a parameter combination, the reference localization is used. Over a fixed distance measure, as for example the Euclidean distance measure, so the error between reference localization and parameter combination can be determined. After all the rides with all combinations have been tested, the best ride is used. Since weather is not discretely divisible, it tries to determine the noise of the best ride. This is done by discretizing the distances of the localization to the reference location of the best trip. About this discreet Distances, the standard deviation is formed. All other tested rides will only be considered further if they are within 2 standard deviations from the best ride in the class. Subsequently, the parameter values of all considered journeys can be averaged. They are considered optimal parameter values for the localization of the respective class.
Das vorgestellte Verfahren bietet eine robuste präzise Lokalisierung mit folgenden Begebenheiten:
- – Es wird nicht nur ein Parameterset für alle Wetterbedingungen verwendet, sondern für jede Witterung wird ein spezielles Parameterset ermittelt und eingesetzt,
- – durch die ermittelten witterungsspezifischen Parametersets kann die Lokalisierung an die jeweilige Situation adaptiv auf Robustheit angepasst werden, um Fehllokalisierungen zu vermieden.
- - Not only is a parameter set used for all weather conditions, but a special parameter set is determined and used for each weather,
- - By the determined weather-specific parameter sets, the localization can be adaptively adapted to the particular situation to robustness, to avoid mislocalizations.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigtA preferred embodiment of the invention will be explained below with reference to the drawings. It shows
Wie bereits oben erwähnt, benötigt ein autonom fahrendes Fahrzeug eine möglichst präzise Lokalisierung in seinem Verkehrsumfeld. MIt andereren Worten, die Position des Fahrzeugs auf der Straße bzw. der Fahrbahn muss möglichst genau, d.h. innerhalb weniger Zentimeter, bekannt sein. As already mentioned above, an autonomously driving vehicle requires a precise localization in its traffic environment. In other words, the position of the vehicle on the road must be as accurate as possible, i. within a few inches, be known.
So zeigt
Die durch die GPS-Ortung bedingten Ungenauigkeiten sind in
Eine präzise Lokalisierung der beiden Fahrzeuge
Zur präzisen Lokalisierung wird daher die Position des Fahrzeugs auf der Straße beispielsweise anhand der Fahrbahnmarkierungen und sonstiger Merkmale mittels einer geeigneten Sensorik bestimmt, wobei hier im Beispielsfall eine monokulare Kamera zum Einsatz kommt. Die Ergebnisse der Auswertung der Sensordaten werden mit einer digitalen Karte und der GPS-Position fusioniert, um zu einer präzisen Lokalisierung zu kommen. Da automatische Fahrzeuge, d.h. autonom fahrende Fahrzeuge, sich in der realen Welt bewegen und mit den Begebenheiten der realen Welt auseinandersetzen müssen, wird die präzise Lokalisierung anhand von Fahrbahnmarkierungen durch Wetterbedingungen beeinflusst. So ist es offensichtlich, dass die Erkennbarkeit der Fahrbahnmarkierungen für verschiedene Wetterbedingungen wie Trockenheit, Regen, Schnee oder Nebel unterschiedlich ist. Mit anderen Worten, die präzise Lokalisierung mittels Fahrbahnmarkierungen oder in der digitalen Karte verzeichneter Umfeldobjekte wie Ampeln etc. hängt von den Wetterbedingungen ab.For precise localization, therefore, the position of the vehicle on the road is determined for example on the basis of the lane markings and other features by means of a suitable sensor system, in which case a monocular camera is used in the example case. The results of the evaluation of the sensor data are fused with a digital map and the GPS position in order to arrive at a precise localization. Since automatic vehicles, i. autonomous vehicles, moving around in the real world and having to deal with real world events, the precise localization is influenced by lane markings due to weather conditions. So it is obvious that the visibility of the lane markings for different weather conditions such as drought, rain, snow or fog is different. In other words, precise location by means of lane markings or environment objects such as traffic lights, etc., recorded in the digital map depends on the weather conditions.
In
Dabei ist die feste Höhe hF durch die Montage der Kamera
Es stellt sich heraus, dass für jede der Wetterklassen "Trocken", "Nass" und "Regen" zur Bildung der jeweiligen Sichtfelder
Zur Bestimmung der Parameter werden Trainingsfahrten bei den klassifizierten Wetterbedingungen durchgeführt und die Fahrbahnmarkierungen bestimmt, wobei zur Auswertung der Messungen die Parameter Höhe des Trapezes hT und die Breite w des Trapezes innerhalb vorgegebener Grenzen variiert werden. Mit anderen Worten, es werden der Fahrbahnmarkierungen bei der vorgegebene Wetterklasse für eine vorgegebene Anzahl von Trainingsfahrten vermessen, die Messdaten werden mit vorgegebenen Parametersätzen für das Sichtfeld ausgewertet und für den jeweiligen Parametersatz die Lokalisierung des Fahrzeugs ermittelt und mit Referenzwerten verglichen. Aus der Abweichung der Lokalisierung und den Referenzwerten kann dann eine Lokalisierungsqualität für den verwendeten Parametersatz bei der jeweiligen Wetterklasse bestimmt werden, wobei beispielsweise der absolute euklidsche Abstand mit anschließender Mittelwertbildung verwendet werden kann. Aus der Vielzahl der Trainingsfahrten können dann Mittelwerte der Lokalisierungsquantitäten für die verschiedenen Parametersätze bestimmt werden, so dass für eine vorgegebene Wetterklasse ein optimaler Parametersatz ermittelt werden kann.In order to determine the parameters, training runs are carried out in the classified weather conditions and the lane markings are determined, the parameter height of the trapezoid h T and the width w of the trapezoid being varied within predefined limits in order to evaluate the measurements. In other words, the lane markings in the given weather class are measured for a predetermined number of training runs, the measured data are evaluated with predetermined parameter sets for the field of view, and the localization of the vehicle is determined for the respective parameter set and compared with reference values. From the deviation of the localization and the reference values, a localization quality for the parameter set used in the respective weather class can then be determined, wherein, for example, the absolute Euclidean distance with subsequent averaging can be used. From the multiplicity of training runs, mean values of the localization quantities for the different parameter sets can be determined so that an optimal parameter set can be determined for a given weather class.
Die folgende Tabelle 1 zeigt beispielhaft die durch Trainingsfahrten ermittelten Parameterwerte "Breite w" und "Gesamthöhe h" für die hier verwendeten Wetterklassen "Trocken", "Regen" und "Nass":
Um die Umfeldkarte in der Auswerteeinrichtung
Um in der Auswerteeinheit
Die von der Auswerteeinrichtung
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Kreuzung crossing
- 22
- Straße Street
- 33
- Straße Street
- 44
- erstes Fahrzeug first vehicle
- 55
- zweites Fahrzeug second vehicle
- 66
- GPS-Unsicherheitkreis erstes Fahrzeug GPS uncertainty circle first vehicle
- 77
- GPS-Unsicherheitsbereich erstes Fahrzeug GPS uncertainty area first vehicle
- 88th
- GPS-Unsicherheitskreis zweites Fahrzeug GPS uncertainty circle second vehicle
- 99
- GPS-Unsicherheitsbereich zweites Fahrzeug GPS uncertainty area second vehicle
- 10 10
- GPS-Kollisionsbereich GPS-hit area
- 1111
- Unsicherheitskreis präzise Lokalisierung erstes Fahrzeug Uncertainty circle precise localization first vehicle
- 1212
- Unsicherheitsbereich präzise Lokalisierung erstes Fahrzeug Uncertainty area precise localization first vehicle
- 1313
- Unsicherheitskreis präzise Lokalisierung zweites Fahrzeug Uncertainty circle precise localization second vehicle
- 1414
- Unsicherheitsbereich präzise Lokalisierung zweites Fahrzeug Uncertainty area precise localization second vehicle
- 1515
- Kollisionsbereich präzise Lokalisierung Collision area precise localization
- 2020
- Fahrbahn roadway
- 2121
- Fahrstreifen lane
- 2222
- Fahrstreifen lane
- 2323
- Fahrstreifen lane
- 2424
- Fahrstreifen lane
- 2525
- Fahrzeug vehicle
- 2626
- Sichtfeld Kamera Field of view camera
- 2727
- erkannte Markierung recognized mark
- 2828
- erkannte Markierung recognized mark
- 2929
- erkannte Markierung recognized mark
- 3030
- Kamera camera
- 3131
- Extraktion der Markierungen Extraction of the markers
- 3232
- Fahrzeugsensoren, GPS Vehicle sensors, GPS
- 3333
- Bestimmung der absoluten Fahrzeugposition und Fahrzeugbewegung Determination of the absolute vehicle position and vehicle movement
- 3434
- Auswerten der Fahrbahnmarkierungen, Erstellen einer gemessenen Umfeldkarte Evaluate the lane markings, create a measured environment map
- 3535
- Umfeldsensorik zur Bestimmung der Wetterklasse Environment sensors for determining the weather class
- 3636
- Elektronischer Horizont (digitale Umfeldkarte) Electronic horizon (digital environment map)
- 3737
- Fusionierung digitale Karte und Umfeldkarte Fusion of digital map and environment map
- 3838
- Ausgabe der präzisen Lokalisierung Output of precise localization
- hH
- Gesamthöhe total height
- hF h F
- feste Höhe fixed height
- hT h T
- Höhe Trapez Height of trapeze
- ww
- Gesamtbreite Trapez Overall width trapezoid
- w1 w 1
- linke Breite Trapez left width trapeze
- w2 w 2
- rechte Breite Trapez right width trapezoid
- αα
- Winkel angle
- ββ
- Winkel angle
- FF
- Fahrzeug vehicle
- TR T R
- Trapez für Klasse "Regen" (Rain) Trapeze for class "Rain" (Rain)
- TD T D
- Trapez für Klasse "Trocken" (Dry) Trapeze for class "Dry" (Dry)
- TW T W
- Trapez für Klasse "Nass" (Wet) Trapeze for class "Wet" (Wet)
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- EP 0913751 B1 [0007] EP 0913751 B1 [0007]
- DE 102008034923 A1 [0008] DE 102008034923 A1 [0008]
Claims (10)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015009103.4 | 2015-07-17 | ||
DE102015009103 | 2015-07-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102016212774A1 true DE102016212774A1 (en) | 2017-01-19 |
DE102016212774B4 DE102016212774B4 (en) | 2023-04-06 |
Family
ID=57630172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016212774.8A Active DE102016212774B4 (en) | 2015-07-17 | 2016-07-13 | Method and device for generating a map of the surroundings and for locating a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016212774B4 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016214028A1 (en) * | 2016-07-29 | 2018-02-01 | Volkswagen Aktiengesellschaft | Method and system for determining a position of a mobile unit |
DE102019004652A1 (en) | 2019-07-02 | 2020-01-23 | Daimler Ag | Driver assistance system for determining a current position of the motor vehicle and method |
DE102018220799A1 (en) | 2018-12-03 | 2020-06-04 | Robert Bosch Gmbh | Method for operating a vehicle |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0913751B1 (en) | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomous vehicle and guiding method for an autonomous vehicle |
DE102008034923A1 (en) | 2008-07-26 | 2010-01-28 | Hkw-Elektronik Gmbh | Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007003014A1 (en) | 2007-01-20 | 2008-07-24 | Volkswagen Ag | Vehicle position determining device, has evaluating unit including digital card, at which position of uneveness is stored, where evaluating unit is formed for determining limited spatial area depending on spatial area and sensor signal |
-
2016
- 2016-07-13 DE DE102016212774.8A patent/DE102016212774B4/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0913751B1 (en) | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomous vehicle and guiding method for an autonomous vehicle |
DE102008034923A1 (en) | 2008-07-26 | 2010-01-28 | Hkw-Elektronik Gmbh | Airconditioning requirement controlling method for building with heater/airconditioner, involves calculating weather condition forecast and gathering weather physical values of short weather forecast for controlling heater/airconditioner |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016214028A1 (en) * | 2016-07-29 | 2018-02-01 | Volkswagen Aktiengesellschaft | Method and system for determining a position of a mobile unit |
DE102018220799A1 (en) | 2018-12-03 | 2020-06-04 | Robert Bosch Gmbh | Method for operating a vehicle |
CN111252071A (en) * | 2018-12-03 | 2020-06-09 | 罗伯特·博世有限公司 | Method for operating a vehicle |
US11415987B2 (en) | 2018-12-03 | 2022-08-16 | Robert Bosch Gmbh | Method for operating a vehicle |
CN111252071B (en) * | 2018-12-03 | 2024-03-22 | 罗伯特·博世有限公司 | Method for operating a vehicle |
DE102019004652A1 (en) | 2019-07-02 | 2020-01-23 | Daimler Ag | Driver assistance system for determining a current position of the motor vehicle and method |
Also Published As
Publication number | Publication date |
---|---|
DE102016212774B4 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010006828B4 (en) | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle | |
DE102014223363B4 (en) | Method and device for localizing a motor vehicle in a fixed reference map | |
DE102015203016B4 (en) | Method and device for optical self-localization of a motor vehicle in an environment | |
EP3731187A1 (en) | Method and device for determining the geographical position and orientation of a vehicle | |
WO2016188523A1 (en) | Method for estimating traffic lanes | |
WO2013029722A2 (en) | Method for representing surroundings | |
EP2116958B1 (en) | Method and device for calculating the drive path in the area in front of a vehicle | |
DE102016213817B4 (en) | A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane | |
EP3391086B1 (en) | Improved method for determining the roadside development of a road for locating motor vehicles | |
EP3627386A1 (en) | Method and device for providing an image of the vicinity of a mobile device and motor vehicle comprising such a device | |
DE102015115012A1 (en) | Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle | |
DE102014212866A1 (en) | Method for determining a parking space from a number of measuring points | |
DE112017008156T5 (en) | DETERMINATION OF OBJECT LOCATION COORDINATES | |
DE102016212774B4 (en) | Method and device for generating a map of the surroundings and for locating a vehicle | |
DE102019112279A1 (en) | METHOD AND DEVICE FOR DIAGONAL TRACK DETECTION | |
DE102014202503A1 (en) | Method and device for determining a distance of a vehicle to a traffic-regulating object | |
DE102018220114A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
WO2022069088A1 (en) | Map plausibility test method | |
DE102018121274B4 (en) | Process for visualizing a driving intention, computer program product and visualization system | |
DE102012018471A1 (en) | Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images | |
WO2019057252A1 (en) | Method and device for detecting lanes, driver assistance system and vehicle | |
DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
DE102018220113A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
EP3671125B1 (en) | Position determining system and method for operating a position determining system for a mobile unit | |
WO2023061955A1 (en) | Method and device for determining a position of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G01W0001000000 Ipc: B60W0040020000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |