DE102016225213A1

DE102016225213A1 - Method and system for locating a motor vehicle

Info

Publication number: DE102016225213A1
Application number: DE102016225213.5A
Authority: DE
Inventors: Jan Rohde; Holger Mielenz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-12-16
Filing date: 2016-12-16
Publication date: 2018-06-21

Abstract

Um eine hinreichend genaue und zuverlässige Fahrzeuglokalisierung unter gleichzeitiger vorteilhafter Beeinflussung der Menge an, insbesondere von einer externen Quelle an ein Fahrzeugsystem, zu übertragenden Kartendaten zu ermöglichen, wird ein Verfahren zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeugs, mit bedingungsabhängigem Wechsel eines Lokalisierungsmodus vorgeschlagen, wobei zwischen einem belegungskartenbasierten Lokalisierungsmodus und einem landmarkenbasiertem Lokalisierungsmodus unter Berücksichtigung einer Robustheit der Lokalisierung und/oder einer Bandbreitenanforderung und/oder einer Datenübertragungsrate und/oder einer Landmarken-Detektionsrate DL gewechselt wird.In order to enable a sufficiently accurate and reliable vehicle localization with simultaneous advantageous influencing of the amount of map data to be transmitted, in particular from an external source to a vehicle system, a method for localizing a motor vehicle, in particular for determining a pose of a motor vehicle, with conditional change of Localization mode proposed switching between an occupancy map-based localization mode and a landmark-based localization mode considering a robustness of localization and / or a bandwidth requirement and / or a data transfer rate and / or a landmark detection rate DL.

Description

Die Erfindung bezieht sich auf ein Verfahren zu Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges. Ferner betrifft die Erfindung ein System zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges.The invention relates to a method for localization of a motor vehicle, in particular for determining a pose of a motor vehicle. Furthermore, the invention relates to a system for locating a motor vehicle, in particular for determining a pose of a motor vehicle.

In steigendem Maße erfordern moderne Fahrerassistenzsysteme (Advanced Driver Assistance Systems (ADAS)) und insbesondere hochautomatisierte Kraftfahrzeugsysteme für das sogenannte Urban Automated Driving (UAD) eine hinreichend genaue und zuverlässige Lokalisierung des Kraftfahrzeuges. Häufig kommen dabei Lokalisierungssysteme zum Einsatz, welche eine globale Lokalisierungskarte und eine, insbesondere aus einem Umfeldmodell des Kraftfahrzeugsystems gewonnene, lokale Lokalisierungskarte verwenden. Die globale Lokalisierungskarte kann zum Beispiel von einer externen Quelle wie einem Backend-Server abrufbar sein.Increasingly, advanced driver assistance systems (ADAS) and in particular highly automated motor vehicle systems for so-called urban automated driving (UAD) require a sufficiently accurate and reliable localization of the motor vehicle. Frequently localization systems are used, which use a global localization map and a local localization map obtained in particular from an environmental model of the motor vehicle system. For example, the global location map may be retrievable from an external source such as a backend server.

Stand der TechnikState of the art

Aus Heigele et al., „Accurate and fast localization in unstructured environments based on shape context keypoints“ in „2014 17th International Conference on Information Fusion (FUSION)“ ist ein Lokalisierungsansatz für ein Lokalisierungsverfahren bekannt, nach welchem zur Bestimmung einer kartenrelativen Kraftfahrzeugpose aus der globalen Lokalisierungskarte und der lokalen Lokalisierungskarte Kartenabgleichs-Algorithmen, auch Map-Matching-Algorithmen genannt, verwendet werden, welche auf den konkreten Anwendungszweck hin optimiert sind. Dazu werden sogenannte dichte Belegungskarten für die Umfeldrepräsentation verwendet.From Heigele et al., "Accurate and fast localization in unstructured environments based on shape context keypoints" in "2014 17th International Conference on Information Fusion (FUSION)" is a localization approach for a localization method is known, according to which to determine a card-relative motor vehicle pose from the global localization map and the local localization map can be used map matching algorithms, also called map matching algorithms, which are optimized for the specific application purpose. For this purpose, so-called dense occupancy maps are used for the environment representation.

Aus Rohde et al. „Model-based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments“, in „2015 IEEE 18th International Conference on Intelligent Transportation Systems (ITSC)“ ist bekannt, bei einer landmarkenbasierten Lokalisierung mit einem Kartenabgleich zwischen einer lokalen Lokalisierungskarte und einer globalen landmarkenbasierten Lokalisierungskarte die geschlossene Lösung des „Prokrustes-Problems“ zu verwenden, um die Transformation beziehungsweise den Abgleich zwischen der lokalen und der globalen Lokalisierungskarte zu berechnen.From Rohde et al. "Model-based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments," in the 2015 IEEE 18th International Conference on Intelligent Transportation Systems (ITSC), is known for landmark-based localization with map matching between a local localization map and a global landmark-based one Localization map to use the closed solution of the "Procrustes problem" to calculate the transformation or the comparison between the local and the global localization map.

Landmarken sind statische Objekte, welche wiederholt von einer kraftfahrzeugseitigen Sensorik detektiert werden können, zum Beispiel Straßenlaternen. Gegenüber Belegungskarten zeichnet sich diese Art der Umfeldrepräsentation durch einen geringen Speicherbedarf aus. Landmarken können über eine drahtlose Kommunikationsschnittstelle von einer externen Quelle, beispielsweise von einem Backend-Server, an ein Fahrzeugsystem übertragen werden. Aufgrund des geringeren Speicherbedarfes ist aus Gründen der Datenübertragungsrate oft eine landmarkenbasierte Lokalisierung einer belegungskartenbasierten Lokalisierung vorzuziehen.Landmarks are static objects that can be repeatedly detected by a vehicle-side sensors, such as street lights. Compared to occupancy maps, this type of environment representation is characterized by a low storage requirement. Landmarks may be transmitted to a vehicle system via a wireless communication interface from an external source, such as a backend server. Due to the lower memory requirements, a landmark-based localization is often preferable to a map-based localization for reasons of data transmission rate.

Offenbarung der ErfindungDisclosure of the invention

Der Erfindung liegt die Aufgabe zugrunde, eine hinreichend genaue und zuverlässige Fahrzeuglokalisierung zu ermöglichen unter gleichzeitiger vorteilhafter Beeinflussung der Menge an, insbesondere von einer externen Quelle an ein Fahrzeugsystem, zu übertragenden Kartendaten.The invention has for its object to enable a sufficiently accurate and reliable vehicle localization while simultaneously advantageously influencing the amount of, in particular from an external source to a vehicle system, to be transmitted map data.

Die Aufgabe wird mit einem Verfahren zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges, gelöst, wobei ein bedingungsabhängiger Wechsel eines Lokalisierungsmodus erfolgt, wobei zwischen einem belegungskartenbasierten Lokalisierungsmodus und einem landmarkenbasierten Lokalisierungsmodus unter Berücksichtigung einer Robustheit der Lokalisierung und/oder einer Bandbreitenanforderung und/oder einer Datenübertragungsrate und/oder einer Landmarken-Detektionsrate gewechselt wird.The object is achieved with a method for locating a motor vehicle, in particular for determining a pose of a motor vehicle, whereby a condition-dependent change of a localization mode takes place, wherein an occupation map-based localization mode and a landmark-based localization mode taking into account a robustness of the localization and / or a bandwidth requirement and / or a data transmission rate and / or a landmark detection rate is changed.

Eine Pose eines Kraftfahrzeuges umfasst neben der räumlichen Position in zwei oder drei Dimensionen auch die Ausrichtung des Kraftfahrzeugs in zwei oder drei Dimensionen, wobei beispielsweise ein Gierwinkel, ein Nickwinkel und ein Rollwinkel zur Beschreibung der Ausrichtung verwendet werden können.A pose of a motor vehicle comprises not only the spatial position in two or three dimensions but also the orientation of the motor vehicle in two or three dimensions, wherein, for example, a yaw angle, a pitch angle and a roll angle can be used to describe the orientation.

Eine Belegungskarte bzw. eine dichte Belegungskarte ist eine Repräsentation der Umwelt, welche eine hohe Genauigkeit beziehungsweise eine hohe Auflösung, insbesondere im Zentimeterbereich, aufweist. Eine Belegungskarte kann beispielsweise eine hochgenaue Straßenkarte sein, ähnlich einer bekannten Straßenkarte, jedoch mit deutlich höherer Auflösung. Ferner kann eine solche Belegungskarte weitere hochgenaue Informationen betreffend den Verlauf von Hauswänden, Bordsteinen, Bäumen etc. umfassen. In diesem Fall können die Informationen als Linien und Kanten bzw. Vektoren abgespeichert sein. Zudem kann eine Belegungskarte auch als eine dreidimensionale Punktwolke ausgebildet sein, welche beispielsweise aus den mit einem Laserscanner, einem Radarscanner, oder mit einer Kamera bzw. Stereokamera gewonnenen Daten eines Umfeldscans erstellt wird.An occupancy map or a dense occupancy map is a representation of the environment, which has a high accuracy or a high resolution, especially in the centimeter range. An occupancy card can be, for example, a highly accurate road map, similar to a known road map, but with significantly higher resolution. Furthermore, such an occupancy card may include further high-precision information regarding the course of house walls, curbs, trees, etc. In this case, the information can be stored as lines and edges or vectors. In addition, an occupancy card can also be designed as a three-dimensional point cloud, which is created, for example, from the data of an environment scan obtained with a laser scanner, a radar scanner, or with a camera or stereo camera.

Landmarken können in Landmarkenkarten hinterlegt werden. Eine Landmarkenkarte umfasst im Wesentlichen die Ortskoordinaten von repräsentativen Landmarken, wie beispielsweise Straßenlaternen, Straßenschildern, Hausecken oder ähnliches. Zusätzlich können auch noch weitere charakteristische Informationen zu den Landmarken wie beispielsweise eine Höhe oder eine Formgebung hinterlegt sein. Der wesentliche Unterschied zu einer Belegungskarte besteht in der Beschränkung auf Informationen zu einer Anzahl von Landmarken, ohne dass ein vollständiges zwei- oder dreidimensionales Abbild der Umgebung verwendet wird.Landmarks can be deposited in landmark maps. A landmark map essentially includes the location coordinates of representative landmarks, such as street lights, street signs, house corners, or the like. In addition, even more characteristic information about the landmarks such as a height or a shape be deposited. The essential difference to an occupancy card is the limitation to information on a number of landmarks without the use of a complete two- or three-dimensional image of the environment.

Das vorgeschlagene System bietet den Vorteil der Kombination eines belegungskartenbasierten Lokalisierungsmodus mit einem landmarkenbasierten Lokalisierungsmodus, wodurch eine hinreichend genaue und zuverlässige Fahrzeuglokalisierung ermöglicht wird, unter gleichzeitiger vorteilhafter Beeinflussung der Menge an zu übertragenden Kartendaten.The proposed system offers the advantage of combining an occupancy map based location mode with a landmark based location mode, allowing for sufficiently accurate and reliable vehicle location while advantageously affecting the amount of map data to be transmitted.

Unter dem Begriff „Karte“ wie in Belegungskarte, Landmarkenkarte oder Lokalisierungskarte kann im Folgenden stets eine vollständige Karte oder auch nur ein Kartenausschnitt verstanden werden.The term "map" as in occupancy map, landmark map or localization map can always be understood below a complete map or just a map section.

Bevorzugt ist vorgesehen, dass kraftfahrzeugseitig ein Umfeldmodell, insbesondere eine lokale Belegungskarte, aus Sensordaten erstellt wird, wobei bevorzugt auf Basis des Umfeldmodells, insbesondere kraftfahrzeugseitig, Landmarkenhypothesen erstellt werden, wobei die Landmarkenhypothesen ganz besonders bevorzugt in Form von zusammenhängenden Bereichen, insbesondere in Form von Blobs, im Umfeldmodell repräsentiert werden.It is preferably provided that an environment model, in particular a local occupation map, is created from sensor data, wherein landmark hypotheses are preferably created on the basis of the environment model, in particular motor vehicle side, the landmark hypotheses very particularly preferably in the form of contiguous areas, in particular in the form of blobs , are represented in the environment model.

Das kraftfahrzeugseitig erstellte Umfeldmodell kann dabei auf Sensordaten wie Radardaten, Laserdaten, Kameradaten, insbesondere Daten einer Stereokamera, beruhen. Darüber hinaus kann das Umfeldmodell auch alternativ oder zusätzlich unter Verwendung zusätzlicher nicht von einem Sensor bereitgestellten Daten, welche beispielsweise von einer externen Quelle wie einem Backend-Server übertragen werden oder welche auf einem Speichermedium dem Fahrzeugsystem zugänglich hinterlegt sind, erstellt werden. Das Umfeldmodell kann eine lokale Belegungskarte darstellen, welche beispielsweise als zwei- oder dreidimensionale Punktwolke oder als Gitterrepräsentation oder ähnliches ausgebildet ist.The environment model created on the motor vehicle side can be based on sensor data such as radar data, laser data, camera data, in particular data from a stereo camera. In addition, the environment model can also alternatively or additionally be created using additional data not provided by a sensor, which are transmitted, for example, from an external source such as a back-end server or which are stored on a storage medium accessible to the vehicle system. The environment model can represent a local occupation map, which is designed, for example, as a two-dimensional or three-dimensional point cloud or as a lattice representation or the like.

Unter Verwendung des Umfeldmodells, insbesondere unter Verwendung der lokalen Belegungskarte, kann ein Kartenabgleich entweder im belegungskartenbasierten Lokalisierungsmodus oder im landmarkenbasierten Lokalisierungsmodus stattfinden. Im belegungskartenbasierten Lokalisierungsmodus kann ein Kartenabgleich zwischen dem Umfeldmodell, insbesondere der lokalen Belegungskarte, und einer globalen Belegungskarte stattfinden, wobei die globale Belegungskarte beispielsweise von einer externen Quelle wie einem Backend-Server oder von einem, einem zur Durchführung des Verfahrens ausgebildetem System zugänglichen Datenspeicher geladen oder übertragen wird. Insbesondere ist die lokale Belegungskarte eine relativ zum Kraftfahrzeug erstellte Karte, wohingegen die globale Belegungskarte auf ein ortsfestes Koordinatensystem bezogen ist.Using the environment model, particularly using the local occupancy map, map matching can take place either in the occupancy map based location mode or in landmark based location mode. In the badge map based locating mode, a map matching between the environment model, particularly the local occupancy map, and a global occupancy map can take place, for example, by loading or accessing the global occupancy map from an external source such as a backend server or from a data store accessible to the system is transmitted. In particular, the local occupancy map is a map created relative to the motor vehicle, whereas the global occupancy map is based on a stationary co-ordinate system.

Wenn kraftfahrzeugseitig Landmarkenhypothesen erstellt werden, kann ein landmarkenbasierter Lokalisierungsmodus durchgeführt werden. Die Landmarkenhypothesen werden besonders bevorzugt in Form von zusammenhängenden Bereichen, insbesondere zwei- oder dreidimensionalen Gebieten, weiter insbesondere als zwei- oder dreidimensionale Kugeln, innerhalb des Umfeldmodells repräsentiert. Derartige zwei- oder dreidimensionale zusammenhängende Gebiete oder Bereiche werden auch als Blobs bezeichnet.If landmark-hypotheses are created on the motor vehicle side, a landmark-based localization mode can be performed. The landmark hypotheses are particularly preferably represented in the form of contiguous regions, in particular two- or three-dimensional regions, more particularly as two- or three-dimensional spheres, within the environment model. Such two- or three-dimensional contiguous regions or regions are also referred to as blobs.

Bevorzugt ist vorgesehen, dass im belegungskartenbasierten Lokalisierungsmodus, insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus, eine globale Belegungskarte, bevorzugt von einer entfernten Quelle, insbesondere von einem Backend-Server, übertragen wird, wobei die globale Belegungskarte bevorzugt Markierungen, insbesondere Label, umfasst, welche Bereiche mit mindestens einer Landmarke in der globalen Belegungskarte kennzeichnen.It is preferably provided that in the occupancy card-based localization mode, in particular in an initialization mode and / or in a debugging mode, a global occupancy card is transmitted, preferably from a remote source, in particular from a backend server, the global occupancy card preferably including markings, in particular labels. includes identifying areas with at least one landmark in the global occupancy map.

Im belegungskartenbasierten Lokalisierungsmodus, insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus, wird somit eine globale Belegungskarte, bzw. ein globaler Belegungskartenausschnitt an ein zur Durchführung des Verfahrens ausgebildetes System übertragen. Beispielsweise kann eine globale Belegungskarte von einem Kartendienst bereitgestellt werden und bei Bedarf an das System zur Lokalisierung des Kraftfahrzeuges übertragen werden. Durch die zentrale Verwaltung der globalen Belegungskarte kann diese immer aktualisiert werden.In the assignment card-based localization mode, in particular in an initialization mode and / or in a debugging mode, a global occupancy card or a global occupancy card detail is thus transferred to a system designed to carry out the method. For example, a global occupancy card may be provided by a mapping service and, if necessary, transmitted to the system for locating the vehicle. Due to the central management of the global allocation card, this can always be updated.

Durch die bevorzugt vorgesehenen Bereiche mit Landmarken kennzeichnenden Markierungen liegt gewissermaßen eine Mischung einer Belegungskarte mit den einer Landmarkenkarte vor. Es können daher die Vorteile sowohl des belegungskartenbasierten Lokalisierungsmodus als auch des landmarkenbasierten Lokalisierungsmodus genutzt werden. Der belegungskartenbasierte Lokalisierungsmodus wird insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus verwendet. As a result of the preferred areas provided with landmarks markings is a mixture of an occupancy card with a landmark card before. Thus, the benefits of both the MAP-based localization mode and the landmark based localization mode can be utilized. The occupancy map based location mode is used in particular in an initialization mode and / or in a debugging mode.

Dadurch kann von dem hohen Informationsgehalt in einer Belegungskarte profitiert werden. Dies ist insbesondere zu Beginn einer Fahrt und zur Rückgewinnung einer Posenschätzung im Falle eines Lokalisierungsfehlers von großer Bedeutung.This can benefit from the high information content in an occupancy card. This is especially important at the beginning of a journey and to recover a pose estimate in case of a localization error.

Bevorzugt kann vorgesehen sein, dass in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus ein Kartenabgleich zwischen dem Umfeldmodell, insbesondere der lokalen Belegungskarte, und der globalen Belegungskarte durchgeführt wird, wobei der Kartenabgleich durch Abgleich der Sensordaten mit der globalen Belegungskarte und/oder durch Abgleich von kraftfahrzeugseitigen Landmarkenhypothesen und Markierungen, insbesondere Labeln, der globalen Belegungskarte durchgeführt wird, wobei besonders bevorzugt die Landmarkenhypothesen auf Basis der Sensordaten und/oder auf Basis einer Schätzung einer Kraftfahrzeugposition, insbesondere einer Pose eines Kraftfahrzeuges, in der globalen Belegungskarte erstellt werden. Preferably, it may be provided that in an initialization mode and / or in a debugging mode, a map matching between the environment model, in particular the local occupation map, and the global occupancy map is performed, the map matching by matching the sensor data with the global occupancy map and / or by matching Landmark hypotheses and markers, in particular labels, the global occupancy card is performed, wherein particularly preferably the landmark hypotheses based on the sensor data and / or based on an estimate of a motor vehicle position, in particular a pose of a motor vehicle, created in the global occupancy map.

Wird der Kartenabgleich durch Abgleich der Sensordaten, also insbesondere durch Abgleich des Umfeldmodells beziehungsweise der lokalen Belegungskarte, mit der globalen Belegungskarte durchgeführt, so bedeutet dies beispielsweise, dass fahrzeugseitig erkannte Kanten und Ecken oder Hauswände oder Bordsteine etc. mit den in der globalen Belegungskarte repräsentierten Strukturen abgeglichen werden. Alternativ oder zusätzlich kann ein Kartenabgleich durch Abgleich von kraftfahrzeugseitigen Landmarkenhypothesen und Markierungen der globalen Belegungskarte durchgeführt werden. Dies bedeutet, dass kraftfahrzeugseitig aus dem Umfeldmodell Landmarkenhypothesen erzeugt werden. Beispielsweise ist es möglich, dass, bevorzugt auf Basis von Daten einer Kamera, eines Laserscanners oder eines Radargeräts erstellte, insbesondere zwei- oder dreidimensionalen, Punktwolken ausgewertet werden und Strukturen gesucht werden. Für bestimmte Strukturen wird dann eine Landmarkenhypothese erstellt. In der globalen Belegungskarte sind die Landmarkenpositionen mit Markierungen, sogenannten Labeln, versehen. Hierdurch kann ein Abgleich zwischen den Landmarkenhypothesen aus dem Umfeldmodell sowie den Markierungen in der globalen Belegungskarte durchgeführt werden.If the map matching is carried out by adjusting the sensor data, that is to say in particular by matching the surrounding model or the local occupancy map with the global occupancy map, this means, for example, that edges and corners or house walls or curbs recognized on the vehicle side with the structures represented in the global occupancy map be matched. Alternatively or additionally, a map matching can be carried out by matching motor vehicle-facing landmark hypotheses and markings of the global occupancy map. This means that on the motor vehicle side, landmark hypotheses are generated from the surrounding model. For example, it is possible that, preferably based on data from a camera, a laser scanner or a radar device created, in particular two- or three-dimensional, point clouds are evaluated and structures are searched. For certain structures, a landmark hypothesis is then created. In the global allocation map, the landmark positions are provided with markings, so-called labels. This allows a comparison between the landmark hypotheses from the environment model and the markers in the global occupancy map.

Die Landmarkenhypothesen können auch zusätzlich unter Verwendung einer Schätzung einer Kraftfahrzeugposition erstellt werden. Ist beispielsweise eine herkömmliche GPS-Lokalisierung (Global Positioning System) dem Verfahren zugänglich, so kann mittels der relativ groben GPS-Lokalisierung eine ungefähre Lokalisierung und Ausrichtung, das heißt, eine ungefähre Pose, des Kraftfahrzeuges, in der globalen Belegungskarte bestimmt werden. Aus dieser ungefähren Pose in der globalen Belegungskarte kann die ungefähre Position von Landmarken in der lokalen Belegungskarte unter Verwendung der Markierungen in der globalen Belegungskarte abgeschätzt werden. Durch Verwendung dieser Abschätzung und/oder durch Kombination dieser Abschätzung mit einem bereits vorliegenden Umfeldmodell können Landmarkenhypothesen gebildet werden, welche dann mit den Markierungen in der globalen Belegungskarte in einem Kartenabgleichsverfahren beziehungsweise in einem Map Matching Verfahren hochgenau abgeglichen werden.The landmark hypotheses may also be created using an estimate of a vehicle position. For example, if a conventional GPS (Global Positioning System) location is accessible to the method, then approximate location and orientation, that is, an approximate pose of the motor vehicle, in the global occupancy map can be determined by the relatively crude GPS location. From this approximate pose in the global occupancy map, the approximate location of landmarks in the local occupancy map can be estimated using the markers in the global occupancy map. By using this estimation and / or by combining this estimation with an already existing environment model, landmark hypotheses can be formed, which are then compared with the markings in the global occupancy map in a map matching method or in a map matching method with high precision.

Ein Initialisierungsmodus kann bevorzugt wie folgt ablaufen.An initialization mode may preferably proceed as follows.

In einem ersten Schritt wird ein bekanntes, „consumer-grade“ GPS-System verwendet, um einen entsprechenden Ausschnitt einer globalen Belegungskarte, insbesondere ein Belegungsgitterausschnitt, von einer externen Quelle, beispielsweise von einem Backend-Server, angefordert. Dieser globale Belegungskartenausschnitt ist gelabelt, das heißt, Bereiche in der globalen Belegungskarte, welche zu einer Landmarke gehören, sind gekennzeichnet. Mit Hilfe eines Map Matching- oder Kartenabgleichsalgorithmus wird lokal auf Kraftfahrzeugseite eine Schätzung der globalen Fahrzeugpose durchgeführt. Das heißt, dass insbesondere ein Kartenabgleich der fahrzeugseitig erzeugten lokalen Belegungskarte mit der globalen Belegungskarte durchgeführt wird. Aus dem Matching zwischen der lokalen und der gelabelten globalen Belegungskarte wird eine Schätzung der Landmarkenpositionen im Sensordetektionsbereich durchgeführt. Im hier dargestellten Fall wird somit nach dem belegungskartenbasierten Kartenabgleich ein erster Schritt für einen Übergang zu einem landmarkenbasierten Lokalisierungsmodus durchgeführt. Wurde eine Schätzung der Fahrzeugposition beziehungsweise der Fahrzeugpose durch Vergleich der lokalen Belegungskarte mit der globalen Belegungskarte beziehungsweise dem globalen Belegungskartenausschnitt durchgeführt, so kann dann durch Übertragung der Markierungen aus der globalen Belegungskarte eine Abschätzung für die Landmarken oder zu erwartenden Landmarkenpositionen in der lokalen, kraftfahrzeugseitig erstellten, Belegungskarte erfolgen, das heißt, dass Landmarkenhypothesen erstellt werden können. Sollten sich keine Landmarken im Detektionsbereich des Sensorsystems des Kraftfahrzeuges befinden, ist so lange auf Basis der Belegungskarten zu lokalisieren, bis Landmarken im Detektionsbereich liegen. Diese Phase sollte jedoch möglichst kurz gehalten werden, um die Datenrate von der externen Quelle, beispielsweise von dem Backend-Server an das Fahrzeugsystem möglichst gering zu halten.In a first step, a known "consumer-grade" GPS system is used to request a corresponding section of a global occupancy map, in particular an occupancy grid, from an external source, such as a backend server. This global occupancy map section is labeled, that is, areas in the global occupancy map that belong to a landmark are identified. With the aid of a map matching or map matching algorithm, an estimate of the global vehicle pose is carried out locally on the motor vehicle side. This means that, in particular, a map matching of the vehicle-generated local occupancy map with the global occupancy map is performed. From the matching between the local and the labeled global occupancy map, an estimate of the landmark positions in the sensor detection area is made. In the case shown here, a first step for a transition to a landmark-based localization mode is thus carried out after the occupancy map-based map matching. If an estimate of the vehicle position or the vehicle pose was carried out by comparing the local occupancy map with the global occupancy map or the global occupancy map detail, then by estimating the landmarks or expected landmark positions in the local occupancy map, by transferring the flags from the global occupancy map, Occupancy map, which means that landmark hypotheses can be created. If there are no landmarks in the detection area of the sensor system of the motor vehicle, it must be located on the basis of the occupancy maps until landmarks are in the detection area. However, this phase should be kept as short as possible in order to minimize the data rate from the external source, for example from the backend server to the vehicle system.

Besonders bevorzugt ist vorgesehen, dass im landmarkenbasierten Lokalisierungsmodus, insbesondere in einem regulären Modus, eine globale Landmarkenkarte und/oder globale Landmarkeninformationen, bevorzugt von einer entfernten Quelle, insbesondere bevorzugt von einem Backend-Server, geladen wird, wobei auf Basis des Umfeldmodells und/oder der globalen Landmarkenkarte und/oder der globalen Landmarkeninformationen, insbesondere kraftfahrzeugseitig, Landmarkenhypothesen erstellt werden, und wobei eine Lokalisation durch Kartenabgleich zwischen den Landmarkenhypothesen und der globalen Landmarkenkarte und/oder den globalen Landmarkeninformationen erfolgt.It is particularly preferred that in the landmark-based localization mode, in particular in a regular mode, a global landmark map and / or global landmark information, preferably from a remote source, particularly preferred from a back-end server loaded, based on the environment model and / or Global Landmark Map and / or Global Landmark Information, in particular motor vehicle side, landmark hypotheses are created, and wherein a localization by mapping between the landmark hypotheses and the global landmark map and / or the global landmark information is done.

Somit kann während des regulären Betriebs von der geringen benötigten Datenrate durch Verwendung von Landmarkenkarten profitiert werden.Thus, during normal operation, the low required data rate can be benefited by using landmark maps.

im landmarkenbasierten Lokalisierungsmodus, insbesondere im regulären Betrieb, werden somit laufend Landmarkeninformationen und/oder eine globale Landmarkenkarte und/oder Ausschnitte einer globalen Landmarkenkarte von einer externen Quelle übertragen. Während der Lokalisierung wird ständig ein Umfeldmodell, insbesondere kraftfahrzeugseitig, erstellt. Aus den Daten des Umfeldmodells, beispielsweise aus den Kameradaten oder Sensordaten eines Lasersensors oder eines Radarsensors, können Landmarkenhypothesen erstellt werden, wobei durch Vergleich der Landmarkenhypothesen mit den globalen Landmarkeninformationen eine Lokalisierung des Kraftfahrzeuges beziehungsweise eine Pose des Kraftfahrzeuges bestimmt werden kann. Die Landmarkenhypothesen können jedoch auch zusätzlich oder alternativ unter Verwendung der globalen Landmarkenkarte und/oder der globalen Landmarkeninformationen erstellt werden. Sind bereits eine bestimmte Anzahl, beispielsweise zwei, drei oder mehr Landmarken kraftfahrzeugseitig erkannt bzw. plausibilisiert worden und sind diese in einem Kartenabgleich mit der globalen Landmarkenkarte abgeglichen worden, so können die Informationen der globalen Landmarkenkarte verwendet werden, um abzuschätzen, wo im Umfeldmodell beziehungsweise insbesondere in der lokalen Belegungskarte weitere Landmarken zu erwarten sind. Diese aus den Landmarkenkarteninformationen abgeleitete Abschätzung fließt somit in die Landmarkenhypothese ein, sodass eine präzisere Landmarkenhypothese erfolgen kann.In the landmark-based localization mode, in particular during normal operation, landmark information and / or a global landmark map and / or sections of a global landmark map are thus continuously transmitted from an external source. During localization, an environmental model is constantly being created, in particular on the motor vehicle side. From the data of the environment model, for example, from the camera data or sensor data of a laser sensor or a radar sensor, landmark hypotheses can be created, a localization of the motor vehicle or a pose of the motor vehicle can be determined by comparing the landmark hypotheses with the global landmark information. However, the landmark hypotheses may also be additionally or alternatively created using the global landmark map and / or global landmark information. If a certain number, for example two, three or more landmarks, have already been recognized or made plausible on the motor vehicle side and have been aligned in a map comparison with the global landmark map, then the information of the global landmark map can be used to estimate where in the surrounding model or, in particular in the local occupancy map further landmarks are to be expected. This estimate, derived from the landmark map information, thus feeds into the landmark hypothesis, so that a more accurate landmark hypothesis can be made.

Die Landmarkenhypothesen werden dabei in Form von zusammenhängenden Bereichen, insbesondere in Form von Blobs, im Umfeldmodell repräsentiert. Diese zusammenhängenden Bereiche, insbesondere die Blobs des Umfeldmodells, stellen Regionen und Bereiche dar, in denen mit größerer Wahrscheinlichkeit als in anderen Bereichen eine Landmarke zu detektieren ist.The landmark hypotheses are represented in the form of contiguous areas, in particular in the form of blobs, in the environment model. These contiguous areas, in particular the blobs of the surrounding model, represent regions and areas in which a landmark is more likely to be detected than in other areas.

Werden neben der reinen daten- oder sensordatenbasierten Landmarkenhypothesenerstellung auch Informationen aus der globalen Landmarkenkarte verwendet, können die zusammenhängenden Bereiche, insbesondere die Blobs, räumlich begrenzter gefasst werden, was eine präzisere und schnellere Detektion der Landmarken beziehungsweise einen schnelleren und zuverlässigeren Abgleich der Landmarkenhypothesen mit den Landmarken aus der globalen Landmarkenkarte ermöglicht.If information from the global landmark map is used in addition to the pure data- or sensor-data-based landmark hypothesis, the contiguous regions, in particular the blobs, can be captured in a more limited space, allowing a more precise and faster detection of the landmarks or a faster and more reliable comparison of the landmark hypotheses with the landmarks from the global landmark map.

Bevorzugt ist vorgesehen, dass eine Datenübertragungsrate für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen an eine, insbesondere kraftfahrzeugseitige, Landmarken-Detektionsrate angepasst wird, wobei bevorzugt eine Datenübertragungsrate, insbesondere eine Anzahl der übertragenen Landmarken, eingestellt wird, welche bei einer Landmarken-Detektionsrate von 100 % zu einer vorbestimmten hinreichenden Lokalisierungsgenauigkeit führt.It is preferably provided that a data transmission rate for the global landmark map and / or for the global landmark information is adapted to a, in particular motor vehicle side, landmark detection rate, wherein preferably a data transmission rate, in particular a number of transmitted landmarks is set, which is at a landmark Detection rate of 100% leads to a predetermined sufficient localization accuracy.

Sollten kraftfahrzeugseitig sämtliche Landmarken detektiert werden, braucht nur eine Anzahl von Landmarken bzw. deren Koordinaten an das Fahrzeugsystem gesendet zu werden, welche bei einer kraftfahrzeugseitigen Landmarken-Detektionsrate von 100 % zu einer hinreichenden vorbestimmten Lokalisierungsgenauigkeit führt. Entsprechend bedeutet dies eine Anpassung der Datenübertragungskarte für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen.Should all landmarks be detected on the motor vehicle side, only a number of landmarks or their coordinates need to be sent to the vehicle system, which leads to a sufficient predetermined localization accuracy at a motor vehicle-side landmark detection rate of 100%. Accordingly, this means an adaptation of the data transfer card for the global landmark card and / or for the global landmark information.

Bevorzugt kann vorgesehen sein, dass die Datenübertragungsrate für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen, insbesondere die Anzahl der übertragenen Landmarken, erhöht wird, wenn die Landmarken-Detektionsrate unter einen vorbestimmten Wert fällt, und/oder dass ein Wechsel in einen Fehlerbeseitigungsmodus stattfindet, wenn die Datenübertragungsrate der für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen und/oder die Anzahl der übertragenen und/oder der, insbesondere in einem Sensorbereich, vorhandenen Landmarken, nicht ausreicht, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wobei der Fehlerbeseitigungsmodus bevorzugt ein belegungskartenbasierter Lokalisierungsmodus ist.It can preferably be provided that the data transmission rate for the global landmark map and / or for the global landmark information, in particular the number of transmitted landmarks, is increased when the landmark detection rate falls below a predetermined value, and / or a change to a debugging mode takes place when the data transmission rate of the global landmark map and / or for the global landmark information and / or the number of transmitted and / or, especially in a sensor area, existing landmarks, is insufficient to allow a predetermined sufficient localization accuracy, the Debug mode is preferably a badge based localization mode.

Sollte es aufgrund widriger Umfeldbedingungen, zum Beispiel aufgrund schlechter Lichtverhältnisse oder einer hohen Verdeckungsrate durch andere Verkehrsteilnehmer, zu einer geringen Landmarken-Detektionsrate kraftfahrzeugseitig kommen, muss dies Anzahl der übertragenen Landmarken entsprechend erhöht werden. Dies kann in Folge einer Anfrage des Fahrzeugsystems bei dem Backend-Server oder der externen Quelle erfolgen. Die benötigte Anzahl oder Dichte der Landmarken kann auf Basis eines statistischen Modells ermittelt werden.Should it come due to adverse environmental conditions, for example due to poor lighting conditions or a high rate of obstruction by other road users to a low landmark detection rate on the motor vehicle side, this number of transferred landmarks must be increased accordingly. This may be due to a request from the vehicle system to the backend server or the external source. The required number or density of the landmarks can be determined on the basis of a statistical model.

Werden nicht genügend Landmarken detektiert, bzw. befinden sich nicht genügend Landmarken im Sensorbereich des Kraftfahrzeugs, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wird in einen bevorzugt belegungskartenbasierten Lokalisierungsmodus, insbesondere in einen Fehlerbeseitigungsmodus, gewechselt. Da dies zu einem erhöhten Datenaufkommen zwischen dem Backend-Server und dem Fahrzeugsystem sorgt, ist möglichst schnell wieder in den regulären Betrieb überzugehen.If not enough landmarks detected, or are not enough landmarks in the sensor area of the motor vehicle to allow a predetermined sufficient localization accuracy is preferred in one allocation map-based localization mode, in particular in a debugging mode, changed. Since this leads to increased data traffic between the back-end server and the vehicle system, it is necessary to return to regular operation as soon as possible.

Mit besonderem Vorteil kann vorgesehen sein, dass für eine Landmarke, insbesondere für eine Landmarke aus einer globalen Landmarkenkarte, mindestens eine, bevorzugte mehrere, insbesondere kraftfahrzeugseitige, Landmarkenhypothesen, verfolgt, insbesondere getrackt und/oder plausibilisiert und/oder deplausibilisiert werden.With particular advantage, it can be provided that for a landmark, in particular for a landmark from a global landmark map, at least one, preferably several, in particular motor vehicle side, landmark hypotheses are pursued, in particular tracked and / or plausibility and / or de-plausibility.

Plausibilisierte Landmarken werden bevorzugt in der kraftfahrzeugseitigen lokalen Belegungskarte verfolgt, insbesondere getrackt. Dies ist insbesondere dann von Vorteil, wenn für die Erstellung neuer Landmarkenhypothesen die globale Landmarkenkarte hinzugezogen wird. Es werden dann neue Landmarkenhypothesen erstellt, zum Beispiel mittels einer Multi-Bernoulli-Filterung.Plausibilized landmarks are preferably tracked in the on-board local occupancy map, in particular tracked. This is particularly advantageous if the global landmark map is used to create new landmark hypotheses. New landmark hypotheses are then created, for example by means of a multi-Bernoulli filtering.

Es kann dabei vorkommen, dass für eine Landmarkenposition aus der Landmarkenkarte mehrere Landmarkenhypothesen erstellt werden, sodass für diese eine Landmarke aus der globalen Lokalisierungskarte mehrere Blobs der lokalen Belegungskarte getrackt und plausibilisiert beziehungsweise deplausibilisiert werden. Umgekehrt ist es auch möglich, dass für eine Landmarkenhypothese mehrere Landmarken der globalen Landmarkenkarte in Frage kommen, welche dann plausibilisiert beziehungsweise deplausibilisiert werden.It may happen that several landmark hypotheses are created for a landmark position from the landmark map, so that for this one landmark from the global localization map multiple blobs of the local occupancy map are tracked and plausibility or de-plausibility. Conversely, it is also possible that for a landmark hypothesis several landmarks of the global landmark map come into question, which are then plausibility or de-plausibility.

Mit besonderem Vorteil kann vorgesehen sein, dass bevorzugt in einem robusten Modus, zur Erhöhung der Robustheit der Lokalisierung, Landmarkenhypothesen kraftfahrzeugseitig überprüft werden, wobei bevorzugt Landmarken dreidimensional detektiert werden, wobei die Überprüfung besonders bevorzugt in zusammenhängenden Bereichen, insbesondere in Blobs im Umfeldmodell durchgeführt wird.With particular advantage it can be provided that preferably in a robust mode, to increase the robustness of the localization, landmark hypotheses are checked on the motor vehicle side, with landmarks preferably being detected three-dimensionally, wherein the check is particularly preferably carried out in contiguous areas, in particular in blobs in the surrounding model.

Ein bevorzugter robuster Modus sieht dabei so aus, dass zur Erhöhung der Robustheit des Lokalisierungsalgorithmus Landmarkenhypothesen fahrzeuglokal überprüft werden können. Dazu wird kraftfahrzeugseitig versucht, im Bereich der zusammenhängenden Bereiche in dem Belegungskartengitter eine dreidimensionale Landmarke mit gegebenen Eigenschaften zu detektieren. Dafür wird nicht die zweidimensionale Projektion der Sensormessung verwendet, sondern die 3D-Sensordaten. Auf diese Weise können, zu Lasten der Recheneffizienz, Landmarkenhypothesen effektiv plausibilisiert beziehungsweise deplausibilisiert werden.A preferred robust mode looks like this, that to increase the robustness of the localization algorithm landmark hypotheses can be checked on-site. For this purpose, it is attempted on the motor vehicle side to detect a three-dimensional landmark with given properties in the area of the contiguous areas in the occupancy map grid. It does not use the two-dimensional projection of the sensor measurement, but the 3D sensor data. In this way, at the expense of computational efficiency, landmark hypotheses can be effectively made plausible or de-plausible.

Dies kann bedeuten, dass mögliche Landmarken direkt aus den 3D-Informationen der Sensordaten rekonstruiert werden. Hierdurch kann beispielsweise sichergestellt oder überprüft werden, dass eine aus den globalen Landmarkenkartendaten zu erwartende Landmarke nicht fehlerhaft erkannt wurde. Ist beispielsweise nach den globalen Landmarkenkartendaten mit einem rechteckig ausgeformten Verkehrsschild zu rechnen, so besteht grundsätzlich die Möglichkeit, dass ein an dem entsprechenden Ort falsch erkannte rechteckige Struktur als jenes Straßenschild erkannt wird. Hier kann eine falsche Detektion vermieden werden, wenn aus den 3D-Daten beispielsweise noch die vertikale Höhe der rechteckigen Struktur ermittelt wird, was einen genauere Plausibilisierung der Hypothese eines Straßenschildes ermöglicht.This may mean that possible landmarks are reconstructed directly from the 3D information of the sensor data. In this way, for example, it can be ensured or verified that a landmark to be expected from the global landmark map data has not been recognized incorrectly. If, for example, according to the global landmark map data, a rectangular shaped traffic sign is to be expected, there is basically the possibility that a rectangular structure recognized incorrectly at the corresponding location is recognized as that road sign. Here false detection can be avoided if, for example, the vertical height of the rectangular structure is still determined from the 3D data, which allows a more accurate plausibility check of the hypothesis of a street sign.

Mit besonderem Vorteil können die Resultate aus dem robusten Modus an die externe Quelle, beispielsweise an den Backend-Server, übermittelt werden. Dies ermöglicht die Verifizierung von Markierungen in der globalen Belegungskarte beziehungsweise von Landmarken in der globalen Landmarkenkarte.With particular advantage, the results from the robust mode can be transmitted to the external source, for example to the backend server. This allows the verification of markings in the global occupancy map or landmarks in the global landmark map.

Ferner kann bevorzugt ein Wechsel von dem landmarkenbasierten Lokalisierungsmodus zu dem belegungskartenbasierten Lokalisierungsmodus oder umgekehrt aufgrund einer Sensorperformance durchgeführt werden.Furthermore, a change from the landmark-based localization mode to the occupancy-card-based localization mode or, conversely, due to a sensor performance can preferably be carried out.

Eine weitere Lösung der der Erfindung zugrundeliegenden Aufgabe besteht in einem System zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges, wobei das System zur Durchführung eines vorbeschriebenen Verfahrens ausgebildet ist.Another solution of the problem underlying the invention is a system for locating a motor vehicle, in particular for determining a pose of a motor vehicle, wherein the system is designed for carrying out a method described above.

Bevorzugt umfasst das System ein Navigationssystem und/oder eine Recheneinheit und/oder eine Datenübertragungsvorrichtung und/oder einen Sensor.The system preferably comprises a navigation system and / or a computing unit and / or a data transmission device and / or a sensor.

Der Sensor kann insbesondere ein GPS-Sensor, ein Lasersensor, ein Radarsensor, eine Kamera, sowie jeder weitere geeignete Sensor sein. Die Recheneinheit ist bevorzugt ausgebildet, eine kraftfahrzeugseitige Landmarkenhypothese zu erstellen und/oder einen Kartenabgleich zwischen einer lokalen und einer globalen Lokalisierungskarte durchzuführen, wobei die Lokalisierungskarten sowohl Belegungskarten als auch Landmarkenkarten sein können. Die Datenübertragungsvorrichtung ist dazu ausgebildet, globale Lokalisierungskarten von einer externen Quelle, insbesondere von einem Backend-Server, an das System zu übertagen.In particular, the sensor may be a GPS sensor, a laser sensor, a radar sensor, a camera, as well as any other suitable sensor. The arithmetic unit is preferably designed to create a motor vehicle-side landmark hypothesis and / or perform a map comparison between a local and a global localization map, wherein the localization maps can be both occupancy maps and landmark maps. The data transmission device is designed to transmit global localization maps from an external source, in particular from a backend server, to the system.

Figurenliste list of figures

Ein Ausführungsbeispiel der Erfindung wird nachstehend anhand der Zeichnungen näher erläutert. Es zeigen:

1 ein System zur Lokalisierung eines Kraftfahrzeuges,
2 ein Flussdiagramm eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges,
3 eine erste graphische Darstellung eines regulären Modus sowie eines Fehlerbeseitigungsmodus, und
4 eine zweite graphische Darstellung eines regulären Betriebs sowie eines Fehlerbeseitigungsmodus.

An embodiment of the invention will be explained below with reference to the drawings. Show it:

1 a system for locating a motor vehicle,
2 a flowchart of a method for locating a motor vehicle,
3 a first graphical representation of a regular mode and a debugging mode, and
4 a second graphical representation of a regular operation and a debugging mode.

Ausführliche Beschreibung der ZeichnungenDetailed description of the drawings

1 zeigt ein System 100 zur Durchführung eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Kraftfahrzeugpose. 1 shows a system 100 for carrying out a method for localizing a motor vehicle, in particular for determining a motor vehicle pose.

Das System 100 umfasst eine Recheneinheit 10, welche Daten von einem GPS-System 11, einem weiteren Sensor 12, beispielsweise einem Lasersensor 13 erhält. Ferner weist das System 100 eine Datenübertragungsvorrichtung 14 auf. Mittels der Datenübertragungsvorrichtung 14 können globale Belegungskarten und Landmarkenkarten von einem Backend-Server 15 an das System 100 übertragen werden. Sämtliche Daten können über Datenleitungen 24 oder über eine Drahtlosverbindung 25 übertragen werden. Das System 100 ist ausgebildet, sowohl einen belegungskartenbasierten Lokalisierungsmodus als auch einen landmarkenbasierten Lokalisierungsmodus durchzuführen und zur Optimierung der Robustheit der Lokalisierung und/oder der Datenübertragungsrate und/oder der Bandbreitenanforderungen zwischen dem belegungskartenbasierten Lokalisierungsmodus und dem landmarkenbasierten Lokalisierungsmodus zu wechseln.The system 100 includes a computing unit 10 What data from a GPS system 11 , another sensor 12 , For example, a laser sensor 13 receives. Further, the system rejects 100 a data transmission device 14 on. By means of the data transmission device 14 You can use global occupancy maps and landmark maps from a backend server 15 to the system 100 be transmitted. All data can be transmitted via data lines 24 or via a wireless connection 25 be transmitted. The system 100 is configured to perform both a MAP-based locating mode and a landmark-based locating mode and to switch between the MAP-based locating mode and the landmark-based locating mode to optimize the robustness of the locating and / or the data transmission rate and / or the bandwidth requirements.

Ferner führt die Recheneinheit 10 des Systems 100 eine Erstellung von Landmarkenhypothesen sowie einen Kartenabgleich zwischen einer lokalen Belegungskarte und einer globalen Belegungskarte beziehungsweise zwischen lokalen Landmarkenhypothesen und einer globalen Landmarkenkarte durch.Furthermore, the arithmetic unit leads 10 of the system 100 a creation of landmark hypotheses and a map comparison between a local occupancy map and a global occupancy map or between local landmark hypotheses and a global landmark map.

2 zeigt einen Ablauf eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges. 2 shows a sequence of a method for locating a motor vehicle.

In einem ersten Schritt 16 wird das System 100 initialisiert, das heißt, dass das Verfahren in einem Initialisierungsmodus beginnt. Hierfür wird auf Basis eines Signals eines GPS-Systems 11 ein entsprechender, gelabelter globaler Belegungsgitterausschnitt von einem Backend-Server 15 angefordert. Mit Hilfe eines Map-Matching-Algorithmus zwischen einem Umfeldmodell und der globalen Belegungskarte wird eine Schätzung der globalen Fahrzeugpose durchgeführt. Aus dem Abgleich zwischen der lokalen und der gelabelten globalen Belegungskarte wird eine Schätzung der Landmarkenposition im Sensordetektionsbereich durchgeführt. Sollten sich keine Landmarken im Detektionsbereich befinden, ist solange auf Basis der Belegungskarten zu lokalisieren, bis Landmarken im Detektionsbereich liegen.In a first step 16 becomes the system 100 initialized, that is, the method begins in an initialization mode. This is based on a signal from a GPS system 11 a corresponding, labeled global allocation grid snippet from a backend server 15 requested. An estimate of the global vehicle pose is performed using a map matching algorithm between an environment model and the global occupancy map. An estimate of the landmark position in the sensor detection area is made by comparing the local and the labeled global occupancy map. If there are no landmarks in the detection area, locate them on the basis of the occupancy maps until landmarks are in the detection area.

In einem zweiten Schritt 17 wird ein als landmarkenbasierter Lokalisierungsmodus ausgebildeter regulärer Modus durchgeführt. Von einem Backend-Server 15 werden die benötigten Landmarken an das System 100 gesendet. Dabei kann die Datenübertragungsrate an eine Landmarken-Detektionsrate DL der kraftfahrzeugseitigen Perzeption angepasst werden. Sollten kraftfahrzeugseitig sämtliche Landmarken detektiert werden, braucht nur eine Anzahl von Landmarken bzw. deren Koordinaten an das System gesendet zu werden, welche bei einer kraftfahrzeugseitigen Landmarken-Detektionsrate DL von 100 % zu einer hinreichenden vorbestimmten Lokalisierungsgenauigkeit führt. Sollte es aufgrund widriger Umfeldbedingungen, zum Beispiel aufgrund schlechter Lichtverhältnisse oder einer hohen Verdeckungsrate durch andere Verkehrsteilnehmer, zu einer geringen Landmarken-Detektionsrate DL kraftfahrzeugseitig kommen, muss dies Anzahl der übertragenen Landmarken entsprechend erhöht werden. Dies kann in Folge einer Anfrage des Systems bei dem Backend-Server 15 oder der externen Quelle erfolgen. Die benötigte Anzahl oder Dichte der Landmarken kann auf Basis eines statistischen Modells ermittelt werden.In a second step 17 a regular mode designed as a landmark-based localization mode is performed. From a backend server 15 become the required landmarks to the system 100 Posted. In this case, the data transmission rate can be adapted to a landmark detection rate DL of the vehicle-side perception. If all landmarks are detected on the motor vehicle side, only a number of landmarks or their coordinates need to be sent to the system, which leads to a sufficiently predetermined localization accuracy at a vehicle-side landmark detection rate DL of 100%. Should it come due to adverse environmental conditions, for example due to poor lighting conditions or a high rate of obstruction by other road users to a low landmark detection rate DL motor vehicle side, the number of transferred landmarks must be increased accordingly. This may be due to a request from the system to the backend server 15 or the external source. The required number or density of the landmarks can be determined on the basis of a statistical model.

Werden nicht genügend Landmarken detektiert, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wird in einem weiteren Schritt 18 in einen als belegungskartenbasierten Lokalisierungsmodus ausgebildeten Fehlerbeseitigungsmodus gewechselt. Da dies zu einem erhöhten Datenaufkommen zwischen dem Backend-Server 15 und dem System 100 führt, ist möglichst schnell wieder in den regulären Modus überzugehen.If insufficient landmarks are detected to allow a predetermined sufficient localization accuracy, in a further step 18 changed to a debug card-based localization mode configured debug mode. As this leads to increased data traffic between the backend server 15 and the system 100 leads, as soon as possible to go back to the regular mode.

Zur Erhöhung der Robustheit der Lokalisierung kann zwischenzeitig in einem weiteren Schritt 19 in einen robusten Modus gewechselt werden.To increase the robustness of the localization can in between in a further step 19 be changed into a robust mode.

3 und 4 zeigen den Ablauf des regulären Modus, wobei es im Verlauf der Zeit t zu einer unzureichenden Lokalisation kommt, sodass in den Fehlerbeseitigungsmodus gewechselt wird. In den 3 und 4 ist auf der X-Achse die Zeit t abgetragen. Die Y-Achse der 3 zeigt die vom Kartenabgleichs-Algorithmus ermittelte Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF. Auf der Y-Achse der 4 ist die Landmarken-Detektionsrate DL aufgetragen. Zunächst wird das Verfahren im landmarkenbasierten regulären Lokalisationsmodus durchgeführt. Zwar liegt die Landmarken-Detektionsrate DL für die ersten sechs Lokalisationsergebnisse 20 unterhalb 100%, jedoch liegt gleichzeitig die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF jeweils unter einer vorgegebenen Fehlergrenze GF. Die Fehlergrenze GF ist so gewählt, dass eine hinreichende Lokalisierungsgenauigkeit erzielt wird. 3 and 4 show the sequence of the regular mode, whereby it comes in the course of time t to an insufficient localization, so that the error correction mode is changed. In the 3 and 4 is the time t removed on the X-axis. The Y axis of the 3 shows the probability of mislocation PF determined by the map matching algorithm. On the Y axis of the 4 the landmark detection rate DL is plotted. First, the method is performed in the landmark-based regular localization mode. Although the landmark detection rate DL is for the first six localization results 20 below 100%, but at the same time the probability of a faulty localization PF is below a predetermined error limit GF. The error limit GF is chosen so that a sufficient localization accuracy is achieved.

Beim siebten Lokalisierungsergebnis 21 wird eine Landmarken-Detektionsrate DL von 100% erzielt, die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF liegt zwar auf der Fehlergrenze GF, jedoch ist damit immer noch eine hinreichende Lokalisierungsgenauigkeit gegeben. Beim achten Lokalisierungsergebnis 22 ist ebenfalls die maximale Landmarken-Detektionsrate DL von 100% erreicht, jedoch liegt die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF über der Fehlergrenze GF. Eine hinreichende Lokalisierungsgenauigkeit ist nicht gegeben, so dass in einen belegungskartenbasierten Fehlerbeseitigungsmodus gewechselt wird. Da die nächsten folgenden Lokalisierungsergebnisse 23 wieder eine hinreichende Lokalisierungsgenauigkeit bieten, wird wieder in den regulären Modus gewechselt.At the seventh localization result 21 If a landmark detection rate DL of 100% is achieved, the probability of a faulty localization PF is indeed on the error limit GF, but this still gives a sufficient localization accuracy. At the eighth localization result 22 is also the maximum landmark detection rate DL reached 100%, but the probability of a faulty localization PF is above the error limit GF. A sufficient localization accuracy is not given, so that is changed to an occupancy map based error recovery mode. As the next following localization results 23 again provide a sufficient localization accuracy, is switched back to the regular mode.

Claims

A method for locating a motor vehicle, in particular for determining a pose of a motor vehicle, with conditional change of a localization mode, wherein between an occupancy map based localization mode and a landmark based localization mode considering a robustness of the localization and / or a bandwidth request and / or a data transfer rate and / or landmarks Detection rate DL is changed.

Method according to Claim 1 , where motor vehicle side an environment model, in particular a local occupation map, is created from sensor data, preferably on the basis of the environment model, in particular motor vehicle side, landmark hypotheses are created, the landmark hypotheses very particularly preferably in the form of contiguous areas, in particular in the form of blobs in the environment model be represented.

Method according to Claim 1 or 2 , wherein in the occupancy map-based localization mode, in particular in an initialization mode and / or in a debugging mode, a global occupancy map, preferably from a remote source, in particular from a backend server (15), is transmitted, the global occupancy map preferably markings, in particular label, includes identifying areas with at least one landmark in the global occupancy map.

Method according to Claim 2 or 3 wherein, preferably in an initialization mode and / or in a debugging mode, a map matching between the environment model, in particular the local occupancy map, and the global occupancy map is performed, wherein the map matching by matching the sensor data with the global occupancy map and / or by adjustment of the vehicle side Landmark hypotheses and markers, in particular labels, the global occupancy map is performed, particularly preferably the landmark hypotheses are based on the sensor data and / or based on an estimate of a motor vehicle position, in particular a pose of a motor vehicle, created in the global occupancy map.

Method according to one of the preceding claims, wherein in the landmark-based localization mode, in particular in a regular mode, a global landmark map and / or global landmark information, preferably from a remote source, more preferably from a back-end server (15) is loaded, based on of the environment model and / or the global landmark map and / or the global landmark information, in particular motor vehicle side, landmark hypotheses are created, and wherein a localization by mapping between the landmark hypotheses and the global landmark map and / or the global landmark information is done.

Method according to Claim 5 in which a data transmission rate for the global landmark map and / or for the global landmark information is adapted to the, in particular motor vehicle side, landmark detection rate DL, wherein preferably a data transmission rate, in particular the number of transmitted landmarks is set, which at a landmark detection rate DL of 100% percent leads to a predetermined sufficient localization accuracy.

Method according to one of the preceding claims, wherein the data transmission rate for the global landmark map and / or for the global landmark information, in particular the number of transmitted landmarks, is increased when the landmark detection rate DL falls below a predetermined value, and / or wherein a change takes place in a debugging mode when the data transfer rate for the global landmark card and / or for the global landmark information and / or the number of transmitted ones and / or the landmarks present, in particular in a sensor area, is insufficient to allow a predetermined sufficient localization accuracy, the error removal mode preferably being an occupancy map-based location mode.

Method according to one of the preceding claims, wherein for a landmark, in particular for a landmark from a global landmark map, at least one, preferably several, in particular motor vehicle side, landmark hypotheses pursued, in particular tracked, and / or plausibility and / or de-plausibility.

Method according to one of the preceding claims, wherein, preferably in a robust mode, to increase the robustness of localization landmark hypotheses are checked on the motor vehicle side, preferably landmarks are detected three-dimensionally, the review is particularly preferably carried out in contiguous areas, especially in blobs, in the environment model ,

System (100) for locating a motor vehicle, in particular for determining a pose of a motor vehicle, designed to carry out a method according to one of Claims 1 to 9 ,