DE102022208063A1 - Verfahren zur Lokalisation einer beweglichen Einheit in HD-Karten und Fahrzeug - Google Patents

Abstract

Die Lokalisierung in HD-Karten ist eine Herausforderung für die Verarbeitung der Daten und den Abgleich zwischen der tatsächlichen Position und der Lokalisation auf einer HD-Karte. Diesen Abgleich gilt es zu verbessern. Dazu wird ein, insbesondere computerimplementiertes, Verfahren vorgeschlagen, ausgebildet zur semantischen und mehrdeutigkeitsbewussten Lokalisation mindestens einer beweglichen Einheit in mindestens einer HD-Karte, wobei die HD-Karte digitale Kopien von Landmarken umfasst.

Description

• Die Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren, eine Steuereinrichtung, ein Fahrzeug und ein Computerprogrammprodukt.
• Hochaufgelöste Karten, sogenannte (sog.) HD-Karten können genutzt werden, um die Informationsaufnahme oder -wahrnahme semi-autonomer oder autonomer oder hochautomatisierter Fahrzeuge zu verstärken, sowie die Planung einer Route, aber auch die Vorhersage in Bezug auf eine Situation, etwa eine Alltagsfahrsituation oder Straßenszene zu verbessern. Des Weiteren können derartige Karten dazu dienen die Entscheidungsalgorithmen zu unterstützen und deren Operation und Anwendung zu verbessern.
• Um derartige Karten in den genannten Anwendungen auch nutzen zu können, muss das betreffende Fahrzeug, auch als Ego-Fahrzeug bezeichnet, in den HD-Karten vorhersagbar und wiederholbar lokalisiert werden können, wobei eine derartige Lokalisation eine hohe Präzision innerhalb der HD-Karte voraussetzt. Die generellen Anforderungen, die mindestens erfüllt sein müssen, um Lokalisationsalgorithmen zu etablieren, zeichnen sich durch hohe Präzision und Genauigkeit aus. Derartige Präzision und Genauigkeit lässt sich durch laterale Abweichungen von kleiner 0,2 m, durch longitudinale Abweichungen von kleiner 0,5 m und durch Höhenwinkelabweichungen, bei sogenannten Nickbewegungen, von kleiner 0,5 ° spezifizieren. Auch wird eine hohe Verfügbarkeit vorausgesetzt, wie etwa dem Quotienten aus „Anzahl der Algorithmuszyklen die dem System zur Verfügung stehen“ geteilt durch die „Gesamtalgorithmenzyklenzahl“, die ungefähr bei 1 liegen muss. Je näher dieser Quotient bei 1 liegt, umso besser. Dies lässt sich durch Formel 1 darstellen als $$\frac{\text{Anzahl der Algorithmuszyklen die dem System zur Verf}\ddot{\text{u}}\text{gung stehen}}{\text{Gesamtalgorithmenzyklenzahl}}\cong 1.$$

  
• Auch muss eine möglichst hohe Vollständigkeit, bzw. Verlässlichkeit gegeben sein, wie sie durch die Formel 2 abgebildet wird: $$\text{gegebener Lokalisierung}\le \text{Lokalisierungsfehlergrenzwert}\text{.}$$

  
• Zusätzlich werden hohe Anforderungen an eine geringe Laufzeit und geringe Speicherkapazitätsanforderungen gestellt, um eine Operation möglichst in Echtzeit ablaufen zu lassen. Lokalisierungsalgorithmen stellen einen zusätzlichen Rechenleistungszusatzaufwand (Engl.: „computational overhead“) für nachrangige Fahrerassistenzsysteme und/oder Fahrsysteme eines hochautomatisierten Fahrzeugs dar. Ein höherer Rechenaufwand bedingt eine Zeitverzögerung, die sich direkt in Lokalisierungsfehlern niederschlägt.
• Lokalisierung die sich auf Globalnavigationssatellitensignale und -systeme (Engl.: „Global Navigational Satellite Signals/Systems“ = „GNSS“) oder Koppelnavigation (Engl.: „dead reckoning“) stützt erfüllt dabei die eingehend genannten Präzisions- und Genauigkeitsanforderungen nicht, insbesondere nicht in lateraler Richtung. Aus diesem Grund werden Landmarken durch umgebungswahrnehmende Fahrzeugsensoren aufgezeichnet und mit digitalen Kopien der Landmarken, die in den HD-Karten hinterlegt sind, abgeglichen, sprich „assoziiert“.
• Bekannte Ansätze wählen dabei oft die wahrscheinlichste Datenassoziation (Engl.: „Data Association“ = DA), z.B. basierend auf einer Maximum-Likelihood (Deutsch: Maximalwahrscheinlichkeit; Engl.: „Maximum Likelihood“ = ML) oder sie mitteln über alle möglichen (und plausiblen) Datenassoziationshypothesen, z.B. in Form von Assoziation probabilistischer Daten (Engl.: „Probabilistic Data Association“ = PDA). In erstem Fall kann es jedoch passieren, dass die falsche Position gewählt wird, wenn mindestens zwei Positionen plausibel sind, wobei im zweitem Fall eine Mittelposition gewählt wird, die rein artifiziell ist.
• Die deutsche Anmeldung DE 10 2019 207 087 A1 beschreibt dabei ein Verfahren, bei dem eine Hypothese aus einer initialen Positionsschätzung hergeleitet wird, wobei mittels Umgebungssensoren Landmarken detektiert werden, um diese dann mit einer Landmarke, die in einer HD-Karte hinterlegt ist abzugleichen. Ziel und beschriebener Vorteil sei es die mindestens eine detektierte Landmarke anhand weniger kennzeichnender Eigenschaften, wie etwa Kartenpositionen, der digitalen Kopie der Landmarke direkt zuzuordnen. Einen entsprechenden Vorschlag macht die US 2020 0364 883 A1 . Beide Vorschläge vermögen es allerdings nicht die oben beschriebenen Probleme zu lösen.
• Damit besteht im Stand der Technik das Problem, dass die bekannten Algorithmen und Systeme Lokalisationsfehler verursachen können, dabei ressourcenintensiv arbeiten und auch die Vorgaben nicht erfüllen, um bei hochautomatisierten Fahrzeugen eingesetzt zu werden.
• Damit ist es Aufgabe der Erfindung die Menge an Lokalisationsfehlern zu reduzieren, ressourcen einzusparen und die Performance zu verbessern.
• Die Aufgabe wird insbesondere gelöst durch ein Verfahren gemäß Anspruch 1, eine Steuereinrichtung gemäß Anspruch 22, ein Fahrzeug gemäß Anspruch 23 bzw. ein Computerprogrammprodukt gemäß Anspruch 24. Vorteilhafte Ausführungen und/oder Weiterbildungen sind Gegenstand der Unteransprüche, der Beschreibung und/oder den begleitenden Figuren. Insbesondere können die unabhängigen Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie weitergebildet sein.
• Nach einem Aspekt wird die Aufgabe insbesondere gelöst durch ein Verfahren das zur semantischen und mehrdeutigkeitsbewussten Lokalisation mindestens einer beweglichen Einheit in mindestens einer HD-Karte ausgebildet ist. Dabei umfasst die HD-Karte digitale Kopien von Landmarken. Das Verfahren weist insbesondere die folgenden Schritte auf:
• - Vorlegen und/oder Vorhalten mindestens einer HD-Karte, die digitale Kopien von Landmarken umfasst,
• - Detektieren mehrerer Landmarken zur Assoziation mit den digitalen Kopien von Landmarken in der mindestens einen HD-Karte,
• - Einbeziehen mehrerer initialer Hypothesen betreffend eine Lokalisation einer beweglichen Einheit als initiale Lokalisationshypothesen,
• - Vorhersagen mehrerer Lokalisationshypothesen simultan, basierend auf den initialen Lokalisationshypothesen, deren Assoziation mit den detektierten Landmarken und unter Berücksichtigung einer Modellierung einer semantischen Klassifikation der detektierten Landmarken zur Zuordnung in semantische Klassen, und
• - Gewichtung der mehreren Lokalisationshypothesen.
Das Verfahren weist ferner insbesondere mindestens einen der folgenden Schritte auf:
• - Erkennen mehrdeutiger Situationen in Bezug auf die Lokalisation der mindestens einen beweglichen Einheit, wenn mehrere Lokalisationshypothesen simultan plausibel sind, basierend auf der Gewichtung, der Datenassoziation und der semantischen Klassifikation, und/oder
• - Vereindeutigen mehrdeutiger Lokalisationshypothesen (über die Zeit) durch Identifikation der Hypothese mit der höchsten Gewichtung. Damit kann die semantisch- und mehrdeutigkeitsbewusste Lokalisation mindestens einer beweglichen Einheit in mindestens einer HD-Karte ermöglicht werden, um eine Lokalisation zu verbessern.
• Das Verfahren kann als computerimplementiertes Verfahren ausgebildet sein bzw. ein computerimplementiertes Verfahren sein.
• Mehrdeutigkeiten stellen oft ein Problem für Lokalisationsalgorithmen dar, wobei sich die Mehrdeutigkeiten in Datenassoziationen widerspiegeln können, die zu falschen Assoziationen zwischen den gemessenen oder aufgezeichneten Landmarken in der realen Welt und den in den HD-Karten hinterlegten digitalen Kopien der Landmarken führen, was eine nachgelagerte falsche Lokalisation, einen sog. Lokalisationsfehler, bedingt. Der kombinierte Einsatz von geografischer und semantischer Lokalisation vermag zwar einen Teil der mehrdeutigen Situationen / Lokalisationen vereindeutigen, allerdings reicht dieser Ansatz nicht, um jede Situation oder Lokalisation zu vereindeutigen. Die hier vorgeschlagene Lösung hat dabei den Vorteil, dass sowohl die Assoziation der Landmarken der realen Welt mit den Assoziationen in der HD-Karte in die Auswertung und Vorhersage miteinbezogen werden können, als auch die semantische Klassifikation der Landmarken berücksichtigt werden kann. Dabei kann auch eine semantische Klassenfehlklassifikation seitens des Detektors modelliert werden, beispielsweise durch eine konditionelle Klassifikationswahrscheinlichkeit (Engl.: Conditional Classification Probability = CCP). Damit kann also auch die Wahrscheinlichkeit einer Fehlklassifikation seitens des Detektors berücksichtigt werden, was die Vorhersagewahrscheinlichkeit und damit auch die Sicherheit des Systems erhöht, da so Lokalisierungsfehler reduziert werden können.
• Landmarken sind hier und anderswo in der Beschreibung Seitenlinienbegrenzungen, farbliche oder weiße Straßenmarkierungen, Straßenschilder, Merkmale der Fahrbahn, Sehenswürdigkeiten (Engl.: Points of Interest = POIs), Ampeln, Merkmale von Straßenkreuzungen, wie etwa prägnante (für eine Kamera, ein LIDAR oder einen anderen Sensor leicht erfassbare) Merkmale von Straßenzügen oder von der Fahrbahn selbst.
• HD-Karten können dabei hochaufgelöste digitale Karten, die die Welt vereinfacht (abstrahiert) abbilden, darstellen, wobei insbesondere die digitalen Kopien der Landmarken in diesen HD-Karten enthalten sein können. Die generellen Anforderungen, die mindestens erfüllt sein müssen, um Lokalisationsalgorithmen zu etablieren, zeichnen sich durch hohe Präzision und Genauigkeit aus. Derartige Präzision und Genauigkeit lässt sich durch laterale Abweichungen von kleiner 0,2 m, durch longitudinale Abweichungen von kleiner 0,5 m und durch Höhenwinkelabweichungen, bei sogenannten Nickbewegungen, von kleiner 0,5 ° spezifizieren. Entsprechende Informationen müssen die HD-Karten bereitstellen können. Da die Welt für die Optimierung der Ressourcen an Rechenleistung und Speicherplatz abstrahiert abgebildet ist, kann dies auch entsprechend für die digitalen Kopien der Landmarken gelten. Damit können die Landmarken insbesondere derart abstrahiert sein, dass sie keine ästhetischen Bedürfnisse befriedigen, da die HD-Karten gegebenenfalls (ggf.) nicht dargestellt werden, sondern lediglich als digitaler Raum vorgehalten werden. Dabei können also alle Strukturmerkmale, die ggf. eine innere Struktur abbilden, die für die Abstandsbestimmung eines Ego-Fahrzeugs zur Landmarke nicht relevant sind entfernt worden sein. Dies kann beispielsweise für Pflanzen, insbesondere für Bäume und/oder Sträucher gelten, deren Struktur, insbesondere im Bereich der Krone simplifiziert ist, etwa zu einer Kugel oder einem Kegel oder einem Würfel oder einem Zylinder.
• Unter „Vorlegen“ kann hier verstanden werden, dass die HD-Karten schon vor Start des Verfahrens zur Verfügung gestellt worden sein können. Unter „Vorhalten“ kann demgegenüber ein zeitlich unabhängiges Verbleiben der HD-Karte, etwa in einem Speicher verstanden werden, wobei das Vorhalten zeitlich auch nach dem Start (der Initiierung) des Verfahrens liegen kann. Dabei wird die HD-Karte insbesondere solange vorgehalten, wie diese noch gebraucht wird, etwa um Lokalisationshypothesen in der HD-Karte zu ermöglichen.
• Die Bezeichnung „in mindestens einer HD-Karte“ bezieht sich dabei darauf, dass die Lokalisationshypothesen in der HD-Karte abgebildet werden können. Damit werden die Lokalisationshypothesen insbesondere nicht in einem Bezugssystem eines Sensors, insbesondere nicht im Bezugssystem eines optischen Systems, etwa einer Kamera verarbeitet.
• Das Detektieren mehrerer Landmarken kann dabei insbesondere durch nicht-Kamera-basierte und nicht-optische Systeme ermöglicht werden. Dies können ggf. auch Lidar-, Radar- und/oder vergleichbare Sensorsysteme sein. Dabei kann es möglich sein, kartenbasierte Positionspunkte als Kandidaten für eine initiale Lokalisationshypothesen zu identifizieren, die auf gemessenen Globalnavigationssatellitendaten beruhen, sowie auf Abstandsinformationen, bspw. Intrafahrbahnversatzinformation, die den Versatz einer mobilen Einheit, bspw. eines Fahrzeugs, relativ zur Fahrbahnmitte und damit auch relativ zu den Fahrbahnmarkierungen hin, oder von den Fahrbahnmarkierungen weg betreffen.
• Das Einbeziehen mehrerer initialer Hypothesen kann dabei die initiale Schätzung von Hypothesen als Ausgangspunkt für die Berechnung weiterer, folgender Berechnungszyklen der Lokalisationshypothesen sein. Die initialen Lokalisationshypothesen können dabei auf einer initialen Schätzung beruhen oder auf einer zuvor ausgeführten Berechnung, etwa weil das Verfahren zuvor schon ausgeführt wurde und ein dabei erzeugter Lokalisationsdatensatz in das Verfahren als initiale Lokalisationshypothesen (erneut) rückgeführt wird.
• Die Assoziation zwischen den detektierten Landmarken und den digitalen Kopien der Landmarken kann dabei insbesondere einer mathematisch digitalen Verknüpfung oder Abbildung entsprechen, wodurch es möglich ist, die detektierten Landmarken mit digitalen Kopien dieser Landmarken zu verknüpfen derart, dass die Landmarken und deren digitale Kopien in der HD-Karte mit der beweglichen Einheit in eine Distanzbeziehung gesetzt werden können, wobei auch die mobile Einheit eine digitale Kopie haben kann.
• In anderen Worten können die initialen Lokalisationshypothesen mit den digitalen Kopien der Landmarken in der HD-Karte als Datenassoziation assoziiert werden, wobei semantische Klasseninformationen in Bezug auf die Landmarken zusätzlich zur Datenassoziation in die Vorhersage einbezogen werden, wobei mindestens eine Fehlklassifizierung einer detektierten Landmarke zu einer semantischen Klasse modelliert wird, um diese als semantische Wahrscheinlichkeit zusätzlich zur Datenassoziation und der Gewichtsberechnung zur Gewichtung der mehreren Lokalisationshypothesen zu ermitteln.
• Das Vorhersagen mehrerer Lokalisationshypothesen kann simultan und kontinuierlich erfolgen. Damit können die Vorhersagen zeitgleich berechnet werden. Darüber hinaus können die Vorhersagen basierend auf den mehreren Lokalisationshypothesen in einem kontinuierlichen Phasenraum oder kontinuierlichen Zustandsraum erfolgen. Die Berechnung muss nicht in einem konkreten Phasen- oder Zustandsraum berechnet werden. Es handelt sich dabei auch um eine deterministische, nicht notwendigerweise um eine stochastische Berechnung.
• Die Gewichtung der mehreren Lokalisationshypothesen kann dabei aus der zugrundeliegenden Struktur des Algorithmus berechnet werden, wobei die Gewichtungen einer Eintrittswahrscheinlichkeit einer Lokalisationshypothese entsprechen können, bzw. der Wahrscheinlichkeit entsprechen können, dass sich die bewegliche Einheit in der realen Welt an der Position befindet (dort lokalisiert ist), wo es die Lokalisationshypothese entsprechend vorausgesagt bzw. prognostiziert hat.
• Das Vereindeutigen mehrdeutiger Lokalisationshypothesen (über die Zeit) kann durch Identifikation der Hypothese mit der höchsten Gewichtung erfolgen. Zusätzlich kann das Vereindeutigen unter Berücksichtigung der Datenassoziation und der semantischen Klassifikation erfolgen. Dabei kann die Hypothese bevorzugt werden, die die höchste Gewichtung aufweist und damit die höchste Eintrittswahrscheinlichkeit aufweist, bzw. die höchste Wahrscheinlichkeit, dass sich die Hypothese als der tatsächliche Lokalisationszustand erweist. Zusätzlich kann auch diejenige, bei der eine Fehlklassifikation durch konditionelle Klassifikationswahrscheinlichkeiten (Engl.: Conditional Classification Probabilities = CCP) der semantischen Klassifikation bestimmter Landmarken modelliert wurde verworfen werden. Die semantische Klassifikation kann als zusätzliche semantische Wahrscheinlichkeit (Engl.: „additional semantic likelihood“) innerhalb der Datenassoziationen und der Hypothesenwahrscheinlichkeitsberechnung einbezogen werden. Die Modellierung der CCP kann dabei beispielsweise durch eine Verwechslungsmatrix (Engl.: „Confusion Matrix“) des Detektors erreicht werden.
• Hier kann unter dem Begriff „über die Zeit“, die Zeit verstanden werden, in der das Verfahren betrieben wird, bzw. die Anzahl von Wiederholungszyklen, in denen es zu einem Update der Lokalisationshypothesen kommt.
• Nach einem weiteren Aspekt wird insbesondere mindestens einer der Schritte des simultanen Schätzens bzw. Vorhersagens der mehreren Lokalisationshypothesen und/oder des Erkennens mehrdeutiger Situationen in Bezug auf die Lokalisation der mindestens einen beweglichen Einheit und/oder des Vereindeutigen mehrdeutiger Lokalisationshypothesen einem rekursiven Update unterliegen. Damit kann die Vorhersage weiter verbessert werden. Dadurch können die Lokalisationshypothesen immer weiter verbessert werden, insbesondere kann dadurch die Vorhersagegenauigkeit weiter verbessert werden. Auch erlaubt das simultane Schätzen einer Hypothese insbesondere pro Fahrspur eine effiziente Verarbeitung durch das, insbesondere computerimplementierte, Verfahren.
• Als rekursives Update ist dabei insbesondere ein Algorithmus zu verstehen, der auf die berechneten Parameter, Gewichte, Mischungskomponenten und/oder Lokalisationshypothesen in einem vorhergehenden Rechenzyklus zurückgreift, bzw. der die im laufenden Zyklus berechneten Parameter, Gewichte, Mischungskomponenten und/oder Lokalisationshypothesen in den kommenden Zyklus zurückfüttert. Dadurch werden die Lokalisationshypothesen kontinuierlich verbessert. Dabei können Parameter, Gewichte, Mischungskomponenten und/oder Lokalisationshypothesen, die vorgelegt, bzw. (initial) einbezogen werden, als Priorkomponenten bezeichnet werden, wohingegen ausgegebene durch den Zyklus „geschleuste“, bzw. berechnete Parameter, Gewichte, Mischungskomponenten und/oder Lokalisationskomponenten als Posteriorkomponenten bezeichnet werden können.
• Nach einem weiteren Aspekt kann die Lokalisation als 2D-Orientierung der beweglichen Einheit vorgesehen sein. Dabei können zusätzlich oder alternativ die Lokalisationshypothesen als 2D-Orientierungshypothesen der beweglichen Einheit vorgesehen sein und/oder die Lokalisationsverteilung kann als Gaussches Mischungsmodell (Gaussian Mixture Model = GMM) repräsentiert sein, wobei jede Mischungskomponente h mit einer der Lokalisationshypothesen verbunden ist. Damit kann ein ressourcensparendes, effizientes Modell bereitgestellt werden.
  Es werden somit insbesondere die Berechnungen und/oder Abbildungen direkt in der HD-Karte durchgeführt, wobei diese in einer 2D-Aufsicht erfolgen (Engl.: Bird-Eye-View = BEV). Damit können statt eines 3D Modells mit mindestens 6 Freiheitsgraden (Engl.: Degrees of Freedom = DoF) mit lediglich 3 Freiheitsgraden gearbeitet werden. Dies reduziert die notwendige Rechenleistung und Anforderungen an die Speicherkapazität erheblich. Damit werden die Zustände als 2D Orientierung gemäß der Formel 3 berechnet (x: Vektor mit Koordinate x und y, sowie Winkelorientierung θ.) $$\text{x}={\left[\begin{array}{ccc}x& y& \theta \end{array}\right]}^{\text{T}}$$

  
• Nach dem Gausschen Mischungsmodell werden die Lokalisationshypothesen jeweils als eine Gaussche Standard- bzw. Normalverteilung dargestellt, die einen Mittelpunkt und eine darum angeordnete Verteilung aufweist (Mittelwert µ_k-1|k-1 ^hk-1 und Kovarianz Σ_k-1|k-1 ^hk-1). In anderen Worten ist die Zustandsverteilung in einem solchen Modell als Gausssche Mischung ausgebildet, gemäß der Formel 4: $$p\left(\text{x}\right)={\displaystyle {\sum }_{h=1}^H{w}^{h}N\left({\mathrm{\mu }}^h,{\displaystyle \sum {}^h}\right)}$$

  
• In einem Beispiel kann eine Anzahl der Mischungskomponenten jeweils einer Anzahl der Lokalisationshypothesen entsprechen. Insbesondere kann dabei die Lokalisationshypothese einer Lokalisation auf einer Fahrspur entsprechen. In anderen Worten kann die Anzahl der Fahrspuren dem Maximum der Mischungskomponenten entsprechen, also dem Parameter h.
• In anderen Worten ergeben die Lokalisationshypothesen somit eine Überlagerung all der möglichen Gaussverteilungen, die Ihnen zugeordnet werden können. Diese können gewichtet werden derart, dass sich die Gewichte zu eins addieren. Dies bildet ab, dass die bewegliche Einheit irgendwo lokalisiert ist also existiert und nicht mit einer gewissen Wahrscheinlichkeit aus der Lokalisation fällt (fehlende Lokalisierung bei < 1), oder an mehreren Orten existieren kann (falsche Lokalisierung bei > 1).
• Dadurch, dass jede Lokalisationshypothese mit einer Mischungskomponente h verbunden sein kann, ist es möglich, dass bereits mit einer geringeren Anzahl von (initalen) Lokalistationshypothesen gerechnet werden kann, als dies etwa bei Partikelfilteralgorithmen (PF) (als stochastischem Algorithmus) der Fall ist, die eine höhere Komponentenanzahl erfordern (h >> Anzahl der realistischen Lokalisierungen, wobei die realistischen Lokalisierungen insbesondere der Anzahl der Fahrspuren entspricht). Entsprechendes gilt auch für Histogramfilter (HF), bei denen zwar eine Diskretierung des Zustandsraums stattfindet, bei der allerdings eine notwendige, kleinteilige Ausgangshypothesenbildung zu einer sehr großen Komponentenanzahl h führt, die deutlich die Anzahl der realistischen Lokalisierungen übersteigt. Damit ist auch ein solcher Algorithmus sehr ressourcenintensiv.
• Nach einem weiteren Aspekt kann das Einbeziehen ein Initiieren sein, umfassend ein Vorlegen initialer Lokalisationshypothesen, wobei mindestens ein Teil der Informationen die mindestens einem Teil der initialer Lokalisationshypothesen zugrundegelegt werden Sensorinformationen sind. Damit kann direkt ein Bezug zwischen den initialen Lokalisationshypothesen und der tatsächlichen Lokalisation als Ausgangssituation für das Durchführen des Verfahrens gewählt werden. Damit können weitere Ressourcen gespart werden, da ggf. weniger Rechenzeit notwendig ist, um etwa einen Updateprozess laufen zu lassen, der die Lokalisationshypothesen derart optimiert, dass eine Lokalisationshypothese gewählt werden kann.
• Nach einem weiteren Aspekt kann mindestens ein Teil der Informationen, die mindestens einem Teil der initiären Lokalisationshypothesen zugrunde gelegt werden Sensorinformationen sein, die mindestens eine der folgenden Sensorinformationen umfassen können:
• - Globalnavigationssatellitensignal (Global Navigational Satellite Signal = GNSS),
• - Bewegungsdaten mindestens einer beweglichen Einheit oder Bewegungsdaten des Ego-Fahrzeugs,
• - Landmarkeninformationen, umfassend eine Lokalisation von Landmarken, wobei die Landmarken semantischen Klassen zuordenbar sind und/oder wobei Repräsentationen der Landmarken auf mindestens einer HD-Karte existieren,
• - Straßenbahnmarkierungsinformationen als Landmarkeninformation, wobei die Stra-ßenbahnmarkierungsinformationen mittels Straßenbahnmarkierungsmessungen oder mittels einer Kamera oder mittels einer Bordkamera oder mittels einer Bordkamera des Ego-Fahrzeugs aufgenommen werden, und/oder wobei die Straßenbahnmarkierungsinformationen eine laterale Distanz und/oder eine relative Orientierung bezüglich der Straßenbahnmarkierungen umfassen, und/oder wobei die Straßenbahnmarkierungsinformationen eine Klasseninformation enthalten, und/oder wobei die Stra-ßenbahnmarkierungsinformationen eine semantische Klasseninformation aufweisen, und/oder wobei die Straßenbahnmarkierungsinformationen eine semantische Klasseninformation aufweisen, von denen mindestens eine der semantischen Klassen „durchgezogene Linie“ und/oder „unterbrochene Linie“ umfasst ist/sind, und/oder
• - Intrafahrbahnoffsetinformationen, welche mindestens den Abstand des Ego-Fahrzeugs zu den Straßenbahnmarkierungen der Straßenbahn (= Fahrspur), auf der das Ego-Fahrzeug gemäß mindestens einer Lokalisationshypothese lokalisiert ist, umfassen,
• - mit mindestens einer HD-Karte abgeglichene Positionen, welche auf gemessenen Globalnavigationssatellitendaten und Intrafahrbahnoffsetinformationen basiert. Damit können eine Vielzahl von Sensordaten in das Verfahren gefüttert werden, um die initialen Lokalisationshypothesen möglichst nahe an die wirkliche Lokalsiation heranzubringen, um so weitere Ressourcen bei der Berechnung einzusparen.
• Dabei kann unterstützend auf ein GNSS zurückgegriffen werden, ein Fahrzeugbewegungsparameter, wie die Geschwindigkeit oder die Gierrate herangezogen werden oder Fahrbahnbegrenzungen mittels einer Bordkamera aufgezeichnet werden, wobei die Messungsdaten bei Fahrbahnbegrenzungsdaten einen lateralen Abstand und eine relative Orientierung relativ zu der Fahrbahnbegrenzung oder relativ zu den Fahrbahnbegrenzungen umfassen können. Auch können die Orientierungshilfen semantischen Klassen zugeordnet werden, beispielsweise (bspw) „gestrichelte Linie“ oder „durchgezogene Linie“. Die Gierrate (auch Giergeschwindigkeit) bezeichnet dabei die Winkelgeschwindigkeit der Drehung eines Fahrzeuges um die Hochachse.
• Nach einem weiteren Aspekt kann das simultane Schätzen bzw. Vorhersagen mehrerer Lokalisationshypothesen eine Vorhersage mehrerer zukünftiger Lokalisationshypothesen umfassen. Damit muss nicht für jede Lokalisationshypothese ein entsprechender Zyklus durchlaufen werden, sondern die Berechnungen sind insbesondere zeitgleich möglich, was die Rechenzeit weiter reduziert. Darüber hinaus können die einzelnen Lokalisierungshypothesen mathematisch fundiert geupdatet werden, ohne dabei eine neue Initialisierung starten zu müssen, was dem Abbrechen eines laufenden Zyklus entsprechen würde. Insbesondere können sowohl die Gewichte als Wahrscheinlichkeit einer Lokalisation gemäß einer Lokalisationshypothese als auch die präzise geometrische Orientierung (Engl.: „precise geometric pose“) in Form der Mischungskomponenten simultan, also zeitgleich und insbesondere durch den gleichen Algorithmus und insbesondere innerhalb desselben Updatezyklus geschätzt werden. Dabei kann die Wahrscheinlichkeit, dass die Lokalisation einer der Lokalisationshypothesen entspricht, insbesondere der Lokalisation auf einer Fahrspur entsprechen, wodurch das Fahrzeug dem Aufenthalt / Fahren auf einer Fahrspur zugeordnet werden kann.
• Nach einem weiteren Aspekt kann die Vorhersage zukünftiger Lokalisationshypothesen eine Multihypothesenbewegungsvorhersage umfassen, wobei jede Lokalisierungshypothese unabhängig vorhergesagt wird. Dies erlaubt insbesondere auch die Vorhersage von zukünftigen Lokalisierungen und erlaubt insbesondere auch das Update der initialen Lokalisierungshypothesen nicht nur auf Basis der zunächst eingegebenen initialen Lokalisierungshypothesen, sondern insbesondere auch auf Basis der dynamischen Entwicklung durch die Bewegung der beweglichen Einheit.
• Nach einem weiteren Aspekt kann die unabhängige Multihypothesenbewegungsvorhersage auf einem Konstantwinkelgeschwindigkeitsmodell (Engl.: „Constant-Turn-Rate-Velocity Modell“ = CTRV-Modell) beruhen, welches gemessene Geschwindigkeiten v und Rotationsraten und/oder Winkelgeschwindigkeiten w einbezieht. Damit wird die Dynamik der Vorhersage weiter verbessert.
• Der Parameter w kann auch als Gierrate (auch Giergeschwindigkeit) bezeichnet werden, wie eingehend beschrieben. Dabei wird insbesondere jede Hypothese (mit Mittelwert µ_k-1|k-1 ^hk-1 und Kovarianz Σ_k-1|k-1 ^hk-1) unabhängig berechnet.
• Nach einem weiteren Aspekt können die Lokalisationshypothesen bei der Vorhersage durch Gewichte gewichtet sein und/oder die Gewichte können während der Vorhersage konstant bleiben.
• Dabei können die Gewichte (w_h(k-1)) der Mischungskomponenten (

  

  (µ_h(k-1) , Σ_h(k-1) ) ) über die Vorhersage konstant bleiben, wobei die jeweilige Vorhersage (p_k|k-1(x_k)) nach Formel 5 berechenbar ist. Dabei wird die Summe über die Mischungskomponenten h von 1 bis k-1 gegeben, wobei k der laufende Parameter ist: $$p_{k|k-1}\left({\text{x}}_k\right)={\displaystyle {\sum }_{h\left(k-1\right)=1}^{H\left(k-1\right)}{\text{w}}_{h\left(k-1\right)}N\left({\mathrm{\mu }}_{h\left(k-1\right)},{\displaystyle \sum {}_{h\left(k-1\right)}}\right)}$$

  
• Nach einem weiteren Aspekt kann das Erkennen mehrdeutiger Situationen mindestens einen Updateschritt umfassen, wobei eine Kostenmatrix dem Update zugrunde gelegt wird, die ausgebildet ist zur Assoziation von Daten mit Fehlvorhersagen und/oder mit Fehlmessungen und/oder mit Messfehlern und zur Assoziation von Daten mit Klassifikationswahrscheinlichkeiten.
• Dabei kann eine Kostenmatrix verwendet werden, die derart aufgebaut ist, dass die einzelnen Komponenten sich berechnen zu den Kosten einer Fehldetektion, sowie zu einer Summe umfassend einen geometrischen Logarithmus der Wahrscheinlichkeit (Engl.: „Geometric log-likelihood“), den Kosten für eine Poisson-verteilte Streuung bezogen auf Messfehler (Engl.: „Poisson Clutter“) und einer semantischen Klassifikation als Logarithmus einer Wahrscheinlichkeit (Engl.: „semantic classification log-probability“). Die Anzahl der Zeilen entspricht dabei insbesondere der Anzahl der Landmarken, bspw. der Anzahl der Fahrspuren.
• Nach einem weiteren Aspekt kann das Vereindeutigen mehrdeutiger Lokalisationshypothesen (über die Zeit) mindestens einen Updateschritt umfassen, wobei die Berechnung einer Bestzuweisungsmatrix einen Murty-Algorithmus umfasst.
• Ein Murty-Algorithmus arbeitet dabei insbesondere derart, dass mindestens eine beste Lösung zu einem Problem aufgefunden wird, basierend auf einer initialisierten Prioritätsschleife von Problem / Lösungspaaren. Dabei ist insbesondere das Paar das an der Spitze einer Prioritätsschleife steht das Paar mit der Lösung mit den geringsten Kosten. Dabei wird insbesondere das oberste Problem-Lösungspaar <P, S> von der Prioritätsschleife entnommen und die Lösung S wird in die Liste von Lösungen aufgenommen, die ausgegeben werden sollen. Anschließend können weitere Lösungen identifiziert werden, ausgehend von den identifizierten Parametern der zuerst identifizierten Lösung mit den geringsten Kosten. Dabei werden also insbesondere Problem-Lösungspaare identifiziert, deren Lösung möglichst geringe Kosten aufweist was einer besten Lösung entspricht.
• Nach einem weiteren Aspekt kann das Vereindeutigen mehrdeutiger Lokalisationshypothesen (über die Zeit) ein Linearzuweisungsproblem (Engl.: „Linear Assignment Problem“ = LAP) lösen. Dieses LAP kann ausgebildet sein zur Bestimmung von Zusammenhängen zwischen Messungen und Landmarken, sogenannten Messung-zu-Landmarkenassoziationen.
  Dazu kann nach einem Aspekt das Linearzuweisungsproblem durch eine Ungarische Methode (Engl.: „Hungarian-Algorithm“) gelöst werden. Die Ungarische Methode wird dabei auch als Kuhn-Munkres-Algorithmus bezeichnet.
• Dabei können die Landmarken aus den Messungen und die zu assoziierenden digitalen Kopien der Landmarken gleicher Anzahl sein und zwischen ihnen kann eine eineindeutige Zuordnung herzustellen sein, d. h. jeder Quelle (s, gemessene oder detektierte Landmarke) wird insbesondere höchstens ein Ziel (t, digitale Kopie der Landmarke) und jedem Ziel insbesondere höchstens eine Quelle zugeordnet. Dabei kann jede (zulässige) Zuordnung einer „Quelle“ zu einem „Ziel“ einen Preis oder einen Gewinn c(s,t) aufweisen. Der Algorithmus kann also den Gesamtpreis (= Summe der Einzelpreise) der Zuordnung minimieren oder den Gesamtgewinn (= Summe der Einzelgewinne) der Zuordnung maximieren. Dabei ist insbesondere immer eine maximale Anzahl an Paaren zu bilden.
• Nach einem Aspekt kann eine Posteriormischungskomponente berechnet werden und/oder es kann eine Posteriormischungskomponente als eine Priormischungskomponente für einen folgenden Updateschritt vorgelegt und/oder vorgehalten werden. Dabei kann nach einem Aspekt ein Kalman-Update für jede Messung-zu-Landmarkenassoziation durchgeführt werden, die auf der vorhergehenden Priormischungskomponente beruht. Darüber hinaus können nach einem weiteren Aspekt nichtnormalisierte Gewichte oder nichtnormalisierte logarithmische Gewichte berechnet werden, basierend auf entsprechenden Messungslogarithmuswahrscheinlichkeiten und Priorlogarithmusgewichten. Dadurch können die jeweils berechneten Posterioren auch als Prioren für den nächsten Updateschritt verwendet werden, was eine weitere Optimierung und eine entsprechende Assoziation erlaubt.
• Dabei werden als Prioren insbesondere solche Mischungskomponenten bezeichnet, die vorgelegt, bzw. (initial) einbezogen werden, wohingegen ausgegebene durch den Zyklus „geschleuste“, bzw. berechnete Mischungskomponenten insbesondere als Posterioren bezeichnet werden.
• Nach einem weiteren Aspekt können die Gewichte normalisiert werden und/oder die Mischungskomponenten können verbunden werden, basierend auf einem Abstand und/oder die Mischungskomponenten können nach deren Gewichtung in absteigender Reihenfolge sortiert werden und/oder die Anzahl der Hypothesen kann auf eine maximale Anzahl von Mischungskomponenten begrenzt werden. Dadurch können Ressourcen bei der Berechnung der Mischungskomponenten gespart werden, wodurch geringere Anforderungen an die Rechenleistung, als auch an den Speicherplatz gestellt werden müssen. Damit wird auch der rechnerische Zusatzaufwand reduziert. Die Verbindung der Mischungskomponenten erlaubt dahingehend auch das Erreichen einer Lokalisation, die sich einer Realität annähert, bzw. dieser entspricht, da die bewegliche Einheit ebenfalls lokalisiert ist und nicht an mehreren Orten vorliegt.
• Nach einem weiteren Aspekt kann die geometrische Orientierung der Lokalisierungshypothesen als Mischungskomponenten ausgegeben werden und die Wahrscheinlichkeit des Vorliegens der Lokalisierungshypothesen wird insbesondere durch deren Gewichte ausgegeben werden, wobei die Mischungskomponenten und die Gewichte simultan geschätzt werden. Damit kann die Durchführung des Verfahrens beschleunigt werden.
• Das simultane Schätzen kann dabei als ein kontinuierliches Schätzen erfolgen. Damit können die Vorhersagen zeitgleich berechnet werden. Darüber hinaus können die Vorhersagen basierend auf den mehreren Lokalisationshypothesen in einem kontinuierlichen Phasenraum oder kontinuierlichen Zustandsraum erfolgen. Die Berechnung muss nicht in einem konkreten Phasen- oder Zustandsraum berechnet werden. Es handelt sich dabei auch um eine deterministische, nicht notwendigerweise um eine stochastische Berechnung. Der Determinismus sorgt insbesondere dafür, dass kein „Partikelverlust“ (Engl.: „particle depletion“) auftritt, der dem System etwaige Hypothesen „entzieht“.
• Nach einem weiteren Aspekt kann ein rekursiver Bayesscher Schätzungsrahmen („Bayesian Estimation Framework“ = BEFW) angewandt werden, wobei inhärent Priorinformation ausgewertet wird. Dadurch kann das Verfahren weitergeführt werden, auch wenn eine Fehllokalisation durchgeführt wurde, da somit kontinuierlich weitere Informationen zugeführt werden, da Priorinformation nicht verworfen wird.
• Bayessche Filter sind dabei insbesondere rekursive probabilistische Verfahren zur Schätzung von Wahrscheinlichkeitsverteilungen verdeckter (unbeobachteter) Zustände eines Systems bei gegebenen Beobachtungen und Messungen. Die Messungen sind hier insbesondere die Messungen der Landmarken, die mit den Kopien der Landmarken zu assoziieren sind.
• Nach einem weiteren Aspekt kann eine Hypothese pro Fahrspur berechnet und/oder ausgegeben werden, und/oder das Verfahren kann deterministisch ausgebildet sein, und/oder innerhalb des Updateschrittes kann jede Hypothese mathemisch fundiert updatebar und/oder korrigierbar sein, und/oder eine Kalmanfiltergleichung kann dem mathematisch fundierten Update zugrunde gelegt werden. Dies erlaubt eine Verbesserung der Ressourcenanforderungen und reduziert diese. Dabei ist insbesondere ein Kalmanfilter als Spezialfall eines Bayesschen Filters für normalverteilte Zustände ausgestaltet. Die rekursive Updatefähigkeit erlaubt innerhalb eines Updateschritts, wie er eingehend schon beschrieben wurde, dass jede Hypothese geupdatet werden kann und damit auch korrigiert werden kann. Die mathematische Fundierung entspricht dabei insbesondere der Fähigkeit des Verfahrens sich mittels einer Berechnung wieder zu stabilisieren und dabei auch Korrekturen zu ermöglichen, die bei einer andersartigen Implementierung einen Neustart erzwingen könnten. Damit werden weitere Ressourcen und auch Kosten für den Betrieb des Verfahrens reduziert.
• Nach einem weiteren Aspekt kann das Update der hypothetischen Gewichte auf einem nicht-Gaussschen Wahrscheinlichkeitsmodell basieren und/oder das Update der hypothetischen Gewichte kann auf einem Partikelfiltermodell basieren. Damit ist eine Anpassung des Verfahrens gegeben.
• Nach einem weiteren unabhängigen Aspekt kann eine Steuereinrichtung oder Fahrzeugsteuereinrichtung vorgelegt werden, ausgebildet und/oder eingerichtet derart, um ein erfindungsgemäßes Verfahren durchzuführen. Die Steuereinrichtung kann dabei insbesondere auch durch die Merkmale des Verfahrens spezifiziert werden. Die Steuereinrichtung ist dabei auch insbesondere mit exteroreceptiven, also mit, die Umgebung einer beweglichen Einheit erfassenden Sensoren verbunden, um die entsprechenden Informationen (Landmarkenpositionen) einem erfindungsgemäßen Verfahren zur Verfügung stellen zu können. Darüber hinaus kann die Steuereinrichtung ausgebildet sein, um eine hochautomatisierte bewegliche Einheit zu steuern. Die Steuereinrichtung kann dabei ein Speichermediumg (Flash-Speichermedium, Magnetspeichermedium, Festplatte, USB-Stick, etc.) und eine CPU umfassen.
• Ein Steuergerät oder ein System aus mehreren Steuergeräten kann zum Einsatz in einem Kraftfahrzeug dienen. Beispielsweise kann das eigene Fahrzeug und/oder dessen Fahrerassistenzsystem das Steuergerät oder das System aus mehreren Steuergeräten umfassen.
• Das Steuergerät bzw. das System kann zum Einsatz in einem Kraftfahrzeug eingerichtet und bestimmt sein. Das Steuergerät bzw. das System kann eine elektronische Steuerung aufweisen. Das Steuergerät bzw. das System kann eine Electronic Control Unit (ECU) sein oder aufweisen. Es können mehrere Steuergeräte vorgesehen sein. Die mehreren Steuergeräte können über ein Bussystem, beispielsweise ein „Controller Area Network“ (CAN), verbunden sein und/oder untereinander Daten austauschen. Die elektronische Steuerung und/oder das Steuergerät bzw. System kann einen Mikrocomputer und/oder Prozessor aufweisen. Das Steuergerät bzw. System kann einen oder mehrere Sensoren umfassen und/oder mit diesen verbunden sein. Das Steuergerät bzw. System kann das vorstehend und/oder nach-folgend beschriebene Computerprogrammprodukt umfassen. Das Steuergerät bzw. System kann einen Speicher aufweisen. Das Computerprogrammprodukt kann in dem Speicher gespeichert sein. Das Steuergerät bzw. System kann dazu ausgebildet sein, das vorstehend und/oder nachfolgend beschriebene Verfahren durchzuführen.
• Nach einem weiteren unabhängigen Aspekt kann ein Fahrzeug oder semi-autonomes Fahrzeug oder autonomes Fahrzeug vorgesehen sein, das eine erfindungsgemäße Steuereinrichtung umfasst. Das Fahrzeug kann ein Kraftfahrzeug, beispielsweise ein Ego-Fahrzeug, sein. Das Fahrzeug kann eingerichtet und/oder bestimmt sein, das vorstehend und/oder nachfolgend beschriebene Verfahren durchzuführen. Das Fahrzeug kann das vorstehend und/oder nachfolgend beschriebene Computerprogrammprodukt, Steuergerät oder System aus mehreren Steuergeräten umfassen. Dabei kann insbesondere als semi-autonomes Fahrzeug ein Fahrzeug der Level 1 bis Level 4 verstanden werden, wobei ein Fahrzeug des Level 5 als autonomes Fahrzeug vorgesehen sein kann. Alle Fahrzeuge dieser Kategorien sind dabei insbesondere hochautomatisierte Fahrzeuge. Die Level werden dabei insbesondere nach der zum Anmeldezeitpunkt (bzw. zum Prioritätstag) gemäß der deutschen Bundesgesetzgebung folgendermaßen definiert:
• Level 1: Assistiertes Fahren, wobei Fahrer ständig ihr Fahrzeug beherrschen.
• Level 2: Teilautomatisiertes Fahren, wobei Fahrer ständig ihr Fahrzeug beherrschen.
• Level 3: Hochautomatisiertes Fahren, wobei Fahrer sich vorübergehend von Fahraufgabe und Verkehr abwenden dürfen.
• Level 4: Vollautomatisiertes Fahren, wobei Fahrer die Fahrzeugführung über längere Distanzen und in unterschiedlichen Verkehrssituationen abgeben können.
• Level 5: Autonomes Fahren, wobei es nur noch Passagiere ohne Fahraufgabe gibt.
• Das Fahrzeug kann dabei insbesondere durch die Merkmale und Funktionen des erfindungsgemäßen Verfahrens und/oder der erfindungsgemäßen Steuereinrichtung spezifiziert werden.
• Nach einem weiteren unabhängigen Aspekt kann ein Computerprogrammprodukt ausgebildet sein derart, um auf einer erfindungsgemäßen Steuereinrichtung ausgeführt zu werden, um ein erfindungsgemäßes Verfahren durchzuführen. Das Computerprogrammprodukt kann dabei insbesondere derart ausgebildet sein, dass es auf dem Speichermedium der Steuerungseinheit abgelegt werden kann (= gespeichert werden kann). Insbesondere kann das Computerprogrammprodukt derart ausgestaltet sein, dass es auf der CPU der Steuereinheit ausgeführt werden kann, um das erfindungsgemäße Verfahren durchzuführen. Das Computerprogrammprodukt kann eine Vorrichtung, wie eine, beispielsweise elektronische, Steuerung und/oder Steuer- und/oder Recheneinheit/gerät, ein Steuerungssystem, ein Fahrerassistenzsystem, einen Prozessor oder einen Computer, dazu veranlassen, das vorstehend und/oder nachfolgend beschriebene Verfahren auszuführen. Hierzu kann das Computerprogrammprodukt entsprechende Datensätze und/oder Programmcodemittel und/oder das Computerprogramm und/oder ein Speichermedium zum Speichern der Datensätze bzw. des Programms aufweisen. Das Computerprogrammprodukt kann Programmcodemittel umfassen, um bei einem Ausführen des Computerprogrammproduktes auf einem Prozessor das vorstehend und/oder nachfolgend beschriebene Verfahren auszuführen.
• Das Verfahren kann als Computerprogramm zumindest teilweise auf einem Computer, Mikrocomputer, in einer elektronischen Steuer- und/oder Recheneinheit, in einem Steuerungssystem, auf einem Speichermedium oder auf einem maschinen-lesbaren Träger abgespeichert und/oder dort implementiert sein. Das Computerprogramm kann software-technisch auf eine oder mehrere Speichermedien, Steuer- und/oder Recheneinheiten, wie Electronic Control Units (ECUs) oder Computer, etc., insbesondere im eigenen Fahrzeug (Ego-Fahrzeug), verteilt sein. Das Speichermedium kann ein Halbleiterspeicher, Festplattenspeicher oder ein optischer Speicher sein.
• Fortbildungen und vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen.
• Die Erfindung wird durch die Figuren näher beschrieben. Darin zeigen:
• 1 eine Situation mit einer mehrdeutigen Fahrbahnlokalisierung eines Fahrzeugs,
• 2 eine schematische Darstellung eines erfindungsgemäßen Verfahrens,
• 3A eine Initialisierung eines erfindungsgemäßen Verfahrens ,
• 3B eine grafische Repräsentation einer initialen Lokalisierungshypothese,
• 4 eine schematische Darstellung einer Multihypothesenbewegungsvor hersage,
• 5A eine schematische Darstellung eines Bearbeitungsschrittes nach einem erfindungsgemäßen Verfahren, und
• 5B eine grafische Darstellung eines Bearbeitungsschrittes nach einem erfindungsgemäßen Verfahren.
• Für gleiche und gleichwirkende Merkmale werden die gleichen Bezugszeichen verwendet.
• 1 zeigt eine Alltagsverkehrssituation 100 bei der mehrere bewegliche Einheiten, hier als Fahrzeuge 1, 2, dargestellt, auf einer mehrspurigen Straße unterwegs sind, die mehrere Fahrspuren aufweist. Dabei wird die Fahrbahn selbst durch zwei durchgezogene Linien 4 nach außen begrenzt, wohingegen eine einzelne Fahrspur zu einer anderen Fahrspur durch gestrichelte Linien 5 abgegrenzt werden. Diese Fahrspurmarkierungen dienen dabei als Landmarken, die einem erfindungsgemäßen Verfahren zur Verfügung gestellt werden mittels einer HD-Karte, die digitale Kopien dieser Landmarken enthält. Bei den Fahrzeugen 1 auf der mittleren Fahrspur ist eine mehrdeutige Fahrsituation gegeben, da sich auch durch den Einsatz der Landmarken keine eindeutige Fahrspurzuweisung treffen lässt. Die Fahrzeuge 2 haben dagegen eine mit höherer Wahrscheinlichkeit eindeutige Fahrspurzuweisung, da sich deren Landmarkenkombination (gestrichelte Linie rechts, durchgezogene Linie links vs. gestrichelte Linie links und durchgezogene Linie rechts) durch die semantische Klasseninformation besser vereindeutlichen lässt. Die Fahrzeuge können dabei auch in der hier gezeigten Fahrrichtung versetzt sein. Dabei wird hier jeweils die Situation betrachtet, dass alle Fahrzeuge als Ego-Fahrzeug ihre Lokalisation durch ein Verfahren ermitteln möchten. Dazu werden eine Vielzahl von Lokalisationshypothesen 26a, 26b, 26c, 26d mit entsprechenden Orientierungshypothesen schematisch dargestellt.
• Gemäß 2 wird ein Verfahren 30 durch das gezeigte Schema detailliert dargestellt. Dabei wird in einem Mulitfahrspurinitialisierungsschritt A eine Reihe der Lokalisationshypothesen 16a, 16b, 26c, 26d in das Verfahren eingeführt, wobei jede der initialen Lokalisationshypothesen eine Gausssche Mischkomponente darstellt, über die Summiert wird gemäß der Formel 6: $$p_{0|0}\left({\text{x}}_0\right)={\displaystyle {\sum }_{h0=1}^{H0}{\text{w}}_0{}^{h0}N\left({\mathrm{\mu }}_{0|0},{\displaystyle \sum {}_{0|0}{h}^0}\right)}$$

  
• Die Multifahrspurinitialisierung A ist im weiteren Detail in der 3 dargestellt und wird diesbezüglich näher beschrieben. Darauf basierend wird eine erste Vorhersage B getroffen, die zu den Mischungskomponenten der Formel 7 führt $$p_{k|k-1}\left({\text{x}}_k\right)={\displaystyle {\sum }_{h\left(k-1\right)}^{H\left(k-1\right)}{\text{w}}_{\text{k}-1}{}^{h\left(k-1\right)}}N\left({\mathrm{\mu }}_{k|k-1}{}^{h\left(k-1\right)},{\displaystyle \sum {{}_{k|k-1}}^{h\left(k-1\right)}}\right).$$

  
• In einem Schritt S31, der einer Rekursion C zuzuordnen ist, wird dabei der Parameter h'_k = 0 und h_k-1 = 1 als Ausgangspunkt der Rekursion gewählt. Bei der Rekursion handelt es sich im Folgenden um einen Updateprozess, der die jeweiligen Lokalisationshypothesen updatet, um so zu einer Aussage für die Lokalisierung des Fahrzeugs 1 zu gelangen. Bei h handelt es sich um den Parameter, durch den die Fahrspurzuordnung als Lokalisationshypothese gegeben ist. In einem Schritt S32 wird dabei überprüft, ob dieser Parameter h(k-1) kleiner oder gleich dem vorletzten Wert H(k - 1) der Maximalzahl von Fahrspuren ist. Es wird also eine Fallunterscheidung getroffen. Ist diese Bedingung zu bejahen, dann wird eine Kostenmatrix in Schritt S33 erzeugt, die die Komponenten der Formel 8 aufweist, die eine etwaige Fehldetektion der Landmarken einpreist: $${\mathcal{l}}^{i\mathrm{,0}}=\text{log}\left(1-P_{\text{D}}\right)$$

  
• Dabei stellt der Parameter P_D die Detektionswahrscheinlichkeit dar. Dieser Teil der Kostenmatrix ist diagonalisiert, wohingegen die Offdiagonalelemente gegen unendlich gehen.
• Die Messungen selbst werden dann durch die folgende Formel 9 dargestellt und eine Klassifizierung wird dabei durchgeführt, auch nach der semantischen Klassifikation und entsprechend der richtigen Zuweisungswahrscheinlichkeit. $${\mathcal{l}}^{i,j}=\text{log}(N\left({\text{z}}^j;{\text{z}}^{*i},\text{S}\right))+\text{log}\left(P_{\text{D}}V/\underset{\_}{\lambda }c\right)+\text{log}(P\left(\text{DetectedClass}|\text{LandmarkClass}\right))$$

  
• Dabei stellt z^j die j-te Messung, z^∗i = g(x, i, L) die i-te erwartete Messung und S = G Σ G^T die Innovationskovarianz, mit den Messungsjacobimatrizen G = dg(x, i, L) / dx, dar. Dabei ist die Funktion g ein Messungsmodell, V das Volumen des Sensors FoV und Je die Poissonrate für Messfehler (Engl.: „Poisson Clutter Rate“).
• Der erste Summand in Formel 9 stellt dabei eine Geometrie-Likelihood dar, der zweite Summand die Kosten der Poisson Clutter und der dritte Summand stellt die Wahrscheinlichkeit dar, dass die semantische Klasse entsprechend der tatsächlichen Klasse richtig zugeordnet wurde, was einer semantischen Klassifikation nach einer log-probability entspricht. Es werden durch diese Kostenmatrix also die Kosten der Datenassoziation mit denen der Messfehlerwahrscheinlichkeit, der Falschmessungskosten, bei denen eine echte falsche Messung vorliegt, und der Wahrscheinlichkeit einer Falschkategorisierung in die semantische Kategorie eingepreist.
• Die Kostenmatrix wird anschließend einem Murty Algorithmus zugeführt, wobei mittels der Ungarischen Methode ein Linearzuweisungsproblem LAP gelöst wird. Dadurch wird die Bestzuweisungsmatrix ermittelt und die Messung-zu-Landmarkenassoziationen werden ermittelt, gemäß Formel 10 $$\mathbf{A}*={\text{argmin}}_{\text{A}}{\displaystyle \sum {}_i{\displaystyle \sum {}_j{C}_{i,j}{A}_{i,j}}}$$

  
• Dabei stellt C die Kostenmatrix mit den Komponenten i und j dar und A wird die Linearisierungsmatrix, bei der der Wert des Definitionsraums ausgewählt wird, an dem ein Minimum gegeben ist. Damit wird die Hypothese mit den geringsten Kosten bevorzugt ausgewählt, bzw. berechnet. In Schritt S35 wird der Parameter zunächst auf 1 gesetzt, bevor eine weitere Fallunterscheidung in Schritt S36 getroffen wird, ob dieser Parameter m kleiner oder gleich M_h(k-1) ist, der Anzahl der Elemente der Bestassoziierungsmatrix. Wenn dem nicht so ist, die Antwort also NEIN lautet oder FALSE, dann wird der Parameter h(k-1) um 1 in Schritt S40 erhöht und wieder in den Schritt S32 rücküberführt. Ist die Antwort indes JA oder TRUE, dann wird der Faktor h'k um 1 in Schritt S37 erhöht und es wird eine Posteriorkomponente in Schritt S38 berechnet, also eine Lokalisationswahrscheinlichkeit wird geupdatet. Anschließend wird der Parameter m um 1 in Schritt S39 erhöht und wieder in den Schritt S36 rücküberführt. Es wird also ein weiterer Updatezyklus etabliert, der die Posteriorkomponenten berechnet. Dies geschieht mittels eines Kalmanupdates, für jede Messung-zu-Landmarkenassoziation, die auf der h(k-1) Priormischungskomponente beruht, gemäß den Formeln 11 bis 13 $${\mathbf{K}}_k{}^{hk\text{'}}={\displaystyle {\sum }_{k|k-1}{}^{hk-1}}{\left({\mathbf{G}}_k{}^{hk\text{'}}\right)}^{\text{T}}{\left({\mathbf{S}}_k{}^{hk\text{'}}\right)}^{-1}$$

  

  $${\mathrm{\mu }}_{k{|k}^{hk\text{'}}}={\mathrm{\mu }}_{k{|k-1}^{hk-1}}+{\mathbf{K}}_{k^{hk\text{'}}}\left({\mathbf{z}}_{k^{hk\text{'}}}-\mathbf{z}{\text{*}}_{k^{h\text{'}k}}\right)$$

  

  $${\displaystyle \sum {}_{k{|k}^{hk\text{'}}}}={\displaystyle \sum {}_{k{|k-1}^{hk-1}}-{\mathbf{K}}_{k^{hk\text{'}}}{\mathbf{G}}_{k^{hk\text{'}}}}{\displaystyle \sum {}_{k{|k-1}^{h_K-1}}}$$

  

  Zusätzlich werden nichtnormalisierte (logarithmische) Gewichte ℓ_k ^hk berechnet, die zu der Messungs-log-likelihood ℓ^i,j und dem Prior-log-Gewicht l_k-1 ^h(k-1) korrespondieren gemäß Formel 14 $$\mathcal{l}{k^{hk\text{'}}}_{}=\text{log}\left(w{k}_{}{}^{hk\text{'}}\right)={\mathcal{l}}_{k-1}{}^{hk-1}+{\mathcal{l}}^{i,j})$$

  
• Was zur Formel 15 führt $$p_{k|k}\left({\text{x}}_k\right)={\displaystyle \sum {}_{h\text{'}k=1}^{H\text{'}k}}\text{w}{\text{k}}^{h\text{'}k}N\left({\mathrm{\mu }}_{k{|k}^{,h\text{'}k}},{\displaystyle \sum {}_{k{|k}^{,h\text{'}k}}}\right).$$

  
• Dieser Updateschritt wird so lange durchgeführt, bis die Antwort in Schritt S36 FALSE lautet und über Schritt S40 zurück in den Schritt S32 geführt wird. Wird dort die Antwort weiterhin mit WAHR, JA oder TRUE beantwortet, dann läuft der rekursive Updateprozess weiter und die entsprechenden Matrizen werden gefüllt und die Posteriorkomponenten werden berechnet. Wird allerdings in Schritt S32 die Antwort FALSCH, FALSE oder NEIN gegeben, dann wird das Verfahren in den Bearbeitungsschritt S41 überführt. Dort werden die Gewichte normalisiert und Mischungskomponenten zusammengeführt, die sich auf derselben Fahrspur befinden oder anderweitig nah zusammenliegen. Des weiteren werden die Mischungskomponenten gemäß den Gewichten in absteigender Reihenfolge sortiert und es wird auf eine maximale Anzahl von Mischungskomponenten H_max beschränkt. Die Normalisierung erfolgt durch den Quotienten des einzelnen Gewichts und der Summe über die Gewichte bei der über den Parameter h'_k summiert wird. Das Zusammenführen basiert dabei auf den Formeln 16 und 17, die jeweils den Mittelwert und die Kovarianzen betreffen. $${\mathrm{\mu }}_{k{|k}^{hk}}={\displaystyle \sum {}_i{\text{w}}_{{\text{k}}^{\text{i}}}}{\mathrm{\mu }}_{k{|k}^i}$$

  

  $${\displaystyle \sum {}_{k{|k}^{hk}}}={\displaystyle \sum {}_i{\text{w}}_{{\text{k}}^{\text{i}}}}{\displaystyle \sum {}_{k{|k}^{\text{i}}}+{\text{w}}_{k^{\text{i}}}\left({\mathrm{\mu }}_{k{|k}^{hk}}-{\mathrm{\mu }}_{k{|k}^{\text{i}}}\right){\left({\mathrm{\mu }}_{k{|k}^{hk}}-{\mathrm{\mu }}_{k{|k}^{\text{i}}}\right)}^{\text{T}}}$$

  
• In Formel 17 stellt der erste Summand die Mittelung über die Kovarianz zur durchschnittlichen Kovarianz und der zweite Summand die Streuung über die Mittelwerte dar.
• Anschließend wird in Schritt S42 der Parameter k um 1 erhöht, das Ergebnis der Rekursion wird als neuer Prior wieder der Vorhersage B zugeführt. Parallel dazu wird die Hypothese, die am wahrscheinlichsten ist, ausgegeben.
• 3 zeigt dabei eine mit der Karte gematchte Kandidatenposition 7 aus einer Reihe von Positionen 6, an denen ein Fahrzeug 1 vorhanden sein kann. Die Fahrspurmarkierungen 4, 5 sind wie eingehend beschrieben. Eine zeitverzögerungskompensierte GNSS Messung liegt als Messpunkt 8 vor, wobei die Kohärenz der GNSS Messung und damit deren Unsicherheit als Kreis 9 dargestellt ist. Dies verdeutlicht auch, warum sich GNSS nicht alleine dafür eignet, um die Lokalisation in der hier beschriebenen Situation zu benutzen. Es vermag alleine und auch nicht zusammen mit den semantischen Klassifikation der Fahrspurmarkierungen die Mehrdeutigkeiten aufzuheben. Zusätzlich wird noch ein Intrafahrspurversatz mit Abstand zur linken c_0,left, bzw. zur rechten Fahrspurmarkierung c_0,right verdeutlicht. Dabei ist die eine Fahrspur, die mit dem Fahrzeug, nur zur Veranschaulichung „verlängert“ worden. Wie in 3B gezeigt handelt es sich bei der Multifahrspurinitialisation um eine mit der Karte abgeglichene Lokalisierung bzgl. Kandidaten, wobei diese einer Normalverteilungsfunktion 18 entspricht, nach der Formel 18 $${\mathcal{l}}_i=\text{log}\left(w_i\right)=\text{log}\left(N\left({\text{p}}_i;{\text{p}}_{\text{GNSS}},{\displaystyle \sum {}_{\text{GNSS}}}\right)\right)+\text{log}\left(P\left(\text{LBMeasClass}|\text{LBMapClass}\right)\right).$$

  
• Damit ergibt sich eine initiale Verteilungsfunktion 18 nach der Formel 19 $$p_{0|0}\left({\text{x}}_0\right)={\displaystyle {\sum }_{h0=1}^{H0}{\text{w }}_{h0}N\left({\mathrm{\mu }}_{h0},{\displaystyle \sum {}_{h0}}\right){\mathrm{\mu }}_{h0}={\left[\begin{array}{cc}{\text{p}}_{h0}{}^T& {\theta }_{\text{GNSS}}\end{array}\right]}^T}$$

  

  worin H0 die Anzahl der initialen Kandidaten p_i darstellt. Es gibt eine intiale Lokalisierung 13 mit einer geschätzten Maximalwahrscheinlichkeit 17, wohingegen zwei weitere Kandidaten 14, 15 geringere Auftrittswahrscheinlichkeiten haben. Ein vierter Kandidat 16 ist sehr unwahrscheinlich die richtige Lokalisation, da er eine deutlich geringere Wahrscheinlichkeit aufweist.
• In 4 wird dabei eine Multihypothesenbewegungsvorhersage veranschaulicht, wie sie schon in Bezug auf die Formel 5 beschrieben wurde. Dabei hat ein Auto zum Zeitpunkt der initialen Schätzung eine gemessene Geschwindigkeit 11 und eine Gierrate 12, wodurch das Fahrzeug auf die Trajektorie 10 gezwungen wird. Diese Parameter Geschwindigkeit und Gierrate werden dabei in einer Ausführungsform in die beschriebenen Verfahrensschritte und die mathematischen Modellierungen eingeführt und dort verarbeitet. In anderen Worten und intuitiv erfassbar vollzieht das Auto einen Ortswechsel und verändert auch die Orientierung auf der 2D-Ebene. Deutlich wird hier auch, dass die Berechnungen und auch die Assoziationen in einer Vogelperspektive stattfinden, was das Verfahren ressourcenoptimiert.
• 5A veranschaulicht das durch die Formeln 16 und 17 beschriebene Zusammenführen von Mischungskomponenten 26a und 26b mit ihren jeweiligen grafisch angedeuteten Kovarianzen 25a und 25b. Diese überlappen in einem Bereich 27. Damit wird der Schritt S41 dazu führen, dass beide zu einer einzelnen Mischungskomponente 29 mit neuer Kovarianz 28 zusammengeführt werden.
• 5B zeigt dabei eine grafische Repräsentation eines Ergebnisses des Verfahrens, wobei ein Prior 20 eine initiale geschätzte Wahrscheinlichkeitsverteilung der Lokalisierung darstellt, wie vorstehend beschrieben. Darauf aufbauend wird eine Probabilistische Datenassoziation 31 erstellt. Das Verfahren mündet schließlich in einer Posteriormischungskomponente, die als die wahrscheinlichste Lokalisation anzusehen ist. Hier ist also beispielhaft davon auszugehen, dass sich das Fahrzeug auf der dritten Fahrspur von links (zweiten von rechts) befindet. Dort ist die Wahrscheinlichkeit 22 für eine Lokalisation am höchsten, während die zweithöchste Wahrscheinlichkeit 21 und die dritthöchste Wahrscheinlichkeit 23 deutlich zurückfallen. Damit ist die Gefahr einer Fehllokalisation deutlich reduziert, verglichen mit der Ausgangssituation.
• Das Verfahren ist dabei nicht auf die hier dargestellten Ausführungsformen beschränkt, sondern vermag auch vielmehr die verschiedenen Implementationen, die dem Fachmann aus der hiesigen Beschreibung, Figuren und den Ansprüchen hervorgehen abzudecken.
• Mit „kann“ sind insbesondere optionale Merkmale der Erfindung bezeichnet. Dem-zufolge gibt es auch Weiterbildungen und/oder Ausführungsbeispiele der Erfindung, die zusätzlich oder alternativ das jeweilige Merkmal oder die jeweiligen Merkmale aufweisen.
• Aus den vorliegend offenbarten Merkmalskombinationen können bedarfsweise auch isolierte Merkmale herausgegriffen und unter Auflösung eines zwischen den Merkmalen gegebenenfalls bestehenden strukturellen und/oder funktionellen Zusammenhangs in Kombination mit anderen Merkmalen zur Abgrenzung des Anspruchsgegenstands verwendet werden. Die Reihenfolge und/oder Anzahl aller Schritte des Verfahrens kann variiert werden.
• Bezugszeichen

1, 2

Fahrzeug / bewegliche Einheit

4

gestrichelte Linie

5

durchgezogenen Linie

6

Lokalisationskandidaten

7

mit Karte abgeglichener Lokalisationskandidat p_i

8

aus GNSS ermittelter Lokalisationskandidat

9

Kovarianz der Lokalisationshypothese aus GNSS

10

Fahrzeugtrajektorie

11

Fahrzeuggeschwindigkeitsvektor

12

Gierrate

13

initialer Lokalisationskandidat mit höchster Wahrscheinlichkeit

14, 15

initiale Lokalisationskandidaten mit geringer Wahrscheinlichkeit

16

initialer Lokalisationskandidat mit Wahrscheinlichkeit gegen 0

17

Wahrscheinlichkeit der initialen Lokalisationskandidaten mit höchster Wahrscheinlichkeit

18

initiale Lokalisationshypothesenverteilungsfunktion

20

Prior

21

Lokalisationshypothese mit zweithöchster Wahrscheinlichkeit

22

Lokalisationshypothese mit höchster Wahrscheinlichkeit

23

Lokalisationshypothese mit dritthöchster Wahrscheinlichkeit

24

Posterior

25a, 25b

Kovarianzen

26a, 26b 26c, 26d

(initiale) Lokalisationshypothesen

27

Überlapp der Kovanrianzbereiche

28

neuer Kovarianzbereich

29

neue Lokalisationsmischungskomponente

30

Verfahrensschema

31

Probabilistische Datenassoziation

100

Alltagsstraßensituation

A

Initialisierung einer Multifahrspurhypothese

B

Vorhersage

C

Rekursion

D

Ausgabe

S31, S35, S37, S39, S40, S42

Parametersetzungsschritte für die Rekursions schleifen

S32, S36

Entscheidungsstellen

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102019207087 A1 [0008]
• US 20200364883 A1 [0008]

Claims (24)

1. Verfahren ausgebildet zur semantischen und mehrdeutigkeitsbewussten Lokalisation mindestens einer beweglichen Einheit (2) in mindestens einer HD-Karte, wobei die HD-Karte digitale Kopien von Landmarken (4, 5) umfasst, aufweisend die Schritte: - Vorlegen und/oder Vorhalten mindestens einer HD-Karte, umfassend digitale Kopien von Landmarken (4, 5), - Detektieren mehrerer Landmarken (4, 5) zur Assoziation mit den digitalen Kopien von Landmarken (4, 5) in der mindestens einen HD-Karte, - Einbeziehen (A) mehrerer initialer Hypothesen betreffend eine Lokalisation einer beweglichen Einheit (2) als initiale Lokalisationshypothesen (26a, 26b, 26c, 26d), - Vorhersagen (B) mehrerer Lokalisationshypothesen (26a, 26b, 26c, 26d) simultan, basierend auf den initialen Lokalisationshypothesen (26a, 26b, 26c, 26d), deren Assoziation mit den detektierten Landmarken (4, 5) und unter Berücksichtigung einer Modellierung einer semantischen Klassifikation der detektierten Landmarken (4, 5) zur Zuordnung in semantische Klassen, - Gewichtung der mehreren Lokalisationshypothesen (26a, 26b, 26c, 26d), wobei das Verfahren ferner mindestens einen der folgenden Schritte aufweist: - Erkennen (C) mehrdeutiger Situationen in Bezug auf die Lokalisation der mindestens einen beweglichen Einheit (2), wenn mehrere Lokalisationshypothesen (26a, 26b, 26c, 26d) simultan plausibel sind, basierend auf der Gewichtung, der Datenassoziation und der semantischen Klassifikation, und/oder - Vereindeutigen (D) mehrdeutiger Lokalisationshypothesen (26a, 26b, 26c, 26d) (über die Zeit) durch Identifikation der Hypothese mit der höchsten Gewichtung.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mindestens einer der Schritte des Vorhersagens (B) mehrerer Lokalisationshypothesen (26a, 26b, 26c, 26d) simultan und/oder des Erkennens (C) mehrdeutiger Situationen in Bezug auf die Lokalisation der mindestens einen beweglichen Einheit (2) und/oder des Vereindeutigen (D) mehrdeutiger Lokalisationshypothesen (26a, 26b, 26c, 26d) einem rekursiven Update unterliegen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Lokalisation als 2D-Orientierung der beweglichen Einheit (2) vorgesehen ist und/oder wobei die Lokalisationshypothesen (26a, 26b, 26c, 26d) als 2D-Orientierungshypothesen der beweglichen Einheit vorgesehen sind und/oder wobei die Lokalisationsverteilung (18) als Gaussches Mischungsmodell (Gaussian Mixture Model = GMM) repräsentiert ist, wobei jede Mischungskomponente h mit einer der Lokalisationshypothesen (26a, 26b, 26c, 26d) verbunden ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Einbeziehen (A) ein Initiieren ist, umfassend ein Vorlegen initiärer Lokalisationshypothesen (26a, 26b, 26c, 26d), wobei mindestens ein Teil der Informationen die mindestens einem Teil der initiären Lokalisationshypothesen (26a, 26b, 26c, 26d) zugrundegelegt werden Sensorinformationen sind.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Teil der Informationen die mindestens einem Teil der initiären Lokalisationshypothesen (26a, 26b, 26c, 26d) zugrundegelegt werden Sensorinformationen sind, die mindestens eine der folgenden Sensorinformationen umfassen: - Globalnavigationssatellitensignal (Global Navigational Satellite Signal = GNSS), - Bewegungsdaten mindestens einer beweglichen Einheit (2) oder Bewegungsdaten des Ego-Fahrzeugs (1), - Landmarkeninformationen, umfassend eine Lokalisation von Landmarken, wobei die Landmarken semantischen Klassen zuordenbar sind und/oder wobei Repräsentationen der Landmarken auf mindestens einer HD-Karte existieren, - Straßenbahnmarkierungsinformationen als Landmarkeninformation, wobei die Stra-ßenbahnmarkierungsinformationen mittels Straßenbahnmarkierungsmessungen oder mittels einer Kamera oder mittels einer Bordkamera oder mittels einer Bordkamera des Ego-Fahrzeugs (1) aufgenommen werden, und/oder wobei die Straßenbahnmarkierungsinformationen eine laterale Distanz und/oder eine relative Orientierung bezüglich der Straßenbahnmarkierungen (4, 5) umfassen, und/oder wobei die Straßenbahnmarkierungsinformationen eine Klasseninformation enthalten, und/oder wobei die Straßenbahnmarkierungsinformationen eine semantische Klasseninformation aufweisen, und/oder wobei die Straßenbahnmarkierungsinformationen eine semantische Klasseninformation aufweisen, von denen mindestens eine der semantischen Klassen „durchgezogene Linie“ (4) und/oder „unterbrochene Linie“ (5) umfasst sind, und/oder - Intrafahrbahnoffsetinformationen (c_o,left, c_o,right), welche mindestens den Abstand des Ego-Fahrzeugs (1) zu den Straßenbahnmarkierungen (4, 5) der Straßenbahn, auf der das Ego-Fahrzeug (1) gemäß mindestens einer Lokalisationshypothese lokalisiert ist, umfassen, - mit mindestens einer HD-Karte abgeglichene Positionen, welche auf gemessenen Globalnavigationssatellitendaten und Intrafahrbahnoffsetinformationen (c_o,left, c_o,right) basiert.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das simultane Vorhersagen (B) mehrerer Lokalisationshypothesen (26a, 26b, 26c, 26d) eine Vorhersage mehrerer zukünftiger Lokalisationshypothesen umfasst.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorhersage zukünftiger Lokalisationshypothesen eine Multihypothesenbewegungsvorhersage umfasst, wobei jede Lokalisierungshypothese (26a, 26b, 26c, 26d) unabhängig vorhergesagt wird.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die unabhängige Multihypothesenbewegungsvorhersage auf einem Konstantwinkelgeschwindigkeitsmodell (Constant-Turn-Rate-Velocity Modell = CTVR-Modell) beruht, welches gemessene Geschwindigkeiten v und Rotationsraten und/oder Winkelgeschwindigkeiten w einbezieht.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lokalisationshypothesen (26a, 26b, 26c, 26d) bei der Vorhersage durch Gewichte gewichtet sind und/oder wobei die Gewichte während der Vorhersage konstant bleiben.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennen (C) mehrdeutiger Situationen mindestens einen Updateschritt umfasst, wobei eine Kostenmatrix dem Update zugrunde gelegt wird, die ausgebildet ist zur Assoziation von Daten mit Fehlvorhersagen und/oder mit Fehlmessungen und/oder mit Messfehlern und zur Assoziation von Daten mit Klassifikationswahrscheinlichkeiten.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vereindeutigen (D) mehrdeutiger Lokalisationshypothesen (26a, 26b, 26c, 26d) (über die Zeit) mindestens einen Updateschritt umfasst und wobei die Berechnung einer Bestzuweisungsmatrix einen Murty-Algorithmus umfasst.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vereindeutigen (D) mehrdeutiger Lokalisationshypothesen (26a, 26b, 26c, 26d) (über die Zeit) ein Linearzuweisungsproblem (Linear Assignment Problem = LAP) löst, ausgebildet zur Bestimmung von Zusammenhängen zwischen Messungen und Landmarken, sogenannten Messung-zu-Landmarkenassoziationen.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Linearzuweisungsproblem durch eine Ungarische Methode (Engl.: „Hungarian-Algorithm“) gelöst wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Posteriormischungskomponente berechnet wird und/oder wobei eine Posteriormischungskomponente als eine Priormischungskomponente für einen folgenden Updateschritt vorgelegt und/oder vorgehalten wird.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Kalman-Update für jede Messung-zu- Landmarkenassoziation durchgeführt wird, die auf der vorhergehenden Priormischungskomponente beruht.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass nichtnormalisierte Gewichte oder nichtnormalisierte logarithmische Gewichte berechnet werden, basierend auf entsprechenden Messungslogarithmuswahrscheinlichkeiten und Priorlogarithmusgewichten.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichte normalisiert werden und/oder das Mischungskomponenten verbunden werden, basierend auf einem Abstand und/oder wobei Mischungskomponenten nach deren Gewichtung in absteigender Reihenfolge sortiert werden und/oder wobei die Anzahl der Hypothesen auf eine maximale Anzahl von Mischungskomponenten begrenzt werden.
18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die geometrische Orientierung der Lokalisierungshypothesen als Mischungskomponenten ausgegeben werden und wobei die Wahrscheinlichkeit des Vorliegens der Lokalisierungshypothesen durch deren Gewichte ausgegeben werden, wobei die Mischungskomponenten und die Gewichte simultan geschätzt werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein rekursiver Bayesian Schätzungsrahmen (Bayesian Estimation Framework (BEFW) angewandt wird, wobei inhärent Priorinformation ausgewertet wird.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Hypothese pro Straßenbahn berechnet und/oder ausgegeben wird und/oder wobei das Verfahren deterministisch ausgebildet ist und/oder wobei innerhalb des Updateschrittes jede Hypothese mathemisch fundiert updatebar und/oder korrigierbar ist und/oder wobei eine Kaymanfiltergleichung dem mathematisch fundierten Update zugrunde gelegt wird.
21. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Update der hypothetischen Gewichte auf einem nicht-Gaussschen Wahrscheinlichkeitsmodell basiert und/der wobei das Update der hypothetischen Gewichte auf einem Partikelfiltermodell basiert.
22. Steuereinrichtung oder Fahrzeugsteuereinrichtung, ausgebildet und/oder eingerichtet derart, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
23. Fahrzeug oder semi-autonomes Fahrzeug oder autonomes Fahrzeug, umfassend eine Steuereinrichtung nach Anspruch 22.
24. Computerprogrammprodukt ausgebildet derart, um auf einer Steuereinrichtung nach Anspruch 22 ausgeführt zu werden, um ein Verfahren nach einem der Ansprüche 1 bis 21 durchzuführen.

Images