DE102020210059A1

DE102020210059A1 - Verfahren, Computer-implementiertes Werkzeug, Fahrzeug-Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen

Info

Publication number: DE102020210059A1
Application number: DE102020210059.4A
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Siemens Mobility GmbH
Current assignee: Siemens Mobility GmbH
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2022-02-10
Also published as: EP4154166A1; WO2022028848A1; US20230264688A1

Abstract

Um Hindernisobjekte in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen zu verorten, ohne dabei die Hindernisobjekte in bekannter Weise weder genau lokalisieren noch eine hierfür benötigte Koordinatentransformation bemühen zu müssen, wird es vorgeschlagen, dass ein Hindernisobjekt (HO) in einem landmarkengekennzeichneten Fahrstreckenbereich (FSB) eines Fahrzeugs (FZ) dann durch (i) Assoziieren (DAZ) von Sensormessdaten (SMD1, SMD2), erfasst von mindestens einem Sensor (SS) einer Fahrzeug-Sensorik (FZS) und zu Sensormessobjekten (SMOLM, SMOHO) gehörend, durch die eine Landmarke (LM) und das Hindernisobjekt (HO) repräsentierbar sind, mit gespeicherten Landmarken-Referenzdaten (LM-RD) und (ii) Ermitteln einer sensorerfassungsspezifischen Verortungsdistanz (VOD) zwischen einem Sensormessobjekt (SMOHO) mit unassoziierten Sensormessdaten (SMD2) und einer Landmarke (LM) mit assoziierten Sensormessdaten (SMD1,az) auf Basis der assoziierten und unassoziierten Sensormessdaten (SMD1,az, SMD2), indem in diesen Sensormessdaten enthaltene sensorerfassungsspezifische Informationen (IFses) in Bezug auf die zu ermittelnde Verortungsdistanz (VOD) zueinander in Beziehung gesetzt werden, auf einer Fahrstrecke (FS) des Fahrstreckenbereichs (FSB), wo es ein Hindernis für das Fahrzeug (FZ) darstellt, verortet oder dessen Lage bestimmt ist (VO, VOIF), wenn zumindest auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanz (VOD) das Sensormessobjekt (SMOHO) mit den unassoziierten Sensormessdaten (SMD2) auf der Fahrstrecke (FS) zuordbar ist.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegriff des Patentanspruches 1, ein Computer-implementiertes Werkzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegriff des Patentanspruches 9, eine Fahrzeug-Steuerungseinheit zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegriff des Patentanspruches 16 und ein Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegriff des Patentanspruches 17.
Beim Führen von Fahrzeugen als mobiles Verkehrsmittel zum Transport von Personen, Gütern, Werkzeugen oder Maschinen - unabhängig davon, ob das Führen assistiert, teilautomatisiert, hochautomatisiert, vollautomatisiert oder autonom passiert (man spricht dann insgesamt von „autonomen Fahren“), ist es eine grundlegende Funktion solcher autonomer Fahrzeuge, Kollisionen mit Hindernisobjekten zu vermeiden.
Derartige Fahrzeuge fahren zu Land (als Landfahrzeuge), zu Wasser (als Wasserfahrzeuge) und/oder in der Luft (als Luftfahrzeuge). Für die vorliegende Erfindung werden aber nur solche Fahrzeuge der vorstehend definierten Art betrachtet, die sich relativ zu landmarkengekennzeichneten Fahrstrecken bewegen oder bewegt werden.
Eine Landmarke ist ein meist weithin sichtbares topographisches Objekt zur räumlichen Orientierung und terrestrischen Navigation, die auf Karten gegebenenfalls durch besondere Kartenzeichen markiert wird. Sie ist also aufgrund der Hinterlegung in der Karte ein bestimmtes Merkmal oder topologisches Objekt in der Welt, welches von einem Fahrzeug erkannt werden kann, sodass eine Assoziation zwischen sensorieller Erkennung und Karte hergestellt werden kann. Die Landmarke kann ein normal vorkommendes Objekt sein, wie z.B. ein Laternenpfahl, es kann ein speziell platziertes Objekt sein, wie z.B. Reflektormarken und/oder „QR <Quick Response>“-Codes, oder aber es kann auch ein sich aus der Erkennung ergebendes wiedererkennbares Muster sein, wie z.B. „Scale Invariant Feature Transform <SIFT>“-features, vgl.
https://en.wikipedia.org/wiki/Scaleinvariant feature transform.
Für die Kollisionsvermeidung ist eine sensorische Erfassung eines Hindernisobjekts notwendig und es müssen dabei das erfasste Hindernisobjekt einem kritischen Bereich zugeordnet werden. Der kritische Bereich umfasst üblicherweise eine Fahrspur oder eine Fahrstrecke des Fahrzeugs selbst und eventuell ein die Fahrspur oder die Fahrstrecke umgebender Bereich. Der kritische Bereich ergibt sich aus einer Kombination aus Kartenmaterial, Ego-Lokalisierung oder Selbstlokalisierung und geplanter Fahrstrecke oder Route. Um diesem allen Rechnung zu tragen wird im Zuge der vorliegenden Erfindung auch von einem Fahrspur- oder Fahrstreckenbereich in Bezug auf die Kollisionsvermeidung und der sensorischen Erfassung der Hindernisobjekte gesprochen.
Die Zuordnung oder Lokalisierung des Hindernisobjekts zu einem kritischen Bereich wird allerdings durch verschiedene Einflussfaktoren gestört. Diese sind beispielsweise:

- Fehlerhafte extrinsische Sensorkalibrierung,
- fehlerhafte Ego-Lokalisierung (Selbstlokalisierung),
- fehlerhaftes Kartenmaterial,
- Pendeln im Gleis bei Schienenfahrzeugen,
- geringe horizontale und vertikale Winkelauflösung der Sensoren, was insbesondere bei großen Reichweiten relevant ist.

Dieses Problem wird bei großen Entfernungen immer gravierender, da bereits kleine Fehler, insbesondere Winkelfehler, in den oben genannten Punkten zu großen Abweichungen in den geschätzten Positionen des Hindernisobjekts führen können. Dies ist insbesondere relevant bei Fahrzeugen, die sich mit hoher Geschwindigkeit bewegen.
Bisher wurde das Problem hauptsächlich durch eine Minimierung der vorstehend genannten Einflussfaktoren bei der Zuordnung oder Lokalisierung des Hindernisobjekts zum kritischen Bereich adressiert.
Darüber hinaus ist eine probabilistische Fusion von Daten mehrerer Sensoren ein Weg zur Reduzierung von Positionsungenauigkeiten. Dadurch lassen sich Nachteile mancher Sensoren durch Vorteile anderer Sensoren ausgleichen.
Die Zuordnung oder Lokalisierung eines Hindernisobjekts zu einem kritischen Bereich erfolgt üblicherweise und bekanntermaßen in drei Schritten:

1. Das Fahrzeug lokalisiert sich selbst. Dabei können verschiedene Informationen eingesetzt werden, z.B. GPS-Informationen „Global Positioning System <GPS>“, Sensorinformationen (z.B. Radar <Radio Detection and Ranging>, Lidar <Light Detection and Ranging>, Kamera) und/oder auch Landmarkeninformationen aus dem Kartenmaterial.
2. Umrechnung von sensoriell erkannten Hindernisobjekten in globale Koordinaten unter der Verwendung der Koordinatentransformation von Fahrzeug zu globalen Koordinaten, die sich aus der Lokalisierung ergeben.
3. Zuordnung von den erkannten Hindernisobjekten zum kritischen Bereich.

Bei dieser gemäß dem Stand der Technik, z.B. NVIDIA-Drive (vgl. https://developer.nvidia.com/drive/drive-perception) bekannten Hindernisobjektlokalisierung, wo ein Neuronales Netz, z.B. DriveNet; Deconvolutional Neural Network (DNN), für die Hindernisobjekterkennung zum Einsatz kommt und ein davon unabhängiges Neuronales Netz für die Fahrspur- und Landmarkenerkennung, z.B. MapNet; Deconvolutional Neural Network (DNN), werden die Landmarken im Schritt 2 zur Lokalisierung verwendet
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, ein Computer-implementiertes Werkzeug, eine Fahrzeug-Steuerungseinheit und ein Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen anzugeben, ohne dabei die Hindernisobjekte in bekannter Weise weder genau lokalisieren noch eine hierfür benötigte Koordinatentransformation bemühen zu müssen.
Die vorstehend bezeichnete Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruches 1 definierten Verfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst.
Darüber hinaus wird diese Aufgabe ausgehend von dem im Oberbegriff des Patentanspruches 6 definierten Computer-implementierten Werkzeug durch die im Kennzeichen des Patentanspruches 9 angegebenen Merkmale gelöst.
Weiterhin wird diese Aufgabe ausgehend von der im Oberbegriff des Patentanspruches 16 definierten Fahrzeug-Steuerungseinheit durch die im Kennzeichen des Patentanspruches 16 angegebenen Merkmale gelöst.
Außerdem wird diese Aufgabe betreffen eines Fahrzeugs durch die im Patentanspruch 17 angegebenen Merkmale gelöst.
Die der Erfindung zugrundeliegende Idee gemäß der in den Ansprüchen 1, 9, 16 und 17 jeweils angegebenen technischen Lehre besteht darin, dass zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen ein Hindernisobjekt in einem landmarkengekennzeichneten Fahrstreckenbereich eines Fahrzeugs dann durch (i) Assoziieren von Sensormessdaten, erfasst von Sensoren einer Fahrzeug-Sensorik und zu Sensormessobjekten gehörend, durch die eine Landmarke und das Hindernisobjekt repräsentierbar sind, mit gespeicherten, insbesondere in Form als Kartenmaterial hinterlegten, Landmarken-Referenzdaten und (ii) Ermitteln einer sensorerfassungsspezifischen Verortungsdistanz zwischen einem Sensormessobjekt mit unassoziierten Sensormessdaten und einer Landmarke mit assoziierten Sensormessdaten auf Basis der assoziierten und unassoziierten Sensormessdaten, indem in den diesen Sensormessdaten enthaltene sensorerfassungsspezifische Informationen in Bezug auf die zu ermittelnden Verortungsdistanzen zueinander in Beziehung gesetzt werden, auf einer Fahrstrecke des Fahrstreckenbereichs, wo es ein Hindernis für das Fahrzeug darstellt, verortet oder dessen Lage bestimmt ist, wenn entweder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanz oder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanz sowie unter Hinzuziehung der Landmarken-Referenzdaten und/oder von gespeicherten, insbesondere in Form als Kartenmaterial hinterlegten, Referenzobjektdaten, die mindestens ein zu der mindestens einen Landmarke zusätzliches Referenzobjekt des Fahrzeug-Fahrstreckenbereichs mit einem definierten, konstantem Abstand zum Fahrzeug-Fahrstreckenbereich repräsentieren, das Sensormessobjekt mit den unassoziierten Sensormessdaten der Fahrstrecke zuordbar ist. Anderenfalls, wenn das mindestens eine unzuordbare Sensormessobjekt nicht der Fahrstrecke zuordbar ist, wird das mindestens eine Hindernisobjekt jenseits, also außerhalb, der Fahrstrecke in dem Fahrstreckenbereich verortet, wo es kein Hindernis für ein Fahrzeug darstellt.
Wichtig zu betonen ist dabei, dass bei der erfindungsgemäßen Lehre nicht die Lokalisierung des Fahrzeugs in Bezug auf den Fahrstreckenbereich mit Hilfe von Landmarken bestimmt werden soll, sondern die Lage eines potenziell gefährlichen Hindernisobjektes mit Hilfe der Sensoren der Fahrzeug-Sensorik unter zu Hilfenahme von Landmarkeninformationen bestimmt wird, indem Relationen zwischen bekannten Landmarken und detektierten Hindernisobjekten in Bezug auf die Fahrstrecke des Fahrzeugs in dem Fahrstreckenbereich als kritischen Bereich hergestellt.
Der wichtige Unterschied der vorliegenden Erfindung zum in der Beschreibungseinleitung angegebenen Stand der Technik ist die gleichzeitige Betrachtung von Landmarken und Hindernissen in den Schritten 2 und 3, d.h. die Landmarken werden nicht nur zur Lokalisierung verwendet, sondern auch danach zur Zuordnung zum kritischen Bereich. Diese Schritt-Zuordnung ist im angegebenen Stand der Technik nicht zu erkennen, dort liegt eine strikte Trennung vor.
Ein weiterer wichtiger Unterschied zum Stand der Technik ist, dass mit der erfindungsgemäßen Lehre nicht primär das Ziel verfolgt wird, das dem Fahrstreckenbereich unzuordbare Hindernisobjekt sehr genau und absolut zum Fahrzeug zu lokalisieren, sondern darum, die Gefahr zu bewerten, ob dieses Hindernisobjekt aufgrund seiner Lage in einem kritischen Bereich, wie der Fahrstrecke, ein potenzielles Hindernis für das Fahrzeug darstellt oder nicht.
Bei der erfindungsgemäßen Lehre wird durch den verbesserten und engeren Zusammenhang zwischen Karte, Fahrzeug, Hindernisobjekten und kritischen Bereichen wird eine erhöhte Robustheit bezüglich der Hindernisobjektlokalisierung und Zuordnung zu kritischen Bereichen erreicht. Dadurch wird auch die Anzahl an falschpositiven Erkennungen reduziert, was wiederum die Gesamtsystemzuverlässigkeit steigert.
Aufgrund des Ausnutzens von bekannten Landmarken und potenziell auch Landmarkenformationen können Hindernisobjekte Bereichen zugeordnet werden, ohne dass man sie einzeln genau lokalisieren muss. Die Landmarken dienen als Anker, die die Unsicherheit im Objektdetektions- und Lokalisierungsproblem stark reduzieren können.
Die erfindungsgemäße Lehre ist dabei vielfältig einsetzbar, so z.B. in Anwendungsfällen rund um autonome Fahrzeuge. Aber auch bei intelligenter Verkehrstechnik und „Automated Guided Vehicles <AGV's>“ besteht Anwendungspotential.
Weitere Vorteile der Erfindung ergeben sich aus den Unteransprüchen sowie der nachfolgenden Beschreibung eines Ausführungsbeispiels der Erfindung anhand der 1 bis 4 erläutert. Diese zeigen:

1 ein Fahrzeug-Szenario zum Verorten von Hindernisobjekten in einem landmarkengekennzeichneten Fahrstreckenbereich,
2 ein modifiziertes Fahrzeug-Szenario zur Hindernisobjektverortung in einem durch Landmarken gekennzeichneten Fahrstreckenbereich mit einem sich vertikal zu einer Fahrstrecke des Fahrstreckenbereichs erstreckenden Hindernisobjekt,
3 ein modifiziertes Fahrzeug-Szenario zur Hindernisobjektverortung in einem durch Landmarken gekennzeichneten Fahrstreckenbereich mit einer Fahrstrecke, bei dem die Landmarken in einer Gruppierung oder Formation angeordnet sind,
4 ein weiteres Fahrzeug-Szenario zur Hindernisobjektverortung auf der Basis des Szenarios nach der 3 mit einer Erfassung von Landmarken im Fahrstreckenbereich zu verschiedenen Verortungszeitpunkten.

1 zeigt ein Fahrzeug-Szenario zum Verorten von Hindernisobjekten HO in einem landmarkengekennzeichneten Fahrstreckenbereich FSB. Der Fahrstreckenbereich FSB umfasst im dargestellten Fall eine Fahrstrecke FS für ein Fahrzeug FZ, das als Landfahrzeug und diesbezüglich z.B. ausgebildet als Personenkraftwagen <Pkw> auf einer Fahrzeugspur FZSP einer Straße STR in Richtung eines am Fahrzeug FZ eingezeichneten Pfeils unterwegs ist.
Zu dem Fahrstreckenbereich FSB zählen darüber hinaus (a) mindestens eine entlang der Fahrstrecke FS angeordnete Landmarke LM mit der vorstehend in der Beschreibungseinleitung gegebenen Definition, die zudem dazu geeignet sind modellierte, situative Zusammenhänge in dem Fahrstreckenbereich auszunutzen, (b) mindestens ein zu der mindestens einen Landmarke LM zusätzliches, Referenzobjekt RO mit einem definierten, konstantem Abstand zu der Fahrstrecke FS des Fahrzeug-Fahrstreckenbereichs FSB, das z.B. eine Lärmschutzwand LSW (2-dimensionales Merkmal des Fahrstreckenbereichs) an der Straße STR sein kann, und (c) mindestens ein entlang der Fahrstrecke FS und/oder auf der Fahrstrecke FS angeordnetes Hindernisobjekt HO, das eine Gefahr für das Fahrzeug FZ darstellt, sollte es sich auf der Fahrstrecke FS befinden.
Weitere Referenzobjekte können dabei bereits bestehende Merkmale in der Umgebung des Fahrstreckenbereichs FSB sein oder auch gezielt platzierte Merkmale. Beispielhaft können genannt werden:

- Laternen (1-dimensionale Merkmale)
- Zäune (2-dimensionale Merkmale)
- Gebäude, Brücken (3-dimensionale Merkmale)
- Spezielle, unter Umständen sensorspezifische Marker, wie z.B. Reflektoren für Lidar und Radar, bestimmte Muster für Kameras.
- Aus der Algorithmik automatisch anfallende Merkmale, z.B. SIFT-features.

Zum Verorten der Hindernisobjekte HO in dem Fahrstreckenbereich FSB mit der mindestens einen Landmarke LM und dem mindestens einen Referenzobjekt RO enthält das Fahrzeug FZ eine Fahrzeug-Sensorik FZS mit mindestens einem Sensor SS und eine Fahrzeug-Steuerungseinheit FZSE, die zur Sensorsteuerung und Sensordatenübertragung miteinander verbunden sind.
Gemäß der Darstellung in der 1 enthält die Fahrzeug-Sensorik FZS im Hinblick auf die nachfolgend noch näher erläuterten, erfindungsgemäßen Hindernisobjektverortung zur Erhöhung der Robustheit und zur Verringerung der Unsicherheit bei der Hindernisobjektverortung zwei Sensoren SS unterschiedlicher Modalität. So sind in der Fahrzeug-Sensorik FZS ein Sensor SS, der auf einem Kartesischen Koordinatensystem SS_KKS, einem Sphärischen Koordinatensystem SS_SKS oder einem Zylindrischen Koordinatensystem SS_ZKS basiert, und ein weiterer Sensor SS, der auf einem Bildgebungsprinzip SS_BGP basiert, enthalten.
Als Sensor SS, der auf dem Kartesischen Koordinatensystem SS_KKS, dem Sphärischen Koordinatensystem SS_SKS oder dem Zylindrischen Koordinatensystem SS_ZKS basiert, wird vorzugsweise ein auf einem „Radio Detection and Ranging <Radar>“-Prinzip beruhender Radarsensor oder ein auf einem „Light Detection and Ranging <Lidar>“-Prinzip beruhender Lidarsensor benutzt, während als Sensor SS, der auf einem Bildgebungsprinzip SS_BGP basiert, vorzugsweise ein Kamerasensor benutzt wird.
Die Erhöhung der Robustheit und die Verringerung der Unsicherheit bei der Hindernisobjektverortung kann alternativ auch dadurch erreicht werden, dass zwei Sensoren SS gleicher Modalität aber unterschiedliche Blickwinkel haben.
Die Fahrzeug-Steuerungseinheit FZSE in dem Fahrzeug FZ enthält - gemäß einer in der 1 dargestellten Option „A“ - für die Hindernisobjektverortung eine Speichereinrichtung SPE zur Speicherung von (i) Landmarken-Referenzdaten LM-RD, die die mindestens eine Landmarke LM repräsentieren und die in der Speichereinrichtung SPE beispielsweise als Kartenmaterial KM hinterlegt sind, und (ii) Referenzobjektdaten ROD, die das mindestens eine Referenzobjekt RO repräsentieren und die in der Speichereinrichtung SPE auch wieder beispielsweise als Kartenmaterial KM hinterlegt sind, und eine Steuereinrichtung STE, die mit der Speichereinrichtung SPE verbunden ist.
In diese Steuereinrichtung STE ist jetzt für die Durchführung der Hindernisobjektverortung in der Fahrzeug-Steuerungseinheit FZSE ein Computer-implementiertes Werkzeug CIW hochladbar, das vorzugsweise als Computer-Programm-Produkt ausgebildet ist und als Applikationssoftware <APP> bezeichnet wird. Das Computer-implementierte Werkzeug CIW weist für die Hindernisobjektverortung mit dem Hochladen in die Steuereinrichtung STE einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines Programm-Moduls PGM zum Verorten von Hindernisobjekten gespeichert sind, und einen mit dem Speicher SP verbundenen Prozessor PZ, der die Steuerprogrammbefehle des Programm-Moduls PGM zur Hindernisobjektverortung ausführt, auf.
Alternativ zu der Ausprägung der Fahrzeug-Steuerungseinheit FZSE in dem Fahrzeug FZ - gemäß der in der 1 dargestellten Option „A“ ist es - gemäß einer in der 1 dargestellten Option „B“ - auch möglich, dass für die Hindernisobjektverortung in der Fahrzeug-Steuerungseinheit FZSE die Speichereinrichtung SPE, in der die Landmarken-Referenzdaten LM-RD und die Referenzobjektdaten ROD gespeichert sind, nicht in der Fahrzeug-Steuerungseinheit FZSE enthalten ist, sondern sich außerhalb der Fahrzeug-Steuerungseinheit FZSE befindet und z.B. als Cloud-Speicher realisiert ist (gestrichelte Darstellung der Speichereinrichtung SPE in der 1). In der Fahrzeug-Steuerungseinheit FZSE gemäß der Option „B“ ist somit lediglich die Steuereinrichtung STE enthalten, die in diesem Zustand der externen Speichereinrichtung SPE jedoch für Datenzugriffe zugeordnet ist. Diese Zuordnung ist in der 1 durch den gestrichelten Doppelpfeil von der der Speichereinrichtung SPE zu der Steuereinrichtung STE mit dem auch jetzt hochgeladenen Computer-implementierten Werkzeug CIW für die Durchführung der Hindernisobjektverortung in der Fahrzeug-Steuerungseinheit FZSE dargestellt.
Bevor jetzt im Weiteren die Durchführung der Hindernisobjektverortung in dem Fahrzeug FZ mit der Fahrzeug-Sensorik FZS und der Fahrzeug-Steuerungseinheit FZSE und im Speziellen sowohl in der Fahrzeug-Steuerungseinheit FZSE als auch mit dem hochgeladenen Computer-implementierten Werkzeug CIW im Detail erläutert wird, soll an dieser Stelle mit Verweis auf die vorstehenden Ausführungen in der Beschreibungseinleitung angemerkt werden, dass das Fahrzeug FZ jedwedes Fahrzeug zu Land, Wasser und Luft sein kann, sofern der Fahrzeugbereich FZB gekennzeichnet ist durch eine Fahrstrecke für das betreffende Fahrzeug, durch Landmarken und gegebenenfalls durch zusätzliche Referenzobjekte sowie durch Hindernisobjekte, die eine Gefahr für das Fahrzeug, das sich auf der Fahrstrecke bewegt, sein können.
Als weiteres Beispiel für ein solches Fahrzeug sei ein Schienenfahrzeug, z.B. Zug mit Triebwagen, genannt. Bei diesem Beispiel ist der Fahrzeugbereich ein Schienenfahrzeugbereich, der durch eine Gleisstrecke für das Schienenfahrzeug, ebenfalls durch Landmarken der eingangs definierten Art, durch Referenzobjekte, wie z.B. Oberleitungsmasten, sowie wieder durch Hindernisobjekte gekennzeichnet ist.
Weitere Referenzobjekte können auch hier wieder bereits bestehende Merkmale in der Umgebung des Schienenstreckenbereichs sein oder auch gezielt platzierte Merkmale. Beispielhaft können genannt werden:

- Signalgebende Anlagen (1-dimensionale Merkmale)
- Zäune, Lärmschutzwände (2-dimensionale Merkmale)
- Gebäude, Brücken, Prellböcke (3-dimensionale Merkmale)
- Spezielle, unter Umständen sensorspezifische Marker, wie z.B. Reflektoren für Lidar und Radar, bestimmte Muster für Kameras.
- Aus der Algorithmik automatisch anfallende Merkmale, z.B. SIFT-features.

Die Durchführung der Hindernisobjektverortung in dem Fahrzeug FZ mit der Fahrzeug-Sensorik FZS und der Fahrzeug-Steuerungseinheit FZSE beginnt damit, dass in dem Fahrzeug FZ der mindestens eine Sensor SS der Fahrzeug-Sensorik FZS von dem Fahrstreckenbereich FSB mit der mindestens einen Landmarke LM und dem mindestens einem Hindernisobjekt HO Primär-Sensormessdaten SMD₁ und Sekundär-Sensormessdaten SMD₂ erfasst. Die Primär-Sensormessdaten SMD₁ gehören dabei zu mindestens einem Sensormessobjekt SMO_LM, durch das jeweils eine der mindestens einen Landmarke LM repräsentiert sein könnte, während die Sekundär-Sensormessdaten SMD₂ dabei zu mindestens einem Sensormessobjekt SMO_HO gehören, durch das jeweils eines des mindestens einen Hindernisobjekt HO repräsentiert sein könnte.
Diese Erfassung ist sensorbedingt und unabhängig davon, ob sich das Fahrzeug FZ bewegt oder steht, entfernungsabhängig. Das heißt für das in der 1 dargestellte Szenario, dass die Erfassung der Primär-Sensormessdaten SMD₁ und Sekundär-Sensormessdaten SMD₂ dynamisch ist und dabei in mehreren Zeitschritten und zu verschiedenen Verortungszeitpunkten jeweils zumindest teilweise voneinander abweichende Primär-Sensormessdaten SMD₁ und Sekundär-Sensormessdaten SMD₂ erfasst werden. Dieser Sachverhalt wird in der 1 dadurch andeutungsweise zum Ausdruck gebracht, dass die Erfassung der jeweiligen Sensormessdaten einerseits mit durchgezogenen Verbindungslinien zwischen den Sensormessobjekten und der Fahrzeug-Sensorik und andererseits mit gestrichelten Verbindungslinien zwischen den Sensormessobjekten und der Fahrzeug-Sensorik dargestellt wird.
Anschließend, nach dem Beginn der Durchführung der Hindernisobjektverortung, greift der die Steuerprogrammbefehle des Programm-Moduls PGM zur Hindernisobjektverortung ausführende Prozessor PZ des Computer-implementierten Werkzeugs CIW, wenn dieses in die Steuereinrichtung STE hochgeladen worden ist, also in die Steuereinrichtung STE implementiert ist, auf die von dem mindestens einen Sensor SS der Fahrzeug-Sensorik FZS erfassten Primär-Sensormessdaten SMD₁ und Sekundär-Sensormessdaten SMD₂ zu, indem diese Daten z.B. eingelesen oder von der Fahrzeug-Sensorik FZS hochgeladen werden.
Das Gleiche passiert mit den in der Speichereinrichtung SPE gespeicherten, z.B. als das Kartenmaterial KM hinterlegten, Landmarken-Referenzdaten LM-RD, auf die der Prozessor PZ zugreift, indem diese Daten z.B. gemäß der Option „A“ aus der Speichereinrichtung SPE eingelesen oder gemäß der Option „B“ von der Speichereinrichtung SPE hochgeladen werden.
In Bezug das Kartenmaterial KM ist es außerdem möglich, dass man das Kartenmaterial KM, das die Landmarken-Referenzdaten LM-RD enthält, vorab und auch im laufenden Betrieb evaluieren und verifizieren kann, d.h. man kann Landmarken, Bereiche und Landmarkenmuster, die häufig zu Fehlassoziationen führen, als unsichere Information deklarieren oder künstliche Maßnahmen in der Umgebung des Fahrstreckenbereichs FSB vornehmen, wie z.B. die Montage von zusätzlichen Markern. Dies erfolgt durch einen menschlichen Beobachter oder alternativ durch eine automatisierte Bewertung der Beobachtungshäufigkeit in Verbindung mit einer parametrierbaren Schwelle.
Aber auch dann, wenn sich weder das Computer-implementierten Werkzeug CIW in der Steuereinrichtung STE befindet (z.B. durch Hochladen) noch die Steuereinrichtung STE der Fahrzeug-Steuerungseinheit FZSE, in die das Computer-implementierte Werkzeug CIW hochgeladen worden ist, in dem Fahrzeug FZ implementiert ist, lässt sich die Hindernisobjektverortung durchführen. In diesen Fällen werden die vorstehend genannten Daten SMD₁, SMD₂, LM-RD in den Prozessor PZ eingegeben.
Befinden sich die vorstehend genannten Daten SMD₁, SMD₂, LM-RD nun, unabhängig davon, wo sich das Computer-implementierte Werkzeug CIW und im weiteren sich die Fahrzeug-Steuerungseinheit FZSE befinden, in dem Prozessor PZ, so sind der Prozessor PZ und das Programm-Modul PGM zur Hindernisobjektverortung derart ausgebildet sind, dass folgende Schritte zur Durchführung der Hindernisobjektverortung ausgeführt werden:

1. Die Primär-Sensormessdaten SMD₁ und Sekundär-Sensormessdaten SMD₂ werden mit den die mindestens eine Landmarke LM repräsentierenden Landmarken-Referenzdaten LM-RD zur Landmarkenzuordnung assoziiert DAZ. Das Ergebnis dieser Assoziierung ist folgendes:
1. a. Die Datenassoziation DAZ zwischen den Primär-Sensormessdaten SMD₁ und den Landmarken-Referenzdaten LM-RD tritt ein und infolge davon ist durch assoziierte Primär-Sensormessdaten SMD_1,az eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt SMO_LM möglich, womit die jeweilige Landmarke LM durch die assoziierten Primär-Sensormessdaten SMD_1,az repräsentiert ist.
2. b. Die Datenassoziation DAZ zwischen den Sekundär-Sensormessdaten SMD₂ und den Landmarken-Referenzdaten LM-RD bleibt aus und infolge davon ist eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt SMO_HO unmöglich.

Der Prozessor PZ und das Programm-Modul PGM sind dabei zur Hindernisobjektverortung vorzugsweise derart ausgebildet, dass die Datenassoziation DAZ zur Landmarkenzuordnung mit Hilfe von probabilistischen Faktorgraph-Methoden oder Zuordnungs-/Optimierungsmethoden durchgeführt wird.
Die probabilistischen Faktorgraph-Methoden basieren dabei vorzugsweise auf die Implementierung von Softwarebibliotheken, wie z.B. „Georgia Tech Smoothing and Mapping <GTSAM>“ oder „<g2o> as a General Framework for Graph Optimization“, wohingegen die Zuordnungs-/Optimierungsmethoden auf Methoden, wie z.B. „Global Nearest Neighbor <GNN>“, Munkres-Algorithmen, „Joint Probalistic Data Association <JPDA>“ oder „Multi-Hypothesis-Tracking <MHT>“ basieren.
Bei der probabilistischen Faktorgraph-Methoden erfolgt die Zuordnung nicht nur in einem Schritt, sondern wird über mehrere Zeitschritte gefiltert. Der Prozessor PZ und das Programm-Modul PGM sind hierzu entsprechend ausgebildet. Dadurch wird vermieden, dass Fehlassoziationen zu großen Fehlern führen.
Bei den Zuordnungs-/Optimierungsmethoden handelt es sich um alternative Methoden zur Datenassoziation, bei denen aber mit einer schlechteren Performanz zu rechnen ist.
Bei den genannten Methoden zur Datenassoziation werden manchen der Sensormessobjekte Landmarken zugeordnet, manchen werden dynamische Sensormessobjekte aus vorherigen Zeitschritten zugeordnet und manche können nicht zugeordnet werden. Diese nicht zugeordneten Sensormessobjekte sind für die folgenden Schritte relevant.

2. Es werden sensorerfassungsspezifische Verortungsdistanzen VOD zwischen dem mindestens einen unzuordbaren Sensormessobjekt SMO_HO und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten SMD_1,az repräsentierte Landmarke LM auf Basis der assoziierten Primär-Sensormessdaten SMD_1,az und der Sekundär-Sensormessdaten SMD₂ ermittelt, indem in den assoziierten Primär-Sensormessdaten SMD_1,az und in den Sekundär-Sensormessdaten SMD₂ enthaltene sensorerfassungsspezifische Informationen IF_ses in Bezug auf die zu ermittelnden Verortungsdistanzen VOD zueinander in Beziehung gesetzt werden.

Das Zueinander-in-Beziehung-Setzen der sensorerfassungsspezifischen Informationen IF_ses in Bezug auf die zu ermittelnden Verortungsdistanzen VOD, um die Verortungsdistanzen VOD sensorerfassungsspezifisch zu ermitteln, erfolgt in Abhängigkeit von die Art der Messdatenerfassung des mindestens einen Sensors SS der Fahrzeug-Sensorik FZS.
Basiert der mindestens eine Sensor SS auf dem Kartesischen Koordinatensystem SS_KKS, dem Sphärischen Koordinatensystem SS_SKS oder dem Zylindrischen Koordinatensystem SS_ZKS und wird deshalb z.B. der auf dem „Radio Detection and Ranging <Radar>“-Prinzip beruhende Radarsensor oder der auf dem „Light Detection and Ranging <Lidar>“-Prinzip beruhende Lidarsensor benutzt, so werden kartesische Koordinateninformationen KIF_kar, sphärische Koordinateninformationen KIF_sph oder zylindrische Koordinateninformationen KIF_zyl in den assoziierten Primär-Sensormessdaten SMD_1,az und in den Sekundär-Sensormessdaten SMD₂ in Bezug auf die zu ermittelnden Verortungsdistanzen VOD durch Winkeldifferenzbestimmung oder Bestimmung einer euklidischen Distanz zueinander in Beziehung gesetzt, um die Verortungsdistanzen VOD zwischen dem mindestens einen unzuordbaren Sensormessobjekt SMO_HO und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten SMD_1,az repräsentierte Landmarke LM zu ermitteln.
Basiert der mindestens eine Sensor SS hingegen auf dem Bildgebungsprinzip SS_BGP und wird deshalb z.B. der Kamerasensor benutzt, so werden Pixelinformationen PIF in den assoziierten Primär-Sensormessdaten SMD_1,az und in den Sekundär-Sensormessdaten SMD₂ in Bezug auf die zu ermittelnden Verortungsdistanzen VOD durch Pixelabstandbestimmung zueinander in Beziehung gesetzt, um die Verortungsdistanzen VOD zwischen dem mindestens einen unzuordbaren Sensormessobjekt SMO_HO und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten SMD_1,az repräsentierte Landmarke LM zu ermitteln.

3. Das mindestens eine Hindernisobjekt HO wird auf der Fahrstrecke FS in dem Fahrstreckenbereich FSB, wo es ein Hindernis für das Fahrzeug FZ darstellt, verortet VO und es wird vorzugsweise eine Verortungsinformation VOIF generiert oder erzeugt, wenn entweder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen VOD oder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen VOD sowie unter Hinzuziehung der Landmarken-Referenzdaten LM-RD und/oder der Referenzobjektdaten ROD das mindestens eine unzuordbare Sensormessobjekt SMO_HO der Fahrstrecke FS zuordbar ist. Anderenfalls, wenn das mindestens eine unzuordbare Sensormessobjekt SMO_HO zwar nicht der Fahrstrecke FS, aber dem Fahrstreckenbereich FSB zuordbar ist, stellt es kein Hindernis für das Fahrzeug FZ dar. Es wird aber dennoch verortet, und zwar außerhalb der der Fahrstrecke des Fahrzeugs FZ in dem Fahrstreckenbereich FSB. Beide Fälle sind in der 1 exemplarisch gezeigt.

Die generierte Verortungsinformation VOIF kann z.B. dazu benutzt werden, um in dem Fahrzeug FZ als Reaktion auf das verortete Hindernisobjekt Steuerungsmaßnahmen, wie z.B. eine Reduzierung der Geschwindigkeit und gegebenenfalls Abbremsen des Fahrzeugs, automatisch einzuleiten oder z.B. den Fahrzeugführer mit einem Warnhinweis über das verortete Hindernisobjekt zu informieren.
Bei den Referenzobjektdaten ROD, die in der Speichereinrichtung SPE gespeichert sind, z.B. dort als das Kartenmaterial KM hinterlegt sind, greift der Prozessor PZ wieder, wie bei den Landmarken-Referenzdaten LM-RD, auf diese zu, indem diese Daten z.B. gemäß der Option „A“ aus der Speichereinrichtung SPE eingelesen oder gemäß der Option „B“ von der Speichereinrichtung SPE hochgeladen werden.
Der Prozessor PZ und das Programm-Modul PGM sind weiterhin zur Hindernisobjektverortung derart ausgebildet, dass das Verorten VO des mindestens einen Hindernisobjektes HO und gegebenenfalls das Generieren oder Erzeugen der Verortungsinformation mit der Sensormessdatenerfassung, der Datenassoziierung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungszeitpunkten im Sinne eines Objekt-Tracking durchgeführt wird.
Durch das Tracken insbesondere der Verortungsdistanz über der Zeit wird deren Robustheit und Aussagekraft verstärkt. Alternativ können auch die Sensormessobjekte getrackt und im Anschluss die Verortungsdistanz bestimmt werden.
Bei ausreichend genauer Ermittlung der Verortungsdistanz wird das nicht zuordbare, sich auf der Fahrstrecke FS in der 1 befindende Hindernisobjekt HO rechts von den linken beiden Landmarken HO und links von der rechten Landmarke HO detektiert. Durch die bekannte relative Lage der Landmarken LM zur Fahrstrecke FS kann allein dadurch festgestellt werden, dass das nicht zugeordnete Hindernisobjekt HO ein Hindernis darstellt. Die Begriffe „links von“ und „rechts von“ können dabei durch Winkel- oder Pixelunterschiede aufgelöst werden. Befände sich das besagte Hindernisobjekt HO rechts von der rechten Landmarke LM, stellte es eindeutig kein Hindernis dar, so wie dies bei dem ebenfalls nicht zuordbaren, anderen in der 1 dargestellten Hindernisobjekt HO der Fall ist.
2 zeigt ein modifiziertes Fahrzeug-Szenario zur Hindernisobjektverortung in einem durch Landmarken LM gekennzeichneten Fahrstreckenbereich FSB mit einem sich vertikal zu einer Fahrstrecke FS des Fahrstreckenbereich FSB erstreckenden Hindernisobjekt HO. Das sich vertikal zu der Fahrstrecke FS erstreckende Hindernisobjekt HO ist ein Wartungsfahrzeug an der Fahrstrecke FS und es muss bestimmt werden, ob die Fahrstrecke FS vertikal befahrbar ist. Eine bekannte Landmarke LM, z.B. in Gestalt einer Brücke, die als unterfahrbar bekannt ist, wurde erkannt und durch ermittelte Verortungsdistanzen, die sich z.B. durch Pixelabstände oder Winkelabstände ergeben, kann bestimmt werden, ob das Wartungsfahrzeug als das sich vertikal zu der Fahrstrecke FS des Fahrstreckenbereich FSB erstreckende Hindernisobjekt HO höher oder niedriger ist und somit in der vertikalen Erstreckung einen für das Fahrzeug FZ kritischen Bereich betrifft. Dadurch kann eine Über- und Unterfahrbarkeit des Hindernisobjekts HO festgestellt werden.
3 zeigt ein modifiziertes Fahrzeug-Szenario zur Hindernisobjektverortung in einem durch Landmarken LM gekennzeichneten Fahrstreckenbereich FSB mit einer Fahrstrecke FS, bei dem die Landmarken LM in einer Gruppierung oder Formation GFLM₁, GFLM₂ angeordnet sind. Dadurch, dass die Landmarken LM nicht einzeln betrachtet werden, sondern die Gruppierung und Formation der Landmarken GFLM₁, GFLM₂ wird die Robustheit der Hindernisobjektverortung gesteigert.
Die Landmarken-Referenzdaten LM-RD enthalten dabei Daten, die die Gruppierung oder Formation der Landmarken GFLM₁, GFLM₂ für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren und das hinterlegte Kartenmaterial KM ergänzen.
Die Gruppierung und Formation der Landmarken GFLM₁, GFLM₂ vereinfacht zudem die Datenassoziation zwischen den Primär-Sensormessdaten SMD₁ respektive den Sekundär-Sensormessdaten SMD₂ und den Landmarken-Referenzdaten LM-RD. Dabei werden die Landmarkengruppierungen oder Landmarkenformationen vorher statisch in dem Kartenmaterial gewählt und festgelegt, sodass für die Hindernisobjektverortung nur noch die Datenassoziation aus Sensormessdaten zu den Landmarkengruppierungen oder Landmarkenformationen erfolgen muss. In diesem Fall wird dann bei erfassten Sensormessobjekten geprüft, ob sie die Eigenschaften einer der bekannten Landmarkengruppierungen oder Landmarkenformationen erfüllt, was die Landmarkenzuordnung stark vereinfacht.
Bei der Wahl der Gruppierungen oder Formationen ist es möglich, Landmarkengruppierungen oder Landmarkenformationen mit Alleinstellungsmerkmalen zu wählen, die sich ausreichend stark von anderen (zumindest in dem Fahrstreckenbereich und dessen Umgebung) unterscheiden. Dies ist vergleichbar mit Punktmarker-Formationen im Bereich 3D-Tracking auf Basis von mehreren Kameras.
4 zeigt ein weiteres Fahrzeug-Szenario zur Hindernisobjektverortung auf der Basis des Szenarios nach der 3 mit einer Erfassung von Landmarken im Fahrstreckenbereich zu verschiedenen Verortungszeitpunkten t1, t2. Das Fahrzeug-Szenario zur Hindernisobjektverortung lässt sich dabei dahingehend erweitern, dass die Landmarkengruppierungen oder Landmarkenformationen GFLM₁, GFLM₂ im Zuge einer dynamischen Hindernisobjektverortung zu den verschiedenen Verortungszeitpunkten t1, t2, also im Laufe des Betriebs gelernt werden, indem den zum Verortungszeitpunkt t1 aus der 3 bekannten Landmarkengruppierungen oder Landmarkenformationen GFLM₁, GFLM₂ eine weitere, zum Verortungszeitpunkt t2 entstandene Landmarkengruppierung oder Landmarkenformation GFLM₁₂ hinzugefügt wird.
Die Landmarken-Referenzdaten LM-RD enthalten dabei weitere Daten, die die weitere Landmarkengruppierung oder Landmarkenformation GFLM₁₂ für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren und das hinterlegte Kartenmaterial KM zusätzlich ergänzen.

Claims

Verfahren zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen, bei dem a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) durch mindestens einen Sensor (SS) einer Fahrzeug-Sensorik (FZS) erfassbare Primär-Sensormessdaten (SMD₁) benutzt werden, die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (SMO_LM) gehören, und Sekundär-Sensormessdaten (SMD₂) benutzt werden, die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sensormessobjekt (SMO_HO) gehören, b) gespeicherte, insbesondere in Form als Kartenmaterial (KM) hinterlegte, Landmarken-Referenzdaten (LM-RD) benutzt werden, die die mindestens eine Landmarke (LM) repräsentieren, gekennzeichnet durch c) Assoziieren (DAZ) der Primär-Sensormessdaten (SMD₁) und Sekundär-Sensormessdaten (SMD₂) mit den die mindestens eine Landmarke (LM) repräsentierenden Landmarken-Referenzdaten (LM-RD) zur Landmarkenzuordnung, wobei - die Datenassoziation (DAZ) zwischen den Primär-Sensormessdaten (SMD₁) und den Landmarken-Referenzdaten (LM-RD) eintritt und infolge davon durch assoziierte Primär-Sensormessdaten (SMD_1,az) eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (SMO_LM) möglich ist und damit die jeweilige Landmarke (LM) durch die assoziierten Primär-Sensormessdaten (SMD_1,az) repräsentiert ist, - die Datenassoziation (DAZ) zwischen den Sekundär-Sensormessdaten (SMD₂) und den Landmarken-Referenzdaten (LM-RD) ausbleibt und infolge davon eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (SMO_HO) unmöglich ist, d) Ermitteln von sensorerfassungsspezifischen Verortungsdistanzen (VOD) zwischen dem mindestens einen unzuordbaren Sensormessobjekt (SMO_HO) und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten (SMD_1,az) repräsentierte Landmarke (LM) auf Basis der assoziierten Primär-Sensormessdaten (SMD_1,az) und der Sekundär-Sensormessdaten (SMD₂), indem in den assoziierten Primär-Sensormessdaten (SMD_1,az) und in den Sekundär-Sensormessdaten (SMD₂) enthaltene sensorerfassungsspezifische Informationen (IF_ses) in Bezug auf die zu ermittelnden Verortungsdistanzen (VOD) zueinander in Beziehung gesetzt werden, e) Verorten (VO, VOIF) des mindestens einen Hindernisobjektes (HO) auf einer Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB), wo es ein Hindernis für ein Fahrzeug (FZ) darstellt, wenn entweder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen (VOD) oder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen (VOD) sowie unter Hinzuziehung der Landmarken-Referenzdaten (LM-RD) und/oder von gespeicherten, insbesondere in Form als Kartenmaterial (KM) hinterlegten, Referenzobjektdaten (ROD), die mindestens ein zu der mindestens einen Landmarke (LM) zusätzliches Referenzobjekt (RO) des Fahrzeug-Fahrstreckenbereichs (FSB) mit einem definierten, konstantem Abstand zu einer Fahrstrecke (FS) des Fahrzeug-Fahrstreckenbereichs (FSB), insbesondere eine Lärmschutzwand (LSW) an einer Straße (STR) oder ein Oberleitungsmasten an einem Bahngleis, repräsentieren, das mindestens eine unzuordbare Sensormessobjekt (SMO_HO) der Fahrstrecke (FS) zuordbar ist, anderenfalls, wenn das mindestens eine unzuordbare Sensormessobjekt (SMO_HO) nicht der Fahrstrecke (FS) zuordbar ist, wird das mindestens eine Hindernisobjekt (HO) jenseits der Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) verortet, wo es kein Hindernis für das Fahrzeug (FZ) darstellt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verorten (VO, VOIF) des mindestens einen Hindernisobjektes (HO) mit der Sensormessdatenerfassung, der Datenassoziierung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungszeitpunkten im Sinne eines Objekt-Tracking durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Landmarken-Referenzdaten (LM-RD) Daten enthalten, die eine Gruppierung oder Formation von Landmarken (GFLM₁, GFLM₂, GFLM₁₂) für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die sensorerfassungsspezifischen Informationen (IF_ses) der assoziierten Primär-Sensormessdaten (SMD_1,az) und Sekundär-Sensormessdaten (SMD₂), wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Kartesischen Koordinatensystem (SS_KKS), einem Sphärischen Koordinatensystem (SS_SKS) oder einem Zylindrischen Koordinatensystem (SS_ZKS) basiert, insbesondere der mindestens eine Sensor (SS_KKS, SS_SKS, SS_ZKS) als Radar- oder Lidarsensor benutzt wird, kartesische Koordinateninformationen (KIF_kar), sphärische Koordinateninformationen (KIF_sph) oder zylindrische Koordinateninformationen (KIF_zyl) sind, mit denen durch Winkeldifferenzbestimmung oder Bestimmung einer euklidischen Distanz als das Zueinander-in-Beziehung-Setzen die Verortungsdistanzen (VOD) ermittelt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die sensorerfassungsspezifischen Informationen (IF_ses) der assoziierten Primär-Sensormessdaten (SMD_1,az) und Sekundär-Sensormessdaten (SMD₂), wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Bildgebungsprinzip (SS_BGP) basiert, insbesondere der mindestens eine Sensor (SS_BGP) als Kamerasensor benutzt wird, Pixelinformationen (PIF) sind, mit denen durch Pixelabstandbestimmung als das Zueinander-in-Beziehung-Setzen die Verortungsdistanzen (VOD) ermittelt werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Datenassoziation (DAZ) zur Landmarkenzuordnung mit Hilfe von probabilistischen Faktorgraph-Methoden, die vorzugsweise mit Softwarebibliotheken, wie z.B. „Georgia Tech Smoothing and Mapping <GTSAM>“ oder „<g2o> as a General Framework for Graph Optimization“ implementiert werden, oder Zuordnungs-/Optimierungsmethoden, wie z.B. „Global Nearest Neighbor <GNN>“, Munkres-Algorithmen, „Joint Probalistic Data Assoziation <JPDA>“ oder „Multi-Hypothesis-Tracking <MHT>“, durchgeführt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Landmarkenzuordnung mit Hilfe der probabilistischen Faktorgraph-Methoden über mehrere Zeitschritte gefiltert wird.
Computer-implementiertes Werkzeug (CIW) zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen mit einem nicht-flüchtigen, lesbaren Speicher (SP), in dem prozessorlesbare Steuerprogrammbefehle eines Programm-Moduls (PGM) zum Verorten von Hindernisobjekten gespeichert sind, und einem mit dem Speicher (SP) verbundenen Prozessor (PZ), der die Steuerprogrammbefehle des Programm-Moduls (PGM) zur Hindernisobjektverortung ausführt, bei dem a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) durch mindestens einen Sensor (SS) einer Fahrzeug-Sensorik (FZS) erfassbare Primär-Sensormessdaten (SMD₁), die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (SMO_LM) gehören, und Sekundär-Sensormessdaten (SMD₂), die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sensormessobjekt (SMO_HO) gehören, in den Prozessor (PZ) eingegeben werden, insbesondere von dem Prozessor (PZ) eingelesen oder in den Prozessor (PZ) hochgeladen werden, b) gespeicherte, insbesondere in Form als Kartenmaterial (KM) hinterlegte, Landmarken-Referenzdaten (LM-RD) in den Prozessor (PZ) eingegeben werden, insbesondere von dem Prozessor (PZ) eingelesen oder in den Prozessor (PZ) hochgeladen werden, die die mindestens eine Landmarke (LM) repräsentieren, dadurch gekennzeichnet, dass c) der Prozessor (PZ) und das Programm-Modul (PGM) zur Hindernisobjektverortung derart ausgebildet sind, dass cl) die Primär-Sensormessdaten (SMD₁) und Sekundär-Sensormessdaten (SMD₂) mit den die mindestens eine Landmarke (LM) repräsentierenden Landmarken-Referenzdaten (LM-RD) zur Landmarkenzuordnung assoziiert werden (DAZ), wobei - die Datenassoziation (DAZ) zwischen den Primär-Sensormessdaten (SMD₁) und den Landmarken-Referenzdaten (LM-RD) eintritt und infolge davon durch assoziierte Primär-Sensormessdaten (SMD_1,az) eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (SMO_LM) möglich ist und damit die jeweilige Landmarke (LM) durch die assoziierten Primär-Sensormessdaten (SMD_1,az) repräsentiert ist, - die Datenassoziation (DAZ) zwischen den Sekundär-Sensormessdaten (SMD₂) und den Landmarken-Referenzdaten (LM-RD) ausbleibt und infolge davon eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (SMO_HO) unmöglich ist, d) sensorerfassungsspezifische Verortungsdistanzen (VOD) zwischen dem mindestens einen unzuordbaren Sensormessobjekt (SMO_HO) und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten (SMD_1,az) repräsentierte Landmarke (LM) auf Basis der assoziierten Primär-Sensormessdaten (SMD_1,az) und der Sekundär-Sensormessdaten (SMD₂) ermittelt werden, indem in den assoziierten Primär-Sensormessdaten (SMD_1,az) und in den Sekundär-Sensormessdaten (SMD₂) enthaltene sensorerfassungsspezifische Informationen (IF_ses) in Bezug auf die zu ermittelnden Verortungsdistanzen (VOD) zueinander in Beziehung gesetzt werden, e) das mindestens eine Hindernisobjekt (HO) auf einer Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB), wo es ein Hindernis für ein Fahrzeug (FZ) darstellt, verortet wird (VO, VOIF), wenn entweder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen (VOD) oder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen (VOD) sowie unter Hinzuziehung der Landmarken-Referenzdaten (LM-RD) und/oder von gespeicherten, insbesondere in Form als Kartenmaterial (KM) hinterlegten, Referenzobjektdaten (ROD), die mindestens ein zu der mindestens einen Landmarke (LM) zusätzliches Referenzobjekt (RO) des Fahrzeug-Fahrstreckenbereichs (FSB) mit einem definierten, konstantem Abstand zu einer Fahrstrecke (FS) des Fahrzeug-Fahrstreckenbereichs (FSB), insbesondere eine Lärmschutzwand (LSW) an einer Straße (STR) oder ein Oberleitungsmasten an einem Bahngleis, repräsentieren, das mindestens eine unzuordbare Sensormessobjekt (SMO_HO) der Fahrstrecke (FS) zuordbar ist, anderenfalls, wenn das mindestens eine unzuordbare Sensormessobjekt (SMO_HO) nicht der Fahrstrecke (FS) zuordbar ist, wird das mindestens eine Hindernisobjekt (HO) jenseits der Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) verortet, wo es kein Hindernis für das Fahrzeug (FZ) darstellt.
Computer-implementiertes Werkzeug (CIW) nach Anspruch 8, dadurch gekennzeichnet, dass der Prozessor (PZ) und das Programm-Modul (PGM) zur Hindernisobjektverortung derart ausgebildet sind, dass das Verorten (VO, VOIF) des mindestens einen Hindernisobjektes (HO) mit der Sensormessdatenerfassung, der Datenassoziierung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungszeitpunkten im Sinne eines Objekt-Tracking durchgeführt wird.
Computer-implementiertes Werkzeug (CIW) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Landmarken-Referenzdaten (LM-RD) Daten enthalten, die eine Gruppierung oder Formation von Landmarken (GFLM₁, GFLM₂, GFLM₁₂) für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren.
Computer-implementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die sensorerfassungsspezifischen Informationen (IF_ses) der assoziierten Primär-Sensormessdaten (SMD_1,az) und Sekundär-Sensormessdaten (SMD₂), wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Kartesischen Koordinatensystem (SS_KKS), einem Sphärischen Koordinatensystem (SS_SKS) oder einem Zylindrischen Koordinatensystem (SS_ZKS) basiert, insbesondere der mindestens eine Sensor (SS_KKS, SS_SKS, SS_ZKS) als Radar- oder Lidarsensor benutzt wird, kartesische Koordinateninformationen (KIF_kar), sphärische Koordinateninformationen (KIF_sph) oder zylindrische Koordinateninformationen (KIF_zyl) sind, mit denen durch Winkeldifferenzbestimmung oder Bestimmung einer euklidischen Distanz als das Zueinander-in-Beziehung-Setzen die Verortungsdistanzen (VOD) ermittelt werden.
Computer-implementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die sensorerfassungsspezifischen Informationen (IF_ses) der assoziierten Primär-Sensormessdaten (SMD_1,az) und Sekundär-Sensormessdaten (SMD₂), wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Bildgebungsprinzip (SS_BGP) basiert, insbesondere der mindestens eine Sensor (SS_BGP) als Kamerasensor benutzt wird, Pixelinformationen (PIF) sind, mit denen durch Pixelabstandbestimmung als das Zueinander-in-Beziehung-Setzen die Verortungsdistanzen (VOD) ermittelt werden.
Computer-implementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass der Prozessor (PZ) und das Programm-Modul (PGM) zur Hindernisobjektverortung derart ausgebildet sind, dass die Datenassoziation (DAZ) zur Landmarkenzuordnung mit Hilfe von probabilistischen Faktorgraph-Methoden, die vorzugsweise mit Softwarebibliotheken, wie z.B. „Georgia Tech Smoothing and Mapping <GTSAM>“ oder „<g2o> as a General Framework for Graph Optimization“ implementiert werden, oder Zuordnungs-/Optimierungsmethoden, wie z.B. „Global Nearest Neighbor <GNN>“, Munkres-Algorithmen, „Joint Probalistic Data Assoziation <JPDA>“ oder „Multi-Hypothesis-Tracking <MHT>“, durchgeführt wird.
Computer-implementiertes Werkzeug (CIW) nach Anspruch 13, dadurch gekennzeichnet, dass der Prozessor (PZ) und das Programm-Modul (PGM) zur Hindernisobjektverortung derart ausgebildet sind, dass die Landmarkenzuordnung mit Hilfe der probabilistischen Faktorgraph-Methoden über mehrere Zeitschritte gefiltert wird.
Fahrzeug-Steuerungseinheit (FZSE) zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen, wobei eine Speichereinrichtung (SPE) zur Speicherung von a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) durch mindestens einen Sensor (SS) einer Fahrzeug-Sensorik (FZS) erfassbare Primär-Sensormessdaten (SMD₁), die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (SMO_LM) gehören, und Sekundär-Sensormessdaten (SMD₂), die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sensormessobjekt (SMO_HO) gehören, und b) Landmarken-Referenzdaten (LM-RD), die, insbesondere in Form als Kartenmaterial (KM) hinterlegt, die mindestens eine Landmarke (LM) repräsentieren, entweder mit einer Steuereinrichtung (STE) in der Fahrzeug-Steuerungseinheit (FZSE) verbunden ist (Option A) oder einer Steuereinrichtung (STE) in der Fahrzeug-Steuerungseinheit (FZSE) zugeordnet ist (Option B), gekennzeichnet durch ein Computer-implementiertes Werkzeug (CIW) nach einem der Anspruche 8 bis 14, das in die Steuereinrichtung (STE) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 hochladbar ist.
Fahrzeug (FZ) zum Verorten von Hindernissen in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen mit einer Fahrzeug-Sensorik (FZS), in der mindestens ein Sensor (SS) enthalten ist und wobei mit dem mindestens einen Sensor (SS) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) Primär-Sensormessdaten (SMD₁), die zu mindestens einem die jeweilige Landmarke (LM) repräsentierbarem Sensormessobjekt (SMO_LM) gehören, und Sekundär-Sensormessdaten (SMD₂), die zu mindestens einem das jeweilige Hindernisobjekt (HO) repräsentierbarem Sensormessobjekt (SMO_HO) gehören, erfasst werden und mit einer Fahrzeug-Steuerungseinheit (FZSE) nach Anspruch 14, die mit der Fahrzeug-Sensorik (FZS) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 verbunden ist.