DE102022126396A1

DE102022126396A1 - Visuelle und drahtlose gemeinschaftliche Abbildung für autonome Fahrzeuge und fortschrittliche Fahrerassistenzsysteme

Info

Publication number: DE102022126396A1
Application number: DE102022126396.7A
Authority: DE
Inventors: Brent Navin Roger Bacchus; Rakesh Kumar; Bo Yu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-01-28
Filing date: 2022-10-11
Publication date: 2023-08-03
Also published as: US20230242127A1; CN116558532A

Abstract

Ein System zur Kartierung einer Außenumgebung umfasst zumindest eine Karte, die eine Karte für Positionen von Zugangspunkten (AP) und eine Reflektorkarte umfasst, die aus mehreren Funksignalen erzeugt wird, die von mehreren Kraftfahrzeugen gesammelt werden. Von einzelnen der mehreren Kraftfahrzeuge wird ein Satz von Crowd-Sourced-Daten gesammelt, die von mehreren Wahrnehmungssensoren abgeleitet werden, wenn das zumindest eine der mehreren Kraftfahrzeuge einen Kartierungsbereich passiert. Ein Datenpaket wird aus dem Satz von Crowd-Sourced-Daten erzeugt, einschließlich einer Gruppe von Stichproben einer drahtlosen Positionsbestimmung und einer Gruppe von visuellen Merkmalen, wobei das Datenpaket an eine On-Cloud-Datenbank weitergeleitet wird, wo eine On-Cloud-Kartierung durchgeführt wird. Mehrere Entfernungsmessungen ergeben kreisförmige AP-Kandidatenpositionen innerhalb eines Freiraum-Betriebsfensters eines Fahrzeugbetriebs der mehreren Kraftfahrzeuge. Die Anwendung der Entfernungsmessung plus mehrerer Reflektoren, die an mehreren planaren reflektierenden Oberflächen definiert sind, verbessert die AP-Kandidatenpositionen.

Description

Einführung
Die vorliegende Offenbarung bezieht sich auf Systeme zum Abbilden bzw. Kartieren von Fahrzeugpositionen, die drahtlose bzw. Funktechnologie nutzen.
Funksignale und visuelle Merkmale werden für die Fahrzeugpositionsbestimmung und -kartierung getrennt verwendet. Die Positionsbestimmung unter Verwendung von Funksignalen erfordert typischerweise, dass eine drahtlose bzw. Funkinfrastruktur vor der Nutzung genau kartiert wird. Der Betrieb des satellitengestützten bzw. globalen Positionsbestimmungssystems (engl.: Global Positioning System) (GPS) für Fahrzeuge, einschließlich Kraftfahrzeuge wie etwa Autos, Lastwagen, Lieferwagen, Geländewagen, autonom betriebene Fahrzeuge und elektrisch angetriebene Fahrzeuge und dergleichen, die Funksignale verwenden, sieht eine Funkinfrastruktur vor, kann aber durch Umgebungsbedingungen, einschließlich Gebäude, Gebilde, reflektierende Oberflächen und dergleichen, negativ beeinflusst werden. Eine genaue Ortsbestimmung eines Kraftfahrzeugs, oder einer Stellung bzw. räumlichen Lage, ist erforderlich, falls die Fahrzeugumgebung negative Umgebungsbedingungen enthält, die die genaue Nutzung von Funksignalen beeinträchtigen.
Es ist auch bekannt, dass Multipath bzw. Mehrweg die Leistung eines Systems zur drahtlosen Positionsbestimmung beeinträchtigen. Bei der Funk- und Radiokommunikation ist Mehrweg ein Ausbreitungsphänomen, das dazu führt, dass Signale eine Empfangsantenne über zwei oder mehr Wege erreichen. Ursachen von Mehrwegeffekten schließen atmosphärische Leitung, ionosphärische Reflexion und Brechung sowie Reflexion von Gewässern und terrestrischen Objekten wie etwa Bergen und Gebäuden ein. Wenn dasselbe Signal über mehr als einen Weg empfangen wird, kann der Empfang über mehrere Signalwege eine Interferenz und eine Phasenverschiebung des empfangenen Signals erzeugen, und daher kann Verwendung des empfangenen Signals eine ungenaue Ortsbestimmung eines Kraftfahrzeugs erzeugen. Destruktive Interferenzen verursachen Schwund, der bewirken kann, dass ein Funksignal in bestimmten Zonen bzw. Bereichen zu schwach wird, um adäquat empfangen zu werden.
Obwohl die gegenwärtigen Systeme zur Fahrzeugpositionsbestimmung ihren beabsichtigen Zweck erfüllen, besteht somit ein Bedarf an einem neuen und verbesserten System zum Kartieren von Fahrzeugpositionen.
Zusammenfassung
Gemäß mehreren Aspekten umfasst ein System zur Kartierung einer Außenumgebung zumindest eine Karte, die eine Karte für Positionen von Zugangspunkten (AP), die Positionen mehrerer APs identifiziert, und eine Reflektorkarte umfasst, die aus mehreren visuellen Merkmalen und mehreren Funksignalen erzeugt wird, die von mehreren Kraftfahrzeugen gesammelt werden. Ein Satz von crowd-basierten bzw. Crowd-Sourced-Daten, die von mehreren Wahrnehmungssensoren abgeleitet werden bzw. stammen, wird von einzelnen der mehreren Kraftfahrzeuge gesammelt, wenn das zumindest eine der mehreren Kraftfahrzeuge einen Kartierungsbereich passiert. Eine Gruppe von Messungen zur drahtlosen Positionsbestimmung umfasst: eine Laufzeit, einen Ankunftswinkel, eine Kanalzustandsinformation und Leistungsverzögerungsprofile. Aus dem Satz von Crowd-Sourced-Daten, der eine Gruppe von Stichproben einer drahtlosen Positionsbestimmung und eine Gruppe von visuellen Merkmalen enthält, wird ein Datenpaket erstellt, wobei das Datenpaket an eine On-Cloud-Datenbank weitergeleitet wird, wo ein On-Cloud-Mapping bzw. eine On-Cloud-Kartierung durchgeführt wird. Mehrere Entfernungsmessungen ergeben kreisförmige AP-Kandidatenpositionen innerhalb eines Freiraum-Betriebsfensters eines Fahrzeugbetriebs von zumindest einem der mehreren Kraftfahrzeuge, wobei die Verwendung der Entfernungsmessung plus mehrerer Reflektoren, die an mehreren planaren reflektierenden Oberflächen definiert sind, die AP-Kandidatenpositionen verbessert.
In einem anderen Aspekt der vorliegenden Offenbarung umfassen Messungen zur drahtlosen Positionsbestimmung: eine Laufzeit, einen Ankunftswinkel, eine Kanalzustandsinformation und Leistungsverzögerungsprofile.
In einem weiteren Aspekt der vorliegenden Offenbarung umfassen die gesammelten Wahrnehmungssensordaten Bilder von einer oder mehreren Kameras, Bilder von einem oder mehreren Systemen zur lasergestützten Richtungs- und Entfernungsmessung (engl.: Laser Imaging Detection and Ranging) (Lidar) und Bilder von einem Radarsystem.
In einem anderen Aspekt der vorliegenden Offenbarung werden zusätzliche Sensordaten gesammelt, die Daten von einem GNSS, eine Fahrzeuggeschwindigkeit, eine Fahrzeug-Kursabweichung (engl.: vehicle yaw) und Fahrzeug-CAN-Bus-Daten einschließen.
In einem weiteren Aspekt der vorliegenden Offenbarung enthalten die AP-Positionskarte und die Reflektorkarte jeweils Kandidatenstandorte von Zugangspunkten (APs) und AP entsprechende Medienzugangssteuerungs- (MAC-) (engl.: Media-Access-Control) Identitäten.
In einem anderen Aspekt der vorliegenden Offenbarung werden die Standorte potentieller Signalreflektoren, die Oberflächen definieren, an denen Funksignale reflektiert werden können, durch die AP-Positionskarte und die Reflektorkarte identifiziert.
In einem anderen Aspekt der vorliegenden Offenbarung ist zumindest eines der mehreren Kraftfahrzeuge mit einem Funkempfänger ausgestattet, wobei der Funkempfänger Entfernungsmessungen zu verschiedenen der APs liefert, wobei die Entfernungsmessungen entweder als Sichtlinien- (engl.: sight-of-line) (LOS-) oder Nicht-Sichtlinien- (engl.: Non-line-of-sight) (NLOS-) Messungen bereitgestellt werden.
In einem weiteren Aspekt der vorliegenden Offenbarung enthalten die AP-Positionskarte und die Reflektorkarte ferner semantische Daten, die Wände, Gebäude oder andere reale Objekte identifizieren.
In einem anderen Aspekt der vorliegenden Offenbarung wird zumindest eine aggregierte Teilkarte für die einzelnen Kraftfahrzeuge und optimierte globale Karten der Funk-APs und der planaren Oberflächen erzeugt, wobei die AP-Positionskarte und die Reflektorkarte ferner mit von einer oder mehreren, vorher erzeugten Kraftfahrzeugkarten hochgeladenen Daten kombiniert werden können.
In einem anderen Aspekt der vorliegenden Offenbarung schließt der On-Cloud-Kartierungsprozess einzelne der hochgeladenen Daten mehrerer Kraftfahrzeuge, wirksam eingesetzte (engl.: leveraged) visuelle Merkmale und Programme zur drahtlosen Positionsbestimmung ein, die verwendet werden, um die AP-Positionskarte und die Reflektorkarte zu erzeugen.
Gemäß mehreren Aspekten umfasst ein System zur Abbildung bzw. Kartierung einer Außenumgebung zumindest eine Karte, die aus mehreren Funksignalen erzeugt wird, die von mehreren Kraftfahrzeugen gesammelt werden. Ein Segment zur bordseitigen Verarbeitung bzw. Verarbeitung an Bord von zumindest einem der mehreren Kraftfahrzeuge enthält Wahrnehmungssensordaten, die von zumindest einer Kamera, einem Lidarsystem oder von einem Radarsystem stammen, und Daten von einer GPS-Einheit. Ein Modul zur Erkennung bzw. Detektion semantischer Merkmale detektiert die Fahrbahnränder einer Fahrbahn. Ein 3D-Positionsdetektionsmodul bzw. Modul zur Detektion von 3D-Positionen detektiert 3D-Positionen von planaren Oberflächen in der Nähe mehrerer Kraftfahrzeuge. Ein Modul zur Extraktion von Bildmerkmalen identifiziert Objekte, einschließlich Ecken, und Deskriptoren, einschließlich Pixel, über einen bestimmten Fahrzeugstandort. Eine Ausgabe des Moduls zur Extraktion von Bildmerkmalen wird an ein Modul für 3D-Merkmalskoordinaten weitergeleitet, das 3D-Merkmalskoordinaten über eine Struktur aus einer Bewegung eines der mehreren Kraftfahrzeuge bestimmt. Ein Modellgenerator empfängt eine Ausgabe von dem Modul zur Detektion von 3D-Positionen und dem Modul für 3D-Merkmalskoordinaten zusammen mit Fahrzeugsensordaten und Entfernungsdaten. Ein Optimierer empfängt Daten vom Modellgenerator, wobei der Optimierer die Frage nach dem Standort eines der Kraftfahrzeuge und jeglicher Objekte, die zur Eingabe in die zumindest eine Karte identifiziert wurden, löst.
In einem anderen Aspekt der vorliegenden Offenbarung umfasst die zumindest eine Karte eine Karte für Positionen von Zugangspunkten (AP), die Positionen mehrerer APs identifiziert, und eine Reflektorkarte, die aus mehreren visuellen Merkmalen und mehreren Funksignalen erzeugt wird, die von den mehreren Kraftfahrzeugen gesammelt werden.
In einem weiteren Aspekt der vorliegenden Offenbarung wird eine On-Cloud-Datenbank bereitgestellt, in der ein On-Cloud-Mapping bzw. eine On-Cloud-Kartierung der Karte für Positionen von Zugangspunkten (AP) und der Reflektorkarte durchgeführt wird.
In einem anderen Aspekt der vorliegenden Offenbarung definiert der Optimierer einen Kalman-Filter oder einen nichtlinearen Kleinste-Quadrate-Löser bzw. -Solver.
In einem anderen Aspekt der vorliegenden Offenbarung erkennt ein Modul zur Detektion von Schleifenschlüssen, ob ein Objekt oder eine Oberfläche vorher identifiziert wurde und zu einem zweiten oder späteren Zeitpunkt identifiziert wird.
In einem weiteren Aspekt der vorliegenden Offenbarung enthält das Segment zur Verarbeitung an Bord ferner Entfernungsdaten, die von einem Anstellwinkel-Sensor (AoA) stammen.
In einem anderen Aspekt der vorliegenden Offenbarung umfasst das Segment zur Verarbeitung an Bord ferner Fahrzeugsensordaten einschließlich von Odometrie-Informationen, einer Trägheitsmesseinheit (IMU), einem Raddrehzahlsensor (WSS) und Sicht-Odometrie- (VO-)Daten.
Gemäß mehreren Aspekten umfasst ein Verfahren zum Sammeln von Daten und zur Kartierung einer Außenumgebung: Anwenden eines Schritts zur Verarbeitung von Daten eines einzelnen Fahrzeugs unter Verwendung einer oder mehrerer Kameras oder eines Lidarsystems, um reflektierende Oberflächen zu detektieren, wie etwa über eine semantische Segmentierung; Sammeln der reflektierenden Oberflächen als Datensatz; Anpassen der reflektierenden Oberflächen des Datensatzes an planare Modelle; Erzeugen einer oder mehrerer Zugangspunkt-(AP)-Karten mit geschätzten AP-Positionen und planaren Oberflächen; Entwickeln mehrerer Katen planarer Oberflächen; Kombinieren von Informationen von Funk-AP-Entfernungen mit Detektionen planarer Oberflächen, um eine wahre AP-Position zu schätzen; und Anwenden eines Teilchenfilters, um eine räumliche Verteilung von AP-Positionen und eine räumliche Lage des Kraftfahrzeugs zu erhalten.
In einem anderen Aspekt der vorliegenden Offenbarung umfasst das Verfahren ferner das Extrahieren visueller Merkmale und das Abgleichen und Verfolgen der visuellen Merkmale für die Odometrie und den Schleifenschluss.
In einem anderen Aspekt der vorliegenden Offenbarung umfasst das Verfahren ferner das Sammeln mehrerer Karten, die von mehreren Kraftfahrzeugen erzeugt wurden.
Weitere Anwendungsbereiche werden sich aus der hierin bereitgestellten Beschreibung ergeben. Es sollte sich verstehen, dass die Beschreibung und die spezifischen Beispiele nur zu Veranschaulichungszwecken dienen und den Umfang der vorliegenden Offenbarung nicht einschränken sollen.
Figurenliste
Die hier beschriebenen Zeichnungen dienen nur zu Veranschaulichungszwecken und sollen den Umfang der vorliegenden Offenbarung in keiner Weise einschränken.

1 ist eine schematische Darstellung eines Systems und Verfahrens zum Kartieren einer Außenumgebung gemäß einem beispielhaften Aspekt;
2 ist eine Draufsicht einer halbkreisförmigen Kandidaten- Quellenfläche für das System von 1;
3 ist eine von 2 abgewandelte Draufsicht, um eine mögliche AP-Position zu zeigen;
4 ist eine grafische Darstellung, die Leistung gegen Zeit für Reflexionen erster, zweiter und dritter Ordnung identifiziert;
5 ist ein Flussdiagramm, das Schritte zum Durchführen einer fahrzeugspezifischen Verarbeitung für das System und Verfahren von 1 darstellt;
6 ist ein Flussdiagramm, das Schritte zum Ausrichten mehrerer, vom Fahrzeug erzeugter Karten darstellt, um eine finale Karte für das System und Verfahren von 1 zu erzeugen;
7 ist ein Flussdiagramm, das die Schritte eines Offline-Kartierungsprozesses in der Cloud darstellt;
8 ist eine Draufsicht, die den an einem einzelnen Kraftfahrzeug durchgeführten Kartierungsprozess zeigt;
9 ist ein Flussdiagramm, das den für das System und Verfahren von 1 durchgeführten On-Cloud-Kartierungsprozess darstellt; und
10 ist eine Draufsicht, in der drei Hypothesen zur Ableitung eines AP-Standorts dargestellt sind.

Detaillierte Beschreibung
Die folgende Beschreibung ist in ihrer Art nur beispielhaft und soll die vorliegende Offenbarung, Anwendung oder Nutzungen nicht einschränken.
Bezugnehmend auf 1 verwendet ein System und Verfahren zur Kartierung einer Außenumgebung 10 visuelle Merkmale und Funksignale, um eine oder mehrere Karten zu erzeugen, die eine Karte 12 für Positionen von Zugangspunkten (AP) und eine Reflektorkarte 14 umfasst. Zu Beginn wird ein Satz 16 von Crowd-Sourced-Daten gesammelt. Die Crowd-Sourced-Daten 16 sind mehreren einzelnen Fahrzeugen gesammelt, die ein Host-Fahrzeug 18 und mehrere andere Fahrzeuge 20a, 20b, 20c, 20d, 20e umfassen. Die Crowd-Sourced-Daten 16 sind Daten, die von verschiedenen Wahrnehmungssensoren abgeleitet werden, wenn das Host-Kraftfahrzeug 18 und die mehreren anderen Fahrzeuge 20a, 20b, 20c, 20d, 20e einen Kartierungsbereich passieren, der als ein beliebiger Bereich innerhalb eines Fahrwegs eines der mehreren Kraftfahrzeuge definiert ist. Die Wahrnehmungssensordaten, die gesammelt werden, schließen Bilder von einer oder mehreren Kameras 22, Bilder von einem oder mehreren Systemen 24 zur lasergestützten Richtungs- und Entfernungsmessung (Lidar) und Radar ein. Es werden auch Messungen zur drahtlosen Positionsbestimmung gesammelt, die ein Fahrzeug-Laufzeit, eine Fahrzeug-Ankunftswinkel, Kanalzustandsinformationen, Leistungsverzögerungsprofile und dergleichen umfassen. Es können auch andere Sensordaten wie etwa Daten des globalen Satellitennavigationssystems (GNSS) des Fahrzeugs, Fahrzeuggeschwindigkeit, Fahrzeug-Kursabweichung, ein Satz von Fahrzeug-CAN-Bus-Daten und dergleichen gesammelt werden.
Gemäß mehreren Aspekten ist zumindest eines der Fahrzeuge, die das Host-Kraftfahrzeug 18 einschließen, mit einem Funkempfänger 26 wie etwa, aber nicht darauf beschränkt, einer präzisen Zeitmessung (FTM) im WiFi, 5G und dergleichen ausgestattet. Eine Umgebung, in der das Host-Kraftfahrzeug 18 betrieben wird, kann die Leistung eines globalen Positionsbestimmungssystems (GPS) beeinträchtigen und die Identifizierung von AP-Positionen behindern. Die AP-Positionskarte 12 und die Reflektorkarte 14 enthalten daher in Frage kommende Standorte von Zugangspunkten (APs) und ihre entsprechenden IDs zur Medienzugangssteuerung (MAC). Standorte potentieller Signalreflektoren, die Oberflächen definieren, an denen Funksignale reflektieren können, werden durch die AP-Positionskarte 12 und die Reflektorkarte 14 identifiziert. Die AP-Positionskarte 12 und die Reflektorkarte 14 können ferner aus Systemen wie etwa einer skaleninvarianten Merkmalstransformation (SIFT) und ihren Koordinaten entwickelte Bildmerkmale enthalten. Die AP-Positionskarte 12 und die Reflektorkarte 14 enthalten überdies andere relevante semantische Daten, die zum Beispiel Wände, Gebäude, Straßen, Kreuzungen und dergleichen identifizieren. Der Funkempfänger 26 kann auch Entfernungsmessungen zu verschiedenen APs liefern; jedoch können aufgrund der oben erwähnten Signalreflektoren mehrere Entfernungen gemeldet werden können und Messungen als Sichtlinien- (LOS)- oder Nicht-Sichtlinien-(NLOS-) Messungen geliefert werden, wie in den folgenden Abbildungen detaillierter erläutert wird.
Ein Datenpaket 28 wird aus dem Satz von Crowd-Sourced-Daten 16 erzeugt und enthält eine Gruppe 30 von Stichproben einer drahtlosen Positionsbestimmung und eine Gruppe 32 visueller Merkmale, die zum Beispiel vom Funkempfänger 26 an eine On-Cloud-Datenbank 34 weitergeleitet werden, wo dann ein On-Cloud-Kartierungsprozess 36 durchgeführt wird. Der On-Cloud-Kartierungsprozess 36 umfasst die gemeinsame Verarbeitung der hochgeladenen Daten einzelner Fahrzeuge, den wirksamen Einsatz visueller Merkmale, Algorithmen und Algorithmen zur drahtlosen Positionsbestimmung, um die AP-Positionskarte 12 und die Reflektorkarte 14 zu erzeugen. Aggregierte Teilkarten werden für die einzelnen Fahrzeuge erzeugt und erzeugen optimierte globale Karten von Funkzugangspunkten und planaren Oberflächen. Die AP-Positionskarte 12 und die Reflektorkarte 14 können ferner mit Daten kombiniert werden, die von einem oder mehreren Kraftfahrzeugen hochgeladen werden, die bereits bestehende oder frühere bzw. ältere Karten 38 erstellt haben, die aus Bodenvermessungen, Luftbildern und dergleichen erzeugt wurden.
Bezugnehmend auf 2 und wieder auf 1 ergeben Bereichs- bzw. Entfernungsmessungen kreisförmige, in Frage kommende bzw. Kandidatenpositionen 40 innerhalb eines Freiraum-Betriebsfensters 42 des Fahrzeugbetriebs. Eine direkte Sichtlinie von beispielsweise dem Host-Fahrzeug 18 zu einem in Frage kommenden bzw. Kandidaten-AP 44 kann durch eine Verdeckung 46 blockiert sein. Die Nutzung der Entfernungsmessung plus Reflektoren, die durch mehrere planare Oberflächen wie etwa eine reflektierende Oberfläche 48 eines Gebäudes 50 definiert sind, liefert verbesserte AP-Kandidatenpositionen. Ein erster Reflexionsbereich bzw. eine erste Reflexionsentfernung 52 von der reflektierenden Oberfläche 48 zum Kandidaten-AP 44, die zu einem zweiten Reflexionsbereich bzw. einer zweiten Reflexionsentfernung 54 vom Fahrzeug 18 zur reflektierenden Oberfläche 48 addiert oder damit kombiniert wird, ergibt einen Freiraum-Bereich bzw. eine Freiraum-Entfernung 56, die das Freiraum-Betriebsfenster 42 definiert. Durch das Zusammenführen bzw. Verschmelzen mehrerer Messungen im Laufe der Zeit werden die Entfernungsmessungen zum Beispiel mittels Triangulation weiter verfeinert und können einen Bereich mit Reflexion 58 umfassen. Mehrere andere Elemente wie etwa eine planare Oberfläche eines Schildes, eine Oberfläche einer Ampel und ein visuelles Merkmal wie etwa ein Baum und dergleichen können als reflektierende Oberflächen identifiziert und in der AP-Positionskarte 12 und der Reflektorkarte 14 gespeichert werden.
Bezugnehmend auf 3 und erneut auf 2 bilden einzelne der mehreren planaren Oberflächen, zum Beispiel die reflektierenden Oberflächen, eine halbkreisförmige Kandidaten-Quellenfläche. Der Kartierungsprozess erfordert das Schätzen der Quellen-APs unter Verwendung von Reflexionen erster Ordnung. Daher werden Annahmen für das Messmodell getroffen. Der Freiraum-Bereich 56 definiert eine Entfernungsmessung (r) zum Beispiel von einem Sensor. X- und Y-Koordinaten werden zugeordnet, um die Größe der reflektierenden Oberfläche 48 zu identifizieren. Die Kurve, die die kreisförmigen, in Frage kommenden Positionen 40 repräsentiert, liefert einen Bereich wahrer, genauer Standorte des Objekts oder des Kandidaten-AP 44 auf der Grundlage von Reflexionsdaten.
Bezugnehmend auf 4 und wieder auf 3 zeigt eine grafische Darstellung 60 die Leistung 62 über die Zeit 64. Es wird angenommen, dass die Leistung bei Reflexionen 2. und höherer Ordnung vernachlässigbar ist; daher sind Werte p₃ und höher vernachlässigbar und werden ignoriert.
Unter weiterer Bezugnahme auf die 3 und 4 werden über das Leistungsverzögerungsprofil oder einen anderen Mechanismus wie etwa präzise Zeitmessungen (FTM) die ersten beiden signifikanten Weglängen und die entsprechenden Leistungen erhalten, wobei entweder (r₁ p₁) die LOS-Weglänge und - Leistung repräsentiert und (r₂ p₂) die erste Reflexion repräsentiert oder (r₁ p₁) die erste Reflexion repräsentiert und (r₂ p₂) eine Reflexion hoher Ordnung ist.
Über die Wahrnehmung werden planare Oberflächen detektiert, die Reflexionen verursachen können. Mögliche Standorte eines Senders können durch Definieren der folgenden Gleichung 1 bestimmt werden: ${χ \in R^{n} | Ψ (χ; p_{1}, p_{2}, r) = 0}$
Gleichung 1 identifiziert einen Satz von Punkten, die am Ursprung enden würden, nach einer Reflexion von einem Liniensegment mit Endpunkten p₁ und p₂ nach dem Abstand r.
Der Verlust des LOS-Entfernungsmodells ist typischerweise L(χ) = (r - |χ|)² . Die Möglichkeit von Reflexionen wird unter Verwendung der folgenden Gleichung 2 berücksichtigt: $L (χ) = Ψ {(χ; p_{1}, p_{2}, r)}^{2} .$
Bezugnehmend auf 5 zeigt ein Flussdiagramm 66 auf, wie Daten in einem Segment 68 zur Verarbeitung an Bord der einzelnen Kraftfahrzeuge wie etwa des in Bezug auf 1 gezeigten Host-Kraftfahrzeugs 18 oder in entweder einer Verarbeitung an Bord oder einer Cloud-Verarbeitung 70 verarbeitet werden können. Das Segment 68 zur Verarbeitung an Bord enthält Wahrnehmungssensordaten 72, die von einer oder mehreren Kameras 22, den Lidarsystemen 24 oder dem Radar stammen, die in Bezug auf 1 dargestellt sind. Das Segment 68 zur Verarbeitung an Bord enthält ferner Fahrzeugsensordaten 74 wie etwa aus Odometrie-Informationen, von einer Trägheitsmesseinheit (IMU) 76, einem Raddrehzahlsensor (WSS) 78, Sicht-Odometrie- (VO-) Daten und dergleichen sowie Daten von einer GPS-Einheit 80. Das Segment 68 zur Verarbeitung an Bord enthält ferner Entfernungsdaten 82, die beispielsweise von einem Anstellwinkel-Sensor (AoA) stammen.
Die Wahrnehmungssensordaten 72 werden zu mehreren Modulen übertragen, die ein Modul 84 zur Detektion semantischer Merkmale, das zum Beispiel Fahrbahnränder detektiert, ein Modul 86 zur Detektion von 3D-Positionen, das 3D-Positionen von planaren Oberflächen detektiert, und ein Modul 88 zur Extraktion von Bildmerkmalen umfassen, das Operationen wie etwa eine skaleninvariante Merkmalstransformation (SIFT) durchführt, um Objekte wie etwa Ecken und Deskriptoren wie etwa Pixel um einen bestimmten Ort herum und dergleichen zu identifizieren. Eine Ausgabe des Moduls 88 zur Extraktion von Bildmerkmalen wird an sowohl ein Modul 90 für 3D-Merkmalskoordinaten, das 3D-Merkmalskoordinaten über die Struktur aus der Bewegung beispielsweise des Host-Kraftfahrzeugs 18 bestimmt, und ein Modul 92 zur Detektion von Schleifenschlüssen weitergeleitet, das erkennt, ob ein Objekt oder eine Oberfläche vorher identifiziert wurde und zu einem zweiten oder späteren Zeitpunkt identifiziert wird.
Ausgaben von einzelnen Modulen des Moduls 86 zur Detektion von 3D-Positionen, des Moduls 90 für 3D-Merkmalskoordinaten und des Moduls 92 zur Detektion von Schleifenschlüssen werden zusammen mit den Fahrzeugsensordaten 74 und den Entfernungsdaten 82 an einen Modellgenerator 94 weitergeleitet. Die Daten vom Modellgenerator 94 werden an einen Optimierer 96 weitergeleitet, bei dem es sich beispielsweise um einen Kalman-Filter oder einen nichtlinearen Kleinste-Quadrate-Solver handeln kann. Der Optimierer 96 löst die Frage nach dem Ort des Kraftfahrzeugs wie etwa des Host-Kraftfahrzeugs 18 und etwaiger identifizierten Objekte. Eine Ausgabe vom Optimierer 96 wird an eine Fahrzeugkarte 98 weitergeleitet und erzeugt diese. Eine Ausgabe des Moduls 84 zur Detektion semantischer Merkmale wird direkt an die Fahrzeugkarte 98 weitergeleitet und der Fahrzeugkarte 98 hinzugefügt, nachdem eine räumliche Lage eines Fahrzeugs identifiziert ist. Es ist besonders zu erwähnen, dass der Modellgenerator 94, der Optimierer 96 und die Fahrzeugkarte 98 in entweder dem Kraftfahrzeug oder der Cloud verarbeitet werden können.
Sensorinformationen werden genutzt, um die räumliche Lage des Hosts und die Ortsbestimmungen verschiedener Merkmale gleichzeitig abzuschätzen (SLAM). Ein Netzwerk zur semantischen Segmentierung wird trainiert, um planare reflektierende Oberflächen zu identifizieren. Bildmerkmale werden geschätzt und kartiert. Semantische Merkmale, zum Beispiel Fahrbahnränder, werden der Karte hinzugefügt, nachdem die räumliche Lage des Fahrzeugs gelernt ist.
Bezugnehmend auf 6 zeigt ein Flussdiagramm 100 zur Kartenaggregation auf, dass Karten, die von einzelnen Fahrzeugen erstellt werden, wie etwa die in Bezug auf 5 bezeichnete Fahrzeugkarte 98, zusammen mit (n) mehreren weiteren Karten 102 mit den Daten aus den in Bezug auf 1 bezeichneten vorherigen Karten 38 kombiniert und beispielsweise in der Cloud gespeichert werden, um eine finale Karte 104 zu erstellen. Die vorherigen Karten 38 enthalten mehr Informationen über Konnektivität und andere fehlende Informationen. Die Daten von allen Karten, einschließlich der Fahrzeugkarte 98, der mehreren weiteren Karten 102 und der vorherigen Karten 38, werden durch ein Registrierungsmodul 106 geleitet, wobei beispielsweise die Fahrbahnränder von allen Karten registriert werden können, um etwaige Verzerrungen in den Positionsinformationen der Kartenmerkmale zu korrigieren. Das Registrierungsmodul 106 gleicht die Kartendaten ab, so dass alle Kartendaten von einzelnen Karten ausgerichtet sind. Die vom Registrierungsmodul 106 ausgegebenen ausgerichteten Karten werden dann an ein Fusions- bzw. Verschmelzungsmodul 108 weitergeleitet, das die Kartendaten unter Verwendung eines gewichteten Durchschnitts fusioniert bzw. verschmelzt und die Daten vor Ausgabe der finalen Karte 104 glättet.
Unter Bezugnahme auf 7 und erneut auf 1 zeigt ein Flussdiagramm 110 einer Offline-Kartierungsprozesses mehrere Verarbeitungsschritte auf, die an dem Satz von Crowd-Sourced-Daten 16 durchgeführt werden können, die über das Datenpaket 28 durch eine Cloud-Edge 112 zu einer Cloud-Verarbeitungsgruppe 114 hochgeladen werden. Ein hochgeladener Datensatz 116 eines einzelnen Fahrzeugs kann wie folgt verarbeitet werden. Eine Sequenz von Stichproben des hochgeladenen Datensatzes 116 eines einzelnen Fahrzeugs wird an ein Modul 118 zur Merkmalsextraktion und -rekonstruktion weitergeleitet, das Datenmerkmale in der Reihenfolge der Sequenz der Stichproben extrahiert und 3D-Merkmale rekonstruiert. Mehrere, durch Modul 118 zur Merkmalsextraktion und -rekonstruktion einzeln erzeugte Teilpunktwolken werden an ein Modul 120 zur Registrierung von Punktwolken weitergeleitet, das die mehreren Teilpunktwolken registriert und verfolgt. Eine Ausgabe des Moduls 120 zur Registrierung von Punktwolken wird in ein Segmentierungsmodul 122 geleitet, das identifizierte planare Oberflächen erfasster Objekte segmentiert. Die Sequenz der Stichproben des hochgeladenen Datensatzes 116 eines einzelnen Fahrzeugs wird ebenfalls parallel dazu an ein Stichproben-Positionsbestimmungsmodul 124 weitergeleitet, das identifizierten Bildern Positionsbestimmungsdaten zuordnet. Ein Satz von Stichprobenpositionen 126 wird vom Stichproben-Positionsbestimmungsmodul 124 ausgegeben. Eine weitere Ausgabe des Moduls 120 zur Registrierung von Punktwolken wird in eine globale Punktwolke 128 geleitet und darin gespeichert. Daten aus der globalen Punktwolke 128 können einzeln an das Stichproben-Positionsbestimmungsmodul 124 und an das Segmentierungsmodul 122 weitergeleitet werden. Eine Ausgabe vom Segmentierungsmodul 122 wird verwendet, um eine Datenbank, die mehrere Modelle 130 planarer Oberflächen enthält, zu erzeugen.
Parallel zu den Analysen und der Verarbeitung des hochgeladenen Datensatzes 116 eines einzelnen Fahrzeugs wird ein crowd-basierten AP-Mapping- bzw. AP-Kartierungs-Datensatz 132 separat verarbeitet. Die Daten aus dem Satz von Stichprobenpositionen 126 werden an einen Teilchenfilter 134 weitergeleitet, der so arbeitet, dass er Daten aus dem Satz von Stichprobenpositionen 126 aktualisiert und eine Stichprobenwiederholung durchführt (engl.: resamples). Ein Teilchenfilter-Initialisierungsmodul 136 empfängt eine Ausgabe des Teilchenfilters 134, die ein nächstes oder APn-Objekt initialisiert. Ein Satz von AP-Positionen 138 definiert eine finale Ausgabe der Cloud-Verarbeitungsgruppe 114 unter Verwendung einer Ausgabe des Teilchenfilters 134.
Es wird besonders erwähnt, dass eine Bildverarbeitung und die vom Modul 118 zur Merkmalsextraktion und -rekonstruktion durchgeführte Bildverarbeitung auch von einem oder mehreren der Kraftfahrzeuge statt in der Cloud-Verarbeitungsgruppe 114 durchgeführt werden können. Die extrahierten Merkmale und 3D-rekonstruierten Bilddaten können dann zusammen mit dem Datenpaket 28 von den Kraftfahrzeugen über die Cloud Edge 112 hochgeladen werden.
Unter Bezugnahme auf 8 und erneut auf 1 und 7 sieht ein Beispiel für den Kartierungsprozess wie folgt aus. Das Host-Kraftfahrzeug 18 fährt durch eine enge Straße 140, die eine Stadtschlucht definiert. Das Host-Kraftfahrzeug 18 sammelt eine Sequenz von Sensordaten in einem Zeitstrahl von einem Zeitpunkt t0 bis zu einem Zeitpunkt tn. Jeder Frame von Daten kann ein Kamerabild, Messungen zur drahtlosen Positionsbestimmung, GPS-Daten, Fahrzeuggeschwindigkeit, Gieren bzw. eine Kursabweichung und dergleichen enthalten. Alle gesammelten Daten werden in die Cloud wie etwa in die Cloud-Verarbeitungsgruppe 114, die unter Bezugnahme auf 7 beschrieben wurde, für die Offline-Kartierung hochgeladen.
Für den On-Cloud-Standort gibt es zwei Kartierungsprozesse. A Prozess 1 definiert eine Datenvorverarbeitung eines Fahrzeugs. Der Zweck besteht darin, Stichproben einer Sensormessung eines Fahrzeugs zu verarbeiten und in drei (3) Datenbanken, eine Datenbank für globale Punktwolken, eine Datenbank für planare Oberflächen und eine Datenbank für Stichprobenpositionen, zu integrieren.
Weiter auf 7 und 8 bezugnehmend lädt das Modul 118 zur Merkmalsextraktion und -rekonstruktion die Sequenz von Bildern (oder Lidar, Radar) und setzt 3D-Rekonstruktionsalgorithmen wie Visual SLAM oder eine Struktur aus einer Bewegung (engl.: Structure From Motion) (SFM) wirksam ein, um die 3D-Punktwolke zu rekonstruieren.
Das Modul 120 zur Registrierung von Punktwolken verwendet Algorithmen zur Punktregistrierung, um diese Punktwolke in die bestehenden globalen Punktwolkendaten zu integrieren, die mittels anderer Crowd-Sourced-Daten erstellt wurden.
Das Segmentierungsmodul 122 setzt Oberflächenalgorithmen wirksam ein, um gültige planare Oberflächen aus der Punktwolke zu identifizieren. Beispielsweise werden die Oberflächen 142, 144, 146, 148 detektiert. Die Oberflächen 142, 144, 146, 148 werden in die Datenbank gesichert, die mehrere Modelle 130 planarer Oberflächen enthält.
Das Stichproben-Positionsbestimmungsmodul 124 setzt das Kamerabild aus jedem Frame von Daten wirksam ein, um eine genaue Position des Fahrzeugs unter Verwendung von Algorithmen zur Positionsbestimmung von Visual SLAM oder SFM zu bestimmen. Ist der 3D-Punkt einmal bestimmt, fügt das Stichproben-Positionsbestimmungsmodul 124 diesem 3D-Stichprobenpunkt Daten einer Messung zur drahtlosen Positionsbestimmung wie etwa FTM, Kanalzustandsinformationen (CSI), parallele verteilte Verarbeitung (PDP) und dergleichen hinzu. Jeder Frame der Daten aus der hochgeladenen Sequenz wird dann verarbeitet, und die erzeugten 3D-Stichprobenpunkte werden in die Datenbank gesichert, die durch den Satz von Stichprobenpositionen 126 definiert ist.
Diese drei Datenbanken werden später als Eingabe von einem Prozess 2, AP-Kartierungs-Datensatz 132 aus der Crowd-Source, verwendet, der einen crowd-basierten AP-Kartierungsprozess definiert, wobei das Teilchenfilter-Initialisierungsmodul 136 den Teilchenfilter 134 initialisiert, um einen bestimmten AP (d. h. APx) zu lokalisieren.
Der Teilchenfilter 134 aktualisiert diese Teilchenfilterdaten unter Verwendung der Stichproben einer Messung zur drahtlosen Positionsbestimmung aus der Datenbank für Sätze von Stichprobenpositionen 126. Dieser Aktualisierungsprozess durchläuft mehrere Iterationen, bis eine vorgegebene Endbedingung erfüllt ist. Ist sie einmal erfüllt, wird die finale Position eines APx in der Datenbank für AP-Positionen 138 gespeichert.
Im Teilchenfilter 134 wird eine Teilchengewichtsberechnung durchgeführt. Für ein Teilchen gj wird das Gewicht gemäß Gleichung 3 unten berechnet: $w_{j} = \sum_{j} \sum_{i} \sum_{k} P D P (q_{j}, s_{i}, p_{k})$
In Gleichung 3 ist gj eines der Teilchen, ist si eine der Funkstichproben und ist pk einer der Wege von gj zu si. Der Weg kann ein direkter Weg (wie etwa p0) oder ein Reflexionsweg (wie etwa p4) sein. PDP(qj,si,pk) ist eine Funktion, die den entsprechenden Leistungspegel aus der drahtlosen bzw. Funkmessung für einen gegebenen Weg pk zwischen qj und s8 ermittelt.
Da die Positionen von si und gj bekannt sind, ist die Länge ihres direkten Weges oder Reflexionsweges bekannt. Die Weglänge kann basierend auf der bekannten Lichtgeschwindigkeit in eine Laufzeit umgewandelt werden. Die Laufzeitwerte können auf das Leistungsverzögerungsprofil abgebildet werden, das mittels der Funkmessung aus einer Positionsstichprobe erzeugt wird.
Die mittels des Wahrnehmungssystems detektierten Merkmale können optional mit einem abgebildeten Merkmal assoziiert bzw. verknüpft werden. Zustände schließen eine räumliche Lage des Kraftfahrzeugs wie etwa des Host-Kraftfahrzeugs 18, Koordinaten der Reflektoren im Bereich des Host-Kraftfahrzeugs 18, AP-Positionen für einzelne der Hypothesen und Positionen der Bildmerkmale ein. Ein Zustandsmodell wird auf der Grundlage der folgenden Gleichungen 4 bis 8 entwickelt: $x_{t + 1}^{Host} = x_{t}^{Host} + Δ x_{t}^{Odom}$
$ϕ_{t + 1}^{Host} = ϕ_{t}^{Host} + Δ ϕ_{t}^{Odom}$
$p_{t + 1}^{Reflektor, i} = p_{t}^{Reflektor, i}$
$p_{t + 1}^{AP, j} = p_{t}^{AP, j}$
$p_{t + 1}^{Merkmal, l} = p_{t}^{Merlmal, l}$
Die Beobachtungen umfassen: 1) Odometrie-Informationen, die Trägheitsmesseinheit (IMU) 76, den Raddrehzahlsensor (WSS) 78, visuelle Odometrie (VO) und dergleichen; 2) Bildmerkmale; 3) GPS-Daten; 4) Reflektorkoordinaten aus der Wahrnehmung und 5) Entfernung, eine MAC-Adresse und AoA-Messungen von APs, sofern verfügbar. Ein Beobachtungsmodell wird auf der Grundlage der nachstehenden Gleichungen 9 bis 12 entwickelt: ${\tilde{x}}^{GPS} = x_{t}^{Host}$
${\tilde{p}}^{Reflektor, i} = R (- ϕ_{t}) (p_{t}^{Reflektor, i} - x_{t}^{Host})$
${\tilde{p}}^{Merkmal, l} = R (- ϕ_{t}) (p_{t}^{Merkmal, l} - x_{t}^{Host})$
$ψ (R (- ϕ_{t}) (p_{t}^{AP, i} - x_{t}^{Host}); p_{t}^{Reflektor, i}, {\tilde{r}}_{k}) = 0$
Mit der Hinzufügung von Schleifenschluss-Einschränkungen stellt das obige System ein SLAM-Problem dar. Für jede Messung können mehrere AP-Standorte geschätzt werden, da nicht bekannt sein kann, ob die Quelle LOS oder NLOS ist. AP-Informationen werden auf der Grundlage von MAC-Adressen zugeordnet. Eine Lösung kann unter Verwendung von Kalman-Filtern, Teilchenfiltern oder einer Faktor-Graph-Optimierung erhalten werden.
Unter Bezugnahme auf 9 und erneut auf 1 bis 8 liefert ein Flussdiagramm 150 Verfahrensschritte zum Durchführen des On-Cloud-Kartierungsprozesses. Für einen Schritt 152 zur Verarbeitung von Daten eines einzelnen Fahrzeugs werden die eine oder die mehreren Kameras 22, das Lidarsystem 24 oder dergleichen verwendet, um reflektierende Oberflächen zu detektieren, wie etwa über eine semantische Segmentierung, und werden sie in einem Schritt 154 zur Erfassung bzw. Sammlung einer Sequenz von Stichproben gesammelt. Die Daten aus dem Schritt 154 zur Sammlung von Stichproben werden dann in einem Mapping-Schritt 156 an planare Modelle angepasst. Visuelle Merkmale werden ebenfalls extrahiert, abgeglichen und für eine Odometrie und einen Schleifenschluss verfolgt. Eine oder mehrere AP-Karten mit geschätzten AP-Positionen und planaren Oberflächen werden dann in einem AP-Karten-Erzeugungsschritt 158 erzeugt. Mehrere Karten planarer Oberflächen werden in einem Schritt 160 zur Erzeugung von Karten planarer Oberflächen erzeugt. Funk-AP-Entfernungsinformationen werden mit den Detektionen planarer Oberflächen kombiniert, um eine echte AP-Position zu schätzen. Der in 7 beschriebene Teilchenfilter 134 wird dann verwendet, um eine räumliche Verteilung der AP-Positionen und die räumliche Lage des Fahrzeugs zu erhalten. In einem Schritt 162 zur Sammlung von Karten werden die von anderen Fahrzeugen erzeugten Karten gesammelt.
In einem Datenaggregationsschritt 164 werden die Kartendaten aus dem AP-Kartenerzeugungsschritt 158, dem Schritt 160 zur Erzeugung von Karten planarer Oberflächen und dem Schritt 162 zur Sammlung von Karten aggregiert. Auch im Aggregationsschritt 164 werden aus den von den einzelnen Fahrzeugen gesammelten Daten aggregierte Teilkarten aggregiert und verwendet, um optimierte globale Funk-AP-Karten 166 von Funkzugangspunkten zu erzeugen und zum globale Karten 168 planarer Oberflächen zu erzeugen. Der Mapping- bzw. Kartierungserzeugungsprozess kann an Bord irgendeines der mehreren Kraftfahrzeuge, einschließlich des Host-Kraftfahrzeugs 18, oder in der Cloud-Verarbeitungsgruppe 114 stattfinden, die unter Bezugnahme auf 7 beschrieben wurde.
Die folgenden marginalen Likelihood-Funktionen können definiert werden:

f(y/H_o,z,ψ) = P(p₁ ist LOS) P(p₂ ist NLOS) P(r₁ ist LOS) P(r₂ ist NLOS)
f(y|H1,z,ψ) = P(p₁ ist NLOS)(r₁ ist NLOS)P(p₁ ist zufällig)P(r₁ ist zufällig)
f(y|Ha,z,ψ) = P(y ist zufällig) = U(y,a,b)

P(p_j ist LOS) = N(p_j-p(|z|,1,p₀),σ)² _p
P(p_j ist NLOS) = N(p_j-p(|z|,α,p₀),σ)² _p
P(r_j ist LOS) = N(r_j-|z|,1,σ)² _r
P(r_j ist NLOS) = 1/|L|Σ_i N(|w_i-z|-r_j,σ² _r) I(Winkel(z - w_i) ∈: θ_i)

N(x, σ²) ist die Wahrscheinlichkeit einer Gauß-Kurve mit Null-Mittelwert und Varianz σ² bei x
U(y,a,b) ist eine Wahrscheinlichkeit einer Gleichverteilung zwischen a und b |L| ist die Kardinalität von L
(wi, θ_i) = m(li,x₀ ,r)_i
I (cond) ist 1, falls cond wahr ist, sonst 0
ψ = (p0, α, σ² _p, σ² _r) sind Störungsparameter

Sind die vorherigen P(z),Phi),P(Ψ) etc. gegeben, ist das Ziel die Schätzung des späteren P(z,Hi, Ψ/y).
Unter Bezugnahme auf 10 werden die Annahmen des Messmodells, unter der Voraussetzung von drei möglichen Hypothesen in Anbetracht eines abgeleiteten AP-Standorts z = (x,y) eines beispielhaften AP 172 und der Messung y = (r₁, p₁, r₂, p₂), wie folgt dargestellt. Es sind drei Fahrzeuge, die das Host-Kraftfahrzeug 18, das erste 20a der anderen Fahrzeuge und ein zweites 20b der anderen Fahrzeuge umfassen, dargestellt. Der AP 172 wird relativ zu den drei Fahrzeugen und in Bezug auf einen beispielhaften Reflektor 174 dargestellt, wobei gelten:

H0, definiert durch ein erstes Liniensegment 176: z repräsentiert die LOS-Position des AP.
H1, definiert durch einen zweiten Satz von Liniensegmenten 178', 178": z repräsentiert die reflektierte Position erster Ordnung des AP.
Ha, definiert durch einen dritten Satz von Liniensegmenten 180', 180'', 180''': z repräsentiert eine Reflexion höherer Ordnung oder stammt von einem unbekannten Reflektor oder ist ein Ausreißer.

Es wird angenommen, dass die Empfangsleistung einem inversen quadratischen Gesetz p(r,α,p₀) = α (p₀ / (r/r)₀)² folgt, wobei α = 1 für LOS-Signale und α < 1 für Reflexionen ist. Für die Abbildung bzw. Kartierung besteht der Zustandsraum aus: einer Position bzw. räumlichen Lage des Host-Kraftfahrzeugs, einer Position der planaren Oberfläche, der Position des AP 172, ist eine Referenzleistung p₀ und ist ein Reflexionsverlust α.
Gemäß einem ersten Aspekt erstellt die Cloud-Seite wie etwa die Cloud-Verarbeitungsgruppe 114, die unter Bezugnahme auf 7 definiert wurde, eine hybride Karte einer Crowd-Source, die auf Funksignalen und visuellen Merkmalen basiert, die von vielen Fahrzeugen gesammelt wurden. Ein Low-End-Fahrzeug, das als ein Kraftfahrzeug definiert ist, das nur mit Funkradiogeräten ausgestattet ist, kann unter Verwendung der crowd-basierten hybriden Karte eine präzise Positionsbestimmung erzielen. Die crowd-basierte hybride Karte kann auch verwendet werden, um Mehrweg-Fehler aus Funkpositionsbestimmungssignalen zu korrigieren.
Gemäß einem zweiten Aspekt, wobei eine verbesserte visuelle Positionsbestimmung mit Funksignalen angewendet wird, erzeugt die Cloud-Seite wie etwa die unter Bezugnahme auf 7 definierte Cloud-Verarbeitungsgruppe 114 eine crowd-basierte hybride Karte basierend auf Funksignalen und visuellen Merkmalen, die von vielen Fahrzeugen gesammelt wurden. Ein High-End-Fahrzeug, das als ein Kraftfahrzeug definiert ist, das mit Funkradiogeräten und kameragestützten/visuellen Merkmalen ausgestattet ist, kann die crowd-basierte hybride Karte wirksam einsetzen, um den Prozess einer präzisen Positionsbestimmung auch unter bestimmten Bedingungen, einschließlich beispielsweise, aber nicht darauf beschränkt, veränderter Lichtverhältnisse, einer verlorenen Nachverfolgung visueller Merkmale, einer schnellen Fahrzeugbewegung und dergleichen, zu verbessern.
Gemäß einem dritten Aspekt ist, wenn man das vorliegende System unter Verwendung von Funksignalen plus einer visuellen Merkmalspositionsbestimmung mit einer Berechnung an Bord in einem oder mehreren einzelnen Fahrzeugen laufen lässt, keine Cloud-Berechnung erforderlich.
Gemäß einem vierten Aspekt kann, wobei nur eine Positionsbestimmung über ein Smartphone mit Funksignalen genutzt wird, die Positionsbestimmung für das Smartphone, insbesondere in Straßenschluchten oder Parkhäusern mit mehreren Stockwerken, eine Herausforderung darstellen. Ein Smartphone kann 1) die Reflektormodelle und Funk-AP-Modelle wirksam einsetzen, um Mehrweg-Fehler zu kompensieren und die Genauigkeit der Positionsbestimmung allein mit Funksignalen zu verbessern; und 2) kann, wenn eine Kamera am Smartphone aktiv ist, die Smartphone-Kamera die Positionsbestimmung unterstützen, indem sie die visuellen Merkmale in der Punktwolke wirksam einsetzt.
Das System und Verfahren 10 zur Kartierung einer Außenumgebung der vorliegenden Offenbarung nutzt wirksam Fahrzeugsensordaten einer Crowd-Source, um Karten von Funkzugangspunkten und Karten von Reflexionsflächen zu erzeugen. Das System und Verfahren 10 zur Kartierung einer Außenumgebung nutzt Algorithmen für visuelle Merkmale (z. B. SLAM), um 3D-Modelle der Umgebungen zu erzeugen und planare Oberflächen zu extrahieren, die Mehrweg-Reflexionen verursachen können. Auf der Grundlage der erzeugten planaren Oberflächen werden die Funkreflexionswege modelliert und werden die genauen Positionen der Funk-APs bestimmt.
Das System und Verfahren 10 zur Kartierung einer Außenumgebung der vorliegenden Offenbarung bietet mehrere Vorteile. Diese umfassen ein System, das die Kartierung einer Außenumgebung unter Verwendung einer Kombination von visuellen Merkmalen und Funksignalen ermöglicht. Mehrweg-Quellen werden unter Verwendung visueller Merkmale von einer Kamera, Lidar oder anderen Sensoren identifiziert. Die Karten können über die Cloud mit anderen Karten kombiniert und anschließend von Fahrzeugen niedriger Klassen (Fahrzeugen ohne fortgeschrittene Leit- bzw. Steuerungssysteme) für Funktionen wie die Positionsbestimmung verwendet werden. Visuelle Merkmale werden verwendet, um bei der Kartierung Reflexionen und dynamische Objekte in der Umgebung zu identifizieren. Visuelle Merkmale werden auch verwendet, um der Erzeugung konsistenter Karten zusammen mit Funkmessungen zu unterstützen.
Die Beschreibung der vorliegenden Offenbarung ist ihrer Art nach lediglich beispielhaft, und es ist beabsichtigt, dass Varianten, die nicht vom Kern der vorliegenden Offenbarung abweichen, innerhalb des Umfangs der vorliegenden Offenbarung liegen. Solche Varianten sind nicht als Abweichung vom Geist und Umfang der vorliegenden Offenbarung zu betrachten.

Claims

System zur Kartierung einer Außenumgebung, umfassend: zumindest eine Karte, die eine Karte für Positionen von Zugangspunkten (AP), die Positionen mehrerer APs identifiziert, und eine Reflektorkarte umfasst, die aus mehreren visuellen Merkmalen und mehreren Funksignalen erzeugt wird, die von mehreren Kraftfahrzeugen erfasst werden; einen Satz von von einzelnen der mehreren Kraftfahrzeuge gesammelten Crowd-Sourced-Daten, die von mehreren Wahrnehmungssensoren abgeleitet werden, wenn das zumindest eine der mehreren Kraftfahrzeuge einen Kartierungsbereich passiert; eine Gruppe mit Messungen zur drahtlosen Positionsbestimmung; ein Datenpaket, das aus dem Satz von Crowd-Sourced-Daten erzeugt wird, einschließlich einer Gruppe von Stichproben einer drahtlosen Positionsbestimmung und einer Gruppe von visuellen Merkmalen, wobei das Datenpaket an eine On-Cloud-Datenbank weitergeleitet wird, wo ein On-Cloud-Kartierungsprozess durchgeführt wird; und mehrere Entfernungsmessungen, die kreisförmige AP-Kandidatenpositionen innerhalb eines Freiraum-Betriebsfensters eines Fahrzeugbetriebs von zumindest einem der mehreren Kraftfahrzeuge ergeben, wobei die Anwendung der mehreren Entfernungsmessungen plus mehrerer Reflektoren, die an mehreren planaren reflektierenden Oberflächen definiert sind, die AP-Kandidatenpositionen verbessert.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei die Messungen zur drahtlosen Positionsbestimmung eine Laufzeit, einen Ankunftswinkel, eine Kanalzustandsinformation und Leistungsverzögerungsprofile umfassen.
System zur Kartierung einer Außenumgebung nach Anspruch 2, wobei der von den mehreren Wahrnehmungssensoren gesammelte Satz von Crowd-Sourced-Daten Bilder von einer oder mehreren Kameras, Bilder von einem oder mehreren Systemen zur lasergestützten Richtungs- und Entfernungsmessung (Lidar) und Bilder von einem Radarsystem umfasst.
System zur Kartierung einer Außenumgebung nach Anspruch 3, wobei zusätzliche Sensordaten, die Daten von einem GNSS, eine Fahrzeuggeschwindigkeit, eine Fahrzeug-Kursabweichung und Fahrzeug-CAN-Bus-Daten einschließen, gesammelt werden.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei die AP-Positionskarte und die Reflektorkarte Kandidatenstandorte von Zugangspunkten (APs) und AP-entsprechende Medienzugangssteuerungs- (MAC-) Identitäten individuell enthalten können.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei Standorte potentieller Signalreflektoren, die Oberflächen definieren, an denen Funksignale reflektiert werden können, durch die AP-Positionskarte und die Reflektorkarte identifiziert werden.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei zumindest eines der mehreren Kraftfahrzeuge mit einem Funkempfänger ausgestattet ist, wobei der Funkempfänger Entfernungsmessungen zu verschiedenen der APs liefert, wobei die Entfernungsmessungen als eine von Sichtlinien- (LOS-) oder Nicht-Sichtlinien- (NLOS-) Messungen bereitgestellt werden.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei die AP-Positionskarte und die Reflektorkarte ferner semantische Daten, die Straßen und Kreuzungen identifizieren, enthalten.
System zur Kartierung einer Außenumgebung nach Anspruch 1, ferner aufweisend zumindest eine aggregierte Teilkarte, die für die mehreren Kraftfahrzeuge und optimierte globale Karten der Funk-APs und der mehreren planaren reflektierenden Oberflächen erzeugt wird, und wobei die AP-Positionskarte und die Reflektorkarte ferner mit von einer oder mehreren, vorher erzeugten Kraftfahrzeugkarten hochgeladenen Daten kombiniert werden.
System zur Kartierung einer Außenumgebung nach Anspruch 1, wobei der On-Cloud-Kartierungsprozess einzelne der von mehreren Kraftfahrzeugen hochgeladenen Daten, wirksam eingesetzte visuelle Merkmale und Programme zur drahtlosen Positionsbestimmung einschließt, die verwendet werden, um die AP-Positionskarte und die Reflektorkarte zu erzeugen.