DE102022004316A1

DE102022004316A1 - System und Verfahren zur Landmarkenextraktion

Info

Publication number: DE102022004316A1
Application number: DE102022004316.5A
Authority: DE
Inventors: Florian RIES; Deepak Panda
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-12-08
Filing date: 2022-11-21
Publication date: 2023-06-15

Abstract

Die vorliegende Offenbarung stellt ein System und Verfahren bereit, das Folgendes umfasst: Erfassen von Objekten bei 302-1, 302-10 und 302-13 durch SMPC, LRL bzw. andere Sensoren, Bestimmen von jeweiligen Grenzpolygonen bei 302-2, 302-11 und 302-14, und ferner Erhalten von jeweiligen Landmarkenkandidaten bei 302-3, 302-12 und 302-15. In 302-4 werden die von einem einzelnen Sensor beobachteten Landmarkenkandidaten bestimmt und dementsprechend wird eine Messungsaktualisierung durchgeführt. Für die Messungsaktualisierung erhält das System Merkmalspunkte von verschiedenen Sensoren bei 304-1, führt deren Vorfilterung bei 304-2 durch und prüft bei 304-4 auf Kompatibilität. Wenn bei der Eingrenzung mehrere Beobachtungen in Block 304-7 gefunden werden, fusioniert das System die Positionen aller gleichzeitigen Beobachtungen in 304-8, andernfalls aktualisiert das System die verfolgte Landmarke in 304-9. Andernfalls, wenn keine Kompatibilität gefunden wird, wird in 304-11 eine neue Landmarke hinzugefügt. Der Puffer für kreisförmige Landmarken wird in Block 304-10 unter Berücksichtigung von 304-8, 304-9 und 304-11 aktualisiert, und die entsprechende Lokalisierung wird in 304-13 durchgeführt.

Description

Die vorliegende Offenbarung bezieht sich auf autonome Fahrzeuge. Insbesondere stellt die vorliegende Offenbarung ein System und Verfahren zur Landmarken-Extraktion bereit.
Ein autonomes Fahrzeug (Autonomous Vehicle, AV) muss möglicherweise seinen Standort innerhalb eines Straßenabschnitts erfassen, was in der Technik auch als Lokalisierung bezeichnet wird, um zu einem Ziel zu navigieren. Eine hochpräzise Lokalisierung ist jedoch eine Herausforderung im Bereich des autonomen Fahrens. Zur Durchführung der Lokalisierung kann das AV Landmarken verwenden, deren Koordinaten bekannt sind. Ziel ist es, eine hochdetaillierte Karte (z. B. eine hochauflösende (HD) Karte) zu erstellen, die eine Vielzahl von Landmarken enthält. Es wird davon ausgegangen, dass das AV mit Sensor- oder Bildaufnahmetechnologien ausgestattet ist, die in der Lage sind, Landmarken in ihrem eigenen Referenzrahmen zu erfassen und zu lokalisieren. Die globalen Koordinaten der Landmarken werden aus der Kartendatenbank gewonnen, sobald die relative Position zwischen dem Fahrzeug und den Landmarken bestimmt wurde.
Die Herausforderung bei den bestehenden Verfahren besteht darin, dass die Erfassung von Landmarken in der Regel nicht schlüssig ist, da die zugrunde liegenden Erfassungen nicht klassifiziert sind, da es sich um jede beliebige stationäre Struktur handeln kann, die zufällig eine entsprechende Reihe von geometrischen Filtern passiert.
Konventionelle Verfahren können spezielle Monoklassifikatoren zur Erfassung von Landmarken verwenden. Ferner kann die Lokalisierung der Landmarken in einem herkömmlichen System 100 wie in einem Blockdiagramm dargestellt sein, wie in 1A gezeigt. Die konventionellen Verfahren können sich auf Monoklassifikatoren stützen, um die Landmarken in Kamerabildern zu erfassen. Während die Erfassung von Monoklassifikatoren für die Landmarken in Kamerabildern eine offensichtliche Wahl sein kann, da viele Landmarken für die visuelle Auffälligkeit entworfen werden können, kann sie auch mehrere Nachteile aufweisen. Erstens erfordern die Monoklassifikatoren erhebliche zusätzliche Rechenressourcen. Zweitens können Monoklassifikatoren Schwierigkeiten haben, Besonderheiten zu erfassen, die in den für diese Klassifikatoren verwendeten Trainingsdaten nicht gut repräsentiert sind. Und da diese Trainingsdaten sich von denen unterscheiden können, die zur Erstellung der Objektdarstellungen in der Karte verwendet werden, kann die Karte andere Besonderheiten aufweisen, die möglicherweise nicht gut dargestellt werden, und die sich überschneidende Menge von Objekten, die abgeglichen werden können, kann zweifach verringert werden.
Das herkömmliche System zur Lokalisierung 100 (hier austauschbar als System 100 bezeichnet) von Landmarken kann den Empfang von Daten von einem Satelliten 102 zu einer GNSS- (Global Navigation Satellite System) Verarbeitungseinheit 104 umfassen. Ferner können HD-Karten 106 an eine HD-Verarbeitungseinheit 108 übertragen werden. Die Daten von Fahrzeugsensoren 110 können an eine Sensorfusionseinheit 112 gesendet werden. Die Daten von der HD-Verarbeitungseinheit 108 und der Sensorfusionseinheit 112 können an ADAS-Anwendungen 116 gesendet werden. Die Daten von der HD-Verarbeitungseinheit 108 und der Sensorfusionseinheit 112 können an eine Lokalisierungseinheit 114 gesendet werden. Ferner kann die Lokalisierungseinheit 114 die Daten an die ADAS-Anwendungen 116 übertragen.
Die Landmarken können oft sensoragnostische Darstellungen von intuitiven Objekten wie Verkehrsschildern, Leitpfosten, Masten und Brücken sein, wie in 1B gezeigt, wenn die Daten vom Sensor mit dem konventionellen System von 1A verarbeitet werden können.
Ferner zeigt 1C, dass auch Vegetation oder Bäume als Landmarken erkannt werden können. Die technische Herausforderung kann darin bestehen, dass die nicht klassifizierten stationären Erfassungen sehr instabil und verrauscht sein können und dass viele Nicht-Landmarken-Erfassungen am Straßenrand scheinbar Landmarken-kompatible Geometrien aufweisen können (z. B. Vegetation am Straßenrand).
Das Patentdokument EP3306429A1 offenbart eine eigene Positionsschätzungsvorrichtung, die eine Landmarkenposition einer Landmarke, die um einen mobilen Körper herum existiert, und einen Bewegungsbetrag des mobilen Körpers erfasst. Die Vorrichtung akkumuliert auch, als Teile von Landmarkenpositionsdaten, Landmarkenpositionen, die jeweils durch Bewegen der erfassten Landmarkenposition um das Bewegungsausmaß erhalten werden. Die Vorrichtung erwirbt dann Karteninformationen, die Landmarkenpositionen von auf einer Karte vorhandenen Landmarken enthalten, durch die Steuerung, und gleicht die Teile der Landmarkenpositionsdaten in einem bestimmten Bereich mit den in den Karteninformationen enthaltenen Landmarkenpositionen ab. Ferner schätzt die Vorrichtung die eigene Position des mobilen Körpers, wobei der bestimmte Bereich basierend auf Bewegungsaufzeichnungen des mobilen Körpers auf dem Weg zu einer aktuellen Position festgelegt wird.
Das Patentdokument EP3885706A1 bezieht sich auf die Echtzeit-Lokalisierungsfehlerkorrektur eines autonomen Fahrzeugs (AV). Es wird ein Prozessor zur Echtzeit-Lokalisierungsfehlerkorrektur des AV bereitgestellt. Der Prozessor ist so konfiguriert, dass er eine Referenzlandmarke um das AV herum von einem Kartenaggregationsserver (Map Aggregating Server, MAS) abruft, wobei das AV für Folgendes konfiguriert ist: Interagieren mit dem MAS zur Echtzeitlokalisierung; Erfassen, in Echtzeit, einer Grundwahrheitslandmarke, die der Referenzlandmarke entspricht, gemäß Bilddaten, die von einer oder mehreren auf dem AV installierten Bilderfassungsvorrichtungen erfasst werden; und Bestimmen einer Abweichung zwischen der Grundwahrheitslandmarke und der Referenzlandmarke als Echtzeitkorrekturwert für die Echtzeitlokalisierung des AV.
Diese Dokumente sowie herkömmliche Systeme bieten jedoch keine zuverlässige und effiziente Lösung für die oben genannten Einschränkungen. Es besteht daher die Notwendigkeit, eine effiziente, optimale und kostengünstige Lösung bereitzustellen, die die oben genannten Einschränkungen beseitigt und ein System und Verfahren zur effizienten Durchführung der Landmarken-Extraktion bereitstellt.
Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, die oben genannten Einschränkungen zu beseitigen und ein System und Verfahren zur effizienten Durchführung der Landmarken-Extraktion bereitzustellen.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein verbessertes, effizientes und zuverlässiges System und Verfahren zum Extrahieren einer oder mehrerer Landmarken auf einem Weg bereitzustellen, auf dem das Fahrzeug fährt.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, das die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen ermöglicht.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, um wahrscheinliche Landmarken-Erfassungen aus Sensoren zu extrahieren, indem senkrechte Linien und hervorstechende Punkte mit relevantem Höhenreflexionsvermögen und dergleichen erkannt werden.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und ein Verfahren bereitzustellen, das keine zusätzliche Landmarken-Klassifizierung benötigt, um mit den Rohdaten der Sensoren zu arbeiten, da der Erfassungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, um die Rechenkomplexität zu reduzieren, da die hierin enthaltenen Verfahren auf den Polygondarstellungen arbeiten, die im Vergleich sehr leichtgewichtig sind, was zu einer Reduzierung der Systemkosten führt.
Eine weitere Aufgabe der vorliegenden Offenbarung ist, dass keine Notwendigkeit für die Ausbildung von Klassifikatoren besteht, weshalb keine Fehlabgleich an die Besonderheiten der Trainingsdaten vorliegen kann, die bei der Erstellung des Karteninhalts verwendet werden.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren für den Abgleich zwischen erkannten und kartierten Landmarken bereitzustellen, was wiederum die Leistung und Verfügbarkeit des Systems und Verfahrens erhöht.
Aspekte der vorliegenden Offenbarung beziehen sich auf autonome Fahrzeuge. Insbesondere stellt die vorliegende Offenbarung ein System und Verfahren zur Landmarken-Extraktion bereit.
Gemäß einem Aspekt bezieht sich die vorliegende Offenbarung auf ein System zur Extraktion von Landmarken, das in einem Fahrzeug implementiert ist. Das System umfasst Folgendes: eine Kamera, die dafür konfiguriert ist, einen ersten Satz von Merkmalspunkten zu erfassen, die mit einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind; eine Lichterfassungs- und Bewegungsvorrichtung (Light Detection and Ranging, LiDAR), die dafür konfiguriert ist, einen zweiten Satz von Merkmalspunkten zu erfassen, die mit dem einen oder den mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind; eine Positionierungseinheit, die dafür konfiguriert ist, eine Karte bereitzustellen, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht; und eine Landmarken-Extraktionsvorrichtung in Kommunikation mit der Kamera, der LiDAR und der Positionierungseinheit, wobei die Landmarken-Extraktionsvorrichtung einen oder mehrere Prozessoren umfasst, wobei der eine oder die mehreren Prozessoren operativ mit einem Speicher gekoppelt sind, wobei der Speicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren für Folgendes ausgeführt werden können: Empfangen, von der Kamera und der LiDAR, von Datenpaketen, die sich auf den ersten bzw. zweiten Merkmalspunkt beziehen; Erhalten, von der Positionierungseinheit, einer Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug bezieht; Bestimmen, aus den ersten und zweiten Merkmalspunkten, einer Landmarke unter dem einen oder mehreren Objekten, wobei die ersten und zweiten Merkmalspunkte Freiraumpolygone umfassen; Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken, die aus der erhaltenen Karte segmentiert wurden; Extrahieren erster und zweiter Landmarkenattribute, wie sie von der Kamera bzw. der LiDAR beobachtet werden, die mit der bestimmten Landmarke verbunden sind; und Verschmelzen der extrahierten ersten und zweiten Landmarkenattribute und entsprechendes Lokalisieren der bestimmten Landmarke.
In einem Aspekt ist die Landmarken-Extraktionsvorrichtung zum Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken für Folgendes konfiguriert: Kartieren der Übereinstimmung und der Position der bestimmten Landmarke mit dem einen oder den mehreren Typen von Landmarken; Bestimmen, ob die kartierte Übereinstimmung und die Positionen innerhalb eines Assoziationsfensters liegen; und Aktualisieren, wenn die ermittelte Übereinstimmung und die Positionen innerhalb des Assoziationsfensters liegen, eines ersten Datensatzes, der den einen oder die mehreren Typen von Landmarken umfasst.
In einem Aspekt, wenn die Landmarken-Extraktionsvorrichtung feststellt, dass die kartierte Übereinstimmung und die Position der bestimmten Landmarke außerhalb des Assoziationsfensters liegen, fügt die Landmarken-Extraktionsvorrichtung entsprechende Landmarken in den ersten Datensatz ein.
In einem Aspekt führt das System die extrahierten Landmarkenattribute zusammen, indem es für vertikale und horizontale Dimensionen Landmarkenattribute auswählt, deren Wert gleich oder größer als ein Schwellenwert ist.
In einem Aspekt blendet das System zumindest teilweise die Landmarkenattribute aus, deren Wert kleiner als der Schwellenwert ist.
In einem Aspekt umfassen der eine oder die mehreren Merkmalspunkte, die der Landmarke zugeordnet sind, eine beliebige oder eine Kombination aus Höhe, Breite, Ausrichtung und Position der Landmarke.
Gemäß einem Aspekt bezieht sich die vorliegende Offenbarung auf ein Verfahren zur Landmarken-Extraktion, wobei das Verfahren Folgendes umfasst: Erfassen, durch eine Kamera, eines ersten Satzes von Merkmalspunkten, die einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum zugeordnet sind; Erfassen, durch eine LiDAR, eines zweiten Satzes von Merkmalspunkten, die einem oder mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum zugeordnet sind; Bereitstellen, durch eine Positionierungseinheit, einer Karte, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht; Empfangen, an einer Landmarken-Extraktionsvorrichtung, von Datenpaketen, die sich auf die ersten und zweiten Merkmalspunkte von der Kamera bzw. der LiDAR beziehen; Erhalten, an der Landmarken-Extraktionsvorrichtung, einer Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug herum bezieht, von der Positionierungseinheit; Bestimmen, an der Landmarken-Extraktionsvorrichtung, einer Landmarke unter dem einen oder mehreren Objekten, wobei die ersten und zweiten Merkmalspunkte Freiraumpolygone umfassen; Abgleichen, an der Landmarken-Extraktionsvorrichtung, der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken, die aus der erhaltenen Karte segmentiert sind; Extrahieren, an der Landmarken-Extraktionsvorrichtung, erster und zweiter Landmarkenattribute, die mit der bestimmten Landmarke verbunden sind, wie sie von der Kamera bzw. der LiDAR beobachtet werden; und Verschmelzen, an der Landmarken-Extraktionsvorrichtung, der extrahierten ersten und zweiten Landmarkenattribute und entsprechendes Lokalisieren der bestimmten Landmarke.
In einem Aspekt umfasst das Verfahren zum Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken Folgendes: Kartieren, an der Landmarken-Extraktionsvorrichtung, von Übereinstimmung und Position der bestimmten Landmarke mit dem einen oder den mehreren Typen von Landmarken; Bestimmen, an der Landmarken-Extraktionsvorrichtung, ob die kartierte Übereinstimmung und die Positionen innerhalb eines Assoziationsfensters liegen; und Aktualisieren, wenn die ermittelte Übereinstimmung und die Positionen innerhalb des Assoziationsfensters liegen, eines ersten Datensatzes, der den einen oder die mehreren Typen von Landmarken umfasst.
In einem Aspekt, wenn die kartierte Übereinstimmung und die Position der bestimmten Landmarke als außerhalb des Assoziationsfensters liegend bestimmt werden, umfasst das Verfahren das Hinzufügen der entsprechenden Landmarke im ersten Datensatz.
In einem Aspekt umfasst das Verfahren das Zusammenführen der extrahierten Landmarkenattribute, indem es für vertikale und horizontale Dimensionen Landmarkenattribute auswählt, deren Wert gleich oder größer als ein Schwellenwert ist; und wobei das Verfahren das zumindest teilweise Ausblenden der Landmarkenattribute mit einem Wert kleiner als der Schwellenwert umfasst.
Verschiedene Objekte, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Ziffern gleiche Komponenten darstellen, deutlicher.
Die beigefügten Zeichnungen dienen dem weiteren Verständnis der vorliegenden Offenbarung und sind Bestandteil dieser Beschreibung. Die Zeichnungen zeigen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung zur Erläuterung der Grundsätze der vorliegenden Offenbarung.

1A zeigt eine beispielhafte Blockdiagramm-Darstellung eines herkömmlichen Lokalisierungssystems.
1B zeigt eine beispielhafte schematische Darstellung von Landmarken unter Verwendung des konventionellen Systems von 1A.
1C zeigt eine beispielhafte schematische Darstellung des Szenarios eines Weges und der auf dem Weg identifizierten Punkte unter Verwendung des konventionellen Systems von 1A.
2 zeigt eine beispielhafte Netzwerkarchitektur des vorgeschlagenen Systems, um dessen Funktionsweise gemäß einer Ausführungsform der vorliegenden Offenbarung zu erklären.
3A zeigt ein beispielhaftes Flussdiagramm für die Lokalisierung der Landmarkenpunkte durch das vorgeschlagene System, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
3B zeigt ein Flussdiagramm zur Messungsaktualisierung im Flussdiagramm von 3A, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
4A zeigt eine beispielhafte Darstellung eines Szenarios, das die Ansicht von Landmarken von der SMPC darstellt, gemäß einer Ausführungsform der vorliegenden Offenbarung.
4B zeigt eine weitere beispielhafte Darstellung des Szenarios, das die Ansicht der Landmarken von LiDAR darstellt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
5 zeigt ein Flussdiagramm, das das vorgeschlagene System in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung darstellt.

Es folgt eine ausführliche Beschreibung der in den begleitenden Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, dass die Offenbarung klar vermittelt wird. Jedoch soll die angebotene Ausführlichkeit die vorhersehbaren Variationen von Ausführungsformen nicht einschränken; im Gegensatz dazu wird beabsichtigt, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarung fallen, wie sie durch die beigefügten Ansprüche definiert sind.
Die hierin erläuterten Ausführungsformen beziehen sich auf die vorliegende Offenbarung in Bezug auf autonome Fahrzeuge. Insbesondere stellt die vorliegende Offenbarung ein System und Verfahren zur Landmarken-Extraktion bereit.
Unter Bezugnahme auf 2 kann die beispielhafte Netzwerkarchitektur des vorgeschlagenen Systems 200 (hier austauschbar als System 200 bezeichnet) eine Stereo-Mehrzweckkamera (Stereo Multi-Purpose Camera, SMPC) 202 (hier austauschbar als Kamera 202 bezeichnet) umfassen, die so konfiguriert werden kann, dass sie einen ersten Satz von Merkmalspunkten erfasst, die mit einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind, indem sie einen Satz von Multimedia-Rahmen des ersten vordefinierten Bereichs aufnimmt.
In einer Ausführungsform kann das System 200 eine Lichterfassungs- und Bewegungsvorrichtung (LiDAR) 204 umfassen, die so konfiguriert werden kann, dass es einen zweiten Satz von Merkmalspunkten erfasst, die mit dem einen oder den mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind.
In einer anderen Ausführungsform kann das System 200 eine Positionierungseinheit 206 umfassen, die so konfiguriert werden kann, dass sie eine Karte bereitstellt, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht. In einer beispielhaften Ausführungsform kann die Positionierungseinheit 206 eine Einheit des globalen Positionierungssystems (Global Positioning System, GPS), ein globales Navigationssatellitensystem (Global Navigation Satellite System, GLONASS), Galileo, ein indisches regionales Navigationssatellitensystem (Indian Regional Navigation Satellite System, IRNSS/NAVIC), ein Wi-Fi-basiertes Positionierungssystem und andere regionale und lokale Positionierungssysteme umfassen, ohne darauf beschränkt zu sein.
Gemäß einer Ausführungsform kann das System 200 eine Landmarken-Extraktionsvorrichtung 210 umfassen, die über ein Netzwerk 208 mit der Kamera 202, der LiDAR 204 und der Positionierungseinheit 206 in Verbindung stehen kann. Ferner kann das Netzwerk 208 ein drahtloses Netzwerk, ein verdrahtetes Netzwerk oder eine Kombination davon sein, das als eine der verschiedenen Arten von Netzwerken, wie Intranet, Local Area Network (LAN), Wide Area Network (WAN), Internet und dergleichen, implementiert werden kann. Ferner kann das Netzwerk 208 entweder ein dediziertes Netzwerk oder ein gemeinsam genutztes Netzwerk sein. Das gemeinsam genutzte Netzwerk kann eine Verbindung der verschiedenen Arten von Netzwerken darstellen, die eine Vielzahl von Protokollen verwenden können, z. B. Hypertext Transfer Protocol (HTTP), Transmission Control Protocol/Internet Protocol (TCP/IP), Wireless Application Protocol (WAP) und ähnliches.
In der ersten Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 Datenpakete, die sich auf die ersten Merkmalspunkte beziehen, von der Kamera 200 empfangen. In der zweiten Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 Datenpakete, die sich auf die zweiten Merkmalspunkte beziehen, von der LiDAR 204 empfangen. In einer dritten Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 eine Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug bezieht, von der Positionierungseinheit 206 erhalten.
In einer Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 eine Landmarke unter dem einen oder mehreren Objekten aus jedem der ersten und zweiten Merkmalspunkte eindeutig bestimmen. In einer anderen Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 einen oder mehrere Typen von Landmarken aus der erhaltenen Karte segmentieren. Ferner kann die Landmarken-Extraktionsvorrichtung 210 die ermittelte Landmarke mit einer oder mehreren Arten von Landmarken abgleichen, die aus der erhaltenen Karte segmentiert wurden.
In einer Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 erste Landmarkenattribute extrahieren, die von der Kamera beobachtet werden und mit der bestimmten Landmarke verbunden sind. In einer anderen Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 zweite Landmarken-Attribute extrahieren, die von der LiDAR beobachtet werden und mit der ermittelten Landmarke verbunden sind. In einer weiteren Ausführungsform kann die Landmarken-Extraktionsvorrichtung 210 die extrahierten ersten und zweiten Landmarkenattribute fusionieren und die ermittelte Landmarke entsprechend lokalisieren.
In einer Ausführungsform kann das System 100 unter Verwendung beliebiger oder einer Kombination von Hardwarekomponenten und Softwarekomponenten implementiert werden, wie z. B. einer Cloud, einem Server 212, einem Computersystem, einer Computervorrichtung, einer Netzwerkvorrichtung und dergleichen. Darüber hinaus kann die Landmarken-Extraktionsvorrichtung 210 des Systems 100 mit der Kamera 202, der LiDAR 204, der Positionierungseinheit 206 und anderen Sensoren über eine Website oder eine Anwendung interagieren, die sich in dem vorgeschlagenen System 200 befinden kann. In einer Implementierung kann auf das System 200 über eine Website oder eine Anwendung zugegriffen werden, die mit einem beliebigen Betriebssystem konfiguriert werden kann, einschließlich, ohne darauf beschränkt zu sein, AndroidTM, iOSTM und dergleichen.
Unter Bezugnahme auf 3A kann das System 200 in Block 302-1 ein oder mehrere Objekte durch eine Stereo-Mehrzweckkamera (SMPC) (hier austauschbar als Kamera bezeichnet) erfassen. In Block 302-2 kann das System 200 ein Grenzpolygon bestimmen, und dann, in Block 302-3, kann das System 200 SMPC-Landmarkenkandidaten erhalten. Ferner kann das System 200 in Block 302-10 über LiDAR, z. B. LRL, das eine oder die mehreren Objekte erfassen. In Block 302-11 kann das System 200 ein Grenzpolygon bestimmen, und dann, in Block 302-12, kann das System 200 LRL-Landmarkenkandidaten erhalten. In ähnlicher Weise kann das System 200 in Block 302-13 die Erfassung des einen oder der mehreren Objekte durch andere Sensoren nutzen. In Block 302-14 kann das System 200 ein Grenzpolygon bestimmen, und dann, in Block 302-15, kann das System 200 Landmarkenkandidaten erhalten.
In einer Ausführungsform kann das System 200 in Block 302-4 von einem einzelnen Sensor beobachtete Landmarkenkandidaten unter Berücksichtigung der in den Blöcken 302-3, 302-12 und 302-15 erhaltenen Landmarkenkandidaten bestimmen. Ferner kann das System 200 in Block 302-5 eine Messungsaktualisierung durchführen, die Funktionen wie Zusammenführen, Verschmelzen, Hinzufügen und dergleichen umfassen kann.
In einer Ausführungsform kann das System 200 in Block 302-6 die Liste der Landmarken verfolgen. Ferner kann das System 200 in Block 302-7 die Aktualisierung basierend auf der Verfolgung der Landmarkenliste steuern, indem es in Block 302-9 Daten vom Kilometerzähler, d.h. durch Odometrie, nimmt. Ferner kann das System 200 in Block 302-8 die Landmarkenpunkte lokalisieren.
Bezugnehmend auf 3B kann das System 200 eine Messungsaktualisierung 302-5 durchführen, indem es in Block 304-1 mehrere Merkmalspunkte von verschiedenen Sensoren, wie Kamera, LiDAR und dergleichen, erhält. Ferner kann das System 200 in Block 304-2 eine Vorfilterung nach möglichen Landmarken durchführen. In einer Ausführungsform kann das System 200 in Block 304-3 eine Prüfung auf mögliche Landmarkentypen für die Erfassung durchführen, und dann kann das System 200 in Block 304-4 auf kompatible Typen von verfolgten Landmarken prüfen.
In einer Ausführungsform kann das System 200 in Block 304-5, wenn die verfolgte Landmarke als übereinstimmend befunden wird, d.h. wenn die verfolgte Landmarke als ein kompatibler Typ befunden wird, in Block 304-6 Landmarkenattribute kombinieren, hauptsächlich durch Eingrenzung möglicher Klassifizierungen. Ferner kann das System 200 in Block 304-7 prüfen, ob mehrere Beobachtungen vorliegen.
In der ersten Ausführungsform, wenn mehrere Beobachtungen gefunden werden, kann das System 200 in Block 304-8 die Positionen aller gleichzeitigen Beobachtungen fusionieren. Schließlich kann das System 200 in Block 304-10 einen kreisförmigen Landmarkenpuffer basierend auf der Fusion der gleichzeitigen Beobachtungen aktualisieren. In einer zweiten Ausführungsform, wenn nicht mehrere Beobachtungen gefunden werden, d.h. wenn nur eine einzige Beobachtung gefunden wird, kann das System 200 in Block 304-9 die verfolgte Landmarke aktualisieren, und dementsprechend kann das System 200 in Block 304-10 den kreisförmigen Landmarkenpuffer aktualisieren.
In einer anderen Ausführungsform kann das System 200 in Block 304-5, wenn sich herausstellt, dass die verfolgte Landmarke nicht übereinstimmt, d.h. wenn sich herausstellt, dass die verfolgte Landmarke nicht kompatibel ist, in Block 304-11 eine neue Landmarke hinzufügen, und entsprechend kann das System 200 den kreisförmigen Landmarkenpuffer im Block 304-10 aktualisieren. In einer weiteren Ausführungsform kann das System 200 in Block 304-12 diejenigen Landmarken löschen, die sich außerhalb des Sichtfelds (Field of View, FoV) befinden, und dementsprechend kann der kreisförmige Landmarkenpuffer aktualisiert werden. Darüber hinaus kann das System 200 in einer Ausführungsform in Block 304-13 eine Lokalisierung basierend auf dem aktualisierten Puffer für kreisförmige Landmarken durchführen.
Unter Bezugnahme auf 4A und 4B werden bei 402 Landmarken auf einer beispielhaften Route dargestellt. Ferner werden bei 404 dieselben Landmarken dargestellt, wie sie von SMPC (Kamera) beobachtet werden, und bei 406 werden die Landmarken dargestellt, wie sie von LiDAR beobachtet werden.
Unter Bezugnahme auf 5 kann das vorgeschlagene Verfahren 500 (hier austauschbar als Verfahren 500 bezeichnet) in Block 502 das Erfassen eines ersten Satzes von Merkmalspunkten, die mit einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind, durch eine Kamera umfassen. In einer anderen Ausführungsform kann das Verfahren 500 in Block 504 das Erfassen eines zweiten Satzes von Merkmalspunkten, die mit dem einen oder den mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind, durch eine LiDAR umfassen. In einer anderen Ausführungsform kann das Verfahren 500 in Block 506 das Bereitstellen einer Karte, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht, durch eine Positionierungseinheit umfassen.
In einer ersten Ausführungsform kann das Verfahren 500 in Block 508 das Empfangen von Datenpaketen, die sich auf die ersten und zweiten Merkmalspunkte von der Kamera bzw. der LiDAR beziehen, an einer Landmarken-Extraktionsvorrichtung umfassen. In einer zweiten Ausführungsform kann das Verfahren 500 in Block 510 das Erhalten einer Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug bezieht, von der Positionierungseinheit an der Landmarken-Extraktionsvorrichtung umfassen.
In einer Ausführungsform kann das Verfahren 500 in Block 512 das Bestimmen einer Landmarke unter dem einen oder den mehreren Objekten an der Landmarken-Extraktionsvorrichtung umfassen, wobei die ersten und zweiten Merkmalspunkte Freiraumpolygone umfassen können. Ferner kann das Verfahren 500 in Block 514 den Abgleich der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken, die aus der erhaltenen Karte segmentiert wurden, an der Landmarken-Extraktionsvorrichtung umfassen.
In einer Ausführungsform kann das Verfahren 500 in Block 516 das Extrahieren, an der Landmarken-Extraktionsvorrichtung, erster und zweiter Landmarkenattribute umfassen, die mit der bestimmten Landmarke verbunden sind, wie sie von der Kamera bzw. der LiDAR beobachtet werden. In einer anderen Ausführungsform kann das Verfahren 500 in Block 518 das Verschmelzen der extrahierten ersten und zweiten Landmarkenattribute an der Landmarken-Extraktionsvorrichtung und das entsprechende Lokalisieren der bestimmten Landmarke umfassen.
Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung erdacht werden, ohne vom grundsätzlichen Umfang der Erfindung abzuweichen. Der Umfang der Erfindung wird durch die folgenden Ansprüche bestimmt. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die enthalten sind, um eine Person mit normalem Fachwissen auf dem Gebiet der Technik in die Lage zu versetzen, die Erfindung herzustellen und zu verwenden, wenn sie mit Informationen und Wissen kombiniert wird, die der Person mit normalem Fachwissen auf dem Gebiet der Technik zur Verfügung stehen.
Die vorliegende Erfindung stellt ein verbessertes, effizientes und zuverlässiges System und Verfahren zum Extrahieren einer oder mehrerer Landmarken auf einem Weg, auf dem das Fahrzeug fährt, bereit.
Die vorliegende Erfindung stellt ein System und Verfahren bereit, das die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen ermöglicht.
Die vorliegende Erfindung stellt ein System und Verfahren bereit, um wahrscheinliche Landmarken-Erfassungen aus Sensoren zu extrahieren, indem senkrechte Linien und hervorstechende Punkte mit relevantem Höhenreflexionsvermögen und dergleichen erkannt werden.
Die vorliegende Erfindung stellt ein System und Verfahren bereit, das keine zusätzliche Landmarken-Klassifizierung benötigt, um mit den Rohdaten der Sensoren zu arbeiten, da der Erfassungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
Die vorliegende Erfindung stellt ein System und Verfahren bereit, um die Rechenkomplexität zu reduzieren, da die hierin enthaltenen Verfahren auf den Polygondarstellungen arbeiten, die im Vergleich sehr leichtgewichtig sind, was zu einer Reduzierung der Systemkosten führt.
Die vorliegende Erfindung stellt ein System und Verfahren bereit, bei dem keine Notwendigkeit für die Ausbildung von Klassifikatoren besteht, weshalb keine Fehlabgleich an die Besonderheiten der Trainingsdaten vorliegen kann, die bei der Erstellung des Karteninhalts verwendet werden.
Die vorliegende Erfindung stellt ein System und Verfahren zum Abgleich zwischen erfassten und kartierten Landmarken bereit, was wiederum die Leistungsfähigkeit und Verfügbarkeit des Systems und des Verfahrens erhöht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3306429 A1 [0008]
EP 3885706 A1 [0009]

Claims

System (200) zum Extrahieren von Landmarken, das in einem Fahrzeug implementiert ist, wobei das System (200) Folgendes umfasst: eine Kamera (202), die dafür konfiguriert ist, einen ersten Satz von Merkmalspunkten zu erfassen, die mit einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind; eine Lichterfassungs- und Bewegungsvorrichtung (Light Detection and Ranging, LiDAR) (204), die dafür konfiguriert ist, einen zweiten Satz von Merkmalspunkten zu erfassen, die mit dem einen oder den mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum verbunden sind; eine Positionierungseinheit (206), die dafür konfiguriert ist, eine Karte bereitzustellen, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht; und eine Landmarken-Extraktionsvorrichtung (210) in Kommunikation mit der Kamera (202), der LiDAR (204) und der Positionierungseinheit (206), wobei die Landmarken-Extraktionsvorrichtung (210) einen oder mehrere Prozessoren umfasst, wobei der eine oder die mehreren Prozessoren operativ mit einem Speicher gekoppelt sind, wobei der Speicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren für Folgendes ausgeführt werden können: Empfangen, von der Kamera (202) und der LiDAR (204), von Datenpaketen, die sich auf den ersten bzw. zweiten Merkmalspunkt beziehen; Erhalten, von der Positionierungseinheit (206), einer Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug bezieht; Bestimmen, aus dem ersten und dem zweiten Merkmalspunkt, einer Landmarke unter dem einen oder den mehreren Objekten, wobei die ersten und zweiten Merkmalspunkte Freiraumpolygone umfassen; Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken, die aus der erhaltenen Karte segmentiert wurden; Extrahieren erster und zweiter Landmarkenattribute, wie sie von der Kamera (202) bzw. der LiDAR (204) beobachtet werden, die mit der bestimmten Landmarke verbunden sind; und Verschmelzen der extrahierten ersten und zweiten Landmarkenattribute und entsprechendes Lokalisieren der bestimmten Landmarke.
System (200) nach Anspruch 1, wobei die Landmarken-Extraktionsvorrichtung (210) zum Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken für Folgendes konfiguriert: Kartieren der Übereinstimmung und der Position der bestimmten Landmarke mit dem einen oder den mehreren Typen von Landmarken; Bestimmen, ob die kartierte Übereinstimmung und die Positionen innerhalb eines Assoziationsfensters liegen; und Aktualisieren, wenn die ermittelte Übereinstimmung und die Positionen innerhalb des Assoziationsfensters liegen, eines ersten Datensatzes, der den einen oder die mehreren Typen von Landmarken umfasst.
System (200) nach Anspruch 2, wobei, wenn die Landmarken-Extraktionsvorrichtung (210) bestimmt, dass die kartierte Übereinstimmung und die Position des bestimmten Landmarks außerhalb des Assoziationsfensters liegen, die Landmarken-Extraktionsvorrichtung (210) entsprechende Landmarken in den ersten Datensatz hinzufügt.
System (200) nach Anspruch 1, wobei das System (200) die extrahierten Landmarkenattribute zusammenführt, indem für vertikale und horizontale Dimensionen Landmarkenattribute ausgewählt werden, deren Wert gleich oder größer als ein Schwellenwert ist.
System (200) nach Anspruch 4, wobei das System (200) das zumindest teilweise Ausblenden der Landmarkenattribute mit einem Wert kleiner als der Schwellenwert umfasst.
System (200) nach Anspruch 1, wobei der eine oder die mehreren Merkmalspunkte, die der Landmarke zugeordnet sind, eine beliebige oder eine Kombination aus Höhe, Breite, Ausrichtung und Position der Landmarke umfassen.
Verfahren (500) zur Landmarken-Extraktion, wobei das Verfahren (500) Folgendes umfasst: Erfassen (502), durch eine Kamera, eines ersten Satzes von Merkmalspunkten, die einem oder mehreren Objekten innerhalb eines ersten vordefinierten Bereichs um das Fahrzeug herum zugeordnet sind; Erfassen (504), durch eine LiDAR, eines zweiten Satzes von Merkmalspunkten, die einem oder mehreren Objekten innerhalb des ersten vordefinierten Bereichs um das Fahrzeug herum zugeordnet sind; Bereitstellen (506), durch eine Positionierungseinheit, einer Karte, die sich auf einen zweiten vordefinierten Bereich um die aktuelle Position des Fahrzeugs bezieht; Empfangen (508), an einer Landmarken-Extraktionsvorrichtung, von Datenpaketen, die sich auf die ersten und zweiten Merkmalspunkte von der Kamera bzw. der LiDAR beziehen; Erhalten (510), an der Landmarken-Extraktionsvorrichtung, einer Karte, die sich auf den zweiten vordefinierten Bereich um das Fahrzeug herum bezieht, von der Positionierungseinheit; Bestimmen (512), an der Landmarken-Extraktionsvorrichtung, einer Landmarke unter dem einen oder mehreren Objekten, wobei die ersten und zweiten Merkmalspunkte Freiraumpolygone umfassen; Abgleichen (514), an der Landmarken-Extraktionsvorrichtung, der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken, die aus der erhaltenen Karte segmentiert sind; Extrahieren (516), an der Landmarken-Extraktionsvorrichtung, erster und zweiter Landmarkenattribute, die mit der bestimmten Landmarke verbunden sind, wie sie von der Kamera bzw. der LiDAR beobachtet werden; und Verschmelzen (518), an der Landmarken-Extraktionsvorrichtung, der extrahierten ersten und zweiten Landmarkenattribute und entsprechendes Lokalisieren der bestimmten Landmarke.
Verfahren (500) nach Anspruch 7, wobei das Verfahren zum Abgleichen der bestimmten Landmarke mit einem oder mehreren Typen von Landmarken Folgendes umfasst: Kartieren, an der Landmarken-Extraktionsvorrichtung, von Übereinstimmung und Position der bestimmten Landmarke mit dem einen oder den mehreren Typen von Landmarken; Bestimmen, an der Landmarken-Extraktionsvorrichtung, ob die kartierte Übereinstimmung und die Positionen innerhalb eines Assoziationsfensters liegen; und Aktualisieren, wenn die ermittelte Übereinstimmung und die Positionen innerhalb des Assoziationsfensters liegen, eines ersten Datensatzes, der den einen oder die mehreren Typen von Landmarken umfasst.
Verfahren (500) nach Anspruch 8, wobei, wenn die kartierte Übereinstimmung und die Position der bestimmten Landmarke als außerhalb des Assoziationsfensters liegend bestimmt werden, das Verfahren (500) das Hinzufügen der entsprechenden Landmarke im ersten Datensatz umfasst.
Verfahren (500) nach Anspruch 7, wobei das Verfahren (500) das Zusammenführen der extrahierten Landmarkenattribute umfasst, indem für vertikale und horizontale Dimensionen Landmarkenattribute ausgewählt werden, deren Wert gleich oder größer als ein Schwellenwert ist; und wobei das Verfahren (500) das zumindest teilweise Ausblenden der Landmarkenattribute mit einem Wert kleiner als der Schwellenwert umfasst.