DE102022004341A1 - System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs - Google Patents

System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs Download PDF

Info

Publication number
DE102022004341A1
DE102022004341A1 DE102022004341.6A DE102022004341A DE102022004341A1 DE 102022004341 A1 DE102022004341 A1 DE 102022004341A1 DE 102022004341 A DE102022004341 A DE 102022004341A DE 102022004341 A1 DE102022004341 A1 DE 102022004341A1
Authority
DE
Germany
Prior art keywords
landmarks
processor
determined
distance
predefined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022004341.6A
Other languages
English (en)
Inventor
Florian RIES
Deepak Panda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of DE102022004341A1 publication Critical patent/DE102022004341A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Abstract

System und Verfahren für die Extraktion von Landmarken auf dem Weg eines autonomen Fahrzeugs werden offenbart. Das System erhält von Sensoren Daten, die sich auf Merkmalspunkte von Landmarken senkrecht zur Fahrtrichtung auf dem Weg des autonomen Fahrzeugs beziehen, und bestimmt Landmarken aus den erkannten Merkmalspunkten, um die bestimmten Landmarken mit der Kategorie der Landmarken abzubilden. Das System vergleicht die abgebildeten Landmarken mit den vorbestimmten Landmarken und bestimmt, wenn die Landmarken nicht mit den vorbestimmten Landmarken übereinstimmen, den Abstand der Landmarken von der mit den Landmarken assoziierten Grenze. Das System analysiert, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt, die Delta-Position der gespeicherten Landmarken mit der Delta-Position der vorbestimmten Landmarke und fügt, wenn die Delta-Position der gespeicherten Landmarken innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt, die Landmarken dem Pufferspeicher hinzu. Das System analysiert die hinzugefügten Landmarken auf einen vordefinierten Abstand, um die Streckenlänge der Landmarken zu bestimmen und, wenn die Streckenlänge größer als der vordefinierte Streckenlängenschwellenwert ist, die Erkennung der Landmarken zu bestätigen. Das System gibt die bestätigte Landmarke an das autonome Fahrzeug aus.

Description

  • Die vorliegende Offenbarung betrifft im Allgemeinen Lokalisierungssysteme. Insbesondere betrifft sie ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
  • Im Allgemeinen können autonome Fahrzeuge den Fahrzeugverkehr vermeiden, d. h. Straßenkapazität und Verkehrsfluss, und sie können zu weniger Unfällen führen, da mehrere fortschrittliche Fahrerassistenzsysteme (Advanced Driver-Assistance Systems; ADAS) im Tandem arbeiten. Die autonomen Fahrzeuge benötigen unter Umständen zuverlässige hochauflösende (High Definition; HD) Karteninformationen, wie z. B. ein vertrautes Straßenmodell, Fahrbahngeometrie, Fahrbahnmarkierungen, Landmarken und Hindernisse usw. Ferner haben die Fahrzeugsensoren möglicherweise nur einen begrenzten Abdeckungsbereich, weshalb autonome Fahrzeuge für verschiedene ADAS-Anwendungen auf HD-Karten angewiesen sind. Die Positionierung in HD-Karten kann durch das Zuordnen von Landmarken in der Karte zu entsprechenden, von den Sensoren wahrgenommenen Kandidaten erfolgen. Die Landmarken können oft sensoragnostische Darstellungen von intuitiven Objekten aufweisen, wie z. B. Verkehrsschilder, Reflektorpfosten, Pfosten und Brücken. Dementsprechend können verschiedene Sensoren wie Kamera, Lichtdetektion- und entfernungs- (Light Detection and Ranging; LiDAR)-Radar zur Erkennung von Landmarken verwendet werden.
  • Herkömmliche Verfahren können dedizierte Mono-Klassifikatoren zur Erkennung von Landmarken verwenden. Ferner kann die Lokalisierung der Landmarken in herkömmlichen Systemen wie im Blockdiagramm der 1A dargestellt sein. Herkömmliche Verfahren können sich auf Mono-Klassifikatoren stützen, um die Landmarken in Kamerabildern zu erkennen. Die Erkennung von Mono-Klassifikatoren für die Landmarken in Kamerabildern mag zwar naheliegend sein, da viele Landmarken auf visuelle Auffälligkeit ausgelegt sein können, kann aber auch einige Nachteile haben. Erstens erfordern die Mono-Klassifikatoren erhebliche zusätzliche Rechenressourcen. Zweitens können Mono-Klassifikatoren Schwierigkeiten haben, Besonderheiten zu erkennen, die in den für diese Klassifikatoren verwendeten Trainingsdaten nicht gut repräsentiert sind. Und da diese Trainingsdaten sich von denen unterscheiden können, die zur Erstellung der Objektdarstellungen in der Karte verwendet werden, weist die Karte andere Besonderheiten auf, die möglicherweise nicht gut dargestellt werden, und die sich überschneidende Menge von Objekten, die abgeglichen werden können, kann zweimal verringert werden. Das herkömmliche System für die Lokalisierung 100 von Landmarken kann den Empfang von Daten von einem Satelliten 102 an eine GNSS (globales Navigationssatellitensystem; Global Navigation Satellite System) - Verarbeitungseinheit 104 umfassen. Ferner können HD-Karten 106 an eine HD-Verarbeitungseinheit 108 übertragen werden. Die Daten der Fahrzeugsensoren 110 können an eine Sensor-Fusionseinheit 112 gesendet werden. Die Daten von der HD-Verarbeitungseinheit 108 und der Sensor-Fusionseinheit 112 können an ADAS-Anwendungen 116 und an eine Lokalisierungseinheit 114 gesendet werden. Ferner kann die Lokalisierungseinheit 114 die Daten an die ADAS-Anwendungen 116 senden. Bei den Landmarken kann es sich häufig um sensoragnostische Darstellungen intuitiver Objekte, wie z. B. Verkehrsschilder, Leitpfosten, Masten und Brücken, handeln, wie in der 1 B gezeigt, wenn die Daten von dem Sensor unter Verwendung des herkömmlichen Systems der 1 A verarbeitet werden können. 1C veranschaulicht, dass auch die Vegetation oder Bäume als Landmarken erkannt werden können. Die technische Herausforderung kann darin bestehen, dass die nicht klassifizierten stationären Erkennungen sehr instabil und verrauscht sein können und dass viele Nicht-Landmarken-Erkennungen am Straßenrand scheinbar Landmarken-kompatible Geometrien aufweisen (z. B. Straßenrand-Vegetation).
  • Das Patentdokument KR100697810B1 kann ein System zur Erkennung der Position eines sich bewegenden Objekts unter Verwendung einer Landmarke offenbaren. Das Patentdokument offenbart die Verarbeitung des von einer Bilderfassungseinheit eingegebenen Landmarkenbildes zu einem Bildsignal und eine Steuereinheit für die Extraktion von Bilddaten aus dem Bildsignal der Landmarke. Eine Makrotabelle zum Speichern der normalisierten Bilddaten und von Referenzbilddaten, die mit den normalisierten Bilddaten verglichen werden sollen. Eine Makrotabellen-Vergleichsvorrichtung zum Vergleichen der normalisierten Bilddaten und der Referenzbilddaten, um Landmarken zu vergleichen und zu bestimmen, die mit den normalisierten Bilddaten übereinstimmen. Ferner offenbart das Patentdokument einen Extraktor für Abstands-/Richtungsinformationen zum Extrahieren von Informationen über den Abstand und die Richtung zwischen der vergleichsweise bestimmten Landmarke und dem sich bewegenden Objekt.
  • Es besteht daher die Notwendigkeit, ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereitzustellen, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
  • Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereitzustellen.
  • Eine Aufgabe der vorliegenden Offenbarung ist es, die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken zu ermöglichen.
  • Eine weitere Aufgabe der vorliegenden Offenbarung ist es, wahrscheinliche Landmarkenerkennungen aus Sensoren zu extrahieren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden.
  • Eine weitere Aufgabe der vorliegenden Offenbarung ist es, dass das System keine zusätzliche Klassifizierung von Landmarken benötigt, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
  • Eine weitere Aufgabe der vorliegenden Offenbarung ist die Verringerung der Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten).
  • Eine weitere Aufgabe der vorliegenden Offenbarung ist, dass keine Trainingsdaten zum Trainieren von Klassifikatoren benötigt werden und dass es keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben kann, die bei der Erstellung des Karteninhalts verwendet werden.
  • Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und ein Verfahren für das Zuordnen zwischen erkannten und abgebildeten Landmarken bereitzustellen, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
  • Aspekte der vorliegenden Offenbarung betreffen Sicherheitsleitsysteme. Insbesondere betrifft die Offenbarung ein verbessertes, effizientes und zuverlässiges System und Verfahren zur Sicherheitsführung bei kritischen Instabilitätszuständen eines Fahrzeugs.
  • In einem Aspekt stellt die vorliegende Offenbarung ein System für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit. Das System umfasst einen Prozessor und einen mit dem Prozessor gekoppelten Speicher. Der Speicher umfasst prozessorausführbare Anweisungen, die bei der Ausführung den Prozessor dazu veranlassen, von einem oder mehreren Sensoren Daten zu erhalten, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen. Der eine oder die mehreren Merkmalspunkte werden anhand der erhaltenen Daten erkannt. Ferner ist der Prozessor konfiguriert, um eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten zu bestimmen und die einen oder mehreren bestimmten Landmarken einer oder mehreren Kategorien einer oder mehrerer Landmarken zuzuordnen. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Ferner ist der Prozessor konfiguriert, um die eine oder die mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke zu vergleichen. Darüber hinaus ist der Prozessor konfiguriert, um einen Abstand der einen oder mehreren Landmarken von einer Grenze zu bestimmen, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn die eine oder die mehreren Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. Die einen oder mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Darüber hinaus ist der Prozessor konfiguriert, um eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vordefinierten Landmarke zu analysieren, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zu einem Pufferspeicher hinzuzufügen, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Darüber hinaus ist der Prozessor konfiguriert, um die eine oder die mehreren hinzugefügten Landmarken für einen vordefinierten Abstand zu analysieren, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Ferner ist der Prozessor konfiguriert, um die Erkennung der einen oder der mehreren Landmarken zu bestätigen, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren bestätigten Landmarken an das autonome Fahrzeug auszugeben.
  • In einem weiteren Aspekt ist der Prozessor für die Zuordnung der einen oder mehreren bestimmten Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken ferner konfiguriert, um die Übereinstimmung und die Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken zu analysieren. Der Prozessor ist konfiguriert, um zu bestimmen, ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen. Die eine oder die mehreren Landmarken umfassen eine verbotene Zone um die eine oder die mehreren Landmarken herum. Darüber hinaus ist der Prozessor konfiguriert, um die erkannten einen oder mehreren Landmarken zu aktualisieren, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zu speichern, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen. Ferner ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zurückzuweisen, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen.
  • In einem weiteren Aspekt werden die einen oder mehreren Landmarken nicht gespeichert, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandschwellenwerts liegt, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen.
  • In einem anderen Aspekt umfasst der eine oder umfassen die mehreren Merkmalspunkte der einen oder mehreren Landmarken mindestens eines einer Höhe, einer Breite und einer Position, und wobei die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich ist.
  • Ein weiterer Aspekt ist, dass, wenn die eine oder die mehreren Landmarken mehrfach bestimmt werden, die Streckenlänge für die eine oder die mehreren Landmarken erhöht wird.
  • In einem Aspekt stellt die vorliegende Offenbarung ein Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit. Das Verfahren umfasst das Erhalten von Daten von einem oder mehreren Sensoren, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen, wobei der eine oder die mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden. Ferner umfasst das Verfahren die Bestimmung einer oder mehrerer Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten und die Zuordnung der einen oder der mehreren bestimmten Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Des Weiteren umfasst das Verfahren den Vergleich der einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke. Danach umfasst das Verfahren die Bestimmung eines Abstands der einen oder mehreren Landmarken von einer Grenze, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. Die eine oder die mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Ferner umfasst das Verfahren das Analysieren einer Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Des Weiteren umfasst das Verfahren das Hinzufügen der einen oder mehreren Landmarken zu einem Pufferspeicher, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Danach umfasst das Verfahren das Analysieren der einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Des Weiteren umfasst das Verfahren die Bestätigung der Erkennung der einen oder der mehreren Landmarken, wenn die Streckenlänge größer ist als ein vordefinierter Streckenlängenschwellenwert. Ferner umfasst das Verfahren die Ausgabe der einen oder der mehreren bestätigten Landmarken an das autonome Fahrzeug.
  • Verschiedene Objekte, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden ausführlichen Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Zahlen gleiche Komponenten darstellen, deutlicher.
  • Die beigefügten Zeichnungen dienen dem weiteren Verständnis der vorliegenden Offenbarung und sind in dieser Beschreibung aufgenommen und bilden einen Teil dieser. Die Zeichnungen veranschaulichen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung dazu, die Grundsätze der vorliegenden Offenbarung zu erläutern.
    • 1A veranschaulicht ein beispielhaftes Blockdiagramm eines herkömmlichen Lokalisierungssystems.
    • 1B veranschaulicht eine beispielhafte schematische Darstellung einer Landmarke unter Verwendung des herkömmlichen Systems der 1A.
    • 1C veranschaulicht eine beispielhafte schematische Darstellung des Szenarios eines Wegs und der auf dem Weg identifizierten Punkte unter Verwendung des herkömmlichen Systems der 1A.
    • 2 veranschaulicht ein beispielhaftes Blockdiagramm einer Netzwerkarchitektur für ein System der vorliegenden Offenbarung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
    • 3A veranschaulicht ein beispielhaftes Flussdiagramm des gesamten Verfahrens zur Lokalisierung der Landmarkenpunkte in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
    • 3B veranschaulicht ein Flussdiagramm der Messungsaktualisierung im Fluss von 3A in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
    • 4 veranschaulicht ein Flussdiagramm, das ein Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigt.
  • Es folgt eine ausführliche Beschreibung der in den beigefügten Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, dass sie die Offenbarung klar vermitteln. Es ist jedoch nicht beabsichtigt, durch die Ausführlichkeit die vorhersehbaren Variationen der Ausführungsformen einzuschränken; im Gegenteil, die Absicht ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarung fallen, wie sie durch die beigefügten Ansprüche definiert sind.
  • Die vorliegenden Ausführungsformen stellen ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs bereit. Die vorliegende Offenbarung ermöglicht die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken. Die vorliegende Offenbarung extrahiert wahrscheinliche Landmarken-Erkennungen von Sensoren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden. Die vorliegende Offenbarung erfordert möglicherweise keine zusätzliche Klassifizierung von Landmarken, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen. Die vorliegende Offenbarung verringert die Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten). Die vorliegende Offenbarung erfordert keine Trainingsdaten, um Klassifikatoren zu trainieren, und es kann keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben, die bei der Erstellung des Karteninhalts verwendet werden. Die vorliegende Offenbarung stellt ein System und ein Verfahren zum Zuordnen zwischen erkannten und abgebildeten Landmarken bereit, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
  • 2 veranschaulicht ein beispielhaftes Blockdiagramm einer Netzwerkarchitektur 200 für ein System 202 der vorliegenden Offenbarung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. Die Netzwerkarchitektur 200 kann ein System 202, eine Fahrerassistenzeinheit (Driver Assistance Unit; DAU) 210, eine Fahrzeugsteuerung 212 und Sensoren 220 umfassen. Das System 202 kann einen Prozessor 204, eine Eingabe/Ausgabe- (E/A) Schnittstelle 206 und einen Speicher 208 umfassen. Das System 202 kann in einer eigenständigen Vorrichtung implementiert werden oder mit der DAU 210 verbunden sein. Darüber hinaus kann die Fahrzeugsteuerung 212 kommunikativ mit einer Bremseinheit 214, einer Antriebseinheit 216, einer Lenkeinheit 218 und dergleichen gekoppelt sein. Die Kommunikation innerhalb der Netzwerkarchitektur 200 kann über ein Kommunikationsnetzwerk erfolgen (in 2 nicht dargestellt). Bei dem Kommunikationsnetzwerk kann es sich um ein drahtgebundenes Netzwerk, ein drahtloses Netzwerk oder eine Kombination davon handeln. Darüber hinaus kann es sich bei dem Kommunikationsnetzwerk um einen Controller Area Network (CAN)-Bus oder dergleichen handeln.
  • Die Netzwerkarchitektur 200 kann mehr als eine Rechenvorrichtung, z. B. Steuervorrichtungen oder dergleichen, die im Fahrzeug zur Überwachung und/oder Steuerung verschiedener Fahrzeugkomponenten, z. B. einer Motorsteuereinheit (ECU), einer Getriebesteuereinheit (TCU) und dergleichen, enthalten sind, umfassen oder kommunikativ mit ihnen gekoppelt sein, z. B. über einen Fahrzeugkommunikationsbus. Die Netzwerkarchitektur 200 kann auch eine Verbindung zu einem Onboard-Diagnoseanschluss (OBD) haben. Über den CAN-Bus und/oder andere drahtgebundene oder drahtlose Kommunikationsmedien (manchmal, wie bekannt, allgemein als „Fahrzeugbus“ oder „Fahrzeugkommunikationsbus“ bezeichnet) kann die Netzwerkarchitektur 200 Nachrichten an verschiedene Vorrichtungen in einem Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. Steuervorrichtungen, Aktoren, Sensoren usw., einschließlich Datensammlern, empfangen. Zusätzlich dazu kann in Fällen, in denen die Netzwerkarchitektur 200 mehrere Vorrichtungen umfasst, der CAN-Bus oder dergleichen für die Kommunikation zwischen den Vorrichtungen verwendet werden. Ferner können verschiedene Steuervorrichtungen und dergleichen, z. B. die ECU, TCU und dergleichen, der Netzwerkarchitektur 200 Daten über ein Fahrzeugnetzwerk, z. B. einen CAN-Bus oder dergleichen, bereitstellen.
  • Darüber hinaus kann die Netzwerkarchitektur 200 für die Kommunikation mit einem oder mehreren entfernten Computern über das Kommunikationsnetzwerk konfiguriert sein, das verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien umfassen kann, z. B. Mobilfunk, Bluetooth, drahtgebundene und/oder drahtlose Paketnetzwerke usw. Ferner kann die Netzwerkarchitektur 200 im Allgemeinen Anweisungen zum Empfangen von Daten enthalten, z. B. von einem oder mehreren Datensammlern und/oder einer Mensch-Maschine-Schnittstelle (HMI), wie z. B. einem interaktiven Sprachdialogsystem (IVR), einer grafischen Benutzeroberfläche (GUI) einschließlich eines Touchscreens oder dergleichen usw. Die Datensammler können eine Vielzahl von Vorrichtungen umfassen, von denen bekannt ist, dass sie Daten über einen Fahrzeugkommunikationsbus bereitstellen. Beispielsweise können verschiedene Steuervorrichtungen in einem Fahrzeug als Datensammler fungieren, um gesammelte Daten über den CAN-Bus bereitzustellen, z. B. gesammelte Daten über die Fahrzeuggeschwindigkeit, Beschleunigung usw. Ferner können Sensoren oder dergleichen, GPS-Geräte (Global Positioning System) und dergleichen in einem Fahrzeug eingeschlossen und als Datensammler konfiguriert sein, um Daten direkt an das System 202 zu liefern, z. B. über eine drahtgebundene oder drahtlose Verbindung. Die Datensammler können Sensoren im oder am Fahrzeug umfassen, um gesammelte Daten über einen Fahrzeuginsassen bereitzustellen. Beispielsweise können eine oder mehrere Kameradatensammler positioniert werden, um die Augen und/oder das Gesicht eines Fahrzeuginsassen auf dem Fahrersitz zu überwachen. Mikrofon-Datensammler können positioniert werden, um die Sprache eines Fahrzeuginsassen zu erfassen. Datensammler für die Lenkradsensoren, Beschleunigungspedalsensoren, Bremspedalsensoren und/oder Sitzsensoren können in einer bekannten Weise positioniert werden, um Informationen darüber bereitzustellen, ob die Hände und/oder Füße eines Fahrers mit verschiedenen Fahrzeugkomponenten, wie z. B. den vorgenannten, in Kontakt sind und/oder Druck auf diese ausüben. Ferner kann das System 202 gesammelte Daten sammeln, die sich auf die Nutzung der Mensch-Maschine-Schnittstelle (HMI) des Fahrzeugs durch den Fahrer beziehen, z. B. den Grad der Aktivität des Fahrers, z. B. die Anzahl der Eingaben pro Zeitspanne, die Art der Aktivität des Fahrers, z. B. das Ansehen eines Films, das Anhören eines Radioprogramms usw.
  • Ferner können Datensammler auch Sensoren oder dergleichen umfassen, z. B. Mittel- und Langstreckensensoren, um Objekte in der Nähe eines Fahrzeugs, wie z. B. andere Fahrzeuge, Hindernisse auf der Fahrbahn usw., sowie andere Bedingungen außerhalb des Fahrzeugs zu erkennen und möglicherweise auch Informationen von ihnen zu erhalten. Zu den Sensordatensammlern könnten beispielsweise Mechanismen wie Funkgeräte, RADAR, Lidar, Sonar, Kameras oder andere Bilderfassungsvorrichtungen gehören, die zur Erkennung von Umgebungsmerkmalen, z. B. Fahrbahnmerkmalen, anderen Fahrzeugen usw., und/oder zum Erhalten anderer gesammelter Daten, die für den Betrieb des Fahrzeugs relevant sind, z. B. zur Messung des Abstands zwischen dem Fahrzeug und anderen Fahrzeugen oder Objekten, zur Erkennung anderer Fahrzeuge oder Objekte und/oder zur Erkennung von Straßenbedingungen wie Kurven, Schlaglöchern, Senken, Unebenheiten, Gefälleänderungen usw. eingesetzt werden könnten.
  • Dementsprechend können die gesammelten Daten im Allgemeinen eine Vielzahl von Daten umfassen, die sich auf den Betrieb und/oder die Leistung des Fahrzeugs beziehen, sowie Daten, die sich insbesondere auf die Bewegung des Fahrzeugs beziehen. Beispielsweise könnten die gesammelten Daten neben Daten über andere Fahrzeuge, Fahrbahnmerkmale usw. auch Daten über die Fahrzeuggeschwindigkeit, die Beschleunigung, das Bremsen, den Fahrspurwechsel und/oder die Benutzung der Fahrspur (z. B. auf bestimmten Straßen und/oder Straßentypen wie Autobahnen), den durchschnittlichen Abstand zu anderen Fahrzeugen bei entsprechenden Geschwindigkeiten oder Geschwindigkeitsbereichen und/oder andere Daten über den Fahrzeugbetrieb umfassen.
  • In einer Ausführungsform kann das System 202 über den Prozessor 204 von einem oder mehreren Sensoren 220 Daten erhalten, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung in einem Weg eines autonomen Fahrzeugs beziehen. In einer Ausführungsform können die einen oder mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden. Ferner kann der Prozessor 204 eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten bestimmen. Ferner kann der Prozessor 204 die eine oder die mehreren bestimmten Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken abbilden. Zum Beispiel beträgt für einen Reflektorpfosten die Höhe weniger als 1,5 m und die Breite weniger als 0,5 m. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Freiraumpolygone können Top-Down-Darstellungen von stationären Objekten sein, die durch Hüllpolygone dargestellt werden. Ferner können Polygonsegmente üblicherweise aus Belegungsgittern oder aus Kamera-Disparitätsbildern extrahiert werden. Je nach der ursprünglichen Sensortechnologie können die Polygonsegmente zusätzliche Attribute aufweisen, wie z. B. ein Lidar-Reflexionsvermögen oder eine obere/untere Grenze in der „z“-Richtung. Freiraumpolygone werden üblicherweise für Kollisionsvermeidungssysteme und die Trajektorienplanung verwendet.
  • Ferner kann der Prozessor 204 die einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke vergleichen. Des Weiteren kann der Prozessor 204 einen Abstand der einen oder mehreren Landmarken von einer mit den einen oder mehreren Landmarken assoziierten Grenze bestimmen, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. In einer Ausführungsform können die einen oder mehreren Landmarken gespeichert werden, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Darüber hinaus kann der Prozessor 204 eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke analysieren, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Danach kann der Prozessor 204 die eine oder die mehreren Landmarken zu einem Pufferspeicher hinzufügen, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Darüber hinaus kann der Prozessor 204 die einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand analysieren, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Ferner kann der Prozessor 204 die Erkennung der einen oder mehreren Landmarken bestätigen, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist. Danach kann der Prozessor 204 die eine oder die mehreren bestätigten Landmarken an das autonome Fahrzeug ausgeben.
  • In einer Ausführungsform kann der Prozessor 204 zur Zuordnung der bestimmten einen oder mehreren Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken die Übereinstimmung und die Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken analysieren. Der Prozessor 204 kann bestimmen, ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen. Beispielsweise haben Leitpfosten üblicherweise einen Mindestabstand zueinander und Überkopfstrukturflächen von Brücken können nicht dicht hintereinander liegen.
  • In einer Ausführungsform umfassen die einen oder mehreren Landmarken eine verbotene Zone um die eine oder die mehreren Landmarken herum. Darüber hinaus kann der Prozessor 204 die eine oder die mehreren erkannten Landmarken aktualisieren, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen. Danach kann der Prozessor 204 die eine oder die mehreren Landmarken speichern, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen. Wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen, kann der Prozessor 204 ferner die eine oder die mehreren Landmarken zurückweisen.
  • In einer Ausführungsform werden die einen oder mehreren Landmarken nicht gespeichert, wenn der bestimmte Abstand möglicherweise nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt, wenn der bestimmte Abstand möglicherweise nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken möglicherweise nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen.
  • In einer Ausführungsform umfassen der eine oder die mehreren Merkmalspunkte der einen oder mehreren Landmarken eine Höhe, eine Breite, eine Position usw., sind aber nicht darauf beschränkt. Zum Beispiel kann für einen Reflektorpfosten die Höhe weniger als 1,5 m und die Breite weniger als 0,5 m betragen.
  • In einer Ausführungsform kann die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich sein. In einer Ausführungsform kann die Streckenlänge für die eine oder die mehreren Landmarken erhöht werden, wenn die eine oder die mehreren Landmarken mehrfach bestimmt werden können.
  • Um beispielsweise nicht klassifizierte stationäre Erkennungen, die instabil und verrauscht sind, und Nicht-Landmarken-Erkennungen am Straßenrand, die scheinbar Landmarken-kompatible Geometrien aufweisen können (z. B. Straßenrandvegetation), herauszufiltern, kann das System 202 Landmarken-Kandidaten verfolgen und sie nur dann als gültig betrachten, wenn sie über mehrere Meter Fahrstrecke beobachtet wurden. Als Grundlage kann ein Vorhersage-Zuordnungs-Korrekturzyklus verwendet werden. Ferner kann das System 202 das Assoziationsfenster für neue Erkennungen im Vergleich zu verfolgten Objekten durch eine „verbotene Zone“ ergänzen, in der das System 202 neue Erkennungen verwerfen kann, wenn sich neue Erkennungen in einem bestimmten Teil der Umgebung eines entsprechenden verfolgten Landmarken-Kandidaten befinden. Dies wird z. B. verwendet, um Mastdetektionen zu unterdrücken, die weiter außerhalb liegen als andere bekannte Mastdetektionen, da es sich dabei wahrscheinlich um Vegetation handelt. Ein anderes Beispiel ist die Unterdrückung von Brückenflächenerkennungen, die sich in einem Bereich hinter bekannten Brückenflächenerkennungen befinden, weil es sich dabei wahrscheinlich nur um Strukturflächen an der Decke unter der Brücke handelt.
  • 3A veranschaulicht ein beispielhaftes Flussdiagramm, das das gesamte Verfahren 300-1 zur Lokalisierung der Landmarkenpunkte in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
  • In Schritt 302-1 kann das System 202 über den Sensor 220 Objekte erkennen. In Schritt 302-2 kann das System 202 ein Grenzpolygon bestimmen. In Schritt 302-3 kann das System 202 Landmarkenpunkte bestimmen. In Schritt 302-4 kann das System 202 von einem einzelnen Sensor beobachtete Landmarken-Kandidaten bestimmen. In Schritt 302-5 kann das System 202 eine Messungsaktualisierung (Zusammenführen/Aktualisieren/Fusionieren) durchführen.
  • In Schritt 302-6 kann das System 202 die Landmarkenliste verfolgen. In Schritt 302-7 kann das System 202 die Aktualisierung (Verfolgung) steuern. In Schritt 302-8 kann das System 202 Daten vom Odometer bestimmen. In Schritt 302-9 kann das System 202 die Landmarkenpunkte lokalisieren.
  • 3B veranschaulicht ein Flussdiagramm des Verfahrens zur Messungsaktualisierung im Fluss von 3A in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. Die folgenden Schritte sind Unterschritte von Schritt 302-5 in der 3A.
  • In Schritt 304-1 kann das System 202 Merkmalspunkte von verschiedenen Sensoren 220 erhalten. In Schritt 304-2 kann das System 202 Merkmalspunkte senkrecht zur Fahrtrichtung des autonomen Fahrzeugs bestimmen. In Schritt 304-3 kann das System 202 erkannte Landmarken mit der tatsächlichen Art der Landmarke vergleichen. In Schritt 304-4 kann das System 202 erkannte Landmarken mit bereits gespeicherten Landmarken vergleichen. In Schritt 304-5 kann das System 202 feststellen, ob eine Übereinstimmung gefunden wurde. Falls nein, kann das System 202 in Schritt 304-6 den Abstand der erkannten Landmarke von der Grenze vergleichen. Falls ja, kann das System 202 in Schritt 304-13 die Streckenlänge der hinzugefügten Landmarke vergleichen. In Schritt 304-7 kann das System 202 bestimmen, ob der Abstandsschwellenwert kleiner oder größer als ein vordefinierter Abstandsschwellenwert sein kann. Wenn nein, kann das System 202 in Schritt 304-8 die Landmarke zurückweisen. Falls ja, kann das System 202 in Schritt 304-9 die Delta-Position der neuen Landmarke mit einer vorhandenen Landmarke überprüfen. In Schritt 304-10 kann das System 202 bestimmen, ob die Delta-Position kleiner oder größer als ein vordefinierter Delta-Positionsschwellenwert sein kann. Wenn ja, kann das System 202 in Schritt 304-12 die Landmarke hinzufügen. Falls nein, kann das System 202 in Schritt 304-11 die Landmarke zurückweisen. In Schritt 304-13 kann das System 202 die Streckenlänge der hinzugefügten Landmarke vergleichen. In Schritt 304-14 kann das System 202 bestimmen, ob die Streckenlänge größer oder kleiner als ein vordefinierter Streckenlängenschwellenwert sein kann. Falls ja, kann das System 202 in Schritt 304-15 die Landmarke zurückweisen.
  • 4 veranschaulicht ein Flussdiagramm, das ein Verfahren 400 für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
  • In Block 402 kann das Verfahren 400 umfassen, dass der Prozessor 204 von einem oder mehreren Sensoren 220 Daten erhält, die sich auf einen oder mehrere Merkmalspunkte der einen oder mehreren Landmarken senkrecht zu einer Fahrtrichtung im Weg eines autonomen Fahrzeugs beziehen. Der eine oder die mehreren Merkmalspunkte werden anhand der erhaltenen Daten erkannt.
  • In Block 404 kann das Verfahren 400 umfassen, dass der Prozessor 204 eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten bestimmt und die einen oder mehreren bestimmten Landmarken einer oder mehreren Kategorien einer oder mehrerer Landmarken zuordnet. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone.
  • In Block 406 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke vergleicht.
  • In Block 408 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen, einen Abstand der einen oder mehreren Landmarken von einer mit der einen oder den mehreren Landmarken assoziierten Grenze bestimmt. Die einen oder mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegen kann.
  • In Block 410 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt, eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke analysiert.
  • In Block 412 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen kann, die einen oder mehreren Landmarken zu einem Pufferspeicher hinzufügt.
  • In Block 414 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand analysiert, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen.
  • In Block 416 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert sein kann, die Erkennung der einen oder mehreren Landmarken bestätigt.
  • In Block 418 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren bestätigten Landmarken an das autonome Fahrzeug ausgibt.
  • Somit stellt die vorliegende Offenbarung ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
  • Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung entwickelt werden, ohne vom grundsätzlichen Umfang der Erfindung abzuweichen. Der Umfang der Erfindung wird durch die folgenden Ansprüche bestimmt. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die enthalten sind, um eine Person mit gewöhnlichem Fachwissen auf dem Gebiet der Technik in die Lage zu versetzen, die Erfindung herzustellen und zu verwenden, wenn sie mit Informationen und Wissen kombiniert wird, die der Person mit gewöhnlichem Fachwissen auf dem Gebiet der Technik zur Verfügung stehen.
  • Die vorliegende Offenbarung stellt ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit.
  • Die vorliegende Offenbarung ermöglicht die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken.
  • Die vorliegende Offenbarung extrahiert wahrscheinliche Landmarken-Erkennungen von Sensoren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden.
  • Die vorliegende Offenbarung erfordert möglicherweise keine zusätzliche Klassifizierung von Landmarken, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
  • Die vorliegende Offenbarung verringert die Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten).
  • Die vorliegende Offenbarung erfordert keine Trainingsdaten, um Klassifikatoren zu trainieren, und es kann keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben, die bei der Erstellung des Karteninhalts verwendet werden.
  • Die vorliegende Offenbarung stellt ein System und ein Verfahren zum Zuordnen zwischen erkannten und abgebildeten Landmarken bereit, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • KR 100697810 B1 [0004]

Claims (10)

  1. System (202) für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs, wobei das System (202) Folgendes umfasst: einen Prozessor (204); einen mit dem Prozessor (204) gekoppelten Speicher (208), wobei der Speicher (208) prozessorausführbare Anweisungen umfasst, die bei der Ausführung den Prozessor (204) zu Folgendem veranlassen: Erhalten von Daten von einem oder mehreren Sensoren (220), die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen, wobei der eine oder die mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden; Bestimmen einer oder mehrerer Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten und Zuordnen der einen oder mehreren bestimmten Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken, wobei der eine oder die mehreren Merkmalspunkte Freiraumpolygone umfassen; Vergleichen der einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke; Bestimmen eines Abstands der einen oder mehreren Landmarken von einer Grenze, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen, wobei die einen oder mehreren Landmarken gespeichert werden, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt; Analysieren einer Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt; Hinzufügen der einen oder mehreren Landmarken zu einem Pufferspeicher, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt; Analysieren der einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen; Bestätigen der Erkennung der einen oder mehreren Landmarken, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist; und Ausgabe der bestätigten einen oder mehreren Landmarken an das autonome Fahrzeug.
  2. System (202) nach Anspruch 1, wobei der Prozessor (204) für das Abbilden der einen oder mehreren bestimmten Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken ferner zu Folgendem konfiguriert ist: Analysieren der Übereinstimmungen und Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken; Bestimmen, ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen, wobei die einen oder mehreren Landmarken eine verbotene Zone um die einen oder mehreren Landmarken herum umfassen; Aktualisieren der einen oder mehreren erkannten Landmarken, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen; Speichern der einen oder mehreren Landmarken, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen; und Zurückweisen der einen oder mehreren Landmarken, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen.
  3. System (202) nach Anspruch 1, wobei die einen oder mehreren Landmarken nicht gespeichert werden, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt.
  4. System (202) nach Anspruch 1, wobei der eine oder die mehreren Merkmalspunkte der einen oder mehreren Landmarken mindestens eines einer Höhe, einer Breite und einer Position umfassen und wobei die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich ist.
  5. System (202) nach Anspruch 1, wobei die Streckenlänge für die einen oder mehreren Landmarken erhöht wird, wenn die einen oder mehreren Landmarken mehrfach bestimmt werden.
  6. Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs, wobei das Verfahren Folgendes umfasst: Erhalten von einem oder mehreren Sensoren (220) von Daten, die sich auf einen oder mehrere Merkmalspunkte einer oder mehreren Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen, durch einen Prozessor (204), der mit einem System (202) verbunden ist, wobei der eine oder die mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden; Bestimmen, durch den Prozessor (204), einer oder mehrerer Landmarken aus den einen oder mehreren erkannten Merkmalspunkten und Abbilden der einen oder mehreren bestimmten Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken, wobei der eine oder die mehreren Merkmalspunkte Freiraumpolygone umfassen; Vergleichen der einen oder der mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke durch den Prozessor (204); Bestimmen, durch den Prozessor (204), eines Abstands der einen oder mehreren Landmarken von einer Grenze, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen, wobei die einen oder mehreren Landmarken gespeichert werden, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt; Analysieren einer Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke durch den Prozessor (204), wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt; Hinzufügen der einen oder mehreren Landmarken zu einem Pufferspeicher durch den Prozessor (204), wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt; Analysieren der einen oder mehreren hinzugefügten Landmarken für einen vordefinierten Abstand durch den Prozessor (204), um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen; Bestätigen der Erkennung der einen oder mehreren Landmarken durch den Prozessor (204), wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist; und Ausgabe der einen oder mehreren bestätigten Landmarken an das autonome Fahrzeug durch den Prozessor (204).
  7. Verfahren nach Anspruch 6, wobei das Abbilden der einen oder mehreren bestimmten Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken ferner Folgendes umfasst: Analysieren, durch den Prozessor (204), der Übereinstimmungen und Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken; Bestimmen, durch den Prozessor (204), ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen, wobei die einen oder mehreren Landmarken eine verbotene Zone um die einen oder mehreren Landmarken herum umfassen; Aktualisieren, durch den Prozessor (204), der einen oder mehreren erkannten Landmarken, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen; Speichern der einen oder mehreren Landmarken durch den Prozessor (204), wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen; und Zurückweisen der einen oder mehreren Landmarken durch den Prozessor (204), wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen.
  8. Verfahren nach Anspruch 6, wobei die einen oder mehreren Landmarken nicht gespeichert werden, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen.
  9. Verfahren nach Anspruch 6, wobei der eine oder die mehreren Merkmalspunkte der einen oder mehreren Landmarken mindestens eines einer Höhe, einer Breite und einer Position umfassen und wobei die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich ist.
  10. Verfahren nach Anspruch 6, wobei, wenn die einen oder mehreren Landmarken mehrfach bestimmt werden, die Streckenlänge für die einen oder mehreren Landmarken erhöht wird.
DE102022004341.6A 2021-12-08 2022-11-21 System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs Pending DE102022004341A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202111057097 2021-12-08
IN202111057097 2021-12-08

Publications (1)

Publication Number Publication Date
DE102022004341A1 true DE102022004341A1 (de) 2023-06-15

Family

ID=86498850

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022004341.6A Pending DE102022004341A1 (de) 2021-12-08 2022-11-21 System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102022004341A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697810B1 (ko) 2004-06-04 2007-03-20 주식회사 코맥스 랜드마크를 이용한 이동체의 자기위치 인식시스템 및 그방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697810B1 (ko) 2004-06-04 2007-03-20 주식회사 코맥스 랜드마크를 이용한 이동체의 자기위치 인식시스템 및 그방법

Similar Documents

Publication Publication Date Title
DE102018122459B4 (de) Fahrzeugsystem, entferntes fahrzeugassistenzsystem und comuterimplementiertes verfahren zum bereitstellen von fernunterstützung
DE102012207620B4 (de) System und Verfahren für die Lichtsignaldetektierung
EP3380811B1 (de) Verfahren und system zum erstellen einer digitalen karte
WO2017089135A1 (de) Verfahren und system zum erstellen einer spurgenauen belegungskarte für fahrspuren
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
DE102016202973A1 (de) Verfahren zum Erkennen einer Straßenbaustelle
EP3688742A1 (de) System zur erzeugung und/oder aktualisierung eines digitalen modells einer digitalen karte
DE102016217645A1 (de) Verfahren zum Bereitstellen von Information über eine voraussichtliche Fahrintention eines Fahrzeugs
DE102018203583B4 (de) Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
DE102019214628A1 (de) Validierung von Umfelderfassung mittels Satelitenbildern und SAR-Radardaten
DE102018119882A1 (de) Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden
DE102017201663A1 (de) Verfahren zur Lokalisierung eines höher automatisierten, z.B. hochautomatisierten Fahrzeugs (HAF) in einer digitalen Lokalisierungskarte
DE102019208176A1 (de) Fahrzeug-fahrassistenz-system
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102019208192A1 (de) Verkehrszeichen-erkennungssystem
EP3465652A1 (de) Verfahren vorrichtung und system zur falschfahrererkennung
DE102020210515A1 (de) Verfahren zur Überprüfung von detektierten Veränderungen für ein Umfeldmodell einer digitalen Umgebungskarte
DE102017201664A1 (de) Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs in einer digitalen Karte
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102017208854A1 (de) Verfahren, Vorrichtungen und computerlesbares Speichermedium mit Instruktionen zum Ermitteln von geltenden Verkehrsregeln für ein Kraftfahrzeug
DE102021003567A1 (de) Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
WO2020104551A1 (de) Objekterkennung mittels sensorsystem von fahrzeugen
DE102018117830A1 (de) Digitale Umfeldkarte mit Sensorreichweiten
DE102022004341A1 (de) System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs