-
Die vorliegende Offenbarung betrifft im Allgemeinen Lokalisierungssysteme. Insbesondere betrifft sie ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
-
Im Allgemeinen können autonome Fahrzeuge den Fahrzeugverkehr vermeiden, d. h. Straßenkapazität und Verkehrsfluss, und sie können zu weniger Unfällen führen, da mehrere fortschrittliche Fahrerassistenzsysteme (Advanced Driver-Assistance Systems; ADAS) im Tandem arbeiten. Die autonomen Fahrzeuge benötigen unter Umständen zuverlässige hochauflösende (High Definition; HD) Karteninformationen, wie z. B. ein vertrautes Straßenmodell, Fahrbahngeometrie, Fahrbahnmarkierungen, Landmarken und Hindernisse usw. Ferner haben die Fahrzeugsensoren möglicherweise nur einen begrenzten Abdeckungsbereich, weshalb autonome Fahrzeuge für verschiedene ADAS-Anwendungen auf HD-Karten angewiesen sind. Die Positionierung in HD-Karten kann durch das Zuordnen von Landmarken in der Karte zu entsprechenden, von den Sensoren wahrgenommenen Kandidaten erfolgen. Die Landmarken können oft sensoragnostische Darstellungen von intuitiven Objekten aufweisen, wie z. B. Verkehrsschilder, Reflektorpfosten, Pfosten und Brücken. Dementsprechend können verschiedene Sensoren wie Kamera, Lichtdetektion- und entfernungs- (Light Detection and Ranging; LiDAR)-Radar zur Erkennung von Landmarken verwendet werden.
-
Herkömmliche Verfahren können dedizierte Mono-Klassifikatoren zur Erkennung von Landmarken verwenden. Ferner kann die Lokalisierung der Landmarken in herkömmlichen Systemen wie im Blockdiagramm der 1A dargestellt sein. Herkömmliche Verfahren können sich auf Mono-Klassifikatoren stützen, um die Landmarken in Kamerabildern zu erkennen. Die Erkennung von Mono-Klassifikatoren für die Landmarken in Kamerabildern mag zwar naheliegend sein, da viele Landmarken auf visuelle Auffälligkeit ausgelegt sein können, kann aber auch einige Nachteile haben. Erstens erfordern die Mono-Klassifikatoren erhebliche zusätzliche Rechenressourcen. Zweitens können Mono-Klassifikatoren Schwierigkeiten haben, Besonderheiten zu erkennen, die in den für diese Klassifikatoren verwendeten Trainingsdaten nicht gut repräsentiert sind. Und da diese Trainingsdaten sich von denen unterscheiden können, die zur Erstellung der Objektdarstellungen in der Karte verwendet werden, weist die Karte andere Besonderheiten auf, die möglicherweise nicht gut dargestellt werden, und die sich überschneidende Menge von Objekten, die abgeglichen werden können, kann zweimal verringert werden. Das herkömmliche System für die Lokalisierung 100 von Landmarken kann den Empfang von Daten von einem Satelliten 102 an eine GNSS (globales Navigationssatellitensystem; Global Navigation Satellite System) - Verarbeitungseinheit 104 umfassen. Ferner können HD-Karten 106 an eine HD-Verarbeitungseinheit 108 übertragen werden. Die Daten der Fahrzeugsensoren 110 können an eine Sensor-Fusionseinheit 112 gesendet werden. Die Daten von der HD-Verarbeitungseinheit 108 und der Sensor-Fusionseinheit 112 können an ADAS-Anwendungen 116 und an eine Lokalisierungseinheit 114 gesendet werden. Ferner kann die Lokalisierungseinheit 114 die Daten an die ADAS-Anwendungen 116 senden. Bei den Landmarken kann es sich häufig um sensoragnostische Darstellungen intuitiver Objekte, wie z. B. Verkehrsschilder, Leitpfosten, Masten und Brücken, handeln, wie in der 1 B gezeigt, wenn die Daten von dem Sensor unter Verwendung des herkömmlichen Systems der 1 A verarbeitet werden können. 1C veranschaulicht, dass auch die Vegetation oder Bäume als Landmarken erkannt werden können. Die technische Herausforderung kann darin bestehen, dass die nicht klassifizierten stationären Erkennungen sehr instabil und verrauscht sein können und dass viele Nicht-Landmarken-Erkennungen am Straßenrand scheinbar Landmarken-kompatible Geometrien aufweisen (z. B. Straßenrand-Vegetation).
-
Das Patentdokument
KR100697810B1 kann ein System zur Erkennung der Position eines sich bewegenden Objekts unter Verwendung einer Landmarke offenbaren. Das Patentdokument offenbart die Verarbeitung des von einer Bilderfassungseinheit eingegebenen Landmarkenbildes zu einem Bildsignal und eine Steuereinheit für die Extraktion von Bilddaten aus dem Bildsignal der Landmarke. Eine Makrotabelle zum Speichern der normalisierten Bilddaten und von Referenzbilddaten, die mit den normalisierten Bilddaten verglichen werden sollen. Eine Makrotabellen-Vergleichsvorrichtung zum Vergleichen der normalisierten Bilddaten und der Referenzbilddaten, um Landmarken zu vergleichen und zu bestimmen, die mit den normalisierten Bilddaten übereinstimmen. Ferner offenbart das Patentdokument einen Extraktor für Abstands-/Richtungsinformationen zum Extrahieren von Informationen über den Abstand und die Richtung zwischen der vergleichsweise bestimmten Landmarke und dem sich bewegenden Objekt.
-
Es besteht daher die Notwendigkeit, ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereitzustellen, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
-
Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereitzustellen.
-
Eine Aufgabe der vorliegenden Offenbarung ist es, die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken zu ermöglichen.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, wahrscheinliche Landmarkenerkennungen aus Sensoren zu extrahieren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, dass das System keine zusätzliche Klassifizierung von Landmarken benötigt, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist die Verringerung der Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten).
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist, dass keine Trainingsdaten zum Trainieren von Klassifikatoren benötigt werden und dass es keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben kann, die bei der Erstellung des Karteninhalts verwendet werden.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und ein Verfahren für das Zuordnen zwischen erkannten und abgebildeten Landmarken bereitzustellen, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
-
Aspekte der vorliegenden Offenbarung betreffen Sicherheitsleitsysteme. Insbesondere betrifft die Offenbarung ein verbessertes, effizientes und zuverlässiges System und Verfahren zur Sicherheitsführung bei kritischen Instabilitätszuständen eines Fahrzeugs.
-
In einem Aspekt stellt die vorliegende Offenbarung ein System für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit. Das System umfasst einen Prozessor und einen mit dem Prozessor gekoppelten Speicher. Der Speicher umfasst prozessorausführbare Anweisungen, die bei der Ausführung den Prozessor dazu veranlassen, von einem oder mehreren Sensoren Daten zu erhalten, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen. Der eine oder die mehreren Merkmalspunkte werden anhand der erhaltenen Daten erkannt. Ferner ist der Prozessor konfiguriert, um eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten zu bestimmen und die einen oder mehreren bestimmten Landmarken einer oder mehreren Kategorien einer oder mehrerer Landmarken zuzuordnen. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Ferner ist der Prozessor konfiguriert, um die eine oder die mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke zu vergleichen. Darüber hinaus ist der Prozessor konfiguriert, um einen Abstand der einen oder mehreren Landmarken von einer Grenze zu bestimmen, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn die eine oder die mehreren Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. Die einen oder mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Darüber hinaus ist der Prozessor konfiguriert, um eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vordefinierten Landmarke zu analysieren, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zu einem Pufferspeicher hinzuzufügen, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Darüber hinaus ist der Prozessor konfiguriert, um die eine oder die mehreren hinzugefügten Landmarken für einen vordefinierten Abstand zu analysieren, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Ferner ist der Prozessor konfiguriert, um die Erkennung der einen oder der mehreren Landmarken zu bestätigen, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren bestätigten Landmarken an das autonome Fahrzeug auszugeben.
-
In einem weiteren Aspekt ist der Prozessor für die Zuordnung der einen oder mehreren bestimmten Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken ferner konfiguriert, um die Übereinstimmung und die Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken zu analysieren. Der Prozessor ist konfiguriert, um zu bestimmen, ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen. Die eine oder die mehreren Landmarken umfassen eine verbotene Zone um die eine oder die mehreren Landmarken herum. Darüber hinaus ist der Prozessor konfiguriert, um die erkannten einen oder mehreren Landmarken zu aktualisieren, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen. Danach ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zu speichern, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen. Ferner ist der Prozessor konfiguriert, um die eine oder die mehreren Landmarken zurückzuweisen, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen.
-
In einem weiteren Aspekt werden die einen oder mehreren Landmarken nicht gespeichert, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandschwellenwerts liegt, wenn der bestimmte Abstand nicht innerhalb des vordefinierten Abstandschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen.
-
In einem anderen Aspekt umfasst der eine oder umfassen die mehreren Merkmalspunkte der einen oder mehreren Landmarken mindestens eines einer Höhe, einer Breite und einer Position, und wobei die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich ist.
-
Ein weiterer Aspekt ist, dass, wenn die eine oder die mehreren Landmarken mehrfach bestimmt werden, die Streckenlänge für die eine oder die mehreren Landmarken erhöht wird.
-
In einem Aspekt stellt die vorliegende Offenbarung ein Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit. Das Verfahren umfasst das Erhalten von Daten von einem oder mehreren Sensoren, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung auf dem Weg eines autonomen Fahrzeugs beziehen, wobei der eine oder die mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden. Ferner umfasst das Verfahren die Bestimmung einer oder mehrerer Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten und die Zuordnung der einen oder der mehreren bestimmten Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Des Weiteren umfasst das Verfahren den Vergleich der einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke. Danach umfasst das Verfahren die Bestimmung eines Abstands der einen oder mehreren Landmarken von einer Grenze, die mit der einen oder den mehreren Landmarken assoziiert ist, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. Die eine oder die mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Ferner umfasst das Verfahren das Analysieren einer Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Des Weiteren umfasst das Verfahren das Hinzufügen der einen oder mehreren Landmarken zu einem Pufferspeicher, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Danach umfasst das Verfahren das Analysieren der einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Des Weiteren umfasst das Verfahren die Bestätigung der Erkennung der einen oder der mehreren Landmarken, wenn die Streckenlänge größer ist als ein vordefinierter Streckenlängenschwellenwert. Ferner umfasst das Verfahren die Ausgabe der einen oder der mehreren bestätigten Landmarken an das autonome Fahrzeug.
-
Verschiedene Objekte, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden ausführlichen Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Zahlen gleiche Komponenten darstellen, deutlicher.
-
Die beigefügten Zeichnungen dienen dem weiteren Verständnis der vorliegenden Offenbarung und sind in dieser Beschreibung aufgenommen und bilden einen Teil dieser. Die Zeichnungen veranschaulichen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung dazu, die Grundsätze der vorliegenden Offenbarung zu erläutern.
- 1A veranschaulicht ein beispielhaftes Blockdiagramm eines herkömmlichen Lokalisierungssystems.
- 1B veranschaulicht eine beispielhafte schematische Darstellung einer Landmarke unter Verwendung des herkömmlichen Systems der 1A.
- 1C veranschaulicht eine beispielhafte schematische Darstellung des Szenarios eines Wegs und der auf dem Weg identifizierten Punkte unter Verwendung des herkömmlichen Systems der 1A.
- 2 veranschaulicht ein beispielhaftes Blockdiagramm einer Netzwerkarchitektur für ein System der vorliegenden Offenbarung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
- 3A veranschaulicht ein beispielhaftes Flussdiagramm des gesamten Verfahrens zur Lokalisierung der Landmarkenpunkte in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
- 3B veranschaulicht ein Flussdiagramm der Messungsaktualisierung im Fluss von 3A in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
- 4 veranschaulicht ein Flussdiagramm, das ein Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigt.
-
Es folgt eine ausführliche Beschreibung der in den beigefügten Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, dass sie die Offenbarung klar vermitteln. Es ist jedoch nicht beabsichtigt, durch die Ausführlichkeit die vorhersehbaren Variationen der Ausführungsformen einzuschränken; im Gegenteil, die Absicht ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarung fallen, wie sie durch die beigefügten Ansprüche definiert sind.
-
Die vorliegenden Ausführungsformen stellen ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf dem Weg eines autonomen Fahrzeugs bereit. Die vorliegende Offenbarung ermöglicht die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken. Die vorliegende Offenbarung extrahiert wahrscheinliche Landmarken-Erkennungen von Sensoren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden. Die vorliegende Offenbarung erfordert möglicherweise keine zusätzliche Klassifizierung von Landmarken, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen. Die vorliegende Offenbarung verringert die Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten). Die vorliegende Offenbarung erfordert keine Trainingsdaten, um Klassifikatoren zu trainieren, und es kann keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben, die bei der Erstellung des Karteninhalts verwendet werden. Die vorliegende Offenbarung stellt ein System und ein Verfahren zum Zuordnen zwischen erkannten und abgebildeten Landmarken bereit, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
-
2 veranschaulicht ein beispielhaftes Blockdiagramm einer Netzwerkarchitektur 200 für ein System 202 der vorliegenden Offenbarung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. Die Netzwerkarchitektur 200 kann ein System 202, eine Fahrerassistenzeinheit (Driver Assistance Unit; DAU) 210, eine Fahrzeugsteuerung 212 und Sensoren 220 umfassen. Das System 202 kann einen Prozessor 204, eine Eingabe/Ausgabe- (E/A) Schnittstelle 206 und einen Speicher 208 umfassen. Das System 202 kann in einer eigenständigen Vorrichtung implementiert werden oder mit der DAU 210 verbunden sein. Darüber hinaus kann die Fahrzeugsteuerung 212 kommunikativ mit einer Bremseinheit 214, einer Antriebseinheit 216, einer Lenkeinheit 218 und dergleichen gekoppelt sein. Die Kommunikation innerhalb der Netzwerkarchitektur 200 kann über ein Kommunikationsnetzwerk erfolgen (in 2 nicht dargestellt). Bei dem Kommunikationsnetzwerk kann es sich um ein drahtgebundenes Netzwerk, ein drahtloses Netzwerk oder eine Kombination davon handeln. Darüber hinaus kann es sich bei dem Kommunikationsnetzwerk um einen Controller Area Network (CAN)-Bus oder dergleichen handeln.
-
Die Netzwerkarchitektur 200 kann mehr als eine Rechenvorrichtung, z. B. Steuervorrichtungen oder dergleichen, die im Fahrzeug zur Überwachung und/oder Steuerung verschiedener Fahrzeugkomponenten, z. B. einer Motorsteuereinheit (ECU), einer Getriebesteuereinheit (TCU) und dergleichen, enthalten sind, umfassen oder kommunikativ mit ihnen gekoppelt sein, z. B. über einen Fahrzeugkommunikationsbus. Die Netzwerkarchitektur 200 kann auch eine Verbindung zu einem Onboard-Diagnoseanschluss (OBD) haben. Über den CAN-Bus und/oder andere drahtgebundene oder drahtlose Kommunikationsmedien (manchmal, wie bekannt, allgemein als „Fahrzeugbus“ oder „Fahrzeugkommunikationsbus“ bezeichnet) kann die Netzwerkarchitektur 200 Nachrichten an verschiedene Vorrichtungen in einem Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. Steuervorrichtungen, Aktoren, Sensoren usw., einschließlich Datensammlern, empfangen. Zusätzlich dazu kann in Fällen, in denen die Netzwerkarchitektur 200 mehrere Vorrichtungen umfasst, der CAN-Bus oder dergleichen für die Kommunikation zwischen den Vorrichtungen verwendet werden. Ferner können verschiedene Steuervorrichtungen und dergleichen, z. B. die ECU, TCU und dergleichen, der Netzwerkarchitektur 200 Daten über ein Fahrzeugnetzwerk, z. B. einen CAN-Bus oder dergleichen, bereitstellen.
-
Darüber hinaus kann die Netzwerkarchitektur 200 für die Kommunikation mit einem oder mehreren entfernten Computern über das Kommunikationsnetzwerk konfiguriert sein, das verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien umfassen kann, z. B. Mobilfunk, Bluetooth, drahtgebundene und/oder drahtlose Paketnetzwerke usw. Ferner kann die Netzwerkarchitektur 200 im Allgemeinen Anweisungen zum Empfangen von Daten enthalten, z. B. von einem oder mehreren Datensammlern und/oder einer Mensch-Maschine-Schnittstelle (HMI), wie z. B. einem interaktiven Sprachdialogsystem (IVR), einer grafischen Benutzeroberfläche (GUI) einschließlich eines Touchscreens oder dergleichen usw. Die Datensammler können eine Vielzahl von Vorrichtungen umfassen, von denen bekannt ist, dass sie Daten über einen Fahrzeugkommunikationsbus bereitstellen. Beispielsweise können verschiedene Steuervorrichtungen in einem Fahrzeug als Datensammler fungieren, um gesammelte Daten über den CAN-Bus bereitzustellen, z. B. gesammelte Daten über die Fahrzeuggeschwindigkeit, Beschleunigung usw. Ferner können Sensoren oder dergleichen, GPS-Geräte (Global Positioning System) und dergleichen in einem Fahrzeug eingeschlossen und als Datensammler konfiguriert sein, um Daten direkt an das System 202 zu liefern, z. B. über eine drahtgebundene oder drahtlose Verbindung. Die Datensammler können Sensoren im oder am Fahrzeug umfassen, um gesammelte Daten über einen Fahrzeuginsassen bereitzustellen. Beispielsweise können eine oder mehrere Kameradatensammler positioniert werden, um die Augen und/oder das Gesicht eines Fahrzeuginsassen auf dem Fahrersitz zu überwachen. Mikrofon-Datensammler können positioniert werden, um die Sprache eines Fahrzeuginsassen zu erfassen. Datensammler für die Lenkradsensoren, Beschleunigungspedalsensoren, Bremspedalsensoren und/oder Sitzsensoren können in einer bekannten Weise positioniert werden, um Informationen darüber bereitzustellen, ob die Hände und/oder Füße eines Fahrers mit verschiedenen Fahrzeugkomponenten, wie z. B. den vorgenannten, in Kontakt sind und/oder Druck auf diese ausüben. Ferner kann das System 202 gesammelte Daten sammeln, die sich auf die Nutzung der Mensch-Maschine-Schnittstelle (HMI) des Fahrzeugs durch den Fahrer beziehen, z. B. den Grad der Aktivität des Fahrers, z. B. die Anzahl der Eingaben pro Zeitspanne, die Art der Aktivität des Fahrers, z. B. das Ansehen eines Films, das Anhören eines Radioprogramms usw.
-
Ferner können Datensammler auch Sensoren oder dergleichen umfassen, z. B. Mittel- und Langstreckensensoren, um Objekte in der Nähe eines Fahrzeugs, wie z. B. andere Fahrzeuge, Hindernisse auf der Fahrbahn usw., sowie andere Bedingungen außerhalb des Fahrzeugs zu erkennen und möglicherweise auch Informationen von ihnen zu erhalten. Zu den Sensordatensammlern könnten beispielsweise Mechanismen wie Funkgeräte, RADAR, Lidar, Sonar, Kameras oder andere Bilderfassungsvorrichtungen gehören, die zur Erkennung von Umgebungsmerkmalen, z. B. Fahrbahnmerkmalen, anderen Fahrzeugen usw., und/oder zum Erhalten anderer gesammelter Daten, die für den Betrieb des Fahrzeugs relevant sind, z. B. zur Messung des Abstands zwischen dem Fahrzeug und anderen Fahrzeugen oder Objekten, zur Erkennung anderer Fahrzeuge oder Objekte und/oder zur Erkennung von Straßenbedingungen wie Kurven, Schlaglöchern, Senken, Unebenheiten, Gefälleänderungen usw. eingesetzt werden könnten.
-
Dementsprechend können die gesammelten Daten im Allgemeinen eine Vielzahl von Daten umfassen, die sich auf den Betrieb und/oder die Leistung des Fahrzeugs beziehen, sowie Daten, die sich insbesondere auf die Bewegung des Fahrzeugs beziehen. Beispielsweise könnten die gesammelten Daten neben Daten über andere Fahrzeuge, Fahrbahnmerkmale usw. auch Daten über die Fahrzeuggeschwindigkeit, die Beschleunigung, das Bremsen, den Fahrspurwechsel und/oder die Benutzung der Fahrspur (z. B. auf bestimmten Straßen und/oder Straßentypen wie Autobahnen), den durchschnittlichen Abstand zu anderen Fahrzeugen bei entsprechenden Geschwindigkeiten oder Geschwindigkeitsbereichen und/oder andere Daten über den Fahrzeugbetrieb umfassen.
-
In einer Ausführungsform kann das System 202 über den Prozessor 204 von einem oder mehreren Sensoren 220 Daten erhalten, die sich auf einen oder mehrere Merkmalspunkte einer oder mehrerer Landmarken senkrecht zu einer Fahrtrichtung in einem Weg eines autonomen Fahrzeugs beziehen. In einer Ausführungsform können die einen oder mehreren Merkmalspunkte aus den erhaltenen Daten erkannt werden. Ferner kann der Prozessor 204 eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten bestimmen. Ferner kann der Prozessor 204 die eine oder die mehreren bestimmten Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken abbilden. Zum Beispiel beträgt für einen Reflektorpfosten die Höhe weniger als 1,5 m und die Breite weniger als 0,5 m. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone. Freiraumpolygone können Top-Down-Darstellungen von stationären Objekten sein, die durch Hüllpolygone dargestellt werden. Ferner können Polygonsegmente üblicherweise aus Belegungsgittern oder aus Kamera-Disparitätsbildern extrahiert werden. Je nach der ursprünglichen Sensortechnologie können die Polygonsegmente zusätzliche Attribute aufweisen, wie z. B. ein Lidar-Reflexionsvermögen oder eine obere/untere Grenze in der „z“-Richtung. Freiraumpolygone werden üblicherweise für Kollisionsvermeidungssysteme und die Trajektorienplanung verwendet.
-
Ferner kann der Prozessor 204 die einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke vergleichen. Des Weiteren kann der Prozessor 204 einen Abstand der einen oder mehreren Landmarken von einer mit den einen oder mehreren Landmarken assoziierten Grenze bestimmen, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen. In einer Ausführungsform können die einen oder mehreren Landmarken gespeichert werden, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegt. Darüber hinaus kann der Prozessor 204 eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke analysieren, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt. Danach kann der Prozessor 204 die eine oder die mehreren Landmarken zu einem Pufferspeicher hinzufügen, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegt. Darüber hinaus kann der Prozessor 204 die einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand analysieren, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen. Ferner kann der Prozessor 204 die Erkennung der einen oder mehreren Landmarken bestätigen, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert ist. Danach kann der Prozessor 204 die eine oder die mehreren bestätigten Landmarken an das autonome Fahrzeug ausgeben.
-
In einer Ausführungsform kann der Prozessor 204 zur Zuordnung der bestimmten einen oder mehreren Landmarken zu einer oder mehreren Kategorien einer oder mehrerer Landmarken die Übereinstimmung und die Positionen der einen oder mehreren Landmarken mit einer oder mehreren Kategorien einer oder mehrerer Landmarken analysieren. Der Prozessor 204 kann bestimmen, ob die bestimmten Übereinstimmungen und Positionen innerhalb eines Assoziationsfensters liegen. Beispielsweise haben Leitpfosten üblicherweise einen Mindestabstand zueinander und Überkopfstrukturflächen von Brücken können nicht dicht hintereinander liegen.
-
In einer Ausführungsform umfassen die einen oder mehreren Landmarken eine verbotene Zone um die eine oder die mehreren Landmarken herum. Darüber hinaus kann der Prozessor 204 die eine oder die mehreren erkannten Landmarken aktualisieren, wenn die bestimmten Übereinstimmungen und Positionen innerhalb des Assoziationsfensters liegen. Danach kann der Prozessor 204 die eine oder die mehreren Landmarken speichern, wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb des Assoziationsfensters liegen. Wenn die bestimmten Übereinstimmungen und Positionen nicht innerhalb der Assoziation und noch innerhalb einer verbotenen Zone liegen, kann der Prozessor 204 ferner die eine oder die mehreren Landmarken zurückweisen.
-
In einer Ausführungsform werden die einen oder mehreren Landmarken nicht gespeichert, wenn der bestimmte Abstand möglicherweise nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt, wenn der bestimmte Abstand möglicherweise nicht innerhalb des vordefinierten Abstandsschwellenwerts liegt und wenn die einen oder mehreren gespeicherten Landmarken möglicherweise nicht innerhalb des vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen.
-
In einer Ausführungsform umfassen der eine oder die mehreren Merkmalspunkte der einen oder mehreren Landmarken eine Höhe, eine Breite, eine Position usw., sind aber nicht darauf beschränkt. Zum Beispiel kann für einen Reflektorpfosten die Höhe weniger als 1,5 m und die Breite weniger als 0,5 m betragen.
-
In einer Ausführungsform kann die Delta-Position für jede der einen oder mehreren Kategorien der einen oder mehreren Landmarken unterschiedlich sein. In einer Ausführungsform kann die Streckenlänge für die eine oder die mehreren Landmarken erhöht werden, wenn die eine oder die mehreren Landmarken mehrfach bestimmt werden können.
-
Um beispielsweise nicht klassifizierte stationäre Erkennungen, die instabil und verrauscht sind, und Nicht-Landmarken-Erkennungen am Straßenrand, die scheinbar Landmarken-kompatible Geometrien aufweisen können (z. B. Straßenrandvegetation), herauszufiltern, kann das System 202 Landmarken-Kandidaten verfolgen und sie nur dann als gültig betrachten, wenn sie über mehrere Meter Fahrstrecke beobachtet wurden. Als Grundlage kann ein Vorhersage-Zuordnungs-Korrekturzyklus verwendet werden. Ferner kann das System 202 das Assoziationsfenster für neue Erkennungen im Vergleich zu verfolgten Objekten durch eine „verbotene Zone“ ergänzen, in der das System 202 neue Erkennungen verwerfen kann, wenn sich neue Erkennungen in einem bestimmten Teil der Umgebung eines entsprechenden verfolgten Landmarken-Kandidaten befinden. Dies wird z. B. verwendet, um Mastdetektionen zu unterdrücken, die weiter außerhalb liegen als andere bekannte Mastdetektionen, da es sich dabei wahrscheinlich um Vegetation handelt. Ein anderes Beispiel ist die Unterdrückung von Brückenflächenerkennungen, die sich in einem Bereich hinter bekannten Brückenflächenerkennungen befinden, weil es sich dabei wahrscheinlich nur um Strukturflächen an der Decke unter der Brücke handelt.
-
3A veranschaulicht ein beispielhaftes Flussdiagramm, das das gesamte Verfahren 300-1 zur Lokalisierung der Landmarkenpunkte in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
-
In Schritt 302-1 kann das System 202 über den Sensor 220 Objekte erkennen. In Schritt 302-2 kann das System 202 ein Grenzpolygon bestimmen. In Schritt 302-3 kann das System 202 Landmarkenpunkte bestimmen. In Schritt 302-4 kann das System 202 von einem einzelnen Sensor beobachtete Landmarken-Kandidaten bestimmen. In Schritt 302-5 kann das System 202 eine Messungsaktualisierung (Zusammenführen/Aktualisieren/Fusionieren) durchführen.
-
In Schritt 302-6 kann das System 202 die Landmarkenliste verfolgen. In Schritt 302-7 kann das System 202 die Aktualisierung (Verfolgung) steuern. In Schritt 302-8 kann das System 202 Daten vom Odometer bestimmen. In Schritt 302-9 kann das System 202 die Landmarkenpunkte lokalisieren.
-
3B veranschaulicht ein Flussdiagramm des Verfahrens zur Messungsaktualisierung im Fluss von 3A in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. Die folgenden Schritte sind Unterschritte von Schritt 302-5 in der 3A.
-
In Schritt 304-1 kann das System 202 Merkmalspunkte von verschiedenen Sensoren 220 erhalten. In Schritt 304-2 kann das System 202 Merkmalspunkte senkrecht zur Fahrtrichtung des autonomen Fahrzeugs bestimmen. In Schritt 304-3 kann das System 202 erkannte Landmarken mit der tatsächlichen Art der Landmarke vergleichen. In Schritt 304-4 kann das System 202 erkannte Landmarken mit bereits gespeicherten Landmarken vergleichen. In Schritt 304-5 kann das System 202 feststellen, ob eine Übereinstimmung gefunden wurde. Falls nein, kann das System 202 in Schritt 304-6 den Abstand der erkannten Landmarke von der Grenze vergleichen. Falls ja, kann das System 202 in Schritt 304-13 die Streckenlänge der hinzugefügten Landmarke vergleichen. In Schritt 304-7 kann das System 202 bestimmen, ob der Abstandsschwellenwert kleiner oder größer als ein vordefinierter Abstandsschwellenwert sein kann. Wenn nein, kann das System 202 in Schritt 304-8 die Landmarke zurückweisen. Falls ja, kann das System 202 in Schritt 304-9 die Delta-Position der neuen Landmarke mit einer vorhandenen Landmarke überprüfen. In Schritt 304-10 kann das System 202 bestimmen, ob die Delta-Position kleiner oder größer als ein vordefinierter Delta-Positionsschwellenwert sein kann. Wenn ja, kann das System 202 in Schritt 304-12 die Landmarke hinzufügen. Falls nein, kann das System 202 in Schritt 304-11 die Landmarke zurückweisen. In Schritt 304-13 kann das System 202 die Streckenlänge der hinzugefügten Landmarke vergleichen. In Schritt 304-14 kann das System 202 bestimmen, ob die Streckenlänge größer oder kleiner als ein vordefinierter Streckenlängenschwellenwert sein kann. Falls ja, kann das System 202 in Schritt 304-15 die Landmarke zurückweisen.
-
4 veranschaulicht ein Flussdiagramm, das ein Verfahren 400 für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
-
In Block 402 kann das Verfahren 400 umfassen, dass der Prozessor 204 von einem oder mehreren Sensoren 220 Daten erhält, die sich auf einen oder mehrere Merkmalspunkte der einen oder mehreren Landmarken senkrecht zu einer Fahrtrichtung im Weg eines autonomen Fahrzeugs beziehen. Der eine oder die mehreren Merkmalspunkte werden anhand der erhaltenen Daten erkannt.
-
In Block 404 kann das Verfahren 400 umfassen, dass der Prozessor 204 eine oder mehrere Landmarken aus dem einen oder den mehreren erkannten Merkmalspunkten bestimmt und die einen oder mehreren bestimmten Landmarken einer oder mehreren Kategorien einer oder mehrerer Landmarken zuordnet. Der eine oder die mehreren Merkmalspunkte umfassen Freiraumpolygone.
-
In Block 406 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren abgebildeten Landmarken mit einer vorbestimmten Landmarke vergleicht.
-
In Block 408 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn eine oder mehrere Landmarken nicht mit der vorbestimmten Landmarke übereinstimmen, einen Abstand der einen oder mehreren Landmarken von einer mit der einen oder den mehreren Landmarken assoziierten Grenze bestimmt. Die einen oder mehreren Landmarken werden gespeichert, wenn der bestimmte Abstand innerhalb eines vordefinierten Abstandsschwellenwerts liegen kann.
-
In Block 410 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn der bestimmte Abstand innerhalb des vordefinierten Abstandsschwellenwerts liegt, eine Delta-Position der einen oder mehreren gespeicherten Landmarken mit einer Delta-Position der vorbestimmten Landmarke analysiert.
-
In Block 412 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn die Delta-Position der einen oder mehreren gespeicherten Landmarken innerhalb eines vordefinierten Delta-Positionsschwellenwerts der vorbestimmten Landmarke liegen kann, die einen oder mehreren Landmarken zu einem Pufferspeicher hinzufügt.
-
In Block 414 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren hinzugefügten Landmarken auf einen vordefinierten Abstand analysiert, um eine Streckenlänge der einen oder mehreren Landmarken zu bestimmen.
-
In Block 416 kann das Verfahren 400 umfassen, dass der Prozessor 204, wenn die Streckenlänge größer als ein vordefinierter Streckenlängenschwellenwert sein kann, die Erkennung der einen oder mehreren Landmarken bestätigt.
-
In Block 418 kann das Verfahren 400 umfassen, dass der Prozessor 204 die einen oder mehreren bestätigten Landmarken an das autonome Fahrzeug ausgibt.
-
Somit stellt die vorliegende Offenbarung ein verbessertes, effizientes und zuverlässiges System und Verfahren für die Extraktion einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit, wobei die Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken lokalisiert werden.
-
Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung entwickelt werden, ohne vom grundsätzlichen Umfang der Erfindung abzuweichen. Der Umfang der Erfindung wird durch die folgenden Ansprüche bestimmt. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die enthalten sind, um eine Person mit gewöhnlichem Fachwissen auf dem Gebiet der Technik in die Lage zu versetzen, die Erfindung herzustellen und zu verwenden, wenn sie mit Informationen und Wissen kombiniert wird, die der Person mit gewöhnlichem Fachwissen auf dem Gebiet der Technik zur Verfügung stehen.
-
Die vorliegende Offenbarung stellt ein verbessertes, effizientes und zuverlässiges System und Verfahren für das Extrahieren einer oder mehrerer Landmarken auf einem Weg eines autonomen Fahrzeugs bereit.
-
Die vorliegende Offenbarung ermöglicht die Lokalisierung der Landmarken unter Verwendung von Freiraumpolygonen der einen oder mehreren Landmarken.
-
Die vorliegende Offenbarung extrahiert wahrscheinliche Landmarken-Erkennungen von Sensoren, indem senkrechte Linien und markante Punkte mit relevantem Höhenreflexionsvermögen usw. erkannt werden.
-
Die vorliegende Offenbarung erfordert möglicherweise keine zusätzliche Klassifizierung von Landmarken, um mit den Rohdaten der Sensoren zu arbeiten, da der Erkennungsmechanismus bereits vorhanden ist, um anderen Anwendungsfällen des autonomen Fahrens zu dienen.
-
Die vorliegende Offenbarung verringert die Rechenkomplexität, da die hierin beschriebenen Verfahren mit Polygondarstellungen arbeiten, die im Vergleich sehr leicht sind (Verringerung der Systemkosten).
-
Die vorliegende Offenbarung erfordert keine Trainingsdaten, um Klassifikatoren zu trainieren, und es kann keine Nichtübereinstimmung mit den Besonderheiten der Trainingsdaten geben, die bei der Erstellung des Karteninhalts verwendet werden.
-
Die vorliegende Offenbarung stellt ein System und ein Verfahren zum Zuordnen zwischen erkannten und abgebildeten Landmarken bereit, was wiederum die Leistung und Verfügbarkeit des Systems erhöht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-