-
HINTERGRUND
-
Die Implementierung verschiedener Sensoren und Kameras in Fahrzeugen hat die Fahrzeugnavigation durch gleichzeitige Lokalisierung und Kartierung ermöglicht, so dass ein Fahrzeug gleichzeitig eine Karte erstellen und in der Karte lokalisieren kann. Die Software und der Prozess beruhen auf der Verwendung von Sensoren und Kameras in Kombination mit verschiedenen Algorithmen zur Durchführung von Kartierung und Lokalisierung. Bei der Durchführung der Kartierungsfunktionen identifizieren die Algorithmen verschiedene Orientierungspunkte in der Umgebung des Fahrzeugs. Zu den Orientierungspunkten können Fahrspurlinien, Ampeln, Stoppschilder, andere Fahrzeuge und Objekte auf oder in der Nähe der Straße gehören. Die Lokalisierung und Orientierung erfolgt dann anhand der Position des Fahrzeugs relativ zu den Orientierungspunkten. Die gleichzeitige Lokalisierung und Kartierung ermöglicht die Erstellung relativ hochauflösender Karten mit verschiedenen Merkmalen wie Fahrbahngeometrie, Verkehrszeichen, Kreuzungen usw. Darüber hinaus können durch gleichzeitige Ortung und Kartierung Karten an Orten erstellt werden, für die noch keine Karten existieren. Die Karten können dann für das autonome Fahren und die Navigation verwendet werden.
-
Obwohl die gleichzeitige Lokalisierung und Kartierung effektiv ist, gibt es also noch Raum für Verbesserungen bei der Bereitstellung von Navigationssystemen mit gleichzeitiger Lokalisierung und Kartierung.
-
BESCHREIBUNG
-
Gemäß mehreren Aspekten bezieht sich die vorliegende Offenbarung auf ein Verfahren zur Aufforderung zum Eingreifen eines Insassen für ein Navigationssystem mit gleichzeitiger Lokalisierung und Kartierung. Das Verfahren umfasst das Erstellen eines Fahrzeugwegplans und einer Bewegungssteuerungsanweisung und das Identifizieren eines vermuteten Hindernisses in einem Fahrweg, der einen Teil des Fahrzeugwegplans bildet. Das Verfahren umfasst ferner die Bereitstellung einer Anzeige auf einem ersten Display, dass ein Eingriff durch einen Insassen angefordert wird, und die Bestimmung, ob der Insasse der Anzeige auf dem ersten Display Aufmerksamkeit schenkt.
-
In den obigen Ausführungsformen umfasst das Verfahren das Umfahren des vermuteten Hindernisses im Fahrweg ohne das Eingreifen des Insassen, wenn festgestellt wird, dass der Insasse die Anzeige auf dem ersten Display nicht beachtet.
-
In jeder der oben genannten Ausführungsformen umfasst das Verfahren die Anzeige von Augmented-Reality-Elementen auf einer zweiten Anzeige, wenn festgestellt wird, dass der Bewohner die Anzeige auf der ersten Anzeige beachtet. In weiteren Ausführungsformen umfasst das Verfahren die Aufforderung an den Insassen, einen Eingriff vorzunehmen. In weiteren Ausführungsformen umfasst das Verfahren auch die Aufforderung an den Insassen, eine Bestätigung zu geben, dass das vermutete Hindernis für den Fahrweg relevant ist. In weiteren Ausführungsformen umfasst das Verfahren den Empfang der Bestätigung durch den Insassen innerhalb einer bestimmten Zeitspanne. In alternativen weiteren Ausführungsformen umfasst das Verfahren das Umfahren des vermuteten Hindernisses im Fahrweg ohne die Bestätigung des Insassen, wenn die Bestätigung des Insassen nicht innerhalb einer bestimmten Zeitspanne empfangen wird.
-
In Ausführungsformen des Vorstehenden umfasst das Verfahren ferner das Bereitstellen einer Benachrichtigung für den Insassen, die anzeigt, dass der Insasse mit dem auf gleichzeitiger Lokalisierung und Kartierung basierenden Fahrzeugnavigationssystem interagieren kann. Darüber hinaus umfasst das Verfahren das Empfangen einer Bestätigung von dem Insassen, dass der Insasse die Benachrichtigung erhalten hat. In weiteren Ausführungsformen umfasst das Verfahren die Bestimmung einer vordefinierten Bedingung, die vor der Bereitstellung der Benachrichtigung aufgetreten ist.
-
Gemäß mehreren Aspekten bezieht sich die vorliegende Offenbarung auch auf ein System zur gleichzeitigen Lokalisierung und kartenbasierten Navigation in einem Fahrzeug. Das System umfasst ein Steuergerät und eine erste Anzeige, die mit dem Steuergerät verbunden ist. Das System umfasst auch einen mit dem Steuergerät verbundenen Fahrtüberwachungssensor, ein mit dem Steuergerät verbundenes Insasseneingabegerät und einen mit dem Steuergerät verbundenen Aufmerksamkeitssensor. Das Steuergerät ist so konfiguriert, dass es Befehle ausführt, um einen der obigen Aspekte in Bezug auf das Verfahren zur Aufforderung eines Insasseneingriffs für ein gleichzeitiges lokalisierungs- und kartenbasiertes Navigationssystem durchzuführen. Das Steuergerät ist so konfiguriert, dass es Befehle ausführt, um einen Fahrzeugwegplan und einen Bewegungssteuerungsbefehl zu erstellen. Die Steuereinheit ist ferner so konfiguriert, dass sie Anweisungen ausführt, um ein vermutetes Hindernis in einem Fahrweg mit dem Wegüberwachungssensor zu identifizieren, eine Anzeige auf dem ersten Display bereitzustellen, dass ein Eingriff durch einen Insassen angefordert wird, und zu bestimmen, ob der Insasse der Anzeige auf dem ersten Display Aufmerksamkeit schenkt, indem er mindestens einen von dem Aufmerksamkeitssensor und dem Insasseneingabegerät verwendet.
-
In den obigen Ausführungsformen ist ein zweites Display mit dem Steuergerät verbunden, wobei das Steuergerät ferner so konfiguriert ist, dass es Befehle ausführt, um Augmented-Reality-Elemente auf dem zweiten Display anzuzeigen, wenn es feststellt, dass der Insasse der Anzeige auf dem ersten Display Aufmerksamkeit schenkt. In weiteren Ausführungsformen umfassen die Augmented-Reality-Elemente eine überlagerte Markierung um das vermutete Hindernis.
-
In weiteren Ausführungsformen des Vorstehenden ist ein drittes Display mit dem Steuergerät verbunden, wobei das Steuergerät ferner so konfiguriert ist, dass es Befehle zur Anzeige von Informationen ausführt, um den Insassen bei der Durchführung eines Eingriffs zu unterstützen. In weiteren Ausführungsformen ist die dritte Anzeige in ein Infotainmentsystem integriert.
-
In jeder der obigen Ausführungsformen ist das Steuergerät ferner so konfiguriert, dass es Befehle ausführt, um den Insassen aufzufordern, einen Eingriff vorzunehmen, der besagt, dass das vermutete Hindernis korrekt als ein Hindernis im Fahrweg identifiziert wurde, wobei der Eingriff eine Bestätigung ist. In weiteren Ausführungsformen wird der Eingriff mit dem Eingabegerät des Insassen vorgenommen. In zusätzlichen weiteren Ausführungsformen ist das Steuergerät ferner so konfiguriert, dass es Befehle ausführt, um den Fahrzeugweg und den Bewegungssteuerungsbefehl zu ändern, nachdem es eine Bestätigung von dem Insassen erhalten hat, dass das vermutete Hindernis ein Hindernis in dem Fahrweg ist. In jeder der vorhergehenden Ausführungsformen ist das Steuergerät ferner so konfiguriert, dass es Anweisungen ausführt, um das vermutete Hindernis im Fahrweg ohne die Bestätigung des Insassen zu umfahren, wenn die Bestätigung des Insassen nicht innerhalb einer bestimmten Zeitspanne empfangen wird.
-
In jeder der oben genannten Ausführungsformen ist das erste Display ein Head-up-Display.
-
Gemäß mehreren Aspekten ist die vorliegende Offenbarung ferner auf ein System zur gleichzeitigen Lokalisierung und kartenbasierten Navigation in einem Fahrzeug gemäß einer der obigen Ausführungsformen gerichtet. Das System umfasst ein Steuergerät und eine erste Anzeige, die mit dem Steuergerät verbunden ist. Das System umfasst ferner einen Fahrtüberwachungssensor, der mit dem Steuergerät verbunden ist, und eine Insasseneingabevorrichtung, die mit dem Steuergerät verbunden ist. Das System umfasst auch einen Aufmerksamkeitssensor, der mit dem Steuergerät verbunden ist. Ferner umfasst das System ein Fernsystem, das mit dem Steuergerät kommuniziert. Die Steuereinheit ist so konfiguriert, dass sie das Verfahren zur Aufforderung zum Eingreifen des Insassen für ein gleichzeitiges lokalisierungs- und kartenbasiertes Navigationssystem gemäß einem der oben beschriebenen Aspekte ausführt. Die Steuereinheit ist so konfiguriert, dass sie Befehle ausführt, um vordefinierte Karten von dem entfernten System abzurufen, um einen Fahrzeugweg und eine Bewegungssteuerungsanweisung zu erstellen und den Fahrzeugwegplan und die Bewegungssteuerungsanweisung zu erstellen. Das Steuergerät ist auch so konfiguriert, dass es Anweisungen ausführt, um ein vermutetes Hindernis in einem Fahrweg mit dem Wegüberwachungssensor zu identifizieren, eine Anzeige auf dem ersten Display bereitzustellen, dass ein Eingriff durch einen Insassen erforderlich ist, und zu bestimmen, ob der Insasse der Anzeige auf dem ersten Display Aufmerksamkeit schenkt, indem es mindestens einen von dem Aufmerksamkeitssensor und dem Insasseneingabegerät verwendet.
-
KURZBESCHREIBUNG DER FIGUREN
-
Die hier beschriebenen Figuren dienen nur der Veranschaulichung und sollen den Umfang der vorliegenden Offenbarung in keiner Weise einschränken.
- 1 zeigt eine Ausführungsform eines Fahrzeugs mit einem gleichzeitigen Lokalisierungs- und Kartierungssystem gemäß verschiedenen Aspekten der vorliegenden Offenbarung;
- 2 zeigt eine Ausführungsform verschiedener Anzeigebereiche in einem Fahrzeug gemäß verschiedenen Aspekten der vorliegenden Offenbarung; und
- 3 zeigt ein Flussdiagramm der Fahrerinteraktion und der Anzeigekonfigurationen während einer Kartierungssitzung gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende Beschreibung ist lediglich beispielhaft und soll die vorliegende Offenbarung, Anwendung oder Verwendung nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder stillschweigende Theorie gebunden zu sein, die in der vorangegangenen Einleitung, Zusammenfassung oder der folgenden detaillierten Beschreibung dargelegt ist. Es sollte verstanden werden, dass in den Figuren entsprechende Referenznummern auf gleiche oder entsprechende Teile und Merkmale hinweisen.
-
Der hier verwendete Begriff „Fahrzeug“ ist nicht auf Kraftfahrzeuge beschränkt. Die vorliegende Technologie wird hier zwar in erster Linie im Zusammenhang mit Kraftfahrzeugen beschrieben, ist aber nicht auf Kraftfahrzeuge beschränkt. Die Konzepte können in einer Vielzahl von Anwendungen eingesetzt werden, z. B. in Verbindung mit Motorrädern, Mopeds, Lokomotiven, Flugzeugen, Wasserfahrzeugen und anderen Fahrzeugen oder anderen automatisierten Systemen mit Navigations- und Kartierungsfunktionen. Zu den Anwendungen gehören beispielsweise Fahrnavigation, Flugnavigation, Schiffsnavigation, Roboternavigation und Navigation in geschlossenen Räumen oder geschlossenen geologischen Strukturen, um nur einige zu nennen.
-
Es wird nun im Detail auf mehrere Beispiele der Offenbarung Bezug genommen, die in den beigefügten Zeichnungen dargestellt sind. Wann immer möglich, werden in den Zeichnungen und der Beschreibung gleiche oder ähnliche Referenznummern verwendet, um auf gleiche oder ähnliche Teile oder Schritte hinzuweisen. Die Zeichnungen sind vereinfacht dargestellt und nicht maßstabsgetreu.
-
Die vorliegende Offenbarung betrifft auf gleichzeitiger Lokalisierung und Kartierung (SLAM) basierende Fahrzeugnavigationssysteme, die durch Fahrerinteraktionen verbessert werden. 1 zeigt ein Fahrzeug 100 gemäß den Aspekten der vorliegenden Offenbarung, das ein auf gleichzeitiger Lokalisierung und Kartierung basierendes Navigationssystem 101 enthält. Das auf gleichzeitiger Lokalisierung und Kartierung basierende Navigationssystem 101 erstellt einen Fahrzeugwegplan und mindestens eine Bewegungssteuerungsanweisung für das Fahrzeug 100, die es ausführt, während es eine Fahrt von einem Startort zu einem Zielort im autonomen oder halbautonomen Modus absolviert. Unter autonom versteht man ein Fahrzeug 100, das ohne aktive physische Kontrolle durch eine im Fahrzeug befindliche natürliche Person betrieben oder gefahren wird. Unter teilautonom versteht man ein Fahrzeug 100, das die im Fahrzeug befindliche natürliche Person bei verschiedenen Fahraufgaben unterstützt, z. B. beim Einparken, bei der Stauhilfe, bei der Fahrspurerkennung, beim adaptiven Tempomat usw. Das gleichzeitig lokalisierende und kartenbasierte Navigationssystem 101 umfasst eine Reihe von Geräten, darunter eine Reihe von Displays 102, 104, 106, einen oder mehrere Aufmerksamkeitssensoren 110, Insasseneingabegeräte 112 und einen oder mehrere Fahrtüberwachungssensoren 108. Die verschiedenen Geräte, d. h. die Anzeigen 102, 104, 106, ein oder mehrere Aufmerksamkeitssensoren 110, Insasseneingabegeräte 112 und ein oder mehrere Fahrtüberwachungssensoren 108, sind über eine oder mehrere verdrahtete oder drahtlose Verbindungen mit einem Steuergerät 114 verbunden. Die Verbindungen ermöglichen die Kommunikation von Informationen in Form von Signalen oder Änderungen der elektrischen Spannung zu und von den verschiedenen Geräten im SLAM-basierten Navigationssystem 101 und dem Steuergerät 114. Das Steuergerät 114 ist auch mit einem computerlesbaren Medium 116 und einem Kommunikationssystem 118 sowie mit einer Reihe von Bewegungssteuerungssystemen 128, einschließlich Antriebs-, Lenk- und Bremssystemen, verbunden.
-
In Bezug auf 2 umfassen eines oder mehrere der Displays 102, 104 ein Heads-up-Display, das Daten auf die Windschutzscheibe 122 oder einen an der Windschutzscheibe 122 oder in der Nähe des Armaturenbretts 124 montierten Bildschirm projiziert. Darüber hinaus können ein oder mehrere Displays 106 in das Infotainmentsystem 126 integriert sein. Zusätzlich oder alternativ können auch andere Bildschirme verwendet werden, wie z. B. ein Display im Armaturenbrett 124. Die Anzeigen werden hier als erste Anzeige 102, zweite Anzeige 104 und dritte Anzeige 106 bezeichnet.
-
Wie in 2 dargestellt, sind ein oder mehrere Aufmerksamkeitssensoren 110 vorgesehen, um festzustellen, wohin ein Fahrzeuginsasse, z. B. der Fahrer, seine Aufmerksamkeit lenkt. In Ausführungsformen umfassen die Aufmerksamkeitssensoren 110 mindestens einen Flugzeitsensor (ToF) und eine oder mehrere Kameras. In einigen Fällen erfassen die Kameras sichtbares Licht oder Infrarotstrahlung. Während ein Aufmerksamkeitssensor 110 in der Nähe der Oberseite der Windschutzscheibe 122 positioniert ist, können die Aufmerksamkeitssensoren 110 an jeder beliebigen Position angebracht werden, die eine Messung der Kopfposition des Insassen, der Blickrichtung des Insassen oder des Körpers des Insassen ermöglicht. Die Aufmerksamkeitssensoren 110 können beispielsweise auf dem Armaturenbrett 124 oder auf der Dachinnenseite angebracht sein. Das Steuergerät 114 enthält eine Reihe von Anweisungen, um aus den von den Aufmerksamkeitssensoren 110 gesammelten Daten zu erkennen, wohin der Insasse seinen Blick richtet, eine Änderung der Kopfposition des Insassen oder eine Geste des Insassen, um zu bestimmen, ob der Insasse auf eine der ersten Anzeige 102, die zweite Anzeige 104 oder die dritte Anzeige 106 schaut.
-
Mit weiterem Bezug auf 2 sind Eingabegeräte 112 für den Insassen vorgesehen, die es dem Insassen ermöglichen, das SLAM-Navigationssystem 101 zu nutzen, zu manipulieren und zu steuern. Zu den Insasseneingabegeräten 112 gehören beispielsweise eine oder mehrere Tasten 130 am Infotainmentsystem 126 und das Lenkrad 132. Bei den Tasten 130 kann es sich um Drucktasten, Knöpfe, Schalter, Wahlschalter, Wählscheiben oder Umschalttasten handeln. Die Tasten 130 enthalten elektromechanische oder kapazitive Sensoren, und in weiteren Ausführungsformen bieten die Tasten 130 haptisches Feedback. Darüber hinaus kann das Display 106 ein interaktives Display mit Sensoren 134 sein (siehe 1), wie Kapazitätssensoren oder Widerstandssensoren zur Erkennung von Berührungen. In noch weiteren Ausführungsformen umfassen die Insasseneingabegeräte 112 Mikrofone, wie z. B. ein in das Infotainmentsystem 126 integriertes Mikrofon. In noch weiteren Ausführungsformen kann ein Insasse ein externes Kommunikationsgerät 140 verwenden, um Eingaben über das Kommunikationssystem 118 zu machen.
-
Wie in 1 dargestellt, ermöglichen die Sensoren 108 zur Fahrtüberwachung die Wahrnehmung der Fahrumgebung und umfassen Sensoren zur Überwachung verschiedener Aspekte des Fahrzeugs 100 und der Umgebung des Fahrzeugs 100, insbesondere während der Fahrt des Fahrzeugs 100. Die Fahrtüberwachungssensoren 108 umfassen beispielsweise eine oder mehrere der folgenden Komponenten: eine oder mehrere Kameras mit sichtbarem Licht, eine oder mehrere Kameras mit Infrarotstrahlung, ein oder mehrere Radargeräte, einen oder mehrere Lidar-Sensoren (Light Detection and Ranging), einen oder mehrere Kilometerzähler, einen oder mehrere GPR-Sensoren (Ground Penetrating Radar), einen oder mehrere Bodenortungsempfänger, einen oder mehrere Lenkwinkelsensoren, einen oder mehrere Reifendrucksensoren, eine oder mehrere Kameras (z. B, ein oder mehrere Kameras (z. B. optische Kameras und/oder Wärmebildkameras, wie eine Heckkamera und/oder eine Frontkamera), ein oder mehrere Gyroskope, ein oder mehrere Beschleunigungsmesser, ein oder mehrere Geschwindigkeitssensoren, ein oder mehrere Lenkwinkelsensoren, ein oder mehrere Ultraschallsensoren, eine oder mehrere Trägheitsmesseinheiten (IMUs) und/oder andere Sensoren. Jeder Sensor 108 ist so konfiguriert, dass er ein Signal erzeugt, das Informationen über die erfassten beobachtbaren Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs 100 darstellt.
-
Das Steuergerät 114 umfasst mindestens einen Prozessor 144 und ein nicht-übertragbares computerlesbares Speichergerät oder -medium 116. In einigen Ausführungsformen ist der Prozessor 144 ein kundenspezifischer oder handelsüblicher Prozessor, eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit dem Steuergerät 114 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsets), ein Makroprozessor, eine Kombination davon oder allgemein eine Vorrichtung zur Ausführung von Befehlen. Die computerlesbare Speichervorrichtung oder das Speichermedium 116 umfasst in bestimmten Ausführungsformen flüchtige und nichtflüchtige Speicher, z. B. im Festwertspeicher (ROM), im Arbeitsspeicher (RAM) und im Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 144 ausgeschaltet ist. Die computerlesbare(n) Speichervorrichtung(en) 116 kann/können unter Verwendung einer Reihe von Speichervorrichtungen wie PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrisch PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder anderen elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Anweisungen darstellen, die vom Steuergerät 114 bei der Steuerung des Fahrzeugs 100 verwendet werden. Das Steuergerät 114 ist so programmiert, dass es Befehle für die gleichzeitige orts- und kartenbasierte Navigation ausführt, um einen Fahrzeugwegplan und mindestens eine Bewegungssteuerungsanweisung zu erstellen, sowie Befehle für ein Verfahren zur Bestimmung eines gewünschten Maßes an Fahrereingriff ausführt und den erhaltenen Fahrereingriff nutzt, um die Änderung eines Fahrzeugwegplans und mindestens einer Bewegungssteuerungsanweisung zu erleichtern, die durch das SLAM-Navigationssystem 101 erstellt wurden.
-
Die Anweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Wenn die Anweisungen vom Prozessor 144 ausgeführt werden, empfangen und verarbeiten sie Signale vom Aufmerksamkeitssensor 110, den Insasseneingabegeräten 112 und den Wegüberwachungssensoren 108, führen Logik, Berechnungen, Methoden und/oder Algorithmen zur Ausführung der gleichzeitigen Lokalisierung und Kartierung der Basisfahrzeugnavigation, des autonomen Fahrens, der Bestimmung des Grads der Fahrerinteraktion und der Nutzung der Fahrerinteraktion, sofern vorhanden, im SLAM-Navigationssystem 101 auf der Grundlage der Logik, Berechnungen, Methoden und/oder Algorithmen durch. Obwohl in 1 ein einzelnes Steuergerät 114 dargestellt ist, können Ausführungsformen des Fahrzeugs 100 eine Vielzahl von Steuergeräten 114 umfassen, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Methoden und/oder Algorithmen durchzuführen und die gleichzeitige Lokalisierung und Kartierung der Basisfahrzeugnavigation, die Bestimmung eines Entwurfsniveaus der Fahrerinteraktion und die Nutzung der Fahrerinteraktion, wenn vorgesehen, auf der Grundlage der Logik, Berechnungen, Methoden und/oder Algorithmen des Fahrzeugs 100 durchzuführen.
-
Der computerlesbare Datenträger 116 speichert Daten zur Verwendung bei der autonomen oder teilautonomen Steuerung des Fahrzeugs 100. Das computerlesbare Medium 116 ist nicht flüchtig und kann ein oder mehrere Speichergeräte, Herstellungsgegenstände oder Ähnliches umfassen. In Ausführungsformen umfassen die computerlesbaren Medien 116 Computersystemspeicher, z. B. RAM (Speicher mit wahlfreiem Zugriff), ROM (Nur-Lese-Speicher); Halbleiterspeicher, z. B. EPROM (löschbarer, programmierbarer ROM), EEPROM (elektrisch löschbarer, programmierbarer ROM), Flash-Speicher; magnetische oder optische Platten oder Bänder; und/oder Ähnliches. Die computerlesbaren Medien 116 können auch Computer-zu-Computer-Verbindungen umfassen, z. B. wenn Daten über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder verkabelt, drahtlos oder eine Kombination davon) übertragen oder bereitgestellt werden. Jede Kombination(en) der oben genannten Beispiele fällt ebenfalls in den Anwendungsbereich der computerlesbaren Medien 116.
-
In verschiedenen Ausführungsformen speichert das computerlesbare Medium 116 definierte Karten der navigierbaren Umgebung sowie verschiedene Hinweise 150 und Augmented-Reality-Elemente 152. In verschiedenen Ausführungsformen werden die definierten Karten unter Verwendung gleichzeitiger Lokalisierung und Kartierung erstellt, die zuvor oder während der Fahrt oder von anderen Fahrzeugen durchgeführt wurden, und können auch Karten enthalten, die von einem entfernten System 148 vordefiniert und erhalten wurden. Zum Beispiel können die definierten Karten von dem entfernten System 148 zusammengestellt und an das Fahrzeug 100 (drahtlos und/oder drahtgebunden) übermittelt und auf den computerlesbaren Medien 116 im Fahrzeug 100 gespeichert werden. Die computerlesbaren Medien 116 können Teil des Steuergeräts 114, getrennt vom Steuergerät 114 oder Teil des Steuergeräts 114 und Teil eines entfernten Systems 148 sein.
-
Das Kommunikationssystem 118 steht in Kommunikation mit dem Steuergerät 114 und ist so konfiguriert, dass es drahtlos Informationen zu und von dem entfernten System 148 übermittelt, wie z. B., aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme in einem entfernten Callcenter (z. B. ON-STAR von GENERAL MOTORS) und externe Kommunikationsgeräte 140. In bestimmten Ausführungsformen ist das Kommunikationssystem 118 ein drahtloses Kommunikationssystem, das so konfiguriert ist, dass es drahtlos über ein oder mehrere drahtlose Kommunikationsprotokolle kommuniziert, z. B. über ein oder mehrere Netzwerke, die lokale Netzwerke nach IEEE 802.11 a, b, g, n, ac, ax-Protokolle, BLUETOOTH (R), zellulare Netzwerke einschließlich 2G, 3G, 4G/LTE und 5G-Netzwerke unter Verwendung verschiedener Kommunikationsprotokolle wie Global System for Mobile Communications (GSM), Code Division Multiple Access (CDMA), General Packet Radio Service (GPRS), Wideband Code Division Multiple Access (W-CDMA), Enhanced General Packet Radio Service (E-GPRS), CDMA2000 und Universal Mobile Technology System (UTMS), Low Power Wide Area Networks (LPWAN), mobile Satellitenkommunikation und Kombinationen davon. Zusätzliche oder alternative Kommunikationsmethoden, wie z. B. ein dedizierter Kurzstrecken-Kommunikationskanal (DSRC), werden jedoch ebenfalls im Rahmen der vorliegenden Offenlegung berücksichtigt. DSRC-Kanäle beziehen sich auf ein- oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf eine Reihe von Protokollen und Standards. Dementsprechend kann das Kommunikationssystem 118 eine oder mehrere Antennen und/oder Sende-/Empfangsgeräte zum Empfangen und/oder Senden von Signalen, wie z. B. Cooperative Sensing Messages (CSMs), umfassen. Das Kommunikationssystem 118 ist so konfiguriert, dass es drahtlos Informationen zwischen dem Fahrzeug 100 und einem anderen Fahrzeug übermittelt. Ferner ist das Kommunikationssystem 118 so konfiguriert, dass es Informationen zwischen dem Fahrzeug 100 und der Infrastruktur oder anderen Fahrzeugen drahtlos übermittelt.
-
3 ist ein Flussdiagramm eines Verfahrens 200 zur Bestimmung des Grades der Fahrerinteraktion in dem auf gleichzeitiger Lokalisierung und Kartierung basierenden Fahrzeugnavigationssystem 101. Das Verfahren 200 oder Teile davon können in einem Computerprogrammprodukt implementiert werden, das in computerlesbaren Medien 116 verkörpert ist und Anweisungen enthält, die vom Prozessor 144 des Steuergeräts 114 oder einem entfernten System 148, über das die Verarbeitung und Datenspeicherung erfolgen kann, verwendet werden können. Das Computerprogrammprodukt kann ein oder mehrere Softwareprogramme, die aus Programmanweisungen in Quellcode, Objektcode, ausführbarem Code oder anderen Formaten bestehen, ein oder mehrere Firmware-Programme oder Hardware-Beschreibungssprachdateien (HDL) und beliebige programmbezogene Daten enthalten. Bei den Daten kann es sich um Datenstrukturen, Nachschlagetabellen oder Daten in jedem anderen geeigneten Format handeln. Die Programmanweisungen können Programmmodule, Routinen, Programme, Objekte, Komponenten und/oder Ähnliches enthalten. Das Computerprogramm kann auf einem Computer oder auf mehreren Computern, die miteinander kommunizieren, ausgeführt werden. Es versteht sich daher, dass das Verfahren 200 zumindest teilweise durch beliebige elektronische Artikel und/oder Geräte ausgeführt werden kann, die in der Lage sind, Anweisungen auszuführen, die einem oder mehreren Schritten des Verfahrens 200 entsprechen.
-
Das Steuergerät 114 initiiert Aktivitäten zur vorzeitigen Lokalisierung und kartenbasierten Fahrzeugnavigation 201. In Block 202 wird das SLAM-basierte Navigationssystem 101 gestartet, z. B. wenn das Fahrzeug 100 gestartet oder eine Fahrt vom Insassen angefordert wird. In Block 204 bestimmt das Steuergerät 114, ob eine vordefinierte Bedingung eingetreten ist, die anzeigt, ob der Insasse das auf gleichzeitiger Lokalisierung und Kartierung basierende Fahrzeugnavigationssystem 101 zum ersten Mal verwendet. Zu solchen Bedingungen gehören beispielsweise das erste Starten des Fahrzeugs 100, das Umschalten des Fahrzeugs 100 von einem Demomodus in den Standardmodus nach dem Kauf, das Betreten des Fahrzeugs durch einen neuen Insassen (z. B. einen neuen Fahrer) (was durch den Aufmerksamkeitssensor 110 erfasst werden kann) usw. Wenn das Steuergerät 114 feststellt, dass eine vordefinierte Bedingung in Block 204 eingetreten ist, wird in Block 206 eine Benachrichtigung an den Insassen übermittelt, die anzeigt, dass der Insasse mit dem auf gleichzeitiger Lokalisierung und Kartierung basierenden Fahrzeugnavigationssystem 101 interagieren kann. Die Benachrichtigung kann den Insassen auch darüber informieren, wie das Merkmal funktioniert und wie das SLAM-basierte Navigationssystem 101 zu verwenden ist, sowie über die verschiedenen Eingriffsgrade, die der Fahrer in Bezug auf das auf gleichzeitiger Lokalisierung und Kartierung basierende Fahrzeugnavigationssystem 101 vornehmen kann.
-
In Block 208 wird festgestellt, ob der Insasse den Empfang der in Block 206 übermittelten Benachrichtigung bestätigt hat. Wenn der Empfang in Block 208 nicht bestätigt wurde, wird der Fahrer in Block 210 aufgefordert, den Empfang der Benachrichtigung zu bestätigen, dass das Fahrzeug 100 mit einem Fahrzeugnavigationssystem 101 mit gleichzeitiger Lokalisierung und Kartendarstellung ausgestattet ist und wie das System 101 zu nutzen ist. Wenn der Empfang in Block 208 bestätigt wurde, wird in Block 212 die gleichzeitige lokalisierungs- und kartengestützte Fahrzeugnavigationssitzung 211 durch das Steuergerät 114 eingeleitet. Wenn die vordefinierte Bedingung in Block 204 nicht eingetreten ist und der Insasse die im SLAM-Navigationssystem 101 verfügbaren Funktionalitäten kennt, kann das Fahrzeug 100 eine gleichzeitige Lokalisierungs- und Kartierungs-Fahrzeugnavigationssitzung 211 einleiten.
-
Sobald die Sitzung zur simultanen Lokalisierung und kartenbasierten Fahrzeugnavigation in Block 212 begonnen hat, kartiert und lokalisiert das simultane lokalisierungs- und kartenbasierte Fahrzeugnavigationssystem 101 das Fahrzeug 100, während es sich in Bewegung befindet, und erstellt einen Fahrzeugpfad und eine oder mehrere Bewegungssteuerungsanweisungen. Unter einem Fahrzeugpfad ist der simulierte Weg zu verstehen, den das Fahrzeug 100 zurücklegen muss, um ein Ziel zu erreichen. Zu den Bewegungssteuerungsanweisungen gehören Anweisungen, die von der Steuereinheit 114 zur Steuerung der verschiedenen Bewegungssysteme 128 im Fahrzeug 100, wie z. B. des Antriebs-, Lenk- und Bremssystems, ausgeführt werden, die bewirken, dass das Fahrzeug 100 den Fahrzeugpfad im autonomen oder teilautonomen Modus befährt.
-
In einigen Ausführungsformen werden vordefinierte Karten verwendet, um den Fahrzeugweg und eine oder mehrere Bewegungssteuerungsanweisungen zu erstellen. Die vordefinierten Karten können auf einem entfernten System 148 gespeichert sein und werden von der Steuereinheit 114 abgerufen oder vom Fahrzeug 100 erstellt und in computerlesbaren Medien 116 gespeichert, auf die die Steuereinheit 114 zugreifen kann. Während der SLAM-basierten Navigationssitzung 211 kann das Fahrzeug 100 völlig autonom, ohne Eingaben des Insassen oder in Zusammenarbeit mit einem Insassen teilautonom gefahren werden. In Ausführungsformen kann zu Beginn der SLAM-Navigationssitzung 211 ein vollständig autonomes Fahren ohne Eingriff des Insassen oder ein teilautonomes Fahren mit begrenztem Eingriff des Insassen eingestellt werden. In Block 214 wird ein vermutetes Hindernis 154, das in 2 dargestellt ist, von einem oder mehreren der Wegüberwachungssensoren 108 erkannt und vom Navigationssystem 101 als vermutetes Hindernis identifiziert, das den Fahrweg beeinflussen könnte. Der Fahrweg 136 ist als der tatsächliche Weg zu verstehen, den das Fahrzeug 100 auf der Grundlage des vom SLAM-basierten Navigationssystem 101 ermittelten Fahrzeugwegs zurücklegt. Anders ausgedrückt, der Fahrweg stellt einen Teil des Fahrzeugweges dar.
-
In Block 216 wird von der Steuereinheit 114 auf einer primären Anzeige, wie der ersten Anzeige 102, ein Hinweis 150 gegeben, dass ein Eingreifen eines Insassen erforderlich ist, z. B. wenn ein vermutetes Hindernis 154 identifiziert wurde, das den Fahrweg 136 (siehe 2), der einen Teil des Fahrzeugwegs bildet, beeinträchtigen könnte. Die vom SLAM-basierten Navigationssystem 101 bereitgestellte Anzeige 150 kann die Aufmerksamkeit des Insassen auch auf eine zweite Anzeige 104 oder eine dritte Anzeige 106 lenken. Es sollte verstanden werden, dass jede der Anzeigen 102, 104, 106 die primäre Anzeige sein kann, je nachdem, wie der Insasse das SLAM-basierte Navigationssystem 101 während der vor-SLAM-basierten Navigationsaktivitäten 201 oder während der SLAM-basierten Navigationssitzung 211 konfiguriert hat. Die Anzeige 150 kann jede visuelle Anzeige umfassen, die die Aufmerksamkeit eines Insassen erregt, wie z. B. ein Gefahrenzeichen oder Pfeile. Darüber hinaus kann ein akustisches Signal, z. B. vom Infotainmentsystem 126, ausgegeben werden.
-
In Block 218 wird eines der folgenden Elemente oder beides verwendet: Daten, die vom Aufmerksamkeitssensor 110 erfasst werden, wie z. B. verschiedene Bilder, und eine Eingabe durch den Insassen, die über ein Insasseneingabegerät 112 bereitgestellt wird, werden dann von der Steuereinheit 114 verwendet, um zu bestimmen, ob der Insasse der Anzeige 150 auf dem ersten Display 102 Aufmerksamkeit schenkt. Wenn das Steuergerät 114 auf der Grundlage der vom Aufmerksamkeitssensor 110 empfangenen Daten feststellt, dass der Insasse der Anzeige 150 keine Aufmerksamkeit schenkt, stützt sich das SLAM-basierte Navigationssystem 101 im Block 220 auf mindestens eine seiner eigenen Logiken, Methoden und Algorithmen, um das vermutete Hindernis 154 ohne Eingriff des Insassen zu umfahren, und die SLAM-basierte Navigationssitzung 211 wird im Block 222 fortgesetzt, bis im Block 214 ein anderes vermutetes Hindernis identifiziert wird.
-
Wenn das Steuergerät 114 auf der Grundlage der von dem Aufmerksamkeitssensor 110 empfangenen Informationen feststellt, dass der Insasse der auf dem ersten Display 102 angezeigten Anzeige 150 Aufmerksamkeit schenkt, zeigt das SLAM-basierte Navigationssystem 101 in Block 224 auf einem zweiten Display 104 Augmented-Reality-Elemente 152 an, die relativ zu einem Fahrweg 136 angeordnet sind und sich auf die in Block 216 bereitgestellte Aufforderung zum Eingreifen durch den Insassen beziehen. Auch wenn das Display 104 in dieser Ausführungsform als Standard-Display für Augmented-Reality-Elemente 152 und Visualisierung konfiguriert ist, kann jedes der Displays 102, 104, 106 als Standard-Display für die Bereitstellung von Augmented-Reality-Elementen ausgewählt werden. Die Augmented-Reality-Elemente 152 umfassen beispielsweise eine Visualisierung der Art des Eingriffs, den das SLAM-basierte Navigationssystem 101 vom Insassen erbittet, um die Entscheidung zu erleichtern, ob der Fahrzeugwegplan geändert werden soll, und mindestens eine Bewegungssteuerungsanweisung, wenn bestätigt wird, dass das vermutete Hindernis 154 vorhanden und für den Fahrzeugweg relevant ist. In Ausführungsformen umfassen die Augmented-Reality-Elemente 152 die Aufforderung an den Insassen, einzugreifen und zu bestätigen, dass das SLAM-basierte Navigationssystem 101 das vermutete Hindernis 154, das den Fahrweg 136 blockiert, korrekt identifiziert hat, und ob das vermutete Hindernis 154 ein tatsächliches Hindernis ist, das für den Fahrzeugweg relevant ist. Die Augmented-Reality-Elemente 152 können eines oder mehrere der folgenden Elemente umfassen: eine überlagerte Hervorhebung um das durch die Windschutzscheibe 122 sichtbare Hindernis, z. B. ein auf der Anzeige 102 überlagertes Begrenzungsrechteck, und ein blinkendes Symbol. In Ausführungsformen können auf einer dritten Anzeige 106 in Block 226 zusätzliche Informationen angezeigt werden, die für den Insassen von Vorteil sein können, wie z. B. der Grad, in dem das SLAM-basierte Navigationssystem 101 mit dem Gebiet und den Objekten mit detektierten Merkmalspunkten hoher Persistenz vertraut ist, Hinweise auf einige Umgebungsattribute, die entweder das SLAM-basierte Navigationssystem 101 bei der Identifizierung von Problemen unterstützen oder dazu beitragen, die SLAM-basierte Navigationssitzung 211 für den Insassen verständlicher zu machen. Zu den Merkmalen mit hoher Beständigkeit gehören zum Beispiel Säulen auf einem Parkplatz, Tore, Ecken und andere statische Umgebungsmerkmale.
-
In Block 228 misst das Steuergerät 114 ein bestimmtes Zeitintervall, in dem der Insasse Rückmeldung geben und in die SLAM-basierte Navigationssitzung 211 eingreifen kann. In Ausführungsformen ist ein bestimmtes Zeitintervall eine vorgegebene Zeitspanne, wie z. B. einige Sekunden bis einige Minuten, oder eine berechnete Zeitspanne auf der Grundlage der Geschwindigkeit, mit der sich das Fahrzeug 100 einem Hindernis nähert, und der Umgebungsbedingungen, einschließlich der Frage, wie dicht die Bereiche um einen Fahrweg mit Hindernissen bevölkert sind, der Breite des Fahrwegs, der Wetterbedingungen usw. Wenn der Insasse in Block 228 während des festgelegten Zeitintervalls nicht eingreift, verlässt sich das SLAM-basierte Navigationssystem 101 auf seine eigene Logik, Berechnungen, Methoden und/oder Algorithmen, um das vermutete Hindernis 154 zu umfahren, und die SLAM-basierte Navigationssitzung 211 wird in Block 222 fortgesetzt, bis ein anderes vermutetes Hindernis in Block 214 identifiziert wird. Wenn der Insasse während des festgelegten Zeitintervalls in Block 228 eingreift, indem er beispielsweise eine Eingabe mit einem Insasseneingabegerät 112 macht, verwendet das SLAM-basierte Navigationssystem 101 den Eingriff des Insassen, um den SLAM-basierten Fahrzeugpfad und mindestens eine Bewegungssteuerungsanweisung in Block 230 zu ändern, wenn das vermutete Hindernis als Hindernis im Fahrweg bestätigt wird. In Block 222 wird die SLAM-Sitzung 211 fortgesetzt, bis in Block 214 ein weiteres vermutetes Hindernis 154 angetroffen wird.
-
Die hier beschriebenen, auf gleichzeitiger Lokalisierung und Kartierung basierenden Fahrzeugnavigationssysteme bieten mehrere Vorteile, darunter die Verbesserung der Navigation durch die Nutzung von Insasseninteraktionen, wenn Hindernisse erkannt werden. Ein weiterer Vorteil ist die Möglichkeit, den Grad der Interaktion des Insassen mit dem SLAM-basierten Navigationssystem zu verändern. Ein weiterer Vorteil ist, dass dem Insassen nur die Informationen angezeigt werden, die er sehen möchte.
-
Die Beschreibung der vorliegenden Offenbarung ist lediglich beispielhaft, und Variationen, die nicht vom Kern der vorliegenden Offenbarung abweichen, sollen in den Anwendungsbereich der vorliegenden Offenbarung fallen. Solche Variationen sind nicht als Abweichung von Geist und Umfang der vorliegenden Offenbarung zu betrachten.
