DE112021000146T5

DE112021000146T5 - Systeme und verfahren zur erkennung von radschlupf bei fahrzeugen

Info

Publication number: DE112021000146T5
Application number: DE112021000146.9T
Authority: DE
Inventors: Moshe SHENFELD; Gilad Oskar
Original assignee: Mobileye Vision Technologies Ltd
Current assignee: Mobileye Vision Technologies Ltd
Priority date: 2020-06-22
Filing date: 2021-06-22
Publication date: 2022-07-21
Also published as: WO2021262694A1; CN114729806A; US20230106644A1

Abstract

Die vorliegende Offenbarung betrifft Systeme (100) und Verfahren zum Identifizieren eines Radschlupfzustandes. In einer Implementierung kann ein Prozessor (110) eine Vielzahl von Bildrahmen empfangen, die von einer Bildaufnahmeeinrichtung (120) eines Fahrzeugs (200) erfasst wurden. Der Prozessor (110) kann zudem auf Grundlage einer Analyse der Bilder einen oder mehrere Indikatoren einer Bewegung des Fahrzeugs (200) bestimmen und eine vorhergesagte Raddrehung bestimmen, die der Bewegung des Fahrzeugs (200) entspricht. Der Prozessor (110) kann ferner Sensorausgaben empfangen, die eine gemessene Raddrehung eines Rades anzeigen, und die vorhergesagte Raddrehung mit der gemessenen Raddrehung des Rades vergleichen. Der Prozessor (110) kann zusätzlich einen Radschlupfzustand auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung erkennen und in Reaktion auf den in Verbindung mit dem Rad erkannten Radschlupfzustand mindestens eine Navigationsaktion einleiten.

Description

Verweis auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht die Priorität der am 22. Juni 2020 eingereichten vorläufigen (Provisional-) US-Patentanmeldung Nr. 63/042,155 und der am 16. Juli 2020 eingereichten vorläufigen US-Patentanmeldung Nr. 63/052,542 . Vorstehende Anmeldungen werden durch Bezugnahme vollumfänglich hierin aufgenommen.
HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung betrifft allgemein Bildanalysesysteme und -verfahren für Fahrzeugnavigation.
Hintergrundinformationen
Durch den ständigen technologischen Fortschritt rückt das Ziel eines vollständig autonomen Fahrzeugs, das in der Lage ist, auf Straßen zu navigieren, in greifbare Nähe. Autonome Fahrzeuge müssen unter Umständen eine Vielzahl von Faktoren berücksichtigen und auf Grundlage dieser Faktoren geeignete Entscheidungen treffen, um einen bestimmten Zielort sicher und genau zu erreichen. Beispielsweise muss ein autonomes Fahrzeug möglicherweise optische Informationen (z.B. von einer Kamera aufgenommene Informationen) verarbeiten und interpretieren und kann auch Informationen aus anderen Quellen (z.B. von einer GPS-Einrichtung, einem Geschwindigkeitssensor, einem Beschleunigungsmesser, einem Aufhängungssensor usw.) verwenden. Gleichzeitig muss ein autonomes Fahrzeug, um zu einem Zielort zu navigieren, unter Umständen auch seine Position auf einer bestimmten Fahrbahn (z.B. einer bestimmten Spur auf einer mehrspurigen Straße) bestimmen, an anderen Fahrzeugen vorbeifahren, Hindernissen und Fußgängern ausweichen, Verkehrssignale und -schilder beachten und an geeigneten Kreuzungen oder Einmündungen von einer Straße auf eine andere fahren. Die Nutzung und Interpretation großer Mengen an Informationen, die von einem autonomen Fahrzeug auf dem Weg zu seinem Zielort gesammelt werden, stellen eine Vielzahl von Herausforderungen an das Design. Die schiere Menge an Daten (z.B. aufgenommene Bilddaten, Kartendaten, GPS-Daten, Sensordaten usw.), die ein autonomes Fahrzeug möglicherweise analysieren, abrufen und/oder speichern muss, stellt eine Herausforderung dar, die die autonome Navigation einschränken oder sogar beeinträchtigen kann. Wenn ferner ein autonomes Fahrzeug auf herkömmliche Kartentechnologie angewiesen ist, um zu navigieren, stellt die schiere Datenmenge, die zum Speichern und Aktualisieren der Karte benötigt wird, eine gewaltige Herausforderung dar.
KURZDARSTELLUNG
Ausführungsformen der vorliegenden Offenbarung stellen Systeme und Verfahren für autonome Fahrzeugnavigation bereit. In den offenbarten Ausführungsformen können Kameras verwendet werden, um autonome Fahrzeugnavigationsfunktionen bereitzustellen. Gemäß den offenbarten Ausführungsformen können die beschriebenen Systeme zum Beispiel eine, zwei oder mehr Kameras enthalten, die die Umgebung eines Fahrzeugs überwachen. Die offenbarten Systeme können eine Navigationsantwort liefern, die beispielsweise auf einer Analyse der von einer oder mehreren der Kameras aufgenommenen Bilder basiert.
In einer Ausführungsform kann ein System zum Navigieren eines Fahrzeugs mindestens einen Prozessor beinhalten, der Schalttechnik und einen Speicher umfasst. Der Speicher kann Anweisungen enthalten, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, eine Vielzahl von Bildrahmen zu empfangen, die von einer dem Fahrzeug zugeordneten Bildaufnahmeeinrichtung erfasst wurden, wobei die Vielzahl von Bildrahmen für eine Umgebung des Fahrzeugs repräsentativ ist; auf Grundlage einer Analyse von zwei oder mehr der Vielzahl von Bildern einen oder mehrere Indikatoren einer Bewegung des Fahrzeugs in Bezug auf mit den zwei oder mehr der Vielzahl von Bildern verbundene Aufnahmezeiten zu bestimmen; für mindestens ein Rad des Fahrzeugs eine vorhergesagte Raddrehung, die der Bewegung des Fahrzeugs entspricht, in Bezug auf die mit den zwei oder mehr der Vielzahl von Bildern verbundenen Aufnahmezeiten zu bestimmen, eine oder mehrere Sensorausgaben zu empfangen, die eine gemessene Raddrehung in Verbindung mit dem mindestens einen Rad des Fahrzeugs anzeigen; für das mindestens eine Rad des Fahrzeugs die vorhergesagte Raddrehung mit der gemessenen Raddrehung zu vergleichen; auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung einen Radschlupfzustand in Verbindung mit dem mindestens einen Rad des Fahrzeugs zu erkennen; und in Reaktion auf den in Verbindung mit dem mindestens einen Rad des Fahrzeugs erkannten Radschlupfzustand mindestens eine Navigationsaktion einzuleiten.
In einer Ausführungsform wird ein Verfahren zum Navigieren eines Fahrzeugs bereitgestellt. Das Verfahren umfasst: Empfangen einer Vielzahl von Bildrahmen, die von einer dem Fahrzeug zugeordneten Bildaufnahmeeinrichtung erfasst wurden, wobei die Vielzahl von Bildrahmen für eine Umgebung des Fahrzeugs repräsentativ ist; auf Grundlage einer Analyse von zwei oder mehr der Vielzahl von Bildern erfolgendes Bestimmen eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs in Bezug auf mit den zwei oder mehr der Vielzahl von Bildern verbundene Aufnahmezeiten; für mindestens ein Rad des Fahrzeugs erfolgendes Bestimmen einer vorhergesagten Raddrehung, die der Bewegung des Fahrzeugs entspricht, in Bezug auf die mit den zwei oder mehr der Vielzahl von Bildern verbundenen Aufnahmezeiten; Empfangen einer oder mehrerer Sensorausgaben, die eine gemessene Raddrehung in Verbindung mit dem mindestens einen Rad des Fahrzeugs anzeigen; Vergleichen der vorhergesagten Raddrehung mit der gemessenen Raddrehung für das mindestens eine Rad des Fahrzeugs; Erkennen eines Radschlupfzustands in Verbindung mit dem mindestens einen Rad des Fahrzeugs auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung; und Einleiten mindestens einer Navigationsaktion in Reaktion auf den in Verbindung mit dem mindestens einen Rad des Fahrzeugs erkannten Radschlupfzustand.
In einer Ausführungsform kann ein serverbasiertes Navigationssystem mindestens einen Prozessor beinhalten, der Schalttechnik und einen Speicher umfasst. Der Speicher kann Anweisungen beinhalten, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, von einer Vielzahl von Sammelfahrzeugen Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad zu empfangen; die Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte zu korrelieren; und auf Grundlage der in Bezug auf einen oder mehrere geografische Standorte korrelierten Indikatoren erkannter Radschlupfzustände Navigationsinformationen zu erzeugen und an mindestens eine Entität zu übertragen.
In einer Ausführungsform kann ein Verfahren Folgendes umfassen: Empfangen von Indikatoren für erkannte Radschlupfzustände in Verbindung mit mindestens einem Rad von einer Vielzahl von Sammelfahrzeugen; Korrelieren der Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte; und Erzeugen und Übertragen von Navigationsinformationen an mindestens eine Entität auf Grundlage der in Bezug auf einen oder mehrere geografische Standorte korrelierten Indikatoren erkannter Radschlupfzustände.
In Einklang mit anderen offenbarten Ausführungsformen können nicht transiente, computerlesbare Speichermedien Programmanweisungen speichern, die von mindestens einem Prozessor ausgeführt werden und beliebige der vorliegend beschriebenen Verfahren durchführen.
Die vorstehende allgemeine Beschreibung und die nachstehende ausführliche Beschreibung sind nur beispielhaft und erläuternd und schränken die Ansprüche nicht ein.
Figurenliste
Die beiliegenden Zeichnungen, die Bestandteil dieser Offenbarung sind, veranschaulichen verschiedene offenbarte Ausführungsformen. Es zeigen:

1 ist eine schematische Darstellung eines beispielhaften Systems gemäß den offenbarten Ausführungsformen.
2A ist eine schematische Seitenansicht eines beispielhaften Fahrzeugs, das ein System gemäß den offenbarten Ausführungsformen beinhaltet.
2B ist eine schematische Draufsicht auf das in 2A gezeigte Fahrzeug und System gemäß den offenbarten Ausführungsformen.
2C ist eine schematische Draufsicht auf eine andere Ausführungsform eines Fahrzeugs, das ein System gemäß den offenbarten Ausführungsformen beinhaltet.
2D ist eine schematische Draufsicht auf eine weitere Ausführungsform eines Fahrzeugs, das ein System gemäß den offenbarten Ausführungsformen beinhaltet.
2E ist eine schematische Draufsicht auf eine weitere Ausführungsform eines Fahrzeugs, das ein System gemäß den offenbarten Ausführungsformen beinhaltet.
2F ist eine schematische Darstellung von beispielhaften Fahrzeugsteuersystemen gemäß den offenbarten Ausführungsformen.
3A ist eine schematische Darstellung eines Innenraums eines Fahrzeugs mit einem Rückspiegel und einer Benutzerschnittstelle für ein Fahrzeug-Bildgebungssystem gemäß den offenbarten Ausführungsformen.
3B ist eine Darstellung eines Beispiels einer Kamerahalterung, die dafür konfiguriert ist, hinter einem Rückspiegel und an einer Fahrzeug-Windschutzscheibe positioniert zu werden, gemäß den offenbarten Ausführungsformen.
3C ist eine Darstellung der in 3B gezeigten Kamerahalterung aus einer anderen Perspektive gemäß den offenbarten Ausführungsformen.
3D ist eine Darstellung eines Beispiels einer Kamerahalterung, die dafür konfiguriert ist, hinter einem Rückspiegel und an einer Fahrzeug-Windschutzscheibe positioniert zu werden, gemäß den offenbarten Ausführungsformen.
4 ist ein beispielhaftes Blockdiagramm eines Speichers, der so konfiguriert ist, dass er Anweisungen zum Durchführen eines oder mehrerer Arbeitsschritte speichert, gemäß den offenbarten Ausführungsformen.
5A ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer monokularen Bildanalyse gemäß den offenbarten Ausführungsformen zeigt.
5B ist ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen eines oder mehrerer Fahrzeuge und/oder Fußgänger in einem Satz von Bildern gemäß den offenbarten Ausführungsformen zeigt.
5C ist ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen von Fahrbahnmarkierungen und/oder Fahrspurgeometrieinformationen in einem Satz von Bildern gemäß den offenbarten Ausführungsformen zeigt.
5D ist ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen von Verkehrsampeln in einem Satz von Bildern gemäß den offenbarten Ausführungsformen zeigt.
5E ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage eines Fahrzeugwegs gemäß den offenbarten Ausführungsformen zeigt.
5F ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bestimmen, ob ein vorausfahrendes Fahrzeug einen Fahrspurwechsel durchführt, gemäß den offenbarten Ausführungsformen zeigt.
6 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer Stereobildanalyse gemäß den offenbarten Ausführungsformen zeigt.
7 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer Analyse von drei Sätzen von Bildern gemäß den offenbarten Ausführungsformen zeigt.
8A zeigt eine polynomische Darstellung eines Teils eines Straßenabschnitts gemäß den offenbarten Ausführungsformen.
8B zeigt eine Kurve im dreidimensionalen Raum, die eine Zieltrajektorie eines Fahrzeugs für einen bestimmten Straßenabschnitt, der in einer dünnbesetzten Karte enthalten ist, gemäß den offenbarten Ausführungsformen darstellt.
9A zeigt polynomische Darstellungen von Trajektorien gemäß den offenbarten Ausführungsformen.
9B und 9C zeigen Zieltrajektorien entlang einer mehrspurigen Straße gemäß offenbarten Ausführungsformen.
9D zeigt ein Beispiel für ein Straßensignaturprofil gemäß offenbarten Ausführungsformen.
10 zeigt ein Beispiel für ein Modell für Straßennavigation eines autonomen Fahrzeugs, das durch eine Vielzahl von dreidimensionalen Splines dargestellt wird, gemäß den offenbarten Ausführungsformen.
11 zeigt ein Kartengerüst, das durch Kombinieren von Standortinformationen mehrerer Fahrten generiert wurde, gemäß den offenbarten Ausführungsformen.
12 ist eine schematische Darstellung eines beispielhaften Systems gemäß den offenbarten Ausführungsformen.
13 ist eine schematische Darstellung einer Fahrbahn mit Darstellungen eines Fahrzeugs zu zwei verschiedenen Zeitpunkten gemäß den offenbarten Ausführungsformen.
14 veranschaulicht eine beispielhafte Ausführungsform eines Speichers, der Softwaremodule enthält, gemäß der vorliegenden Offenbarung.
15 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Navigieren eines Fahrzeugs auf Grundlage eines erkannten Schlupfzustandes gemäß den offenbarten Ausführungsformen zeigt.
16 ist eine schematische Darstellung einer Fahrbahn mit Darstellungen vorheriger Fahrten gemäß den offenbarten Ausführungsformen.
17 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Verwenden von Crowdsourcing zum Erzeugen von Navigationsinformationen in Verbindung mit erkannten Schlupfzuständen gemäß den offenbarten Ausführungsformen zeigt.

AUSFÜHRLICHE BESCHREIBUNG
Die nachfolgende ausführliche Beschreibung bezieht sich auf die beiliegenden Zeichnungen. Wo immer möglich, werden in den Zeichnungen und in der nachfolgenden Beschreibung gleiche Bezugszeichen verwendet, um auf gleiche oder ähnliche Teile zu verweisen. Auch wenn vorliegend mehrere beispielhafte Ausführungsformen beschrieben werden, sind Änderungen, Anpassungen und andere Implementierungen möglich. Beispielsweise können an den in den Zeichnungen dargestellten Komponenten Ersetzungen, Hinzufügungen oder Modifikationen vorgenommen werden, und die vorliegend beschriebenen Verfahren können durch Ersetzen, Umordnen, Weglassen oder Hinzufügen von Schritten zu den offengelegten Verfahren modifiziert werden. Dementsprechend ist die folgende ausführliche Beschreibung nicht auf die offenbarten Ausführungsformen und Beispiele beschränkt. Vielmehr wird der tatsächliche Umfang durch die beiliegenden Ansprüche definiert.
Übersicht Autonomes Fahrzeug
Der Begriff „autonomes Fahrzeug“ bezieht sich vorliegend auf ein Fahrzeug, das in der Lage ist, mindestens eine Navigationsänderung ohne Fahrereingaben durchzuführen. Eine „Navigationsänderung“ bezieht sich auf eine Änderung in Bezug auf Lenkung und/oder Bremsen und/oder Beschleunigung des Fahrzeugs. Um autonom zu sein, muss ein Fahrzeug nicht vollautomatisch sein (d.h. vollständig ohne Fahrer oder ohne Fahrereingaben arbeiten). Ein autonomes Fahrzeug ist vielmehr ein Fahrzeug, das während bestimmter Zeiträume unter der Kontrolle eines Fahrers und während anderer Zeiträume ohne die Kontrolle eines Fahrers arbeiten kann. Zu den autonomen Fahrzeugen können auch Fahrzeuge gehören, die nur einige Aspekte der Fahrzeugnavigation steuern, wie beispielsweise die Lenkung (z.B. zur Beibehaltung eines Fahrzeugkurses zwischen Fahrspurbegrenzungen), andere Aspekte aber dem Fahrer überlassen (z.B. das Bremsen). In einigen Fällen können autonome Fahrzeuge einige oder alle Aspekte des Bremsens, der Geschwindigkeitskontrolle und/oder der Lenkung des Fahrzeugs übernehmen.
Da sich menschliche Fahrer in der Regel auf optische Hinweise und Beobachtungen verlassen, um ein Fahrzeug zu steuern, sind die Verkehrsinfrastrukturen entsprechend aufgebaut: Fahrspurmarkierungen, Verkehrsschilder und Ampeln sind so konzipiert, dass sie dem Fahrer optische Informationen liefern. Angesichts dieser Konstruktionsmerkmale von Verkehrsinfrastrukturen kann ein autonomes Fahrzeug eine Kamera und eine Verarbeitungseinheit beinhalten, die optische Informationen analysiert, die aus der Umgebung des Fahrzeugs aufgenommen werden. Zu den optischen Informationen können beispielsweise Komponenten der Verkehrsinfrastruktur (z.B. Fahrspurmarkierungen, Verkehrsschilder, Ampeln usw.) gehören, die von den Fahrern wahrgenommen werden können, sowie andere Hindernisse (z.B. andere Fahrzeuge, Fußgänger, Schutt usw.). Zudem kann ein autonomes Fahrzeug auch gespeicherte Informationen verwenden, beispielsweise Informationen, die ein Modell der Umgebung des Fahrzeugs für die Navigation liefern. Beispielsweise kann das Fahrzeug GPS-Daten, Sensordaten (z.B. von einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.) und/oder andere Kartendaten verwenden, um Informationen über seine Umgebung zu liefern, während das Fahrzeug unterwegs ist, und das Fahrzeug (sowie andere Fahrzeuge) kann die Informationen verwenden, um sich selbst in dem Modell zu lokalisieren.
In einigen Ausführungsformen dieser Offenbarung kann ein autonomes Fahrzeug Informationen verwenden, die es während der Navigation erhält (z.B. von einer Kamera, einer GPS-Einrichtung, einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.). In anderen Ausführungsformen kann ein autonomes Fahrzeug während der Navigation Informationen verwenden, die aus früheren Navigationen des Fahrzeugs (oder anderer Fahrzeuge) erhalten wurden. In anderen Ausführungsformen kann ein autonomes Fahrzeug eine Kombination aus Informationen, die während der Navigation gewonnen werden, und Informationen aus früheren Navigationen verwenden. Die folgenden Abschnitte geben einen Überblick über ein System gemäß den offenbarten Ausführungsformen, gefolgt von einem Überblick über ein nach vorne gerichtetes Bildgebungssystem und Verfahren im Einklang mit dem System. In den nachfolgenden Abschnitten werden Systeme und Verfahren zum Erstellen, Verwenden und Aktualisieren einer dünnbesetzten Karte (sparse map) für autonome Fahrzeugnavigation vorgestellt.
Systemübersicht
1 ist ein Blockdiagramm eines Systems 100 gemäß den beispielhaften offenbarten Ausführungsformen. Das System 100 kann je nach den Anforderungen einer jeweiligen Implementierung verschiedene Komponenten beinhalten. In einigen Ausführungsformen kann das System 100 eine Verarbeitungseinheit 110, eine Bilderfassungseinheit 120, einen Positionssensor 130, eine oder mehrere Speichereinheiten 140, 150, eine Kartendatenbank 160, eine Benutzerschnittstelle 170 und einen drahtlosen Sendeempfänger 172 beinhalten. Die Verarbeitungseinheit 110 kann eine oder mehrere Verarbeitungseinrichtungen beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 einen Anwendungsprozessor 180, einen Bildprozessor 190 oder eine beliebige andere geeignete Verarbeitungseinrichtung beinhalten. Ebenso kann die Bilderfassungseinheit 120 eine beliebige Anzahl von Bilderfassungseinrichtungen und -komponenten umfassen, je nach den Anforderungen einer jeweiligen Anwendung. In einigen Ausführungsformen kann die Bilderfassungseinheit 120 eine oder mehrere Bildaufnahmeeinrichtungen (z.B. Kameras) beinhalten, wie die Bildaufnahmerichtung 122, die Bildaufnahmeeinrichtung 124 und die Bildaufnahmeeinrichtung 126. Das System 100 kann auch eine Datenschnittstelle 128 beinhalten, die die Verarbeitungseinrichtung 110 mit der Bilderfassungseinrichtung 120 kommunikativ verbindet. Die Datenschnittstelle 128 kann zum Beispiel eine oder mehrere drahtgebundene und/oder drahtlose Verbindungen zur Übertragung von Bilddaten, die von der Bilderfassungseinrichtung 120 erfasst wurden, an die Verarbeitungseinheit 110 beinhalten.
Der drahtlose Sendeempfänger 172 kann eine oder mehrere Einrichtungen umfassen, die so konfiguriert sind, dass sie Übertragungen über eine Luftschnittstelle mit einem oder mehreren Netzwerken (z. B. Mobilfunk, Internet usw.) unter Verwendung einer Funkfrequenz, Infrarotfrequenz, eines Magnetfelds oder eines elektrischen Felds austauschen. Der drahtlose Sendeempfänger 172 kann jeden bekannten Standard zum Übertragen und/oder Empfangen von Daten verwenden (z.B. WiFi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee usw.). Solche Übertragungen können Kommunikation vom Host-Fahrzeug zu einem oder mehreren entfernten Servern beinhalten. Solche Übertragungen können zudem (ein- oder zweiseitige) Kommunikation zwischen dem Host-Fahrzeug und einem oder mehreren Zielfahrzeugen in der Umgebung des Host-Fahrzeugs (z.B. zur Erleichterung der Koordinierung der Navigation des Host-Fahrzeugs im Hinblick auf oder zusammen mit Zielfahrzeugen in der Umgebung des Host-Fahrzeugs), oder sogar eine Rundsende- (Broadcast-) Übertragung an nicht näher bezeichnete Empfänger in der Nähe des übertragenden Fahrzeugs beinhalten.
Sowohl der Anwendungsprozessor 180 als auch der Bildprozessor 190 können verschiedene Arten von Verarbeitungseinrichtungen beinhalten. Der Anwendungsprozessor 180 und der Bildprozessor 190 können beispielsweise einen Mikroprozessor, Vorprozessoren (z.B. einen Bildvorprozessor), eine Grafikverarbeitungseinheit (GPU), eine Zentraleinheit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder andere Arten von Einrichtungen umfassen, die zum Ausführen von Anwendungen und für die Bildverarbeitung und -analyse geeignet sind. In einigen Ausführungsformen kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 jede Art von Einkern- oder Mehrkernprozessor, Mikrocontroller für mobile Einrichtungen, Zentraleinheit usw. beinhalten. Es können verschiedene Verarbeitungseinrichtungen verwendet werden, darunter beispielsweise Prozessoren von Herstellern wie Intel®, AMD® usw. oder GPUs von Herstellern wie NVIDIA®, ATI® usw., die verschiedene Architekturen beinhalten können (z.B. x86-Prozessor, ARME usw.).
In einigen Ausführungsformen können der Anwendungsprozessor 180 und/oder der Bildprozessor 190 einen der von Mobileye® erhältlichen Prozessorchips der EyeQ-Serie beinhalten. Diese Prozessordesigns beinhalten jeweils mehrere Verarbeitungseinheiten mit lokalem Speicher und Befehlssätzen. Solche Prozessoren können Videoeingänge zum Empfangen von Bilddaten von mehreren Bildsensoren und auch Videoausgangsfunktionen beinhalten. In einem Beispiel verwendet der EyeQ2® 90-nm-Micron-Technologie, die mit 332 MHz arbeitet. Die EyeQ2®-Architektur besteht aus zwei 32-Bit-RISC-CPUs mit Fließkomma und Hyperthreading (MIPS32®-34K®-Kerne), fünf Vision Computing Engines (VCEs), drei Vector Microcode Processors (VMP®), einem Denali 64-Bit Mobile DDR Controller, einem internen 128-Bit Sonics Interconnect, zwei 16-Bit-Videoeingangs- und 18-Bit-Videoausgangs-Controllern, 16 Kanälen DMA und verschiedenen Peripheriegeräten. Die MIPS34K-CPU verwaltet die fünf VCEs, drei VMP™ und den DMA, die zweite MIPS34K-CPU und den Mehrkanal-DMA sowie die anderen Peripheriegeräte. Die fünf VCEs, drei VMP® und die MIPS34K-CPU können intensive Bildverarbeitungsberechnungen durchführen, die für Multifunktions-Bündelanwendungen erforderlich sind. In einem weiteren Beispiel kann der EyeQ3®, ein Prozessor der dritten Generation, der sechsmal leistungsfähiger ist als der EyeQ2®, in den offenbarten Ausführungsformen verwendet werden. In anderen Beispielen kann in den offenbarten Ausführungsformen der FyeQ4® und/oder der EyeQ5® verwendet werden. Natürlich können auch neuere oder zukünftige EyeQ-Verarbeitungseinrichtungen zusammen mit den offenbarten Ausführungsformen verwendet werden.
Jede der vorliegend beschriebenen Verarbeitungseinrichtungen kann so konfiguriert werden, dass sie bestimmte Funktionen ausführt. Das Konfigurieren einer Verarbeitungseinrichtung, wie eines der beschriebenen EyeQ-Prozessoren oder eines anderen Controllers oder Mikroprozessors, zur Ausführung bestimmter Funktionen kann Programmieren von computerausführbaren Anweisungen und Bereitstellen dieser Anweisungen an die Verarbeitungseinrichtung zur Ausführung während des Betriebs der Verarbeitungseinrichtung beinhalten. In einigen Ausführungsformen kann das Konfigurieren einer Verarbeitungseinrichtung direktes Programmieren der Verarbeitungseinrichtung mit Architekturanweisungen beinhalten. Beispielsweise können Verarbeitungseinrichtungen wie frei programmierbare Gate-Arrays (FPGAs), anwendungsspezifische integrierte Schaltungen (ASICs) und dergleichen unter Verwendung beispielsweise einer oder mehrerer Hardwarebeschreibungssprachen (HDLs, hardware description languages) konfiguriert werden.
In anderen Ausführungsformen kann das Konfigurieren einer Verarbeitungseinrichtung Speichern von ausführbaren Anweisungen in einem Speicher beinhalten, auf den die Verarbeitungseinrichtung während des Betriebs zugreifen kann. So kann die Verarbeitungseinrichtung beispielsweise auf den Speicher zugreifen, um die gespeicherten Anweisungen während des Betriebs zu beziehen und auszuführen. In jedem Fall stellt die Verarbeitungseinrichtung, die für die Durchführung der vorliegend beschriebenen Erfassungs-, Bildanalyse- und/oder Navigationsfunktionen konfiguriert ist, ein spezialisiertes hardwarebasiertes System dar, das mehrere hardwarebasierte Komponenten eines Host-Fahrzeugs steuert.
Auch wenn in 1 zwei separate Verarbeitungseinrichtungen in der Verarbeitungseinheit 110 dargestellt sind, können auch mehr oder weniger Verarbeitungseinrichtungen verwendet werden. In einigen Ausführungsformen kann zum Beispiel eine einzige Verarbeitungseinrichtung verwendet werden, um die Aufgaben des Anwendungsprozessors 180 und des Bildprozessors 190 zu erfüllen. In anderen Ausführungsformen können diese Aufgaben von mehr als zwei Verarbeitungseinrichtungen ausgeführt werden. Ferner kann das System 100 in einigen Ausführungsformen eine oder mehrere Verarbeitungseinheiten 110 beinhalten, ohne andere Komponenten wie beispielsweise die Bilderfassungseinheit 120 zu beinhalten.
Die Verarbeitungseinheit 110 kann verschiedene Arten von Einrichtungen umfassen. Die Verarbeitungseinheit 110 kann beispielsweise verschiedene Einrichtungen wie einen Controller, einen Bildvorprozessor, eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder beliebige andere Arten von Einrichtungen für Bildverarbeitung und -analyse beinhalten. Der Bildvorprozessor kann einen Videoprozessor zum Erfassen, Digitalisieren und Verarbeiten des Bildmaterials von den Bildsensoren umfassen. Die CPU kann eine beliebige Anzahl von Mikrocontrollern oder Mikroprozessoren umfassen. Die GPU kann ebenfalls eine beliebige Anzahl von Mikrocontrollern oder Mikroprozessoren umfassen. Bei den Unterstützungsschaltungen kann es sich um eine beliebige Anzahl von Schaltungen handeln, die grundsätzlich im Fachgebiet bekannt sind, darunter Cache-, Stromversorgungs-, Takt- und Eingabe/Ausgabe-Schaltungen. Der Speicher kann Software speichern, die bei Ausführung durch den Prozessor den Betrieb des Systems steuert. Der Speicher kann Datenbanken und Bildverarbeitungssoftware beinhalten. Der Speicher kann eine beliebige Anzahl von Direktzugriffsspeichern, Nur-Lese-Speichern, Flash-Speichern, Plattenlaufwerken, optischen Speichern, Bandspeichern, Wechselspeichern und anderen Speicherarten umfassen. In einem Fall kann der Speicher von der Verarbeitungseinheit 110 getrennt sein. In einem anderen Fall kann der Speicher in die Verarbeitungseinheit 110 integriert sein.
Jeder Speicher 140, 150 kann Softwareanweisungen enthalten, die bei Ausführung durch einen Prozessor (z.B. Anwendungsprozessor 180 und/oder Bildprozessor 190) den Betrieb verschiedener Aspekte des Systems 100 steuern können. Diese Speichereinheiten können verschiedene Datenbanken und Bildverarbeitungssoftware sowie ein trainiertes System wie beispielsweise ein neuronales Netz oder ein tiefes neuronales Netz beinhalten. Zu den Speichereinheiten können Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), Flash-Speicher, Plattenlaufwerke, optische Speicher, Bandspeicher, Wechselspeicher und/oder beliebige andere Speicherarten zählen. In einigen Ausführungsformen können die Speichereinheiten 140, 150 vom Anwendungsprozessor 180 und/oder Bildprozessor 190 getrennt sein. In anderen Ausführungsformen können diese Speichereinheiten in den Anwendungsprozessor 180 und/oder den Bildprozessor 190 integriert sein.
Der Positionssensor 130 kann eine beliebige Art von Einrichtung beinhalten, die geeignet ist, einen mit mindestens einer Komponente des Systems 100 verbundenen Standort zu bestimmen. In einigen Ausführungsformen kann der Positionssensor 130 einen GPS-Empfänger beinhalten. Solche Empfänger können eine Position und einen Geschwindigkeitsvektor eines Benutzers bestimmen, indem sie Signale verarbeiten, die von Satelliten des Global Positioning System gesendet werden. Positionsinformationen des Positionssensors 130 können dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 zur Verfügung gestellt werden.
In einigen Ausführungsformen kann das System 100 Komponenten wie einen Geschwindigkeitssensor (z.B. einen Tachometer, einen Geschwindigkeitsmesser) zum Messen einer Geschwindigkeit des Fahrzeugs 200 und/oder einen Beschleunigungsmesser (entweder einachsig oder mehrachsig) zum Messen einer Beschleunigung des Fahrzeugs 200 beinhalten.
Die Benutzerschnittstelle 170 kann eine beliebige Einrichtung umfassen, die geeignet ist, einem oder mehreren Benutzern des Systems 100 Informationen zu liefern oder Eingaben von ihnen zu empfangen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 Benutzereingabeeinrichtungen wie beispielsweise einen Touchscreen, ein Mikrofon, eine Tastatur, Zeigeeinrichtungen, Trackwheels, Kameras, Knöpfe, Tasten usw. beinhalten. Mit solchen Eingabeeinrichtungen kann ein Benutzer in der Lage sein, Informationseingaben oder Befehle an das System 100 zu übermitteln, indem er Anweisungen oder Informationen eingibt, Sprachbefehle erteilt, Menüoptionen auf einem Bildschirm mit Hilfe von Schaltflächen, Zeigern oder Eye-Tracking-Funktionen auswählt oder andere geeignete Methoden zur Übermittlung von Informationen an das System 100 einsetzt.
Die Benutzerschnittstelle 170 kann mit einer oder mehreren Verarbeitungseinrichtungen ausgestattet sein, die so konfiguriert sind, dass sie Informationen an einen Benutzer bereitstellen bzw. von diesem empfangen und diese Informationen zur Verwendung durch beispielsweise den Anwendungsprozessor 180 verarbeiten. In einigen Ausführungsformen können solche Verarbeitungseinrichtungen Anweisungen zum Erkennen und Verfolgen von Augenbewegungen, zum Empfangen und Interpretieren von Sprachbefehlen, zum Erkennen und Interpretieren von Berührungen und/oder Gesten auf einem Touchscreen, zum Reagieren auf Tastatureingaben oder Menüauswahlen usw. ausführen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 eine Anzeige, einen Lautsprecher, eine taktile Einrichtung und/oder andere Einrichtungen zum Bereitstellen von Ausgabeinformationen für einen Benutzer beinhalten.
Die Kartendatenbank 160 kann jede Art von Datenbank zum Speichern von Kartendaten beinhalten, die für das System 100 nützlich sind. In einigen Ausführungsformen kann die Kartendatenbank 160 Daten beinhalten, die sich auf die Position verschiedener Elemente in einem Referenzkoordinatensystem beziehen, darunter Straßen, Gewässermerkmale, geografische Merkmale, Unternehmen, Sehenswürdigkeiten, Restaurants, Tankstellen usw. Die Kartendatenbank 160 kann nicht nur die Standorte solcher Objekte speichern, sondern auch Deskriptoren, die sich auf diese Objekte beziehen, darunter beispielsweise Namen, die den gespeicherten Merkmalen zugeordnet sind. In einigen Ausführungsformen kann die Kartendatenbank 160 physisch zusammen mit anderen Komponenten des Systems 100 angeordnet sein. Alternativ oder zusätzlich kann die Kartendatenbank 160 oder ein Teil davon in Bezug auf andere Komponenten des Systems 100 (z.B. die Verarbeitungseinheit 110) entfernt angeordnet sein. In solchen Ausführungsformen können Informationen aus der Kartendatenbank 160 über eine drahtgebundene oder drahtlose Datenverbindung in ein Netzwerk (z.B. über ein Mobilfunknetz und/oder das Internet usw.) heruntergeladen werden. In einigen Fällen kann die Kartendatenbank 160 ein dünnbesetztes Datenmodell mit polynomialen Darstellungen bestimmter Straßenmerkmale (z.B. Fahrspurmarkierungen) oder Zieltrajektorien für das Host-Fahrzeug speichern. Systeme und Verfahren zum Erzeugen einer solchen Karte werden nachstehend unter Bezugnahme auf 8 bis 19 erörtert.
Die Bildaufnahmeeinrichtungen 122, 124 und 126 können jede Art von Einrichtung beinhalten, die zum Aufnehmen mindestens eines Bildes aus einer Umgebung geeignet ist. Außerdem kann eine beliebige Anzahl von Bildaufnahmeeinrichtungen verwendet werden, um Bilder für die Eingabe in den Bildprozessor zu erfassen. Einige Ausführungsformen können nur eine einzige Bildaufnahmeeinrichtung beinhalten, während andere Ausführungsformen zwei, drei oder sogar vier oder mehr Bildaufnahmeeinrichtungen beinhalten können. Die Bildaufnahmeeinrichtungen 122, 124 und 126 werden nachstehend unter Bezugnahme auf 2B bis 2E näher beschrieben.
Das System 100 oder verschiedene Komponenten davon können in verschiedene Plattformen integriert werden. In einigen Ausführungsformen kann das System 100 in einem Fahrzeug 200 enthalten sein, wie in 2A dargestellt. Beispielsweise kann das Fahrzeug 200 mit einer Verarbeitungseinheit 110 und beliebigen anderen Komponenten des Systems 100 ausgestattet sein, die vorstehend in Bezug auf 1 beschrieben sind. Während in einigen Ausführungsformen das Fahrzeug 200 nur mit einer einzigen Bildaufnahmeeinrichtung (z.B. einer Kamera) ausgestattet sein kann, können in anderen Ausführungsformen, die in Verbindung mit 2B bis 2E erörtert werden, mehrere Bildaufnahmeeinrichtungen verwendet werden. Beispielsweise kann jede der beiden Bildaufnahmeeinrichtungen 122 und 124 des Fahrzeugs 200, wie in 2A dargestellt, Teil eines ADAS-(Advanced Driver Assistance Systems) Bildgebungssets sein.
Die Bildaufnahmeeinrichtungen, die im Fahrzeug 200 als Teil der Bilderfassungseinheit 120 enthalten sind, können an jeder geeigneten Stelle positioniert sein. In einigen Ausführungsformen, wie in 2A-2E und 3A-3C gezeigt, kann sich die Bildaufnahmeeinrichtung 122 in der Nähe des Rückspiegels befinden. Diese Position kann eine ähnliche Sichtlinie wie die des Fahrers des Fahrzeugs 200 bieten, was bei der Bestimmung helfen kann, was für den Fahrer sichtbar ist und was nicht. Die Bildaufnahmeeinrichtung 122 kann an einer beliebigen Stelle in der Nähe des Rückspiegels positioniert sein, aber eine Platzierung der Bildaufnahmeeinrichtung 122 auf der Fahrerseite des Spiegels kann zusätzlich helfen, Bilder zu beziehen, die für das Sichtfeld und/oder die Sichtlinie des Fahrers repräsentativ sind.
Es können auch andere Positionen für die Bildaufnahmeeinrichtungen der Bilderfassungseinheit 120 verwendet werden. Beispielsweise kann sich die Bildaufnahmeeinrichtung 124 an oder in einem Stoßfänger des Fahrzeugs 200 befinden. Eine solche Position eignet sich besonders für Bildaufnahmeeinrichtungen mit einem großen Sichtfeld. Die Sichtlinie von am Stoßfänger befindlichen Bildaufnahmeeinrichtungen kann sich von der des Fahrers unterscheiden, so dass die Bildaufnahmeeinrichtung am Stoßfänger und der Fahrer möglicherweise nicht immer dieselben Objekte sehen. Die Bildaufnahmeeinrichtungen (z.B. die Bildaufnahmeeinrichtungen 122, 124 und 126) können sich auch an anderen Stellen befinden. Beispielsweise können sich die Bildaufnahmeeinrichtungen an oder in einem oder beiden Seitenspiegeln des Fahrzeugs 200, auf dem Dach des Fahrzeugs 200, auf der Motorhaube des Fahrzeugs 200, am Kofferraum des Fahrzeugs 200, an den Seiten des Fahrzeugs 200, an, hinter oder vor einem der Fenster des Fahrzeugs 200 montiert und in oder in der Nähe von Lichtfiguren an der Vorder- und/oder Rückseite des Fahrzeugs 200 usw. befinden.
Zusätzlich zu Bildaufnahmeeinrichtungen kann das Fahrzeug 200 verschiedene andere Komponenten des Systems 100 beinhalten. Beispielsweise kann die Verarbeitungseinheit 110 in dem Fahrzeug 200 in eine Motorsteuereinheit (ECU, engine control unit) des Fahrzeugs integriert oder von dieser getrennt sein. Das Fahrzeug 200 kann auch mit einem Positionssensor 130, beispielsweise einem GPS-Empfänger, ausgestattet sein und zudem eine Kartendatenbank 160 sowie Speichereinheiten 140 und 150 beinhalten.
Wie bereits erwähnt, kann der drahtlose Sendeempfänger 172 Daten über ein oder mehrere Netzwerke (z.B. Mobilfunknetze, das Internet usw.) übertragen und/oder empfangen. Beispielsweise kann der drahtlose Sendeempfänger 172 vom System 100 gesammelte Daten auf einen oder mehrere Server hochladen und Daten von dem einen oder den mehreren Servern herunterladen. Über den drahtlosen Sendeempfänger 172 kann das System 100 beispielsweise regelmäßige oder bedarfsabhängige Aktualisierungen von in der Kartendatenbank 160, im Speicher 140 und/oder im Speicher 150 gespeicherten Daten empfangen. Ebenso kann der drahtlose Sendeempfänger 172 beliebige Daten (z.B. Bilder, die von der Bilderfassungseinheit 120 aufgenommen wurden, Daten, die vom Positionssensor 130 oder anderen Sensoren, Fahrzeugsteuerungssystemen usw. empfangen wurden) vom System 100 und/oder beliebige Daten, die von der Verarbeitungseinheit 110 verarbeitet wurden, auf einen oder mehrere Server hochladen.
Das System 100 kann Daten auf einen Server (z.B. in die Cloud) auf Grundlage einer Datenschutzeinstellung hochladen. Beispielsweise kann das System 100 Datenschutzeinstellungen implementieren, um die Arten von Daten (einschließlich Metadaten) zu regulieren oder zu begrenzen, die an den Server gesendet werden und ein Fahrzeug oder den Fahrer/Eigentümer eines Fahrzeugs eindeutig identifizieren können. Solche Einstellungen können vom Benutzer beispielsweise über den drahtlosen Sendeempfänger 172 vorgenommen werden, durch werkseitige Standardeinstellungen initialisiert werden oder durch vom drahtlosen Sendeempfänger 172 empfangene Daten erfolgen.
In einigen Ausführungsformen kann das System 100 Daten gemäß einer „hohen“ Datenschutzstufe hochladen, und bei einer entsprechenden Einstellung kann das System 100 Daten (z.B. Standortinformationen in Bezug auf eine Route, aufgenommene Bilder usw.) ohne Einzelheiten über das konkrete Fahrzeug und/oder den Fahrer/Eigentümer übertragen. Beim Hochladen von Daten gemäß einer „hohen“ Datenschutzeinstellung bezieht das System 100 beispielsweise gegebenenfalls keine Fahrgestellnummer (VIN, vehicle identification number) oder einen Namen eines Fahrers oder Eigentümers des Fahrzeugs ein und kann stattdessen Daten wie aufgenommene Bilder und/oder begrenzte Standortinformationen in Bezug auf eine Route übertragen.
Andere Datenschutzstufen sind ebenfalls denkbar. Beispielsweise kann das System 100 Daten gemäß einer „mittleren“ Datenschutzstufe an einen Server übermitteln und zusätzliche Informationen einbeziehen, die bei einer „hohen“ Datenschutzstufe nicht einbezogen werden, wie beispielsweise die Marke und/oder das Modell eines Fahrzeugs und/oder einen Fahrzeugtyp (z.B. Pkw, SUV, Lkw usw.). In einigen Ausführungsformen kann das System 100 Daten gemäß einer „niedrigen“ Datenschutzstufe hochladen. Bei einer „niedrigen“ Datenschutzeinstellung kann das System 100 Daten hochladen und Informationen einbeziehen, die ausreichen, um ein bestimmtes Fahrzeug, den Eigentümer/Fahrer und/oder einen Teil oder die gesamte vom Fahrzeug zurückgelegte Route eindeutig zu identifizieren. Solche Daten mit „niedriger“ Datenschutzstufe können beispielsweise eine Fahrgestellnummer, den Namen eines Fahrers/Eigentümers, einen Ausgangsort des Fahrzeugs vor der Abfahrt, einen vorgesehenen Zielort des Fahrzeugs, eine Marke und/oder ein Modell des Fahrzeugs, einen Fahrzeugtyp usw. umfassen.
2A ist eine schematische Seitenansicht eines beispielhaften Fahrzeug-Bildgebungssystems gemäß den offenbarten Ausführungsformen. 2B ist eine schematische Draufsicht auf die in 2A gezeigte Ausführungsform. Wie in 2B dargestellt, können die offenbarten Ausführungsformen ein Fahrzeug 200 beinhalten, das in seiner Karosserie ein System 100 mit einer ersten Bildaufnahmeeinrichtung 122, die in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert ist, eine zweite Bildaufnahmeeinrichtung 124, die an oder in einem Stoßfängerbereich (z.B. einem der Stoßfängerbereiche 210) des Fahrzeugs 200 positioniert ist, und eine Verarbeitungseinheit 110 beinhaltet.
Wie in 2C dargestellt, können die Bildaufnahmeeinrichtungen 122 und 124 beide in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert sein. Auch wenn in 2B und 2C zwei Bildaufnahmeeinrichtungen 122 und 124 gezeigt sind, ist zu beachten, dass andere Ausführungsformen auch mehr als zwei Bildaufnahmeeinrichtungen beinhalten können. Beispielsweise sind in den in 2D und 2E gezeigten Ausführungsformen eine erste, eine zweite und eine dritte Bildaufnahmeeinrichtung 122, 124 und 126 in dem System 100 des Fahrzeugs 200 enthalten.
Wie in 2D dargestellt, kann die Bildaufnahmeeinrichtung 122 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert sein, während die Bildaufnahmeeinrichtungen 124 und 126 am oder in einem Stoßfängerbereich (z.B. einem der Stoßfängerbereiche 210) des Fahrzeugs 200 positioniert sein können. Und wie in 2E gezeigt, können die Bildaufnahmeeinrichtungen 122, 124 und 126 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrersitzes des Fahrzeugs 200 positioniert sein. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Anzahl und Konfiguration der Bildaufnahmeeinrichtungen beschränkt, und die Bildaufnahmeeinrichtungen können an jeder geeigneten Stelle im und/oder am Fahrzeug 200 positioniert sein.
Es versteht sich, dass die offenbarten Ausführungsformen nicht auf Fahrzeuge beschränkt sind und auch in anderen Kontexten angewendet werden können. Es versteht sich zudem, dass die offenbarten Ausführungsformen nicht auf einen bestimmten Fahrzeugtyp 200 beschränkt sind und für alle Fahrzeugtypen, darunter Autos, Lastkraftwagen, Anhänger und andere Fahrzeugtypen, anwendbar sein können.
Die erste Bildaufnahmeeinrichtung 122 kann eine beliebige geeignete Art von Bildaufnahmeeinrichtung umfassen. Die Bildaufnahmeeinrichtung 122 kann eine optische Achse beinhalten. In einem Fall kann die Bildaufnahmeeinrichtung 122 einen Aptina M9V024 WVGA-Sensor mit einem Global Shutter beinhalten. In anderen Ausführungsformen kann die Bildaufnahmeeinrichtung 122 eine Auflösung von 1280x960 Pixeln bieten und einen Rolling Shutter beinhalten. Die Bildaufnahmeeinrichtung 122 kann verschiedene optische Elemente beinhalten. In einigen Ausführungsformen können ein oder mehrere Objektive enthalten sein, um beispielsweise eine gewünschte Brennweite und ein gewünschtes Sichtfeld für die Bildaufnahmeeinrichtung bereitzustellen. In einigen Ausführungsformen kann die Bildaufnahmeeinrichtung 122 mit einem 6-mm-Objektiv oder einem 12-mm-Objektiv verbunden sein. In einigen Ausführungsformen kann die Bildaufnahmeeinrichtung 122 so konfiguriert sein, dass sie Bilder mit einem gewünschten Sichtfeld (FOV, field of view) 202 aufnimmt, wie in 2D veranschaulicht. Zum Beispiel kann die Bildaufnahmeeinrichtung 122 so konfiguriert sein, dass sie ein reguläres FOV aufweist, beispielsweise in einem Bereich von 40 Grad bis 56 Grad, einschließlich 46 Grad FOV, 50 Grad FOV, 52 Grad FOV oder mehr. Alternativ kann die Bildaufnahmeeinrichtung 122 so konfiguriert sein, dass sie ein schmales FOV im Bereich von 23 bis 40 Grad aufweist, beispielsweise ein FOV von 28 Grad oder 36 Grad. Zudem kann die Bildaufnahmeeinrichtung 122 so konfiguriert sein, dass sie ein breites FOV im Bereich von 100 bis 180 Grad aufweist. In einigen Ausführungsformen kann die Bildaufnahmeeinrichtung 122 eine Weitwinkel-Stoßfängerkamera oder eine Kamera mit einem FOV von bis zu 180 Grad beinhalten. In einigen Ausführungsformen kann es sich bei der Bildaufnahmeeinrichtung 122 um eine 7,2-Megapixel-Bildaufnahmeeinrichtung mit einem Seitenverhältnis von etwa 2:1 (z.B. HxV=3800x1900 Pixel) mit einem horizontalen FOV von etwa 100 Grad handeln. Eine solche Bildaufnahmeeinrichtung kann anstelle einer Konfiguration mit drei Bildaufnahmeeinrichtungen verwendet werden. Aufgrund erheblicher Objektivverzeichnung kann das vertikale FOV einer solchen Bildaufnahmeeinrichtung deutlich weniger als 50 Grad betragen, wenn die Bildaufnahmeeinrichtung ein radialsymmetrisches Objektiv verwendet. Ein solches Objektiv kann zum Beispiel nicht radial symmetrisch sein, was ein vertikales FOV von mehr als 50 Grad bei einem horizontalen FOV von 100 Grad ermöglichen würde.
Die erste Bildaufnahmeeinrichtung 122 kann eine Vielzahl von ersten Bildern in Bezug auf eine dem Fahrzeug 200 zugeordnete Szene aufnehmen. Jedes der Vielzahl erster Bilder kann als eine Serie von Bildabtastzeilen erfasst werden, die mit einem Rolling Shutter aufgenommen werden können. Jede Abtastzeile kann eine Vielzahl von Pixeln beinhalten.
Die erste Bildaufnahmeeinrichtung 122 kann eine Abtastrate aufweisen, die mit der Erfassung jeder der ersten Serie von Bildabtastzeilen verbunden ist. Die Abtastrate kann sich auf eine Rate beziehen, mit der ein Bildsensor Bilddaten erfassen kann, die zu jedem Pixel in einer jeweiligen Abtastzeile gehören.
Die Bildaufnahmeeinrichtungen 122, 124 und 126 können jede geeignete Art und Anzahl von Bildsensoren beinhalten, darunter beispielsweise CCD-Sensoren oder CMOS-Sensoren. In einer Ausführungsform kann ein CMOS-Bildsensor zusammen mit einem Rolling Shutter verwendet werden, so dass jedes Pixel in einer Reihe einzeln gelesen wird, und das Abtasten der Reihen erfolgt Reihe für Reihe, bis ein gesamter Bildrahmen aufgenommen wurde. In einigen Ausführungsformen können die Reihen in Bezug auf den Rahmen von oben nach unten nacheinander aufgenommen werden.
In einigen Ausführungsformen können eine oder mehrere der vorliegend offenbarten Bildaufnahmeeinrichtungen (z.B. die Bildaufnahmeeinrichtungen 122, 124 und 126) einen hochauflösenden Bildgeber darstellen und eine Auflösung von mehr als 5 Megapixel, 7 Megapixel, 10 Megapixel oder mehr aufweisen.
Die Verwendung eines Rolling Shutters kann dazu führen, dass Pixel in verschiedenen Reihen zu unterschiedlichen Zeiten belichtet und aufgenommen werden, was zu Verzerrungen und anderen Bildartefakten im aufgenommenen Bildrahmen führen kann. Ist die Bildaufnahmeeinrichtung 122 hingegen so konfiguriert, dass sie mit einem globalen oder synchronen Shutter arbeitet, können alle Pixel für die gleiche Zeit und während eines gemeinsamen Belichtungszeitraums belichtet werden. Somit stellen die Bilddaten in einem Rahmen, der von einem System mit Global Shutter erfasst wird, eine Momentaufnahme des gesamten FOV (z.B. FOV 202) zu einem bestimmten Zeitpunkt dar. Im Gegensatz dazu erfolgt bei einer Rolling-Shutter-Anwendung die Belichtung jeder Reihe eines Rahmens und die Erfassung der Daten zu unterschiedlichen Zeiten. Daher können bewegte Objekte in einer Bildaufnahmeeinrichtung mit Rolling Shutter verzerrt erscheinen. Auf dieses Phänomen wird nachstehend noch näher eingegangen.
Bei der zweiten Bildaufnahmeeinrichtung 124 und der dritten Bildaufnahmeeinrichtung 126 kann es sich um eine beliebige Art von Bildaufnahmeeinrichtung handeln. Wie die erste Bildaufnahmeeinrichtung 122 kann auch jede der Bildaufnahmeeinrichtungen 124 und 126 eine optische Achse aufweisen. In einer Ausführungsform kann jede der Bildaufnahmeeinrichtungen 124 und 126 einen Aptina M9V024 WVGA-Sensor mit einem Global Shutter beinhalten. Alternativ kann jede der Bildaufnahmeeinrichtungen 124 und 126 einen Rolling Shutter beinhalten. Wie die Bildaufnahmeeinrichtung 122 können auch die Bildaufnahmeeinrichtungen 124 und 126 so konfiguriert sein, dass sie verschiedene Objektive und optische Elemente beinhalten. In einigen Ausführungsformen können den Bildaufnahmeeinrichtungen 124 und 126 zugehörige Objektive FOVs (wie die FOVs 204 und 206) bereitstellen, die gleich oder schmaler als ein der Bildaufnahmeeinrichtung 122 zugehöriges FOV (wie das FOV 202) sind. Beispielsweise können die Bildaufnahmeeinrichtungen 124 und 126 FOVs von 40 Grad, 30 Grad, 26 Grad, 23 Grad, 20 Grad oder weniger aufweisen.
Die Bildaufnahmeeinrichtungen 124 und 126 können eine Vielzahl von zweiten und dritten Bildern in Bezug auf eine mit dem Fahrzeug 200 verbundene Szene erfassen. Jedes der Vielzahl zweiter und dritter Bilder kann als eine zweite und dritte Serie von Bildabtastzeilen erfasst werden, die mit einem Rolling Shutter aufgenommen werden können. Jede Abtastzeile oder -reihe kann eine Vielzahl von Pixeln aufweisen. Die Bildaufnahmeeinrichtungen 124 und 126 können eine zweite und eine dritte Abtastrate aufweisen, die mit der Erfassung jeder der Bildabtastzeilen in der zweiten und dritten Serie verbunden sind.
Jede Bildaufnahmeeinrichtung 122, 124 und 126 kann in jeder geeigneten Position und Ausrichtung in Bezug auf das Fahrzeug 200 positioniert sein. Die relative Positionierung der Bildaufnahmeeinrichtungen 122, 124 und 126 kann so gewählt werden, dass ein Zusammenführen der von den Bildaufnahmeeinrichtungen erfassten Informationen erleichtert wird. In einigen Ausführungsformen kann sich beispielsweise ein der Bildaufnahmeeinrichtung 124 zugehöriges FOV (wie das FOV 204) teilweise oder vollständig mit einem der Bildaufnahmeeinrichtung 122 zugehörigen FOV (wie dem FOV 202) und einem der Bildaufnahmeeinrichtung 126 zugehörigen FOV (wie dem FOV 206) überschneiden.
Die Bildaufnahmeeinrichtungen 122, 124 und 126 können sich an dem Fahrzeug 200 auf jeder geeigneten relativen Höhe befinden. In einem Fall kann ein Höhenunterschied zwischen den Bildaufnahmeeinrichtungen 122, 124 und 126 bestehen, der ausreichende Parallaxeninformationen für eine Stereoanalyse liefern kann. Wie in 2A gezeigt ist, befinden sich die beiden Bildaufnahmeeinrichtungen 122 und 124 beispielsweise auf unterschiedlichen Höhen. Es kann auch eine Seitenverschiebungsdifferenz zwischen den Bildaufnahmeeinrichtungen 122, 124 und 126 bestehen, die zusätzliche Parallaxeninformationen für Stereoanalyse durch beispielsweise die Verarbeitungseinheit 110 liefert. Die Differenz der Seitenverschiebung kann mit d_x bezeichnet werden, wie in 2C und 2D gezeigt. In einigen Ausführungsformen kann zwischen den Bildaufnahmeeinrichtungen 122, 124 und 126 eine Verschiebung nach vorne oder hinten (z.B. eine Entfernungsverschiebung) bestehen. Beispielsweise kann sich die Bildaufnahmeeinrichtung 122 0,5 bis 2 Meter oder mehr hinter der Bildaufnahmeeinrichtung 124 und/oder der Bildaufnahmeeinrichtung 126 befinden. Durch diese Art der Verschiebung kann eine der Bildaufnahmeeinrichtungen mögliche tote Winkel der anderen Bildaufnahmeeinrichtung(en) abdecken.
Die Bildaufnahmeeinrichtungen 122 können ein beliebiges Auflösungsvermögen (z.B. die Anzahl der dem Bildsensor zugehörigen Pixel) aufweisen, und die Auflösung des oder der der Bildaufnahmeeinrichtung 122 zugehörigen Bildsensoren kann höher, niedriger oder gleich sein wie die Auflösung des oder der den Bildaufnahmeeinrichtungen 124 und 126 zugehörigen Bildsensoren. In einigen Ausführungsformen können der oder die der Bildaufnahmeeinrichtung 122 und/oder den Bildaufnahmeeinrichtungen 124 und 126 zugehörigen Bildsensoren eine Auflösung von 640 x 480, 1024 x 768, 1280 x 960 oder eine beliebige andere geeignete Auflösung aufweisen.
Die Rahmenrate (z.B. die Rate, mit der eine Bildaufnahmeeinrichtung einen Satz von Pixeldaten eines Bildrahmens erfasst, bevor es zur Erfassung von Pixeldaten des nächsten Bildrahmens übergeht) kann steuerbar sein. Die der Bildaufnahmeeinrichtung 122 zugehörige Rahmenrate kann höher, niedriger oder gleich sein wie die den Bildaufnahmeeinrichtungen 124 und 126 zugehörige Rahmenrate. Die den Bildaufnahmeeinrichtungen 122, 124 und 126 zugehörige Rahmenrate kann von einer Vielzahl von Faktoren abhängen, die das Timing der Rahmenrate beeinflussen können. Beispielsweise kann eine oder mehrere der Bildaufnahmeeinrichtungen 122, 124 und 126 eine wählbare Pixelverzögerungsperiode beinhalten, die vor oder nach der Erfassung von Bilddaten, die mit einem oder mehreren Pixeln eines Bildsensors in der Bildaufnahmeeinrichtung 122, 124 und/oder 126 verbunden sind, eingeführt wird. Grundsätzlich können jedem Pixel entsprechende Bilddaten gemäß einer Taktrate für die Einrichtung erfasst werden (z.B. ein Pixel pro Taktzyklus). In Ausführungsformen mit Rolling Shutter kann zudem eine oder mehrere der Bildaufnahmeeinrichtungen 122, 124 und 126 eine wählbare Horizontal-Austastperiode enthalten, die vor oder nach der Erfassung von Bilddaten eingeführt wird, die mit einer Reihe von Pixeln eines Bildsensors in der Bildaufnahmeeinrichtung 122, 124 und/oder 126 verbunden sind. Ferner können eine oder mehrere der Bildaufnahmeeinrichtungen 122, 124 und/oder 126 eine wählbare Vertikal-Austastperiode beinhalten, die vor oder nach der Erfassung von Bilddaten eingeführt wird, die mit einem Bildrahmen der Bildaufnahmeeinrichtung 122, 124 und 126 verbunden sind.
Diese Zeitsteuerungen können die Synchronisierung von den Bildaufnahmeeinrichtungen 122, 124 und 126 zugehörigen Rahmenraten ermöglichen, selbst wenn die Zeilenabtastraten der einzelnen Einrichtungen unterschiedlich sind. Wie weiter unten noch näher erläutert wird, können diese wählbaren Zeitsteuerungen neben anderen Faktoren (z.B. Bildsensorauflösung, maximale Zeilenabtastraten usw.) eine Synchronisierung der Bildaufnahme aus einem Bereich ermöglichen, in dem sich das FOV der Bildaufnahmeeinrichtung 122 mit einem oder mehreren FOVs der Bildaufnahmeeinrichtungen 124 und 126 überschneidet, selbst wenn sich das Sichtfeld der Bildaufnahmeeinrichtung 122 von den FOVs der Bildaufnahmeeinrichtungen 124 und 126 unterscheidet.
Das Timing der Rahmenrate in den Bildaufnahmeeinrichtungen 122, 124 und 126 kann von der Auflösung der zugehörigen Bildsensoren abhängen. Wenn beispielsweise eine Einrichtung einen Bildsensor mit einer Auflösung von 640 x 480 und eine andere Einrichtung einen Bildsensor mit einer Auflösung von 1280 x 960 aufweist, wird bei ähnlichen Zeilenabtastraten für beide Einrichtungen für die Aufnahme eines Bildes mit dem Sensor mit der höheren Auflösung mehr Zeit benötigt.
Ein weiterer Faktor, der das Timing der Bilddatenerfassung in den Bildaufnahmeeinrichtungen 122, 124 und 126 beeinflussen kann, ist die maximale Zeilenabtastrate. Beispielsweise erfordert die Erfassung einer Reihe von Bilddaten von einem Bildsensor, der in den Bildaufnahmeeinrichtungen 122, 124 und 126 enthalten ist, eine gewisse Mindestzeit. Unter der Annahme, dass keine Pixelverzögerungszeiten hinzugefügt werden, hängt diese Mindestzeit für die Erfassung einer Reihe von Bilddaten mit der maximalen Zeilenabtastrate für eine jeweilige Einrichtung zusammen. Einrichtungen, die eine höhere maximale Zeilenabtastrate bieten, haben das Potenzial, höhere Rahmenraten zu liefern als Einrichtungen mit einer niedrigeren maximalen Zeilenabtastrate. In einigen Ausführungsformen können eine oder mehrere der Bildaufnahmeeinrichtungen 124 und 126 eine maximale Zeilenabtastrate aufweisen, die höher ist als die maximale Zeilenabtastrate der Bildaufnahmeeinrichtung 122. In einigen Ausführungsformen kann die maximale Zeilenabtastrate der Bildaufnahmeeinrichtung 124 und/oder 126 das 1,25-, 1,5-, 1,75- oder 2-fache oder mehr der maximalen Zeilenabtastrate der Bildaufnahmeeinrichtung 122 betragen.
In einer anderen Ausführungsform können die Bildaufnahmeeinrichtungen 122, 124 und 126 die gleiche maximale Zeilenabtastrate aufweisen, aber die Bildaufnahmeeinrichtung 122 kann mit einer Abtastrate betrieben werden, die geringer oder gleich ihrer maximalen Abtastrate ist. Das System kann so konfiguriert sein, dass eine oder mehrere der Bildaufnahmeeinrichtungen 124 und 126 mit einer Zeilenabtastrate arbeiten, die gleich der Zeilenabtastrate der Bildaufnahmeeinrichtung 122 ist. In anderen Fällen kann das System so konfiguriert sein, dass die Zeilenabtastrate der Bildaufnahmeeinrichtung 124 und/oder der Bildaufnahmeeinrichtung 126 das 1,25-, 1,5-, 1,75- oder 2-fache oder mehr der Zeilenabtastrate der Bildaufnahmeeinrichtung 122 beträgt.
In einigen Ausführungsformen können die Bildaufnahmeeinrichtungen 122, 124 und 126 asymmetrisch sein. Das heißt, sie können Kameras mit unterschiedlichen Sichtfeldern (FOVs) und Brennweiten beinhalten. Die Sichtfelder der Bildaufnahmeeinrichtungen 122, 124 und 126 können jeden gewünschten Bereich in Bezug auf die Umgebung des Fahrzeugs 200 beinhalten. In einigen Ausführungsformen können eine oder mehrere der Bildaufnahmeeinrichtungen 122, 124 und 126 so konfiguriert sein, dass sie Bilddaten von einer Umgebung vor dem Fahrzeug 200, hinter dem Fahrzeug 200, an den Seiten des Fahrzeugs 200 oder Kombinationen davon erfassen.
Darüber hinaus kann die Brennweite jeder Bildaufnahmeeinrichtung 122, 124 und/oder 126 wählbar sein (z.B. durch Einbeziehen geeigneter Objektive usw.), so dass jede Einrichtung Bilder von Objekten in einem gewünschten Entfernungsbereich relativ zum Fahrzeug 200 erfasst. In einigen Ausführungsformen können die Bildaufnahmeeinrichtungen 122, 124 und 126 beispielsweise Bilder von nahe gelegenen Objekten erfassen, die sich nur wenige Meter vom Fahrzeug entfernt befinden. Die Bildaufnahmeeinrichtungen 122, 124 und 126 können auch so konfiguriert sein, dass sie Bilder von Objekten erfassen, die weiter vom Fahrzeug entfernt sind (z.B. 25 m, 50 m, 100 m, 150 m oder mehr). Ferner können die Brennweiten der Bildaufnahmeeinrichtungen 122, 124 und 126 so gewählt werden, dass eine Bildaufnahmeeinrichtung (z.B. die Bildaufnahmeeinrichtung 122) Bilder von Objekten erfassen kann, die sich relativ nahe am Fahrzeug befinden (z.B. innerhalb von 10 m oder innerhalb von 20 m), während die anderen Bildaufnahmeeinrichtungen (z.B. die Bildaufnahmeeinrichtungen 124 und 126) Bilder von weiter entfernten Objekten (z.B. mehr als 20 m, 50 m, 100 m, 150 m usw.) vom Fahrzeug 200 erfassen können.
In einigen Ausführungsformen kann das Sichtfeld einer oder mehrerer Bildaufnahmeeinrichtungen 122, 124 und 126 einen weiten Winkel aufweisen. So kann es beispielsweise vorteilhaft sein, ein FOV von 140 Grad zu haben, insbesondere für die Bildaufnahmeeinrichtungen 122, 124 und 126, die zur Aufnahme von Bildern des Bereichs in der Nähe des Fahrzeugs 200 verwendet werden können. Beispielsweise kann die Bildaufnahmeeinrichtung 122 verwendet werden, um Bilder des Bereichs rechts oder links vom Fahrzeug 200 zu erfassen, und in solchen Ausführungsformen kann es wünschenswert sein, dass die Bildaufnahmeeinrichtung 122 ein breites FOV (z.B. mindestens 140 Grad) aufweist.
Das Sichtfeld der jeweiligen Bildaufnahmeeinrichtungen 122, 124 und 126 kann von den jeweiligen Brennweiten abhängen. So nimmt beispielsweise mit zunehmender Brennweite das entsprechende Sichtfeld ab.
Die Bildaufnahmeeinrichtungen 122, 124 und 126 können so konfiguriert sein, dass sie ein beliebiges geeignetes Sichtfeld aufweisen. In einem bestimmten Beispiel kann die Bildaufnahmeeinrichtung 122 ein horizontales FOV von 46 Grad, die Bildaufnahmeeinrichtung 124 ein horizontales FOV von 23 Grad und die Bildaufnahmeeinrichtung 126 ein horizontales FOV zwischen 23 und 46 Grad aufweisen. In einem anderen Fall kann die Bildaufnahmeeinrichtung 122 ein horizontales FOV von 52 Grad, die Bildaufnahmeeinrichtung 124 ein horizontales FOV von 26 Grad und die Bildaufnahmeeinrichtung 126 ein horizontales FOV zwischen 26 und 52 Grad aufweisen. In einigen Ausführungsformen kann das Verhältnis zwischen dem FOV der Bildaufnahmeeinrichtung 122 und den FOVs der Bildaufnahmeeinrichtung124 und/oder der Bildaufnahmeeinrichtung 126 zwischen 1,5 und 2,0 liegen. In anderen Ausführungsformen kann dieses Verhältnis zwischen 1,25 und 2,25 variieren.
Das System 100 kann so konfiguriert sein, dass sich ein Sichtfeld der Bildaufnahmeeinrichtung 122 zumindest teilweise oder vollständig mit einem Sichtfeld der Bildaufnahmeeinrichtung 124 und/oder der Bildaufnahmeeinrichtung 126 überschneidet. In einigen Ausführungsformen kann das System 100 so konfiguriert sein, dass die Sichtfelder der Bildaufnahmeeinrichtungen 124 und 126 beispielsweise in das Sichtfeld der Bildaufnahmeeinrichtung 122 fallen (z.B. schmaler sind als dieses) und einen gemeinsamen Mittelpunkt mit diesem aufweisen. In anderen Ausführungsformen können die Bildaufnahmeeinrichtungen 122, 124 und 126 benachbarte FOVs erfassen oder teilweise Überlappung in ihren FOVs aufweisen. In einigen Ausführungsformen können die Sichtfelder der Bildaufnahmeeinrichtungen 122, 124 und 126 so ausgerichtet sein, dass sich eine Mitte der Bildaufnahmeeinrichtungen 124 und/oder 126 mit dem engeren FOV in einer unteren Hälfte des Sichtfelds der Einrichtung 122 mit dem weiteren FOV befindet.
2F ist eine schematische Darstellung von beispielhaften Fahrzeugsteuersystemen gemäß den offenbarten Ausführungsformen. Wie in 2F dargestellt, kann das Fahrzeug 200 ein Gasregelsystem 220, ein Bremssystem 230 und ein Lenksystem 240 beinhalten. Das System 100 kann Eingaben (z.B. Steuersignale) an das Gasregelsystem 220 und/oder das Bremssystem 230 und/oder das Lenksystem 240 über eine oder mehrere Datenverbindungen (z.B. eine oder mehrere drahtgebundene und/oder drahtlose Verbindungen zur Datenübertragung) liefern. Beispielsweise kann das System 100 auf Grundlage einer Analyse von Bildern, die von den Bildaufnahmeeinrichtungen 122, 124 und/oder 126 erfasst wurden, Steuersignale an das Gasregelsystem 220 und/oder das Bremssystem 230 und/oder das Lenksystem 240 liefern, um das Fahrzeug 200 zu navigieren (z.B. durch Bewirken einer Beschleunigung, eines Abbiegens, eines Spurwechsels usw.). Ferner kann das System 100 Eingaben vom Gasregelsystem 220 und/oder dem Bremssystem 230 und/oder dem Lenksystem 24 empfangen, die Betriebsbedingungen des Fahrzeugs 200 anzeigen (z.B. die Geschwindigkeit, ob das Fahrzeug 200 bremst und/oder abbiegt usw.). Weitere Einzelheiten werden im Zusammenhang mit 4 bis 7 beschrieben.
Wie in 3A gezeigt, kann das Fahrzeug 200 zudem eine Benutzerschnittstelle 170 für die Interaktion mit einem Fahrer oder einem Fahrgast des Fahrzeugs 200 beinhalten. Beispielsweise kann die Benutzerschnittstelle 170 in einer Fahrzeuganwendung einen Touchscreen 320, Knöpfe 330, Schaltflächen 340 und ein Mikrofon 350 umfassen. Ein Fahrer oder Fahrgast des Fahrzeugs 200 kann auch Griffe (z.B. an oder in der Nähe der Lenksäule des Fahrzeugs 200, z.B. Blinkergriffe), Schaltflächen (z.B. am Lenkrad des Fahrzeugs 200) und dergleichen verwenden, um mit dem System 100 zu interagieren. In einigen Ausführungsformen kann das Mikrofon 350 in der Nähe eines Rückspiegels 310 positioniert sein. Ebenso kann sich in einigen Ausführungsformen die Bildaufnahmeeinrichtung 122 in der Nähe des Rückspiegels 310 befinden. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 auch einen oder mehrere Lautsprecher 360 (z.B. Lautsprecher eines Fahrzeug-Audiosystems) beinhalten. So kann das System 100 beispielsweise verschiedene Benachrichtigungen (z.B. Alarme) über die Lautsprecher 360 ausgeben.
3B bis 3D sind Darstellungen einer beispielhaften Kamerahalterung 370, die gemäß den offenbarten Ausführungsformen so konfiguriert ist, dass sie hinter einem Rückspiegel (z.B. dem Rückspiegel 310) und an einer Fahrzeugwindschutzscheibe positioniert werden kann. Wie in 3B gezeigt, kann die Kamerahalterung 370 Bildaufnahmeeinrichtungen 122, 124 und 126 beinhalten. Die Bildaufnahmeeinrichtungen 124 und 126 können hinter einem Blendschutz 380 positioniert sein, der bündig an der Windschutzscheibe des Fahrzeugs anliegen kann und eine Zusammensetzung aus Folie und/oder antireflektierenden Materialien enthalten kann. Der Blendschutz 380 kann beispielsweise so positioniert sein, dass er sich an einer Fahrzeugwindschutzscheibe mit entsprechender Neigung ausrichtet. In einigen Ausführungsformen kann jede der Bildaufnahmeeinrichtungen 122, 124 und 126 hinter dem Blendschutz 380 positioniert sein, wie beispielsweise in 3D dargestellt. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration der Bildaufnahmeeinrichtungen 122, 124 und 126, der Kamerahalterung 370 und des Blendschutzes 380 beschränkt. 3C ist eine Darstellung der in 3B gezeigten Kamerahalterung 370 aus einer Frontperspektive.
Wie ein der vorliegenden Offenbarung kundiger Fachmann versteht, können zahlreiche Variationen und/oder Modifikationen an den vorstehend offenbarten Ausführungsformen vorgenommen werden. So sind beispielsweise nicht alle Komponenten für den Betrieb des Systems 100 erforderlich. Darüber hinaus kann sich jede Komponente in jedem geeigneten Teil des Systems 100 befinden, und die Komponenten können in einer Vielzahl von Konfigurationen neu angeordnet werden, wobei die Funktionalität der offenbarten Ausführungsformen erhalten bleibt. Somit handelt es sich bei den vorstehenden Konfigurationen um Beispiele, und unabhängig von den vorstehend beschriebenen Konfigurationen kann das System 100 eine breite Palette von Funktionen zur Analyse der Umgebung des Fahrzeugs 200 und zur Navigation des Fahrzeugs 200 in Reaktion auf die Analyse bieten.
Wie nachstehend näher erläutert, kann gemäß verschiedenen offenbarten Ausführungsformen das System 100 eine Vielzahl von Funktionen in Bezug auf autonomes Fahren und/oder Fahrerassistenztechnologie bieten. Das System 100 kann zum Beispiel Bilddaten, Positionsdaten (z.B. GPS-Standortinformationen), Kartendaten, Geschwindigkeitsdaten und/oder Daten von Sensoren im Fahrzeug 200 analysieren. Das System 100 kann die Daten für die Analyse beispielsweise von der Bilderfassungseinheit 120, dem Positionssensor 130 und anderen Sensoren sammeln. Darüber hinaus kann das System 100 die gesammelten Daten analysieren, um zu bestimmen, ob das Fahrzeug 200 eine bestimmte Aktion durchführen sollte, und dann automatisch die bestimmte Aktion ohne menschliches Eingreifen durchführen. Wenn das Fahrzeug 200 beispielsweise ohne menschliches Eingreifen navigiert, kann das System 100 automatisch das Bremsen, die Beschleunigung und/oder die Lenkung des Fahrzeugs 200 steuern (z.B. durch Senden von Steuersignalen an das Gasregelsystem 220 und/oder das Bremssystem 230 und/oder das Lenksystem 240). Ferner kann das System 100 die gesammelten Daten analysieren und auf Grundlage der Analyse der gesammelten Daten Warnungen und/oder Alarme an Fahrzeuginsassen ausgeben. Weitere Einzelheiten zu den verschiedenen Ausführungsformen, die das System 100 bietet, werden im Folgenden beschrieben.
Nach vorne gerichtetes Mehrfach-Bildgebungssystem
Wie vorstehend beschrieben, kann das System 100 Fahrassistenzfunktionalität bieten, die ein Mehrkamerasystem verwendet. Das Mehrkamerasystem kann eine oder mehrere Kameras verwenden, die in die Vorwärtsrichtung eines Fahrzeugs gerichtet sind. In anderen Ausführungsformen kann das Mehrkamerasystem eine oder mehrere Kameras beinhalten, die zur Seite oder zum Heck des Fahrzeugs gerichtet sind. In einer Ausführungsform kann das System 100 beispielsweise ein Zwei-Kamera-Bildgebungssystem verwenden, bei dem eine erste Kamera und eine zweite Kamera (z.B. die Bildaufnahmeeinrichtungen 122 und 124) an der Vorderseite und/oder an den Seiten eines Fahrzeugs (z.B. des Fahrzeugs 200) positioniert sein können. Die erste Kamera kann ein Sichtfeld aufweisen, das größer oder kleiner ist als das Sichtfeld der zweiten Kamera oder sich teilweise mit diesem überschneidet. Zudem kann die erste Kamera mit einem ersten Bildprozessor verbunden sein, um eine monokulare Bildanalyse der von der ersten Kamera gelieferten Bilder durchzuführen, und die zweite Kamera kann mit einem zweiten Bildprozessor verbunden sein, um eine monokulare Bildanalyse der von der zweiten Kamera gelieferten Bilder durchzuführen. Die Ausgaben (z.B. verarbeitete Informationen) des ersten und des zweiten Bildprozessors können kombiniert werden. In einigen Ausführungsformen kann der zweite Bildprozessor Bilder sowohl von der ersten als auch von der zweiten Kamera empfangen, um eine Stereoanalyse durchzuführen. In einer anderen Ausführungsform kann das System 100 ein Bildgebungssystem mit drei Kameras verwenden, wobei jede der Kameras ein anderes Sichtfeld aufweist. Ein solches System kann daher Entscheidungen auf Grundlage von Informationen treffen, die von Objekten stammen, die sich in unterschiedlichen Entfernungen sowohl vor dem als auch seitlich des Fahrzeugs befinden. Der Begriff „monokulare Bildanalyse“ kann sich auf Fälle beziehen, in denen Bildanalyse auf Grundlage von Bildern durchgeführt wird, die von einem einzigen Blickwinkel aus aufgenommen wurden (z.B. von einer einzigen Kamera). Stereobildanalyse kann sich auf Fälle beziehen, in denen Bildanalyse auf Grundlage von zwei oder mehr Bildern durchgeführt wird, die mit einer oder mehreren Variationen eines Bildaufnahmeparameters aufgenommen wurden. Zu aufgenommenen Bildern, die sich für die Durchführung einer Stereobildanalyse eignen, können beispielsweise Bilder zählen, die aus zwei oder mehr verschiedenen Positionen, aus unterschiedlichen Sichtfeldern, mit unterschiedlichen Brennweiten, zusammen mit Parallaxeninformationen usw. aufgenommen wurden.
In einer Ausführungsform kann das System 100 beispielsweise eine Konfiguration mit drei Kameras unter Verwendung der Bildaufnahmeeinrichtungen 122, 124 und 126 implementieren. In einer solchen Konfiguration kann die Bildaufnahmeeinrichtung 122 ein enges Sichtfeld liefern (z.B. 34 Grad oder andere Werte, die aus einem Bereich von etwa 20 bis 45 Grad usw. ausgewählt sind), die Bildaufnahmeeinrichtung 124 kann ein breites Sichtfeld liefern (z.B. 150 Grad oder andere Werte, die aus einem Bereich von etwa 100 bis etwa 180 Grad ausgewählt sind), und die Bildaufnahmeeinrichtung 126 kann ein mittleres Sichtfeld liefern (z.B. 46 Grad oder andere Werte, die aus einem Bereich von etwa 35 bis etwa 60 Grad ausgewählt sind). In einigen Ausführungsformen kann die Bildaufnahmeeinrichtung 126 als Haupt- oder Primärkamera fungieren. Die Bildaufnahmeeinrichtungen 122, 124 und 126 können hinter dem Rückspiegel 310 und im Wesentlichen nebeneinander angeordnet sein (z.B. mit 6 cm Abstand). Ferner können in einigen Ausführungsformen, wie vorstehend beschrieben, eine oder mehrere der Bildaufnahmeeinrichtungen 122, 124 und 126 hinter dem Blendschutz 380 montiert sein, der mit der Windschutzscheibe des Fahrzeugs 200 bündig ist. Eine solche Abschirmung kann dazu beitragen, die Auswirkungen von Reflexionen aus dem Fahrzeuginneren auf die Bildaufnahmeeinrichtungen 122, 124 und 126 zu minimieren.
In einer anderen Ausführungsform, wie vorstehend in Zusammenhang mit 3B und 3C beschrieben, kann die Kamera mit dem weiten Sichtfeld (z.B. die Bildaufnahmeeinrichtung 124 im vorstehenden Beispiel) niedriger angebracht sein als die Kameras mit dem schmalen und dem großen Sichtfeld (z.B. die Bildaufnahmeeinrichtungen 122 und 126 im vorstehenden Beispiel). Diese Konfiguration kann eine freie Sichtlinie von der Weitwinkelkamera aus ermöglichen. Zur Verringerung von Reflexionen können die Kameras nahe an der Windschutzscheibe des Fahrzeugs 200 montiert sein und Polarisatoren beinhalten, um reflektiertes Licht zu dämpfen.
Ein System mit drei Kameras kann bestimmte Leistungsmerkmale aufweisen. Einige Ausführungsformen können zum Beispiel die Möglichkeit beinhalten, die Erkennung von Objekten durch eine Kamera anhand der Erkennungsergebnisse einer anderen Kamera zu überprüfen. In der vorstehend beschriebenen Konfiguration mit drei Kameras kann die Verarbeitungseinheit 110 beispielsweise drei Verarbeitungseinrichtungen beinhalten (z.B. drei Prozessorchips der EyeQ-Serie, wie vorstehend beschrieben), wobei jede Verarbeitungseinrichtung für die Verarbeitung von Bildern zuständig ist, die von einem oder mehreren der Bildaufnahmeeinrichtungen 122, 124 und 126 aufgenommen wurden.
In einem System mit drei Kameras kann eine erste Verarbeitungsvorrichtung Bilder sowohl von der Hauptkamera als auch von der Kamera mit engem Sichtfeld empfangen und eine Bildverarbeitung der Kamera mit engem FOV durchführen, um zum Beispiel andere Fahrzeuge, Fußgänger, Fahrspurmarkierungen, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Darüber hinaus kann die erste Verarbeitungseinrichtung eine Disparität von Pixeln zwischen den Bildern der Hauptkamera und der engen Kamera berechnen und eine 3D-Rekonstruktion der Umgebung des Fahrzeugs 200 erstellen. Die erste Verarbeitungseinrichtung kann dann die 3D-Rekonstruktion mit 3D-Kartendaten oder mit 3D-Informationen kombinieren, die auf Grundlage von Informationen einer anderen Kamera berechnet wurden.
Die zweite Verarbeitungseinrichtung kann Bilder von der Hauptkamera empfangen und eine Bildverarbeitung durchführen, um andere Fahrzeuge, Fußgänger, Fahrspurmarkierungen, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Zusätzlich kann die zweite Verarbeitungseinrichtung eine Kameraverschiebung berechnen und auf Grundlage der Verschiebung eine Disparität von Pixeln zwischen aufeinanderfolgenden Bildern berechnen und eine 3D-Rekonstruktion der Szene erstellen (z.B. eine Struktur aus Bewegung). Die zweite Verarbeitungseinrichtung kann die Struktur aus der bewegungsbasierten 3D-Rekonstruktion an die erste Verarbeitungseinrichtung senden, um sie mit den 3D-Stereobildern zu kombinieren.
Die dritte Verarbeitungseinrichtung kann Bilder von der Kamera mit weitem FOV empfangen und die Bilder verarbeiten, um Fahrzeuge, Fußgänger, Fahrspurmarkierungen, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Die dritte Verarbeitungseinrichtung kann ferner zusätzliche Verarbeitungsanweisungen ausführen, um Bilder zu analysieren und Objekte zu identifizieren, die sich im Bild bewegen, wie z.B. Fahrzeuge, die die Fahrspur wechseln, Fußgänger usw.
In einigen Ausführungsformen können Ströme bildbasierter Informationen, die unabhängig voneinander aufgenommen und verarbeitet werden, eine Möglichkeit bieten, Redundanz im System zu schaffen. Eine solche Redundanz kann beispielsweise darin bestehen, dass eine erste Bildaufnahmeeinrichtung und die von dieser Einrichtung verarbeiteten Bilder verwendet werden, um Informationen zu validieren und/oder zu ergänzen, die durch Aufnehmen und Verarbeiten von Bildinformationen von zumindest einer zweiten Bildaufnahmeeinrichtung gewonnen wurden.
In einigen Ausführungsformen kann das System 100 zwei Bildaufnahmeeinrichtungen (z.B. die Bildaufnahmeeinrichtungen 122 und 124) für die Navigationsunterstützung des Fahrzeugs 200 verwenden und eine dritte Bildaufnahmeeinrichtung (z.B. die Bildaufnahmeeinrichtung 126) einsetzen, um Redundanz zu schaffen und die Analyse der von den beiden anderen Bildaufnahmeeinrichtungen empfangenen Daten zu validieren. Zum Beispiel können in einer solchen Konfiguration die Bildaufnahmeeinrichtungen 122 und 124 Bilder für Stereoanalyse durch das System 100 zur Navigation des Fahrzeugs 200 liefern, während die Bildaufnahmeeinrichtung 126 Bilder für monokulare Analyse durch das System 100 liefern kann, um Redundanz und Validierung von Informationen bereitzustellen, die auf Grundlage von Bildern gewonnen wurden, die von der Bildaufnahmeeinrichtung 122 und/oder von der Bildaufnahmeeinrichtung 124 aufgenommen wurden. Das heißt, die Bildaufnahmeeinrichtung 126 (und eine entsprechende Verarbeitungseinrichtung) kann als redundantes Teilsystem betrachtet werden, um die von den Bildaufnahmeeinrichtungen 122 und 124 abgeleitete Analyse zu überprüfen (z.B. um ein automatisches Notbrems- (AEB, automatic emergency braking) System bereitzustellen). Darüber hinaus kann in einigen Ausführungsformen Redundanz und Validierung der empfangenen Daten auf Grundlage von Informationen ergänzt werden, die von einem oder mehreren Sensoren (z.B. Radar, Lidar, akustische Sensoren, Informationen von einem oder mehreren Sendeempfängern außerhalb des Fahrzeugs usw.) empfangen werden.
Ein Fachmann versteht, dass es sich bei den vorstehend genannten Kamerakonfigurationen, Kameraplatzierungen, der Anzahl der Kameras, den Kamerapositionen usw. nur um Beispiele handelt. Diese und andere Komponenten, die im Zusammenhang mit dem Gesamtsystem beschrieben werden, können in einer Vielzahl unterschiedlicher Konfigurationen zusammengebaut und verwendet werden, ohne vom Umfang der offenbarten Ausführungsformen abzuweichen. Weitere Einzelheiten zur Verwendung eines Mehrkamerasystems zur Bereitstellung von Fahrerassistenz- und/oder autonomen Fahrzeugfunktionen folgen nachstehend.
4 ist ein beispielhaftes funktionales Blockdiagramm des Speichers 140 und/oder 150, der mit Anweisungen zum Durchführen eines oder mehrerer Arbeitsschritte gemäß den offenbarten Ausführungsformen gespeichert/programmiert werden kann. Auch wenn sich die folgenden Ausführungen auf den Speicher 140 beziehen, wird ein Fachmann erkennen, dass die Anweisungen im Speicher 140 und/oder 150 gespeichert werden können.
Wie in 4 gezeigt, kann der Speicher 140 ein Monokularbildanalysemodul 402, ein Stereobildanalysemodul 404, ein Geschwindigkeitsvektor- und Beschleunigungsmodul 406 und ein Navigationsreaktionsmodul 408 speichern. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration des Speichers 140 beschränkt. Ferner kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 die in beliebigen der Module 402, 404, 406 und 408 des Speichers 140 gespeicherten Anweisungen ausführen. Ein Fachmann versteht, dass sich Verweise auf die Verarbeitungseinheit 110 in den folgenden Ausführungen auf den Anwendungsprozessor 180 und den Bildprozessor 190 einzeln oder gemeinsam beziehen können. Dementsprechend können Schritte jedes der nachstehenden Prozesse von einer oder mehreren Verarbeitungseinrichtungen durchgeführt werden.
In einer Ausführungsform kann das Monokularbildanalysemodul 402 Anweisungen (wie beispielsweise Computer-Vision-Software) speichern, die bei Ausführung durch die Verarbeitungseinheit 110 monokulare Bildanalyse eines Satzes von Bildern durchführen, die von einer der Bildaufnahmeeinrichtungen 122, 124 und 126 erfasst wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus einem Satz von Bildern mit zusätzlichen sensorischen Informationen (z.B. Informationen von Radar, Lidar usw.) kombinieren, um die monokulare Bildanalyse durchzuführen. Wie in Verbindung mit 5A-5D unten beschrieben, kann das Monokularbildanalysemodul 402 Anweisungen zum Erkennen eines Satzes von Merkmalen innerhalb des Satzes von Bildern enthalten, wie beispielsweise Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, gefährliche Objekte und jedes andere Merkmal, das mit einer Umgebung eines Fahrzeugs zusammenhängt. Basierend auf der Analyse kann das System 100 (z.B. über die Verarbeitungseinheit 110) eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken, wie z.B. ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen, wie nachstehend im Zusammenhang mit dem Navigationsreaktionsmodul 408 beschrieben.
In einer Ausführungsform kann das Stereobildanalysemodul 404 Anweisungen (z.B. Computer-Vision-Software) speichern, die bei Ausführung durch die Verarbeitungseinheit 110 eine Stereobildanalyse eines ersten und eines zweiten Satzes von Bildern durchführen, die von einer Kombination von Bildaufnahmeeinrichtungen erfasst wurden, die aus einer der Bildaufnahmeeinrichtungen 122, 124 und 126 ausgewählt ist. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus dem ersten und dem zweiten Satz von Bildern mit zusätzlichen sensorischen Informationen (z.B. Informationen vom Radar) kombinieren, um die Stereobildanalyse durchzuführen. Beispielsweise kann das Stereobildanalysemodul 404 Anweisungen zum Durchführen einer Stereobildanalyse auf Grundlage eines ersten Satzes von Bildern, die von der Bildaufnahmeeinrichtung 124 erfasst wurden, und eines zweiten Satzes von Bildern, die von der Bildaufnahmeeinrichtung 126 erfasst wurden, beinhalten. Wie in Verbindung mit 6 nachstehend beschrieben, kann das Stereobildanalysemodul 404 Anweisungen zum Erkennen eines Satzes von Merkmalen innerhalb des ersten und des zweiten Satzes von Bildern beinhalten, wie beispielsweise Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, gefährliche Objekte und dergleichen. Basierend auf der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken, wie z.B. ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen, wie nachstehend im Zusammenhang mit dem Navigationsreaktionsmodul 408 beschrieben. Darüber hinaus kann das Stereobildanalysemodul 404 in einigen Ausführungsformen Methoden im Zusammenhang mit einem trainierten System (beispielsweise einem neuronalen Netz oder einem tiefen neuronalen Netz) oder einem untrainierten System implementieren, wie beispielsweise einem System, das so konfiguriert sein kann, dass es Computer-Vision-Algorithmen verwendet, um Objekte in einer Umgebung, aus der sensorische Informationen aufgenommen und verarbeitet werden, zu erkennen und/oder zu kennzeichnen. In einer Ausführungsform kann das Stereobildanalysemodul 404 und/oder andere Bildverarbeitungsmodule so konfiguriert sein, dass eine Kombination aus einem trainierten und einem untrainierten System verwendet wird.
In einer Ausführungsform kann das Geschwindigkeitsvektor- und Beschleunigungsmodul 406 Software speichern, die so konfiguriert ist, dass sie Daten analysiert, die von einer oder mehreren Rechen- und elektromechanischen Einrichtungen im Fahrzeug 200 empfangen werden, die so konfiguriert sind, dass sie eine Änderung des Geschwindigkeitsvektors und/oder Beschleunigung des Fahrzeugs 200 bewirken. Beispielsweise kann die Verarbeitungseinheit 110 Anweisungen ausführen, die mit dem Geschwindigkeitsvektor- und Beschleunigungsmodul 406 zusammenhängen, um eine Zielgeschwindigkeit für das Fahrzeug 200 auf Grundlage von Daten zu berechnen, die aus der Ausführung des Monokularbildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 abgeleitet wurden. Solche Daten können beispielsweise eine Zielposition, einen Zielgeschwindigkeitsvektor und/oder eine Zielbeschleunigung, die Position und/oder Geschwindigkeit des Fahrzeugs 200 in Bezug auf ein nahegelegenes Fahrzeug, einen Fußgänger oder ein Straßenobjekt, Positionsinformationen für das Fahrzeug 200 in Bezug auf Fahrspurmarkierungen auf der Straße und dergleichen umfassen. Zudem kann die Verarbeitungseinheit 110 auf Grundlage sensorischer Eingaben (z.B. Informationen vom Radar) und von Eingaben von anderen Systemen des Fahrzeugs 200, wie dem Gasregelsystem 220, dem Bremssystem 230 und/oder dem Lenksystem 240 des Fahrzeugs 200, eine Zielgeschwindigkeit für das Fahrzeug 200 berechnen. Auf Grundlage der berechneten Zielgeschwindigkeit kann die Verarbeitungseinheit 110 elektronische Signale an das Gasregelsystem 220, das Bremssystem 230 und/oder das Lenksystem 240 des Fahrzeugs 200 senden, um eine Änderung des Geschwindigkeitsvektors und/oder der Beschleunigung auszulösen, indem beispielsweise die Bremse physisch betätigt oder das Gaspedal des Fahrzeugs 200 nachgelassen wird.
In einer Ausführungsform kann das Navigationsreaktionsmodul 408 Software speichern, die von der Verarbeitungseinheit 110 ausgeführt werden kann, um eine gewünschte Navigationsreaktion auf Grundlage von Daten zu bestimmen, die aus der Ausführung des Monokularbildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 abgeleitet wurden. Solche Daten können Positions- und Geschwindigkeitsinformationen in Verbindung mit nahegelegenen Fahrzeugen, Fußgängern und Straßenobjekten, Zielpositionsinformationen für das Fahrzeug 200 und dergleichen umfassen. Zusätzlich kann in einigen Ausführungsformen die Navigationsreaktion (teilweise oder vollständig) auf Kartendaten, einer vorbestimmten Position des Fahrzeugs 200 und/oder eines relativen Geschwindigkeitsvektors oder einer relativen Beschleunigung zwischen dem Fahrzeug 200 und einem oder mehreren Objekten basieren, die durch Ausführung des Monokularbildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 erkannt wurden. Das Navigationsreaktionsmodul 408 kann zudem eine gewünschte Navigationsreaktion basierend auf sensorischen Eingaben (z.B. Informationen vom Radar) und Eingaben von anderen Systemen des Fahrzeugs 200, wie dem Gasregelsystem 220, dem Bremssystem 230 und dem Lenksystem 240 des Fahrzeugs 200, bestimmen. Auf Grundlage der gewünschten Navigationsreaktion kann die Verarbeitungseinheit 110 elektronische Signale an das Gasregelsystem 220, das Bremssystem 230 und das Lenksystem 240 des Fahrzeugs 200 übertragen, um eine gewünschte Navigationsreaktion auszulösen, indem beispielsweise das Lenkrad des Fahrzeugs 200 gedreht wird, um eine Drehung um einen vorbestimmten Winkel zu erreichen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Ausgabe des Navigationsreaktionsmoduls 408 (z.B. die gewünschte Navigationsreaktion) als Eingabe für die Ausführung des Geschwindigkeitsvektor- und Beschleunigungsmoduls 406 verwenden, um eine Änderung der Geschwindigkeit des Fahrzeugs 200 zu berechnen.
Darüber hinaus kann jedes der vorliegend offenbarten Module (z.B. die Module 402, 404 und 406) Methoden im Zusammenhang mit einem trainierten System (wie beispielsweise einem neuronalen Netz oder einem tiefen neuronalen Netz) oder einem untrainierten System implementieren.
5A ist ein Flussdiagramm, das einen beispielhaften Prozess 500A zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer monokularen Bildanalyse gemäß den offenbarten Ausführungsformen zeigt. In Schritt 510 kann die Verarbeitungseinheit 110 eine Vielzahl von Bildern über eine Datenschnittstelle 128 zwischen der Verarbeitungseinheit 110 und der Bilderfassungseinheit 120 empfangen. Beispielsweise kann eine Kamera, die in der Bilderfassungseinheit 120 enthalten ist (z.B. die Bildaufnahmeeinrichtung 122 mit dem Sichtfeld 202), eine Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 (oder beispielsweise an den Seiten oder am Heck eines Fahrzeugs) aufnehmen und sie über eine Datenverbindung (z.B. digital, drahtgebunden, USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. Die Verarbeitungseinheit 110 kann das Monokularbildanalysemodul 402 ausführen, um die Vielzahl von Bildern in Schritt 520 zu analysieren, wie nachstehend in Verbindung mit 5B bis 5D näher beschrieben. Durch Durchführen der Analyse kann die Verarbeitungseinheit 110 einen Satz von Merkmalen innerhalb des Satzes von Bildern erkennen, wie beispielsweise Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln und dergleichen.
Die Verarbeitungseinheit 110 kann zudem das Monokularbildanalysemodul 402 ausführen, um in Schritt 520 verschiedene Gefahren auf der Straße zu erkennen, wie beispielsweise Teile eines Lkw-Reifens, umgefallene Straßenschilder, lose Fracht, kleine Tiere und dergleichen. Straßengefahren können sich in Struktur, Form, Größe und Farbe unterscheiden, was die Erkennung solcher Gefahren erschweren kann. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 das Monokularbildanalysemodul 402 ausführen, um eine Mehrrahmenanalyse der Vielzahl von Bildern durchzuführen, um Straßengefahren zu erkennen. So kann die Verarbeitungseinheit 110 beispielsweise die Kamerabewegung zwischen aufeinanderfolgenden Bildrahmen abschätzen und die Disparitäten in den Pixeln zwischen den Rahmen berechnen, um eine 3D-Karte der Straße zu erstellen. Die Verarbeitungseinheit 110 kann dann die 3D-Karte verwenden, um die Straßenoberfläche sowie Gefahren oberhalb der Straßenoberfläche zu erkennen.
In Schritt 530 kann die Verarbeitungseinheit 110 das Navigationsreaktionsmodul 408 ausführen, um eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auf Grundlage der in Schritt 520 durchgeführten Analyse und der vorstehend in Verbindung mit 4 beschriebenen Methoden zu bewirken. Zu den Navigationsreaktionen können beispielsweise ein Abbiegen, ein Spurwechsel, eine Änderung der Beschleunigung und dergleichen zählen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die aus der Ausführung des Geschwindigkeitsvektor- und Beschleunigungsmoduls 406 abgeleitet wurden, um die eine oder die mehreren Navigationsreaktionen zu bewirken. Zudem können mehrere Navigationsreaktionen gleichzeitig, nacheinander oder in beliebiger Kombination erfolgen. Beispielsweise kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, eine Spur zu wechseln und dann zu beschleunigen, indem sie beispielsweise nacheinander Steuersignale an das Lenksystem 240 und das Gasregelsystem 220 des Fahrzeugs 200 überträgt. Alternativ kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, zu bremsen und gleichzeitig die Fahrspur zu wechseln, indem sie beispielsweise gleichzeitig Steuersignale an das Bremssystem 230 und das Lenksystem 240 des Fahrzeugs 200 überträgt.
5B ist ein Flussdiagramm, das einen beispielhaften Prozess 500B zum Erkennen eines oder mehrerer Fahrzeuge und/oder Fußgänger in einem Satz von Bildern gemäß offenbarten Ausführungsformen zeigt. Die Verarbeitungseinheit 110 kann das Monokularbildanalysemodul 402 ausführen, um den Prozess 500B zu implementieren. In Schritt 540 kann die Verarbeitungseinheit 110 einen Satz von Kandidatenobjekten bestimmen, die mögliche Fahrzeuge und/oder Fußgänger darstellen. Beispielsweise kann die Verarbeitungseinheit 110 ein oder mehrere Bilder abtasten, die Bilder mit einem oder mehreren vorgegebenen Mustern vergleichen und in jedem Bild mögliche Stellen identifizieren, die Objekte von Interesse enthalten können (z.B. Fahrzeuge, Fußgänger oder Teile davon). Die vorgegebenen Muster können so gestaltet werden, dass eine hohe Rate von „falschen Treffern“ und eine niedrige Rate von „Fehltreffern“ erreicht wird. Beispielsweise kann die Verarbeitungseinheit 110 einen niedrigen Schwellenwert für die Ähnlichkeit mit vorgegebenen Mustern verwenden, um die Kandidatenobjekte als mögliche Fahrzeuge oder Fußgänger zu identifizieren. Auf diese Weise kann die Verarbeitungseinheit 110 die Wahrscheinlichkeit verringern, dass ein Objekt, das ein Fahrzeug oder einen Fußgänger darstellt, übersehen (z.B. nicht identifiziert) wird.
In Schritt 542 kann die Verarbeitungseinheit 110 den Satz von Kandidatenobjekten filtern, um bestimmte Kandidaten (z.B. irrelevante oder weniger relevante Objekte) auf Grundlage von Klassifizierungskriterien auszuschließen. Solche Kriterien können aus verschiedenen Eigenschaften abgeleitet werden, die mit Objekttypen verbunden sind, die in einer Datenbank gespeichert sind (z.B. einer Datenbank, die im Speicher 140 gespeichert ist). Zu den Eigenschaften können Objektform, Abmessungen, Textur, Position (z.B. relativ zum Fahrzeug 200) und dergleichen zählen. Somit kann die Verarbeitungseinheit 110 einen oder mehrere Sätze von Kriterien verwenden, um falsche Kandidaten aus dem Satz von Kandidatenobjekten auszuschließen.
In Schritt 544 kann die Verarbeitungseinheit 110 mehrere Rahmen analysieren, um zu bestimmen, ob Objekte in dem Satz von Kandidatenobjekten Fahrzeuge und/oder Fußgänger darstellen. Beispielsweise kann die Verarbeitungseinheit 110 ein erkanntes Kandidatenobjekt über aufeinanderfolgende Rahmen hinweg verfolgen und Rahmen-für-Rahmen-Daten im Zusammenhang mit dem erkannten Objekt sammeln (z.B. Größe, Position relativ zum Fahrzeug 200 usw.). Zudem kann die Verarbeitungseinheit 110 Parameter für das erkannte Objekt schätzen und die Rahmen-für-Rahmen-Positionsdaten des Objekts mit einer vorhergesagten Position vergleichen.
In Schritt 546 kann die Verarbeitungseinheit 110 einen Satz von Messungen für die erkannten Objekte erstellen. Solche Messungen können z.B. Positions-, Geschwindigkeitsvektor- und Beschleunigungswerte (relativ zum Fahrzeug 200) in Verbindung mit den erkannten Objekten umfassen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Messungen auf Grundlage von Schätzverfahren mit einer Reihe von zeitbasierten Beobachtungen wie Kalman-Filtern oder linearer quadratischer Schätzung (LQE, linear quadratic estimation) und/oder auf Grundlage verfügbarer Modellierungsdaten für verschiedene Objekttypen (z.B. Autos, Lastwagen, Fußgänger, Fahrräder, Straßenschilder usw.) erstellen. Die Kalman-Filter können auf einer Messung eines Maßstabs eines Objekts basieren, wobei die Maßstabsmessung proportional zur Zeit bis zur Kollision ist (z.B. die Zeit, die das Fahrzeug 200 benötigt, um das Objekt zu erreichen). Durch Ausführen der Schritte 540 bis 546 kann die Verarbeitungseinheit 110 somit Fahrzeuge und Fußgänger identifizieren, die in dem Satz aufgenommener Bilder vorkommen, und Informationen (z.B. Position, Geschwindigkeit, Größe) ableiten, die mit den Fahrzeugen und Fußgängern verbunden sind. Auf Grundlage der Identifikation und der abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken, wie vorstehend in Verbindung mit 5A beschrieben.
In Schritt 548 kann die Verarbeitungseinheit 110 eine optische Flussanalyse eines oder mehrerer Bilder durchführen, um die Wahrscheinlichkeit zu verringern, dass ein „falscher Treffer“ erkannt und ein Objekt, das ein Fahrzeug oder einen Fußgänger darstellt, übersehen wird. Die optische Flussanalyse kann sich beispielsweise auf ein Analysieren von Bewegungsmustern in Bezug auf das Fahrzeug 200 in einem oder mehreren Bildern beziehen, die mit anderen Fahrzeugen und Fußgängern zusammenhängen und sich von einer Bewegung der Straßenoberfläche unterscheiden. Die Verarbeitungseinheit 110 kann die Bewegung der Kandidatenobjekte berechnen, indem sie die unterschiedlichen Positionen der Objekte über mehrere Bildrahmen hinweg beobachtet, die zu unterschiedlichen Zeiten aufgenommen werden. Die Verarbeitungseinheit 110 kann die Positions- und Zeitwerte als Eingaben in mathematische Modelle zur Berechnung der Bewegung der Kandidatenobjekte verwenden. So kann die optische Flussanalyse ein weiteres Verfahren zum Erkennen von Fahrzeugen und Fußgängern bereitstellen, die sich in der Nähe des Fahrzeugs 200 befinden. Die Verarbeitungseinheit 110 kann eine optische Flussanalyse in Kombination mit den Schritten 540 bis 546 durchführen, um Redundanz beim Erkennen von Fahrzeugen und Fußgängern zu schaffen und die Zuverlässigkeit des Systems 100 zu erhöhen.
5C ist ein Flussdiagramm, das einen beispielhaften Prozess 500C zum Erkennen von Fahrbahnmarkierungen und/oder Fahrspurgeometrieinformationen in einem Satz von Bildern gemäß offenbarten Ausführungsformen zeigt. Die Verarbeitungseinheit 110 kann das Monokularbildanalysemodul 402 ausführen, um den Prozess 500C zu implementieren. In Schritt 550 kann die Verarbeitungseinheit 110 durch Abtasten eines oder mehrerer Bilder einen Satz von Objekten erkennen. Um Abschnitte von Fahrspurmarkierungen, Fahrspurgeometrieinformationen und andere relevante Fahrbahnmarkierungen zu erkennen, kann die Verarbeitungseinheit 110 den Satz von Objekten filtern, um diejenigen auszuschließen, die als irrelevant bestimmt werden (z.B. kleinere Schlaglöcher, kleine Steine usw.). In Schritt 552 kann die Verarbeitungseinheit 110 die in Schritt 550 erkannten Abschnitte, die zur gleichen Fahrbahnmarkierung oder Fahrspurmarkierung gehören, zusammen gruppieren. Auf Grundlage der Gruppierung kann die Verarbeitungseinheit 110 ein Modell zur Darstellung der erkannten Abschnitte entwickeln, beispielsweise ein mathematisches Modell.
In Schritt 554 kann die Verarbeitungseinheit 110 einen Satz von Messungen im Zusammenhang mit den erkannten Abschnitten erstellen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Projektion der erkannten Abschnitte von der Bildebene auf die reale Ebene erstellen. Die Projektion kann durch ein Polynom 3. Grades charakterisiert werden, dessen Koeffizienten physikalischen Eigenschaften wie Position, Neigung, Krümmung und Krümmungsableitung der erkannten Straße entsprechen. Bei der Erstellung der Projektion kann die Verarbeitungseinheit 110 Änderungen der Fahrbahnoberfläche sowie die mit dem Fahrzeug 200 verbundenen Nick- und Rollraten berücksichtigen. Zudem kann die Verarbeitungseinheit 110 die Straßenhöhe modellieren, indem sie die auf der Fahrbahnoberfläche vorhandenen Positions- und Bewegungshinweise analysiert. Ferner kann die Verarbeitungseinheit 110 die mit dem Fahrzeug 200 verbundenen Nick- und Rollraten schätzen, indem sie einen Satz von Merkmalspunkten in einem oder den mehreren Bildern verfolgt.
In Schritt 556 kann die Verarbeitungseinheit 110 eine Mehrrahmenanalyse durchführen, indem sie beispielsweise die erkannten Abschnitte über aufeinanderfolgende Bildrahmen hinweg verfolgt und Rahmen-für-Rahmen-Daten im Zusammenhang mit erkannten Abschnitten sammelt. Mit der Durchführung der Mehrrahmenanalyse durch die Verarbeitungseinheit 110 kann der in Schritt 554 erstellte Satz von Messungen zuverlässiger werden und einem zunehmend höheren Konfidenzniveau zugeordnet werden. Durch Ausführen der Schritte 550, 552, 554 und 556 kann die Verarbeitungseinheit 110 somit Fahrbahnmarkierungen in dem Satz aufgenommener Bilder identifizieren und Fahrspurgeometrieinformationen ableiten. Auf Grundlage der Identifikation und der abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken, wie vorstehend in Verbindung mit 5A beschrieben.
In Schritt 558 kann die Verarbeitungseinheit 110 zusätzliche Informationsquellen berücksichtigen, um ein Sicherheitsmodell für das Fahrzeug 200 im Kontext seiner Umgebung weiter zu entwickeln. Die Verarbeitungseinheit 110 kann das Sicherheitsmodell verwenden, um einen Kontext zu definieren, in dem das System 100 die autonome Steuerung des Fahrzeugs 200 in einer sicheren Weise ausführen kann. Um das Sicherheitsmodell zu entwickeln, kann die Verarbeitungseinheit 110 in einigen Ausführungsformen die Position und Bewegung anderer Fahrzeuge, die erkannten Straßenränder und Barrieren und/oder allgemeine Beschreibungen der Straßenform berücksichtigen, die aus Kartendaten extrahiert werden (beispielsweise Daten aus der Kartendatenbank 160). Durch die Berücksichtigung zusätzlicher Informationsquellen kann die Verarbeitungseinheit 110 Redundanz bei der Erkennung von Fahrbahnmarkierungen und Fahrspurgeometrie schaffen und die Zuverlässigkeit des Systems 100 erhöhen.
5D ist ein Flussdiagramm, das einen beispielhaften Prozess 500D zum Erkennen von Verkehrsampeln in einem Satz von Bildern gemäß den offenbarten Ausführungsformen zeigt. Die Verarbeitungseinheit 110 kann das Monokularbildanalysemodul 402 ausführen, um den Prozess 500D zu implementieren. In Schritt 560 kann die Verarbeitungseinheit 110 den Satz von Bildern abtasten und Objekte identifizieren, die an Stellen in den Bildern vorkommen, die mit hoher Wahrscheinlichkeit Ampeln enthalten. Beispielsweise kann die Verarbeitungseinheit 110 die identifizierten Objekte filtern, um einen Satz von Kandidatenobjekten zu erstellen, wobei diejenigen Objekte ausgeschlossen werden, bei denen es unwahrscheinlich ist, dass sie Ampeln entsprechen. Die Filterung kann auf Grundlage verschiedener Eigenschaften erfolgen, die mit Verkehrsampeln verbunden sind, wie beispielsweise Form, Abmessungen, Textur, Position (z.B. relativ zum Fahrzeug 200) und dergleichen. Solche Eigenschaften können auf mehreren Beispielen von Ampeln und Verkehrssteuerungssignalen basieren und in einer Datenbank gespeichert sein. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Mehrrahmenanalyse für den Satz von Kandidatenobjekten durchführen, die mögliche Verkehrsampeln widerspiegeln. Beispielsweise kann die Verarbeitungseinheit 110 die Kandidatenobjekte über aufeinanderfolgende Bildrahmen hinweg verfolgen, die reale Position der Kandidatenobjekte schätzen und diejenigen Objekte herausfiltern, die sich bewegen (bei denen es sich wahrscheinlich nicht um Verkehrsampeln handelt). In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Farbanalyse der Kandidatenobjekte durchführen und die relative Position der erkannten Farben innerhalb möglicher Ampeln identifizieren.
In Schritt 562 kann die Verarbeitungseinheit 110 die Geometrie einer Kreuzung analysieren. Die Analyse kann auf Grundlage einer beliebigen Kombination der Folgenden erfolgen: (i) die Anzahl von Fahrspuren, die auf beiden Seiten des Fahrzeugs 200 erkannt wurde, (ii) Markierungen (z.B. Pfeile), die auf der Straße erkannt wurden, und (iii) Beschreibungen der Kreuzung, die aus Kartendaten (beispielsweise Daten aus der Kartendatenbank 160) extrahiert wurden. Die Verarbeitungseinheit 110 kann die Analyse unter Verwendung von Informationen durchführen, die aus der Ausführung des Monokularanalysemoduls 402 abgeleitet wurden. Zudem kann die Verarbeitungseinheit 110 eine Entsprechung zwischen den in Schritt 560 erkannten Ampeln und den in der Nähe des Fahrzeugs 200 vorkommenden Fahrspuren bestimmen.
Während sich das Fahrzeug 200 der Kreuzung nähert, kann die Verarbeitungseinheit 110 in Schritt 564 das Konfidenzniveau im Zusammenhang mit der analysierten Kreuzungsgeometrie und den erkannten Ampeln aktualisieren. So kann sich beispielsweise die geschätzte Anzahl von Ampeln an der Kreuzung im Vergleich zur tatsächlich an der Kreuzung vorkommenden Anzahl auf das Konfidenzniveau auswirken. Somit kann die Verarbeitungseinheit 110 auf Grundlage des Konfidenzniveaus die Kontrolle an den Fahrer des Fahrzeugs 200 delegieren, um die Sicherheitsbedingungen zu verbessern. Durch Ausführen der Schritte 560, 562 und 564 kann die Verarbeitungseinheit 110 somit Verkehrsampeln in dem Satz aufgenommener Bilder identifizieren und Kreuzungsgeometrieinformationen analysieren. Auf Grundlage der Identifikation und der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken, wie vorstehend in Verbindung mit 5A beschrieben.
5E ist ein Flussdiagramm, das einen beispielhaften Prozess 500E zum Bewirken einer oder mehrerer Navigationsreaktionen im Fahrzeug 200 auf Grundlage eines Fahrzeugwegs gemäß den offenbarten Ausführungsformen zeigt. In Schritt 570 kann die Verarbeitungseinheit 110 einen dem Fahrzeug 200 zugehörigen anfänglichen Fahrzeugweg erstellen. Der Fahrzeugweg kann durch einen Satz von Punkten dargestellt werden, die in Koordinaten (x, z) ausgedrückt werden, wobei der Abstand d_i zwischen zwei Punkten in dem Satz von Punkten im Bereich von 1 bis 5 Metern liegen kann. In einer Ausführungsform kann die Verarbeitungseinheit 110 den anfänglichen Fahrzeugweg unter Verwendung von zwei Polynomen erstellen, beispielsweise einem linken und einem rechten Straßenpolynom. Die Verarbeitungseinheit 110 kann den geometrischen Mittelpunkt zwischen den beiden Polynomen berechnen und jeden Punkt, der im resultierenden Fahrzeugweg enthalten ist, um einen vorbestimmten Versatz (z.B. einen intelligenten Fahrspurversatz) versetzen, falls vorhanden (ein Versatz von Null kann einer Fahrt in der Mitte einer Fahrspur entsprechen). Der Versatz kann in einer Richtung liegen, die senkrecht zu einem Abschnitt zwischen zwei beliebigen Punkten auf dem Fahrzeugweg verläuft. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 ein Polynom und eine geschätzte Fahrspurbreite verwenden, um jeden Punkt des Fahrzeugwegs um die Hälfte der geschätzten Fahrspurbreite plus einen vorbestimmten Versatz (z.B. einen intelligenten Fahrspurversatz) zu versetzen.
In Schritt 572 kann die Verarbeitungseinheit 110 den in Schritt 570 erstellten Fahrzeugweg aktualisieren. Die Verarbeitungseinheit 110 kann den in Schritt 570 erstellten Fahrzeugweg mit einer höheren Auflösung rekonstruieren, so dass der Abstand d_k zwischen zwei Punkten in dem den Fahrzeugweg darstellenden Satz von Punkten geringer ist als der vorstehend beschriebene Abstand d,. Der Abstand d_k kann beispielsweise im Bereich von 0,1 bis 0,3 Metern liegen. Die Verarbeitungseinheit 110 kann den Fahrzeugweg mithilfe eines parabolischen Spline-Algorithmus rekonstruieren, der einen kumulativen Abstandsvektor S ergeben kann, der der Gesamtlänge des Fahrzeugwegs entspricht (d.h. auf Grundlage des den Fahrzeugweg darstellenden Satzes von Punkten).
In Schritt 574 kann die Verarbeitungseinheit 110 einen Vorausschaupunkt (ausgedrückt in Koordinaten als (x_l, z_l)) auf Grundlage des in Schritt 572 erstellten aktualisierten Fahrzeugwegs bestimmen. Die Verarbeitungseinheit 110 kann den Vorausschaupunkt aus dem kumulativen Abstandsvektor S extrahieren, und der Vorausschaupunkt kann einem Vorausschauabstand und einer Vorausschauzeit zugeordnet werden. Der Vorausschauabstand, der eine untere Grenze von 10 bis 20 Metern haben kann, kann als das Produkt aus der Geschwindigkeit des Fahrzeugs 200 und der Vorausschauzeit berechnet werden. Wenn sich beispielsweise die Geschwindigkeit des Fahrzeugs 200 verringert, kann sich auch der Vorausschauabstand verringern (z.B. bis er die untere Grenze erreicht). Die Vorausschauzeit, die im Bereich von 0,5 bis 1,5 Sekunden liegen kann, kann umgekehrt proportional zur Verstärkung eines oder mehrerer Regelkreise sein, die mit dem Bewirken einer Navigationsreaktion im Fahrzeug 200 verbunden sind, wie beispielsweise der Regelkreis für Kursfehlerverfolgung. Die Verstärkung des Regelkreises für Kursfehlerverfolgung kann beispielsweise von der Bandbreite eines Gierratenregelkreises, eines Lenkaktuatorregelkreises, der Querdynamik des Fahrzeugs und dergleichen abhängen. Je höher also die Verstärkung des Regelkreises für Kursfehlerverfolgung ist, desto geringer ist die Vorausschauzeit.
In Schritt 576 kann die Verarbeitungseinheit 110 einen Kursfehler und einen Gierratenbefehl auf Grundlage des in Schritt 574 bestimmten Vorausschaupunkts bestimmen. Die Verarbeitungseinheit 110 kann den Kursfehler bestimmen, indem sie den Arkustangens des Vorausschaupunktes berechnet, z.B. arctan (x_l/z_l). Die Verarbeitungseinheit 110 kann den Gierratenbefehl als Produkt aus dem Kursfehler und einer hohen Steuerverstärkung bestimmen. Die hohe Steuerverstärkung kann Folgendem entsprechen: (2 / Vorausschauzeit), wenn der Vorausschauabstand nicht an der unteren Grenze liegt. Andernfalls kann die hohe Steuerverstärkung Folgendem entsprechen: (2 * Geschwindigkeit des Fahrzeugs 200 / Vorausschauabstand).
5F ist ein Flussdiagramm, das einen beispielhaften Prozess 500F zum Bestimmen, ob ein vorausfahrendes Fahrzeug einen Fahrspurwechsel durchführt, gemäß den offenbarten Ausführungsformen zeigt. In Schritt 580 kann die Verarbeitungseinheit 110 Navigationsinformationen bestimmen, die einem vorausfahrenden Fahrzeug zugeordnet sind (z.B. einem Fahrzeug, das vor dem Fahrzeug 200 fährt). Beispielsweise kann die Verarbeitungseinheit 110 die Position, den Geschwindigkeitsvektor (z.B. Richtung und Geschwindigkeit) und/oder die Beschleunigung des vorausfahrenden Fahrzeugs bestimmen, indem sie die im Zusammenhang mit 5A und 5B vorstehend beschriebenen Methoden verwendet. Die Verarbeitungseinheit 110 kann zudem ein oder mehrere Straßenpolynome, einen Vorausschaupunkt (der mit dem Fahrzeug 200 verbunden ist) und/oder eine Schneckenspur (z.B. einen Satz von Punkten, die einen vom vorausfahrenden Fahrzeug verfolgten Weg beschreiben) bestimmen, indem sie die in Verbindung mit 5E vorstehend beschriebenen Methoden verwendet.
In Schritt 582 kann die Verarbeitungseinheit 110 die in Schritt 580 bestimmten Navigationsinformationen analysieren. In einer Ausführungsform kann die Verarbeitungseinheit 110 den Abstand zwischen einer Schneckenspur und einem Straßenpolynom (z.B. entlang der Spur) berechnen. Wenn die Abweichung dieses Abstands entlang der Spur einen vorgegebenen Schwellenwert überschreitet (z.B. 0,1 bis 0,2 Meter auf einer geraden Straße, 0,3 bis 0,4 Meter auf einer mäßig kurvigen Straße und 0,5 bis 0,6 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. Wenn mehrere Fahrzeuge erkannt werden, die vor dem Fahrzeug 200 fahren, kann die Verarbeitungseinheit 110 die den einzelnen Fahrzeugen zugehörigen Schneckenspuren vergleichen. Anhand des Vergleichs kann die Verarbeitungseinheit 110 bestimmen, dass ein Fahrzeug, dessen Schneckenspur nicht mit den Schneckenspuren der anderen Fahrzeuge übereinstimmt, wahrscheinlich die Spur wechselt. Die Verarbeitungseinheit 110 kann zusätzlich die Krümmung der (dem vorausfahrenden Fahrzeug zugeordneten) Schneckenspur mit der erwarteten Krümmung des Straßenabschnitts vergleichen, auf dem das vorausfahrende Fahrzeug unterwegs ist. Die erwartete Krümmung kann aus Kartendaten (z.B. Daten aus der Kartendatenbank 160), aus Straßenpolynomen, aus den Schneckenspuren anderer Fahrzeuge, aus Vorwissen über die Straße und dergleichen extrahiert werden. Wenn die Differenz zwischen der Krümmung der Schneckenspur und der erwarteten Krümmung des Straßenabschnitts einen vorbestimmten Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt.
In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die momentane Position des vorausfahrenden Fahrzeugs mit dem (dem Fahrzeug 200 zugehörigen) Vorausschaupunkt über einen bestimmten Zeitraum (z.B. 0,5 bis 1,5 Sekunden) vergleichen. Wenn der Abstand zwischen der momentanen Position des vorausfahrenden Fahrzeugs und dem Vorausschaupunkt während des bestimmten Zeitraums schwankt und die kumulative Summe der Schwankungen einen vorbestimmten Schwellenwert überschreitet (z.B. 0,3 bis 0,4 Meter auf einer geraden Straße, 0,7 bis 0,8 Meter auf einer mäßig kurvigen Straße und 1,3 bis 1,7 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Geometrie der Schneckenspur analysieren, indem sie den seitlichen Abstand, der entlang der Spur zurückgelegt wurde, mit der erwarteten Krümmung der Schneckenspur vergleicht. Der zu erwartende Krümmungsradius kann anhand der folgenden Berechnung bestimmt werden: (δ_z ²+δ_x ²)/2/(δ_x) wobei δ_x für den zurückgelegten seitlichen Abstand und δ_z für den in Längsrichtung zurückgelegten Abstand steht. Übersteigt die Differenz zwischen dem zurückgelegten seitlichen Abstand und der erwarteten Kurve einen vorbestimmten Schwellenwert (z.B. 500 bis 700 Meter), kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Position des vorausfahrenden Fahrzeugs analysieren. Wenn die Position des vorausfahrenden Fahrzeugs ein Straßenpolynom verdeckt (z.B. wenn das vorausfahrende Fahrzeug das Straßenpolynom überlagert), kann die Verarbeitungseinheit 110 bestimmen, dass das vorausfahrende Fahrzeug wahrscheinlich die Fahrspur wechselt. Wenn die Position des führenden Fahrzeugs derart ist, dass ein anderes Fahrzeug vor dem vorausfahrenden Fahrzeug erkannt wird und die Schneckenspuren der beiden Fahrzeuge nicht parallel sind, kann die Verarbeitungseinheit 110 bestimmen, dass das (nähere) vorausfahrende Fahrzeug wahrscheinlich die Fahrspur wechselt.
In Schritt 584 kann die Verarbeitungseinheit 110 auf Grundlage der in Schritt 582 durchgeführten Analyse bestimmen, ob das vorausfahrende Fahrzeug 200 die Spur wechselt oder nicht. Beispielsweise kann die Verarbeitungseinheit 110 die Bestimmung auf Grundlage eines gewichteten Durchschnitts der in Schritt 582 durchgeführten Einzelanalysen vornehmen. Im Rahmen eines solchen Schemas kann beispielsweise eine auf einer bestimmten Art von Analyse basierende Entscheidung der Verarbeitungseinheit 110, dass das vorausfahrende Fahrzeug wahrscheinlich die Spur wechselt, mit dem Wert „1“ versehen werden (und „0“ für die Bestimmung, dass das vorausfahrende Fahrzeug wahrscheinlich nicht die Spur wechselt). Unterschiedlichen Analysen, die in Schritt 582 durchgeführt werden, können unterschiedliche Gewichtungen zugewiesen werden, und die offenbarten Ausführungsformen sind nicht auf eine bestimmte Kombination von Analysen und Gewichtungen beschränkt.
6 ist ein Flussdiagramm, das einen beispielhaften Prozess 600 zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer Stereobildanalyse gemäß offenbarten Ausführungsformen zeigt. In Schritt 610 kann die Verarbeitungseinheit 110 eine erste und eine zweite Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Beispielsweise können Kameras in der Bilderfassungseinheit 120 (wie die Bildaufnahmeeinrichtungen 122 und 124 mit den Sichtfeldern 202 und 204) eine erste und eine zweite Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 aufnehmen und sie über eine digitale Verbindung (z.B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste und die zweite Vielzahl von Bildern über zwei oder mehr Datenschnittstellen empfangen. Die offenbarten Ausführungsformen sind nicht auf bestimmte Datenschnittstellenkonfigurationen oder -protokolle beschränkt.
In Schritt 620 kann die Verarbeitungseinheit 110 das Stereobildanalysemodul 404 ausführen, um eine Stereobildanalyse der ersten und der zweiten Vielzahl von Bildern durchzuführen, um eine 3D-Karte der Straße vor dem Fahrzeug zu erstellen und Merkmale in den Bildern zu erkennen, wie beispielsweise Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, Straßengefahren und dergleichen. Die Stereobildanalyse kann in ähnlicher Weise durchgeführt werden wie die vorstehend in Verbindung mit 5A bis 5D beschriebenen Schritte. Beispielsweise kann die Verarbeitungseinheit 110 das Stereobildanalysemodul 404 ausführen, um Kandidatenobjekte (z.B. Fahrzeuge, Fußgänger, Fahrbahnmarkierungen, Ampeln, Straßengefahren usw.) in der ersten und der zweiten Vielzahl von Bildern zu erkennen, einen Teilsatz der Kandidatenobjekte auf Grundlage verschiedener Kriterien herauszufiltern und eine Mehrrahmenanalyse durchzuführen, Messungen zu erstellen und ein Konfidenzniveau für die verbleibenden Kandidatenobjekte zu bestimmen. Beim Durchführen der vorstehenden Schritte kann die Verarbeitungseinheit 110 Informationen sowohl aus der ersten als auch aus der zweiten Vielzahl von Bildern berücksichtigen, anstatt nur Informationen aus einem Satz von Bildern. Beispielsweise kann die Verarbeitungseinheit 110 die Unterschiede in den Daten auf Pixelebene (oder anderen Datenteilgruppen aus den beiden Strömen aufgenommener Bilder) für ein Kandidatenobjekt analysieren, das sowohl in der ersten als auch in der zweiten Vielzahl von Bildern vorkommt. Als weiteres Beispiel kann die Verarbeitungseinheit 110 eine Position und/oder einen Geschwindigkeitsvektor eines Kandidatenobjekts (z.B. relativ zum Fahrzeug 200) schätzen, indem sie beobachtet, dass das Objekt in einem der Vielzahl von Bildern vorkommt, aber nicht im anderen, oder relativ zu anderen Unterschieden, die relativ zu Objekten bestehen können, die in den beiden Bildströmen vorkommen. So können beispielsweise Position, Geschwindigkeitsvektor und/oder Beschleunigung in Bezug auf das Fahrzeug 200 auf Grundlage von Trajektorien, Positionen, Bewegungsmerkmalen usw. von Merkmalen bestimmt werden, die mit einem Objekt verbunden sind, das in einem oder beiden Bildströmen vorkommt.
In Schritt 630 kann die Verarbeitungseinheit 110 das Navigationsreaktionsmodul 408 ausführen, um eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auf Grundlage der in Schritt 620 durchgeführten Analyse und der vorstehend in Verbindung mit 4 beschriebenen Methoden zu bewirken. Zu Navigationsreaktionen können beispielsweise ein Abbiegen, ein Spurwechsel, eine Änderung der Beschleunigung, eine Änderung des Geschwindigkeitsvektors, Bremsen und dergleichen zählen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die aus der Ausführung des Geschwindigkeitsvektor- und Beschleunigungsmoduls 406 abgeleitet wurden, um die eine oder die mehreren Navigationsreaktionen zu bewirken. Zudem können mehrere Navigationsreaktionen gleichzeitig, nacheinander oder in beliebiger Kombination erfolgen.
7 ist ein Flussdiagramm, das einen beispielhaften Prozess 700 zum Bewirken einer oder mehrerer Navigationsreaktionen auf Grundlage einer Analyse von drei Sätzen von Bildern gemäß offenbarten Ausführungsformen zeigt. In Schritt 710 kann die Verarbeitungseinheit 110 eine erste, eine zweite und eine dritte Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Beispielsweise können Kameras in der Bilderfassungseinheit 120 (wie die Bildaufnahmeeinrichtungen 122, 124 und 126 mit den Sichtfeldern 202, 204 und 206) eine erste, eine zweite und eine dritte Vielzahl von Bildern eines Bereichs vor dem und/oder zur Seite des Fahrzeugs 200 aufnehmen und sie über eine digitale Verbindung (z.B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste, die zweite und die dritte Vielzahl von Bildern über drei oder mehr Datenschnittstellen empfangen. So kann beispielsweise jede der Bildaufnahmeeinrichtungen 122, 124, 126 eine zugehörige Datenschnittstelle zur Übermittlung von Daten an die Verarbeitungseinheit 110 aufweisen. Die offenbarten Ausführungsformen sind nicht auf bestimmte Datenschnittstellenkonfigurationen oder -protokolle beschränkt.
In Schritt 720 kann die Verarbeitungseinheit 110 die erste, die zweite und die dritte Vielzahl von Bildern analysieren, um Merkmale in den Bildern zu erkennen, beispielsweise Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Verkehrsampeln, Straßengefahren und dergleichen. Die Stereobildanalyse kann in ähnlicher Weise durchgeführt werden wie die vorstehend in Verbindung mit 5A bis 5D und 6 beschriebenen Schritte. Beispielsweise kann die Verarbeitungseinheit 110 eine Monokularbildanalyse (z.B. über die Ausführung des Monokularbildanalysemoduls 402 und basierend auf den vorstehend in Verbindung mit 5A bis 5D beschriebenen Schritten) für jede der ersten, der zweiten und der dritten Vielzahl von Bildern durchführen. Alternativ kann die Verarbeitungseinheit 110 eine Stereobildanalyse (z.B. über Ausführung des Stereobildanalysemoduls 404 und basierend auf den vorstehend in Verbindung mit 6 beschriebenen Schritten) für die erste und die zweite Vielzahl von Bildern, die zweite und die dritte Vielzahl von Bildern und/oder die erste und die dritte Vielzahl von Bildern durchführen. Die verarbeiteten Informationen, die der Analyse der ersten, der zweiten und/oder der dritten Vielzahl von Bildern entsprechen, können kombiniert werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Kombination aus Monokular- und Stereobildanalyse durchführen. Zum Beispiel kann die Verarbeitungseinheit 110 eine Monokularbildanalyse (z.B. durch Ausführung des Monokularbildanalysemoduls 402) für die erste Vielzahl von Bildern und eine Stereobildanalyse (z.B. durch Ausführung des Stereobildanalysemoduls 404) für die zweite und die dritte Vielzahl von Bildern durchführen. Die Konfiguration der Bildaufnahmeeinrichtungen 122, 124 und 126 - einschließlich ihrer jeweiligen Standorte und Sichtfelder 202, 204 und 206 - kann die Arten von Analysen beeinflussen, die mit der ersten, der zweiten und der dritten Vielzahl von Bildern durchgeführt werden. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration der Bildaufnahmeeinrichtungen 122, 124 und 126 oder auf die Arten von Analysen beschränkt, die an der ersten, der zweiten und der dritten Vielzahl von Bildern durchgeführt werden.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Tests am System 100 auf Grundlage der in den Schritten 710 und 720 erfassten und analysierten Bilder durchführen. Solche Tests können einen Indikator für die Gesamtleistung des Systems 100 für bestimmte Konfigurationen der Bildaufnahmeeinrichtungen 122, 124 und 126 liefern. So kann die Verarbeitungseinheit 110 beispielsweise den Anteil der „falschen Treffer“ (z.B. Fälle, in denen das System 100 fälschlicherweise das Vorhandensein eines Fahrzeugs oder Fußgängers bestimmt hat) und der „Fehltreffer“ bestimmen.
In Schritt 730 kann die Verarbeitungseinheit 110 auf Grundlage von aus der ersten, der zweiten und der dritten Vielzahl von Bildern abgeleiteten Informationen eine oder mehrere Navigationsreaktionen im Fahrzeug 200 bewirken. Die Auswahl von zwei aus der ersten, der zweiten und der dritten Vielzahl von Bildern kann von verschiedenen Faktoren abhängen, wie z.B. der Anzahl, Art und Größe der Objekte, die in jeder der Vielzahl von Bildern erkannt werden. Die Verarbeitungseinheit 110 kann die Auswahl auch auf Grundlage der Bildqualität und -auflösung, des effektiven Sichtfelds, das sich in den Bildern widerspiegelt, der Anzahl aufgenommener Rahmen, des Ausmaßes, in dem ein oder mehrere Objekte von Interesse tatsächlich in den Rahmen vorkommen (z.B. der Prozentsatz der Rahmen, in denen ein Objekt vorkommt, der Anteil des Objekts, der in jedem dieser Rahmen vorkommt, usw.), und dergleichen treffen.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen auswählen, die aus zwei der ersten, der zweiten und der dritten Vielzahl von Bildern abgeleitet sind, indem sie das Ausmaß bestimmt, in dem aus einer Bildquelle abgeleitete Informationen mit aus anderen Bildquellen abgeleiteten Informationen übereinstimmen. Beispielsweise kann die Verarbeitungseinheit 110 die verarbeiteten Informationen kombinieren, die von jeder der Bildaufnahmeeinrichtungen 122, 124 und 126 abgeleitet wurden (sei es durch Monokularanalyse, Stereoanalyse oder eine beliebige Kombination aus beidem), und optische Indikatoren bestimmen (z.B. Fahrspurmarkierungen, ein erkanntes Fahrzeug und seinen Standort und/oder seinen Weg, eine erkannte Ampel usw.), die über die von jeder der Bildaufnahmeeinrichtungen 122, 124 und 126 aufgenommenen Bilder hinweg konsistent sind. Die Verarbeitungseinheit 110 kann auch Informationen ausschließen, die in den aufgenommenen Bildern inkonsistent sind (z.B. ein Fahrzeug, das die Spur wechselt, ein Fahrspurmodell, das ein Fahrzeug anzeigt, das sich zu nahe am Fahrzeug 200 befindet usw.). Somit kann die Verarbeitungseinheit 110, auf Grundlage der Bestimmungen konsistenter und inkonsistenter Informationen, Informationen auswählen, die aus zwei der ersten, der zweiten und der dritten Vielzahl von Bildern abgeleitet wurden.
Zu den Navigationsreaktionen können beispielsweise ein Abbiegen, ein Spurwechsel, eine Änderung der Beschleunigung und dergleichen zählen. Die Verarbeitungseinheit 110 kann die eine oder die mehreren Navigationsreaktionen auf Grundlage der in Schritt 720 durchgeführten Analyse und der vorstehend in Verbindung mit 4 beschriebenen Methoden bewirken. Die Verarbeitungseinheit 110 kann zudem Daten verwenden, die aus der Ausführung des Geschwindigkeitsvektor- und Beschleunigungsmoduls 406 abgeleitet wurden, um die eine oder die mehreren Navigationsreaktionen zu bewirken. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die eine oder die mehreren Navigationsreaktionen auf Grundlage einer relativen Position, eines relativen Geschwindigkeitsvektors und/oder einer relativen Beschleunigung zwischen dem Fahrzeug 200 und einem Objekt bewirken, das in einer der ersten, der zweiten und der dritten Vielzahl von Bildern erkannt wurde. Es können mehrere Navigationsreaktionen gleichzeitig, nacheinander oder in beliebiger Kombination erfolgen.
Eine Analyse aufgenommenen Bilder kann die Erstellung und Verwendung eines dünnbesetzten Kartenmodells für autonome Fahrzeugnavigation ermöglichen. Zudem kann eine Analyse aufgenommener Bilder die Lokalisierung eines autonomen Fahrzeugs anhand identifizierter Fahrspurmarkierungen ermöglichen. Nachstehend werden Ausführungsformen zur Erkennung bestimmter Merkmale auf Grundlage einer oder mehrerer bestimmter Analysen aufgenommener Bilder und zur Navigation eines autonomen Fahrzeugs unter Verwendung eines dünnbesetzten Kartenmodells erörtert.
Dünnbesetztes Straßenmodell für autonome Fahrzeugnavigation
In einigen Ausführungsformen können die offenbarten Systeme und Verfahren eine dünnbesetzte Karte für autonome Fahrzeugnavigation verwenden. Insbesondere kann die dünnbesetzte Karte für autonome Fahrzeugnavigation entlang eines Straßenabschnitts vorgesehen sein. So kann die dünnbesetzte Karte beispielsweise ausreichende Informationen für die Navigation eines autonomen Fahrzeugs liefern, ohne dass eine große Datenmenge gespeichert und/oder aktualisiert werden muss. Wie nachstehend näher erläutert, kann ein autonomes Fahrzeug die dünnbesetzte Karte verwenden, um auf einer oder mehreren Straßen auf Grundlage einer oder mehrerer gespeicherter Trajektorien zu navigieren.
Dünnbesetzte Karte für autonome Fahrzeugnavigation
In einigen Ausführungsformen können die offenbarten Systeme und Verfahren eine dünnbesetzte Karte für autonome Fahrzeugnavigation erzeugen. So kann die dünnbesetzte Karte beispielsweise genügend Informationen für die Navigation liefern, ohne dass eine übermäßige Datenspeicherung oder Datenübertragungsrate erforderlich ist. Wie nachstehend näher erläutert, kann ein Fahrzeug (das ein autonomes Fahrzeug sein kann) die dünnbesetzte Karte verwenden, um auf einer oder mehreren Straßen zu navigieren. In einigen Ausführungsformen kann die dünnbesetzte Karte beispielsweise Daten zu einer Straße und möglicherweise Bezugspunkte entlang der Straße beinhalten, die für die Fahrzeugnavigation ausreichen, aber auch einen kleinen Daten-Footprint aufweisen. Beispielsweise können die im Folgenden beschriebenen dünnbesetzten Datenkarten im Vergleich zu digitalen Karten mit detaillierten Karteninformationen, wie beispielsweise entlang einer Straße gesammelten Bilddaten, deutlich weniger Speicherplatz und Datenübertragungsbandbreite erfordern.
Anstatt detaillierte Darstellungen eines Straßenabschnitts zu speichern, kann die dünnbesetzte Datenkarte beispielsweise dreidimensionale Polynomdarstellungen bevorzugter Fahrzeugwege entlang einer Straße speichern. Diese Wege können sehr wenig Datenspeicherplatz benötigen. Ferner können in den beschriebenen dünnbesetzten Datenkarten Bezugspunkte identifiziert und in das Straßenmodell der dünnbesetzten Karte aufgenommen werden, um die Navigation zu erleichtern. Diese Bezugspunkte können in beliebigen Abständen angeordnet sein, die für die Fahrzeugnavigation geeignet sind, aber in einigen Fällen müssen solche Bezugspunkte bei hoher Dichte und geringen Abständen nicht identifiziert und in das Modell aufgenommen werden. Vielmehr kann die Navigation in einigen Fällen anhand von Bezugspunkten erfolgen, die mindestens 50 Meter, mindestens 100 Meter, mindestens 500 Meter, mindestens 1 Kilometer oder mindestens 2 Kilometer voneinander entfernt sind. Wie in anderen Abschnitten näher erläutert wird, kann die dünnbesetzte Karte auf Grundlage von Daten erstellt werden, die von Fahrzeugen gesammelt oder gemessen werden, die mit verschiedenen Sensoren und Einrichtungen ausgestattet sind, wie beispielsweise Bildaufnahmeeinrichtungen, GPS-Sensoren, Bewegungssensoren usw., während die Fahrzeuge auf den Straßen fahren. In einigen Fällen kann die dünnbesetzte Karte auf Grundlage von Daten erstellt werden, die während mehrerer Fahrten eines oder mehrerer Fahrzeuge auf einer bestimmten Straße gesammelt wurden. Das Erzeugen einer dünnbesetzten Karte unter Verwendung mehrerer Fahrten eines oder mehrerer Fahrzeuge kann als „Crowdsourcing“ einer dünnbesetzten Karte bezeichnet werden.
Gemäß offenbarten Ausführungsformen kann ein autonomes Fahrzeugsystem eine dünnbesetzte Karte zur Navigation verwenden. Beispielsweise können die offenbarten Systeme und Verfahren eine dünnbesetzte Karte zum Erzeugen eines Straßennavigationsmodells für ein autonomes Fahrzeug verteilen und ein autonomes Fahrzeug entlang eines Straßenabschnitts unter Verwendung einer dünnbesetzten Karte und/oder eines erzeugten Straßennavigationsmodells navigieren. Dünnbesetzte Karten im Sinne der vorliegenden Offenbarung können eine oder mehrere dreidimensionale Konturen beinhalten, die vorbestimmte Trajektorien darstellen können, die autonome Fahrzeuge durchfahren können, während sie sich entlang zugehöriger Straßenabschnitte bewegen.
Dünnbesetzte Karten im Sinne der vorliegenden Offenbarung können zudem Daten beinhalten, die ein oder mehrere Straßenmerkmale darstellen. Zu diesen Straßenmerkmalen können erkannte Bezugspunkte, Straßensignaturprofile und andere straßenbezogene Merkmale gehören, die für die Navigation eines Fahrzeugs nützlich sind. Dünnbesetzte Karten im Sinne der vorliegenden Offenbarung können autonome Navigation eines Fahrzeugs auf Grundlage relativ kleiner Datenmengen ermöglichen, die in der dünnbesetzten Karte enthalten sind. Anstatt detaillierte Darstellungen einer Straße zu enthalten, wie beispielsweise zu Straßenabschnitten gehörige Straßenränder, Straßenkrümmungen, Bilder oder Daten, die andere mit einem Straßenabschnitt verbundene physikalische Merkmale beschreiben, können die offenbarten Ausführungsformen der dünnbesetzten Karte relativ wenig Speicherplatz (und relativ wenig Bandbreite, wenn Teile der dünnbesetzten Karte an ein Fahrzeug übertragen werden) erfordern, aber dennoch eine angemessene autonome Fahrzeugnavigation ermöglichen. Der geringe Daten-Footprint der offenbarten dünnbesetzten Karten, auf den weiter unten näher eingegangen wird, kann in einigen Ausführungsformen durch Speichern von Darstellungen straßenbezogener Elemente erreicht werden, die nur geringe Datenmengen erfordern, aber dennoch eine autonome Navigation ermöglichen.
Anstatt detaillierte Darstellungen verschiedener Aspekte einer Straße zu speichern, können die offenbarten dünnbesetzten Karten beispielsweise Polynomdarstellungen einer oder mehrerer Trajektorien speichern, denen ein Fahrzeug auf der Straße folgen kann. Anstatt also Einzelheiten über die physische Beschaffenheit der Straße zu speichern (oder übertragen zu müssen), um eine Navigation entlang der Straße zu ermöglichen, kann ein Fahrzeug unter Verwendung der offenbarten dünnbesetzten Karten entlang eines bestimmten Straßenabschnitts navigiert werden, ohne dass in einigen Fällen physische Aspekte der Straße interpretiert werden müssen, sondern indem sein Fahrweg mit einer Trajektorie (z.B. einem Polynom-Spline) entlang des jeweiligen Straßenabschnitts ausgerichtet wird. Auf diese Weise kann das Fahrzeug hauptsächlich auf Grundlage der gespeicherten Trajektorie (z.B. eines Polynom-Spline) navigiert werden, die viel weniger Speicherplatz benötigt als ein Ansatz, der die Speicherung von Straßenbildern, Straßenparametern, Straßenlayout usw. beinhaltet.
Zusätzlich zu den gespeicherten Polynomdarstellungen von Trajektorien entlang eines Straßenabschnitts können die offenbarten dünnbesetzten Karten auch kleine Datenobjekte enthalten, die ein Straßenmerkmal darstellen können. In einigen Ausführungsformen können die kleinen Datenobjekte digitale Signaturen beinhalten, die von einem digitalen Bild (oder einem digitalen Signal) abgeleitet sind, das von einem Sensor (z.B. einer Kamera oder einem anderen Sensor, wie einem Aufhängungssensor) an Bord eines Fahrzeugs, das den Straßenabschnitt befährt, gewonnen wurde. Die digitale Signatur kann eine im Vergleich zu dem vom Sensor erfassten Signal verringerte Größe aufweisen. In einigen Ausführungsformen kann die digitale Signatur so erstellt werden, dass sie mit einer Klassifizierungsfunktion kompatibel ist, die so konfiguriert ist, dass sie das Straßenmerkmal aus dem vom Sensor erfassten Signal erkennt und identifiziert, z.B. während einer nachfolgenden Fahrt. In einigen Ausführungsformen kann eine digitale Signatur so erstellt werden, dass die digitale Signatur einen möglichst kleinen Footprint hat, während die Fähigkeit erhalten bleibt, das Straßenmerkmal mit der gespeicherten Signatur auf Grundlage eines Bilds (oder eines von einem Sensor erzeugten digitalen Signals, wenn die gespeicherte Signatur nicht auf einem Bild basiert und/oder andere Daten enthält) des Straßenmerkmals zu korrelieren oder abzugleichen, das von einer Kamera an Bord eines Fahrzeugs aufgenommen wird, das zu einem späteren Zeitpunkt auf demselben Straßenabschnitt fährt.
In einigen Ausführungsformen kann eine Größe der Datenobjekte außerdem mit einer Eindeutigkeit des Straßenmerkmals verbunden sein. Wenn beispielsweise ein Straßenmerkmal von einer Kamera an Bord eines Fahrzeugs erfasst werden kann und das Kamerasystem an Bord des Fahrzeugs mit einem Klassifizierer gekoppelt ist, der in der Lage ist, die Bilddaten, die diesem Straßenmerkmal entsprechen, einem bestimmten Typ von Straßenmerkmal zuzuordnen, z.B. einem Straßenschild, und wenn ein solches Straßenschild in diesem Gebiet örtlich einmalig ist (z.B. in der Nähe kein identisches Straßenschild oder Straßenschild desselben Typs vorhanden ist), kann es ausreichen, Daten zu speichern, die den Typ des Straßenmerkmals und seinen Standort angeben.
Wie nachstehend noch näher erläutert wird, können Straßenmerkmale (z.B. Bezugspunkte entlang eines Straßenabschnitts) als kleine Datenobjekte gespeichert werden, die ein Straßenmerkmal in relativ wenigen Bytes darstellen und gleichzeitig ausreichende Informationen zum Erkennen und Verwenden eines solchen Merkmals für die Navigation liefern können. In einem Beispiel kann ein Straßenschild als erkannter Bezugspunkt identifiziert werden, auf dem die Navigation eines Fahrzeugs beruhen kann. Eine Darstellung des Straßenschildes kann in der dünnbesetzten Karte gespeichert werden und z.B. einige Bytes an Daten enthalten, die einen Typ des Bezugspunkts (z.B. ein Stoppschild) und einige Bytes an Daten, die einen Standort des Bezugspunkts (z.B. Koordinaten) angeben. Die Navigation auf Grundlage solcher datenarmer Darstellungen der Bezugspunkte (z.B. unter Verwendung von Darstellungen, die zum Auffinden, Erkennen und Navigieren auf Grundlage der Bezugspunkte ausreichen) kann ein gewünschtes Maß an Navigationsfunktionalität bieten, das mit dünnbesetzten Karten verbunden ist, ohne den mit den dünnbesetzten Karten verbundenen Datenaufwand wesentlich zu erhöhen. Diese schlanke Darstellung von Bezugspunkten (und anderen Straßenmerkmalen) kann die Vorteile der Sensoren und Prozessoren an Bord solcher Fahrzeuge nutzen, die so konfiguriert sind, dass sie bestimmte Straßenmerkmale erkennen, identifizieren und/oder klassifizieren.
Wenn zum Beispiel ein Schild oder sogar ein bestimmter Typ eines Schildes in einem bestimmten Gebiet lokal einmalig ist (z.B. wenn kein anderes Schild oder kein anderes Schild derselben Art vorhanden ist), kann die dünnbesetzte Karte Daten verwenden, die einen Typ eines Bezugspunkts (ein Schild oder eine bestimmte Art von Schild) angeben, und während der Navigation (z.B. autonomer Navigation), wenn eine Kamera an Bord eines autonomen Fahrzeugs ein Bild des Gebiets aufnimmt, das ein Schild (oder eine bestimmte Art von Schild) enthält, kann der Prozessor das Bild verarbeiten, das Schild erkennen (wenn es tatsächlich in dem Bild vorhanden ist), das Bild als ein Schild (oder als eine bestimmte Art von Schild) klassifizieren und den Standort des Bilds mit dem in der dünnbesetzten Karte gespeicherten Standort des Schildes korrelieren.
Darstellung von Straßenmerkmalen
In einigen Ausführungsformen kann eine dünnbesetzte Karte mindestens eine Liniendarstellung eines Straßenoberflächenmerkmals, das sich entlang eines Straßenabschnitts erstreckt, und eine Vielzahl von Bezugspunkten, die mit dem Straßenabschnitt verbunden sind, beinhalten. In bestimmten Aspekten kann die dünnbesetzte Karte durch „Crowdsourcing“ erzeugt werden, beispielsweise durch Bildanalyse einer Vielzahl von Bildern, die während der Fahrt eines oder mehrerer Fahrzeuge auf dem Straßenabschnitt erfasst wurden.
Zusätzlich zu Zieltrajektorien und identifizierten Bezugspunkten kann die dünnbesetzte Karte Informationen über verschiedene andere Straßenmerkmale beinhalten. 9A zeigt beispielsweise eine Darstellung von Kurven entlang eines bestimmten Straßenabschnitts, die in einer dünnbesetzten Karte gespeichert sein können. In einigen Ausführungsformen kann eine einzelne Fahrspur einer Straße durch eine dreidimensionale polynomiale Beschreibung der linken und der rechten Straßenseite modelliert werden. Solche Polynome, die die linke und die rechte Seite einer einzelnen Fahrspur darstellen, sind in 8A dargestellt. Unabhängig davon, wie viele Fahrspuren eine Straße hat, kann sie mithilfe von Polynomen in ähnlicher Weise wie in 8A dargestellt werden. Beispielsweise können die linke und die rechte Seite einer mehrspurigen Straße durch Polynome dargestellt werden, die den in 8A gezeigten ähnlich sind, und auf einer mehrspurigen Straße vorhandene mittlere Fahrspurmarkierungen (z.B. gestrichelte Markierungen, die Fahrspurgrenzen darstellen, durchgezogene gelbe Linien, die die Grenzen zwischen in verschiedenen Richtungen verlaufenden Fahrspuren darstellen, usw.) können ebenfalls durch Polynome dargestellt werden, wie sie in 8A gezeigt sind.
Wie in 8A gezeigt, kann eine Fahrspur 800 durch Polynome (z.B. Polynome erster Ordnung, zweiter Ordnung, dritter Ordnung oder jeder anderen geeigneten Ordnung) dargestellt werden. Zur Veranschaulichung wird die Fahrspur 800 als zweidimensionale Fahrspur und die Polynome als zweidimensionale Polynome dargestellt. Wie in 8A dargestellt, umfasst die Fahrspur 800 eine linke Seite 810 und eine rechte Seite 820. In einigen Ausführungsformen kann mehr als ein Polynom verwendet werden, um einen Standort jeder Seite der Straße oder Fahrspurbegrenzung darzustellen. Beispielsweise können die linke Seite 810 und die rechte Seite 820 jeweils durch eine Vielzahl von Polynomen beliebiger Länge dargestellt werden. In einigen Fällen können die Polynome eine Länge von etwa 100 m haben, obwohl auch andere Längen größer oder kleiner als 100 m verwendet werden können. Zudem können sich die Polynome überschneiden, um nahtlose Übergänge bei der Navigation auf Grundlage aufeinanderfolgender Polynome zu erleichtern, während ein Host-Fahrzeug eine Fahrbahn entlangfährt. Beispielsweise können die linke Seite 810 und die rechte Seite 820 jeweils durch eine Vielzahl von Polynomen dritter Ordnung dargestellt werden, die in Abschnitte von etwa 100 Metern Länge unterteilt sind (ein Beispiel für den ersten vorbestimmten Bereich) und sich um etwa 50 Meter überlappen. Die Polynome, die die linke Seite 810 und die rechte Seite 820 darstellen, können gegebenenfalls die gleiche Ordnung haben. In einigen Ausführungsformen können beispielsweise einige Polynome Polynome zweiter Ordnung, einige Polynome dritter Ordnung und einige Polynome vierter Ordnung sein.
In dem in 8A dargestellten Beispiel wird die linke Seite 810 der Fahrspur 800 durch zwei Gruppen von Polynomen dritter Ordnung dargestellt. Die erste Gruppe beinhaltet die Polynomabschnitte 811, 812 und 813. Die zweite Gruppe beinhaltet die Polynomabschnitte 814, 815 und 816. Die beiden Gruppen verlaufen zwar im Wesentlichen parallel zueinander, folgen aber der Lage ihrer jeweiligen Straßenseite. Die Polynomabschnitte 811, 812, 813, 814, 815 und 816 haben eine Länge von etwa 100 Metern und überlappen benachbarte Abschnitte der Reihe um etwa 50 Meter. Wie bereits erwähnt, können jedoch auch Polynome mit anderen Längen und anderen Überlappungsbeträgen verwendet werden. Die Polynome können beispielsweise eine Länge von 500 m, 1 km oder mehr haben, und der Überlappungsbetrag kann zwischen 0 und 50 m, 50 m und 100 m oder mehr als 100 m variieren. Während in 8A Polynome dargestellt sind, die sich im 2D-Raum (z.B. auf der Papieroberfläche) erstrecken, ist zu beachten, dass diese Polynome auch Kurven darstellen können, die sich in drei Dimensionen erstrecken (z.B. eine Höhenkomponente beinhalten), um zusätzlich zur X-Y-Krümmung Höhenänderungen in einem Straßenabschnitt darzustellen. In dem in 8A gezeigten Beispiel wird die rechte Seite 820 der Fahrspur 800 außerdem durch eine erste Gruppe mit Polynomabschnitten 821, 822 und 823 und eine zweite Gruppe mit Polynomabschnitten 824, 825 und 826 dargestellt.
Um zu den Zieltrajektorien einer dünnbesetzten Karte zurückzukehren, zeigt 8B ein dreidimensionales Polynom, das eine Zieltrajektorie für ein Fahrzeug darstellt, das entlang eines bestimmten Straßenabschnitts fährt. Die Zieltrajektorie stellt nicht nur den X-Y-Weg dar, den ein Host-Fahrzeug entlang eines bestimmten Straßenabschnitts fahren sollte, sondern auch die Höhenänderung, die das Host-Fahrzeug während der Fahrt entlang des Straßenabschnitts erfährt. Somit kann jede Zieltrajektorie in einer dünnbesetzten Karte durch ein oder mehrere dreidimensionale Polynome wie das dreidimensionale Polynom 850 in 8B dargestellt werden. Eine dünnbesetzte Karte kann eine Vielzahl von Trajektorien beinhalten (z.B. Millionen oder Milliarden oder mehr, um Trajektorien von Fahrzeugen entlang verschiedener Straßenabschnitte auf der ganzen Welt darzustellen). In einigen Ausführungsformen kann jede Zieltrajektorie einem Spline entsprechen, der dreidimensionale Polynomabschnitte verbindet.
Was den Daten-Footprint der in einer dünnbesetzten Karte gespeicherten Polynomkurven betrifft, so kann in einigen Ausführungsformen jedes Polynom dritten Grades durch vier Parameter dargestellt werden, die jeweils vier Bytes an Daten erfordern. Geeignete Darstellungen können mit Polynomen dritten Grades erzielt werden, die etwa 192 Byte Daten pro 100 m erfordern. Dies kann zu einer Datennutzung/einem Datenübertragungsbedarf von etwa 200 kB pro Stunde für ein Host-Fahrzeug führen, das etwa 100 km/h fährt.
Eine dünnbesetzte Karte kann das Fahrspurnetz durch eine Kombination von Geometriedeskriptoren und Metadaten beschreiben. Die Geometrie kann durch Polynome oder Splines wie vorstehend erläutert beschrieben werden. Die Metadaten können die Anzahl der Fahrspuren, besondere Eigenschaften (z.B. eine Fahrgemeinschaftsspur, car pool lane) und möglicherweise andere spärliche Kennzeichnungen beschreiben. Der gesamte Footprint solcher Indikatoren kann vernachlässigbar sein.
Dementsprechend kann eine dünnbesetzte Karte gemäß Ausführungsformen der vorliegenden Offenbarung mindestens eine Liniendarstellung eines Straßenoberflächenmerkmals beinhalten, das sich entlang des Straßenabschnitts erstreckt, wobei jede Liniendarstellung einen Weg entlang des Straßenabschnitts darstellt, der im Wesentlichen dem Straßenoberflächenmerkmal entspricht. In einigen Ausführungsformen kann die mindestens eine Liniendarstellung des Straßenoberflächenmerkmals, wie vorstehend beschrieben, einen Spline, eine Polynomdarstellung oder eine Kurve beinhalten. In einigen Ausführungsformen kann das Straßenoberflächenmerkmal ferner einen Straßenrand und/oder eine Fahrspurmarkierung beinhalten. Wie nachstehend in Bezug auf „Crowdsourcing“ erläutert, kann darüber hinaus das Straßenoberflächenmerkmal durch Bildanalyse einer Vielzahl von Bildern identifiziert werden, die erfasst werden, während ein oder mehrere Fahrzeuge den Straßenabschnitt durchfahren.
9A zeigt polynomiale Darstellungen von Trajektorien, die während eines Prozesses des Aufbauens oder des Pflegens einer dünnbesetzten Karte aufgenommen wurden. Eine Polynomdarstellung einer Zieltrajektorie, die in einer dünnbesetzten Karte enthalten ist, kann auf Grundlage von zwei oder mehr rekonstruierten Trajektorien früherer Durchfahrten von Fahrzeugen auf demselben Straßenabschnitt bestimmt werden. In einigen Ausführungsformen kann die Polynomdarstellung der Zieltrajektorie, die in einer dünnbesetzten Karte enthalten ist, eine Aggregation von zwei oder mehr rekonstruierten Trajektorien früherer Durchfahrten von Fahrzeugen entlang desselben Straßenabschnitts sein. In einigen Ausführungsformen kann die Polynomdarstellung der Zieltrajektorie, die in einer dünnbesetzten Karte enthalten ist, ein Durchschnitt der zwei oder mehr rekonstruierten Trajektorien früherer Durchfahrten von Fahrzeugen entlang desselben Straßenabschnitts sein. Es können auch andere mathematische Operationen verwendet werden, um eine Zieltrajektorie entlang eines Straßenwegs zu konstruieren, die auf rekonstruierten Trajektorien basiert, die von Fahrzeugen gesammelt wurden, die einen Straßenabschnitt befahren haben.
Wie in 9A gezeigt, kann ein Straßenabschnitt 900 von einer Anzahl von Fahrzeugen 200 zu unterschiedlichen Zeiten befahren werden. Jedes Fahrzeug 200 kann Daten über einen Weg sammeln, den das Fahrzeug auf dem Straßenabschnitt zurückgelegt hat. Der von einem bestimmten Fahrzeug zurückgelegte Weg kann, neben anderen möglichen Quellen, anhand von Kameradaten, Beschleunigungsmesserdaten, Geschwindigkeitssensorinformationen und/oder GPS-Informationen bestimmt werden. Diese Daten können zur Rekonstruktion von Trajektorien von auf dem Straßenabschnitt fahrenden Fahrzeugen verwendet werden, und auf Grundlage dieser rekonstruierten Trajektorien kann eine Zieltrajektorie (oder mehrere Zieltrajektorien) für den jeweiligen Straßenabschnitt bestimmt werden. Solche Zieltrajektorien können einen bevorzugten Weg eines Host-Fahrzeugs darstellen (z.B. geführt von einem autonomen Navigationssystem), während das Fahrzeug den Straßenabschnitt entlangfährt.
In dem in 9A gezeigten Beispiel kann eine erste rekonstruierte Trajektorie 901 auf Grundlage von Daten bestimmt werden, die von einem ersten Fahrzeug empfangen werden, das einen Straßenabschnitt 900 zu einem ersten Zeitpunkt (z.B. Tag 1) durchfährt, eine zweite rekonstruierte Trajektorie 902 kann von einem zweiten Fahrzeug empfangen werden, das einen Straßenabschnitt 900 zu einem zweiten Zeitpunkt (z.B. Tag 2) durchfährt, und eine dritte rekonstruierte Trajektorie 903 kann von einem dritten Fahrzeug empfangen werden, das einen Straßenabschnitt 900 zu einem dritten Zeitpunkt (z.B. Tag 3) durchfährt. Jede Trajektorie 901, 902 und 903 kann durch ein Polynom, beispielsweise ein dreidimensionales Polynom, dargestellt werden. Es sollte beachtet werden, dass in einigen Ausführungsformen jede der rekonstruierten Trajektorien an Bord der Fahrzeuge, die den Straßenabschnitt 900 durchfahren, zusammengestellt werden kann.
Zusätzlich oder alternativ können solche rekonstruierten Trajektorien serverseitig auf Grundlage von Informationen bestimmt werden, die von Fahrzeugen empfangen werden, die den Straßenabschnitt 900 befahren. In einigen Ausführungsformen können die Fahrzeuge 200 beispielsweise Daten über ihre Bewegung entlang des Straßenabschnitts 900 (z.B. unter anderem Lenkwinkel, Kurs, Zeit, Position, Geschwindigkeit, erfasste Straßengeometrie und/oder erfasste Bezugspunkte) an einen oder mehrere Server übertragen. Der Server kann auf Grundlage der empfangenen Daten die Trajektorien für die Fahrzeuge 200 rekonstruieren. Der Server kann auf Grundlage der ersten, der zweiten und der dritten Trajektorie 901, 902, 903 auch eine Zieltrajektorie zur Führung der Navigation eines autonomen Fahrzeugs erzeugen, das zu einem späteren Zeitpunkt auf demselben Straßenabschnitt 900 fährt. Während eine Zieltrajektorie mit einer einzigen vorherigen Durchquerung eines Straßenabschnitts verbunden sein kann, kann in einigen Ausführungsformen jede in einer dünnbesetzten Karte enthaltene Zieltrajektorie auf Grundlage von zwei oder mehr rekonstruierten Trajektorien von Fahrzeugen bestimmt werden, die denselben Straßenabschnitt durchfahren haben. In 9A ist die Zieltrajektorie durch 910 dargestellt. In einigen Ausführungsformen kann die Zieltrajektorie 910 auf Grundlage eines Durchschnitts der ersten, der zweiten und der dritten Trajektorie 901, 902 und 903 erzeugt werden. In einigen Ausführungsformen kann die in einer dünnbesetzten Karte enthaltene Zieltrajektorie 910 eine Aggregation (z.B. eine gewichtete Kombination) von zwei oder mehr rekonstruierten Trajektorien sein. Das Ausrichten von Fahrdaten zur Konstruktion von Trajektorien wird nachstehend in Bezug auf 29 erläutert.
9B und 9C veranschaulichen das Konzept von Zieltrajektorien in Verbindung mit Straßenabschnitten innerhalb einer geografischen Region 911 weiter. Wie in 9B gezeigt, kann ein erster Straßenabschnitt 920 innerhalb der geografischen Region 911 eine mehrspurige Straße beinhalten, die zwei Fahrspuren 922 für Fahrzeugverkehr in einer ersten Richtung und zwei zusätzliche Fahrspuren 924 für Fahrzeugverkehr in einer zweiten, der ersten Richtung entgegengesetzten Richtung beinhaltet. Die Fahrspuren 922 und 924 können durch eine doppelte gelbe Linie 923 getrennt sein. Die geografische Region 911 kann zudem einen abzweigenden Straßenabschnitt 930 beinhalten, der sich mit dem Straßenabschnitt 920 kreuzt. Der Straßenabschnitt 930 kann eine zweispurige Straße beinhalten, wobei jede Spur für eine andere Fahrtrichtung bestimmt ist. Die geografische Region 911 kann zudem andere Straßenmerkmale enthalten, z.B. eine Haltelinie 932, ein Stoppschild 934, ein Tempolimitschild 936 und ein Gefahrenschild 938.
Wie in 9C gezeigt, kann eine dünnbesetzte Karte eine lokale Karte 940 mit einem Straßenmodell zur Unterstützung der autonomen Navigation von Fahrzeugen innerhalb der geografischen Region 911 beinhalten. Zum Beispiel kann die lokale Karte 940 Zieltrajektorien für eine oder mehrere Fahrspuren beinhalten, die den Straßenabschnitten 920 und/oder 930 innerhalb der geografischen Region 911 zugeordnet sind. Beispielsweise kann die lokale Karte 940 Zieltrajektorien 941 und/oder 942 enthalten, auf die ein autonomes Fahrzeug beim Durchfahren der Fahrspuren 922 zugreifen oder zurückgreifen kann. Ebenso kann die lokale Karte 940 Zieltrajektorien 943 und/oder 944 enthalten, auf die ein autonomes Fahrzeug beim Überqueren von Fahrspuren 924 zugreifen oder zurückgreifen kann. Ferner kann die lokale Karte 940 Zieltrajektorien 945 und/oder 946 enthalten, auf die ein autonomes Fahrzeug beim Durchfahren des Straßenabschnitts 930 zugreifen oder zurückgreifen kann. Die Zieltrajektorie 947 stellt einen bevorzugten Weg dar, dem ein autonomes Fahrzeug folgen sollte, wenn es von den Fahrspuren 920 (und insbesondere in Bezug auf die Zieltrajektorie 941, die mit der äußersten rechten Fahrspur der Fahrspuren 920 verbunden ist) auf den Straßenabschnitt 930 (und insbesondere in Bezug auf die Zieltrajektorie 945, die mit einer ersten Seite des Straßenabschnitts 930 verbunden ist) wechselt. Ebenso stellt die Zieltrajektorie 948 einen bevorzugten Weg dar, dem ein autonomes Fahrzeug folgen sollte, wenn es vom Straßenabschnitt 930 (und insbesondere relativ zur Zieltrajektorie 946) auf einen Teil des Straßenabschnitts 924 (und insbesondere, wie gezeigt, in Bezug auf eine Zieltrajektorie 943, die mit einer linken Spur der Fahrspuren 924 verbunden ist) wechselt.
Eine dünnbesetzte Karte kann auch Darstellungen anderer straßenbezogener Merkmale beinhalten, die mit der geografischen Region 911 verbunden sind. Beispielsweise kann eine dünnbesetzte Karte auch Darstellungen eines oder mehrerer Bezugspunkte enthalten, die in der geografischen Region 911 identifiziert wurden. Solche Bezugspunkte können einen ersten Bezugspunkte 950 in Verbindung mit der Haltelinie 932, einen zweiten Bezugspunkt 952 in Verbindung mit dem Stoppschild 934, einen dritten Bezugspunkt in Verbindung mit dem Tempolimitschild 954 und einen vierten Bezugspunkt 956 in Verbindung mit dem Gefahrenschild 938 umfassen. Solche Bezugspunkte können beispielsweise verwendet werden, um ein autonomes Fahrzeug beim Bestimmen seines aktuellen Standorts in Bezug auf eine der gezeigten Zieltrajektorien zu unterstützen, so dass das Fahrzeug seinen Kurs so anpassen kann, dass er mit der Richtung der Zieltrajektorie an dem bestimmten Standort übereinstimmt.
In einigen Ausführungsformen kann eine dünnbesetzte Karte zudem Straßensignaturprofile beinhalten. Solche Straßensignaturprofile können mit jeder erkennbaren/messbaren Veränderung mindestens eines einer Straße zugehörigen Parameters verbunden sein. In einigen Fällen können solche Profile beispielsweise mit Variationen der Straßenoberflächeninformationen verbunden sein, wie z.B. Variationen der Oberflächenrauheit eines bestimmten Straßenabschnitts, Variationen der Straßenbreite über einen bestimmten Straßenabschnitt, Variationen der Abstände zwischen gestrichelten Linien entlang eines bestimmten Straßenabschnitts, Variationen der Straßenkrümmung entlang eines bestimmten Straßenabschnitts, usw. 9D zeigt ein Beispiel für ein Straßensignaturprofil 960. Wenngleich das Profil 960 jeden der vorstehend erwähnten Parameter oder andere darstellen kann, kann das Profil 960 in einem Beispiel ein Maß für die Rauheit der Straßenoberfläche darstellen, wie es zum Beispiel durch die Überwachung eines oder mehrerer Sensoren erhalten wird, die Ausgaben liefern, die einen Betrag der Aufhängungsverlagerung anzeigen, während ein Fahrzeug einen bestimmten Straßenabschnitt befährt.
Alternativ oder gleichzeitig kann das Profil 960 eine Variation der Straßenbreite darstellen, die anhand von Bilddaten bestimmt wird, die über eine Kamera an Bord eines Fahrzeugs, das einen bestimmten Straßenabschnitt befährt, erhalten werden. Solche Profile können beispielsweise beim Bestimmen eines bestimmten Standorts eines autonomen Fahrzeugs in Bezug auf eine bestimmte Zieltrajektorie nützlich sein. Das heißt, ein autonomes Fahrzeug kann beim Durchfahren eines Straßenabschnitts ein Profil messen, das mit einem oder mehreren Parametern des Straßenabschnitts verbunden ist. Wenn das gemessene Profil mit einem vorbestimmten Profil korreliert/abgeglichen werden kann, das die Parameteränderung in Bezug auf die Position entlang des Straßenabschnitts darstellt, können das gemessene und das vorbestimmte Profil verwendet werden (z.B. durch Überlagerung entsprechender Abschnitte des gemessenen und des vorbestimmten Profils), um eine aktuelle Position entlang des Straßenabschnitts und damit eine aktuelle Position relativ zu einer Zieltrajektorie für den Straßenabschnitt zu bestimmen.
In einigen Ausführungsformen kann eine dünnbesetzte Karte verschiedene Trajektorien beinhalten, die auf verschiedenen Merkmalen eines Benutzers von autonomen Fahrzeugen, Umweltbedingungen und/oder anderen fahrbezogenen Parametern basieren. In einigen Ausführungsformen können zum Beispiel verschiedene Trajektorien auf Grundlage unterschiedlicher Benutzerpräferenzen und/oder -profile erstellt werden. Eine dünnbesetzte Karte, die solche unterschiedlichen Trajektorien enthält, kann verschiedenen autonomen Fahrzeugen unterschiedlicher Nutzer zur Verfügung gestellt werden. So ziehen es manche Nutzer vielleicht vor, mautpflichtige Straßen zu meiden, während andere lieber die kürzeste oder schnellste Route nehmen, unabhängig davon, ob auf der Route eine Mautstraße liegt. Die offenbarten Systeme können verschiedene dünnbesetzte Karten mit verschiedenen Trajektorien auf Grundlage solcher unterschiedlichen Benutzerpräferenzen oder -profile erzeugen. Ein weiteres Beispiel: Einige Benutzer ziehen es vor, auf einer schnelleren Spur zu fahren, während andere es vorziehen, stets auf der mittleren Spur zu bleiben.
Auf Grundlage unterschiedlicher Umgebungsbedingungen, wie Tag und Nacht, Schnee, Regen, Nebel usw., können unterschiedliche Trajektorien erstellt und in eine dünnbesetzte Karte aufgenommen werden. Autonome Fahrzeuge, die unter verschiedenen Umgebungsbedingungen fahren, können mit einer dünnbesetzten Karte versorgt werden, die auf Grundlage dieser verschiedenen Umgebungsbedingungen erzeugt wurde. In einigen Ausführungsformen können an autonomen Fahrzeugen bereitgestellte Kameras die Umgebungsbedingungen erkennen und diese Informationen an einen Server weiterleiten, der dünnbesetzte Karten erzeugt und bereitstellt. Beispielsweise kann der Server eine bereits erzeugte dünnbesetzte Karte erzeugen oder aktualisieren, um Trajektorien einzubeziehen, die für das autonome Fahren unter den erkannten Umgebungsbedingungen besser geeignet oder sicherer sind. Die Aktualisierung einer dünnbesetzten Karte auf Grundlage von Umgebungsbedingungen kann dynamisch erfolgen, während die autonomen Fahrzeuge auf den Straßen unterwegs sind.
Auch andere fahrbezogene Parameter können als Grundlage für das Erzeugen und Bereitstellen unterschiedlicher dünnbesetzter Karten für verschiedene autonome Fahrzeuge verwendet werden. Wenn ein autonomes Fahrzeug beispielsweise mit hoher Geschwindigkeit unterwegs ist, können Kurven enger sein. Trajektorien, die eher bestimmten Fahrspuren als Straßen zugeordnet sind, können in einer dünnbesetzten Karte enthalten sein, so dass das autonome Fahrzeug innerhalb einer bestimmten Spur bleiben kann, während es einer bestimmten Trajektorie folgt. Wenn ein von einer Kamera an Bord des autonomen Fahrzeugs aufgenommenes Bild anzeigt, dass das Fahrzeug die Fahrspur verlassen hat (z.B. die Fahrspurmarkierung überquert hat), kann eine Aktion innerhalb des Fahrzeugs ausgelöst werden, um das Fahrzeug entsprechend der spezifischen Trajektorie auf die vorgesehene Fahrspur zurückzubringen.
10 zeigt ein Beispiel für ein Straßennavigationsmodell für autonome Fahrzeuge, das durch eine Vielzahl von dreidimensionalen Splines 1001, 1002 und 1003 dargestellt wird. Die in 10 dargestellten Kurven 1001, 1002 und 1003 dienen nur der Veranschaulichung. Jeder Spline kann ein oder mehrere dreidimensionale Polynome enthalten, die eine Vielzahl von Datenpunkten 1010 verbinden. Jedes Polynom kann ein Polynom erster Ordnung, ein Polynom zweiter Ordnung, ein Polynom dritter Ordnung oder eine Kombination geeigneter Polynome verschiedener Ordnungen sein. Jeder Datenpunkt 1010 kann den von einer Vielzahl von Fahrzeugen empfangenen Navigationsinformationen zugeordnet sein. In einigen Ausführungsformen kann jeder Datenpunkt 1010 Daten zugeordnet sein, die sich auf Bezugspunkte (z.B. Größe, Standort und Identifikationsinformationen von Bezugspunkten) und/oder Straßensignaturprofile (z.B. Straßengeometrie, Straßenrauheitsprofil, Straßenkrümmungsprofil, Straßenbreitenprofil) beziehen. In einigen Ausführungsformen können einige Datenpunkte 1010 Daten zugeordnet sein, die sich auf Bezugspunkte beziehen, und andere können Daten zugeordnet sein, die sich auf Straßensignaturprofile beziehen.
11 zeigt rohe Standortdaten 1110 (z.B. GPS-Daten), die von fünf verschiedenen Fahrten empfangen wurden. Eine Fahrt kann von einer anderen getrennt sein, wenn sie von verschiedenen Fahrzeugen zur gleichen Zeit, von demselben Fahrzeug zu verschiedenen Zeiten oder von verschiedenen Fahrzeugen zu verschiedenen Zeiten zurückgelegt wurde. Um Fehler in den Positionsdaten 1110 und unterschiedliche Positionen von Fahrzeugen innerhalb derselben Spur zu berücksichtigen (z.B. kann ein Fahrzeug näher an der linken Seite einer Spur fahren als ein anderes), kann ein entfernt angeordneter Server ein Kartengerüst 1120 unter Verwendung eines oder mehrerer statistischer Verfahren erzeugen, um zu bestimmen, ob Abweichungen in den rohen Positionsdaten 1110 tatsächliche Abweichungen oder statistische Fehler darstellen. Jeder Weg innerhalb des Gerüsts 1120 kann mit den Rohdaten 1110, die den Weg gebildet haben, verknüpft werden. Zum Beispiel ist der Weg zwischen A und B innerhalb des Gerüsts 1120 mit den Rohdaten 1110 der Fahrten 2, 3, 4 und 5 verknüpft, nicht aber der Fahrt 1. Das Gerüst 1120 ist möglicherweise nicht detailliert genug, um zur Navigation eines Fahrzeugs verwendet zu werden (z.B. weil es im Gegensatz zu den vorstehend beschriebenen Splines die Fahrten mehrerer Fahrspuren auf derselben Straße kombiniert), kann aber nützliche topologische Informationen liefern und zur Definition von Kreuzungen verwendet werden.
Erkennen von Radschlupf an einem Fahrzeug
Die vorliegende Offenbarung beschreibt ein Navigationssystem für ein Host-Fahrzeug, das so konfiguriert ist, dass es eine Bildanalyse und Messungen einer Raddrehung verwendet, um einen Radzustand zu erkennen. Anschließend kann das Navigationssystem mindestens eine Navigationsaktion in Verbindung mit dem erkannten Radzustand einleiten. In einigen Ausführungsformen kann der erkannte Radzustand darauf hinweisen, dass ein oder mehrere Räder des Fahrzeugs in Bezug auf das Fahrgestell des Fahrzeugs geschlupft oder blockiert haben. Erkennungsergebnisse können beispielsweise anzeigen, dass mindestens ein Rad einen Quer- oder Längsschlupf hatte. In einigen Ausführungsformen kann der erkannte Radzustand auf ein anormales Verhalten oder einen Fehler mindestens einer mechanischen Komponente des Host-Fahrzeugs hinweisen. So können Erkennungsergebnisse beispielsweise darauf hinweisen, dass ein Reifen undicht geworden ist oder einen Platten hat. In einigen Ausführungsformen kann das System Informationen über Radschlupfzustände, die von mehreren Host-Fahrzeugen gesammelt wurden, durch Crowdsourcing gewinnen, um Karteninformationen mit Standorten möglicher Gefahren zu aktualisieren. So können die vorgestellten Systeme und Verfahren beispielsweise durch Crowdsourcing erhaltene Informationen nutzen, um eine Karte mit Standorten eines oder mehrerer Gebiete zu aktualisieren, die aufgrund von z.B. nassen oder vereisten Straßen rutschig sind.
In einem herkömmlichen System wird Raddrehung in der Regel auf Grundlage von Raddrehzahlsensoren (einer Tachometerart) bestimmt oder auf Grundlage von UPM- (Umdrehungen pro Minute) Sensoren des Rads geschätzt. Die Verwendung von Informationen, die von Raddrehzahlsensoren geliefert werden, wie z.B. Radticken, ist jedoch begrenzt, wenn es darum geht, aktuelle Traktionsbedingungen für jedes einzelne Rad zu bestimmen. Darüber hinaus ist das Bestimmen von Traktionsbedingungen mithilfe von UPM, das auf dem Radumfang basiert, fehleranfällig, da UPM mit dem temperaturbedingten Luftdruck der Reifen schwanken können. Andere Möglichkeiten zur Bestimmung der Raddrehung sind ebenfalls mit Nachteilen behaftet. Eine alternative Lösung wäre zum Beispiel der Einbau eines Trägheitssensors in das Fahrzeug, solche Sensoren sind jedoch zu teuer. Eine andere Lösung ist die Verwendung eines MEMS-(micro-electromechanical system, mikroelektromechanisches System) Sensors, allerdings sind MEMS-Sensoren schwer zu kalibrieren. Die Verwendung eines globalen Positionsbestimmungssystems (GPS) ist ebenfalls keine geeignete Alternative zum Bestimmen genauer Raddrehungsmessungen, da GPS die Position eines Fahrzeugs mit einer Genauigkeit im Meterbereich liefert. Daher werden Lösungen zur Bestimmung der Raddrehung benötigt, die genauer und kostengünstiger sind als diese herkömmlichen Methoden.
Gemäß den Ausführungsformen der vorliegenden Offenbarung können die offenbarten Systeme und Verfahren ein auf hochauflösendem Sehen beruhendes Bewegungsmodell verwenden, um eine Raddrehung anhand einer Ego-Bewegung des Fahrzeugs vorherzusagen. Diese Vorhersagen können mit gemessenen Raddrehungssignalen verglichen werden, so dass etwaige Anomalien erkannt, gemeldet und vom Steuersystem eines Fahrzeugs genutzt werden können. Bisherige Systeme sind nicht in der Lage, die Gültigkeit physikalischer Messungen der Raddrehung zu bestätigen. Im Gegensatz dazu können die offenbarten Systeme und Methoden Konfidenzniveaus für physikalische Messungen der Raddrehung bestimmen. Beispielsweise können die offenbarten Systeme und Verfahren eine separate Bestimmung einer vorhergesagten Raddrehung vornehmen, indem sie Bildverarbeitungssysteme (z.B. Bildanalyse) verwenden, um die physikalischen Messungen der Raddrehung unabhängig zu verifizieren und/oder um zusätzliche Bestimmungen vorzunehmen. Dementsprechend können die offenbarten Systeme und Verfahren die Leistung verschiedener Fahrzeugsteuersysteme erheblich verbessern. So können beispielsweise automatische Bremssysteme, Antriebsschlupfregelungen und elektronische Stabilitätssteuersysteme ein gewisses Maß an autonomer Steuerung bestimmter Fahrzeugsysteme bieten, um die Leistung des Fahrzeugs bei Radschlupfzuständen zu verbessern. Gegenwärtig stützen sich diese Systeme in erster Linie auf Sensorausgaben, die Raddrehzahlsignale liefern, haben aber keinen Zugang zu Sensorsystemen, deren Ausgabe für die tatsächliche Ego-Bewegung des Fahrzeugs repräsentativ ist. Die vorliegend vorgestellten Systeme und Verfahren können diese Lücke schließen und die Fahrzeugleistung erheblich verbessern.
Die vorgestellten Systeme und Verfahren können Schlupf oder Blockieren jedes einzelnen Rades eines Fahrzeugs separat erkennen. Solche Erkennungsergebnisse können die Low-Level-Steuerlogik von Sicherheitssystemen verbessern. So kann beispielsweise ein schnelles Identifizieren eines Verlusts der Bremskraft an jedem einzelnen Rad die Leistung eines Antiblockiersystems (ABS) verbessern; ein Erkennen von Quer- und Längsschlupf zusammen mit der tatsächlichen Relativbewegung des Rads kann die Leistung einer elektrischen Servolenkung (EPS) verbessern; und die Fähigkeit, die tatsächliche Relativbewegung jedes Rads zu bestimmen und wechselnde Glätteeigenschaften der Oberfläche (z.B. Bewegung auf Pfützen oder Schneeflecken) zu berücksichtigen, kann die Leistung eines Traktionssteuersystems (TCS) verbessern. Weitere Anwendungsmöglichkeiten für die offenbarten Systeme und Verfahren können z.B. eine verbesserte Sportmodusunterstützung, eine verbesserte Unterstützung bei rauen Straßenverhältnissen und/oder eine verbesserte Unterstützung des Fahrgastkomforts umfassen. Beispielsweise kann ein Fahrzeug, das mit dem offenbarten System ausgestattet ist, über mehrere Ausgabezyklen hinweg einen leichten Schlupfzustand an allen Rädern erkennen. Wenn ein anderes Erkennungsergebnis zudem impliziert, dass sich das Fahrzeug noch auf der Straße befindet, kann daraus geschlossen werden, dass das Fahrzeug auf eine rutschige Fahrbahnstelle gestoßen ist und keine Abweichung von der Straße oder ein dynamisches Manöver vorliegt. Das Fahrzeug kann dann eine vorsichtige Fahrstrategie anwenden. Außerdem kann ein Fahrer im Sportmodus auf Kosten des Fahrkomforts unsanfte Kurven fahren. In solchen Situationen ist es dennoch wichtig, dass die Lenk- und Sicherheitseigenschaften erhalten bleiben. Durch den Einsatz des offenbarten Systems kann die Traktion des Fahrzeugs bei schnellen Beschleunigungen und sogar bei absichtlichem Schleudern optimiert werden. Weitere Anwendungsmöglichkeiten für die offenbarten Systeme und Verfahren können Erkennen von anormalem Verhalten und Fehlausrichtung der mechanischen Strukturen eines Fahrzeugs, wie z.B. das Differential der Räder oder andere Komponenten des Antriebsstrangs, sowie Erkennen von fehlerhaften Reifendruckwerten umfassen. Wenn zum Beispiel das Differential eines Fahrzeugs richtig funktioniert, sollte das Verhältnis zwischen der Differenz der Drehraten der Räder (innerer und äußerer Kurvenradius) und dem Kurvenradius und der Kurvengeschwindigkeit übereinstimmen, wenn der Fahrer eine kontrollierte Kurve fährt. Die offenbarten Systeme und Verfahren können Anomalien in dieser Beziehung erkennen, um zu bestimmen, dass das Differential nicht richtig funktioniert. Ein weiteres Beispiel: Wenn ein Reifen einen niedrigen Druck aufweist, ändert sich das Verhältnis zwischen der Drehrate und der Fahrzeugbewegung. Die offenbarten Systeme und Verfahren können diese Diskrepanz erkennen und einen Hinweis auf einen platten Reifen oder niedrigen Reifendruck geben. Alternativ können die offenbarten Systeme und Verfahren diese und andere Anomalien an den Fahrzeugcomputer für das Antriebsmanagement melden und/oder solche Analyseergebnisse für Service- und Wartungsanbieter zur Verfügung stellen.
12 ist eine schematische Darstellung eines beispielhaften Navigationssystems 1200 gemäß den offenbarten Ausführungsformen. Das Navigationssystem 1200 kann einen Server 1202, mindestens ein Host-Fahrzeug 1204 mit einer Verarbeitungseinheit 1206 und einer oder mehreren Kameras 1208 (z.B. eine erste Kamera 1208A, eine zweite Kamera 1208B und eine dritte Kamera 1208C), eine Datenbank 1210 und ein Netzwerk 1212 umfassen. Der Server 1202 kann so konfiguriert sein, dass er dem Host-Fahrzeug 1204 Informationen zur Verfügung stellt. Beispielsweise kann der Server 1202 so konfiguriert sein, dass er an die Verarbeitungseinheit 1206 Kartendaten überträgt, die Informationen über die Straßen im Bereich des Host-Fahrzeugs 1204 enthalten, und von der Verarbeitungseinheit 1206 Indikatoren für erkannte Radschlupfzustände des Host-Fahrzeugs 1204 empfangen kann. Die Verarbeitungseinheit 1206 kann so konfiguriert sein, dass sie Bilder verarbeitet, die von einer oder mehreren Kameras 1208 aufgenommen wurden, um eine Bewegung des Host-Fahrzeugs 1204 zu bestimmen, Radschlupfzustände zu erkennen und eine oder mehrere Komponenten des Host-Fahrzeugs 1204 (wie einen Lenkmechanismus, einen Bremsmechanismus oder verschiedene andere Komponenten) zu betreiben. Die Datenbank 1210 kann so konfiguriert sein, dass sie Informationen für die Komponenten des Systems 1200 (z.B. den Server 1202, das Host-Fahrzeug 1204 und/oder Kameras 1208) speichert. Das Netzwerk 1212 kann so konfiguriert sein, dass es Kommunikation zwischen den Komponenten des Systems 1200 erleichtert.
In einigen Ausführungsformen kann der Server 1202 ein Cloud-Server sein, der die vorliegend offenbarten Funktionen ausführt. Der Begriff „Cloud-Server“ bezieht sich auf eine Computerplattform, die Dienste über ein Netzwerk wie das Internet bereitstellt. In dieser Beispielkonfiguration kann der Server 1202 virtuelle Maschinen verwenden, die nicht unbedingt individueller Hardware entsprechen. So können beispielsweise Rechen- und/oder Speicherkapazitäten implementiert werden, indem geeignete Teile der gewünschten Rechen-/Speicherleistung von einem skalierbaren Repository, z.B. einem Datenzentrum oder einer verteilten Rechenumgebung, zugewiesen werden. In einem Beispiel kann der Server 1202 die vorliegend beschriebenen Verfahren unter Verwendung von individualisierter, fest verdrahteter Logik, einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs) oder frei programmierbaren Gate-Arrays (FPGAs), Firmware und/oder Programmlogik implementieren, die in Kombination mit dem Computersystem den Server 1202 zu einer Spezialmaschine machen.
Das Host-Fahrzeug 1204 kann eine oder mehrere Komponenten beinhalten, wie z.B. einen Lenkmechanismus, einen Bremsmechanismus oder verschiedene andere Komponenten zur Implementierung verschiedener Navigationsaktionen. Das Host-Fahrzeug 1204 kann den vorstehend beschriebenen Fahrzeugen ähnlich sein (z.B. dem Fahrzeug 200) und kann Komponenten oder Einrichtungen beinhalten, die in den vorstehend beschriebenen Fahrzeugen enthalten oder diesen zugeordnet sind. Das Host-Fahrzeug 1204 kann mit einem Server 1202 über ein oder mehrere Netzwerke kommunizieren (z.B. über ein Mobilfunknetz und/oder das Internet usw.). In einer Ausführungsform kann das Host-Fahrzeug 1204 Daten an den Server 1202 übertragen und Daten vom Server 1202 empfangen. Zum Beispiel kann das Host-Fahrzeug 1204 Bilddaten an den Server 1202 übertragen. Die Bilddaten können Pixeldatenströme, digitale Bilder, digitale Videoströme, von aufgenommenen Bildern abgeleitete Daten sowie Daten umfassen, die zur Konstruktion eines 3D-Bildes verwendet werden können. Zusätzlich oder alternativ kann das Host-Fahrzeug 1204 Kartendaten (z.B. Daten aus der Kartendatenbank 160) vom Server 1202 empfangen, die das Vorhandensein von rutschigen, vereisten oder anderen ungünstigen Bedingungen in Bezug auf einen bestimmten Straßenabschnitt anzeigen.
Die Verarbeitungseinheit 1206 kann mindestens einen Prozessor beinhalten, der Schalttechnik und einen Speicher umfasst, wobei der Speicher Anweisungen enthält, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, die vorliegend offenbarten Verfahren durchzuführen. Beispielsweise kann der mindestens eine Prozessor die Anweisungen ausführen, um die Bewegung des Host-Fahrzeugs 1204 über mindestens zwei von der Kamera 1208 aufgenommene Bilder hinweg zu analysieren, um zu bestimmen, um wie viel sich das Host-Fahrzeug 1204 von einem Bildrahmen zu einem späteren Bildrahmen bewegt hat (und damit auch um wie viel sich ein Rad des Host-Fahrzeugs 1204 bewegt hat). In einigen Ausführungsformen kann die Verarbeitungseinheit 1206 Informationen über die Größe abgebildeter Objekte in der Umgebung des Host-Fahrzeugs 1204 verwenden, um eine Bewegung des Host-Fahrzeugs 1204 zu bestimmen und eine Raddrehung vorherzusagen. Anschließend kann die Verarbeitungseinheit 1206 eine oder mehrere Sensorausgaben empfangen, die eine gemessene Raddrehung anzeigen, und die vorhergesagte Raddrehung mit der gemessenen Raddrehung vergleichen. Mit anderen Worten, die Verarbeitungseinheit 1206 kann die Ausgabe oder die Ergebnisse der bildbasierten Analyse mit der Ausgabe eines anderen Fahrzeugsystems kombinieren (oder vereinigen), die die Radbewegung schätzt (z.B. ein UPM-Rechner, ein Trägheitssensor, eine MEMS-Einrichtung usw.), um einen Radschlupfzustand oder einen Fehlerzustand in Verbindung mit einem Rad des Host-Fahrzeugs 1204 zu erkennen. Die Verarbeitungseinheit 1206 kann anderen in dieser Offenbarung offenbarten Verarbeitungseinheiten ähnlich sein (z.B. der Verarbeitungseinheit 110).
Jede der einen oder der mehreren Kameras 1208 kann mindestens eine Bildaufnahmeeinrichtung (z.B. die Bildaufnahmeeinrichtung 122, die Bildaufnahmeeinrichtung 124 und die Bildaufnahmeeinrichtung 126) beinhalten, die dem Host-Fahrzeug 1204 zugeordnet und so konfiguriert ist, dass sie ein oder mehrere Bilder aufnimmt, die die Umgebung des Host-Fahrzeugs 1204 darstellen. Die eine oder die mehreren Kameras 1208 können so konfiguriert sein, dass sie die erfassten Bilder an eine oder mehrere Komponenten des Navigationssystems 1200 (z.B. die Verarbeitungseinheit 1206, den Server 1202 und/oder die Datenbank 1210) übermitteln. In einigen Ausführungsformen kann eine Vielzahl von Kameras 1208 zwei weitere Kameras umfassen, die so konfiguriert sind, dass sie Bilder aufnehmen, die die Umgebung des Host-Fahrzeugs 1204 darstellen. In einigen Ausführungsformen kann es sich bei der Vielzahl von Kameras 1208 um denselben Kameratyp handeln, jedoch mit unterschiedlichem Sichtfeld. Alternativ können mindestens zwei der mehreren Kameras 1208 unterschiedlich sein (z.B. mit unterschiedlichen Brennweiten, unterschiedlichen Betriebsparametern oder dergleichen oder einer Kombination davon). Die Vielzahl von Kameras 1208 kann zum Beispiel fünf Kameras beinhalten. In einer Beispielanordnung kann die erste Kamera eine Kamera mit einem Fischaugenobjektiv sein, die zweite Kamera kann eine Kamera mit einem Teleobjektiv sein, und die dritte Kamera kann eine mittlere (oder Haupt-) Kamera mit einem normalen Objektiv (z.B. mit einer Brennweite von 50 mm) sein. Die erste, die zweite und die dritte Kamera können jeweils ein Sichtfeld aufweisen, das auf eine mittlere Vorderseite des Fahrzeugs gerichtet ist. Die vierte Kamera kann eine linke Kamera mit einem normalen Objektiv sein und ein Sichtfeld aufweisen, das sich auf die Umgebung links vor dem Fahrzeug konzentriert, und die fünfte Kamera kann eine rechte Kamera mit einem normalen Objektiv sein und ein Sichtfeld aufweisen, das sich auf die Umgebung rechts vor dem Host-Fahrzeug 1204 konzentriert. Verschiedene andere alternative Kameraanordnungen sind mit den offenbarten Ausführungsformen vereinbar, und das Vorstehende ist nur ein Beispiel für eine Anordnung.
Die Datenbank 1210 kann eine Kartendatenbank beinhalten, die so konfiguriert ist, dass sie Kartendaten für die Komponenten des Systems 1200 (z.B. den Server 1202 und/oder das Host-Fahrzeug 1204) speichert. In einigen Ausführungsformen können der Server 1202 und/oder die Verarbeitungseinheit 1206 so konfiguriert sein, dass sie auf die Datenbank 1210 zugreifen und über das Netzwerk 1212 gespeicherte Daten aus der Datenbank 1210 beziehen und/oder Daten in diese hochladen. So kann der Server 1202 beispielsweise Daten über Karteninformationen zur Speicherung an die Datenbank 1210 übertragen. Die Verarbeitungseinheit 1206 kann Karteninformationen und/oder Daten aus der Datenbank 1210 herunterladen. In einigen Ausführungsformen kann die Datenbank 1210 Indikatoren für erkannte Radschlupfbedingungen in Bezug auf einen oder mehrere geografische Standorte enthalten. Die Datenbank 1210 kann zudem Informationen zu verschiedenen Objekten enthalten, darunter Straßen, Standorte identifizierter Radschlupfbedingungen, Wassermerkmale, geografische Merkmale, Unternehmen, Sehenswürdigkeiten, Restaurants, Tankstellen oder dergleichen oder eine Kombination aus diesen. In einigen Ausführungsformen kann die Datenbank 1210 eine ähnliche Datenbank wie die Kartendatenbank 160 und alle anderen Kartendatenbanken und Systeme beinhalten, die an anderer Stelle in dieser Offenbarung beschrieben sind.
Gemäß einer Ausführungsform der Offenbarung kann das Navigationssystem 1200 auf Grundlage eines Vergleichs der vorhergesagten Raddrehung mit der gemessenen Raddrehung feststellen, ob und wie stark ein Rad in Bezug auf das Fahrgestell des Fahrzeugs geschlupft oder blockiert hat. Beispielsweise kann beim Fahren auf einer vereisten Straße das Fahrzeug durch eine Betätigung der Bremsen ins Schleudern geraten. In einer solchen Situation meldet ein typischer Raddrehzahlsensor im Fahrzeug gegebenenfalls keine Bewegung der Räder aufgrund des Schleuderns. Die Verarbeitungseinheit 1206 kann jedoch individuell einen Radschlupfzustand für jedes der Räder des Fahrzeugs auf Grundlage der bestimmten Bewegung des Fahrzeugs und der gemessenen Raddrehung erkennen. Anschließend kann die Verarbeitungseinheit 1206 eine bevorstehende Bewegung des Fahrzeugs vorhersagen, die durch den Radschlupfzustand verursacht wird, und in Reaktion auf die vorhergesagte bevorstehende Bewegung des Fahrzeugs mindestens eine Navigationsaktion bestimmen. Zudem können einige Raddrehzahlsensoren zwar einen Radschlupf erkennen, aber die Ausgabe dieser Sensoren kann möglicherweise nicht identifizieren, an welchem der Räder der Schlupf aufgetreten ist. Im Gegensatz dazu kann das Navigationssystem 1200 nicht nur das Auftreten des Radschlupfzustandes erkennen, sondern ferner diesen Radschlupfzustand auf Grundlage einer Bildanalyse einem bestimmten Rad des Fahrzeugs zuordnen.
Gemäß einer anderen Ausführungsform der Offenbarung kann das Navigationssystem 1200 mögliche Probleme mit einer oder mehreren mechanischen Komponenten des Host-Fahrzeugs 1204 auf Grundlage eines Vergleichs zwischen einer vorhergesagten Raddrehung (bestimmt durch Bildanalyse) und einer gemessenen Raddrehung für das mindestens eine Rad des Fahrzeugs erkennen. Beispielsweise kann das Navigationssystem 1200 bestimmen, wenn ein Reifen undicht geworden ist oder einen Platten hat. Zu diesem Zweck kann die Verarbeitungseinheit 1206 erkennen, wenn ein Reifen undicht geworden ist, indem sie eine Raddrehung auf Grundlage einer Drehrate schätzt und die Bewegung der linken und/oder rechten Räder vorhersagt. Wenn die Raddrehung innerhalb eines erwarteten Bereichs liegt, kann auch der Reifendruck innerhalb eines erwarteten Betriebsbereichs liegen. Wenn die Raddrehung nicht in einem erwarteten Betriebsbereich liegt, kann der Reifen Luft verlieren oder platt sein.
Gemäß einer weiteren Ausführungsform kann eine Datenverarbeitungseinrichtung des Navigationssystems 1200 (z.B. der Server 1202) in Verbindung mit einem REM- (Road Experience Management) Kartierungssystem arbeiten, um Standorte möglicher Gefahren zu erkennen. Standorte möglicher Gefahren können durch Erkennen einer Vielzahl von Host-Fahrzeugen 1204 bestimmt werden, die einen gemeinsamen oder ähnlichen Radschlupfzustand aufweisen. Zum Beispiel kann der Server 1202 Daten von einer Vielzahl einzelner Fahrten entlang eines Straßenabschnitts sammeln, um zu bestimmen, dass ein Radschlupfzustand eines oder mehrerer Host-Fahrzeuge 1204 nicht das Ergebnis einer Fahreraktion war, sondern vielmehr das Ergebnis einer oder mehrerer Bedingungen eines Straßenabschnitts. Anschließend kann der Server 1202 an andere Fahrzeuge, die den Straßenabschnitt befahren, Karteninformationen verteilen, die Informationen über den Standort der möglichen Gefahr enthalten.
13 ist eine schematische Darstellung einer Fahrbahn mit einem Host-Fahrzeug 1204 zu zwei verschiedenen Zeitpunkten gemäß den offenbarten Ausführungsformen. Wie in der Figur dargestellt, fährt das Host-Fahrzeug 1204 bei T₁ auf der Straße 1300 entlang einer Fahrtrichtung 1302 und die Vorderräder 1304A und 1304B sind im Begriff, von einem menschlichen Fahrer oder vom Lenksystem 240 nach rechts eingeschlagen zu werden. Zudem erfasst die Kamera 1208 bei T₁ ein Bild eines Verkehrszeichens 1306. Die Verarbeitungseinheit 1206 kann auf Grundlage einer Analyse eines bei T₁ aufgenommenen Bildes und mindestens eines vor T₁ aufgenommenen Bildes einen oder mehrere Indikatoren einer Bewegung des Host-Fahrzeugs 1204 in Bezug auf die mit den erfassten Bildern verbundenen Aufnahmezeiten bestimmen. Zum Beispiel kann die Verarbeitungseinheit 1206 das Geschwindigkeitsvektor- und Beschleunigungsmodul 406 verwenden, um die tatsächliche Bewegung des Host-Fahrzeugs 1204 bei T₁ zu bestimmen. Anschließend kann die Verarbeitungseinheit 1206 für mindestens ein Rad des Fahrzeugs eine vorhergesagte Raddrehung, die der Bewegung des Host-Fahrzeugs 1204 entspricht, in Bezug auf die mit den erfassten Bildern verbundenen Aufnahmezeiten bestimmen. Gemäß einigen Ausführungsformen kann die Verarbeitungseinheit 1206 eine oder mehrere Sensorausgaben empfangen, die die gemessene Raddrehung in Zusammenhang mit dem mindestens einen Rad des Host-Fahrzeugs 1204 anzeigen. Wie bereits erwähnt, kann das Bestimmen der Raddrehung mit Hilfe von Raddrehzahlsensoren genau sein, wenn kein Schlupf vorliegt, aber ungenau werden, wenn ein Schlupfzustand auftritt, da die gemessene Raddrehung gegebenenfalls nicht zu der tatsächlichen Bewegung des Fahrzeugs während der Schlupfperioden passt bzw. nicht mit dieser übereinstimmt. Auf einer vereisten Straße kann das Host-Fahrzeug 1204 beispielsweise auf einer Fahrbahn rutschen, während herkömmliche Verfahren zur Erfassung der Raddrehung anzeigen, dass sich die Räder nur wenig oder gar nicht drehen.
Gemäß der vorliegenden Offenbarung kann das offenbarte System so konfiguriert sein, dass es einen Radschlupfzustand in Verbindung mit mindestens einem Rad des Fahrzeugs erkennt. In einer ersten Ausführungsform kann der erkannte Radschlupfzustand einen seitlichen Schlupf beinhalten. Diese Ausführungsform ist bei T₂ dargestellt. Wie gezeigt, befindet sich das Host-Fahrzeug 1204 weiter vorne auf der Straße 1300, konnte aber aufgrund eines Radschlupfzustandes nicht nach rechts abbiegen. Während die Vorderräder 1304A und 1304B des Host-Fahrzeugs 1204 in eine gewünschte Richtung 1308 zeigen, hat sich das Host-Fahrzeug 1204 stattdessen entlang der Fahrtrichtung 1302 bewegt. Der Seitenschlupfwinkel des Host-Fahrzeugs 1204 beschreibt das Verhältnis von Vorwärts- und Seitwärtsgeschwindigkeitsvektoren in Form eines Winkels. Der Seitenschlupfwinkel ist der Winkel zwischen der tatsächlichen Fahrtrichtung eines rollenden Rades und der Richtung, in die es zeigt. Mit anderen Worten: Der Seitenschlupfwinkel stellt die Differenz zwischen der Richtung, in die das Fahrzeug zeigt (Kurs), und der Richtung dar, in die sich das Fahrzeug tatsächlich bewegt. Gemäß der vorliegenden Offenbarung kann die Verarbeitungseinheit 1206 Bildanalyse verwenden, um Informationen zu bestimmen, die die tatsächliche Bewegung des Host-Fahrzeugs 1204 anzeigen, und auf Grundlage dieser Informationen erkennen, dass bei T₂ ein seitlicher Schlupf in Verbindung mit mindestens einem Rad des Fahrzeugs aufgetreten ist. Die Verarbeitungseinheit 1206 kann einen mit dem seitlichen Schlupf verbundenen Betrag quantifizieren. Der Betrag des seitlichen Schlupfes kann zum Beispiel bei Schlupfwinkeln von mehr als 1 Milliradian, mehr als 5 Milliradian, weniger als 10 Milliradian oder weniger als 5 Milliradian erkennbar sein. In Fällen, in denen der erkannte Radschlupfzustand einen seitlichen Schlupf beinhaltet, kann die Bewegung des Host-Fahrzeugs 1204 in Bezug auf mindestens fünf Freiheitsgrade bestimmt werden. In einigen Ausführungsformen kann die Bewegung des Host-Fahrzeugs 1204 beispielsweise in Bezug auf drei rotatorische Freiheitsgrade und zwei translatorische Freiheitsgrade bestimmt werden.
In einigen Ausführungsformen kann der erkannte Radschlupfzustand einen Längsschlupf beinhalten. Beim Fahren auf einer vereisten Straße kann das Host-Fahrzeug 1204 beispielsweise entlang seiner Fahrtrichtung rutschen, während Verfahren zur Erfassung der Raddrehung anzeigen, dass sich die Räder nur wenig oder gar nicht drehen. In diesem Fall ist der Seitenschlupfwinkel gleich Null, da der Winkel der Fahrtrichtung der Räder und der Richtung, in die sie zeigen, derselbe ist. Der vorliegend verwendete Begriff „Längsschlupfwinkel“ kann sich auf eine Drehwinkeldifferenz zwischen einer vorhergesagten Raddrehung (z.B. auf Grundlage einer Bildanalyse) und einer beobachteten Raddrehung (z.B. auf Grundlage von Sensorausgaben) beziehen. Um einen Längsschlupf zu erkennen, kann die Verarbeitungseinheit 1206 mindestens drei Bilder verwenden, und die Bewegung des Fahrzeugs kann in Bezug auf mindestens sechs Freiheitsgrade bestimmt werden. In einigen Ausführungsformen kann die Bewegung des Host-Fahrzeugs beispielsweise in Bezug auf drei rotatorische Freiheitsgrade und drei translatorische Freiheitsgrade bestimmt werden. Die Verwendung der mindestens drei Bilder kann es dem offenbarten System ermöglichen, einen Maßstab und ein Maßstabsverhältnis zu bestimmen (z.B. durch Vergleich a) der Änderungen zwischen dem ersten Bild und dem zweiten Bild mit b) den Änderungen zwischen dem zweiten Bild und dem dritten Bild). Wenn der erkannte Radschlupfzustand einen Längsschlupf umfasst, kann die Verarbeitungseinheit 1206 gemäß der vorliegenden Offenbarung einen mit dem Längsschlupf verbundenen Betrag quantifizieren. Der Betrag des Längsschlupfes kann bei Längsschlupfwinkeln von mehr als 1 Milliradian, mehr als 3 Milliradian, weniger als 10 Milliradian oder weniger als 5 Milliradian erkennbar sein.
Wie vorstehend beschrieben, kann die Verarbeitungseinheit 1206 Bildanalyse nutzen, um eine hochpräzise Bestimmung eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs zu erreichen, die verwendet werden kann, um eine vorhergesagte Raddrehung für jedes Rad unabhängig zu bestimmen, die mit der bestimmten Fahrzeugbewegung korreliert. Beispielsweise kann die Verarbeitungseinheit 1206 Eingaben von mindestens einer Kamera 1208 (und manchmal von mehreren Kameras) verwenden, um einen Strom aus einer Vielzahl von Bildern in Bezug auf eine Umgebung des Host-Fahrzeugs 1204 zu erfassen. Die Bewegung des Fahrzeugs kann in Bezug auf Aufnahmezeitpunkte bestimmt werden, die mit zwei oder mehr Bildern der Vielzahl von Bildern verbunden sind. Zum Beispiel können erkannte Änderungen in Bilddarstellungen von Objekten aus einem bei T₁ aufgenommenen Bild und einem bei T₂ aufgenommenen Bild eine Grundlage zum Bestimmen eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs entlang mehrerer Freiheitsgrade in Bezug auf Objekte in der Umgebung des Host-Fahrzeugs 1204 bilden. Zum Beispiel kann eine Vergrößerungsrate einer Bilddarstellung des Zeichens 1306 zwischen den Rahmen einen relativen Geschwindigkeitsvektor zwischen dem Host-Fahrzeug 1204 und dem Zeichen 1306 anzeigen. Als weiteres Beispiel kann eine über aufgenommene Bildrahmen hinweg beobachtete Trajektorie einer Objektdarstellung eine Gierrate des Host-Fahrzeugs 1204 anzeigen. Unter Verwendung dieser und anderer Bildanalysemethoden kann eine Darstellung der Ego-Bewegung eines Fahrzeugs mit jeder gewünschten periodischen Rate (z.B. 18 Hz oder eine andere geeignete Rate) erhalten werden. Anschließend kann die Ego-Bewegung des Fahrzeugs verwendet werden, um die erwartete Drehung jedes einzelnen Rades am Host-Fahrzeug 1204 zu bestimmen. Die vorhergesagte Raddrehung kann von der Verarbeitungseinheit 1206 mit der gleichen oder einer anderen Rate als die bestimmte Ego-Bewegung des Fahrzeugs bestimmt werden.
14 zeigt Beispiele, in denen das offenbarte System einen Radzustand erkennt, bei dem es sich um einen Schlupf mindestens eines Rades oder einen Fehler einer mechanischen Komponente des Fahrzeugs handeln kann. 14 ist ein beispielhaftes funktionales Blockdiagramm des Speichers 1400, der mit Anweisungen zum Durchführen einer oder mehrerer Operationen gemäß den offenbarten Ausführungsformen programmiert werden kann bzw. diese speichern kann, wie z.B. Einleiten einer Navigationsaktion auf Grundlage eines erkannten Radzustands. Der Speicher 1400 beinhaltet ein Raddrehungsschätzmodul 1402, ein Fahrzeugbewegungsbestimmungsmodul 1404, ein Raddrehungsvorhersagemodul 1406, ein Schlupfzustandserkennungsmodul 1408, ein Fehlererkennungsmodul 1410 und ein Systemreaktionsmodul 1412. Die Module 1402, 1404, 1406, 1408, 1410 und 1412 können Softwareanweisungen enthalten, die durch mindestens eine Verarbeitungseinrichtung, die in der Verarbeitungseinheit 1206 oder dem Server 1202 enthalten ist, ausführbar ist. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration des Speichers 1400 beschränkt. In einigen Ausführungsformen kann der Speicher 1400 Teil des Systems 1200 sein und beispielsweise der Datenbank 1210 entsprechen. Alternativ kann der Speicher 1400 in einer internen Datenstruktur oder einer externen Speicherung, die dem Server 1202 oder der Verarbeitungseinheit 1206 zugeordnet ist, gespeichert sein.
Das Raddrehungsschätzmodul 1402 kann so konfiguriert sein, dass es eine oder mehrere Sensorausgaben 1414 von mindestens einem Raddrehzahlsensor wie z.B. einem Rad-UPM-Sensor, einem Trägheitssensor, einer MEMS-Einrichtung usw. empfängt. Die eine oder die mehreren Sensorausgaben können die gemessene Raddrehung in Verbindung mit den Rädern des Host-Fahrzeugs anzeigen. Zum Beispiel können die eine oder die mehreren Sensorausgaben zumindest einige der folgenden Werte enthalten: Geschwindigkeitswert, Längswinkel, Seitenwinkel und Vorwärts-/Rückwärtsbewegungsrichtung. Darüber hinaus kann das Raddrehungsschätzmodul 1402 so konfiguriert sein, dass es eine Drehrichtung in Verbindung mit jedem Rad des Fahrzeugs bestimmt. Wie bereits erwähnt, können die Sensorausgaben 1414 von aktuellen Eigenschaften der Räder eines Host-Fahrzeugs abhängen (z.B. vom Luftdruck der Räder) und daher in vielen Fällen nicht ausreichen, um genaue Einzelmessungen für jedes der Räder des Fahrzeugs zu liefern.
Das Fahrzeugbewegungsbestimmungsmodul 1404 kann so konfiguriert sein, dass es eine Vielzahl von Bildern 1416 von der Kamera 1208 empfängt und einen oder mehrere Indikatoren für eine Bewegung des Fahrzeugs bestimmt. Die Vielzahl von Bildern 1416 kann repräsentativ für die Umgebung des Fahrzeugs sein und kann Darstellungen von einem oder mehreren Objekten in der Umgebung des Host-Fahrzeugs enthalten. In einigen Ausführungsformen können der eine oder die mehreren Indikatoren für eine Bewegung des Fahrzeugs auf Grundlage einer optischen Flussanalyse der aufgenommenen Bilder geschätzt werden. Eine optische Flussanalyse einer Bildsequenz kann Bewegung von Pixeln aus der Bildsequenz identifizieren. Die identifizierte Bewegung kann verwendet werden, um eine Bewegung (z.B. Ego-Bewegung) des Fahrzeugs zu bestimmen (z.B. dreidimensionale Translation und dreidimensionale Rotation des Fahrzeugs). Gemäß der vorliegenden Offenbarung kann die Ego-Bewegung über die Zeit und entlang des Straßenabschnitts integriert werden, um eine mit dem Straßenabschnitt verbundene Trajektorie zu rekonstruieren, die das Fahrzeug gefahren ist. In einer Ausführungsform kann das Fahrzeugbewegungsbestimmungsmodul 1404 die Ego-Bewegung des Fahrzeugs in Bezug auf die mit den zwei oder mehr Bildern der Vielzahl von Bildern verbundenen Aufnahmezeiten analysieren, um zu bestimmen, um wie viel sich jedes Rad des Fahrzeugs von einem Bildrahmen zu einem späteren Bildrahmen bewegt hat. Der Fachmann erkennt den Wert der Bestimmung der individuellen Bewegung jedes Rades, da die Bewegung der Räder des Fahrzeugs unter bestimmten Bedingungen, wie z.B. beim Wenden des Fahrzeugs, nicht unbedingt gleich ist. In einigen Ausführungsformen kann das Fahrzeugbewegungsbestimmungsmodul 1404 Bilddaten von mehr als einer Kamera verwenden (z.B. zwei Kameras, drei Kameras, vier Kameras, fünf Kameras usw.). Die Verwendung mehrerer Kameras kann die Genauigkeit der Bewegungsbestimmung des Fahrzeugs verbessern, da jede Kamera unabhängige Ego-Bewegungsergebnisse für das Fahrzeug liefern kann, die gemittelt werden können, um ein Ergebnis mit höherer Genauigkeit zu erhalten.
Das Raddrehungsvorhersagemodul 1406 kann so konfiguriert sein, dass es für mindestens ein Rad des Fahrzeugs eine vorhergesagte Raddrehung bestimmt, die der Bewegung des Fahrzeugs in Bezug auf die mit den zwei oder mehr Bildern der Vielzahl von Bildern verbundenen Aufnahmezeiten entspricht. Gemäß der vorliegenden Offenlegung kann das Raddrehungsvorhersagemodul 1406 die vorhergesagte Raddrehung anhand der Ego-Bewegung des Fahrzeugs und zusätzlicher Informationen, wie z.B. dem Umfang der Räder und dem Luftdruck der Räder, bestimmen. In einigen Ausführungsformen kann die vorhergesagte Raddrehung durch ein spezielles mathematisches Modell bestimmt werden, das auf gesammelte Daten angewendet wird, die die Indikatoren einer Bewegung enthalten. Beispielsweise kann ein maschinelles Lernmodell anhand von Trainingsdaten (z.B. Trainingsbeispielen) trainiert werden, um die vorhergesagte Raddrehung zu bestimmen. Solche Trainingsdaten können einen Satz von Bildern und einen Satz von Bewegungsindikatoren zusammen mit Messdaten, die die tatsächliche Raddrehung jedes der Räder eines Fahrzeugs angeben, und/oder andere Daten (z.B. einen Umfang der Räder) umfassen, die für das Training einer Maschine zur Vorhersage der Raddrehung relevant sind. In einigen Beispielen kann ein künstliches neuronales Netz (z.B. ein tiefes neuronales Netz, ein neuronales Faltungsnetz usw.) konfiguriert werden (z.B. manuell, mit maschinellen Lernverfahren, durch Kombination anderer künstlicher neuronaler Netze usw.), um die Raddrehung vorherzusagen.
Das Schlupfzustandserkennungsmodul 1408 kann Daten vom Raddrehungsschätzmodul 1402, dem Fahrzeugbewegungsbestimmungsmodul 1404 und dem Raddrehungsvorhersagemodul 1406 verwenden, um einen Radschlupfzustand in Verbindung mit mindestens einem Rad des Fahrzeugs zu erkennen. In einer Ausführungsform kann das Schlupfzustandserkennungsmodul 1408 den Radschlupfzustand auf Grundlage eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs erkennen. Zum Beispiel kann seitlicher Schlupf anhand von Indikatoren einer Bewegung des Fahrzeugs erkannt werden. In einer anderen Ausführungsform kann das Schlupfzustandserkennungsmodul 1408 den Radschlupfzustand auf Grundlage einer Diskrepanz zwischen einer vorhergesagten Raddrehung und einer gemessenen Raddrehung erkennen. Beispielsweise kann Längsschlupf durch Vergleichen einer vorhergesagten Raddrehung mit einer gemessenen Raddrehung festgestellt werden. Die Diskrepanz zwischen der vorhergesagten und der gemessenen Raddrehung kann darauf hinweisen, dass ein oder mehrere Räder des Fahrzeugs aufgrund einer nassen oder vereisten Straße, aufgrund eines seitlichen Schleuderns des Fahrzeugs oder aufgrund eines Traktionsverlusts eines oder mehrerer Räder, neben anderen Bedingungen, Schlupf aufweisen. In der Realität beinhaltet ein Radschlupf in der Regel sowohl einen seitlichen Schlupf als auch einen Längsschlupf. Das Schlupfzustandserkennungsmodul 1408 kann den Betrag des Teils des Radschlupfzustands quantifizieren, der mit dem seitlichen Schlupf verbunden ist, und den Betrag des mit dem Längsschlupf verbundenen Teils des Radschlupfzustands quantifizieren. Beispielsweise kann ein erkannter Radschlupfzustand zu 30 % seitlichen Schlupf und zu 70 % Längsschlupf umfassen.
Das Fehlererkennungsmodul 1410 kann Daten vom Raddrehungsschätzmodul 1402, dem Fahrzeugbewegungsbestimmungsmodul 1404 und dem Raddrehungsvorhersagemodul 1406 verwenden, um einen Fehlerzustand in Verbindung mit mindestens einem Rad des Fahrzeugs zu erkennen. Wie bereits erwähnt, kann die Radbewegung auf Grundlage von zwei unabhängigen Pfaden bestimmt werden: Der erste Pfad kann Daten des Raddrehungsschätzmoduls 1402 verwenden und der zweite Pfad kann Daten des Fahrzeugbewegungsbestimmungsmoduls 1404 verwenden. Die Verwendung paralleler, unabhängiger Pfade bietet den Vorteil, dass bestimmt werden kann, ob ein Raddrehungssignal mit einem erwarteten Drehungsausmaß übereinstimmt, das mit der Bewegung eines Fahrzeugs übereinstimmt. Wenn die vorhergesagte Raddrehung nicht mit einer beobachteten Raddrehung übereinstimmt, kann das Fehlererkennungsmodul 1410 bestimmen, dass möglicherweise ein Problem vorliegt, das die unerwarteten Drehbedingungen verursacht. In einigen Fällen kann eine Diskrepanz zwischen der vorhergesagten und der gemessenen Raddrehung auf einen platten Reifen (oder einen Luftdruckverlust) hinweisen. Da sich beispielsweise der Umfang des Rades aufgrund des sich ändernden Luftdrucks ändern kann, stimmt die gemessene Radumdrehung möglicherweise nicht mit einer vorhergesagten Radumdrehung für aufgepumpte Reifen überein.
Das Systemreaktionsmodul 1412 kann so konfiguriert sein, dass es Daten vom Schlupfzustandserkennungsmodul 1408 und/oder vom Fehlererkennungsmodul 1410 empfängt, um eine Systemreaktion zu bestimmen. Eine erste Art der Systemreaktion kann Einleiten mindestens einer Navigationsaktion beinhalten, wie vorstehend mit Bezug auf das Navigationsreaktionsmodul 408 näher beschrieben. Andere Arten von Navigationsaktionen können die Steuerung des Gasregelsystems 220, des Bremssystems 230 und/oder des Lenksystems 240 beinhalten. Insbesondere kann die Navigationsmaßnahme für jedes einzelne Rad anhand von Daten des Schlupfzustandserkennungsmoduls 1408 und/oder von Daten des Fehlererkennungsmoduls 1410 bestimmt werden. Beispiele für Navigationsmaßnahmen können sein: Betätigung eines ABS durch selektives Bremsen in Verbindung mit mindestens einem Rad des Fahrzeugs, Betätigung eines Lenksystems durch selektive Lenksteuerung mindestens eines Rades des Fahrzeugs, Betätigung eines Traktionssteuersystems durch selektive Zuführung von Leistung zu mindestens einem Rad des Fahrzeugs, und Betätigung eines Aufhängungssystems durch selektive Steuerung einer oder mehrerer aktiver Aufhängungskomponenten in Verbindung mit mindestens einem Rad des Fahrzeugs. Eine zweite Art der Systemreaktion kann Bereitstellen von Warnungen an einen Fahrer des Fahrzeugs beinhalten. Beispiele für solche Warnungen können sein: eine Warnung, dass ein Schlupfzustand in Bezug auf mindestens ein Rad des Fahrzeugs erkannt wurde, eine Warnung, dass ein Schlupfzustand erkannt wurde, und eine Identifizierung jedes Rads des Fahrzeugs, für das ein Schlupfzustand erkannt wurde, eine Warnung, dass mindestens ein Reifen des Fahrzeugs nicht richtig aufgepumpt ist, eine Warnung, dass mindestens ein Rad des Fahrzeugs nicht richtig ausgerichtet ist, und eine Warnung, dass mindestens ein Differential des Fahrzeugs nicht richtig funktioniert. Eine dritte Art der Systemreaktion kann Übertragen eines oder mehrerer Indikatoren in Verbindung mit dem erkannten Schlupfzustand an ein serverbasiertes System beinhalten, das sich in Bezug zum Fahrzeug oder zu anderen Fahrzeugen, die sich in der Nähe des Fahrzeugs befinden, entfernt befindet. Zu Beispielen für solche Indikatoren, die übertragen werden können, zählen Bilddaten in Verbindung mit dem erkannten Schlupfzustand, Standortinformationen für einen Bereich, der mit dem erkannten Schlupfzustand in Verbindung steht, Eigenschaften des erkannten Schlupfzustands, Einzelheiten über das Fahrzeug, Einzelheiten über den Fahrer, die Tageszeit und mehr. Die Übertragung der mit dem erkannten Schlupfzustand verbundenen Indikatoren an andere Fahrzeuge oder an das serverbasierte System kann z.B. dazu verwendet werden, andere Fahrzeuge umzuleiten oder zu warnen. Weitere Einzelheiten zu dieser Ausführungsform werden nachstehend unter Bezugnahme auf die 16 und 17 beschrieben.
15 ist ein Flussdiagramm, das einen beispielhaften Prozess 1500 zum Navigieren eines Fahrzeugs gemäß offenbarten Ausführungsformen zeigt. Der Prozess 1500 kann von mindestens einer einem Host-Fahrzeug zugeordneten Verarbeitungseinrichtung wie z.B. der Verarbeitungseinheit 110 oder der Verarbeitungseinheit 1206 durchgeführt werden, wie vorstehend beschrieben. Dementsprechend kann der Prozess 1500 von einem autonomen oder halbautonomen Fahrzeug implementiert werden und zur Navigation des Host-Fahrzeugs verwendet werden. Es versteht sich, dass die Begriffe „Prozessor“ und „Verarbeitungseinheit“ in der vorliegenden Offenbarung als Abkürzung für „mindestens einen Prozessor“ bzw. „mindestens eine Verarbeitungseinheit“ verwendet werden. Mit anderen Worten: Ein Prozessor oder eine Verarbeitungseinheit kann eine oder mehrere Strukturen (z.B. Schalttechnik) beinhalten, die logische Operationen ausführen, unabhängig davon, ob diese Strukturen zusammen angeordnet, verbunden oder verteilt sind. In einigen Ausführungsformen kann ein nicht transientes computerlesbares Medium Anweisungen enthalten, die bei Ausführung durch einen Prozessor den Prozessor veranlassen, den Prozess 1500 durchzuführen. Ferner ist der Prozess 1500 nicht notwendigerweise auf die in 15 gezeigten Schritte beschränkt, und alle Schritte oder Prozesse der verschiedenen Ausführungsformen, die in der vorliegenden Offenbarung beschrieben sind, können ebenfalls in den Prozess 1500 einbezogen werden, einschließlich der vorstehend in Bezug auf beispielsweise 12 bis 14 beschriebenen.
In Schritt 1502 umfasst der Prozess 1500 Empfangen einer Vielzahl von Bildern, die von einer dem Fahrzeug zugeordneten Bildaufnahmeeinrichtung erfasst wurden. Die Vielzahl von Bildrahmen kann repräsentativ für eine Umgebung des Fahrzeugs sein. Gemäß offenbarten Ausführungsformen kann die Vielzahl von Bildern mit einer vorbestimmten Rate empfangen werden, z.B. mit 15 Hz, 18 Hz, 20 Hz oder mit höheren Raten. In einigen Ausführungsformen kann die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmeeinrichtungen erfasst werden, die dem Fahrzeug zugeordnet sind, z.B. drei Bildaufnahmeeinrichtungen, fünf Bildaufnahmeeinrichtungen oder mehr.
In Schritt 1504 umfasst der Prozess 1500 Bestimmen eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs in Bezug auf mit den zwei oder mehr der Vielzahl von Bildern verbundene Aufnahmezeiten auf Grundlage einer Analyse von zwei oder mehr Bildern der Vielzahl von Bildern. Im Kontext der vorliegenden Offenbarung kann der Ausdruck „Indikatoren einer Bewegung“ alle Informationen umfassen, die den Geschwindigkeitsvektor des Fahrzeugs in Bezug auf mindestens drei, vier, fünf oder sechs Freiheitsgrade und/oder alle Informationen bezüglich der Beschleunigung des Fahrzeugs in Bezug auf mindestens drei, vier, fünf oder sechs Freiheitsgrade anzeigen. In einigen Fällen können die Indikatoren einer Bewegung für verschiedene Teile des Fahrzeugs spezifisch sein. Bei einem seitlichen Schlupf beispielsweise kann sich die Beschleunigung des vorderen Teils des Fahrzeugs von der des hinteren Teils des Fahrzeugs unterscheiden. Darüber hinaus kann sich in einigen Ausführungsformen der Ausdruck „in Bezug auf die Aufnahmezeiten“ auf die Zeit zwischen den Aufnahmezeiten beziehen und z.B. von einer ersten Aufnahmezeit bis zu einer zweiten Aufnahmezeit reichen. Zum Beispiel können unter Bezugnahme auf 13 die Indikatoren der Bewegung des Fahrzeugs auf T₁ und T₂ bezogen sein. Gemäß offenbarten Ausführungsformen kann der Prozessor so konfiguriert sein, dass er eine Drehrichtung in Verbindung mit jedem Rad des Fahrzeugs bestimmt. Die Bestimmung der Drehrichtung in Verbindung mit jedem Rad des Fahrzeugs kann auf Grundlage der Bildanalyse oder auf Grundlage einer oder mehrerer Sensorausgaben erfolgen, die die gemessene Raddrehung anzeigen.
In Schritt 1506 kann der Prozess 1500 für mindestens ein Rad des Fahrzeugs erfolgendes Bestimmen einer vorhergesagten Raddrehung, die der Bewegung des Fahrzeugs entspricht in Bezug auf die mit den zwei oder mehr Bildern der Vielzahl von Bildern verbundenen Aufnahmezeiten beinhalten. Gemäß offenbarten Ausführungsformen kann die der Bewegung des Fahrzeugs entsprechende vorhergesagte Raddrehung unabhängig für jedes Rad des Fahrzeugs oder für einige der Räder des Fahrzeugs bestimmt werden. Handelt es sich bei dem Fahrzeug beispielsweise um einen Sattelschlepper mit achtzehn Rädern, kann der Prozessor die vorhergesagte Raddrehung nur für eine Teilmenge der achtzehn Räder oder auch für alle achtzehn Räder bestimmen. In einigen Ausführungsformen kann das Vorhersageverfahren zur Bestimmung der vorhergesagten Raddrehung eine Kombination von Verfahren aus den Bereichen Statistik, maschinelles Lernen und künstliche Intelligenz umfassen. In einer Ausführungsform kann der Prozessor die vorhergesagte Raddrehung auf Grundlage des einen oder der mehreren Indikatoren der Bewegung des Fahrzeugs und auf Grundlage zusätzlicher Daten, wie einem Umfang der Räder, bestimmen.
In Schritt 1508 beinhaltet der Prozess 1500 Empfangen einer oder mehrerer Sensorausgaben, die eine gemessene Raddrehung in Verbindung mit dem mindestens einen Rad des Fahrzeugs anzeigen. In einigen Ausführungsformen beinhalten die eine oder die mehreren Sensorausgaben eine Sensorausgabe eines oder mehrerer Rad-UPM-Sensoren, die so konfiguriert sind, dass sie die Drehgeschwindigkeit der Räder messen. Zudem kann das Fahrzeug einen GPS-Empfänger und/oder einen Trägheitssensor beinhalten, die zur Bestimmung einer Ego-Bewegung und/oder zur Schätzung oder Vorhersage der tatsächlichen Raddrehung verwendet werden können.
In Schritt 1510 beinhaltet der Prozess 1500 Vergleichen der vorhergesagten Raddrehung mit der gemessenen Raddrehung für das mindestens eine Rad des Fahrzeugs. Der vorliegend verwendete Ausdruck „Vergleichen“ bezieht sich auf die Beurteilung, wie die aus der Bildanalyse bestimmte vorhergesagte Raddrehung mit der gemessenen Raddrehung zusammenhängt oder sich von dieser unterscheidet. In einigen Fällen kann das Vergleichen durch Anwenden eines KI-Algorithmus erfolgen, der so konfiguriert ist, dass er eine Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung erkennt.
In Schritt 1512 beinhaltet der Prozess 1500 Erkennen eines Radschlupfzustandes in Verbindung mit dem mindestens einen Rad des Fahrzeugs auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung. In einigen Ausführungsformen kann der Prozessor, wenn der erkannte Radschlupfzustand einen seitlichen Schlupf umfasst, einen mit dem seitlichen Schlupf verbundenen Betrag quantifizieren. Der Betrag des seitlichen Schlupfes kann bei Seitenschlupfwinkeln von mehr als 1 Milliradian, mehr als 3 Milliradian oder mehr als 5 Milliradian erkennbar sein. Alternativ kann der Betrag des seitlichen Schlupfes bei Seitenschlupfwinkeln von weniger als 10 Milliradian, weniger als 5 Milliradian oder weniger als 3 Milliradian erkennbar sein. In Fällen, in denen der erkannte Radschlupfzustand einen seitlichen Schlupf beinhaltet, kann die Bewegung des Fahrzeugs in Bezug auf mindestens fünf Freiheitsgrade bestimmt werden. Beispielsweise kann die Bewegung des Fahrzeugs in Bezug auf drei rotatorische Freiheitsgrade und zwei translatorische Freiheitsgrade bestimmt werden. In einigen Ausführungsformen kann der Prozessor, wenn der erkannte Radschlupfzustand Längsschlupf umfasst, einen mit dem Längsschlupf verbundenen Betrag quantifizieren. Der Betrag des Längsschlupfes kann bei Längsschlupfwinkeln von mehr als 1 Milliradian, mehr als 3 Milliradian oder mehr als 5 Milliradian erkennbar sein. Alternativ kann der Betrag des Längsschlupfes bei Längsschlupfwinkeln von weniger als 10 Milliradian, weniger als 5 Milliradian oder weniger als 3 Milliradian erkennbar sein. In Fällen, in denen der erkannte Radschlupfzustand einen Längsschlupf beinhaltet, können mindestens drei Bilder für die Bildanalyse verwendet werden, und die Bewegung des Fahrzeugs kann in Bezug auf mindestens sechs Freiheitsgrade bestimmt werden. Beispielsweise kann die Bewegung des Fahrzeugs in Bezug auf drei rotatorische Freiheitsgrade und drei translatorische Freiheitsgrade bestimmt werden. In anderen Ausführungsformen kann, wenn der erkannte Radschlupfzustand sowohl seitlichen Schlupf als auch Längsschlupf umfasst, der Prozessor einen Betrag in Verbindung mit sowohl dem seitlichen Schlupf als auch dem Längsschlupf quantifizieren.
In Schritt 1514 umfasst der Prozess 1500 Einleiten mindestens einer Navigationsaktion in Reaktion auf den in Verbindung mit dem mindestens einen Rad des Fahrzeugs erkannten Radschlupfzustand. In einigen Ausführungsformen beinhaltet die mindestens eine Navigationsaktion automatisches Modifizieren mindestens eines Aspekts einer autonomen Fahrstrategie in Verbindung mit einem Navigationssystem des Fahrzeugs. Beispielsweise kann das Modifizieren mindestens eines Aspekts der autonomen Fahrstrategie Ändern des Folgeabstands, Ändern der Geschwindigkeitssteuerung usw. beinhalten. In anderen Ausführungsformen beinhaltet die mindestens eine Navigationsaktion automatisches Umleiten des Fahrzeugs. So kann der Prozessor beispielsweise ein Umleiten des Fahrzeugs auf eine weniger kurvenreiche Route, eine langsamere Route usw. bewirken. In weiteren Ausführungsformen kann die mindestens eine Navigationsaktion Übertragen eines oder mehrerer Indikatoren in Verbindung mit dem erkannten Schlupfzustand an ein serverbasiertes System umfassen, das sich in Bezug auf das Fahrzeug entfernt befindet. Der Prozessor kann zum Beispiel in Verbindung mit einem REM-Kartierungssystem arbeiten, um Standorte möglicher Gefahren zu erkennen. Die Bestimmung der Standorte möglicher Gefahren kann auf einem Satz von Indikatoren basieren, die mit einer Vielzahl erkannter Schlupfzustände in Verbindung mit mehreren Fahrten verbunden sind.
Gemäß einer ersten Implementierung des Prozesses 1500 kann die mindestens eine Navigationsaktion Bereitstellen einer Warnung für einen Bediener eines Fahrzeugs beinhalten. In einem ersten Beispiel kann die Warnung einen Hinweis darauf enthalten, dass ein Schlupfzustand in Bezug auf mindestens ein Rad des Fahrzeugs erkannt wurde. In einem zweiten Beispiel kann die Warnung einen Hinweis darüber, dass ein Schlupfzustand erkannt wurde, und eine Identifizierung jedes Rades des Fahrzeugs beinhalten, für das ein Schlupfzustand erkannt wurde. In einem dritten Beispiel kann die Warnung einen Hinweis darauf enthalten, dass mindestens ein Reifen des Fahrzeugs nicht richtig aufgepumpt ist. In einem vierten Beispiel kann die Warnung einen Hinweis darauf enthalten, dass mindestens ein Rad des Fahrzeugs nicht richtig ausgerichtet ist. In einem fünften Beispiel kann die Warnung einen Hinweis darauf enthalten, dass mindestens ein Differential des Fahrzeugs nicht ordnungsgemäß funktioniert. Insbesondere kann der Prozessor bestimmen, dass mindestens ein Differential des Fahrzeugs nicht ordnungsgemäß funktioniert, wenn die Diskrepanz zwischen der vorhergesagten Raddrehung (basierend auf der Bildanalyse) und der beobachteten Raddrehung (basierend auf den Sensorausgaben) während einer Kurvenbewegung einem vordefinierten Muster entspricht.
Gemäß einer zweiten Implementierung des Prozesses 1500 kann die mindestens eine Navigationsaktion eine Betätigung mindestens eines dem Fahrzeug zugeordneten Systems beinhalten. Beispielsweise kann der Prozessor den Betrieb der Räder des Fahrzeugs radweise steuern, um dem erkannten Schlupfzustand entgegenzuwirken oder einen gewünschten Schlupfgrad zu erreichen. In einem ersten Beispiel kann das System ein Antiblockiersystem (ABS) beinhalten, und die Betätigung des ABS beinhaltet selektives Bremsen in Verbindung mit mindestens einem Rad des Fahrzeugs. In einem zweiten Beispiel kann das System ein Lenksystem beinhalten, und die Betätigung des Lenksystems beinhaltet selektive Lenksteuerung mindestens eines Rades des Fahrzeugs. In einem dritten Beispiel kann das System ein Traktionssteuersystem beinhalten, und die Betätigung des Traktionssteuersystems umfasst selektive Anwendung von Leistung auf mindestens ein Rad des Fahrzeugs. In einem vierten Beispiel kann das System ein Aufhängungssystem beinhalten, und die Betätigung des Aufhängungssystems beinhaltet selektive Steuerung einer oder mehrerer aktiver Aufhängungskomponenten in Verbindung mit mindestens einem Rad des Fahrzeugs.
16 zeigt ein Beispiel, bei dem das offenbarte System von mehreren Host-Fahrzeugen gesammelte durch Crowdsourcing erhaltene Informationen über Radschlupfzustände sammelt, um Karteninformationen mit Standorten möglicher Gefahren zu aktualisieren. Wie in 16 dargestellt, enthält eine Fahrbahn 1600 Darstellungen 1602 einer Vielzahl vorheriger Fahrten. Jeder der Vielzahl vorheriger Fahrten kann mit einem der Sammelfahrzeuge zusammenhängen. In einigen Ausführungsformen kann ein jeweiliges der Vielzahl von Sammelfahrzeugen mit zwei oder mehr der vorherigen Fahrten zusammenhängen (z.B. kann ein Sammelfahrzeug die Fahrbahn 1600 mehrfach befahren haben). Gemäß den offenbarten Ausführungsformen kann das System 1200 von einer Vielzahl von Sammelfahrzeugen Indikatoren für erkannte Radschlupfzustände in Verbindung mit mindestens einem Rad jedes Sammelfahrzeugs empfangen. Die Indikatoren für die erkannten Schlupfzustände können Bilddaten in Verbindung mit dem erkannten Schlupfzustand, einen Standort eines dem erkannten Schlupfzustand zugeordneten Bereichs, Eigenschaften des erkannten Schlupfzustands, Details des Fahrzeugs, Details über einen Fahrer des Fahrzeugs, eine Tageszeit, eine Temperatur außerhalb des Fahrzeugs und mehr umfassen. Das System 1200 kann die Indikatoren für erkannte Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte korrelieren. In einer Ausführungsform kann das System 1200 die Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad über die Zeit in Bezug auf den einen oder die mehreren geografischen Standorte integrieren, um Änderungen der Straßenoberflächenbedingungen im Zeitverlauf zu bestimmen. In Bezug auf das dargestellte Beispiel kann das System 1200 einen bestimmten Straßenabschnitt 1604 als rutschig identifizieren. Anschließend kann das System 1200 auf Grundlage der korrelierten Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte Informationen erzeugen und an mindestens eine Entität übertragen. Die übertragenen Informationen können mindestens eines der Folgenden beinhalten: eine Warnung, die an eine Vielzahl navigierender Fahrzeuge verteilt wird, einen Hinweis auf eine Zugangsbeschränkungszone, Anweisungen für eine Änderung einer geplanten Navigationsroute, und eine Identifizierung mindestens eines Straßenabschnitts, auf dem ein Fahrbahnoberflächenzustand mit erkannten Radschlupfzuständen in Verbindung gebracht wurde. In Bezug auf das dargestellte Beispiel kann das System 1200 Navigationsinformationen an eine Straßenbenutzer-Entität (z.B. ein Fahrzeug 1606 oder einen Fußgänger 1608, der möglicherweise die Fahrbahn 1600 überquert oder in der Nähe der Fahrbahn 1600 unterwegs ist) übertragen, die von einem bestimmten Straßenabschnitt 1604 betroffen sein kann. In anderen Beispielen kann das System 1200 die Informationen an eine Nicht-Straßenbenutzer-Entität übermitteln, z.B. an ein kommunales Verkehrsleitsystem, an Auftragnehmer, die für die Reparatur und Instandhaltung der Infrastruktur zuständig sind, und andere.
Gemäß der vorliegenden Offenbarung kann das System 1200 die gesammelten Daten über erkannte Radschlupfzustände in Verbindung mit dem REM-Kartierungssystem verwenden. Das REM-Kartierungssystem kann durch Crowdsourcing erhaltene Informationen nutzen, die von mehreren Fahrten gesammelt wurden, um Karten für Straßenabschnitte zu erstellen und/oder zu verfeinern. In einigen Ausführungsformen können die REM-Karten Trajektorien (z.B. dreidimensionale Splines) enthalten, die für Fahrzeuge (z.B. Host- oder Ziel-/erkannte Fahrzeuge) verfügbar sind, die auf einer einer REM-Karte zugeordneten Fahrbahn fahren. Die REM-Karten können zudem erkannte Objekte enthalten (z.B. einen mit einem erkannten Schlupfzustand verbundenen bestimmten Straßenabschnitt, Straßenschilder, Straßenkanten, Fahrspurmarkierungen, Bushaltestellen oder andere erkennbare Merkmale in Verbindung mit einer Fahrbahn usw.) und können die erkannten Objekte in der Karte mit verfeinerten Standorten verknüpfen, die einem oder mehreren der erkannten Objekte zugeordnet sind. Die verfeinerten Standorte können auf Grundlage von durch Crowdsourcing erhaltenen Standortinformationen bestimmt werden, die während jeder einer Vielzahl von Einzelfahrten mindestens eines Sammelfahrzeugs entlang eines Straßenabschnitts bestimmt wurden. Die erkannten Objekte und ihre Standorte aus der Karte können beim Navigieren eines autonomen oder teilautonomen Fahrzeugs verwendet werden (z.B. durch Unterstützung beim Bestimmen, wo sich ein Fahrzeug in Bezug auf eine Zieltrajektorie der REM-Karte befindet).
Um eine durch Crowdsourcing erhaltene REM-Karte zu erstellen, können Fahrinformationen von mehreren Fahrten mindestens eines Sammelfahrzeugs entlang eines Straßenabschnitts gesammelt werden. Dies kann beispielsweise Sammeln von Fahrinformationen von einem Sammelfahrzeug, das zu verschiedenen Zeiten in einem Gebiet unterwegs ist, und/oder von mehreren verschiedenen Sammelfahrzeugen, die in dem Gebiet unterwegs sind, umfassen. Das Kartierungssystem kann dann die gesammelten Informationen abgleichen, um die Genauigkeit zu erhöhen, indem es Lücken in Fahrdatensätzen durch Verfeinern von Objektstandorten und durch Verfeinern von Fahrzeugtrajektorien ausfüllt. Das Kartierungssystem kann zudem zusätzliche Daten über den mit dem erkannten Radschlupf verbundenen Standort anfragen, um sein Konfidenzniveau zu erhöhen, dass der Radschlupfzustand durch die Straßenbedingungen und nicht durch das Verhalten des Fahrers verursacht wurde. Dementsprechend werden nach Bedarf beispielsweise auch Fälle gesammelt, in denen bei Fahrzeugen auf bestimmten Straßenabschnitten kein Radschlupfzustand auftrat.
Gemäß der vorliegenden Offenbarung können die offenbarten Systeme und Verfahren in das REM-System integriert werden, um einen Fahrweg eines Fahrzeugs, bei dem ein Radschlupfzustand aufgetreten ist, mit einem dem Straßenabschnitt zugeordneten Referenzfahrweg zu vergleichen, um zu bestimmen, wie stark das Fahrzeug vom Referenzfahrweg abgewichen ist. In einigen Ausführungsformen kann das System 1200 eine Parallaxenanalyse verwenden, um Wasser oder Eis auf einer Straße zu erkennen. So kann das System beispielsweise ein oder mehrere Bilder analysieren, um anhand von Blendeffekten auf den Bildern rutschige Bedingungen wie nasse oder vereiste Straßen zu identifizieren. In anderen Ausführungsformen kann das System 1200 Crowdsourcing-Methoden verwenden, um Bereiche zu erkennen, in denen an Rädern eines Fahrzeugs auf der Straße Schlupf auftrat. Das System kann dann Informationen auf einen Kartierungsserver hochladen, die einen Bereich als gefährlich einstufen. Der Server kann dann an Fahrzeuge, die in der Nähe des Bereichs unterwegs sind, Karteninformationen verteilen und darauf hinweisen, dass der Bereich eine mögliche Gefahr enthält. In anderen Ausführungsformen kann das System 1200 bestimmen, dass ein Radschlupfzustand eines Fahrzeugs nicht das Ergebnis einer Aktion des Fahrers war, sondern vielmehr das Ergebnis von Bedingungen in der Umgebung des Fahrzeugs. In anderen Ausführungsformen kann das System 1200 eine Tageszeit bestimmen, zu der der Radschlupfzustand auf einem bestimmten Straßenabschnitt aufgetreten ist. So kann das System 1200 beispielsweise bestimmen, dass auf einer bestimmten Fahrbahn in den frühen Morgenstunden besonders viele Eisflächen vorhanden sind. Das System 1200 kann so konfiguriert sein, dass es keine Informationen über bestimmte Bedingungen (z.B. Eis) an Fahrzeuge überträgt, die sich dem bestimmten Straßenabschnitt zu anderen Zeiten nähern. In anderen Ausführungsformen kann das System 1200 einen Satz von Wetterbedingungen vor und während der Zeit bestimmen, zu der der Radschlupfzustand auf einem bestimmten Straßenabschnitt aufgetreten ist. So kann das System 1200 beispielsweise Eisflächen auf einer Fahrbahn erkennen, wenn die Luftfeuchtigkeit einen bestimmten Wert übersteigt und die Temperatur unter Null liegt. Das System 1200 kann so konfiguriert sein, dass es keine Informationen an Fahrzeuge sendet, die sich dem bestimmten Straßenabschnitt unter anderen Wetterbedingungen nähern, die die Straßenoberfläche nicht beeinträchtigen.
17 ist ein Flussdiagramm, das einen beispielhaften Prozess 1700 gemäß den offenbarten Ausführungsformen zeigt. Der Prozess 1700 kann von mindestens einer einem Server 1202 zugeordneten Verarbeitungseinrichtung durchgeführt werden. In einigen Ausführungsformen kann ein nicht transientes computerlesbares Medium Anweisungen enthalten, die bei Ausführung durch einen Prozessor den Prozessor veranlassen, den Prozess 1700 durchzuführen. Ferner ist der Prozess 1700 nicht notwendigerweise auf die in 17 gezeigten Schritte beschränkt, und alle Schritte oder Prozesse der verschiedenen Ausführungsformen, die in der vorliegenden Offenbarung beschrieben sind, können ebenfalls in den Prozess 1700 einbezogen werden, einschließlich der vorstehend in Bezug auf beispielsweise 12 bis 16 beschriebenen.
In Schritt 1702 beinhaltet der Prozess 1700 Empfangen von Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad von einer Vielzahl von Sammelfahrzeugen. Die Indikatoren des erkannten Radschlupfzustands können zumindest einen ersten Indikator für einen Standort, der mit einem erkannten Seitenschlupfzustand verbunden ist, und einen zweiten Indikator für einen Standort beinhalten, der mit einem erkannten Längsschlupfzustand verbunden ist. Der erste und der zweite Indikator der Erkennung von Radschlupf können auf Grundlage einer Analyse von mindestens zwei Bildern bestimmt werden, die von einer Kamera mindestens eines Fahrzeugs während einer Fahrt entlang eines Straßenabschnitts aufgenommen wurden. Zum Beispiel kann jedes der Vielzahl von Sammelfahrzeugen Bilder entlang des Straßenabschnitts aufnehmen und beispielsweise unter Verwendung des Prozesses 1500 einen Radschlupfzustand bestimmen. In einigen Ausführungsformen können die Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad über die Zeit in Bezug auf den einen oder die mehreren geografischen Standorte integriert werden, um Änderungen der Straßenoberflächenbedingungen im Zeitverlauf zu bestimmen. Der Prozess 1700 kann zudem Empfangen von Indikatoren für Nicht-Schlupfzustände an dem einen oder den mehreren mit den erkannten Schlupfzuständen verbundenen geografischen Standorten von zusätzlichen Sammelfahrzeugen beinhalten. In einigen Ausführungsformen können die Indikatoren erkannter Radschlupfzustände und die Indikatoren für Nicht-Schlupfzustände über die Zeit integriert werden, um ein mit dem erkannten Schlupfzustand verbundenes Vertrauensniveau zu aktualisieren. So wird beispielsweise die Anzahl der Fahrzeuge, bei denen an einem bestimmten geografischen Standort Schlupf auftrat, mit der Anzahl der Fahrzeuge verglichen, bei denen an dem bestimmten geografischen Standort kein Schlupfzustand auftrat.
In Schritt 1704 beinhaltet der Prozess 1700 Korrelieren der Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte. In einigen Ausführungsformen kann das Korrelieren Bestimmen eines verfeinerten Standorts des erkannten Schlupfzustands auf Grundlage der Indikatoren des erkannten Schlupfzustands beinhalten. Der verfeinerte Standort des erkannten Schlupfzustands kann relativ zu einem lokalen Koordinatensystem für den gemeinsamen Straßenabschnitt sein. In einigen Ausführungsformen kann das lokale Koordinatensystem für den gemeinsamen Straßenabschnitt auf einer Vielzahl von Bildern basieren, die von Kameras an Bord der Vielzahl von Sammelfahrzeugen aufgenommen wurden. Das Koordinatensystem kann beispielsweise auf Grundlage einer Analyse der Bilder entwickelt werden, um einen dreidimensionalen Raum zu bestimmen, der dem Straßenabschnitt zugeordnet ist und aus dem ein dreidimensionales Koordinatensystem entwickelt werden kann. Weitere Einzelheiten zu den dreidimensionalen Koordinaten zum Erzeugen dünnbesetzter Karten sind vorstehend angegeben. In einigen Ausführungsformen kann das Korrelieren ferner Anwenden eines Kurvenanpassungsalgorithmus auf einen Satz von Fahrinformationen beinhalten, die dem Sammelfahrzeug zugeordnet sind, bei dem der Radschlupfzustand auftrat. Mit anderen Worten, es kann eine Kurve bestimmt werden, die durch eine mathematische Funktion definiert ist, die sich am „besten“ an die Indikatoren des erkannten Radschlupfzustands anpasst. Zum Beispiel kann eine lineare oder nichtlineare Regressionsanalyse durchgeführt werden, um eine Kurve an die Fahrinformationen anzupassen. In einigen Ausführungsformen kann das Korrelieren der Fahrinformationen Bestimmen eines durchschnittlichen Standorts für einen Radschlupfzustand auf Grundlage einer Vielzahl von Indikatoren von der Vielzahl von Sammelfahrzeugen umfassen.
In Schritt 1706 beinhaltet der Prozess 1700 auf Grundlage der in Bezug auf einen oder mehrere geografische Standorte korrelierten Indikatoren erkannter Radschlupfzustände erfolgendes Erzeugen und Übertragen von Navigationsinformationen an mindestens eine Entität. Gemäß der vorliegenden Offenbarung können die Navigationsinformationen eine Identifizierung mindestens eines Straßenabschnitts enthalten, bei dem ein Straßenoberflächenzustand mit erkannten Radschlupfzuständen in Verbindung gebracht wurde. Die Identifizierung kann eine wahrscheinliche Ursache für die erhöhte Glätte auf dem mindestens einen Straßenabschnitt beinhalten. In einigen Ausführungsformen beinhalten die Navigationsinformationen eine Warnung, die an mindestens ein Fahrzeug verteilt wird, das dem serverbasierten Navigationssystem zugeordnet ist. Die Warnung kann zum Beispiel eine Identifizierung des Vorhandenseins von Glätte in Bezug auf einen bestimmten Straßenabschnitt beinhalten. In anderen Ausführungsformen können die Navigationsinformationen einen Hinweis auf eine Zugangsbeschränkungszone enthalten. So kann beispielsweise ein dem serverbasierten Navigationssystem zugeordnetes Verwaltungssystem eine Fahrzeugflotte daran hindern, in einer Region zu navigieren, in der gefährliche Bedingungen erkannt wurden. In anderen Ausführungsformen können die Navigationsinformationen eine Empfehlung für ein Fahrzeug oder einen Fußgänger enthalten, das bzw. der sich dem mindestens einen Straßenabschnitt nähert, auf dem ein Fahrbahnzustand mit erkannten Radschlupfzuständen in Verbindung gebracht wurde. Die Empfehlung kann Ändern einer geplanten Navigationsroute für ein oder mehrere Fahrzeuge (d.h. automatisches Umleiten von Fahrzeugen, um diesen Straßenabschnitt zu meiden) oder Begrenzen der Höchstgeschwindigkeit von Fahrzeugen beinhalten, die diesen Straßenabschnitt befahren.
Die vorstehende Beschreibung dient nur der Veranschaulichung. Sie erhebt keinen Anspruch auf Vollständigkeit und ist nicht auf die genauen Formen oder Ausführungsformen beschränkt, die offenbart werden. Modifikationen und Anpassungen sind für den Fachmann aus der Betrachtung der Beschreibung und der Praxis der offenbarten Ausführungsformen ersichtlich. Auch wenn Aspekte der offenbarten Ausführungsformen als im Speicher gespeichert beschrieben werden, wird ein Fachmann erkennen, dass diese Aspekte auch auf anderen Arten von computerlesbaren Medien gespeichert werden können, wie beispielsweise auf sekundären Speichereinrichtungen, beispielsweise Festplatten oder CD-ROM, oder anderen Formen von RAM oder ROM, USB-Medien, DVD, Blu-ray, 4K Ultra HD Blu-ray oder anderen optischen Laufwerken.
Computerprogramme, die auf der schriftlichen Beschreibung und den offenbarten Verfahren basieren, können von einem erfahrenen Entwickler ohne Weiteres erstellt werden. Die verschiedenen Programme oder Programmmodule können mit allen bekannten Methoden erstellt werden oder in Verbindung mit bereits vorhandener Software entwickelt werden. Beispielsweise können Programmteile oder -module in oder mit Hilfe von .Net Framework, .Net Compact Framework (und verwandten Sprachen wie Visual Basic, C usw.), Java, C++, Objective-C, HTML, HTML/AJAX-Kombinationen, XML oder HTML mit eingeschlossenen Java-Applets konzipiert werden.
Darüber hinaus sind vorliegend zwar veranschaulichende Ausführungsformen beschrieben worden, aber der Umfang aller Ausführungsformen mit gleichwertigen Elementen, Modifikationen, Auslassungen, Kombinationen (z.B. von Aspekten verschiedener Ausführungsformen), Anpassungen und/oder Änderungen, die für einen Fachmann auf Grundlage der vorliegenden Offenbarung ersichtlich sind, ist ebenfalls umfasst. Die Einschränkungen in den Ansprüchen sind auf Grundlage der in den Ansprüchen verwendeten Sprache weit auszulegen und nicht auf die in der vorliegenden Beschreibung oder während der Weiterverfolgung der Anmeldung beschriebenen Beispiele beschränkt. Die Beispiele sind als nicht abschließend zu verstehen. Darüber hinaus können die Schritte der offenbarten Verfahren in beliebiger Weise modifiziert werden, u.a. durch Umordnen von Schritten und/oder Einfügen oder Streichen von Schritten. Es ist daher beabsichtigt, dass die Beschreibung und die Beispiele nur zur Veranschaulichung dienen, wobei der wahre Umfang und Grundgedanke durch die folgenden Ansprüche und ihren vollen Umfang an Äquivalenten angegeben wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63/042155 [0001]
US 63/052542 [0001]

Claims

System zum Navigieren eines Fahrzeugs, wobei das System Folgendes umfasst: mindestens einen Prozessor, der Schalttechnik und einen Speicher umfasst, wobei der Speicher Anweisungen enthält, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor zu Folgendem veranlassen: eine Vielzahl von Bildrahmen zu empfangen, die von einer dem Fahrzeug zugeordneten Bildaufnahmeeinrichtung erfasst wurden, wobei die Vielzahl von Bildrahmen für eine Umgebung des Fahrzeugs repräsentativ ist; auf Grundlage einer Analyse von zwei oder mehr der Vielzahl von Bildern einen oder mehrere Indikatoren einer Bewegung des Fahrzeugs in Bezug auf die mit den zwei oder mehr der Vielzahl von Bildern verbundenen Aufnahmezeiten zu bestimmen, für mindestens ein Rad des Fahrzeugs eine vorhergesagte Raddrehung, die der Bewegung des Fahrzeugs entspricht, in Bezug auf die mit den zwei oder mehr der Vielzahl von Bildern verbundenen Aufnahmezeiten zu bestimmen, eine oder mehrere Sensorausgaben zu empfangen, die eine gemessene Raddrehung in Verbindung mit dem mindestens einen Rad des Fahrzeugs anzeigen; für das mindestens eine Rad des Fahrzeugs die vorhergesagte Raddrehung mit der gemessenen Raddrehung zu vergleichen; auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung einen Radschlupfzustand in Verbindung mit dem mindestens einen Rad des Fahrzeugs zu erkennen; und in Reaktion auf den in Verbindung mit dem mindestens einen Rad des Fahrzeugs erkannten Radschlupfzustand mindestens eine Navigationsaktion einzuleiten.
System nach Anspruch 1, wobei die vorhergesagte Drehung, die der Bewegung des Fahrzeugs entspricht, unabhängig für jedes Rad des Fahrzeugs bestimmt wird.
System nach Anspruch 1, wobei der erkannte Radschlupfzustand seitlichen Schlupf beinhaltet und der Speicher Anweisungen enthält, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, einen mit dem seitlichen Schlupf verbundenen Betrag zu quantifizieren.
System nach Anspruch 3, wobei der Betrag des seitlichen Schlupfes bei Schlupfwinkeln von mehr als 1 Milliradian erkennbar ist.
System nach Anspruch 3, wobei die Bewegung des Fahrzeugs in Bezug auf mindestens fünf Freiheitsgrade bestimmt wird.
System nach Anspruch 1, wobei der erkannte Radschlupfzustand Längsschlupf beinhaltet und der Speicher Anweisungen enthält, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, einen mit dem Längsschlupf verbundenen Betrag zu quantifizieren.
System nach Anspruch 6, wobei der Betrag des Längsschlupfes bei Schlupfwinkeln von mehr als 1 Milliradian erkennbar ist.
System nach Anspruch 6, wobei die zwei oder mehr Bilder der Vielzahl von Bildern mindestens drei Bilder umfassen.
System nach Anspruch 6, wobei die Bewegung des Fahrzeugs in Bezug auf mindestens sechs Freiheitsgrade bestimmt wird.
System nach Anspruch 1, wobei der Speicher Anweisungen enthält, die bei Ausführung durch die Schalttechnik den mindestens einen Prozessor veranlassen, eine mit jedem Rad des Fahrzeugs verbundene Drehrichtung zu bestimmen.
System nach Anspruch 1, wobei die eine oder die mehreren Sensorausgaben eine Sensorausgabe eines oder mehrerer UPM- (Umdrehungen pro Minute) Sensoren umfassen.
System nach Anspruch 1, wobei das Fahrzeug zudem mindestens einen GPS- (Global Positioning System) Empfänger oder einen Trägheitssensor beinhaltet.
System nach Anspruch 1, wobei die mindestens eine Navigationsaktion Bereitstellen einer Warnung an einen Bediener des Fahrzeugs beinhaltet.
System nach Anspruch 13, wobei die Warnung einen Hinweis darauf enthält, dass ein Schlupfzustand in Bezug auf mindestens ein Rad des Fahrzeugs erkannt wurde.
System nach Anspruch 13, wobei die Warnung einen Hinweis darauf, dass ein Schlupfzustand erkannt wurde, und eine Identifizierung jedes Rades des Fahrzeugs beinhaltet, für das ein Schlupfzustand erkannt wurde.
System nach Anspruch 13, wobei die Warnung einen Hinweis darauf enthält, dass mindestens ein Reifen des Fahrzeugs nicht richtig aufgepumpt ist.
System nach Anspruch 13, wobei die Warnung einen Hinweis darauf enthält, dass mindestens ein Rad des Fahrzeugs nicht richtig ausgerichtet ist.
System nach Anspruch 13, wobei die Warnung einen Hinweis darauf enthält, dass mindestens ein Differential des Fahrzeugs nicht ordnungsgemäß funktioniert.
System nach Anspruch 1, wobei die mindestens eine Navigationsaktion eine Betätigung mindestens eines dem Fahrzeug zugeordneten Systems umfasst.
System nach Anspruch 19, wobei das mindestens eine System ein Antiblockiersystem (ABS) beinhaltet und eine Betätigung des ABS selektives Bremsen in Verbindung mit mindestens einem Rad des Fahrzeugs beinhaltet.
System nach Anspruch 19, wobei das mindestens eine System ein Lenksystem beinhaltet und eine Betätigung des Lenksystems eine selektive Lenksteuerung mindestens eines Rades des Fahrzeugs umfasst.
System nach Anspruch 19, wobei das mindestens eine System ein Traktionssteuersystem beinhaltet und eine Betätigung des Traktionssteuersystems selektive Anwendung von Leistung auf mindestens ein Rad des Fahrzeugs beinhaltet.
System nach Anspruch 19, wobei das mindestens eine System ein Aufhängungssystem beinhaltet und eine Betätigung des Aufhängungssystems selektive Steuerung einer oder mehrerer aktiver Aufhängungskomponenten in Verbindung mit mindestens einem Rad des Fahrzeugs beinhaltet.
System nach Anspruch 1, wobei die mindestens eine Navigationsaktion automatisches Modifizieren mindestens eines Aspekts einer mit dem Navigationssystem verbundenen autonomen Fahrstrategie beinhaltet.
System nach Anspruch 1, wobei die mindestens eine Navigationsaktion automatisches Umleiten des Fahrzeugs umfasst.
System nach Anspruch 1, wobei die mindestens eine Navigationsaktion Übertragen eines oder mehrerer Indikatoren in Verbindung mit dem erkannten Schlupfzustand an ein serverbasiertes System beinhaltet, das sich in Bezug auf das Fahrzeug entfernt befindet.
System nach Anspruch 1, wobei die Vielzahl von Bildern mit einer vorbestimmten Rate empfangen wird.
Nicht transientes computerlesbares Medium, das Anweisungen enthält, die bei Ausführung durch mindestens einen Prozessor den mindestens einen Prozessor veranlassen, ein Verfahren zum Navigieren eines Fahrzeugs durchzuführen, wobei das Verfahren Folgendes umfasst: Empfangen einer Vielzahl von Bildrahmen, die von einer dem Fahrzeug zugeordneten Bildaufnahmeeinrichtung erfasst wurden, wobei die Vielzahl von Bildrahmen für eine Umgebung des Fahrzeugs repräsentativ ist; auf Grundlage einer Analyse von zwei oder mehr der Vielzahl von Bildern erfolgendes Bestimmen eines oder mehrerer Indikatoren einer Bewegung des Fahrzeugs in Bezug auf mit den zwei oder mehr der Vielzahl von Bildern verbundene Aufnahmezeiten; für mindestens ein Rad des Fahrzeugs erfolgendes Bestimmen einer vorhergesagten Raddrehung, die der Bewegung des Fahrzeugs entspricht, in Bezug auf die mit den zwei oder mehr der Vielzahl von Bildern verbundenen Aufnahmezeiten; Empfangen einer oder mehrerer Sensorausgaben, die eine gemessene Raddrehung in Verbindung mit dem mindestens einen Rad des Fahrzeugs anzeigen; Vergleichen der vorhergesagten Raddrehung mit der gemessenen Raddrehung für das mindestens eine Rad des Fahrzeugs; Erkennen eines Radschlupfzustands in Verbindung mit dem mindestens einen Rad des Fahrzeugs auf Grundlage einer Diskrepanz zwischen der vorhergesagten Raddrehung und der gemessenen Raddrehung; und Einleiten mindestens einer Navigationsaktion in Reaktion auf den in Verbindung mit dem mindestens einen Rad des Fahrzeugs erkannten Radschlupfzustand.
Serverbasiertes Navigationssystem, wobei das System Folgendes umfasst: mindestens einen Prozessor, der einem Speicher zugeordnet ist, wobei der Speicher Anweisungen enthält, die bei Ausführung durch den Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: von einer Vielzahl von Sammelfahrzeugen Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad zu empfangen; die Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte zu korrelieren; und auf Grundlage der in Bezug auf einen oder mehrere geografische Standorte korrelierten Indikatoren erkannter Radschlupfzustände Navigationsinformationen zu erzeugen und an mindestens eine Entität zu übertragen.
System nach Anspruch 29, wobei die Navigationsinformationen eine an eine Vielzahl navigierender Fahrzeuge verteilte Warnung enthalten.
System nach Anspruch 30, wobei die Warnung eine Identifizierung des Vorhandenseins von Glättebedingungen beinhaltet, die in Bezug auf einen bestimmten Straßenabschnitt erkannt wurden.
System nach Anspruch 29, wobei die Navigationsinformationen einen Hinweis auf eine Zugangsbeschränkungszone enthalten.
System nach Anspruch 29, wobei die Navigationsinformationen eine Änderung einer geplanten Navigationsroute für ein oder mehrere Fahrzeuge beinhalten.
System nach Anspruch 29, wobei die Navigationsinformationen eine Identifizierung mindestens eines Straßenabschnitts enthalten, auf dem ein Straßenoberflächenzustand mit erkannten Radschlupfzuständen in Verbindung gebracht wurde.
System nach Anspruch 29, wobei die Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad über die Zeit in Bezug auf den einen oder die mehreren geografischen Standorte integriert werden, um Änderungen von Straßenoberflächenbedingungen im Zeitverlauf zu bestimmen.
Nicht transientes computerlesbares Medium, das Anweisungen enthält, die bei Ausführung durch mindestens einen Prozessor den mindestens einen Prozessor veranlassen, ein Verfahren durchzuführen, wobei das Verfahren Folgendes umfasst: Empfangen von Indikatoren erkannter Radschlupfzustände in Verbindung mit mindestens einem Rad von einer Vielzahl von Sammelfahrzeugen; Korrelieren der Indikatoren erkannter Radschlupfzustände in Bezug auf einen oder mehrere geografische Standorte; und Erzeugen und Übertragen von Navigationsinformationen an mindestens eine Entität auf Grundlage der in Bezug auf einen oder mehrere geografische Standorte korrelierten Indikatoren erkannter Radschlupfzustände.