DE102016123878A1

DE102016123878A1 - Fahrzeugblinksignaldetektion

Info

Publication number: DE102016123878A1
Application number: DE102016123878.3A
Authority: DE
Inventors: Ashley Elizabeth Micks; Harpreetsingh Banvait; Jinesh J. Jain; Brielle Reiff; Sneha Kadetotad
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2015-12-17
Filing date: 2016-12-08
Publication date: 2017-06-22
Also published as: CN106891888B; GB2547082A; US10800455B2; GB201621096D0; CN106891888A; RU2016147944A; US20170174261A1; MX2016016811A

Abstract

Systeme, Verfahren und Vorrichtungen zum Detektieren des Blinksignalstatus eines Fahrzeugs zum Vermeiden einer Kollision während Spurwechselmanövern oder anderweitig. Ein Verfahren umfasst das Detektieren am ersten Fahrzeug eines Vorhandenseins eines zweiten Fahrzeugs in einer benachbarten Spur. Das Verfahren umfasst das Identifizieren eines Ausschnitts, der eine Blinksignalanzeige des zweiten Fahrzeugs enthält, in einem Bild des zweiten Fahrzeugs. Das Verfahren umfasst das Verarbeiten des Ausschnitts des Bildes, um einen Zustand der Blinksignalanzeige zu bestimmen. Das Verfahren umfasst auf der Basis des Zustands der Blinksignalanzeige auch das Benachrichtigen eines Fahrers oder Durchführen eines Fahrmanövers am ersten Fahrzeug.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft allgemein Verfahren, Systeme und Einrichtungen für das automatisierte Fahren oder zum Unterstützen eines Fahrers und betrifft insbesondere Verfahren, Systeme und Einrichtungen zum Detektieren des Blinksignalstatus eines Fahrzeugs zur Kollisionsvermeidung während Spurwechselmanövern oder Ähnlichem.
HINTERGRUND
Kraftfahrzeuge stellen einen erheblichen Teil des Transports für kommerzielle, staatliche und private Entitäten bereit. Autonome Fahrzeuge und Fahrassistenzsysteme werden derzeit entwickelt und eingesetzt, um Sicherheit bereitzustellen, ein Maß der erforderlichen Benutzereingabe zu reduzieren oder die Benutzerbeteiligung vollständig zu eliminieren. Beispielsweise können einige Fahrassistenzsysteme, wie etwa Kollisionsvermeidungssysteme, das Fahren, Positionen und eine Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System detektiert, dass eine Kollision oder ein Aufprall bevorsteht, kann das Kollisionsvermeidungssystem eingreifen und eine Bremse betätigen, das Fahrzeug lenken oder andere Vermeidungs- oder Sicherheitsmanöver durchführen. Als weiteres Beispiel können autonome Fahrzeuge ein Fahrzeug mit geringer oder keiner Benutzereingabe fahren und navigieren. Aufgrund der mit dem Fahren verbundenen Gefahren und der Kosten von Fahrzeugen ist es jedoch extrem wichtig, dass autonome Fahrzeuge und Fahrassistenzsysteme sicher betrieben werden und in der Lage sind, auf Straßen genau zu navigieren und andere Fahrzeuge auch in Situationen zu vermeiden, in denen sowohl autonome Fahrzeuge als auch von Menschen gefahrene Fahrzeuge vorhanden sind. Im Fall des Spurwechselns, Einfädelns oder anderer Straßenmanöver, bei denen zwei Fahrzeuge, wie etwa ein autonomes Fahrzeug und ein nicht-autonomes Fahrzeug, versuchen können, in dieselbe Spur einzufädeln oder nahe einander die Spur zu wechseln, ist es zur Kollisionsvermeidung wichtig, den Status des anderen Fahrzeugs zu detektieren, einschließlich seines Blinksignalstatus.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Nicht einschränkende und nicht erschöpfende Implementierungen der vorliegenden Offenbarung werden mit Bezug auf die folgenden Figuren beschrieben, wobei sich gleiche Bezugszeichen in den verschiedenen Ansichten auf gleiche Teile beziehen, soweit nicht anders angegeben. Vorteile der vorliegenden Offenbarung werden mit Bezug auf die folgende Beschreibung und die beigefügten Zeichnungen besser verstanden, wobei:
1 ein schematisches Blockdiagramm ist, das eine Implementierung eines Fahrzeugsteuersystems, das ein automatisiertes Fahr-/Assistenzsystem umfasst, darstellt;
2 ein schematisches Diagramm ist, das eine Draufsicht von Fahrzeugen auf einer mehrspurigen Straße darstellt;
3 eine perspektivische Ansicht eines Fahrzeugs auf einer Fahrbahn darstellt;
4 eine perspektivische Ansicht eines Fahrzeugs auf einer Fahrbahn darstellt;
5 ein schematisches Blockdiagramm ist, das eine Fahrmanöverentscheidungsfindung gemäß einer Implementierung darstellt;
6 ein schematisches Blockdiagramm ist, das beispielhafte Komponenten einer Fahrerabsichtskomponente gemäß einer Implementierung darstellt, und
7 ein schematisches Blockdiagramm ist, das ein Verfahren für die Fahrerentscheidungsfindung gemäß einer Implementierung darstellt.
AUSFÜHRLICHE BESCHREIBUNG
Die Anmelder haben erkannt, dass es zumindest während einer Übergangsperiode, in der sich sowohl autonome als auch manuell gefahrene Fahrzeuge auf der Straße befinden, wichtig ist, dass autonome Fahrzeuge die Aktionen menschlicher Fahrer präzise vorhersagen. Die Detektion eines Blinksignals eines Fahrzeugs, das von einem anderen Fahrer verwendet wird, fügt Gewissheit zu den künftigen Aktionen dieses Fahrers beim Manövrieren des Fahrzeugs hinzu. Dies kann im Fall eines Autobahnspurwechsels nützlich sein, bei dem zwei Fahrzeuge, wie etwa ein autonomes Fahrzeug und ein nicht-autonomes Fahrzeug, möglicherweise versuchen, in dieselbe Spur einzufädeln oder nahe einander die Spur zu wechseln. Durch Detektieren des Blinksignals des anderen Fahrzeugs kann das autonome Fahrzeug detektieren, ob das andere Fahrzeug versucht, in seinen beabsichtigten Pfad einzufahren, und daher eine mögliche Kollision vermeiden. Diese Detektion könnte auch für ein Fahrzeug mit Fahrerassistenz, das einen Spurwechsel oder Ähnliches durchführt, vorteilhaft sein. Nach Erkennen der Absicht von dessen Fahrer, die Spur zu wechseln (bei einem unterstützten Fahrzeug beispielsweise auf der Basis der Aktivierung eines Blinksignals), könnte das unterstützte Fahrzeug seinen Fahrer benachrichtigen, wenn vorhergesagt wird, dass ein anderes Fahrzeug sich in dieselbe Spur bewegt.
Diese Offenbarung präsentiert Systeme, Verfahren und Einrichtungen für autonome Fahrsysteme oder Fahrassistenzsysteme zum Vorhersagen oder Detektieren von Spurwechseln von in der Nähe befindlichen Fahrzeugen. In einer Ausführungsform verwendet ein System den Status der Blinksignale eines externen Fahrzeugs, um die Bewegung dieses Fahrzeugs zur Entscheidungsfindung bei Autobahnspurwechselmanövern vorherzusagen. Das unterstützte Fahrzeug kann mit einem 360-Grad-Erkennungssystem, wie unter anderem einer Kamera, LIDAR, Radar und/oder anderen Abstandsermittlungs- oder bildgebenden Sensoren, ausgerüstet sein. Computersicht- und Sensorfusionsalgorithmen, die tiefe neurale Netzwerke einsetzen, können trainiert werden, um die Blinksignalregionen von Interesse am Fahrzeug zu erkennen. Die neuralen Netzwerke können auch verwendet werden, um zu identifizieren, ob das Blinksignal eingeschaltet ist, möglicherweise durch Vergleich der sichtbaren Blinksignale des Fahrzeugs, die nicht alle gleichzeitig aktiv sein können. In einer Ausführungsform kann das System dazu ausgelegt sein, Folgendes durchzuführen: Lokalisieren von in der Nähe befindlichen Fahrzeugen, die sich auf benachbarten Spuren bewegen; Lokalisieren und Bestimmen von begrenzenden Boxen für sichtbare Blinksignale an benachbarten Fahrzeugen; Senden von Bilddaten in begrenzender Blinksignalbox zum Computersichtalgorithmus, um zu erkennen, welche Signale in Gebrauch sind; und Eingeben des Blinksignalstatus in eine Spurwechselentscheidungsmatrix, damit das System oder ein anderes System eine Spurwechsel- oder Fahrmanöverentscheidung treffen kann. Selbst unter Bedingungen, in denen ein anderes Fahrzeug die Blinksignalanzeigen versehentlich eingeschaltet hat oder ein Fahrer einfach vergessen hat, sie auszuschalten, können diese Informationen als Hinweis darauf, dass dieses Fahrzeug besonders zu beachten und in Bezug auf ein potenzielles gleichzeitiges Einfädeln genau zu verfolgen ist, bis die Blinksignalanzeigen ausgeschaltet werden oder das andere Fahrzeug sich außerhalb der Zone eines möglichen Risikos befindet, nützlich sein.
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen in Form von Darstellungen spezielle Implementierungen gezeigt werden, in denen die Offenbarung umgesetzt werden kann. Es versteht sich, dass andere Implementierungen genutzt und strukturelle Änderungen gemacht werden können, ohne vom Schutzbereich der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „einer Ausführungsform“, „Ausführungsbeispiel“ usw. zeigen an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft umfassen kann, aber nicht jede Ausführungsform notwendigerweise das bestimmte Merkmal, die bestimmte Struktur oder die bestimmte Eigenschaft umfasst. Außerdem beziehen sich solche Wendungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner wird, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, davon ausgegangen, dass es einem Fachmann bekannt ist, dass ein solches Merkmal, eine solche Struktur oder eine solche Eigenschaft in Verbindung mit anderen Ausführungsformen beeinträchtigt wird, gleich ob dies explizit beschrieben wird oder nicht.
Wie hier verwendet kann ein „autonomes Fahrzeug“ ein Fahrzeug sein, das völlig unabhängig von einem Fahrer agiert oder betrieben wird, oder ein Fahrzeug, das in einigen Instanzen unabhängig von einem menschlichen Fahrer agiert oder betrieben wird, während in anderen Instanzen ein menschlicher Fahrer in der Lage sein kann, das Fahrzeug zu betreiben, oder ein Fahrzeug, das vorwiegend von einem menschlichen Fahrer betrieben wird, aber mit Unterstützung eines automatisierten Fahr-/Assistenzsystems.
Hier offenbarte Implementierungen der Systeme, Vorrichtungen und Verfahren können einen Sonderzweck- oder Allzweckcomputer einschließlich Computerhardware, wie beispielsweise einen oder mehrere Prozessoren und Systemspeicher, umfassen oder nutzen, wie unten ausführlicher erörtert. Implementierungen im Schutzbereich der vorliegenden Offenbarung können auch physische oder andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen umfassen. Solche computerlesbaren Medien können alle Medien sein, auf die mit einem Allzweck- oder Sonderzweckcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien(-vorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen transportieren, sind Übertragungsmedien. Als Beispiel und ohne Einschränkung können Implementierungen der Offenbarung mindestens zwei deutlich verschiedene Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien(-vorrichtungen) umfassen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives (SSDs) (z. B. auf RAM-Basis), Flash-Speicher, Phasenübergangsspeicher (PCM – Phase-Change Memory), andere Arten von Speicher, andere optische Plattenspeicher, Magnetplattenspeicher oder andere Magnetspeichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das mit einem Allzweck- oder einem Sonderzweckcomputer zugegriffen werden kann.
Eine hier offenbarte Implementierung der Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist definiert als eine oder mehrere Datenverbindungen, die den Transport von elektronischen Daten zwischen Datenverarbeitungssystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder fest verdrahtet, drahtlos oder eine Kombination aus fest verdrahtet oder drahtlos) zu einem Computer übertragen werden, sieht der Computer die Verbindung ordnungsgemäß als Übertragungsmedium. Die Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen umfassen, die verwendet werden können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die mit einem Allzweck- oder Sonderzweckcomputer zugegriffen werden kann. Kombinationen des Vorgenannten sollten ebenfalls in den Schutzbereich von computerlesbaren Medien eingeschlossen werden.
Computerausführbare Anweisungen umfassen beispielsweise Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, bewirken, dass ein Allzweckcomputer, ein Sonderzweckcomputer oder eine Sonderzweckverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können beispielsweise Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodologische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beiliegenden Ansprüchen definierte Gegenstand nicht notwendigerweise auf die oben beschriebenen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die beschriebenen Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.
Für Fachleute versteht es sich, dass die Offenbarung in Netzwerkdatenverarbeitungsumgebungen mit vielen Arten von Computersystemauslegungen, einschließlich eines in das Armaturenbrett integrierten Computers, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, handgeführten Vorrichtungen, Multiprozessorsystemen, mikroprozessorbasierter oder programmierbarer Verbraucherelektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und Ähnlichem, umgesetzt werden kann. Die Offenbarung kann auch in verteilten Systemumgebungen umgesetzt werden, wo sowohl lokale als auch ferne Computersysteme, die über ein Netzwerk (entweder über fest verdrahtete Datenverbindungen, drahtlose Datenverbindungen oder eine Kombination von fest verdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch in fernen Speichervorrichtungen befinden.
Ferner können, soweit zutreffend, hier beschriebene Funktionen in Hardware, Software, Firmware, digitalen Komponenten und/oder analogen Komponenten durchgeführt werden. Beispielsweise können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert werden, um die hier beschriebenen Systeme und/oder Prozeduren auszuführen. In der gesamten folgenden Beschreibung und in den Ansprüchen werden gewisse Begriffe verwendet, die bestimmte Systemkomponenten bezeichnen. Für den Fachmann versteht es sich, dass Komponenten mit verschiedenen Namen bezeichnet werden können. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu differenzieren, die sich in Bezug auf den Namen, nicht aber auf die Funktion unterscheiden.
Jetzt auf die Figuren Bezug nehmend stellt 1 ein Fahrzeugsteuersystem 100 dar, das ein automatisiertes Fahr-/Assistenzsystem 102 umfasst. Das automatisierte Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs, wie etwa eines Personenkraftwagens, eines Lastkraftwagens, eines Lieferwagens, eines Busses, eines großen Lastkraftwagens, von Notfallfahrzeugen oder jedes anderen Kraftfahrzeugs zum Transportieren von Personen oder Gütern, zu automatisieren, zu unterstützen oder zu steuern oder um einem menschlichen Fahrer Unterstützung bereitzustellen. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 Bremsen, Lenkung, Beschleunigung, Leuchten, Alarme, Fahrerbenachrichtigungen, Radio und/oder alle sonstigen Hilfssysteme des Fahrzeugs steuern. In einem anderen Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 möglicherweise nicht in der Lage, eine Fahrsteuerung (wie etwa, Lenkung, Beschleunigung oder Bremsen) bereitzustellen, kann aber Benachrichtigungen und Alarme bereitstellen, um einen menschlichen Fahrer beim sicheren Fahren zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 umfasst eine Fahrerabsichtskomponente 104, die eine künftige Bewegung anderer Fahrzeuge auf der Basis von Blinksignalanzeigen und/oder Fahrzeugbewegung vorhersagen kann. Beispielsweise kann die Fahrerabsichtskomponente 104 eine Absicht des Fahrers eines anderen Fahrzeugs (beispielsweise eines Fahrzeugs, das das Fahrzeugsteuersystem 100 nicht umfasst) auf der Basis eines Blinksignalzustands des anderen Fahrzeugs schätzen.
Das Fahrzeugsteuersystem 100 umfasst auch ein oder mehrere Sensorsysteme/-vorrichtungen zum Detektieren eines Vorhandenseins in der Nähe befindlicher Objekte oder zum Bestimmen eines Standorts eines Mutterfahrzeugs (beispielsweise eines Fahrzeugs, das das Fahrzeugsteuersystem 100 umfasst) oder von in der Nähe befindlichen Objekten. Beispielsweise kann das Fahrzeugsteuersystem 100 ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder ein oder mehrere Ultraschallsysteme 114 umfassen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern von relevanten oder nützlichen Daten für Navigation und Sicherheit, wie etwa Kartendaten, Fahrhistorie oder andere Daten, umfassen. Das Fahrzeugsteuersystem 100 kann auch einen Sendeempfänger 118 für die drahtlose Kommunikation mit einem Mobilfunk- oder drahtlosen Netzwerk, anderen Fahrzeugen, einer Infrastruktur oder jedem anderen Kommunikationssystem umfassen. Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktuatoren 120 zum Steuern verschiedener Aspekte des Fahrens des Fahrzeugs, wie etwa Elektromotoren, Schalter oder andere Aktuatoren, umfassen, um Bremsen, Beschleunigung, Lenkung oder Ähnliches zu steuern. Das Fahrzeugsteuersystem 100 kann auch eine oder mehrere Anzeigen 122, einen oder mehrere Lautsprecher 124 oder andere Vorrichtungen umfassen, damit Benachrichtigungen an einen menschlichen Fahrer bereitgestellt werden können. Die Anzeige 122 kann eine Heads-Up-Anzeige, eine Armaturenbrettanzeige oder einen Armaturenbrettindikator, einen Anzeigebildschirm oder einen beliebigen anderen visuellen Indikator, der von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann, umfassen. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Klangsystems eines Fahrzeugs umfassen oder können einen für die Fahrerbenachrichtigung dedizierten Lautsprecher umfassen.
Es versteht sich, dass die Ausführungsform in 1 nur als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten umfassen, ohne vom Schutzbereich der Offenbarung abzuweichen. Zusätzlich können die dargestellten Komponenten unter anderem kombiniert oder in anderen Komponenten enthalten sein. Beispielsweise kann die Fahrerabsichtskomponente 104 vom automatisierten Fahr-/Assistenzsystem 102 getrennt und der Datenspeicher 116 als Teil des automatisierten Fahr-/Assistenzsystems 102 und/oder Teil der Fahrerabsichtskomponente 104 enthalten sein.
Das Radarsystem 106 kann ein beliebiges im Fachgebiet bekanntes Radarsystem umfassen. Im Allgemeinen wird ein Radarsystem 106 durch Senden von Funksignalen und Detektieren von Reflexionen von Objekten betrieben. In Bodenanwendungen kann das Radar verwendet werden, um physische Objekte, wie etwa andere Fahrzeuge, Parkbarrieren oder Parkklötze, Landschaften (wie etwa Bäume, Klippen, Felsen, Hügel oder Ähnliches), Straßenränder, Zeichen, Gebäude oder andere Objekte, zu detektieren. Das Radarsystem 106 kann die reflektierten Funkwellen verwenden, um eine Größe, eine Form, einen Abstand, eine Oberflächentextur oder andere Informationen über ein physisches Objekt oder Material zu bestimmen. Beispielsweise kann das Radarsystem 106 ein Gebiet abtasten, um Daten über Objekte innerhalb eines spezifischen Bereichs und Sichtwinkels des Radarsystems 106 zu erhalten. In einer Ausführungsform ist das Radarsystem 106 dazu ausgelegt, Wahrnehmungsinformationen von einer Region in der Nähe des Fahrzeugs, wie etwa einer oder mehreren Regionen in der Nähe oder der Umgebung des Fahrzeugs, zu erzeugen. Beispielsweise kann das Radarsystem 106 Daten über Regionen des Boden- oder des vertikalen Bereichs, der unmittelbar an das Fahrzeug angrenzt oder sich in dessen Nähe befindet, erhalten. Das Radarsystem 106 kann eines der weit verbreiteten handelsüblichen Radarsysteme umfassen. In einer Ausführungsform kann das Radarsystem 106 dem automatisierten Fahr-/Assistenzsystem 102 zur Referenz oder Verarbeitung Wahrnehmungsdaten bereitstellen, einschließlich einer zweidimensionalen oder dreidimensionalen Karte oder eines zweidimensionalen oder dreidimensionalen Modells.
Das LIDAR-System 108 kann ein beliebiges LIDAR-System des Fachgebiets umfassen. Im Allgemeinen wird das LIDAR-System 108 durch Emittieren von Lasern von sichtbarer Wellenlänge oder Infrarotwellenlänge und Detektieren von Laserlichtreflexionen von Objekten betrieben. In Bodenanwendungen können Laser verwendet werden, um physische Objekte, wie etwa andere Fahrzeuge, Parkbarrieren oder Parkklötze, Landschaften (wie etwa Bäume, Klippen, Felsen, Hügel oder Ähnliches), Straßenränder, Zeichen, Gebäude oder andere Objekte, zu detektieren. Das LIDAR-System 108 kann das reflektierte Laserlicht verwenden, um eine Größe, eine Form, einen Abstand, eine Oberflächentextur oder andere Informationen über ein physisches Objekt oder Material zu bestimmen. Beispielsweise kann das LIDAR-System 108 ein Gebiet abtasten, um Daten oder Objekte innerhalb eines spezifischen Bereichs und Sichtwinkels des LIDAR-Systems 108 zu erhalten. Beispielsweise kann das LIDAR-System 108 Daten über Regionen des Boden- oder des vertikalen Bereichs, der unmittelbar an das Fahrzeug angrenzt oder sich in dessen Nähe befindet, erhalten.
Das LIDAR-System 108 kann eines der weit verbreiteten handelsüblichen LIDAR-Systeme umfassen. In einer Ausführungsform kann das LIDAR-System 108 Wahrnehmungsdaten bereitstellen, einschließlich eines zweidimensionalen oder dreidimensionalen Modells oder einer zweidimensionalen oder dreidimensionalen Karte von detektierten Objekten oder Oberflächen.
Das Kamerasystem 110 kann eine oder mehrere Kameras umfassen, wie etwa Kameras für sichtbare Wellenlängen oder Infrarotkameras. Das Kamerasystem 110 kann eine Videoaufnahme oder periodische Bilder bereitstellen, die für die Objektdetektion, Straßenidentifikation und -positionsbestimmung oder andere Detektion oder Positionsbestimmung verarbeitet werden können. In einer Ausführungsform kann das Kamerasystem 110 zwei oder mehr Kameras umfassen, die verwendet werden können, um die Abstandsmessung (z. B. Detektieren eines Abstands) für Objekte im Sichtbereich bereitzustellen. In einer Ausführungsform kann die Bildverarbeitung bei erfassten Kamerabildern oder Videos verwendet werden, um Fahrzeuge, Blinksignale, Fahrer, Gesten und/oder Körpersprache eines Fahrers zu detektieren. In einer Ausführungsform kann das Kamerasystem 110 Kameras umfassen, die Bilder für zwei oder mehr Richtungen um das Fahrzeug erhalten.
Das GPS-System 112 ist eine Ausführungsform eines Positionsbestimmungssystems, das auf der Basis von Satelliten- oder Funkturmsignalen einen geografischen Standort des Fahrzeugs bereitstellen kann. GPS-Systeme 112 sind im Fachgebiet allgemein bekannt und weit verbreitet. Obwohl GPS-Systeme 112 sehr genaue Positionsbestimmungsinformationen bereitstellen können, stellen GPS-Systeme 112 allgemein wenige oder keine Informationen über Abstände zwischen dem Fahrzeug und anderen Objekten bereit. Vielmehr stellen sie einfach einen Standort bereit, der dann mit anderen Daten, wie etwa Karten, verglichen werden kann, um Abstände zu anderen Objekten, Straßen oder Standorten von Interesse zu bestimmen.
Das Ultraschallsystem 114 kann verwendet werden, um unter Verwendung von Ultraschallwellen Objekte oder Abstände zwischen einem Fahrzeug und Objekten zu detektieren. Beispielsweise kann das Ultraschallsystem 114 Ultraschallwellen von einem Standort an oder in der Nähe eines Stoßfänger- oder Seitenpaneelstandorts eines Fahrzeugs emittieren. Die Ultraschallwellen, die durch Luft kurze Abstände zurücklegen können, können von anderen Objekten reflektiert und vom Ultraschallsystem 114 detektiert werden. Basierend auf einer Zeitspanne zwischen der Emission und dem Empfang von reflektierten Ultraschallwellen kann das Ultraschallsystem 114 in der Lage sein, genaue Abstände zwischen einem Stoßfänger oder Seitenpaneel und anderen Objekten zu detektieren. Aufgrund der kürzeren Reichweite können Ultraschallsysteme 114 nützlicher sein, um Objekte während des Parkens oder bevorstehende Kollisionen während des Fahrens zu detektieren.
In einer Ausführungsform können das (die) Radarsystem(e) 106, das (die) LIDAR-System(e) 108, das (die) Kamerasystem(e) 110 und das (die) Ultraschallsystem(e) 114 Umgebungsattribute oder Hindernisse nahe einem Fahrzeug detektieren. Beispielsweise können die Systeme 106–110 und 114 andere Fahrzeuge, Fußgänger, Personen, Tiere, eine Anzahl Spuren, Spurbreite, Schulterbreite, Straßenoberflächenkrümmung, Straßenrichtungskrümmung, Rüttelstreifen, Spurmarkierungen, Vorhandensein von Kreuzungen, Straßenschilder, Brücken, Überführungen, Barrieren, Mittelstreifen, Bordsteine oder beliebige weitere Details über eine Straße detektieren. Als weiteres Beispiel können die Systeme 106–110 und 114 Umgebungsattribute, die Informationen über Strukturen, Objekte oder Oberflächen in der Nähe der Straße enthalten, wie etwa das Vorhandensein von Einfahrten, Parkplätzen, Parkplatzaus-/-zufahrten, Gehwegen, Fußwegen, Bäumen, Zäunen, Gebäuden, geparkten Fahrzeugen (auf oder in der Nähe der Straße), Toren, Zeichen, Parkstreifen oder beliebigen weiteren Strukturen oder Objekten detektieren.
Der Datenspeicher 116 speichert Kartendaten, Fahrhistorie und andere Daten, die andere Navigationsdaten, Einstellungen oder Betriebsanweisungen für das automatisierte Fahr-/Assistenzsystem 102 umfassen können. Die Kartendaten können Standortdaten, wie etwa GPS-Standortdaten, für Straßen, Parkplätze, Parkstellplätze oder andere Plätze, zu denen ein Fahrzeug gefahren oder auf denen es geparkt werden kann, umfassen. Beispielsweise können die Standortdaten für Straßen Standortdaten für bestimmte Spuren, wie etwa Spurrichtung, zusammenlaufende Spuren, Autobahnspuren, Ausfahrtspuren oder jede andere Spur oder Unterteilung einer Straße umfassen. Die Standortdaten können auch Standorte für einen oder mehrere Parkstellplätze auf einem Parkplatz oder für Parkstellplätze entlang einer Straße umfassen. In einer Ausführungsform umfassen die Kartendaten Standortdaten über eine oder mehrere Strukturen oder ein oder mehrere Objekte auf oder in der Nähe der Straßen oder Parkstandorte. Beispielsweise können die Kartendaten GPS-Daten bezüglich Zeichenstandort, Brückenstandort, Gebäude- oder Strukturstandort oder Ähnliches umfassen. In einer Ausführungsform können die Kartendaten präzise Standortdaten mit einer Genauigkeit von einigen Metern oder mit einer Genauigkeit von unter einem Meter umfassen. Die Kartendaten können auch Standortdaten für Wege, unbefestigte Straßen oder andere Straßen und Wege umfassen, die von einem Landfahrzeug befahren werden können.
Der Sendeempfänger 118 ist dazu ausgelegt, von einer oder mehreren anderen Daten- oder Signalquellen Signale zu empfangen. Der Sendeempfänger 118 kann ein oder mehrere Funkgeräte umfassen, die dazu ausgelegt sind, gemäß einer Vielzahl von Kommunikationsnormen und/oder unter Verwendung einer Vielzahl verschiedener Frequenzen zu kommunizieren. Beispielsweise kann der Sendeempfänger 118 Signale von anderen Fahrzeugen empfangen. Das Empfangen von Signalen von einem anderen Fahrzeug wird hier als Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation bezeichnet. In einer Ausführungsform kann der Sendeempfänger 118 auch verwendet werden, um Informationen zu anderen Fahrzeugen zu übertragen, um sie beim Lokalisieren von anderen Fahrzeugen oder Objekten potenziell zu unterstützen. Während der V2V-Kommunikation kann der Sendeempfänger 118 Informationen von anderen Fahrzeugen über deren Standorte, vorherige Standorte oder Zustände, anderen Verkehr, Unfälle, Straßenbedingungen. die Standorte von Parkbarrieren oder Parkklötzen oder andere Details empfangen, die das Fahrzeug und/oder das automatisierte Fahr-/Assistenzsystem 102 beim genauen oder sicheren Fahren unterstützen können. Beispielsweise kann der Sendeempfänger 118 aktualisierte Modelle oder Algorithmen zur Verwendung durch eine Fahrerabsichtskomponente 104 zum Detektieren von Fahrzeugbewegung, Blinksignalen oder Körpersprache eines Fahrers eines anderen Fahrzeugs empfangen.
Der Sendeempfänger 118 kann Signale von anderen Signalquellen empfangen, die sich an festen Standorten befinden. Infrastruktursendeempfänger können sich an einem spezifischen geografischen Standort befinden und ihren spezifischen geografischen Standort mit einem Zeitstempel senden. Daher kann das automatisierte Fahr-/Assistenzsystem 102 in der Lage sein, einen Abstand von den Infrastruktursendeempfängern auf der Basis des Zeitstempels zu bestimmen, und dann seinen Standort auf der Basis des Standorts der Infrastruktursendeempfänger bestimmen. In einer Ausführungsform wird das Empfangen oder Senden von Standortdaten von Vorrichtungen oder Türmen an festen Standorten als Fahrzeug-zu-Infrastruktur(V2X)-Kommunikation bezeichnet. V2X-Kommunikation kann auch verwendet werden, um Informationen über Standorte anderer Fahrzeuge, deren vorherige Zustände oder Ähnliches bereitzustellen. Beispielsweise kann die V2X-Kommunikation Informationen darüber umfassen, wie lange ein Fahrzeug an einer Kreuzung, einem Autobahnauffahrspursignal oder Ähnlichem angehalten ist oder wartet. In einer Ausführungsform kann der Begriff V2X-Kommunikation auch die V2V-Kommunikation einschließen.
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu ausgelegt, das Fahren oder die Navigation eines Mutterfahrzeugs zu steuern. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 die Fahrzeugsteueraktuatoren 120 steuern, um einen Pfad auf einer Straße, einem Parkplatz, durch eine Kreuzung, eine Einfahrt oder einen anderen Standort zu fahren. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 einen Pfad und eine Geschwindigkeit zum Fahren auf der Basis von Informationen oder Wahrnehmungsdaten, die von einer der Komponenten 106–118 bereitgestellt werden, bestimmen. Als weiteres Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 bestimmen, wann die Spur zu wechseln, wann einzufädeln oder wann Raum für ein anderes Fahrzeug zum Wechseln der Spur oder Ähnlichem zu lassen ist.
In einer Ausführungsform ist die Fahrerabsichtskomponente 104 dazu ausgelegt, eine Absicht eines Fahrers eines in der Nähe befindlichen Fahrzeugs zu bestimmen und/oder eine künftige Bewegung und einen Zeitpunkt für die Bewegung eines Fahrzeugs, das von einem menschlichen Fahrer gesteuert wird, vorherzusagen. Beispielsweise ist die Fahrerabsichtskomponente 104 dazu ausgelegt zu bestimmen, ob die Spur zu wechseln ist oder nicht, oder um den Zeitpunkt des Wechselns der Spur zu bestimmen.
2 ist eine schematische Draufsicht einer Fahrbahn 200, wobei ein Fahrzeug 202 auf der Fahrbahn fährt. Das Fahrzeug 202 fährt auf einer ersten Spur 208 der Fahrbahn 200. Die Fahrbahn umfasst auch eine zweite Spur 210 und eine dritte Spur 212, die dieselbe Fahrtrichtung haben wie die erste Spur 208. Zusätzliche Fahrzeuge 204 und 206 fahren ebenfalls auf der dritten Spur 212 entlang der Fahrbahn 200. Das Fahrzeug 202 kann das System 100 von 1 umfassen. In einer Ausführungsform können ein oder mehrere Sensoren, wie etwa das Kamerasystem 110, Wahrnehmungsdaten der Straße 200 und von Regionen um das Fahrzeug 202 herum sammeln. Der Sichtbereich des Kamerasystems 110, des LIDAR-Systems 108, des Radarsystems 106 oder eines anderen Systems kann in beliebige Richtung oder alle Richtungen um das Fahrzeug 202 herum erweitert werden. Das Fahrzeug 202 oder eine Fahrerabsichtskomponente 104 des Fahrzeugs 202 kann Wahrnehmungsdaten von den Sensoren empfangen und das Vorhandensein von anderen Fahrzeugen, Objekten, Oberflächen oder Ähnlichem innerhalb eines Sichtbereichs des Fahrzeugs 202 detektieren. Beispielsweise kann das Fahrzeug 202 die zusätzlichen Fahrzeuge 204 und 206 als in der Nähe befindliche Fahrzeuge detektieren und identifizieren.
In einer Ausführungsform kann das Fahrzeug 202 ein Vorhandensein der zusätzlichen Fahrzeuge 204 und 206 auf anderen Spuren der Fahrbahn 200 detektieren. In einer Ausführungsform kann das Fahrzeug 202 ein oder mehrere Bilder der zusätzlichen Fahrzeuge erfassen und einen Ausschnitt der erfassten Bilder identifizieren, der den Standorten von Blinksignalen an den anderen Fahrzeugen, die auf den Bildern sichtbar sind, entsprechen. Beispielsweise kann das Fahrzeug 202 die erfassten Bilder unter Verwendung eines neuralen Netzwerks verarbeiten, um Regionen zu identifizieren, die wahrscheinlich einem Standort von Blinksignalen entsprechen. Das Fahrzeug 202 kann den Ausschnitt der Wahrnehmungsdaten (oder des Bildes) analysieren oder verarbeiten, um einen Zustand eines Blinksignals zu bestimmen. Auf der Basis des Zustands des Blinksignals kann das Fahrzeug 202 einen Fahrer benachrichtigen, das Wechseln der Spur in die zweite Spur 210 zu verzögern, oder bewirken, dass ein autonomes Fahrsystem das Wechseln der Spur in die zweite Spur 210 verzögert.
Das Fahrzeugsteuersystem 100 von 1 kann helfen, das Fahrzeug 202 zu warnen oder es daran zu hindern, gleichzeitig mit einem anderen Fahrzeug in eine Spur einzufädeln, oder einen Fahrer zu warnen oder zu bewirken, dass das Fahrzeug 202 langsamer oder schneller fährt, um es einem anderen Fahrzeug zu erlauben, in die aktuelle Spur, wie etwa 208, des Fahrzeugs 202 einzufädeln. Benachrichtigungen und Bestimmungen, dass Fahrzeuge die Spur wechseln, können helfen, Unfälle zwischen sich bewegenden Fahrzeugen, die in eine selbe oder ähnliche Richtung entlang einer Fahrbahn fahren, zu reduzieren. Beispielsweise kann das Fahrzeug 202 detektieren, wann bei einem zusätzlichen Fahrzeug 204 das linke Blinksignal eingeschaltet ist, sodass das Fahrzeug 202 warten oder es vermeiden sollte, die Spur in die zweite Spur 210 zu wechseln. Wenn sich das zusätzliche Fahrzeug 204 bereits in der zweiten Spur 210 befindet, kann das Fahrzeug 202 das linke Blinksignal von Fahrzeug 204 detektieren und den Fahrer (oder ein automatisiertes Fahrsystem) informieren, dass das Fahrzeug 202 langsamer fahren sollte, um das zusätzliche Fahrzeug 204 vor dem Fahrzeug 202 in die erste Spur 208 einfahren zu lassen. Als weiteres Beispiel kann das Fahrzeug 202 detektieren, dass das zusätzliche Fahrzeug 206 aus der dritten Spur 212 in die zweite Spur 210 wechselt. Wenn das zusätzliche Fahrzeug 206 sich bei eingeschaltetem linkem Blinksignal auf der zweiten Spur 210 befindet, kann das Fahrzeug 202 schneller fahren, um es dem zusätzlichen Fahrzeug 206 zu erlauben, hinter dem Fahrzeug 202 in die erste Spur 208 einzufahren.
Zusätzlich zu Blinksignalzuständen kann das Fahrzeugsteuersystem 100 ein oder mehrere Details über die Bewegung der zusätzlichen Fahrzeuge 204 und 206 bestimmen. Beispielsweise kann das Fahrzeugsteuersystem 100 eine relative Geschwindigkeit, Richtung oder andere Bewegung der zusätzlichen Fahrzeuge 204 und 206 detektieren. Diese Bewegungsdetails können ferner darüber informieren, ob ein Spurwechsel, eine Verlangsamung, eine Beschleunigung oder ein sonstiges Fahrmanöver vom Fahrzeug 202 durchgeführt werden sollte, um eine Kollision zu vermeiden oder sichere Fahrabstände zwischen den Fahrzeugen beizubehalten.
3 stellt eine perspektivische Ansicht eines Bildes 300 dar, das von einer Kamera eines Fahrzeugsteuersystems 100 erfasst werden kann. Das Bild 300 zeigt eine Rückseite eines Fahrzeugs 302. Ein Ausschnitt 304 des Bildes umfasst Blinksignale des Fahrzeugs 302. In einer Ausführungsform kann das Fahrzeugsteuersystem 100 die Unterregion 304 als eine zum Bestimmen der Zustände von Blinksignalen zu verarbeitende Region identifizieren. Beispielsweise kann das Fahrzeugsteuersystem 100 eine begrenzende Box einschließlich der Unterregion 304 erzeugen und Bildinhalte in der begrenzenden Box in ein neurales Netzwerk, das dazu trainiert wurde, Blinksignalzustände zu detektieren, einleiten. Auf der Basis des Zustands der Blinksignalanzeigen kann das Fahrzeugsteuersystem 100 bestimmen, dass das Fahrzeug 302 im Begriff ist, die Spur zu wechseln, oder kann einen Abstand lassen, um es dem Fahrzeug 302 zu erlauben, die Spur zu wechseln. Auch wenn ein Blinksignal versehentlich eingeschaltet oder eingeschaltet gelassen wurde, kann es vorteilhaft sein, wenn das Fahrzeugsteuersystem 100 etwas Raum für das Fahrzeug 302 lässt. Beispielsweise kann ein unbeabsichtigtes Blinksignal anzeigen, dass die Bewegungen des Fahrzeugs 302 aufgrund eines unaufmerksamen menschlichen Bedieners oder eines Softwarefehlers eines automatisierten Fahrsystems unvorhersagbar sind.
4 stellt eine weitere perspektivische Ansicht eines Bildes 400 dar, das von einer Kamera eines Fahrzeugsteuersystems 100 erfasst werden kann. Das Bild 400 zeigt eine Ansicht von vorn links des Fahrzeugs 402. Beispielsweise kann eine nach hinten oder zur Seite gerichtete Kamera an einem Fahrzeug das Bild 400 erfassen, wenn das Fahrzeug 402 sich hinter und rechts von einem Mutterfahrzeug befindet. In einer Ausführungsform kann das Fahrzeugsteuersystem 100 eine erste Unterregion 404 und eine zweite Unterregion 406 als zum Bestimmen der Zustände von Blinksignalen zu verarbeitende Regionen identifizieren. Beispielsweise kann das Fahrzeugsteuersystem 100 eine begrenzende Box einschließlich der Unterregionen 404 und 406 erzeugen und Bildinhalte in den begrenzenden Boxen in ein neurales Netzwerk, das dazu trainiert wurde, Blinksignalzustände zu detektieren, einleiten.
Im Bild 400 umfasst nur die zweite Unterregion 406 ein Blinksignal, speziell das linke Blinksignal 408 des Fahrzeugs 402. Ein rechtes Blinksignal des Fahrzeugs 402 ist außerhalb des Sichtfelds und in der ersten Unterregion 404 tatsächlich nicht sichtbar.
Daher kann nur der Zustand eines der Blinksignale detektiert werden, nämlich das linke Blinksignal 408. Das Fahrzeugsteuersystem 100 kann den Zustand des linken Blinksignals 408 detektieren und bestimmen, dass keine weiteren Blinksignale detektierbar sind. Auf der Basis des Zustands des linken Blinksignals 408 kann das Fahrzeugsteuersystem 100 in der Lage sein, eine oder mehrere Aktionen des Fahrzeugs 402 vorherzusagen. Beispielsweise kann, wenn das linke Blinksignal 408 blinkt, das Fahrzeugsteuersystem 100 bestimmen, dass das Fahrzeug 402 sich entweder für einen Wechsel in eine Spur links vom Fahrzeug 402 vorbereitet, oder es kann bestimmen, dass die Warnblinkanlage des Fahrzeugs 402 aufleuchtet, weshalb ein Fahrer des Fahrzeugs in Eile sein kann und Raum bereitgestellt werden sollte, damit das Fahrzeug 402 Platz zum Navigieren hat. Andererseits kann, wenn das linke Blinksignal 408 nicht blinkt, das Fahrzeugsteuersystem 100 bestimmen, dass das Fahrzeug 402 wahrscheinlich in derselben Spur bleibt oder sich in eine Spur rechts vom Fahrzeug bewegt. Da durch das Verbleiben in derselben Spur oder Bewegen nach rechts angezeigt werden kann, dass das Fahrzeug 402 wahrscheinlich keine Bewegungen macht, die für das Fahrzeug, das das Bild 400 erfasst hat, bedrohend oder unsicher wären.
5 ist ein schematisches Blockdiagramm, das ein Verfahren 500 zum Entscheiden über ein Fahrmanöver darstellt. Wahrnehmungsdaten, wie etwa Kameradaten, LIDAR-Daten, Radardaten und Ultraschalldaten, werden bei 502 erhalten und eine Fahrerabsichtskomponente 104 identifiziert und lokalisiert ein Fahrzeug auf der Basis der Wahrnehmungsdaten bei 504. Beispielsweise kann die Fahrerabsichtskomponente 104 eine Region eines Sichtbereichs oder eine Region eines Bildes identifizieren, die einem Fahrzeug entspricht, und das Fahrzeug in einer selben oder benachbarten Spur lokalisieren. Beispielsweise kann die Fahrerabsichtskomponente 104 eine Spur des anderen Fahrzeugs mit Bezug auf ein Mutterfahrzeug der Fahrerabsichtskomponente 104 identifizieren. Die benachbarte Spur kann eine unmittelbar benachbarte Spur (beispielsweise rechts oder links einer aktuellen Spur eines Fahrzeugs) umfassen oder eine Spur, die um eine oder mehrere Spuren vom Fahrzeug versetzt ist (beispielsweise zwei Spuren nach rechts oder links von der aktuellen Spur). Die Fahrerabsichtskomponente 104 findet bei 506 in einem Bild in den Kameradaten, das ein sichtbares Blinksignal eines lokalisierten Fahrzeugs umfasst oder wahrscheinlich umfasst, eine Region von Interesse. Beispielsweise kann die Fahrerabsichtskomponente 104 ein von einer Kamera erfasstes Bild in ein neurales Netzwerk einleiten, das Regionen identifiziert, die Fahrzeugblinksignale umfassen oder wahrscheinlich umfassen.
Die Region von Interesse kann eine Region in der Nähe eines vorderen oder hinteren Stoßfängers, eines Scheinwerfers und/oder einer Schlussleuchte umfassen. Die Fahrerabsichtskomponente 104 bestimmt bei 508 auch einen Blinksignalzustand oder identifiziert den Status sichtbarer Blinksignale. Beispielsweise kann die Fahrerabsichtskomponente 104 bei 508 bestimmen, ob eine Blinksignalanzeige aus ist oder blinkt. Außerdem kann die Fahrerabsichtskomponente 104 eine Identität eines sichtbaren Blinksignals als ein vorderes linkes, vorderes rechtes, hinteres linkes und/oder hinteres rechtes Blinksignal bestimmen. Außerdem kann die Fahrerabsichtskomponente 104 eine Identität von Blinksignalen, die nicht sichtbar sind (beispielsweise vorderes linkes, vorderes rechtes, hinteres linkes und/oder hinteres rechtes Blinksignal), bestimmen. Die Fahrerabsichtskomponente 104 kann dann bei 510 den Blinksignalstatus und/oder die Blinksignalidentität einer Entscheidungsmatrix bereitstellen. Die Entscheidungsmatrix kann mehrere Werte umfassen, die beim Bestimmen eines künftigen Manövers eines Fahrzeugs berücksichtigt werden können. Beispielsweise kann die Matrix verwendet werden, um zu bestimmen, ob eine Spur gewechselt, schneller gefahren, langsamer gefahren soll oder ein anderes Manöver oder Kombinationen von Manövern durchgeführt werden sollen. In einer Ausführungsform kann die Matrix verwendet werden, um zu bestimmen, welche Benachrichtigungen einem Fahrer eines Fahrzeugs bereitzustellen sind. Beispielsweise können mögliche Benachrichtigungen Totwinkelwarnungen, Spurwechselanweisungen oder beliebige andere Benachrichtigungen oder Alarme für einen menschlichen Fahrer umfassen.
6 ist ein schematisches Blockdiagramm, das Komponenten einer Fahrerabsichtskomponente 104 gemäß einer Ausführungsform darstellt. Die Fahrerabsichtskomponente 104 umfasst eine Wahrnehmungsdatenkomponente 602, eine Detektionskomponente 604, eine Grenzkomponente 606, eine Blinksignalkomponente 608, eine Fahrzeugmanöverkomponente 610, eine Vorhersagekomponente 612, eine Fahrmanöverkomponente 614 und eine Benachrichtigungskomponente 616. Die Komponenten 602–616 sind nur in Form von Darstellungen angegeben und möglicherweise nicht in allen Ausführungsformen enthalten. Tatsächlich können einige Ausführungsformen nur eine oder jede Kombination von zwei oder mehr der Komponenten 602–616 umfassen. Einige der Komponenten 602–616 können sich außerhalb der Fahrerabsichtskomponente 104 befinden, wie etwa im automatisierten Fahr-/Assistenzsystem 102 oder woanders.
Die Wahrnehmungsdatenkomponente 602 ist dazu ausgelegt, Sensordaten von einem oder mehreren Sensorsystemen des Fahrzeugs zu empfangen. Beispielsweise kann die Wahrnehmungsdatenkomponente 602 Daten vom Radarsystem 106, vom LIDAR-System 108, vom Kamerasystem 110, vom GPS 112, vom Ultraschallsystem 114 oder Ähnlichem empfangen. In einer Ausführungsform können die Wahrnehmungsdaten Wahrnehmungsdaten für eine oder mehrere Regionen in der Nähe des Fahrzeugs umfassen. Beispielsweise können Sensoren des Fahrzeugs eine 360-Grad-Sicht um das Fahrzeug bereitstellen. In einer Ausführungsform erfasst das Kamerasystem 110 ein Bild eines Fahrzeugs. Beispielsweise kann sich das erfasste Bild des Fahrzeugs in der Nähe eines Mutterfahrzeugs der Fahrerabsichtskomponente 104 befinden. In einer Ausführungsform erfasst das Kamerasystem 110 ein Bild eines proximalen Fahrzeugs, das sich in derselben Spur oder in einer Spur nahe dem Fahrzeug befindet und in dieselbe Richtung fährt wie das Mutterfahrzeug.
Die Detektionskomponente 604 ist dazu ausgelegt, ein Vorhandensein eines oder mehrerer in der Nähe befindlicher Fahrzeuge zu detektieren. In einer Ausführungsform detektiert die Detektionskomponente 604 die in der Nähe befindlichen Fahrzeuge auf der Basis von Wahrnehmungsdaten, die von der Wahrnehmungsdatenkomponente 602 gesammelt wurden. Beispielsweise kann die Detektionskomponente 604 ein sich bewegendes Objekt etwa der Größe des Fahrzeugs detektieren oder bei von einem Kamerasystem 110 erhaltenen Bildern die Objekterkennung verwenden, um das Fahrzeug zu detektieren. In einer Ausführungsform kann die Detektionskomponente 604 Spurlinien oder Ähnliches detektieren, um Spuren oder andere physische Merkmale zu detektieren, um Fahrzeuge mit Bezug auf ein Mutterfahrzeug zu lokalisieren.
In einer Ausführungsform ist die Detektionskomponente 604 dazu ausgelegt, eine Spur des Fahrzeugs und/oder des Mutterfahrzeugs zu bestimmen. Beispielsweise kann die Detektionskomponente 604 bestimmen, dass sich ein Mutterfahrzeug in einer ersten Spur befindet und ein detektiertes proximales Fahrzeug sich in einer zweiten Spur oder einer dritten Spur, die an die erste Spur angrenzt, befindet. In einer Ausführungsform ist die Detektionskomponente 604 dazu ausgelegt zu bestimmen, ob sich ein proximales Fahrzeug in einer benachbarten Spur einer aktuellen Spur des Mutterfahrzeugs befindet. Die benachbarte Spur kann eine unmittelbar benachbarte Spur einer aktuellen Spur oder um eine oder mehrere dazwischenliegende Spuren versetzt sein.
In einer Ausführungsform kann die Detektionskomponente 604 bestimmen, ob sich ein detektiertes Fahrzeug in einer Risikozone des Mutterfahrzeugs befindet. Die Risikozone kann eine Region innerhalb eines Schwellenabstands des Mutterfahrzeugs sein. In einer Ausführungsform kann der Schwellenabstand auf der Basis einer Geschwindigkeit oder von aktuellen Straßenbedingungen variieren. Die Risikozone kann einen Bereich umfassen, in dem ein Risiko der Kollision zwischen einem Mutterfahrzeug und einem detektierten Fahrzeug besteht. In einer Ausführungsform kann die Detektionskomponente 604 auch bestimmen, ob sich das Fahrzeug in dieselbe oder eine ähnliche Richtung wie ein Mutterfahrzeug bewegt. Beispielsweise kann die Detektionskomponente 604 bestimmen, ob das proximale Fahrzeug in dieselbe Richtung entlang der Fahrbahn wie das Mutterfahrzeug fährt.
Die Grenzkomponente 606 ist dazu ausgelegt, eine Unterregion von Wahrnehmungsdaten zu identifizieren, die einem Standort eines Blinksignals entsprechen oder wahrscheinlich entsprechen. In einer Ausführungsform ist die Grenzkomponente 606 dazu ausgelegt, ein oder mehrere Fahrzeuge in Bildern oder anderen Wahrnehmungsdaten zu lokalisieren. Beispielsweise können Objekterkennungsalgorithmen verwendet werden, um detektierte Objekte oder Hindernisse als Fahrzeuge zu identifizieren. In einer Ausführungsform kann die Grenzkomponente 606 eine Grenze des Fahrzeugs sowie Pixel oder Objekte in dieser Region als dem Fahrzeug entsprechend identifizieren. Kanten- oder Grenzfindungsbildverarbeitungsalgorithmen können verwendet werden, um die Kanten des Fahrzeugs zu finden.
In einer Ausführungsform ist die Grenzkomponente 606 dazu ausgelegt, einen Ausschnitt eines Bildes (oder mehrerer Bilder) zu identifizieren, der eine Blinksignalanzeige eines Fahrzeugs enthält. Beispielsweise kann der Ausschnitt des Bildes eine an einem vorderen, hinteren oder beliebigen anderen Standort eines Fahrzeugs positionierte Blinksignalanzeigeleuchte umfassen. In einer Ausführungsform kann der Ausschnitt eine Region an oder in der Nähe eines Stoßfängers und/oder eine Region in der Nähe eines Scheinwerfers oder einer Schlussleuchte des Fahrzeugs umfassen. In einer Ausführungsform kann die Grenzkomponente 606 unter Verwendung von Objekterkennungs- oder Kantendetektionsbildverarbeitungsalgorithmen den Ausschnitt des Bildes identifizieren, der das Blinksignal enthält. Beispielsweise kann die Grenzkomponente 606 eine Kante oder Grenze einer Anzeigeleuchte, eines Scheinwerfers, einer Schlussleuchte oder Ähnlichem identifizieren. In einer Ausführungsform ist die Grenzkomponente 606 dazu ausgelegt, durch Verarbeiten des Bildes des proximalen Fahrzeugs unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, eine oder mehrere Blinksignalregionen von Interesse zu erkennen, den Ausschnitt, der die Blinksignalanzeige enthält, zu identifizieren. In einer Ausführungsform kann die Grenzkomponente 606 eine Region, die die Blinksignalanzeige umgibt, oder eine Region, die größer ist als die Blinksignalanzeige, bestimmen, sodass Zustände der Blinksignalanzeige auch dann präzise bestimmt werden können, wenn die Grenze auf der Blinksignalanzeige nicht perfekt ausgerichtet oder zentriert ist.
Die Blinksignalkomponente 608 ist dazu ausgelegt, einen Zustand eines Blinksignals eines proximalen Fahrzeugs zu bestimmen. Beispielsweise kann die Blinksignalkomponente 608 einen Zustand eines oder mehrerer Blinksignale eines Fahrzeugs bestimmen, das sich in einer selben oder benachbarten Spur nahe eines Mutterfahrzeugs befindet. In einer Ausführungsform kann die Blinksignalkomponente 608 eine oder mehrere von der Grenzkomponente 606 bestimmte Unterregionen verarbeiten, um den Zustand der Blinksignalanzeige zu bestimmen. Beispielsweise kann die Blinksignalkomponente 608 auf der Basis von einem oder mehreren Bildern der Blinksignalanzeige detektieren, ob eine Blinksignalanzeige Licht emittiert oder blinkt. In einer Ausführungsform ist die Blinksignalkomponente 608 dazu ausgelegt, unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, den Zustand einer oder mehrerer Blinksignalanzeigen zu bestimmen, den Ausschnitt des Bildes zu verarbeiten.
In einer Ausführungsform kann die Blinksignalkomponente 608 bestimmen, ob eine linke Blinksignalanzeige und/oder eine rechte Blinkanzeige eingeschaltet sind oder blinken. Beispielsweise kann die Blinksignalanzeige 608 bestimmen, ob nur die linke Blinksignalanzeige aufleuchtet, nur die rechte Blinksignalanzeige aufleuchtet, sowohl die linke Blinksignalanzeige als auch die rechte Blinksignalanzeige aufleuchtet oder weder die linke Blinksignalanzeige noch die rechte Blinksignalanzeige aufleuchtet. In einer Ausführungsform kann die Blinksignalkomponente 608 auch bestimmen, ob einige der Blinksignalanzeigen eines Fahrzeugs in einem Bild nicht sichtbar sind. Beispielsweise kann die Blinksignalkomponente 608 bestimmen, dass eine spezifische Blinksignalanzeige einen unbekannten Zustand hat, weil sie nicht sichtbar ist, oder aus einem anderen Grund unbekannt ist.
Die Fahrzeugbewegungskomponente 610 ist dazu ausgelegt, eine oder mehrere Bewegungen eines proximalen Fahrzeugs zu detektieren. Beispielsweise kann die Fahrzeugbewegungskomponente 610 die Bewegungen des proximalen Fahrzeugs auf der Basis von Wahrnehmungsdaten oder anderen Sensordaten, die von der Wahrnehmungsdatenkomponente 602 empfangen wurden, detektieren. In einer Ausführungsform kann die Fahrzeugbewegungskomponente 610 eine oder mehrere Beschleunigungen, Verlangsamungen, Abbiegungen oder Ähnliches des proximalen Fahrzeugs bestimmen. In einer Ausführungsform kann die Fahrzeugbewegungskomponente 610 detektieren, dass ein Fahrzeug in dieselbe oder eine ähnliche Richtung wie ein Mutterfahrzeug fährt. Beispielsweise kann die Fahrzeugbewegungskomponente 610 bestimmen, dass das proximale Fahrzeug in einer selben Richtung entlang einer Fahrbahn fährt, auch wenn sich das Fahrzeug in derselben oder einer anderen Spur wie das Mutterfahrzeug befindet.
Die Grenzkomponente 606, die Blinksignalkomponente 608 und/oder die Fahrzeugbewegungskomponente 610 können Modelle, neurale Netzwerke, maschinengelernte Parameter oder Ähnliches umfassen, um Körpersprache, Blinksignalzustände und Fahrzeugbewegungen zu detektieren. Beispielsweise können geführte oder ungeführte Maschinenlernalgorithmen Wahrnehmungsdaten von real existierenden oder virtuellen Umgebungen verarbeiten, um Formen, Bewegungen oder andere Bildinhalte, die Körpersprache, Blinksignalzuständen oder Fahrzeugbewegung entsprechen, zu lernen. Die Ergebnisse dieser Maschinenlernalgorithmen können zur Verwendung von entsprechenden Komponenten in Modelle oder Datenbanken eingeschlossen werden, um Körpersprache, Blinksignalzustände oder Fahrzeugbewegung während des Fahrens eines Fahrzeugs zu detektieren.
Die Vorhersagekomponente 612 kann auf der Basis von Bestimmungen von der Blinksignalkomponente 608, der Fahrzeugbewegungskomponente 610 und/oder anderen Informationen die Absicht eines Fahrers ableiten oder künftige Bewegungen eines sich in der Nähe befindlichen Fahrzeugs vorhersagen. Beispielsweise kann die Vorhersagekomponente 612 auf der Basis eines Zustands der Blinksignalanzeige und/oder von detektierten Fahrzeugbewegungen künftige Bewegung und/oder einen Zeitpunkt für künftige Bewegung vorhersagen. In einer Ausführungsform bestimmt die Vorhersagekomponente 612 die Absicht des Fahrers oder sagt künftige Bewegungen voraus. Beispielsweise kann die Vorhersagekomponente 612 einen Zeitpunkt und eine Bewegung, die der Fahrer durchzuführen beabsichtigt, bestimmen. Beispielbewegungen können ein Abbiegen in eine andere Straße, Warten an einer Kreuzung, Einfädeln in den Verkehr, Wechseln der Spur, Verlassen einer Fahrbahn, Einfahren in eine Fahrbahn, Parken eines Fahrzeugs, Verlassen eines Parkplatzes oder Ähnliches umfassen.
In einer Ausführungsform referenziert oder verarbeitet die Vorhersagekomponente 612 eine Datenbank oder ein Modell, um eine vorhergesagte Bewegung oder beabsichtigte Bewegung eines anderen Fahrzeugs zu bestimmen. Beispielsweise kann die Vorhersagekomponente 612 ein neurales Netzwerk verwenden, das dazu trainiert wurde, auf der Basis von detektierten Fahrzeugbewegungen und/oder des Status eines Blinksignals eine künftige Fahrzeugbewegung zu bestimmen. In einer Ausführungsform korreliert die Datenbank oder das Modell auf der Basis eines aktuellen Fahrkontexts auch eine Absicht eines Fahrers oder ein künftiges Fahrmanöver. Beispielsweise können, je nachdem, ob das in der Nähe befindliche Fahrzeug oder das Mutterfahrzeug an einer Kreuzung angehalten ist, sich einer Kreuzung nähert, eine Straße herunterfährt, wenn sich ein oder mehrere Fahrzeuge in der Nähe befinden, in eine Fahrbahn einfädelt, eine Fahrbahn verlässt, in einen Parkplatz einfährt, einen Parkplatz verlässt oder Ähnliches, dieselben Gesten Unterschiedliches bedeuten. Daher können Gesten und der aktuelle Fahrkontext verwendet werden, um eine Absicht eines Fahrers genau abzuleiten oder ein künftiges Fahrmanöver genau vorherzusagen. Die Vorhersagekomponente 612 kann die vorhergesagten Fahrmanöver oder die vorhergesagte Fahrerabsicht der Fahrmanöverkomponente 614 oder dem automatisierten Fahr-/Assistenzsystem 102 zur Entscheidungsfindung oder zum Durchführen von Manövern oder Aktionen durch das automatisierte Fahr-/Assistenzsystem 102 oder ein Mutterfahrzeug bereitstellen.
In einer Ausführungsform bestimmt die Vorhersagekomponente 612 auf der Basis eines von der Blinksignalkomponente 608 bestimmten Zustands einer Blinksignalanzeige die Absicht des Fahrers oder sagt künftige Bewegungen des Fahrzeugs voraus. Beispielsweise kann die Vorhersagekomponente 612 einen Zeitpunkt und eine Fahrtrichtung des Fahrzeugs für das Wechseln der Spur, das Einfädeln oder das Verlassen einer Fahrbahn vorhersagen. In einer Ausführungsform referenziert oder verarbeitet die Vorhersagekomponente 612 die Daten auf der Basis eines neuralen Netzwerks, um die vorhergesagte Bewegung oder beabsichtigte Bewegung eines anderen Fahrzeugs zu bestimmen. Beispielsweise kann die Vorhersagekomponente 612 eine Datenbank oder ein Modell, die bzw. das Blinksignalstatus mit einer oder mehreren künftigen Fahrzeugbewegungen korreliert, umfassen oder darauf zugreifen. In einer Ausführungsform kann die Datenbank oder das Modell eine Blinkerrichtung mit dem Fahrzeug, das die Richtung in diese Richtung ändert, korrelieren. In einer Ausführungsform kann die Datenbank oder das Modell eine aufleuchtende Warnblinkanlage (wenn etwa beide oder alle detektierbaren Blinksignalanzeigen blinken) mit einem Fahrzeug, das sich in eine unvorhersagbare Richtung ohne Warten gemäß normalen Protokollen schnell eine Fahrbahn hinunter bewegt, korrelieren. So kann dem Fahrzeug mit der aufleuchtenden Warnblinkanlage (oder aufleuchtenden Notfallleuchten) zusätzlicher Abstand und Spielraum bereitgestellt werden, um sich die Fahrbahn hinunter zu bewegen.
In einer Ausführungsform bestimmt die Vorhersagekomponente 612 auf der Basis der von der Fahrzeugbewegungskomponente 610 detektierten Bewegungen des Fahrzeugs die Absicht des Fahrers oder sagt künftige Bewegungen voraus. Beispielsweise kann die Vorhersagekomponente 612 einen Zeitpunkt und eine Fahrtrichtung vorhersagen, damit sich das Fahrzeug durch die Kreuzung bewegen kann. In einer Ausführungsform referenziert oder verarbeitet die Vorhersagekomponente 612 die Datenbank oder das Modell, um eine vorhergesagte Bewegung oder beabsichtigte Bewegung eines anderen Fahrzeugs zu bestimmen. Beispielsweise kann die Vorhersagekomponente 612 eine Datenbank oder ein Modell, die bzw. das eine oder mehrere detektierte Bewegungen mit einer oder mehreren künftigen Bewegungen korreliert, umfassen oder darauf zugreifen. Beispielsweise kann die Datenbank Beschleunigungs-, Geschwindigkeits-, Verlangsamungs- oder andere Bewegungsinformationen in eine vorhergesagte weitere Bewegung durch eine Kreuzung einschließen. In einer Ausführungsform kann die Vorhersagekomponente 612 einen Spurwechsel von der benachbarten Spur in eine selbe Spur wie das erste Fahrzeug vorhersagen. In einer Ausführungsform kann die Vorhersagekomponente 612 vorhersagen, dass ein proximales Fahrzeug die Spur möglicherweise in eine Richtung wechselt, die einer Seite des Fahrzeugs, auf der eine Blinksignalanzeige aktiv ist oder blinkt, entspricht.
In einer Ausführungsform kann die Vorhersagekomponente 612 auf der Basis einer Kombination von Daten von der Blinksignalkomponente 608, der Fahrzeugbewegungskomponente 610 oder anderer Daten die Absicht eines Fahrers oder eine künftige Bewegung eines Fahrzeugs bestimmen. Beispielsweise kann ein neurales Netzwerk oder grafisches Modell Maschinenlernwerte oder Korrelationen für Blinksignalinformationen und/oder Fahrzeugbewegungen umfassen.
Die Fahrmanöverkomponente 614 ist dazu ausgelegt, auf der Basis der vorhergesagten Fahrerabsicht oder des vorhergesagten künftigen Fahrmanövers eines anderen Fahrzeugs ein Fahrmanöver für ein Mutterfahrzeug auszuwählen. Beispielsweise kann die Fahrmanöverkomponente 614 von der Vorhersagekomponente 612 ein oder mehrere vorhergesagte Fahrmanöver für ein oder mehrere in der Nähe befindliche Fahrzeuge empfangen. Die Fahrmanöver können einen Fahrpfad bestimmen, um die Kollision mit den anderen Fahrzeugen zu vermeiden, falls sie die vorhergesagten Fahrmanöver durchführen. Beispielsweise kann die Fahrmanöverkomponente 614 bestimmen, ob das Mutterfahrzeug verlangsamt, beschleunigt und/oder ein Lenkrad des Mutterfahrzeugs gedreht werden soll. In einer Ausführungsform kann die Fahrmanöverkomponente 614 einen Zeitpunkt für das Fahrmanöver bestimmen. Beispielsweise kann die Fahrmanöverkomponente 614 bestimmen, dass ein Mutterfahrzeug warten sollte, um einen Spurwechsel durchzuführen oder um einen Spurwechsel zu einer spezifischen Zeit durchzuführen, weil sich wahrscheinlich ein anderes Fahrzeug in der Nähe des Fahrzeugs in dieser Spur befindet.
In einer Ausführungsform kann die Fahrmanöverkomponente 614 ein Fahrmanöver auf direkter Basis von Daten, die von der Blinksignalkomponente 608, der Fahrzeugbewegungskomponente 610 und/oder anderen Komponenten der Fahrerabsichtskomponente 104 gesammelt werden, auswählen. Beispielsweise kann die Fahrmanöverkomponente 614 ein Fahrmanöver auf der Basis eines Zustands einer Blinksignalanzeige und/oder eines Standorts und einer Geschwindigkeit eines anderen Fahrzeugs auswählen. In einer Ausführungsform kann ein ausgewähltes Fahrmanöver ein vorgeschlagenes Fahrmanöver sein, das einem Fahrer oder einem System, das Fahr- oder Navigationsmanöver vornimmt, bereitgestellt wird. In einer Ausführungsform kann die Fahrmanöverkomponente 614 Daten oder Bestimmungen von der Blinksignalkomponente 608, der Fahrzeugbewegungskomponente 610 und/oder der Vorhersagekomponente 612 in eine Entscheidungsmatrix eingeben oder einschließen. Beispielsweise kann die Entscheidungsmatrix eine Matrix umfassen, die unter Verwendung eines neuralen Netzwerks oder eines Verarbeitungsalgorithmus verarbeitet wird, um ein Manöver zu bestimmen, das vom Mutterfahrzeug durchgeführt werden sollte. In einer Ausführungsform kann die Entscheidungsmatrix eine Matrix zum Entscheiden, ob und/oder wann ein Spurwechsel durchzuführen ist, umfassen.
Die Benachrichtigungskomponente 616 ist dazu ausgelegt, einem Fahrer oder automatisierten Fahrsystem eines Fahrzeugs eine oder mehrere Benachrichtigungen bereitzustellen. In einer Ausführungsform kann die Benachrichtigungskomponente 616 einem Fahrer Benachrichtigungen unter Verwendung einer Anzeige 122 oder eines Lautsprechers 124 bereitstellen. In einer Ausführungsform kann die Benachrichtigung eine Anweisung zum Durchführen eines Manövers umfassen oder warnen, dass ein anderes Fahrzeug wahrscheinlich ein spezifisches Manöver durchführt oder zu einer vorhergesagten Zeit sich an einem spezifischen Standort befindet. In einer Ausführungsform kann die Benachrichtigungskomponente 616 den Fahrer oder das automatisierte Fahrsystem über ein von der Fahrmanöverkomponente 614 ausgewähltes oder vorgeschlagenes Fahrmanöver benachrichtigen. In einer Ausführungsform kann die Benachrichtigungskomponente 616 den Fahrer oder das automatisierte Fahrsystem über eine von der Vorhersagekomponente 612 bestimmte vorhergesagte künftige Bewegung eines anderen Fahrzeugs benachrichtigen.
Jetzt Bezug nehmend auf 7 ist ein schematisches Flussdiagramm eines Verfahrens 700 für die Fahrzeugmanöverentscheidungsfindung gemäß einer Ausführungsform dargestellt. Das Verfahren 700 kann von einem automatisierten Fahr-/Assistenzsystem oder einer Fahrerabsichtskomponente, wie etwa dem automatisierten Fahr-/Assistenzsystem 102 von 1 oder der Fahrerabsichtskomponente 104 von 1 oder 6, durchgeführt werden.
Das Verfahren 700 beginnt, wenn eine Grenzkomponente 606 bei 702 in einem Bild eines proximalen Fahrzeugs einen Ausschnitt identifiziert, der eine Blinksignalanzeige des proximalen Fahrzeugs enthält. Eine Blinksignalkomponente 608 verarbeitet bei 704 den Ausschnitt des Bildes, um einen Zustand der Blinksignalanzeige zu bestimmen. Bei 706 benachrichtigt eine Benachrichtigungskomponente 616 auf der Basis des Zustands der Blinksignalanzeige des proximalen Fahrzeugs einen Fahrer oder eine Fahrmanöverkomponente 614 bewirkt, dass ein Fahrzeug ein Fahrmanöver durchführt.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Beispiel 1 ist ein Verfahren, das das Detektieren an einem ersten Fahrzeug eines Vorhandenseins eines zweiten Fahrzeugs in einer benachbarten Spur umfasst. Das Verfahren umfasst auch das Identifizieren eines Ausschnitts, der eine Blinksignalanzeige des zweiten Fahrzeugs enthält, in einem Bild des zweiten Fahrzeugs. Das Verfahren umfasst ferner das Verarbeiten des Ausschnitts des Bildes, um einen Zustand der Blinksignalanzeige zu bestimmen. Das Verfahren umfasst auf der Basis des Zustands der Blinksignalanzeige auch das Benachrichtigen eines Fahrers oder Durchführen eines Fahrmanövers am ersten Fahrzeug.
In Beispiel 2 umfasst das Identifizieren des Ausschnitts, der die Blinksignalanzeige von Beispiel 1 enthält, das Verarbeiten des Bildes des zweiten Fahrzeugs unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, eine oder mehrere Blinksignalregionen von Interesse zu erkennen. Außerdem umfasst das Verarbeiten des Ausschnitts des Bildes das Verarbeiten eines Teils des Bildes, der die eine oder mehreren Blinksignalregionen von Interesse umfasst.
In Beispiel 3 umfasst das Verarbeiten des Ausschnitts der Bildes in einem der Beispiele 1–2 das Verarbeiten des Ausschnitts unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, einen Zustand einer oder mehrerer Blinksignalanzeigen zu bestimmen.
In Beispiel 4 umfasst das Verfahren eines der Beispiele 1–3 ferner das Bestimmen des Fahrmanövers für das erste Fahrzeug auf der Basis des Zustands der Blinksignalanzeige.
In Beispiel 5 umfasst das Bestimmen des Fahrmanövers in Beispiel 4 das Bereitstellen des Zustands der Blinksignalanzeige in einer Spurwechselentscheidungsmatrix und das Verarbeiten der Spurwechselentscheidungsmatrix, um das Fahrmanöver auszuwählen.
In Beispiel 6 umfasst das Benachrichtigen des Fahrers in Beispiel 4 das Benachrichtigen des Fahrers über das bestimmte Fahrmanöver.
In Beispiel 7 umfasst das Verfahren eines der Beispiele 1–6 ferner das Vorhersagen einer künftigen Bewegung des zweiten Fahrzeugs auf der Basis eines Zustands der Blinksignalanzeige.
In Beispiel 8 umfasst das Vorhersagen einer künftigen Bewegung in Beispiel 7 das Vorhersagen eines Spurwechsels von der benachbarten Spur in eine selbe Spur wie das erste Fahrzeug.
In Beispiel 9 umfasst das Benachrichtigen des Fahrers in Beispiel 7 das Benachrichtigen des Fahrers über die vorhergesagte künftige Bewegung des zweiten Fahrzeugs.
In Beispiel 10 umfasst das Verfahren eines der Beispiele 1–9 ferner das Bestimmen einer Bewegungsrichtung des ersten Fahrzeugs entsprechend dem Zustand der Blinksignalanzeige.
Beispiel 11 ist ein Fahrsteuersystem für ein Fahrzeug, das einen oder mehrere Sensoren zum Erhalten von Sensordaten in einer Region in der Nähe eines Fahrzeugs umfasst, das eine Kamera umfasst. Das Fahrsteuersystem umfasst auch eine Grenzkomponente, eine Blinksignalkomponente und eine Fahrmanöverkomponente. Die Grenzkomponente ist dazu ausgelegt, einen Ausschnitt eines Bildes zu identifizieren, der eine Blinksignalanzeige eines proximalen Fahrzeugs enthält. Die Blinksignalkomponente ist dazu ausgelegt, den Ausschnitt des Bildes zu verarbeiten, um einen Zustand der Blinksignalanzeige zu bestimmen. Die Fahrmanöverkomponente ist dazu ausgelegt, auf der Basis des Zustands der Blinksignalanzeige ein Fahrmanöver zu bestimmen.
In Beispiel 12 umfasst das Fahrmanöver in Beispiel 12 ein vorgeschlagenes Fahrmanöver und das Fahrsteuersystem umfasst ferner eine Benachrichtigungskomponente, die dazu ausgelegt ist, das vorgeschlagene Fahrmanöver einem menschlichen Fahrer oder einem automatisierten Fahrsystem bereitzustellen.
In Beispiel 13 ist die Grenzkomponente in einem der Beispiele 11–12 dazu ausgelegt, durch Verarbeiten des Bildes des proximalen Fahrzeugs unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, eine oder mehrere Blinksignalregionen von Interesse zu erkennen, den Ausschnitt, der die Blinksignalanzeige enthält, zu identifizieren. Die Blinksignalkomponente ist dazu ausgelegt, den Ausschnitt des Bildes durch Verarbeiten eines Teils des Bildes, der die eine oder mehreren Blinksignalregionen von Interesse umfasst, zu verarbeiten.
In Beispiel 14 umfasst das Fahrsteuersystem in einem der Beispiele 11–13 ferner eine Detektionskomponente, die dazu ausgelegt ist zu bestimmen, dass sich das proximale Fahrzeug mit Bezug auf das Fahrzeug in einer Risikozone befindet. Das Fahrsteuersystem ist dazu ausgelegt, das Bild in Reaktion auf das Bestimmen durch die Detektionskomponente, dass sich das proximale Fahrzeug in der Risikozone befindet, zu erhalten.
In Beispiel 15 umfasst das Fahrsteuersystem in einem der Beispiele 11–14 ferner eine Detektionskomponente, die dazu ausgelegt ist, eine Spur des Fahrzeugs und/oder des proximalen Fahrzeugs zu bestimmen.
Beispiel 16 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren an einem ersten Fahrzeug mehrere Bilder von einem zweiten Fahrzeug auf einer Straße in der Nähe des ersten Fahrzeugs erhalten. Die Anweisungen bewirken ferner, dass der eine oder die mehreren Prozessoren einen Ausschnitt der mehreren Bilder, der eine Blinksignalanzeige des zweiten Fahrzeugs enthält, identifizieren. Die Anweisungen bewirken ferner, dass der eine oder die mehreren Prozessoren den Ausschnitt der mehreren Bilder verarbeiten, um einen Zustand der Blinksignalanzeige zu bestimmen. Die Anweisungen bewirken ferner, dass der eine oder die mehreren Prozessoren ein Fahrmanöver für das zweite Fahrzeug auf der Basis des Zustands der Blinksignalanzeige vorhersagen.
In Beispiel 17 bewirken die Anweisungen in Beispiel 16 ferner, dass der eine oder die mehreren Prozessoren auf der Basis des für das zweite Fahrzeug vorhergesagten Fahrmanövers ein Fahrmanöver für das erste Fahrzeug bestimmen.
In Beispiel 18 bewirken die Anweisungen in einem der Beispiele 16–17 ferner, dass der eine oder die mehreren Prozessoren auf der Basis der Blinksignalanzeige bestimmen, ob bewirkt werden soll, dass das erste Fahrzeug einen Spurwechsel durchführt, oder nicht.
In Beispiel 19 bewirken die Anweisungen in einem der Beispiele 16–18 ferner, dass der eine oder die mehreren Prozessoren bestimmen, dass das zweite Fahrzeug sich in einer einer Spur des ersten Fahrzeugs unmittelbar benachbarten Spur befindet, in eine ähnliche Richtung entlang einer Fahrbahn fährt wie das erste Fahrzeug und/oder sich in einer Risikozone des ersten Fahrzeugs befindet, wobei die Risikozone einem Bereich entspricht, in dem ein Risiko der Kollision zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug besteht.
In Beispiel 20 bewirken die Anweisungen in einem der Beispiele 16–19 ferner, dass der eine oder die mehreren Prozessoren bestimmen, dass der Zustand der Blinksignalanzeige einer Bewegungsrichtung des ersten Fahrzeugs entspricht.
Beispiel 21 ist ein System oder eine Vorrichtung, das bzw. die Mittel zum Implementieren eines Verfahrens oder Realisieren eines Systems oder einer Einrichtung in einem der Beispiele 1–20 umfasst.
Es ist anzumerken, dass die oben erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder jede Kombination davon umfassen kann, um mindestens einen Teil von deren Funktionen durchzuführen. Beispielsweise kann ein Sensor Computercode umfassen, der dazu ausgelegt ist, in einem oder mehreren Prozessoren ausgeführt zu werden, sowie Hardwarelogik bzw. elektrische Schaltungen umfassen, die vom Computercode gesteuert werden. Diese Beispielvorrichtungen werden hier zum Zweck der Darstellung bereitgestellt und sollen nicht als Einschränkung aufgefasst werden. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen implementiert werden, wie dem entsprechenden Fachmann bekannt sein dürfte.
Ausführungsformen der Offenbarung wurden auf Computerprogrammprodukte ausgerichtet, die eine solche auf jedem beliebigen computernutzbaren Medium gespeicherte Logik (z. B. in Form von Software) umfassen. Eine solche Software bewirkt, wenn sie in einer oder mehreren Verarbeitungsvorrichtungen ausgeführt wird, dass eine Vorrichtung wie hier beschrieben betrieben wird.
Während oben verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, sei darauf hingewiesen, dass sie als Beispiele und ohne Einschränkung präsentiert wurden. Für den entsprechenden Fachmann ist es offensichtlich, dass daran verschiedene Änderungen in Form und Detail vorgenommen werden können, ohne vom Gedanken und Schutzbereich der Offenbarung abzuweichen. Daher sollten Breite und Schutzbereich der vorliegenden Offenbarung nicht durch eine der oben beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern nur gemäß den folgenden Ansprüchen und deren Entsprechungen definiert werden. Die obige Beschreibung dient Veranschaulichungs- und Beschreibungszwecken. Sie soll nicht erschöpfend sein oder die Offenbarung auf die präzise offenbarte Form einschränken. Im Licht der obigen Lehre sind viele Modifikationen und Variationen möglich. Ferner sei darauf hingewiesen, dass jede oder alle der vorgenannten alternativen Implementierungen in jeder gewünschten Kombination verwendet werden können, um zusätzliche hybride Implementierungen der Offenbarung zu bilden.
Ferner soll, obwohl spezifische Implementierungen der Offenbarung beschrieben und dargestellt wurden, die Offenbarung nicht auf die spezifischen Formen oder Anordnungen der so beschriebenen und dargestellten Teile eingeschränkt werden. Der Schutzbereich der Offenbarung soll von den hier beiliegenden Ansprüchen, allen künftigen hier und bei anderen Anmeldungen vorgelegten Ansprüchen und deren Entsprechungen definiert werden.

Claims

Verfahren, das Folgendes umfasst: Detektieren an einem ersten Fahrzeug eines Vorhandenseins eines zweiten Fahrzeugs in einer benachbarten Spur; Identifizieren eines Ausschnitts, der eine Blinksignalanzeige des zweiten Fahrzeugs enthält, in einem Bild des zweiten Fahrzeugs; Verarbeiten des Ausschnitts des Bildes, um einen Zustand der Blinksignalanzeige zu bestimmen, und auf der Basis des Zustands der Blinksignalanzeige das Benachrichtigen eines Fahrers oder Durchführen eines Fahrmanövers am ersten Fahrzeug.
Verfahren nach Anspruch 1, wobei: das Identifizieren des Ausschnitts, der die Blinksignalanzeige enthält, das Verarbeiten des Bildes des zweiten Fahrzeugs unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, eine oder mehrere Blinksignalregionen von Interesse zu erkennen, umfasst; und das Verarbeiten des Ausschnitts des Bildes das Verarbeiten eines Teils des Bildes umfasst, der die eine oder mehreren Blinksignalregionen von Interesse umfasst.
Verfahren nach Anspruch 1, wobei das Verarbeiten des Ausschnitts des Bildes das Verarbeiten des Ausschnitts unter Verwendung eines neuralen Netzwerks umfasst, das dazu trainiert ist, einen Status einer oder mehrerer Blinksignalanzeigen zu bestimmen.
Verfahren nach Anspruch 1, das ferner das Bestimmen des Fahrmanövers für das erste Fahrzeug auf der Basis des Zustands der Blinksignalanzeige umfasst.
Verfahren nach Anspruch 4, wobei das Bestimmen des Fahrmanövers das Bereitstellen des Zustands der Blinksignalanzeige in einer Spurwechselentscheidungsmatrix und das Verarbeiten der Spurwechselentscheidungsmatrix, um das Fahrmanöver auszuwählen, umfasst.
Verfahren nach Anspruch 4, wobei das Benachrichtigen des Fahrers das Benachrichtigen des Fahrers über das bestimmte Fahrmanöver umfasst.
Verfahren nach Anspruch 1, das ferner das Vorhersagen einer künftigen Bewegung des zweiten Fahrzeugs auf der Basis eines Zustands der Blinksignalanzeige umfasst.
Verfahren nach Anspruch 7, wobei das Vorhersagen einer künftigen Bewegung das Vorhersagen eines Spurwechsels von der benachbarten Spur in eine selbe Spur wie das erste Fahrzeug umfasst.
Verfahren nach Anspruch 7, wobei das Benachrichtigen des Fahrers das Benachrichtigen des Fahrers über die vorhergesagte künftige Bewegung des zweiten Fahrzeugs umfasst.
Verfahren nach Anspruch 1, das ferner das Bestimmen einer Bewegungsrichtung des ersten Fahrzeugs entsprechend dem Zustand der Blinksignalanzeige umfasst.
Fahrsteuersystem für ein Fahrzeug, wobei das System Folgendes umfasst: einen oder mehrere Sensoren zum Erhalten von Sensordaten in einer Region in der Nähe eines Fahrzeugs, wobei der eine oder die mehreren Sensoren eine Kamera umfassen; eine Grenzkomponente, die dazu ausgelegt ist, einen Ausschnitt eines Bildes zu identifizieren, der eine Blinksignalanzeige eines proximalen Fahrzeugs enthält; eine Blinksignalkomponente, die dazu ausgelegt ist, den Ausschnitt des Bildes zu verarbeiten, um einen Zustand der Blinksignalanzeige zu bestimmen; und eine Fahrmanöverkomponente, die dazu ausgelegt ist, auf der Basis des Zustands der Blinksignalanzeige ein Fahrmanöver für das erste Fahrzeug zu bestimmen.
Fahrsteuersystem nach Anspruch 11, wobei das Fahrmanöver ein vorgeschlagenes Fahrmanöver und das Fahrsteuersystem ferner eine Benachrichtigungskomponente umfasst, die dazu ausgelegt ist, das vorgeschlagene Fahrmanöver einem menschlichen Fahrer oder einem automatisierten Fahrsystem bereitzustellen.
Fahrsteuersystem nach Anspruch 11, wobei: die Grenzkomponente dazu ausgelegt ist, durch Verarbeiten des Bildes des proximalen Fahrzeugs unter Verwendung eines neuralen Netzwerks, das dazu trainiert ist, eine oder mehrere Blinksignalregionen von Interesse zu erkennen, den Ausschnitt, der die Blinksignalanzeige enthält, zu identifizieren; und die Blinksignalkomponente dazu ausgelegt ist, den Ausschnitt des Bildes durch Verarbeiten eines Teils des Bildes, der die eine oder mehreren Blinksignalregionen von Interesse umfasst, zu verarbeiten.
Fahrsteuersystem nach Anspruch 11, das ferner eine Detektionskomponente umfasst, die dazu ausgelegt ist zu bestimmen, dass das proximale Fahrzeug sich mit Bezug auf das Fahrzeug in einer Risikozone befindet, wobei das Fahrsteuersystem weiter dazu ausgelegt ist, in Reaktion auf das Bestimmen durch die Detektionskomponente, dass das proximale Fahrzeug sich in der Risikozone befindet, das Bild zu erhalten.
Fahrsteuersystem nach Anspruch 11, das ferner eine Detektionskomponente umfasst, die dazu ausgelegt ist, eine Spur des Fahrzeugs und/oder des proximalen Fahrzeugs zu bestimmen.
Computerlesbare Speichermedien, die Anweisungen speichern, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren: an einem ersten Fahrzeug mehrere Bilder von einem zweiten Fahrzeug auf einer Straße in der Nähe des ersten Fahrzeugs erhalten; einen Ausschnitt der mehreren Bilder, der eine Blinksignalanzeige des zweiten Fahrzeugs enthält, identifizieren; den Ausschnitts der mehreren Bilder verarbeiten, um einen Zustand der Blinksignalanzeige zu bestimmen; und ein Fahrmanöver für das zweite Fahrzeug auf der Basis des Zustands der Blinksignalanzeige vorhersagen.
Computerlesbarer Speicher nach Anspruch 16, wobei die Anweisungen ferner bewirken, dass der eine oder die mehreren Prozessoren auf der Basis des für das zweite Fahrzeug vorhergesagten Fahrmanövers ein Fahrmanöver für das erste Fahrzeug bestimmen.
Computerlesbarer Speicher nach Anspruch 16, wobei die Anweisungen ferner bewirken, dass der eine oder die mehreren Prozessoren auf der Basis der Blinksignalanzeige bestimmen, ob bewirkt werden soll, dass das erste Fahrzeug einen Spurwechsel durchführt, oder nicht.
Computerlesbarer Speicher nach Anspruch 16, wobei die Anweisungen ferner bewirken, dass der eine oder die mehreren Prozessoren bestimmen, dass das zweite Fahrzeug: sich in einer einer Spur des ersten Fahrzeugs unmittelbar benachbarten Spur befindet und/oder; in eine ähnliche Richtung entlang einer Fahrbahn fährt, wie das erste Fahrzeug, und/oder sich in einer Risikozone des ersten Fahrzeugs befindet, wobei die Risikozone einem Bereich entspricht, in dem ein Risiko der Kollision zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug besteht.
Computerlesbarer Speicher nach Anspruch 16, wobei die Anweisungen ferner bewirken, dass der eine oder die mehreren Prozessoren bestimmen, dass der Zustand der Blinksignalanzeige einer Bewegungsrichtung des ersten Fahrzeugs entspricht.