DE102016120508A1

DE102016120508A1 - Autonomes Fahren an Kreuzungen basierend auf Wahrnehmungsdaten

Info

Publication number: DE102016120508A1
Application number: DE102016120508.7A
Authority: DE
Inventors: Ashley Elizabeth Micks; Harpreetsingh Banvait; Jinesh J. Jain; Brielle Reiff
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2015-11-05
Filing date: 2016-10-27
Publication date: 2017-05-11
Also published as: US20170131719A1; CN106873580B; US9983591B2; MX2016014481A; GB2545550A; US20180239361A1; CN106873580A; RU2016143345A

Abstract

Hier werden Systeme, Verfahren und Vorrichtungen zum Vorhersagen der Absicht eines Fahrers und der künftigen Bewegungen eines proximalen Fahrzeugs, entweder eines automatisierten Fahrzeugs oder eines von einem Menschen gefahrenen Fahrzeugs, offenbart. Ein System zum Vorhersagen der künftigen Bewegungen eines Fahrzeugs enthält eine Kreuzungskomponente, ein Kamerasystem, eine Begrenzungskomponente und eine Vorhersagekomponente. Die Kreuzungskomponente ist konfiguriert, zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet. Das Kamerasystem ist konfiguriert, ein Bild des proximalen Fahrzeugs aufzunehmen. Die Begrenzungskomponente ist konfiguriert, einen Unterabschnitt des Bildes, der einen Fahrtrichtungsanzeiger des proximalen Fahrzeugs enthält, zu identifizieren. Die Vorhersagekomponente ist konfiguriert, die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorherzusagen.

Description

TECHNISCHES GEBIET
Die Offenbarung bezieht sich im Allgemeinen auf Verfahren, Systeme und Vorrichtungen zum automatisierten Fahren oder zum Unterstützen eines Fahrers und bezieht sich spezieller auf Verfahren, Systeme und Vorrichtungen zum autonomen Treffen von Entscheidungen an Kreuzungen unter Verwendung der Vorhersagemodellierung des Verhaltens der umgebenden Fahrzeuge, die durch die Wahrnehmung der Fahrzeugbewegung, der Fahrtrichtungsanzeiger, der Körpersprache des Fahrers und/oder der Fahrzeug-zu-Fahrzeug-Informationen (V2V-Informationen) oder der Fahrzeug-zur-Infrastruktur-Informationen (V2X-Informationen) hinsichtlich früherer Zustände der Fahrzeuge ermöglicht ist.
HINTERGRUND
Kraftfahrzeuge stellen einen signifikanten Anteil des Transports für kommerzielle, öffentliche und private Entitäten bereit. Autonome Fahrzeuge und Fahrunterstützungssysteme werden gegenwärtig entwickelt und eingesetzt, um Sicherheit bereitzustellen, eine Menge der erforderlichen Anwendereingabe zu verringern oder sogar die Beteiligung des Anwenders völlig zu eliminieren. Einige Fahrunterstützungssysteme, wie z. B. Unfallvermeidungssysteme, können das Fahren, die Positionen und eine Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System detektiert, dass ein Unfall oder ein Aufprall bevorstehend ist, kann das Unfallvermeidungssystem eingreifen und eine Bremse anwenden, das Fahrzeug lenken oder andere Vermeidungs- oder Sicherheitsmanöver ausführen. Als ein weiteres Beispiel können autonome Fahrzeuge ein Fahrzeug mit wenig oder keiner Anwendereingabe fahren und navigieren. Aufgrund der in das Fahren einbezogenen Gefahren und der Kosten der Fahrzeuge ist es jedoch äußerst wichtig, dass selbst in Situationen, in denen sowohl autonome Fahrzeuge als auch von einem Menschen gefahrene Fahrzeuge vorhanden sind, autonome Fahrzeuge und Fahrunterstützungssysteme sicher arbeiten und imstande sind, auf Straßen genau zu navigieren und andere Fahrzeuge zu vermeiden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Es werden nicht einschränkende und nicht erschöpfende Implementierungen der vorliegenden Offenbarung bezüglich der folgenden Figuren beschrieben, in denen sich überall in den verschiedenen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen, wenn es nicht anders spezifiziert ist. Die Vorteile der vorliegenden Offenbarung werden hinsichtlich der folgenden Beschreibung und der beigefügten Zeichnungen besser verstanden, worin:
1 ein schematischer Blockschaltplan ist, der eine Implementierung eines Fahrzeugsteuersystems veranschaulicht, das ein automatisiertes Fahr-/Unterstützungssystem enthält;
2 eine perspektivische Ansicht eines Fahrzeugs veranschaulicht;
3 eine schematische graphische Darstellung ist, die eine Draufsicht einer beispielhaften Straßenumgebung veranschaulicht;
4 ein schematischer Blockschaltplan ist, der die Vorhersage künftiger Fahrzeugbewegungen gemäß einer Implementierung veranschaulicht;
5 ein schematischer Blockschaltplan ist, der beispielhafte Komponenten einer Fahrerabsichtskomponente gemäß einer Implementierung veranschaulicht;
6 ein schematischer Blockschaltplan ist, der ein Verfahren zum Vorhersagen von Fahrzeugbewegungen gemäß einer Implementierung veranschaulicht; und
7 ein schematischer Blockschaltplan ist, der ein weiteres Verfahren zum Vorhersagen von Fahrzeugbewegungen gemäß einer Implementierung veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Die Anmelder haben erkannt, dass die ersten Generationen autonomer Fahrzeuge neben den menschlichen Fahrern sicher fahren müssen. Spezifisch sind Kreuzungen einschließlich Kreuzungen vierer gleichrangiger Straßen eines der herausfordernderen Szenarios, die ein autonomes Fahrzeug handhaben muss, weil die Entscheidungen darüber, wann in die Kreuzungen weiterzufahren ist, bei der Anwesenheit menschlicher Fahrer, deren Verhalten nicht standardisiert ist, auf einer fallweisen Grundlage getroffen werden müssen.
Folglich ist es erwünscht, dass diese autonomen Fahrzeuge die Bewegung der umgebenden Fahrzeuge vorhersagen können, selbst wenn sie von einem Menschen gefahren werden. Die Anmelder haben erkannt, dass autonome Fahrzeuge basierend auf der Bewegung der anderen Fahrzeuge, der Körpersprache der Fahrer, der Fahrtrichtungsanzeiger der Fahrzeuge (oder deren Fehlen) und drahtlosen Kommunikationen, wie z. B. Fahrzeug-zu-Fahrzeug (V2V) oder Fahrzeug-zur-Infrastruktur (V2X), genauer vorhersagen können, was ein menschlicher Fahrer tun wird oder zu tun beabsichtigt. Ein autonomes Fahrzeug kann z. B. die Körpersprache eines menschlichen Fahrers oder die anderen obigen Informationen über ein anderes Fahrzeug als das autonome Fahrzeug interpretieren. Folglich hängt das autonome Fahrzeug nicht von dem anderen Fahrzeug oder einem Fahrer des anderen Fahrzeugs ab, um spezifische Informationen darüber bereitzustellen, was der menschliche Fahrer zu tun beabsichtigt. Weiterhin kann das autonome Fahrzeug imstande sein, sich auf die Handlungen eines menschlichen Fahrers einzustellen, die im Vergleich zu einem standardisierteren Verhalten in einem autonomen Fahrsystem unvorhersagbar sein können.
Diese Offenbarung stellt Systeme, Verfahren und Vorrichtungen für Systeme zum autonomen Fahren oder für Fahrunterstützungssysteme dar, um Informationen von V2V oder V2X einschließlich Informationen über frühere Zustände der anderen Fahrzeuge, die über die Wahrnehmung allein nicht erkennbar sind, mit den Informationen von den Wahrnehmungssystemen über die Körpersprache der Fahrer in anderen Fahrzeugen und den Bewegungssignalen und Fahrtrichtungsanzeigern der anderen Fahrzeuge zu verwenden. Diese verschiedenen Informationstypen können verschmolzen werden, um Vorhersagen über die Bewegung der anderen Fahrzeuge an den Kreuzungen zu bilden. Diese Vorhersagen können dann den Prozess des autonomen Entscheidens unterstützen, ob zu warten oder in die Kreuzung weiterzufahren ist. In einer Ausführungsform können neuronale Netze oder andere Modelle trainiert werden, um die frühere Bewegung der Fahrzeuge, die Körpersprache der Fahrer, die aktuelle Fahrzeugbewegung und/oder die Fahrtrichtungsanzeigerinformationen mit einer oder mehreren erwarteten folgenden Bewegungen dieser umgebenden Fahrzeuge zu korrelieren. Die Wahrnehmung kann mit Kameras, Lichtentfernungsmessungs- und -detektions-(LIDAR-), Radar-, Ultraschall- oder anderen Bereichssensoren ausgeführt werden, um das Bestimmen der Bereiche von Interesse innerhalb eines gegebenen Kamerabilds zu unterstützen.
In einer Ausführungsform stellen die Wahrnehmungsalgorithmen zusammen mit den früheren Fahrzeugzuständen über die V2V- oder V2X-Kommunikation die Orte anderer Fahrzeuge bereit, wobei sie diese Informationen verwenden, um die Fahrzeuge zu verfolgen. In einer Ausführungsform können die Systeme die Bereiche von Interesse identifizieren, um die auf die Absicht des Fahrers bezogenen Informationen, wie z. B. die Orientierung des Kopfes, die Blickrichtung, die Fahrtrichtungsanzeiger und die Fahrzeugbewegung, zu extrahieren. Gemäß einer Ausführungsform kann ein autonomes Fahrzeug die Fahrzeuge innerhalb eines aktuellen 360-Grad-Rahmens aller Datensensoren lokalisieren. Das autonome Fahrzeug kann um die Bereiche des Bildes, wo die Fahrer dieser Fahrzeuge gefunden würden, Begrenzungskästen bestimmen und die Bilddaten und die Bereichssensordaten innerhalb der Begrenzungskästen den Algorithmen bereitstellen, die die Orientierung des Kopfs des Fahrers und die Blickrichtung schätzen und außerdem die Gesten des Fahrers erkennen. Diese Informationen können interpretiert werden, um die Absicht des Fahrers hinsichtlich der vorhergesagten folgenden Fahrzeugbewegung der anderen Fahrzeuge zu bestimmen. Diese Vorhersagen können berücksichtigt werden, um zu entscheiden, wann in die Kreuzung einzufahren ist.
In einer Ausführungsform können die Vorhersagealgorithmen zum Vorhersagen, was ein menschlicher Fahrer tun wird, basierend auf der Körpersprache oder anderen Informationen fest codiert sein oder unter Verwendung künstlicher Intelligenz erlernt und modifiziert werden. Die Gesten oder die Körpersprache eines menschlichen Fahrers können z. B. während eines Fahrereignisses überwacht oder erlernt werden, wobei dann die Gesten oder die Körpersprache einer resultierenden Fahrzeugbewegung oder einem Zeitablauf der Fahrzeugbewegung zugeordnet werden können.
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Implementierungen, in denen die Offenbarung praktiziert werden kann, zur Veranschaulichung gezeigt sind. Es ist selbstverständlich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen ausgeführt werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in dieser Beschreibung auf "eine Ausführungsform", "eine Ausführungsform", "eine beispielhafte Ausführungsform" usw. geben an, dass die beschriebene Ausführungsform ein spezielles Merkmal, eine spezielle Struktur oder eine spezielle Eigenschaft enthalten kann, aber jede Ausführungsform nicht notwendigerweise das spezielle Merkmal, die spezielle Struktur oder die spezielle Eigenschaft enthalten kann. Weiterhin beziehen sich derartige Ausdrücke nicht notwendigerweise auf dieselbe Ausführungsform. Wenn ferner ein spezielles Merkmal, eine spezielle Struktur oder eine spezielle Eigenschaft im Zusammenhang mit einer Ausführungsform beschrieben wird, wird behauptet, dass es innerhalb der Kenntnis eines Fachmanns auf dem Gebiet liegt, ein derartiges Merkmal, eine derartige Struktur oder eine derartige Eigenschaft im Zusammenhang mit anderen Ausführungsformen zu beeinflussen, ob es bzw. sie explizit beschrieben ist oder nicht.
Ein "autonomes Fahrzeug", wie es hier verwendet wird, kann ein Fahrzeug sein, das vollständig unabhängig von einem menschlichen Fahrer handelt oder operiert; oder kann ein Fahrzeug sein, das in einigen Fällen unabhängig von einem menschlichen Fahrer handelt oder operiert, während in anderen Fällen ein menschlicher Fahrer imstande sein kann, das Fahrzeug zu bedienen; oder kann ein Fahrzeug sein, das überwiegend von einem menschlichen Fahrer bedient wird, aber mit der Unterstützung eines automatisierten Fahr-/Unterstützungssystems.
Die Implementierungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer, einschließlich Computer-Hardware, wie z. B. einen oder mehrere Prozessoren und einen Systemspeicher, umfassen oder verwenden, wie im Folgenden ausführlicher erörtert wird. Die Implementierungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können außerdem physikalische und andere computerlesbare Medien zum Übertragen oder Speichern computerausführbarer Anweisungen und/oder Datenstrukturen enthalten. Derartige computerlesbare Medien können irgendwelche verfügbaren Medien sein, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerlesbare Anweisungen speichern, sind Computer-Speichermedien (Computer-Speichervorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen übertragen, sind Übertragungsmedien. Folglich können die Implementierungen der Offenbarung beispielhaft und nicht einschränkend wenigstens zwei deutlich verschiedene Arten von computerlesbaren Medien umfassen: Computer-Speichermedien (Computer-Speichervorrichtungen) und Übertragungsmedien.
Computer-Speichermedien (Computer-Speichervorrichtungen) enthalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke ("SSDs") (z. B. basierend auf dem RAM), Flash-Speicher, Phasenänderungsspeicher ("PCM"), andere Typen von Speicher, anderen optischen Plattenspeicher, Magnetplattenspeicher oder andere Magnetspeichervorrichtungen oder irgendein anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in der Form computerausführbarer Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Implementierung der hier offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetz kommunizieren. Ein "Netz" ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder -modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netz oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine Kombination aus festverdrahtet oder drahtlos) zu einem Computer übertragen oder einem Computer bereitgestellt werden, betrachtet der Computer die Verbindung richtig als ein Übertragungsmedium. Die Übertragungsmedien können ein Netz und/oder Datenverbindungen enthalten, die verwendet werden können, um die gewünschten Programmcodemittel in der Form computerausführbarer Anweisungen oder Datenstrukturen zu übertragen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen des Obigen sollten außerdem innerhalb des Umfangs der computerlesbaren Medien enthalten sein.
Computerausführbare Anweisungen umfassen z. B. Anweisungen und Daten, die, wenn sie in einem Prozessor ausgeführt werden, einen Universalcomputer, einen Spezialcomputer oder eine Spezial-Verarbeitungsvorrichtung veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Die computerausführbaren Anweisungen können z. B. Binärprogramme, Zwischenformatanweisungen, wie z. B. Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in einer Sprache beschrieben worden ist, die für strukturelle Merkmale und/oder andere methodologische Handlungen spezifisch ist, wird erkannt, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die oben beschriebenen Merkmale oder Handlungen eingeschränkt ist. Stattdessen sind die beschriebenen Merkmale und Handlungen als beispielhafte Formen zum Implementieren der Ansprüche offenbart.
Die Fachleute auf dem Gebiet erkennen, dass die Offenbarung in Netzcomputerumgebungen mit vielen Typen von Computersystemkonfigurationen praktiziert werden kann, einschließlich eines Dashtop-Computers, Personalcomputern, Desktop-Computern, Laptop-Computern, Nachrichtenprozessoren, handgehaltenen Vorrichtungen, Mehrprozessorsystemen, mikroprozessorbasierter oder programmierbarer Unterhaltungselektronik, Netz-PCs, Minicomputern, Großrechnern, Mobiltelephonen, PDAs, Tablets, Funkrufempfängern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann außerdem in verteilten Systemumgebungen praktiziert werden, in denen sowohl lokale als auch entfernte Computersysteme, die (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) durch ein Netz verknüpft sind, Aufgaben ausführen. In einer verteilten Systemumgebung können sich die Programmmodule sowohl in lokalen als auch in entfernten Speichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen in einem oder mehreren des Folgenden ausgeführt werden, wo es geeignet ist: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) können z. B. programmiert sein, eines bzw. eine oder mehrere der hier beschriebenen Systeme und Prozeduren auszuführen. Bestimmte Begriffe werden überall in der folgenden Beschreibung und den Ansprüchen verwendet, um auf spezielle Systemkomponenten zu verweisen. Wie ein Fachmann auf dem Gebiet erkennt, kann auf die Komponenten durch verschiedene Namen verwiesen werden. In diesem Dokument ist nicht beabsichtigt, zwischen Komponenten zu unterscheiden, die sich im Namen, aber nicht in der Funktion unterscheiden.
In den Figuren veranschaulicht 1 ein Fahrzeugsteuersystem 100, das ein automatisiertes Fahr-/Unterstützungssystem 102 enthält. Das automatisierte Fahr-/Unterstützungssystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs, wie z. B. eines Personenkraftwagens, eines Lastkraftwagens, eines Kleinbusses, eines Busses, eines großen Lastkraftwagens, eines Einsatzfahrzeugs oder irgendeines anderen Kraftfahrzeugs zum Transportieren von Menschen oder Gütern, zu automatisieren oder zu steuern oder um einem menschlichen Fahrer eine Unterstützung bereitzustellen. Das automatisierte Fahr-/Unterstützungssystem 102 kann z. B. eines oder mehreres des Bremsens, des Lenkens, der Beschleunigung, der Beleuchtung, der Alarmsignale, der Fahrerbenachrichtigungen, des Funks oder irgendwelcher anderer Hilfssysteme des Fahrzeugs steuern. In einem weiteren Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 nicht imstande sein, irgendeine Steuerung des Fahrens (z. B. das Lenken, die Beschleunigung oder das Bremsen) bereitzustellen, wobei es aber Meldungen und Alarmsignale bereitstellen kann, um einen menschlichen Fahrer beim sicheren Fahren zu unterstützen. Das automatisierte Fahr-/Unterstützungssystem 102 enthält eine Fahrerabsichtskomponente 104, die eine künftige Bewegung eines anderen Fahrzeugs basierend auf den V2V- oder V2X-Kommunikationen und/oder den Fahrtrichtungsanzeigern und/oder der Körpersprache des Fahrers und/oder der Fahrzeugbewegung vorhersagen kann. Die Fahrerabsichtskomponente 104 kann z. B. eine Absicht des Fahrers eines anderen Fahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 nicht enthält), basierend auf einem Fahrtrichtungsanzeigerzustand, einer Geste des Fahrers, einer Blickrichtung des Fahrers und/oder einer Orientierung des Kopfes des Fahrers schätzen.
Das Fahrzeugsteuersystem 100 enthält außerdem ein/eine oder mehrere Sensorsysteme/-vorrichtungen zum Detektieren eines Vorhandenseins von Objekten in der Nähe oder zum Bestimmen eines Ortes eines Stammfahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 enthält) oder von Objekten in der Nähe. Das Fahrzeugsteuersystem 100 kann z. B. ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionierungssystem (GPS) 112 und/oder ein oder mehrere Ultraschallsysteme 114 enthalten. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten für die Navigation und die Sicherheit, wie z. B. Kartendaten, eine Fahrhistorie, oder andere Daten, enthalten. Das Fahrzeugsteuersystem 100 kann außerdem einen Sender/Empfänger 118 für die drahtlose Kommunikation mit einem Mobilfunknetz oder drahtlosen Netz, anderen Fahrzeugen, der Infrastruktur oder irgendeinem anderen Kommunikationssystem enthalten. Das Fahrzeugsteuersystem 100 kann die Fahrzeugsteuerungs-Aktuatoren 120 zum Steuern verschiedener Aspekte des Fahrens des Fahrzeugs, wie z. B. Elektromotoren, Schalter oder andere Aktuatoren zum Steuern des Bremsens, der Beschleunigung, des Lenkens oder dergleichen, enthalten. Das Fahrzeugsteuersystem 100 kann außerdem eine bzw. einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen enthalten, so dass einem menschlichen Fahrer oder einem Insassen Meldungen bereitgestellt werden können. Die Anzeige 122 kann eine Head-up-Anzeige, eine Instrumententafelanzeige oder einen Instrumententafelindikator, einen Anzeigeschirm oder irgendeinen anderen visuellen Indikator, der durch einen Fahrer oder einen Insassen eines Fahrzeugs gesehen werden kann, enthalten. Die Lautsprecher 124 können einen oder mehrere Lautsprecher einer Tonanlage eines Fahrzeugs enthalten oder können einen für die Fahrerbenachrichtigung dedizierten Lautsprecher enthalten.
Es wird erkannt, dass die Ausführungsform nach 1 lediglich beispielhaft angegeben ist. Andere Ausführungsformen können weniger oder zusätzliche Komponenten enthalten, ohne vom Schutzumfang der Offenbarung abzuweichen. Zusätzlich können die veranschaulichten Komponenten ohne Einschränkung kombiniert werden oder innerhalb anderer Komponenten enthalten sein. Die Fahrerabsichtskomponente 104 kann z. B. von dem automatisierten Fahr-/Unterstützungssystem 102 getrennt sein und der Datenspeicher 116 kann als ein Teil des automatisierten Fahr-/Unterstützungssystems 102 und/oder ein Teil der Fahrerabsichtskomponente 104 enthalten sein.
Das Radarsystem 106 kann irgendein in der Technik bekanntes Radarsystem enthalten. Im Allgemeinen arbeitet ein Radarsystem 106 durch das Senden von Funksignalen und das Detektieren der Reflexionen von Objekten. In Bodenanwendungen kann das Radar verwendet werden, um physikalische Objekte, wie z. B. andere Fahrzeuge, Parkschranken oder Radstopps, Landschaften (wie z. B. Bäume, Klippen, Felsen, Hügel oder dergleichen), Straßenränder, Schilder, Gebäude oder andere Objekte, zu detektieren. Das Radarsystem 106 kann die reflektierten Funkwellen verwenden, um eine Größe, eine Form, einen Abstand, eine Oberflächentextur oder andere Informationen über ein physikalisches Objekt oder Material zu bestimmen. Das Radarsystem 106 kann z. B. einen Bereich überstreichen, um Daten über die Objekte innerhalb eines spezifischen Bereichs und Betrachtungswinkels des Radarsystems 106 zu erhalten. In einer Ausführungsform ist das Radarsystem 106 konfiguriert, Wahrnehmungsinformationen von einem Bereich in der Nähe des Fahrzeugs, wie z. B. einem oder mehreren Bereichen in der Nähe des Fahrzeugs oder einem oder mehreren das Fahrzeug umgebenden Bereichen, zu erzeugen. Das Radarsystem 106 kann z. B. Daten über die Bereiche des Boden- oder vertikalen Bereichs unmittelbar dem Fahrzeug benachbart oder in der Nähe des Fahrzeugs erhalten. Das Radarsystem 106 kann eines von vielen umfassend verfügbaren kommerziell verfügbaren Radarsystemen enthalten. In einer Ausführungsform kann das Radarsystem 106 die Wahrnehmungsdaten einschließlich einer zweidimensionalen oder dreidimensionalen Karte oder eines zweidimensionalen oder dreidimensionalen Modells dem automatisierten Fahr-/Unterstützungssystem 102 zur Bezugnahme oder Verarbeitung bereitstellen.
Das LIDAR-System 108 kann irgendein LIDAR-System in der Technik enthalten. Im Allgemeinen arbeitet das LIDAR-System 108 durch das Emittieren von Lasern mit sichtbarer Wellenlänge oder infraroter Wellenlänge und das Detektieren der Reflexionen des Laserlichts von den Objekten. In Bodenanwendungen können die Laser verwendet werden, um physikalische Objekte, wie z. B. andere Fahrzeuge, Parkschranken oder Radstopps, Landschaften (wie z. B. Bäume, Klippen, Felsen, Hügel oder dergleichen), Straßenränder, Schilder, Gebäude oder andere Objekte, zu detektieren. Das LIDAR-System 108 kann das reflektierte Laserlicht verwenden, um eine Größe, eine Form, einen Abstand, eine Oberflächentextur oder andere Informationen über ein physikalisches Objekt oder Material zu bestimmen. Das LIDAR-System 108 kann z. B. einen Bereich überstreichen, um Daten oder Objekte innerhalb eine spezifischen Bereichs und Betrachtungswinkels des LIDAR-Systems 108 zu erhalten. Das LIDAR-System 108 kann z. B. Daten über die Bereiche des Boden- oder vertikalen Bereichs unmittelbar dem Fahrzeug benachbart oder in der Nähe des Fahrzeugs erhalten. Das LIDAR-System 108 kann eines von vielen umfassend verfügbaren kommerziell verfügbaren LIDAR-Systemen enthalten. In einer Ausführungsform kann das LIDAR-System 108 die Wahrnehmungsdaten einschließlich eines zweidimensionalen oder dreidimensionalen Modells oder einer zweidimensionalen oder dreidimensionalen Karte der detektierten Objekte oder Oberflächen bereitstellen.
Das Kamerasystem 110 kann eine oder mehrere Kameras, wie z. B. Kameras für sichtbare Wellenlängen oder Infrarotkameras, enthalten. Das Kamerasystem 110 kann eine Videozuspielung oder periodische Bilder bereitstellen, die für die Objektdetektion, die Straßenidentifikation und -positionierung oder eine andere Detektion oder Positionierung verarbeitet werden können. In einer Ausführungsform kann das Kamerasystem 110 zwei oder mehr Kameras enthalten, die verwendet werden können, um eine Entfernungsmessung für Objekte innerhalb des Gesichtsfeldes (z. B. einen Abstand für Objekte innerhalb des Gesichtsfeldes zu detektieren). In einer Ausführungsform kann die Bildverarbeitung an den aufgenommenen Kamerabildern oder dem Video verwendet werden, um Fahrzeuge, Fahrtrichtungsanzeiger, Fahrer, Gesten und/oder die Körpersprache eines Fahrers zu detektieren. In einer Ausführungsform kann das Kamerasystem 110 Kameras enthalten, die Bilder für zwei oder mehr Richtungen um das Fahrzeug erhalten.
Das GPS-System 112 ist eine Ausführungsform eines Positionierungssystems, das einen geographischen Ort des Fahrzeugs basierend auf Satelliten- und Funkmastsignalen bereitstellen kann. Die GPS-Systeme 112 sind in der Technik wohlbekannt und umfassend verfügbar. Obwohl die GPS-System 112 sehr genaue Positionierungsinformationen bereitstellen können, stellen die GPS-Systeme 112 im Allgemeinen wenig oder keine Informationen über die Abstände zwischen dem Fahrzeug und anderen Objekten bereit. Stattdessen stellen sie einfach einen Ort bereit, der dann mit anderen Daten, wie z. B. Karten, verglichen werden kann, um die Abstände zu anderen Objekten, Straßen oder Orten von Interesse zu bestimmen.
Das Ultraschallsystem 114 kann verwendet werden, um Objekte oder Abstände zwischen einem Fahrzeug und Objekten unter Verwendung von Ultraschallwellen zu detektieren. Das Ultraschallsystem 114 kann z. B. Ultraschallwellen von einem Ort an dem oder in der Nähe des Stoßfängers oder einem Ort an der Seitenwand eines Fahrzeugs emittieren. Die Ultraschallwellen, die sich kurze Entfernungen durch die Luft bewegen können, können von anderen Objekten reflektiert und durch das Ultraschallsystem 114 detektiert werden. Basierend auf einem Zeitraum zwischen der Emission und dem Empfang der reflektierten Ultraschallwellen kann das Ultraschallsystem 114 imstande sein, die genauen Abstände zwischen einem Stoßfänger oder einer Seitenwand und irgendwelchen anderen Objekten zu detektieren. Aufgrund ihrer kürzeren Reichweite können die Ultraschallsysteme 114 nützlicher sein, um Objekte während des Parkens zu detektieren oder bevorstehende Zusammenstöße während des Fahrens zu detektieren.
In einer Ausführungsform können das (die) Radarsystem(e) 106, das (die) LIDAR-System(e) 108, das (die) Kamerasystem(e) 110 und das (die) Ultraschallsystem(e) 114 Umweltmerkmale oder Hindernisse in der Nähe eines Fahrzeugs detektieren. Die Systeme 106–110 und 114 können z. B. andere Fahrzeuge, Fußgänger, Menschen, Tiere, eine Anzahl von Fahrspuren, eine Fahrspurbreite, eine Randstreifenbreite, eine Krümmung der Straßenoberfläche, eine Biegung der Richtung der Straße, Fahrbahnschwellen, Fahrspurmarkierungen, das Vorhandensein von Kreuzungen, Verkehrsschilder, Brücken, Überführungen, Absperrungen, Mittelstreifen, Bordsteine und irgendwelche andere Einzelheiten über eine Straße detektieren. Als ein weiteres Beispiel können die Systeme 106–110 und 114 Umweltmerkmale detektieren, die Informationen über Strukturen, Objekte oder Oberflächen in der Nähe der Straße, wie z. B. das Vorhandensein von Fahrwegen, Parkflächen, Ausfahrten/Einfahrten von Parkflächen, Gehsteigen, Fußwegen, Bäumen, Zäunen, Gebäuden, geparkten Fahrzeugen (auf der oder in der Nähe der Straße), Toren, Schildern, Parkstreifen oder irgendwelchen anderen Strukturen oder Objekten, enthalten.
Der Datenspeicher 116 speichert Kartendaten, eine Fahrhistorie und andere Daten, die andere Navigationsdaten, Einstellungen oder Betriebsanweisungen für das automatisierte Fahr-/Unterstützungssystem 102 enthalten können. Die Kartendaten können Ortsdaten, wie z. B. GPS-Ortsdaten, für Straßen, Parkflächen, markierte Parkplätze oder andere Plätze, wo ein Fahrzeug gefahren oder geparkt werden kann, enthalten. Die Ortsdaten für die Straßen können z. B. die Ortsdaten für spezifische Fahrspuren, wie z. B. die Richtung der Fahrspur, verschmelzende Fahrspuren, Fernverkehrsstraßen- oder Autobahnfahrspuren, Abfahrspuren oder irgendeine andere Fahrspur oder Teilung einer Straße, enthalten. Die Ortsdaten können außerdem die Orte für einen oder mehrere markierte Parkplätze auf einer Parkfläche oder für die markierten Parkplätze entlang einer Straße enthalten. In einer Ausführungsform enthalten die Kartendaten die Ortsdaten über eine oder mehrere Strukturen oder Objekte auf der oder in der Nähe der Straßen oder Parkplätze. Die Kartendaten können z. B. die Daten hinsichtlich des GPS-Orts von Schildern, Brücken, Gebäuden oder anderen Strukturen oder dergleichen enthalten. In einer Ausführungsform können die Kartendaten genaue Ortsdaten mit einer Genauigkeit innerhalb einiger Meter oder innerhalb einer Submetergenauigkeit enthalten. Die Kartendaten können außerdem Ortsdaten für Wege, unbefestigte Straßen oder andere Straßen oder Wege enthalten, die durch ein Landfahrzeug befahren werden können.
Die Fahrhistorie (oder die Historie des Fahrens) kann Ortsdaten für frühere Fahrten oder Parkplätze des Fahrzeugs enthalten. Die Fahrhistorie kann z. B. die GPS-Ortsdaten für die vorher genommenen Fahrten oder Wege enthalten. Als ein Beispiel kann die Fahrhistorie die Abstands- oder relativen Ortsdaten bezüglich der Leitlinien, Schilder, Fahrbahnbegrenzungslinien oder anderer Objekte oder Merkmale auf oder in der Nähe der Straßen enthalten. Die Abstands- oder relativen Ortsdaten können basierend auf den GPS-Daten, den Radardaten, den LIDAR-Daten, den Kameradaten oder den anderen Sensordaten bestimmt werden, die während vorheriger oder früherer durch das Fahrzeug unternommener Fahrten gesammelt wurden. In einer Ausführungsform ist das automatisierte Fahr-/Unterstützungssystem 102 konfiguriert, die Fahrdaten für und während irgendwelcher durch das Fahrzeug unternommener Fahrten oder Ausfahrten in dem Datenspeicher 116 zu protokollieren.
Der Sender/Empfänger 118 ist konfiguriert, Signale von einer oder mehreren anderen Daten- oder Signalquellen zu empfangen. Der Sender/Empfänger 118 kann ein oder mehrere Funkgeräte enthalten, die konfiguriert sind, gemäß verschiedenen Kommunikationsstandards und/oder unter Verwendung verschiedener unterschiedlicher Frequenzen zu kommunizieren. Der Sender/Empfänger 118 kann z. B. Signale von anderen Fahrzeugen empfangen. Das Empfangen der Signale von einem anderen Fahrzeug wird hier als eine Fahrzeug-zu-Fahrzeug-Kommunikation (V2V-Kommunikation) bezeichnet. In einer Ausführungsform kann der Sender/Empfänger 118 außerdem verwendet werden, um Informationen an andere Fahrzeuge zu senden, um sie potentiell beim Lokalisieren von Fahrzeugen oder Objekten zu unterstützen. Während der V2V-Kommunikation kann der Sender/Empfänger 118 Informationen von anderen Fahrzeugen über ihre Orte, vorherigen Orte oder Zustände, anderen Verkehr, Unfälle, Straßenzustände, die Orte von Parkschranken oder Radstopps oder irgendwelche andere Einzelheiten, die das Fahrzeug und/oder das automatisierte Fahr-/Unterstützungssystem 102 beim genauen oder sicheren Fahren unterstützen können, empfangen. Der Sender/Empfänger 118 kann z. B. aktualisierte Modelle oder Algorithmen für die Verwendung durch die Fahrerabsichtskomponente 104 beim Detektieren der Fahrzeugbewegung, der Fahrtrichtungsanzeiger oder der Körpersprache eines Fahrers eines weiteren Fahrzeugs empfangen.
Der Sender/Empfänger 118 kann Signale von anderen Signalquellen empfangen, die sich an festen Orten befinden. Die Infrastruktur-Sender/Empfänger können sich an einem spezifischen geographischen Ort befinden und können ihren spezifischen geographischen Ort mit einem Zeitstempel senden. Folglich kann das automatisierte Fahr-/Unterstützungssystem 102 imstande sein, basierend auf dem Zeitstempel einen Abstand von den Infrastruktur-Sender/Empfängern zu bestimmen und dann seinen Ort basierend auf dem Ort der Infrastruktur-Sender/Empfänger zu bestimmen. In einer Ausführungsform wird das Empfangen oder Senden von Ortsdaten von Vorrichtungen oder Masten an festen Orten hier als die Fahrzeug-zur-Infrastruktur-Kommunikation (V2X-Kommunikation) bezeichnet. Die V2X-Kommunikation kann außerdem verwendet werden, um Informationen über die Orte anderer Fahrzeuge, ihre vorhergehenden Zustände oder dergleichen bereitzustellen. Die V2X-Kommunikationen können z. B. Informationen darüber enthalten, wie lange ein Fahrzeug gestoppt gewesen ist oder an einer Kreuzung gewartet hat. In einer Ausführungsform kann der Begriff V2X-Kommunikation außerdem die V2V-Kommunikation umfassen.
In einer Ausführungsform kann der Sender/Empfänger 118 die Ortsdaten über eine Mobilfunknetz- oder Mobiltelephonverbindung senden und empfangen. Der Sender/Empfänger 118 kann z. B. aktualisierte Ortsdaten für einen spezifischen Bereich empfangen, wenn sich ein Fahrzeug entlang einer Straße bewegt. Ähnlich kann der Sender/Empfänger 118 historische Fahrdaten für ein Stammfahrzeug oder andere Fahrzeuge, die entlang einer Straße gefahren sind oder auf einer Parkfläche an diesem Ort oder an diesem markierten Parkplatz geparkt worden sind, empfangen. Der Sender/Empfänger 118 kann z. B. Daten empfangen, die die Orte von Schildern, Parkschranken oder Radstopps oder anderen Objekten angeben, die unter Verwendung eines Radarsystems 106, eines LIDAR-Systems 108, eines Kamerasystems 110, eines GPS-Systems 112 oder eines Ultraschallsystems 114 detektierbar sein können. Falls der Sender/Empfänger 118 Signale von drei oder mehr Infrastruktur-Sender/Empfängern empfangen kann, kann das automatisierte Fahr-/Unterstützungssystem 102 imstande sein, seinen geographischen Ort zu triangulieren.
In einer Ausführungsform kann der Sender/Empfänger 118 Daten hinsichtlich der Körpersprache der Fahrer senden und empfangen. Es können z. B. eine oder mehrere Gesten oder Blickrichtungen, die während eines Ereignisses detektiert werden, und eine resultierende Handlung durch einen Fahrer zu einem Server für die Verarbeitung als ein Teil des maschinellen Lernens für die Schätzung einer Absicht des Fahrers hochgeladen werden.
In einer Ausführungsform ist das automatisierte Fahr-/Unterstützungssystem 102 konfiguriert, das Fahren oder die Navigation eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Unterstützungssystem 102 kann z. B. die Fahrzeugsteuerungs-Aktuatoren 120 steuern, um einen Weg auf einer Straße, einer Parkfläche, durch eine Kreuzung, einer Zufahrt oder einem anderen Ort zu fahren. Das automatisierte Fahr-/Unterstützungssystem 102 kann z. B. basierend auf den Informationen oder den Wahrnehmungsdaten, die durch irgendeine der Komponenten 106–118 bereitgestellt werden, einen zu fahrenden Weg und eine zu fahrende Geschwindigkeit bestimmen. Als ein weiteres Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 bestimmen, wann an einer Kreuzung zu warten oder weiterzufahren ist, wann die Fahrspuren zu wechseln sind, wann Platz für ein weiteres Fahrzeug zu lassen ist, um die Fahrspuren zu wechseln, oder dergleichen.
In einer Ausführungsform ist die Fahrerabsichtskomponente 104 konfiguriert, eine Absicht eines Fahrers eines Fahrzeugs in der Nähe zu bestimmen und/oder eine künftige Bewegung und einen Zeitablauf für die Bewegung eines Fahrzeugs unter der Steuerung eines menschlichen Fahrers vorherzusagen.
2 veranschaulicht ein durch eine Kamera oder einen anderen Sensor eines Fahrzeugs oder eines autonomen Fahrzeugs aufgenommenes Bild 200. Das Bild 200 enthält eine perspektivische Ansicht eines Fahrzeugs 202 mit einem menschlichen Fahrer 204. Die Ansicht des Fahrzeugs 202 kann z. B. durch eine Kamera an oder in der Nähe einer Kreuzung aufgenommen werden. Die Fahrerabsichtskomponente 104 kann das Fahrzeug 202 als ein Fahrzeug innerhalb des aufgenommenen Bildes 200 identifizieren. Die Fahrerabsichtskomponente 104 kann einen Unterbereich 206 des Bildes 200 bestimmen, der einem Ort oder einem wahrscheinlichen Ort eines Fahrers 204 entspricht. Die Fahrerabsichtskomponente 104 kann z. B. einen Abschnitt des Fahrzeugs 202 identifizieren, wo ein Fahrer 204 normalerweise sitzen würde, wie z. B. wo sich ein Fahrersitz befinden würde usw.
In einer Ausführungsform kann die Fahrerabsichtskomponente 104 ein oder mehrere Fenster des Fahrzeugs 202, wie z. B. das Fenster 208 auf der Fahrerseite und/oder eine Windschutzscheibe 210, identifizieren. In einer Ausführungsform kann die Fahrerabsichtskomponente 104 einen Unterbereich 206 des Fahrzeugs 202 basierend auf dem Ort des wahrscheinlichen Orts eines Fahrers 204, eines oder mehrerer Fenster 208, 210 des Fahrzeugs 202 oder durch das Detektieren eines Gesichts des Fahrers 204 definieren. Ein Unterbereich 206, der umfasst, wo sich der Fahrer befinden kann oder vernünftigerweise erwartet werden kann, dass er sich dort befindet, kann groß genug sein, um den Bewegungen des Fahrers 204 (z. B. den Bewegungen der Arme und/oder des Kopfes des Fahrers 204) Rechnung zu tragen. Durch das Auswählen oder das Definieren des Unterbereichs 206 kann die Fahrerabsichtskomponente 104 die Rechenleistung verringern, weil ein kleinerer Bereich oder weniger Bildpunkte als das ganze Bild 200 analysiert werden kann, um den Fahrer 204, eine Blickrichtung, eine Orientierung des Kopfes und/oder eine Geste zu detektieren.
Die Fahrerabsichtskomponente 104 kann einen oder mehrere Unterbereiche 212 des Bildes 200 bestimmen, die einem Ort oder einem wahrscheinlichen Ort eines Fahrtrichtungsanzeigers 214 entsprechen. Der Fahrtrichtungsanzeiger 214 kann ein linkes oder ein rechtes Blinklicht oder einen anderen Indikator enthalten, das bzw. der ein künftiges Abbiegen, ein künftiges Einfädeln oder einen künftigen Fahrspurwechsel angibt. Ein Fahrer 204 kann z. B. Steuereinrichtungen aufweisen, um ein oder mehrere Fahrtrichtungsanzeiger zu aktivieren oder zu deaktivieren, um eine Richtung anzugeben, in der der Fahrer 204 beabsichtigt, abzubiegen oder das Fahrzeug 202 zu fahren. In einer Ausführungsform kann die Fahrerabsichtskomponente 104 den einen oder die mehreren Unterbereiche 212 durch das Identifizieren eines Scheinwerfers und/oder einer Schlussleuchte und/oder eines Stoßfängers oder dergleichen bestimmen. Die Fahrerabsichtskomponente 104 kann z. B. einen Bereich des Fahrzeugs 202 identifizieren, der wahrscheinlich eine Leuchte oder einen Fahrtrichtungsanzeiger enthalten kann. Als ein weiteres Beispiel kann die Fahrerabsichtskomponente 104 einen Randdetektions- und/oder einen anderen Algorithmus ausführen, um ein Blinklicht, einen Scheinwerfer, eine Schlussleuchte oder dergleichen an dem Fahrzeug 202 zu identifizieren. Die Fahrerabsichtskomponente 104 kann eine Begrenzung definieren, die den Fahrtrichtungsanzeiger umgibt, die verarbeitet werden kann, um einen Zustand des Fahrtrichtungsanzeigers (z. B. ob das Signal blinkt, ausgeschaltet ist oder dergleichen) zu detektieren.
In einer Ausführungsform kann die Fahrerabsichtskomponente 104 einen Unterbereich, der einen Fahrer 204 und einen oder mehrere Fahrtrichtungsanzeiger 214 enthält, bestimmen. Die Fahrerabsichtskomponente 104 kann z. B. einen einzigen Unterbereich des Fahrzeugs 202 bestimmen, der sowohl den Fahrer 204 als auch den Fahrtrichtungsanzeiger 214 enthält. In einer Ausführungsform kann die Fahrerabsichtskomponente 104 einen Unterbereich des Bildes 200 auswählen, der alles oder das meiste des Fahrzeugs 202 enthält. Der Unterbereich, der das Fahrzeug 202 enthält, kann z. B. verarbeitet werden, um sowohl die Körpersprache des Fahrers 204 als auch einen Zustand des Indikators 214 zu detektieren.
3 ist eine schematische Draufsicht einer Straße 300 mit einem Fahrzeug 302, das auf der Straße fährt. Das Fahrzeug 302 kann das System 100 nach 1 enthalten. In einer Ausführungsform können ein oder mehrere Sensoren, wie z. B. das Kamerasystem 110, die Wahrnehmungsdaten der Straße 300 und der Bereiche um das Fahrzeug 302 sammeln. Ein Sichtbereich des Kamerasystems 110, des LIDAR-Systems 108, des Radarsystems 106 oder eines anderen Systems kann sich in irgendeiner Richtung oder in allen Richtungen um das Fahrzeug 302 erstrecken. Das Fahrzeug 302 oder eine Fahrerabsichtskomponente 104 des Fahrzeugs 302 kann die Wahrnehmungsdaten von den Sensoren empfangen und das Vorhandensein anderer Fahrzeuge, Objekte, Oberflächen oder dergleichen innerhalb eines Sichtbereichs des Fahrzeugs 302 detektieren. Das Fahrzeug 302 kann z. B. das Fahrzeug 304 als ein anderes Fahrzeug detektieren und identifizieren.
In einer Ausführungsform kann das Fahrzeug 302 einen Unterabschnitt der Wahrnehmungsdaten identifizieren, der einem Ort entspricht, wo sich der Fahrer wahrscheinlich befindet, wie z. B. einem Fenster des Fahrzeugs oder einem Bereich des Fahrzeugs, wo ein Fahrer wahrscheinlich sitzt. Das Fahrzeug 302 kann den Unterabschnitt der Wahrnehmungsdaten analysieren, um eine Absicht des Fahrers zu folgern. Das Fahrzeug 302 oder eine Fahrerabsichtskomponente 104 des Fahrzeugs 302 kann z. B. eine Absicht eines Fahrers folgern, zu fahren, zu stoppen, zu warten oder irgendein anderes Fahrmanöver auszuführen. In einer Ausführungsform kann das Fahrzeug 302 einen Unterabschnitt der Wahrnehmungsdaten identifizieren, der einem Ort entspricht, wo sich ein Fahrtrichtungsanzeiger befindet oder wahrscheinlich befindet, wie z. B. auf oder in der Nähe einer Vorder- oder Rückseite des Fahrzeugs 304, in der Nähe eines Stoßfängers, in der Nähe der Scheinwerfer oder der Schlussleuchten oder dergleichen. Das Fahrzeug 302 kann den Unterabschnitt der Wahrnehmungsdaten analysieren, um einen Zustand des Fahrtrichtungsanzeigers zu bestimmen. Das Fahrzeug 302 oder eine Fahrerabsichtskomponente 104 des Fahrzeugs 302 kann z. B. bestimmen, dass ein Blinklicht für das Fahrzeug 304 aus- oder eingeschaltet ist, und kann eine Richtung (links oder rechts), die dem Blinklicht entspricht, bestimmen. Das Fahrzeug 302 kann eine Absicht des Fahrers des Fahrzeugs 304 basierend auf dem Zustand des Fahrtrichtungsanzeigers folgern. Basierend auf der gefolgerten Absicht kann das Fahrzeug 302 verlangsamen, beschleunigen und/oder abbiegen, um einen potentiellen Zusammenstoß zu vermeiden.
Zusätzlich zu den Wahrnehmungsdaten kann das Fahrzeug 302 Informationen von einer gespeicherten Karte, einer gespeicherten Fahrhistorie oder von drahtlosen Signalen erhalten. Es ist z. B. ein Infrastruktursender 306 in der Nähe der Straße 300 gezeigt, der eine spezifische Positionierung, Umgebungsmerkmaleinzelheiten oder andere Informationen dem Fahrzeug 302 bereitstellen kann. Als weitere Beispiele kann das Fahrzeug 302 Informationen von anderen Fahrzeugen, wie z. B. einem Fahrzeug 304, oder von einem drahtlosen Kommunikationsnetz, wie z. B. einem Mobilkommunikationsnetz, empfangen. In einer Ausführungsform kann das Fahrzeug 302 Informationen über frühere Zustände oder Orte des Fahrzeugs 304 empfangen. Das Fahrzeug 302 kann z. B. eine Angabe einer Zeitdauer, die das Fahrzeug 304 an der Kreuzung gewartet hat, von dem Fahrzeug 304 oder den Infrastruktursendern 306 empfangen.
4 ist ein schematischer Blockschaltplan, der ein Verfahren 400 zum Bestimmen der Absicht eines Fahrers in einem weiteren Fahrzeug veranschaulicht. Die Wahrnehmungsdaten, wie z. B. die Kameradaten, die LIDAR-Daten, die Radardaten und die Ultraschalldaten, werden bei 402 erhalten, wobei eine Fahrerabsichtskomponente 104 bei 404 das Fahrzeug basierend auf den Wahrnehmungsdaten identifiziert und lokalisiert. Die Fahrerabsichtskomponente 104 kann z. B. einen Bereich oder einen Sichtbereich oder einen Bereich eines Bildes, der einem Fahrzeug entspricht, identifizieren. Die Fahrerabsichtskomponente 104 findet bei 406 einen Bereich von Interesse, der den Fahrer des Fahrzeugs enthält. Der Bereich von Interesse kann ein Fenster, einen Bereich des Fahrzeugs, der einem Fahrersitz entspricht, oder dergleichen enthalten. Die Fahrerabsichtskomponente 104 findet bei 408 außerdem einen Bereich von Interesse, der einen Fahrtrichtungsanzeiger enthält, wie z. B. einen Bereich in der Nähe eines vorderen oder hinteren Stoßfängers, eines Scheinwerfers und/oder einer Schlussleuchte. Die Fahrerabsichtskomponente 104 schätzt bei 410 eine Haltung des Kopfs und eine Blickrichtung und führt bei 412 eine Gestenerkennung aus. Die Fahrerabsichtskomponente 104 bestimmt bei 414 außerdem einen Fahrtrichtungsanzeigerzustand. Die Fahrerabsichtskomponente 104 kann z. B. bei 414 bestimmen, ob ein Fahrtrichtungsanzeiger ausgeschaltet ist oder blinkt.
Die Fahrerabsichtskomponente 104 detektiert bei 416 eine oder mehrere Fahrzeugbewegungen. Bei 416 kann z. B. ein Beschleunigungsereignis, ein Verzögerungsereignis, ein Stoppereignis, ein Abbiegeereignis oder irgendeine andere Bewegung des Fahrzeugs detektiert werden. Die Fahrerabsichtskomponente 104 kann bei 418 außerdem einen oder mehrere vorhergehende Fahrzeugzustände für ein detektiertes Fahrzeug basierend auf den V2V- oder V2X-Daten bei 420 bestimmen. Die vorhergehenden Fahrzeugzustände können z. B. eine Zeitdauer, die sich das Fahrzeug an einem Ort befunden hat, einen oder mehrere vorhergehende Orte, Beschleunigungen, Verzögerungen oder dergleichen enthalten. Basierend auf einer Haltung des Kopfs, einer Blickrichtung, einer detektierten Geste, eines Fahrtrichtungsanzeigerzustands, einer detektierten Fahrzeugbewegung und/oder vorhergehender Fahrzeugzustände interpretiert 422 die Fahrerabsichtskomponente 104 die Absicht eines Fahrers und/oder sagt die Fahrerabsichtskomponente 104 die künftige Bewegung des Fahrzeugs des Fahrers vorher.
5 ist ein schematischer Blockschaltplan, der die Komponenten einer Fahrerabsichtskomponente 104 gemäß einer Ausführungsform veranschaulicht. Die Fahrerabsichtskomponente 104 enthält eine Wahrnehmungsdatenkomponente 502, eine Begrenzungskomponente 504, eine Körpersprachenkomponente 506, eine Fahrtrichtungsanzeigerkomponente 508, eine Komponente 510 für vorhergehende Zustände, eine Fahrzeugbewegungskomponente 512, eine Kreuzungskomponente 514, eine Vorhersagekomponente 516 und eine Fahrmanöverkomponente 518. Die Komponenten 502–518 sind lediglich zur Veranschaulichung angegeben und können nicht alle in allen Ausführungsformen enthalten sein. Tatsächlich können einige Ausführungsformen nur eine oder irgendeine Kombination aus zwei oder mehr der Komponenten 502–518 enthalten. Einige der Komponenten 502–518 können sich außerhalb der Fahrerabsichtskomponente 104, wie z. B. innerhalb des automatisierten Fahr-/Unterstützungssystems 102 oder anderswo, befinden.
Die Wahrnehmungsdatenkomponente 502 ist konfiguriert, die Sensordaten von einem oder mehreren Sensorsystemen des Fahrzeugs zu empfangen. Die Wahrnehmungsdatenkomponente 502 kann z. B. Daten von dem Radarsystem 106, dem LIDAR-System 108, dem Kamerasystem 110, dem GPS 112, dem Ultraschallsystem 114 oder dergleichen empfangen. In einer Ausführungsform können die Wahrnehmungsdaten die Wahrnehmungsdaten für einen oder mehrere Bereiche in der Nähe des Fahrzeugs enthalten. Die Sensoren des Fahrzeugs können z. B. eine 360-Grad-Ansicht um das Fahrzeug bereitstellen. In einer Ausführungsform nimmt das Kamerasystem 110 ein Bild eines Fahrzeugs auf. Das Fahrzeug kann sich z. B. proximal an einem Stammfahrzeug der Fahrerabsichtskomponente 104 befinden. In einer Ausführungsform nimmt das Kamerasystem 110 ein Bild eines proximalen Fahrzeugs in der Nähe einer Kreuzung auf.
Die Begrenzungskomponente 504 ist konfiguriert, einen Unterbereich der Wahrnehmungsdaten zu identifizieren, der einem Fahrer eines Fahrzeugs oder einem Bereich in der Nähe eines Fahrers eines Fahrzeugs entspricht. Die Begrenzungskomponente 504 kann z. B. einen Unterbereich eines Bildes oder eines anderen Sensordatenrahmens identifizieren, der wahrscheinlich einen Fahrer des Fahrzeugs, falls vorhanden, enthält. Der Unterbereich kann groß genug sein, um die Bewegung des Fahrers, wie z. B. die Gesten, zu berücksichtigen. In einer Ausführungsform kann der Unterbereich einem Bereich entsprechen, wo die Körpersprachealgorithmen angewendet werden können, ohne Verarbeitungsleistung zu verschwenden, um die Gesten oder die Fahrer in den Bereichen zu detektieren, wo sie sich wahrscheinlich nicht befinden.
In einer Ausführungsform ist die Begrenzungskomponente 504 konfiguriert, ein oder mehrere Fahrzeuge innerhalb der Bilder oder der anderen Wahrnehmungsdaten zu lokalisieren. Es können z. B. Objekterkennungsalgorithmen verwendet werden, um detektierte Objekte oder Hindernisse als Fahrzeuge zu identifizieren. In einer Ausführungsform kann die Begrenzungskomponente 504 eine Begrenzung des Fahrzeugs identifizieren und Bildpunkte oder Objekte in diesem Bereich als dem Fahrzeug entsprechend identifizieren. Es können Bildverarbeitungsalgorithmen zum Finden von Rändern oder Begrenzungen verwendet werden, um die Ränder des Fahrzeugs zu finden.
In einer Ausführungsform kann die Begrenzungskomponente 504 einen Unterabschnitt des Bildes, der einem Bereich entspricht, wo sich ein Fahrer eines Fahrzeugs befindet oder wahrscheinlich befindet, identifizieren oder definieren. In einer Ausführungsform kann die Begrenzungskomponente 504 innerhalb einer Begrenzung des Fahrzeugs schauen, um eine Begrenzung, die einem Ort des Fahrers entspricht, zu lokalisieren oder zu definieren. In einer Ausführungsform ist die Begrenzungskomponente 504 konfiguriert, den Unterabschnitt des Bildes basierend auf einem Ort eines oder mehrerer Fenster, eines Ortes eines Fahrersitzes oder eines Lenkrads eines Fahrzeugs und/oder eines Ortes eines detektierten Menschen in dem Fahrzeug zu identifizieren. In einer Ausführungsform kann die Begrenzungskomponente 504 eine Begrenzung eines oder mehrerer Fenster identifizieren oder einen Ort eines Vordersitzes auf der Fahrerseite eines Fahrzeugs schätzen. In einer Ausführungsform kann der Unterbereich der Begrenzung eines Fensters entsprechen oder die Begrenzung eines Fensters enthalten. Der Unterbereich kann z. B. eine Begrenzung aufweisen, die einer Begrenzung von einem oder mehreren Fenstern folgt. In einer Ausführungsform kann der Unterbereich eine Begrenzung aufweisen, die etwas größer als ein wahrscheinlicher Bereich ist, wo sich der Fahrer befindet, um die Bewegungen oder einen Fehler beim Definieren der Begrenzung zu berücksichtigen.
In einer Ausführungsform ist die Begrenzungskomponente 504 konfiguriert, einen Unterbereich eines Bildes zu identifizieren, der einen Fahrtrichtungsanzeiger eines Fahrzeugs enthält. Der Unterbereich des Bildes kann z. B. eine Leuchte des Fahrtrichtungsanzeigers enthalten, die an einer Vorderseite, einer Rückseite oder irgendeinem anderen Ort eines Fahrzeugs positioniert ist. In einer Ausführungsform kann der Unterbereich einen Bereich an oder in der Nähe eines Stoßfängers und/oder einen Bereich in der Nähe eines Scheinwerfers oder einer Schlussleuchte des Fahrzeugs enthalten. In einer Ausführungsform kann die Begrenzungskomponente 504 den Unterbereich des Bildes, der den Fahrtrichtungsanzeiger enthält, unter Verwendung von Objekterkennungs- oder Randdetektions-Bildverarbeitungsalgorithmen identifizieren. Die Begrenzungskomponente 504 kann z. B. einen Rand oder eine Begrenzung einer Anzeigeleuchte, eines Scheinwerfers, einer Schlussleuchte oder dergleichen identifizieren. In einer Ausführungsform kann die Begrenzungskomponente 504 einen Bereich, der den Fahrtrichtungsanzeiger umgibt, oder einen Bereich, der größer als der Fahrtrichtungsanzeiger ist, bestimmen, so dass die Zustände des Fahrtrichtungsanzeigers genau bestimmt werden können, selbst wenn die Begrenzung nicht perfekt auf den Fahrtrichtungsanzeiger ausgerichtet oder um den Fahrtrichtungsanzeiger zentriert ist.
Die Körpersprachenkomponente 506 ist konfiguriert, die Körpersprache eines Fahrers zu detektieren. Die Körpersprachenkomponente 506 kann die Körpersprache eines Fahrzeugs durch das Identifizieren der Orientierung des Kopfs eines Fahrers und/oder einer Blickrichtung und/oder einer Geste detektieren. Die Orientierung des Kopfs kann eine Orientierung des Kopfs einer Person sein. Die Orientierung des Kopfs kann z. B. eine Richtung beschreiben, in der sich das Gesicht des Fahrers befindet. Die Orientierung des Kopfs kann als ein oder mehrere Winkel bezüglich eines Orts eines Stammfahrzeugs der Fahrerabsichtskomponente 104 beschrieben werden. Die Winkel können z. B. einen Winkel der Blickrichtung bezüglich einer zwischen einer Mitte eines Fahrzeugs (oder einem anderen Null-Ursprungsort, der durch ein automatisiertes Fahr-/Unterstützungssystem 102 verwendet wird) und dem menschlichen Fahrer gezogenen Linie enthalten. Die Blickrichtung kann eine Richtung enthalten, in der ein Fahrer blickt. In einigen Situationen kann die Blickrichtung einer Orientierung des Kopfes entsprechen, wobei aber die Blickrichtung außerdem verschieden sein kann, falls die Augen des Fahrers nicht geradeaus blicken. Die Blickrichtung kann als ein oder mehrere Winkelversätze von der Orientierung des Kopfes beschrieben werden oder kann als von der Orientierung des Kopfes unabhängige Winkelrichtungen beschrieben werden.
Die Gesten können irgendeinen anderen Typ der Körpersprache enthalten, einschließlich der Gesten, der Bewegungen oder der Positionen, die durch die Hände, die Arme, die Schultern, den Hals, den Leib, das Gesicht, den Kopf oder andere Teile eines Körpers des Fahrers eingenommen werden. Beispielhafte Gesten können Folgendes enthalten: Winkgesten, um einem anderen Fahrer, einem Fußgänger oder einem Radfahrer zu winken, an einer Kreuzung, einer Straßenkreuzung oder einem Zusammenfließen von Fahrspuren weiterzufahren; Kopfbewegungen, die ein Nein oder ein Ja angeben; Halt- oder Stopp-Handsignale, bei denen eine Hand hochgehalten wird, wobei die Handfläche mit den Fingern nach oben einem anderen Fahrzeug oder einer anderen Person zugewandt ist; Zucken mit den Schultern; Kopfbewegungen von Seite zu Seite, um auf kreuzende Fahrzeuge zu prüfen; oder irgendeine andere Geste. Es können weitere Gesten identifiziert werden, einschließlich der Gesten, die über das maschinelle Lernen oder die Analyse von Sensordaten detektiert werden. In einer Ausführungsform kann die Körpersprachenkomponente 506 eine oder mehrere dieser Gesten oder andere Gesten, die von einem Fahrer eines Fahrzeugs in der Nähe ausgeführt werden, detektieren.
In einer Ausführungsform kann die Körpersprachenkomponente 506 Verarbeitungsleistung einsparen, indem sie wenigstens anfangs nur versucht, die Körpersprache innerhalb einer Begrenzung eines Bildes oder eines anderen Wahrnehmungsdatenrahmens, die durch die Begrenzungskomponente 504 bestimmt wird, zu detektieren. Es können z. B. nur die Bildpunkte oder dergleichen innerhalb der Begrenzung durch die Körpersprachendetektionsalgorithmen verarbeitet werden. Weil die Gestenerkennung oder die Erkennung der anderen Körpersprache rechenintensiv sein kann, kann dies zu signifikanten Zeit-, Verarbeitungs- und Energieeinsparungen für die Fahrerabsichtskomponente 104 oder das automatisierte Fahr-/Unterstützungssystem 102 führen.
Die Fahrtrichtungsanzeigerkomponente 508 ist konfiguriert, einen Zustand eines Fahrtrichtungsanzeigers eines proximalen Fahrzeugs zu bestimmen. Die Fahrtrichtungsanzeigerkomponente 508 kann z. B. einen Zustand eines oder mehrerer Fahrtrichtungsanzeiger eines Fahrzeugs, das sich an einer Kreuzung in der Nähe eines Stammfahrzeugs befindet, bestimmen. In einer Ausführungsform kann die Fahrtrichtungsanzeigerkomponente 508 einen oder mehrere durch die Begrenzungskomponente 504 bestimmte Unterbereiche verarbeiten, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen. Die Fahrtrichtungsanzeigerkomponente 508 kann z. B. basierend auf einem oder mehreren Bildern des Fahrtrichtungsanzeigers detektieren, ob ein Fahrtrichtungsanzeiger Licht emittiert oder blinkt. In einer Ausführungsform kann die Fahrtrichtungsanzeigerkomponente 508 bestimmen, ob ein linker Fahrtrichtungsanzeiger und/oder ein rechter Fahrtrichtungsanzeiger eingeschaltet sind oder blinken. Der Fahrtrichtungsanzeigerkomponente 508 kann z. B. bestimmen, ob nur der linke Fahrtrichtungsanzeiger blinkt, nur der rechte Fahrtrichtungsanzeiger blinkt, sowohl der linke Fahrtrichtungsanzeiger als auch der rechte Fahrtrichtungsanzeiger blinken oder weder der linke Fahrtrichtungsanzeiger noch der rechte Fahrtrichtungsanzeiger blinkt.
Die Komponente 510 für vorhergehende Zustände ist konfiguriert, einen oder mehrere vorhergehende Zustände eines Fahrzeugs, wie z. B. eines proximalen Fahrzeugs an einer Kreuzung, zu bestimmen. In einer Ausführungsform kann die Komponente 510 für vorhergehende Zustände die vorhergehenden Zustände bestimmen, die basierend auf den Wahrnehmungsdaten nicht bestimmt werden oder nicht bestimmt werden können. Die Komponente 510 für vorhergehende Zustände kann z. B. den einen oder die mehreren vorhergehenden Zustände eines proximalen Fahrzeugs basierend auf den drahtlosen Kommunikationen, die den einen oder die mehreren vorhergehenden Zustände des proximalen Fahrzeugs angeben, bestimmen. Die drahtlosen Kommunikationen können die V2V- oder die V2X-Kommunikationen enthalten. Die drahtlosen Kommunikationen können einen vorhergehenden Ort des proximalen Fahrzeugs, eine vorhergehende Geschwindigkeit des proximalen Fahrzeugs, eine Zeitdauer, während der sich das proximale Fahrzeug in der Nähe der Kreuzung befunden hat, oder irgendwelche andere Informationen über die vorhergehenden Bewegungen, Orte oder Zustände des proximalen Fahrzeugs angeben.
Die Fahrzeugbewegungskomponente 512 ist konfiguriert, eine oder mehrere Bewegungen eines proximalen Fahrzeugs zu detektieren. Die Fahrzeugbewegungskomponente 512 kann z. B. die Bewegungen des proximalen Fahrzeugs basierend auf den Wahrnehmungsdaten oder anderen Sensordaten, die durch die Wahrnehmungsdatenkomponente 502 empfangen werden, detektieren. In einer Ausführungsform kann die Fahrzeugbewegungskomponente 512 eine oder mehrere Beschleunigungen, Verzögerungen, Abbiegungen oder dergleichen eines proximalen Fahrzeugs bestimmen. In einer Ausführungsform kann die Fahrzeugbewegungskomponente 512 die spezifischen Bewegungen eines proximalen Fahrzeugs detektieren, wie z. B. eine Beschleunigung, schnell gefolgt von einer Verzögerung. Eine Beschleunigung, schnell gefolgt von einer Verzögerung, kann z. B. angeben, dass ein menschlicher Fahrer im Begriff ist, zu fahren, oder dass der menschliche Fahrer zögert, durch eine Kreuzung weiterzufahren. In einer Ausführungsform können die Korrelationen zwischen den Bewegungen und den künftigen Handlungen durch ein von einem Menschen gefahrenes Fahrzeug durch die Vorhersagekomponente 516 bestimmt werden.
Die Körpersprachenkomponente 506, die Fahrtrichtungsanzeigerkomponente 508 und/oder die Fahrzeugbewegungskomponente 512 können Modelle, neuronale Netze, maschinell erlernte Parameter oder dergleichen enthalten, um die Körpersprache, die Fahrtrichtungsanzeigerzustände und die Fahrzeugbewegungen zu detektieren. Geführte oder nicht geführte Algorithmen des maschinellen Lernens können z. B. die Wahrnehmungsdaten von der echten Welt oder von virtuellen Umgebungen verarbeiten, um die Formen, die Bewegungen oder die anderen Bildinhalte zu erlernen, die einer Körpersprache, den Fahrtrichtungsanzeigerzuständen oder der Fahrzeugbewegung entsprechen. Die Ergebnisse dieser Algorithmen des maschinellen Lernens können in Modelle oder Datenbanken für die Verwendung durch die jeweiligen Komponenten aufgenommen werden, um die Körpersprache, die Fahrtrichtungsanzeigerzustände oder die Fahrzeugbewegung während des Fahrens eines Fahrzeugs zu detektieren.
Die Kreuzungskomponente 514 ist konfiguriert, zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet. Die Kreuzungskomponente 514 kann z. B. die Sensordaten verarbeiten, um Straßenkreuzungen, Schilder, Fahrbahnmarkierungen oder aufgemalte Linien, gestoppte Fahrzeuge oder andere Aspekte, die mit einer Kreuzung korreliert sein können, zu lokalisieren. In einer Ausführungsform kann die Kreuzungskomponente 514 auf eine Karte und den GPS-Ort Bezug nehmen, um zu bestimmen, dass sich das Stammfahrzeug an einer Kreuzung befindet oder sich einer Kreuzung nähert. Weil es schwierig sein kann, dass ein autonomes Fahrzeug Fahrentscheidungen an einer Kreuzung trifft, kann die Kreuzungskomponente 514 spezifisch identifizieren, dass das Fahrzeug gemäß einem Kreuzungsszenario arbeiten sollte. Es können z. B. spezifische Fahrregeln für Kreuzungen oder andere Fahrszenarios gelten.
Die Vorhersagekomponente 516 kann basierend auf der Körpersprachenkomponente 506, der Fahrtrichtungsanzeigerkomponente 508, der Komponente 510 für vorhergehende Zustände, der Fahrzeugbewegungskomponente 512 und/oder der Kreuzungskomponente 514 die Absicht eines Fahrers folgern oder die künftigen Bewegungen eines Fahrzeugs in der Nähe vorhersagen. Die Vorhersagekomponente 516 kann z. B. die künftige Bewegung und/oder einen Zeitablauf für die künftige Bewegung basierend auf der Körpersprache eines Fahrers, einem Zustand eines Fahrtrichtungsanzeigers, den vorhergehenden Zuständen eines Fahrzeugs und/oder den detektierten Fahrzeugbewegungen vorhersagen.
In einer Ausführungsform bestimmt die Vorhersagekomponente 516 basierend auf der durch die Körpersprachenkomponente 506 detektierten Körpersprache die Absicht des Fahrers oder sagt sie die künftigen Bewegungen vorher. Die Vorhersagekomponente 516 kann z. B. einen Zeitablauf und eine Bewegung, die der Fahrer auszuführen beabsichtigt, bestimmen. Beispielhafte Bewegungen enthalten ein Abbiegen auf eine andere Straße, das Warten einer Kreuzung, das Einfädeln in den Verkehr, das Ändern der Fahrspuren, das Verlassen einer Straße, das Einfahren auf eine Straße, das Parken eines Fahrzeugs, das Verlassen einer Parklücke oder dergleichen.
In einer Ausführungsform nimmt die Vorhersagekomponente 516 auf eine Datenbank oder ein Modell Bezug oder verarbeitet die Vorhersagekomponente 516 eine Datenbank oder ein Modell, um eine vorhergesagte Bewegung oder eine beabsichtigte Bewegung eines weiteren Fahrzeugs zu bestimmen. Die Vorhersagekomponente 516 kann z. B. eine Datenbank oder ein Modell enthalten oder auf eine Datenbank oder ein Modell zugreifen, die bzw. das die Körpersprache mit einer oder mehreren künftigen Fahrzeugbewegungen korreliert. In einer Ausführungsform kann die Datenbank oder das Modell eine Orientierung des Kopfs und/oder eine Blickrichtung und/oder eine Geste mit einer oder mehreren Fahrzeugbewegungen korrelieren, die wahrscheinlich der Orientierung des Kopfs, der Blickrichtung und/oder der Geste folgend stattfinden.
In einer Ausführungsform kann die Datenbank oder das Modell künftige Fahrzeugbewegungen mit einer Winkbewegung einer Hand und/oder einer Handgeste, die eine dem Fahrzeug zugewandte Handfläche mit den Fingern nach oben umfasst, und/oder einer Blickrichtung des Fahrers während eines Schwellenzeitraums (wie z. B. wenn ein Fahrer auf ein weiteres Fahrzeug starrt und wartet, dass das Fahrzeug fährt, oder wenn ein Fahrer geradeaus starrt, um vorwärts zu fahren oder weiterhin vorwärts zu fahren, eine Folge von Handbewegungen und eine Folge von schnellen Änderungen der Blickrichtung (z. B. das Überprüfen des kreuzenden Verkehrs)) korrelieren. In einer Ausführungsform kann die Datenbank oder das Modell eine Korrelation zwischen einer Blickrichtung und einer künftigen Fahrtrichtung enthalten. Das Modell kann z. B. eine Korrelation zwischen einem Fahrer, der in einer spezifischen Richtung blickt, gefolgt von einer Fahrzeugbewegung in dieser spezifischen Richtung angeben. In einer Ausführungsform korreliert die Datenbank oder das Modell das Blicken über eine Schulter mit einer künftigen Fahrzeugbewegung, die einen Fahrspurwechsel oder ein Abbiegen umfasst. In einer Ausführungsform kann die Datenbank oder das Modell eine oder mehrere maschinell erlernte Regeln oder Korrelationen enthalten. Die Datenbank oder das Modell kann z. B. Korrelationen und Wahrscheinlichkeiten basierend auf den tatsächlichen Sensordaten, der Orientierung des Kopfs, den Blickrichtungen und den Gesten, die von einer Maschine erlernt worden sind, enthalten.
In einer Ausführungsform korreliert die Datenbank oder das Modell außerdem eine Absicht eines Fahrers oder ein künftiges Fahrmanöver basierend auf einem aktuellen Fahrkontext. Einige Gesten können z. B. darauf basierend, ob das Fahrzeug in der Nähe oder das Stammfahrzeug an einer Kreuzung gestoppt ist, sich einer Kreuzung nähert, eine Straße mit einem oder mehreren Fahrzeugen in der Nähe hinunterfährt, sich auf eine Straße einfädelt, eine Straße verlässt, auf eine Parkfläche oder in eine Parklücke fährt, eine Parkfläche oder eine Parklücke verlässt oder dergleichen, verschiedene Dinge bedeuten. Folglich können die Gesten und der aktuelle Fahrkontext verwendet werden, um eine Absicht eines Fahrers genau zu folgern oder ein künftiges Fahrmanöver vorherzusagen. Die Vorhersagekomponente 516 kann die vorhergesagten Fahrmanöver oder die Absicht des Fahrers der Fahrmanöverkomponente 518 oder dem automatisierten Fahr-/Unterstützungssystem 102 zum Treffen der Entscheidungen für die Manöver oder Maßnahmen, die durch das automatisierte Fahr-/Unterstützungssystem 102 oder ein Stammfahrzeug zu ergreifen sind, bereitstellen.
In einer Ausführungsform bestimmt die Vorhersagekomponente 516 die Absicht des Fahrers oder sagt die Vorhersagekomponente 516 die künftigen Bewegungen des Fahrzeugs basierend auf einem Zustand eines Fahrtrichtungsanzeigers, der durch die Fahrtrichtungsanzeigerkomponente 508 bestimmt wird, vorher. Die Vorhersagekomponente 516 kann z. B. einen Zeitablauf und eine Richtung des Fahrens des Fahrzeugs, um durch die Kreuzung zu fahren, vorhersagen. In einer Ausführungsform nimmt die Vorhersagekomponente 516 auf die Datenbank oder das Modell Bezug oder verarbeitet die Vorhersagekomponente 516 die Datenbank oder das Modell, um die vorhergesagte Bewegung oder die beabsichtigte Bewegung eines weiteren Fahrzeugs zu bestimmen. Die Vorhersagekomponente 516 kann z. B. eine Datenbank oder ein Modell enthalten oder auf eine Datenbank oder ein Modell zugreifen, die bzw. das die Fahrtrichtungsanzeigerstatus mit einer oder mehreren künftigen Fahrzeugbewegungen korreliert. In einer Ausführungsform kann die Datenbank oder das Modell eine Blinklichtrichtung mit dem Fahrzeug, das in dieser Richtung durch die Kreuzung abbiegt, korrelieren. In einer Ausführungsform kann die Datenbank oder das Modell ein Blinken der Warnblinklichter (z. B. beide Fahrtrichtungsanzeiger blinken) mit einem Fahrzeug korrelieren, das sich schnell durch die Kreuzung in einer unvorhersagbaren Richtung bewegt, ohne gemäß normalen Protokollen zu warten. Folglich kann ein früherer Zeitablauf für das Fahrzeug mit den blinkenden Warnblinklichtern, um sich durch die Kreuzung zu bewegen, vorhergesagt werden.
In einer Ausführungsform bestimmt die Vorhersagekomponente 516 die Absicht des Fahrers oder sagt die Vorhersagekomponente 516 die künftigen Bewegungen des Fahrzeugs basierend auf einem oder mehreren vorhergehenden Zuständen des proximalen Fahrzeugs, die durch die Komponente 510 für vorhergehende Zustände bestimmt werden, vorher. Die Vorhersagekomponente 516 kann z. B. einen Zeitablauf und eine Richtung des Fahrens des Fahrzeugs, um durch die Kreuzung zu fahren, vorhersagen. In einer Ausführungsform nimmt die Vorhersagekomponente 516 auf die Datenbank oder das Modell Bezug oder verarbeitet die Vorhersagekomponente 516 die Datenbank oder das Modell, um die vorhergesagte Bewegung oder die beabsichtigte Bewegung eines weiteren Fahrzeugs zu bestimmen. Die Vorhersagekomponente 516 kann z. B. eine Datenbank oder ein Modell enthalten oder auf eine Datenbank oder ein Modell zugreifen, die bzw. das die vorhergehenden Zustände eines Fahrzeugs mit einer oder mehreren künftigen Fahrzeugbewegungen korreliert. In einer Ausführungsform kann die Datenbank oder das Modell eine längere Wartezeit eines Fahrzeugs an der Kreuzung mit einer zeitlich schnelleren Bewegung durch die Kreuzung korrelieren. In einer Ausführungsform kann bestimmt werden, dass ein Fahrzeug, das sich über einen Schwellenzeitraum hinaus in der Nähe der Kreuzung befunden hat, geparkt ist oder nicht richtig funktioniert. Folglich kann die Vorhersagekomponente 516 bestimmen, dass das Fahrzeug, das länger als der Schwellenzeitraum gewartet hat, sogar während eines noch längeren Zeitraums vor dem Weiterfahren durch die Kreuzung warten kann. Die Vorhersagekomponente 516 kann außerdem künftige Bewegungen des proximalen Fahrzeugs basierend auf vorhergehenden Orten, Beschleunigungen, Verzögerungen oder dergleichen vorhersagen.
In einer Ausführungsform bestimmt die Vorhersagekomponente 516 die Absicht des Fahrers oder sagt die Vorhersagekomponente 516 die künftigen Bewegungen basierend auf den detektierten Bewegungen des Fahrzeugs, die durch die Fahrzeugbewegungskomponente 512 bestimmt werden, vorher. Die Vorhersagekomponente 516 kann z. B. einen Zeitablauf und eine Fahrtrichtung für das Fahrzeug vorhersagen, um durch die Kreuzung zu fahren. In einer Ausführungsform nimmt die Vorhersagekomponente 516 auf die Datenbank oder das Modell Bezug oder verarbeitet die Vorhersagekomponente 516 die Datenbank oder das Modell, um die vorhergesagte Bewegung oder die beabsichtigte Bewegung eines weiteren Fahrzeugs zu bestimmen. Die Vorhersagekomponente 516 kann z. B. eine Datenbank oder ein Modell enthalten oder auf eine Datenbank oder ein Modell zugreifen, die bzw. das eine oder mehrere detektierte Bewegungen mit einer oder mehreren künftigen Bewegungen korreliert. Die Datenbank kann z. B. eine Beschleunigung, eine Geschwindigkeit, eine Verzögerung oder andere Bewegungsinformationen mit einer vorhergesagten weiteren Bewegung durch eine Kreuzung enthalten.
In einer Ausführungsform kann die Vorhersagekomponente 516 die Absicht eines Fahrers oder eine künftige Bewegung eines Fahrzeugs basierend auf einer Kombination der Daten von der Körpersprachenkomponente 506, der Fahrtrichtungsanzeigerkomponente 508, der Komponente 510 für vorhergehende Zustände, der Fahrzeugbewegungskomponente 512 und der Kreuzungskomponente 514 bestimmen. Das Modell oder die Datenbank können z. B. die Werte oder Korrelationen des maschinellen Lernens basierend auf der Bewegung eines oder mehrerer Fahrzeuge, der Körpersprache des Fahrers, der vorhergehenden Fahrzeugzustände und der Fahrtrichtungsanzeigerinformationen während vorhergehender Kreuzungsfahrszenarios enthalten. Folglich kann die Vorhersagekomponente 516 die künftigen Bewegungen basierend auf einer Kombination aus einer Körpersprache und/oder einem Fahrtrichtungsanzeigerstatus und/oder vorhergehenden Zuständen und/oder Fahrzeugbewegungen und/oder dem Ort an einer Kreuzung vorhersagen.
Die Fahrmanöverkomponente 518 ist konfiguriert, ein Fahrmanöver für ein Stammfahrzeug basierend auf der vorhergesagten Absicht des Fahrers oder des künftigen Fahrmanövers eines weiteren Fahrzeugs zu wählen. Die Fahrmanöverkomponente 518 kann z. B. ein oder mehrere vorhergesagte Fahrmanöver für ein oder mehrere Fahrzeuge in der Nähe von der Vorhersagekomponente 516 empfangen. Das Fahrmanöver kann einen Fahrweg bestimmen, um einen Zusammenstoß mit den anderen Fahrzeugen zu vermeiden, falls sie die vorhergesagten Fahrmanöver ausführen. Die Fahrmanöverkomponente 518 kann z. B. bestimmen, ob zu verzögern, zu beschleunigen und/oder ein Lenkrad des Stammfahrzeugs zu drehen ist. In einer Ausführungsform kann die Fahrmanöverkomponente 518 einen Zeitablauf für das Fahrmanöver bestimmen. Die Fahrmanöverkomponente 518 kann z. B. bestimmen, dass ein Stammfahrzeug an einer Kreuzung während eines Zeitraums warten sollte, weil ein weiteres Fahrzeug wahrscheinlich während dieses Zeitraums durch die Kreuzung weiterfährt. Als ein weiteres Beispiel kann die Fahrmanöverkomponente 518 einen Zeitablauf für das Stammfahrzeug, um durch die Kreuzung weiterzufahren, basierend auf der vorhergesagten künftigen Bewegung des proximalen Fahrzeugs bestimmen.
In 6 ist eine schematische graphische Darstellung eines Ablaufplans eines Verfahrens 600 zum Vorhersagen einer Bewegung eines Fahrzeugs gemäß einer Ausführungsform veranschaulicht. Das Verfahren 600 kann durch ein automatisiertes Fahr-/Unterstützungssystem oder eine Fahrerabsichtskomponente, wie z. B. das automatisierte Fahr-/Unterstützungssystem 102 nach 1 oder die Fahrerabsichtskomponente 104 nach den 1 oder 5, ausgeführt werden.
Das Verfahren 600 beginnt, wobei bei 602 eine Kreuzungskomponente 514 bestimmt, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet. Eine Begrenzungskomponente 504 identifiziert bei 604 einen Unterabschnitt des Bildes, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält. Eine Vorhersagekomponente 516 sagt bei 606 die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorher.
In 7 ist eine schematische graphische Darstellung eines Ablaufplans eines Verfahrens 700 zum Vorhersagen einer Bewegung eines Fahrzeugs gemäß einer Ausführungsform veranschaulicht. Das Verfahren 700 kann durch ein automatisiertes Fahr-/Unterstützungssystem oder eine Fahrerabsichtskomponente, wie z. B. das automatisierte Fahr-/Unterstützungssystem 102 nach 1 oder die Fahrerabsichtskomponente 104 nach den 1 oder 5, ausgeführt werden.
Das Verfahren 700 beginnt, wobei bei 702 eine Wahrnehmungsdatenkomponente 502 ein Bild eines proximalen Fahrzeugs in der Nähe einer Kreuzung empfängt. Das proximale Fahrzeug kann sich z. B. in der Nähe eines Stammfahrzeugs einer Fahrerabsichtskomponente 104 befinden. Eine Begrenzungskomponente 504 identifiziert bei 704 einen Unterabschnitt des Bildes, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält. Die Begrenzungskomponente 504 identifiziert bei 706 einen Unterabschnitt des Bildes, der einen Fahrer des proximalen Fahrzeugs enthält. Die Vorhersagekomponente 516 sagt bei 708 eine künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers und der Körpersprache des Fahrers vorher. Eine Fahrmanöverkomponente 518 bestimmt bei 710 basierend auf der vorhergesagten künftigen Bewegung des proximalen Fahrzeugs einen Zeitpunkt, zu dem das Stammfahrzeug durch die Kreuzung weiterfährt.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Das Beispiel 1 ist ein System, das eine Kreuzungskomponente, ein Kamerasystem, eine Begrenzungskomponente und eine Vorhersagekomponente enthält. Die Kreuzungskomponente ist konfiguriert, zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet. Das Kamerasystem ist konfiguriert, ein Bild eines proximalen Fahrzeugs aufzunehmen. Die Begrenzungskomponente ist konfiguriert, einen Unterabschnitt des Bildes zu identifizieren, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält. Die Vorhersagekomponente ist konfiguriert, die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorherzusagen.
Im Beispiel 2 enthält das System nach Beispiel 1 ferner eine Fahrtrichtungsanzeigerkomponente, die konfiguriert ist, die Bilddaten in dem Unterabschnitt des Bildes zu verarbeiten, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen.
Im Beispiel 3 enthält das System nach einem der Beispiele 1–2 ferner eine Komponente für vorhergehende Zustände, die konfiguriert ist, einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs basierend auf den drahtlosen Kommunikationen, die einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs angeben, zu bestimmen. Die Vorhersagekomponente ist konfiguriert, die künftigen Bewegungen des Fahrzeugs basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs vorherzusagen.
Im Beispiel 4 enthält die drahtlose Kommunikation im Beispiel 3 eine oder mehrere von einer V2V-Kommunikation und einer V2X-Kommunikation.
Im Beispiel 5 geben der eine oder die mehreren vorhergehenden Zustände in einem der Beispiele 3–4 eine Zeitdauer an, während der sich das proximale Fahrzeug in der Nähe der Kreuzung befunden hat.
Im Beispiel 6 enthält das System nach einem der Beispiele 1–5 ferner eine Fahrzeugbewegungskomponente, die konfiguriert ist, eine oder mehrere Fahrzeugbewegungen des proximalen Fahrzeugs zu bestimmen. Die Vorhersagekomponente ist konfiguriert, die künftigen Bewegungen des proximalen Fahrzeugs basierend auf der einen oder den mehreren Fahrzeugbewegungen des proximalen Fahrzeugs vorherzusagen.
Im Beispiel 7 ist die Begrenzungskomponente in einem der Beispiele 1–6 ferner konfiguriert, einen Unterabschnitt des Bildes, der einem Ort eines Fahrers entspricht, zu identifizieren. Das System enthält ferner eine Körpersprachenkomponente, die konfiguriert ist, die Körpersprache eines Fahrers durch das Identifizieren der Orientierung des Kopfes eines Fahrers und/oder einer Blickrichtung und/oder einer Geste zu detektieren. Die Vorhersagekomponente ist konfiguriert, die künftigen Bewegungen des Fahrzeugs basierend auf der Körpersprache des Fahrers vorherzusagen.
Das Beispiel 8 ist ein computerimplementiertes Verfahren. Das Verfahren enthält das Empfangen eines Bildes eines proximalen Fahrzeugs in der Nähe einer Kreuzung und das Speichern des Bildes in einem Computerspeicher. Das Verfahren enthält das Identifizieren unter Verwendung eines oder mehrerer Prozessoren eines Unterabschnitts des Bildes, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält, und das Identifizieren unter Verwendung des einen oder der mehreren Prozessoren eines Unterabschnitts des Bildes, der einen Fahrer des proximalen Fahrzeugs enthält. Das Verfahren enthält das Vorhersagen unter Verwendung des einen oder der mehreren Prozessoren einer künftigen Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers und der Körpersprache des Fahrers. Das Verfahren enthält das Bestimmen unter Verwendung des einen oder der mehreren Prozessoren eines Zeitablaufs für das Stammfahrzeug, um durch die Kreuzung weiterzufahren, basierend auf der vorhergesagten künftigen Bewegung des proximalen Fahrzeugs. Das Verfahren enthält, das Stammfahrzeug basierend auf dem bestimmten Zeitpunkt, um durch die Kreuzung weiterzufahren, zu veranlassen, ein Fahrmanöver auszuführen.
Im Beispiel 9 enthält das Verfahren nach Beispiel 8 ferner das Bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet.
Im Beispiel 10 enthält das Verfahren nach einem der Beispiele 8–9 ferner das Verarbeiten von Bilddaten in dem Unterabschnitt des Bildes, der einen Fahrtrichtungsanzeiger enthält, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen, und das Verarbeiten von Bilddaten in dem Unterabschnitt des Bildes, der einen Fahrer des proximalen Fahrzeugs enthält, um die Körpersprache des Fahrers zu bestimmen.
Im Beispiel 11 enthält das Bestimmen der Körpersprache des Fahrers im Beispiel 10 das Identifizieren der Orientierung des Kopfes eines Fahrers und/oder einer Blickrichtung und/oder einer Geste.
Im Beispiel 12 enthält das Verfahren nach einem der Beispiele 8–11 ferner das Bestimmen eines oder mehrerer vorhergehender Zustände des proximalen Fahrzeugs basierend auf einer drahtlosen Kommunikation. Das Vorhersagen der künftigen Bewegungen des proximalen Fahrzeugs enthält das Vorhersagen basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs.
Im Beispiel 13 enthält die drahtlose Kommunikation nach Beispiel 12 eine oder mehrere von einer V2V-Kommunikation und einer V2X-Kommunikation.
Im Beispiel 14 enthält das Verfahren nach einem der Beispiele 8–13 ferner das Detektieren einer oder mehrerer Fahrzeugbewegungen des proximalen Fahrzeugs. Das Vorhersagen der künftigen Bewegungen des proximalen Fahrzeugs enthält das Vorhersagen basierend auf der einen oder den mehreren Fahrzeugbewegungen des proximalen Fahrzeugs.
Im Beispiel 15 enthält das Verfahren nach einem der Beispiele 8–14 ferner das Zugreifen auf ein Modell oder eine Datenbank oder das Verarbeiten eines Modells oder einer Datenbank, das bzw. die den Zustand des Fahrtrichtungsanzeigers und die Körpersprache des Fahrers mit der vorhergesagten künftigen Bewegung korreliert.
Im Beispiel 16 enthält das Modell oder die Datenbank nach Beispiel 15 die Werte oder Korrelationen des maschinellen Lernens basierend auf der Bewegung eines oder mehrerer Fahrzeuge, der Körpersprache des Fahrers und der Fahrtrichtungsanzeigerinformationen während vorhergehender Kreuzungsfahrszenarios.
Das Beispiel 17 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren veranlassen, zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet. Die Anweisungen veranlassen den Prozessor, mehrere Bilder eines proximalen Fahrzeugs aufzunehmen. Die Anweisungen veranlassen den Prozessor, einen Unterbereich in jedem der mehreren Bilder, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält, zu identifizieren. Die Anweisungen veranlassen ferner den Prozessor, die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorherzusagen.
Im Beispiel 18 veranlassen die Anweisungen nach Beispiel 17 ferner den Prozessor, die Bilddaten in dem Unterabschnitt der mehreren Bilder zu verarbeiten, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen.
Im Beispiel 19 veranlassen die Anweisungen nach einem der Beispiele 17–18 ferner den Prozessor zu Folgendem: einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs basierend auf drahtlosen Kommunikationen, die den einen oder die mehreren vorhergehenden Zustände des proximalen Fahrzeugs angeben, zu bestimmen; und die künftigen Bewegungen des Fahrzeugs basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs vorherzusagen.
Im Beispiel 20 veranlassen die Anweisungen nach einem der Beispiele 17–19 ferner den Prozessor zu Folgendem: einen Unterabschnitt des Bildes, der einem Ort eines Fahrers entspricht, zu identifizieren; die Körpersprache eines Fahrers durch das Identifizieren der Orientierung des Kopfs eines Fahrers und/oder einer Blickrichtung und/oder einer Geste zu detektieren; und die künftigen Bewegungen des Fahrzeugs basierend auf der Körpersprache des Fahrers vorherzusagen.
Es sollte angegeben werden, dass die oben erörterten Sensorausführungsformen Computer-Hardware, -Software oder -Firmware oder irgendeine Kombination daraus umfassen können, um wenigstens einen Abschnitt ihrer Funktionen auszuführen. Ein Sensor kann z. B. Computer-Code enthalten, der konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logik/eine elektrische Schaltungsanordnung enthalten, die durch den Computer-Code gesteuert ist. Diese beispielhaften Vorrichtungen sind hier für Veranschaulichungszwecke bereitgestellt und nicht vorgesehen, um einschränkend zu sein. Die Ausführungsformen der vorliegenden Offenbarung können in weiteren Typen von Vorrichtungen implementiert werden, wie es den Fachleuten auf dem relevanten Gebiet (den relevanten Gebieten) bekannt ist.
Die Ausführungsformen der Offenbarung sind auf Computerprogrammprodukte gerichtet gewesen, die eine derartige Logik (z. B. in der Form von Software) umfassen, die in irgendeinem computerverwendbaren Medium gespeichert ist. Derartige Software, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, veranlasst eine Vorrichtung, so zu arbeiten, wie hier beschrieben ist.
Während oben verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben worden sind, sollte es selbstverständlich sein, dass sie lediglich beispielhaft und nicht zur Einschränkung dargestellt worden sind. Es ist für die Fachleute auf dem relevanten Gebiet offensichtlich, dass verschiedene Änderungen an der Form und den Einzelheiten daran ausgeführt werden können, ohne vom Erfindungsgedanken und Schutzumfang der Offenbarung abzuweichen. Folglich sollten die Breite und der Schutzumfang der vorliegenden Offenbarung nicht durch irgendeine der oben beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern sie sollten nur gemäß den folgenden Ansprüchen und ihren Äquivalenten definiert werden. Die vorhergehende Beschreibung ist für die Zwecke der Veranschaulichung und Beschreibung dargestellt worden. Sie ist nicht vorgesehen, erschöpfend zu sein oder die Offenbarung auf die genaue offenbarte Form einzuschränken. In Anbetracht der obigen Lehren sind viele Modifikationen und Variationen möglich. Ferner sollte angegeben werden, dass irgendwelche oder alle der obenerwähnten alternativen Implementierungen in irgendeiner Kombination verwendet werden können, die gewünscht ist, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
Obwohl spezifische Implementierungen der Offenbarung beschrieben und veranschaulicht worden sind, ist die Offenbarung ferner nicht auf die spezifischen Formen oder Anordnungen der Teile, die so beschrieben und veranschaulicht worden sind, eingeschränkt. Der Schutzumfang der Offenbarung soll durch die hier beigefügten Ansprüche und irgendwelche zukünftigen Ansprüche, die hier und in anderen Anwendungen eingereicht werden, und ihre Äquivalente definiert sein.

Claims

System, das Folgendes umfasst: eine Kreuzungskomponente, die konfiguriert ist, zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet; ein Kamerasystem, das konfiguriert ist, ein Bild eines proximalen Fahrzeugs aufzunehmen; eine Begrenzungskomponente, die konfiguriert ist, einen Unterabschnitt des Bildes zu identifizieren, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält; und eine Vorhersagekomponente, die konfiguriert ist, die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorherzusagen.
System nach Anspruch 1, das ferner eine Fahrtrichtungsanzeigerkomponente umfasst, die konfiguriert ist, die Bilddaten in dem Unterabschnitt des Bildes zu verarbeiten, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen.
System nach Anspruch 1, das ferner eine Komponente für vorhergehende Zustände umfasst, die konfiguriert ist, einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs basierend auf den drahtlosen Kommunikationen, die einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs angeben, zu bestimmen, wobei die Vorhersagekomponente konfiguriert ist, die künftigen Bewegungen des proximalen Fahrzeugs basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs vorherzusagen.
System nach Anspruch 3, wobei die drahtlose Kommunikation eine oder mehrere von einer Fahrzeug-zu-Fahrzeug-Kommunikation (V2V-Kommunikation) und einer Fahrzeug-zur-Infrastruktur-Kommunikation (V2X-Kommunikation) umfasst.
System nach Anspruch 3, wobei der eine oder die mehreren vorhergehenden Zustände eine Zeitdauer angeben, während der sich das proximale Fahrzeug in der Nähe der Kreuzung befunden hat.
System nach Anspruch 1, das ferner eine Fahrzeugbewegungskomponente umfasst, die konfiguriert ist, eine oder mehrere Fahrzeugbewegungen des proximalen Fahrzeugs zu bestimmen, wobei die Vorhersagekomponente konfiguriert ist, die künftigen Bewegungen des proximalen Fahrzeugs basierend auf der einen oder den mehreren Fahrzeugbewegungen des proximalen Fahrzeugs vorherzusagen.
System nach Anspruch 1, wobei die Begrenzungskomponente ferner konfiguriert ist, einen Unterabschnitt des Bildes, der einem Ort eines Fahrers entspricht, zu identifizieren, wobei das System ferner eine Körpersprachenkomponente umfasst, die konfiguriert ist, die Körpersprache eines Fahrers durch das Identifizieren der Orientierung des Kopfes eines Fahrers und/oder einer Blickrichtung und/oder einer Geste zu detektieren, wobei die Vorhersagekomponente konfiguriert ist, die künftigen Bewegungen des proximalen Fahrzeugs basierend auf der Körpersprache des Fahrers vorherzusagen.
Computerimplementiertes Verfahren, das Folgendes umfasst: Empfangen eines Bildes eines proximalen Fahrzeugs in der Nähe einer Kreuzung und Speichern des Bildes in einem Computerspeicher; Identifizieren unter Verwendung eines oder mehrerer Prozessoren eines Unterabschnitts des Bildes, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält; Identifizieren unter Verwendung des einen oder der mehreren Prozessoren eines Unterabschnitts des Bildes, der einen Fahrer des proximalen Fahrzeugs enthält; Vorhersagen unter Verwendung des einen oder der mehreren Prozessoren einer künftigen Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers und der Körpersprache des Fahrers; Bestimmen unter Verwendung des einen oder der mehreren Prozessoren eines Zeitablaufs für ein Stammfahrzeug, um durch die Kreuzung weiterzufahren, basierend auf der vorhergesagten künftigen Bewegung des proximalen Fahrzeugs; und Veranlassen des Stammfahrzeugs basierend auf dem bestimmten Zeitpunkt, um durch die Kreuzung weiterzufahren, ein Fahrmanöver auszuführen.
Verfahren nach Anspruch 8, das ferner das Bestimmen umfasst, dass sich das Stammfahrzeug in der Nähe einer Kreuzung befindet.
Verfahren nach Anspruch 8, das ferner das Verarbeiten von Bilddaten in dem Unterabschnitt des Bildes, der den Fahrtrichtungsanzeiger enthält, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen, und das Verarbeiten von Bilddaten in dem Unterabschnitt des Bildes, der einen Fahrer des proximalen Fahrzeugs enthält, um die Körpersprache des Fahrers zu bestimmen, umfasst.
Verfahren nach Anspruch 10, wobei das Bestimmen der Körpersprache des Fahrers das Identifizieren der Orientierung des Kopfes eines Fahrers und/oder einer Blickrichtung und/oder einer Geste umfasst.
Verfahren nach Anspruch 8, das ferner das Bestimmen eines oder mehrerer vorhergehender Zustände des proximalen Fahrzeugs basierend auf einer drahtlosen Kommunikation umfasst, wobei das Vorhersagen der künftigen Bewegungen des proximalen Fahrzeugs das Vorhersagen basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs umfasst.
Verfahren nach Anspruch 12, wobei die drahtlose Kommunikation eine oder mehrere von einer Fahrzeug-zu-Fahrzeug-Kommunikation (V2V-Kommunikation) und einer Fahrzeug-zur-Infrastruktur-Kommunikation (V2X-Kommunikation) umfasst.
Verfahren nach Anspruch 8, das ferner das Detektieren einer oder mehrerer Fahrzeugbewegungen des proximalen Fahrzeugs umfasst, wobei das Vorhersagen der künftigen Bewegungen des proximalen Fahrzeugs das Vorhersagen basierend auf der einen oder den mehreren Fahrzeugbewegungen des proximalen Fahrzeugs umfasst.
Verfahren nach Anspruch 8, das ferner das Zugreifen auf ein Modell oder eine Datenbank oder das Verarbeiten eines Modells oder einer Datenbank, das bzw. die den Zustand des Fahrtrichtungsanzeigers und die Körpersprache des Fahrers mit der vorhergesagten künftigen Bewegung korreliert, umfasst.
Verfahren nach Anspruch 15, wobei das Modell oder die Datenbank die Werte oder Korrelationen des maschinellen Lernens basierend auf der Bewegung eines oder mehrerer Fahrzeuge, der Körpersprache des Fahrers und der Fahrtrichtungsanzeigerinformationen während vorhergehender Kreuzungsfahrszenarios umfasst.
Computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren zu Folgendem veranlassen: zu bestimmen, dass sich ein Stammfahrzeug in der Nähe einer Kreuzung befindet; mehrere Bilder eines proximalen Fahrzeugs aufzunehmen; einen Unterbereich in jedem der mehreren Bilder, der einen Fahrtrichtungsanzeiger an dem proximalen Fahrzeug enthält, zu identifizieren; und die künftige Bewegung des proximalen Fahrzeugs durch die Kreuzung basierend auf einem Zustand des Fahrtrichtungsanzeigers vorherzusagen.
Computerlesbares Speichermedium nach Anspruch 17, wobei die Anweisungen den Prozessor ferner veranlassen, Bilddaten in dem Unterabschnitt der mehreren Bilder zu verarbeiten, um den Zustand des Fahrtrichtungsanzeigers zu bestimmen.
Computerlesbares Speichermedium nach Anspruch 17, wobei die Anweisungen den Prozessor ferner zu Folgendem veranlassen: einen oder mehrere vorhergehende Zustände des proximalen Fahrzeugs basierend auf drahtlosen Kommunikationen, die den einen oder die mehreren vorhergehenden Zustände des proximalen Fahrzeugs angeben, zu bestimmen; und die künftigen Bewegungen des proximalen Fahrzeugs basierend auf dem einen oder den mehreren vorhergehenden Zuständen des proximalen Fahrzeugs vorherzusagen.
Computerlesbares Speichermedium nach Anspruch 17, wobei die Anweisungen den Prozessor ferner zu Folgendem veranlassen: einen Unterabschnitt des Bildes, der einem Ort eines Fahrers entspricht, zu identifizieren; die Körpersprache eines Fahrers durch das Identifizieren der Orientierung des Kopfs eines Fahrers und/oder einer Blickrichtung und/oder einer Geste zu detektieren; und die künftigen Bewegungen des proximalen Fahrzeugs basierend auf der Körpersprache des Fahrers vorherzusagen.