-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung bezieht sich auf Fahrzeugsysteme und insbesondere auf Systeme und Verfahren, die tote Winkel von sich in der Nähe befindenden Fahrzeugen erfassen.
-
HINTERGRUND
-
Automobile und andere Fahrzeuge stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. In Bereichen mit hohem Verkehrsaufkommen oder eingeschränkter Sicht ist es wichtig, die Lage von toten Winkeln von Fahrzeugen im Umgebungsbereich nachvollziehen zu können. Das primäre Fahrzeug kann durch Erfassen von toten Winkeln von Fahrzeugen im Umgebungsbereich seine Fahrtätigkeiten anpassen, um den toten Winkel eines anderen Fahrzeugs zu meiden oder die Zeit zu minimieren, in der durch den toten Winkel des anderen Fahrzeugs gefahren wird. Bestehende Systeme ermöglichen es Fahrzeugen, ihre eigenen toten Winkel zu erfassen, identifizieren jedoch keine toten Winkel von anderen Fahrzeugen.
-
Die Vielfalt von Fahrzeugen auf einer typischen Straße weist verschiedene Größen und Formen sowie verschiedene Fahrerpositionen in Bezug auf die Seitenspiegel und Fenster des Fahrzeugs auf. Des Weiteren weisen unterschiedliche Fahrzeuge verschiedene Größen und Formen von Seitenspiegeln auf. All diese Variationen sorgen für unterschiedliche tote Winkel (oder Bereiche toter Winkel) für jedes einzigartige Fahrzeug.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Es werden nicht beschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszahlen auf gleiche Teile beziehen, es sei denn, dies wird anders angegeben.
-
1 ist ein Blockschaubild, das eine Ausführungsform eines Fahrzeugsteuersystems darstellt, das ein automatisiertes Fahr-/Assistenzsystem einschließt.
-
2 ist ein Blockschaubild, das eine Ausführungsform eines Systems zur Erfassung von toten Winkeln darstellt.
-
3 stellt ein Beispiel für eine mehrspurige Straße mit mehreren Fahrzeugen dar, die in die gleiche Richtung fahren.
-
4 stellt ein weiteres Beispiel für eine mehrspurige Straße mit mehreren Fahrzeugen dar, die in die gleiche Richtung fahren.
-
5 stellt ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs dar, das einen Fahrer zeigt, der in den Seitenspiegel schaut.
-
6 stellt ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs dar, das einen Fahrer zeigt, der von dem Seitenspiegel wegschaut.
-
7 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zur Erfassung von toten Winkeln eines sekundären Fahrzeugs darstellt.
-
8 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zur Bestimmung, ob ein Fahrer eines sekundären Fahrzeugs zu dem primären Fahrzeug schaut, darstellt.
-
DETAILLIERTE BESCHREIBUNG
-
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Umsetzungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung durchgeführt werden kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform eine bestimmte Funktion, Struktur oder Eigenschaft einschließen kann; nicht jede Ausführungsform muss jedoch notwendigerweise diese bestimmte Funktion, Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Formulierungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner wird geltend gemacht, dass, wenn eine bestimmte Funktion, Struktur oder Eigenschaft in Zusammenhang mit einer Ausführungsform beschrieben wird, es dem Wissensstand eines Fachmannes entspricht, eine solche Funktion, Struktur oder Eigenschaft in Zusammenhang mit anderen Ausführungsformen zu bewirken, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
-
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie zum Beispiel einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Weiterleiten oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien(-geräte). Bei computerlesbaren Medien, die computerausführbare Anweisungen weiterleiten, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-geräte) und Übertragungsmedien.
-
Computerspeichermedien(-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium ein, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
-
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder einer Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einem Computer bereitgestellt oder auf diesen übertragen werden, zeigt der Computer die Verbindung dementsprechend als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen einschließen, die verwendet werden können, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den oben Genannten sollten ebenfalls in den Umfang computerlesbarer Medien eingeschlossen werden.
-
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wird, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die hierin beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
-
Der Fachmann kann nachvollziehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handgeräten, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichergeräten und dergleichen. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
-
Ferner können die hierin beschriebene Funktionen gegebenenfalls in einem oder mehreren von Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann nachvollziehen kann, kann auf Komponenten durch die Verwendung verschiedener Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
-
Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil der Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode einschließen, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung einschließen, die durch den Computercode gesteuert wird. Diese Vorrichtungsbeispiele werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einer in dem entsprechenden Fachbereich/den entsprechenden Fachbereichen qualifizierten Person bekannt.
-
Zumindest einige Ausführungsformen der Offenbarung werden Computerprogrammprodukten zugeführt, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
-
Wie hierin verwendet bezieht sich der Begriff „primäres Fahrzeug“ auf ein Fahrzeug, das ein System zur Erfassung von toten Winkeln enthält, und bezieht sich der Begriff „sekundäres Fahrzeug“ auf ein anderes Fahrzeug, das sich in der Nähe des primären Fahrzeugs befindet. Wie hierin erörtert, erfasst das primäre Fahrzeug tote Winkel eines oder mehrerer sekundärer Fahrzeuge. Ferner kann das primäre Fahrzeug bestimmen, ob es wahrscheinlich ist, dass der Fahrer eines sekundären Fahrzeugs das primäre Fahrzeug sieht.
-
Bei toten Winkeln handelt es sich um Bereiche nahe einem Fahrzeug, die durch den Fahrer des Fahrzeugs nicht gesehen werden können oder durch den Fahrer schwierig zu sehen sind. Tote Winkel können durch Fahrzeugstrukturen (z. B. Säulen), Kopfstützen, Fahrgäste, Ladung und Lücken in der durch die Fahrzeugspiegel bereitgestellten Abdeckung verursacht werden. Beispielhafte tote Winkel schließen Bereiche über der linken Schulter des Fahrers, über der rechten Schulter des Fahrers und hinter dem Fahrzeug ein.
-
Die Offenbarung bezieht sich im Allgemeinen auf Verfahren, Systeme und Vorrichtungen für automatisiertes und unterstütztes Fahren und insbesondere auf das Erfassen von toten Winkeln von einem oder mehreren sich in der Nähe befindenden Fahrzeuge. Nach einer Ausführungsform verwendet ein Verfahren ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur zu erfassen. Das Verfahren bestimmt eine Lage des sekundären Fahrzeugs und die Abmessungen des sekundären Fahrzeugs. Das System zur Erfassung von toten Winkeln schätzt eine dem sekundären Fahrzeug zugeordnete Fahrzeugklasse auf Grundlage der Abmessungen des sekundären Fahrzeugs. Das Verfahren identifiziert ferner eine Lage eines Seitenspiegels an dem sekundären Fahrzeug und erfasst ein dem sekundären Fahrzeug zugeordneten toten Winkel auf Grundlage der Fahrzeugklasse und der Lage des Seitenspiegels. Das Verfahren bestimmt dann auf Grundlage der Fahrzeugklasse und der Lage des Seitenspiegels, ob sich das primäre Fahrzeug im toten Winkel des sekundären Fahrzeugs befindet.
-
Nach einer weiteren Ausführungsform verwendet ein Verfahren ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur zu erfassen. Das Verfahren empfängt ein Bild des sekundären Fahrzeugs von einer an dem primären Fahrzeug angebrachten Kamera und identifiziert einen Seitenspiegel in dem empfangenen Bild. Das Verfahren analysiert das Bild in dem Seitenspiegel, um eine Kopfposition eines Fahrers des sekundären Fahrzeugs zu bestimmen. Das Verfahren bestimmt ferner auf Grundlage der Kopfposition des Fahrers des sekundären Fahrzeugs, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht.
-
Obwohl sich bestimmte hierin erörterten Beispiele auf Autos und ähnliche Fahrzeugarten beziehen, können die hierin beschriebenen Systeme und Verfahren an beliebigen Fahrzeugtypen angewendet werden. Die Systeme und Verfahren zur Erfassung von toten Winkeln sind zum Beispiel in Autos, LKWs aller Größen, Kleinbussen, Bussen, Motorrädern und dergleichen nützlich. Die beschriebenen Systeme und Verfahren sind insbesondere für kleinere Autos und Motorräder nützlich, die unter Umständen für andere Fahrer schwieriger zu sehen sind, und in einem toten Winkel vollständig verdeckt sein können.
-
1 ist ein Blockschaubild, das eine Ausführungsform eines Fahrzeugsteuersystems 100 darstellt, das verwendet werden kann, um tote Winkel von sich in der Nähe befindenden Fahrzeugen zu erfassen. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel Bremsung, Lenkung, Beschleunigung, Licht, Alarme, Fahrerbenachrichtigungen, Radio und/oder beliebige weitere Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Alarme bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Das automatisierte Fahr-/Assistenzsystem 102 kann ein System zur Erfassung von toten Winkeln 104 einschließen, das Fahrzeugsensordaten, Daten von einer am Fahrzeug angebrachten Kamera und einen oder mehrere Prozessoren verwendet, um tote Winkel von sich in der Nähe befindenden Fahrzeugen zu erfassen und zu bestimmen, ob es wahrscheinlich ist, dass ein Fahrer eines anderen Fahrzeugs das Fahrzeug sieht, in das das System zur Erfassung von toten Winkeln 104 eingebaut ist. In einer Ausführungsform kann das automatisierte Fahr-/Assistenzsystem 102 ein Fahrmanöver oder einen Fahrweg bestimmen, um die Zeit zu minimieren, in der im toten Winkel von anderen Fahrzeugen gefahren wird, oder dies vollkommen zu vermeiden.
-
Das Fahrzeugsteuersystem 100 schließt außerdem ein/e oder mehrere Sensorsysteme/-vorrichtungen zur Erfassung eines Vorhandenseins nahe gelegener Objekte oder zur Bestimmung einer Lage eines Stammfahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 einschließt) ein. Das Fahrzeugsteuersystem 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-(Light-Detection-And-Ranging-)Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder Ultraschallsysteme 114 einschließen. Das System 110 mit einer oder mehreren Kameras kann eine nach vorne gerichtete Kamera einschließen, die an dem Fahrzeug angebracht ist. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit einschließen, wie etwa Kartendaten, Fahrverlauf oder weitere Daten. Das Fahrzeugsteuersystem 100 kann außerdem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem einschließen.
-
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteuerungsaktuatoren 120 einschließen, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktuatoren, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem einen oder mehrere Displays 122, Lautsprecher 124 oder andere Vorrichtungen einschließen, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Ein Display 122 kann einen Frontdisplay, ein Display oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe einschließen, die von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs einschließen oder können einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher enthalten.
-
Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten einschließen, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können dargestellte Komponenten ohne Beschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
-
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 konfiguriert, um das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteuerungsaktuatoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einer anderen Lage entlangzufahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel einen Weg auf Grundlage von durch eine beliebige der Komponenten 106–118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Die Sensorsysteme/-vorrichtungen 106–110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
-
In einigen Ausführungsformen kann das Fahrzeugsteuersystem 100 weniger Komponenten als die in 1 gezeigten enthalten. Eine Ausführungsform des Fahrzeugsteuersystems 100 für ein Motorrad kann zum Beispiel aufgrund des beschränkten Raums, der für solche Komponenten an einem Motorrad verfügbar ist, weniger Komponenten enthalten.
-
2 ist ein Blockschaubild, das eine Ausführungsform eines Systems zur Erfassung von toten Winkeln 104 darstellt. Wie in 2 gezeigt, schließt ein System zur Erfassung von toten Winkeln 104 einen Kommunikationsmanager 202, einen Prozessor 204 und einen Speicher 206 ein. Der Kommunikationsmanager 202 ermöglicht, dass das System zur Erfassung von toten Winkeln 104 mit anderen Systemen, wie etwa einem automatisierten Fahr-/Assistenzsystem 102, kommuniziert. Der Prozessor 204 führt verschiedene Anweisungen durch, um die Funktionalität, die von dem System zur Erfassung von toten Winkeln 104 bereitgestellt und hierin erörtert wird, umzusetzen. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die von einem Prozessor 204 und anderen Modulen verwendet werden, die in dem System zur Erfassung von toten Winkeln 104 enthalten sind.
-
Des Weiteren schließt das System zur Erfassung von toten Winkeln 104 ein Bildverarbeitungsmodul 208 ein, das von einer oder mehreren Kameras erhaltene Bilder analysiert. Das Bildverarbeitungsmodul 208 kann zum Beispiel sekundäre Fahrzeuge nahe dem primären Fahrzeug (d. h. sekundäre Fahrzeuge, die tote Winkel nahe dem primären Fahrzeug aufweisen können) identifizieren. In einigen Ausführungsformen kann das Bildverarbeitungsmodul 208 Objekte in einem oder mehreren Bildern identifizieren, wie etwa in Fahrzeugseitenspiegeln und in in diesen Seitenspiegeln gezeigten Bildern. Das Bildverarbeitungsmodul 208 verwendet verschiedene Bildanalysealgorithmen und -techniken, um Objekte in den Bildern zu identifizieren. In einigen Ausführungsformen schließen die Bildanalysealgorithmen und -techniken Algorithmen künstlicher Intelligenz auf Grundlage von maschinellem Lernen ein, die zum Beispiel auf einer neuronalen Faltungsnetzwerkarchitektur oder neuronalen rekurrenten Netzwerkarchitektur basieren.
-
Ein Fahrzeuganalysemodul 210 analysiert Bilddaten und anderen Informationen, um eine Lage, eine Größe, einen Typ und eine Ausrichtung von sekundären Fahrzeugen zu bestimmen, die sich nahe dem primären Fahrzeug befinden. Wie hierin erörtert, wird die Lage, die Größe, der Typ und die Ausrichtung eines sekundären Fahrzeugs verwendet, um diesem Fahrzeug zugeordnete tote Winkel zu bestimmen. Beim Analysieren von sekundären Fahrzeugen kann das Fahrzeuganalysemodul 210 Bilddaten sowie Daten von einem oder mehreren Fahrzeugsensoren, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren, verwenden. Der Fahrzeugtyp (oder die Klassifizierung des Fahrzeugs), der einem sekundären Fahrzeug zugeordnet ist, schließt zum Beispiel ein kleines Auto, ein Auto in Standardgröße, einen LKW, einen Kleinbus, einen Bus und dergleichen ein. Diese verschiedenen Fahrzeugtypen weisen aufgrund ihrer verschiedenen Formen und Größen verschiedene tote Winkel (die auch als Bereiche toter Winkel bezeichnet werden) auf.
-
Das System zur Erfassung von toten Winkeln 104 schließt außerdem ein Gesichtsanalysemodul 212 ein, das ein Gesicht, eine Blickrichtung eines Benutzers und eine Kopfposition eines Benutzers identifizieren kann. Wie hierin detaillierter erörtert, kann das Gesichtsanalysemodul 212 ein Bild in einem Seitenspiegel analysieren, um zu bestimmen, ob der Fahrer eines sekundären Fahrzeugs in den Seitenspiegel schaut oder in eine andere Richtung schaut. Ein Gesichtserkennungsalgorithmus kann zum Beispiel bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist, was anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. Eine Fahrzeugspiegelerfassungsvorrichtung 214 identifiziert Spiegel an sekundären Fahrzeugen, wie etwa Seitenspiegel. Wie hierin erörtert, können die Spiegel des sekundären Fahrzeugs in Bildern des sekundären Fahrzeugs identifiziert werden, die durch eine an dem primären Fahrzeug angebrachte Kamera aufgenommen wurden. Eine Vorrichtung zur Schätzung von toten Winkeln 216 schätzt die toten Winkel für sekundäre Fahrzeuge auf Grundlage von verschiedenen Faktoren, wie etwa der Lage, der Größe, des Typs und der Ausrichtung von sekundären Fahrzeugen. Ein Modul zur Warnung vor toten Winkeln 218 erzeugt Alarme oder Warnmeldungen für einen Fahrer eines primären Fahrzeugs (oder ein automatisiertes Fahrsystem des primären Fahrzeugs), wenn sich das primäre Fahrzeug aktuell im toten Winkel eines sekundären Fahrzeugs befindet oder gerade in den toten Winkel eines sekundären Fahrzeugs fährt. Bei dem Alarm oder der Warnmeldung kann es sich um einen akustischen Alarm, einen visuellen Alarm, einen haptischen Alarm und dergleichen handeln. Ein maschinelles Lernmodul 220 lernt verschiedene Informationen über Fahrzeugklassifikationen, tote Winkel von Fahrzeugen und auf Testdaten und den Ergebnissen tatsächlicher Fahrtätigkeit basierende Daten.
-
In einigen Ausführungsformen kann das System zur Erfassung von toten Winkeln 104 mit anderen Fahrzeugen (z. B. sekundären Fahrzeugen) kommunizieren (z. B. unter Verwendung von Fahrzeug-zu-Fahrzeug-(V2V-)Kommunikationssystemen), um Informationen in Bezug auf tote Winkel von diesen anderen Fahrzeugen zu erhalten. Wenn zum Beispiel ein primäres Fahrzeug auf ein sekundäres Fahrzeug in einer benachbarten Spur zufährt, kann das sekundäre Fahrzeug Informationen in Bezug auf die toten Winkel des sekundären Fahrzeugs an das primäre Fahrzeug kommunizieren. Diese Informationen werden von dem primären Fahrzeug verwendet, um jegliche notwendigen Geschwindigkeits- oder Steuerungsanpassungen vorzunehmen, während es auf das sekundäre Fahrzeug zu- und an diesem vorbeifährt.
-
3 stellt ein Beispiel für eine mehrspurige Straße 300 mit mehreren Fahrzeugen 302 und 304 dar, die in die gleiche Richtung fahren. Die Straße 300 schließt drei Spuren 306, 308 und 310 ein. In dem Beispiel aus 3 ist ein Fahrzeug 302 das primäre Fahrzeug und ein Fahrzeug 304 das sekundäre Fahrzeug. Das sekundäre Fahrzeug 304 weist einen ersten toten Winkel 314 über der linken Schulter des Fahrers und einen zweiten toten Winkel 318 über der rechten Schulter des Fahrers auf. Der tote Winkel 314 wird ungefähr durch die gestrichelten Linien 312a und 312b definiert. Ähnlich wird der tote Winkel 318 ungefähr durch die gestrichelten Linien 316a und 316b definiert. Die toten Winkel 314 und 316 werden als Beispiele gezeigt. Die spezifische Form, Größe und Ausrichtung eines bestimmten toten Winkels eines Fahrzeugs basiert auf verschiedene Faktoren, wie etwa der Größe, dem Typ sowie der Ausrichtung des Fahrzeugs und dergleichen. In einigen Ausführungsformen ist ein weiterer toter Winkel hinter dem sekundären Fahrzeug 304 vorhanden.
-
Wie in 3 gezeigt, fährt das primäre Fahrzeug 302 auf den toten Winkel 314 zu. Das primäre Fahrzeug 302 schließt ein System zur Erfassung von toten Winkeln 326 ein, das ähnlich dem hierin erörterten System zur Erfassung von toten Winkeln 104 ist. Das primäre Fahrzeug 302 schließt außerdem zumindest eine Kamera 324 und zwei Radarsensoren 320 und 322 ein. In bestimmten Ausführungsformen kann das Fahrzeug 302 eine beliebige Anzahl an Kameras, eine beliebige Anzahl an Radarsensoren und andere Sensoren, wie etwa LIDAR-Sensoren und Ultraschallsensoren, einschließen. Wie hierin erörtert, ist die Kamera 324 in der Lage, Bilder von das primäre Fahrzeug 302 umgebenden Bereichen aufzunehmen, um sekundäre Fahrzeuge in benachbarten Spuren zu identifizieren. Des Weiteren kann die Kamera 324 Bilder von bestimmten sekundären Fahrzeugen aufnehmen, wie etwa Bilder, die den Seitenspiegel des sekundären Fahrzeugs einschließen. In einigen Ausführungsformen werden die durch die Kamera 324 aufgenommenen Bilder verwendet, um eine Größe, eine Lage, eine Ausrichtung und einen Typ eines sekundären Fahrzeugs zu bestimmen. Die Radarsensoren 320 und 322 identifizieren außerdem sekundäre Fahrzeuge nahe dem primären Fahrzeug 302 und bestimmte Eigenschaften der sekundären Fahrzeuge. In einigen Ausführungsformen werden Ultraschalldetektoren verwendet, um die Lage eines sekundären Fahrzeugs zu bestimmen, wenn es sich in nächster Nähe eines primären Fahrzeugs befindet. Radarsensoren können sekundäre Fahrzeuge erfassen, die weiter von dem primären Fahrzeug weg sind. LIDAR-Sensoren werden verwendet, um einen Abstand zwischen dem primären Fahrzeug und dem sekundären Fahrzeug zu bestimmen. Kameras und Kamerabilder sind bei der Bestimmung des Fahrzeugtyps, der Größe sowie der Lage des Seitenspiegels eines sekundären Fahrzeugs und dergleichen nützlich.
-
4 stellt ein weiteres Beispiel für eine mehrspurige Straße 400 mit mehreren Fahrzeugen 402 und 404 dar, die in die gleiche Richtung fahren. Die Straße 400 schließt zwei Spuren 406 und 408 ein. In dem Beispiel aus 4 ist ein Fahrzeug 402 das primäre Fahrzeug und ein Fahrzeug 404 das sekundäre Fahrzeug. Das primäre Fahrzeug 402 schließt eine Kamera 410 ein, die Bilder von dem sekundären Fahrzeug 404 aufnehmen kann. Obwohl dies in 4 nicht gezeigt wird, schließt das primäre Fahrzeug 402 außerdem ein Fahrzeugsteuersystem (einschließlich eines Systems zur Erfassung von toten Winkeln) ein. In einigen Ausführungsformen kann das primäre Fahrzeug 402 außerdem zusätzliche Kameras und einen oder mehrere Sensoren einschließen, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren.
-
In dem Beispiel aus 4 kann die Kamera 410 ein Bild von zumindest einem Teil des sekundären Fahrzeugs 404 aufnehmen. In diesem Beispiel nimmt die Kamera 410 ein Bild der linken Seite des sekundären Fahrzeugs 404 auf, einschließlich eines linken Seitenspiegels 414. Die Grenzen des durch die Kamera aufgenommenen Bilds werden durch gestrichelten Linien 412a und 412b gezeigt. In einigen Ausführungsformen sind die Grenzen des durch die Kamera 410 erfassten Bilds einstellbar, um die Größe des in jedem Bild erfassten Bereichs zu ändern. Wie hierin erörtert, kann das System zur Erfassung von toten Winkeln Bilddaten von der Kamera 410 analysieren, um die Größe, die Lage und den Typ des Fahrzeugs, die dem sekundären Fahrzeug 404 zugeordnet sind, zu identifizieren. Des Weiteren kann das System zur Erfassung von toten Winkeln Bilddaten von der Kamera 410 verwenden, um den Seitenspiegel 414 zu identifizieren und ein in dem Seitenspiegel 414 gezeigtes Bild zu identifizieren (z. B., um zu bestimmen, ob der Fahrer des sekundären Fahrzeugs 404 in den Seitenspiegel 414 oder von dem Seitenspiegel 414 wegschaut).
-
5 stellt ein beispielhaftes Bild in einem Seitenspiegel 500 eines Fahrzeugs dar, das einen Fahrer zeigt, der in den Seitenspiegel schaut. Das Beispiel aus 5 stellt ein in dem Seitenspiegel eines sekundären Fahrzeugs gezeigtes Bild dar, das anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. In dieser Situation kann das System zur Erfassung von toten Winkeln bestimmen, dass eine hohe Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in dem Seitenspiegel sehen kann. Da die an dem primären Fahrzeug angebrachte Kamera das Gesicht des Fahrers des sekundären Fahrzeugs sehen kann, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug in dem Seitenspiegel ebenfalls sehen kann. Diese Situation reduziert das Risiko eines Fahrens durch den toten Winkel des sekundären Fahrzeugs, da es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht und sich über das primäre Fahrzeug bewusst ist, während es auf das sekundäre Fahrzeug zufährt.
-
6 stellt ein beispielhaftes Bild in einem Seitenspiegel 600 eines Fahrzeugs dar, das einen Fahrer zeigt, der von dem Seitenspiegel wegschaut. Das Beispiel aus 6 stellt ein in dem Seitenspiegel eines sekundären Fahrzeugs gezeigtes Bild dar, das anzeigt, dass der Fahrer des sekundären Fahrzeugs von dem Seitenspiegel wegschaut. In dieser Situation kann das System zur Erfassung von toten Winkeln bestimmen, dass eine hohe Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in dem Seitenspiegel nicht sieht. Da der Fahrer des sekundären Fahrzeugs von dem primären Fahrzeug wegschaut, ist es nicht wahrscheinlich, dass der Fahrer das primäre Fahrzeug sieht. Diese Situation erhöht das Risiko eines Fahrens durch den toten Winkel des sekundären Fahrzeugs, da es möglich ist, dass der Fahrer des sekundären Fahrzeugs nicht sieht, dass das primäre Fahrzeug auf ihn zufährt und durch den toten Winkel fährt. Daher ist es möglich, dass sich der Fahrer des sekundären Fahrzeugs nicht über die Existenz des primären Fahrzeugs bewusst ist.
-
7 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 700 zur Erfassung von toten Winkeln eines sekundären Fahrzeugs darstellt. Zunächst identifiziert ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug in 702 ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur. Wie hierin erwähnt, identifiziert das System zur Erfassung von toten Winkeln das sekundäre Fahrzeug unter Verwendung einer am Fahrzeug angebrachten Kamera und eines oder mehreren Sensoren, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren. Das System zur Erfassung von toten Winkeln bestimmt in 704 die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs. In einigen Ausführungsformen werden die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs auf Grundlage von Sensordaten, einschließlich eines oder mehreren von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen, bestimmt.
-
Das System zur Erfassung von toten Winkeln schätzt in 706 eine dem sekundären Fahrzeug zugeordnete Fahrzeugklasse auf Grundlage von der Lage, den Abmessungen und/oder der Ausrichtung des sekundären Fahrzeugs. In einigen Ausführungsformen werden die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs auf Grundlage von Sensordaten, einschließlich eines oder mehreren von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen, bestimmt. Das Verfahren 700 wird mit dem Identifizieren des Systems zur Erfassung von toten Winkeln von einer oder mehreren Lagen der Seitenspiegel an dem sekundären Fahrzeug in 708 fortgesetzt. Das System zur Erfassung von toten Winkeln bestimmt dann in 710 mehrere dem sekundären Fahrzeug zugeordnete tote Winkel auf Grundlage der Fahrzeugklasse und der Lage der Seitenspiegel. In einigen Ausführungsformen bestimmt ein Algorithmus auf Grundlage von maschinellem Lernen mehrere dem sekundären Fahrzeug zugeordnete tote Winkel auf Grundlage von mehreren vorherigen Bestimmungen und vorherigem Algorithmustraining.
-
Nach dem Identifizieren der toten Winkel des sekundären Fahrzeugs bestimmt das Verfahren in 712, ob sich das primäre Fahrzeug in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt). Wenn sich das primäre Fahrzeug in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt), warnt das System zur Erfassung von toten Winkeln den Fahrer des primären Fahrzeugs in 714, dass er sich in dem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt). Als Reaktion auf diese Warnung kann der Fahrer langsamer fahren oder die Spur wechseln, um zu vermeiden, durch den toten Winkel zu fahren, oder der Fahrer des primären Fahrzeugs kann die Geschwindigkeit erhöhen, um die Zeit zu minimieren, die zum Fahren durch den toten Winkel benötigt wird. Wenn das primäre Fahrzeug durch ein automatisiertes Fahrsystem gesteuert wird, kann das System die Geschwindigkeit oder Fahrtätigkeiten des primären Fahrzeugs auf Grundlage der Existenz des toten Winkels anpassen.
-
Wenn sich das primäre Fahrzeug nicht in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt), fährt das Verfahren mit der Überwachung des sekundären Fahrzeugs fort, um zu bestimmen, ob das primäre Fahrzeug auf den toten Winkel des sekundären Fahrzeugs zufährt oder in diesen einfährt.
-
8 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 800 zur Bestimmung, ob ein Fahrer eines sekundären Fahrzeugs zu dem primären Fahrzeug schaut, darstellt. Zunächst empfängt das System zur Erfassung von toten Winkeln ein oder mehrere Bilder des Seitenspiegels des sekundären Fahrzeugs 802. Das System zur Erfassung von toten Winkeln identifiziert in 804 ein Bild in dem Seitenspiegel des sekundären Fahrzeugs. Das Verfahren wird in 806 mit dem Analysieren des Bilds in dem Seitenspiegel des sekundären Fahrzeugs durch das System zur Erfassung von toten Winkeln fortgeführt, um die Kopfposition und die Blickrichtung des Fahrers zu erfassen. Das Bild im Seitenspiegel des sekundären Fahrzeugs kann zum Beispiel das Gesicht des Fahrers, den Kopf des Fahrers von der Seite, den Hinterkopf des Fahrers oder ein anderes Objekt einschließen. Wenn die Kopfposition des Fahrers in Richtung des Seitenspiegels zeigt, zeigt das Bild das Gesicht des Fahrers. Wenn die Kopfposition des Fahrers jedoch nicht in Richtung des Seitenspiegels zeigt (z. B., wenn der Fahrer gerade nach vorne oder von dem Seitenspiegel wegschaut), ist der Kopf des Fahrers von der Seite oder der Hinterkopf des Fahrers in dem Bild zu sehen.
-
Das Verfahren 800 wird in 808 mit dem Bestimmen, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht, durch das System zur Erfassung von toten Winkeln fortgesetzt. Wenn zum Beispiel das Gesicht des Fahrers in dem Seitenspiegel sichtbar ist, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug in dem Seitenspiegel sehen kann. Wenn jedoch der Kopf des Fahrers von der Seite oder der Hinterkopf des Fahrers in dem Seitenspiegel sichtbar ist, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug nicht sehen kann. In einigen Ausführungsformen wird ein Gesichtserkennungsalgorithmus verwendet, um zu bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist. Wenn der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in 810 nicht sehen kann, wird das Verfahren in 812 mit dem Warnen des Fahrers des primären Fahrzeugs, dass er nicht durch den Fahrer des sekundären Fahrzeugs gesehen werden kann, durch das System zur Erfassung von toten Punkten fortgesetzt. Als Reaktion auf diese Warnung kann der Fahrer langsamer fahren oder die Spur wechseln, um zu vermeiden, durch den toten Winkel zu fahren, oder kann der Fahrer die Geschwindigkeit des primären Fahrzeugs erhöhen, um die Zeit zu minimieren, die zum Fahren durch den toten Winkel benötigt wird. Wenn das primäre Fahrzeug durch ein automatisiertes Fahrsystem gesteuert wird, kann das System die Geschwindigkeit oder Fahrtätigkeiten des primären Fahrzeugs auf Grundlage der Existenz des toten Winkels anpassen.
-
Das Verfahren 800 wird in 814 mit dem Empfangen von aktualisierten Bildern des Seitenspiegels des sekundären Fahrzeugs durch das System zur Erfassung von toten Winkeln fortgesetzt. Das Verfahren wird mit 804 fortgesetzt, um ein Bild in dem Seitenspiegel der aktualisierten Bilder zu identifizieren.
-
In einigen Ausführungsformen werden das Erfassen des sekundären Fahrzeugs und das Schätzen von toten Winkeln unter Verwendung von Deep-Learning-Techniken und/oder Techniken auf Grundlage von maschinellem Lernen durchgeführt. Ein Algorithmus auf Grundlage von maschinellem Lernen kann zum Beispiel Eingänge von verschiedenen Sensoren einbeziehen, wie etwa Radarsensoren, LIDAR-Sensoren, Ultraschallsensoren und Kameras. Die Daten von den verschiedenen Sensoren werden durch mehrere Schichten von neuronalem Netzwerk geleitet, das verschiedene unterschiedliche Arten von Schichtenarchitekturen einschließt, wie etwa Faltungs- und Entfaltungsarchitektur sowie rekurrente Architektur. In alternativen Ausführungsformen werden andere Arten von Deep-Learning-Techniken und/oder Techniken auf Grundlage von maschinellem Lernen verwendet, um sekundäre Fahrzeuge zu erfassen und tote Winkel von Fahrzeugen zu schätzen.
-
Während verschiedene Ausführungsformen der vorliegenden Offenbarung hierin beschrieben werden, versteht es sich, dass diese lediglich als Beispiele dienen, und nicht als Einschränkung. Für Personen, die in dem entsprechenden Fachbereich qualifiziert sind, wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eine der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung hierin wird zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hierin beschriebenen alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.