DE102017112788A1 - Systeme und Verfahren zur Erfassung von toten Winkeln - Google Patents

Systeme und Verfahren zur Erfassung von toten Winkeln Download PDF

Info

Publication number
DE102017112788A1
DE102017112788A1 DE102017112788.7A DE102017112788A DE102017112788A1 DE 102017112788 A1 DE102017112788 A1 DE 102017112788A1 DE 102017112788 A DE102017112788 A DE 102017112788A DE 102017112788 A1 DE102017112788 A1 DE 102017112788A1
Authority
DE
Germany
Prior art keywords
vehicle
driver
primary
primary vehicle
secondary vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017112788.7A
Other languages
English (en)
Inventor
Jinesh J. Jain
Harpreetsingh Banvait
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102017112788A1 publication Critical patent/DE102017112788A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

Beschrieben werden Beispiele für Systeme und Verfahren zur Erfassung von toten Winkeln. In einer Umsetzung erfasst ein primäres Fahrzeug ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur. Ein Verfahren bestimmt die Abmessungen des sekundären Fahrzeugs und schätzt eine dem sekundären Fahrzeug zugeordnete Fahrzeugklasse auf Grundlage der Abmessungen des sekundären Fahrzeugs. Das Verfahren identifiziert außerdem die Lage eines Seitenspiegels an dem sekundären Fahrzeug und bestimmt einen dem sekundären Fahrzeug zugeordneten toten Winkel auf Grundlage der Fahrzeugklasse und der Lage des Seitenspiegels.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf Fahrzeugsysteme und insbesondere auf Systeme und Verfahren, die tote Winkel von sich in der Nähe befindenden Fahrzeugen erfassen.
  • HINTERGRUND
  • Automobile und andere Fahrzeuge stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. In Bereichen mit hohem Verkehrsaufkommen oder eingeschränkter Sicht ist es wichtig, die Lage von toten Winkeln von Fahrzeugen im Umgebungsbereich nachvollziehen zu können. Das primäre Fahrzeug kann durch Erfassen von toten Winkeln von Fahrzeugen im Umgebungsbereich seine Fahrtätigkeiten anpassen, um den toten Winkel eines anderen Fahrzeugs zu meiden oder die Zeit zu minimieren, in der durch den toten Winkel des anderen Fahrzeugs gefahren wird. Bestehende Systeme ermöglichen es Fahrzeugen, ihre eigenen toten Winkel zu erfassen, identifizieren jedoch keine toten Winkel von anderen Fahrzeugen.
  • Die Vielfalt von Fahrzeugen auf einer typischen Straße weist verschiedene Größen und Formen sowie verschiedene Fahrerpositionen in Bezug auf die Seitenspiegel und Fenster des Fahrzeugs auf. Des Weiteren weisen unterschiedliche Fahrzeuge verschiedene Größen und Formen von Seitenspiegeln auf. All diese Variationen sorgen für unterschiedliche tote Winkel (oder Bereiche toter Winkel) für jedes einzigartige Fahrzeug.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Es werden nicht beschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszahlen auf gleiche Teile beziehen, es sei denn, dies wird anders angegeben.
  • 1 ist ein Blockschaubild, das eine Ausführungsform eines Fahrzeugsteuersystems darstellt, das ein automatisiertes Fahr-/Assistenzsystem einschließt.
  • 2 ist ein Blockschaubild, das eine Ausführungsform eines Systems zur Erfassung von toten Winkeln darstellt.
  • 3 stellt ein Beispiel für eine mehrspurige Straße mit mehreren Fahrzeugen dar, die in die gleiche Richtung fahren.
  • 4 stellt ein weiteres Beispiel für eine mehrspurige Straße mit mehreren Fahrzeugen dar, die in die gleiche Richtung fahren.
  • 5 stellt ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs dar, das einen Fahrer zeigt, der in den Seitenspiegel schaut.
  • 6 stellt ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs dar, das einen Fahrer zeigt, der von dem Seitenspiegel wegschaut.
  • 7 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zur Erfassung von toten Winkeln eines sekundären Fahrzeugs darstellt.
  • 8 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zur Bestimmung, ob ein Fahrer eines sekundären Fahrzeugs zu dem primären Fahrzeug schaut, darstellt.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Umsetzungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung durchgeführt werden kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform eine bestimmte Funktion, Struktur oder Eigenschaft einschließen kann; nicht jede Ausführungsform muss jedoch notwendigerweise diese bestimmte Funktion, Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Formulierungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner wird geltend gemacht, dass, wenn eine bestimmte Funktion, Struktur oder Eigenschaft in Zusammenhang mit einer Ausführungsform beschrieben wird, es dem Wissensstand eines Fachmannes entspricht, eine solche Funktion, Struktur oder Eigenschaft in Zusammenhang mit anderen Ausführungsformen zu bewirken, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
  • Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie zum Beispiel einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Weiterleiten oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien(-geräte). Bei computerlesbaren Medien, die computerausführbare Anweisungen weiterleiten, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-geräte) und Übertragungsmedien.
  • Computerspeichermedien(-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium ein, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
  • Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder einer Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einem Computer bereitgestellt oder auf diesen übertragen werden, zeigt der Computer die Verbindung dementsprechend als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen einschließen, die verwendet werden können, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den oben Genannten sollten ebenfalls in den Umfang computerlesbarer Medien eingeschlossen werden.
  • Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wird, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die hierin beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
  • Der Fachmann kann nachvollziehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handgeräten, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichergeräten und dergleichen. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
  • Ferner können die hierin beschriebene Funktionen gegebenenfalls in einem oder mehreren von Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann nachvollziehen kann, kann auf Komponenten durch die Verwendung verschiedener Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
  • Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil der Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode einschließen, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung einschließen, die durch den Computercode gesteuert wird. Diese Vorrichtungsbeispiele werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einer in dem entsprechenden Fachbereich/den entsprechenden Fachbereichen qualifizierten Person bekannt.
  • Zumindest einige Ausführungsformen der Offenbarung werden Computerprogrammprodukten zugeführt, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
  • Wie hierin verwendet bezieht sich der Begriff „primäres Fahrzeug“ auf ein Fahrzeug, das ein System zur Erfassung von toten Winkeln enthält, und bezieht sich der Begriff „sekundäres Fahrzeug“ auf ein anderes Fahrzeug, das sich in der Nähe des primären Fahrzeugs befindet. Wie hierin erörtert, erfasst das primäre Fahrzeug tote Winkel eines oder mehrerer sekundärer Fahrzeuge. Ferner kann das primäre Fahrzeug bestimmen, ob es wahrscheinlich ist, dass der Fahrer eines sekundären Fahrzeugs das primäre Fahrzeug sieht.
  • Bei toten Winkeln handelt es sich um Bereiche nahe einem Fahrzeug, die durch den Fahrer des Fahrzeugs nicht gesehen werden können oder durch den Fahrer schwierig zu sehen sind. Tote Winkel können durch Fahrzeugstrukturen (z. B. Säulen), Kopfstützen, Fahrgäste, Ladung und Lücken in der durch die Fahrzeugspiegel bereitgestellten Abdeckung verursacht werden. Beispielhafte tote Winkel schließen Bereiche über der linken Schulter des Fahrers, über der rechten Schulter des Fahrers und hinter dem Fahrzeug ein.
  • Die Offenbarung bezieht sich im Allgemeinen auf Verfahren, Systeme und Vorrichtungen für automatisiertes und unterstütztes Fahren und insbesondere auf das Erfassen von toten Winkeln von einem oder mehreren sich in der Nähe befindenden Fahrzeuge. Nach einer Ausführungsform verwendet ein Verfahren ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur zu erfassen. Das Verfahren bestimmt eine Lage des sekundären Fahrzeugs und die Abmessungen des sekundären Fahrzeugs. Das System zur Erfassung von toten Winkeln schätzt eine dem sekundären Fahrzeug zugeordnete Fahrzeugklasse auf Grundlage der Abmessungen des sekundären Fahrzeugs. Das Verfahren identifiziert ferner eine Lage eines Seitenspiegels an dem sekundären Fahrzeug und erfasst ein dem sekundären Fahrzeug zugeordneten toten Winkel auf Grundlage der Fahrzeugklasse und der Lage des Seitenspiegels. Das Verfahren bestimmt dann auf Grundlage der Fahrzeugklasse und der Lage des Seitenspiegels, ob sich das primäre Fahrzeug im toten Winkel des sekundären Fahrzeugs befindet.
  • Nach einer weiteren Ausführungsform verwendet ein Verfahren ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur zu erfassen. Das Verfahren empfängt ein Bild des sekundären Fahrzeugs von einer an dem primären Fahrzeug angebrachten Kamera und identifiziert einen Seitenspiegel in dem empfangenen Bild. Das Verfahren analysiert das Bild in dem Seitenspiegel, um eine Kopfposition eines Fahrers des sekundären Fahrzeugs zu bestimmen. Das Verfahren bestimmt ferner auf Grundlage der Kopfposition des Fahrers des sekundären Fahrzeugs, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht.
  • Obwohl sich bestimmte hierin erörterten Beispiele auf Autos und ähnliche Fahrzeugarten beziehen, können die hierin beschriebenen Systeme und Verfahren an beliebigen Fahrzeugtypen angewendet werden. Die Systeme und Verfahren zur Erfassung von toten Winkeln sind zum Beispiel in Autos, LKWs aller Größen, Kleinbussen, Bussen, Motorrädern und dergleichen nützlich. Die beschriebenen Systeme und Verfahren sind insbesondere für kleinere Autos und Motorräder nützlich, die unter Umständen für andere Fahrer schwieriger zu sehen sind, und in einem toten Winkel vollständig verdeckt sein können.
  • 1 ist ein Blockschaubild, das eine Ausführungsform eines Fahrzeugsteuersystems 100 darstellt, das verwendet werden kann, um tote Winkel von sich in der Nähe befindenden Fahrzeugen zu erfassen. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel Bremsung, Lenkung, Beschleunigung, Licht, Alarme, Fahrerbenachrichtigungen, Radio und/oder beliebige weitere Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Alarme bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Das automatisierte Fahr-/Assistenzsystem 102 kann ein System zur Erfassung von toten Winkeln 104 einschließen, das Fahrzeugsensordaten, Daten von einer am Fahrzeug angebrachten Kamera und einen oder mehrere Prozessoren verwendet, um tote Winkel von sich in der Nähe befindenden Fahrzeugen zu erfassen und zu bestimmen, ob es wahrscheinlich ist, dass ein Fahrer eines anderen Fahrzeugs das Fahrzeug sieht, in das das System zur Erfassung von toten Winkeln 104 eingebaut ist. In einer Ausführungsform kann das automatisierte Fahr-/Assistenzsystem 102 ein Fahrmanöver oder einen Fahrweg bestimmen, um die Zeit zu minimieren, in der im toten Winkel von anderen Fahrzeugen gefahren wird, oder dies vollkommen zu vermeiden.
  • Das Fahrzeugsteuersystem 100 schließt außerdem ein/e oder mehrere Sensorsysteme/-vorrichtungen zur Erfassung eines Vorhandenseins nahe gelegener Objekte oder zur Bestimmung einer Lage eines Stammfahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 einschließt) ein. Das Fahrzeugsteuersystem 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-(Light-Detection-And-Ranging-)Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder Ultraschallsysteme 114 einschließen. Das System 110 mit einer oder mehreren Kameras kann eine nach vorne gerichtete Kamera einschließen, die an dem Fahrzeug angebracht ist. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit einschließen, wie etwa Kartendaten, Fahrverlauf oder weitere Daten. Das Fahrzeugsteuersystem 100 kann außerdem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem einschließen.
  • Das Fahrzeugsteuersystem 100 kann Fahrzeugsteuerungsaktuatoren 120 einschließen, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktuatoren, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem einen oder mehrere Displays 122, Lautsprecher 124 oder andere Vorrichtungen einschließen, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Ein Display 122 kann einen Frontdisplay, ein Display oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe einschließen, die von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs einschließen oder können einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher enthalten.
  • Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten einschließen, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können dargestellte Komponenten ohne Beschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
  • In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 konfiguriert, um das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteuerungsaktuatoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einer anderen Lage entlangzufahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel einen Weg auf Grundlage von durch eine beliebige der Komponenten 106118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Die Sensorsysteme/-vorrichtungen 106110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
  • In einigen Ausführungsformen kann das Fahrzeugsteuersystem 100 weniger Komponenten als die in 1 gezeigten enthalten. Eine Ausführungsform des Fahrzeugsteuersystems 100 für ein Motorrad kann zum Beispiel aufgrund des beschränkten Raums, der für solche Komponenten an einem Motorrad verfügbar ist, weniger Komponenten enthalten.
  • 2 ist ein Blockschaubild, das eine Ausführungsform eines Systems zur Erfassung von toten Winkeln 104 darstellt. Wie in 2 gezeigt, schließt ein System zur Erfassung von toten Winkeln 104 einen Kommunikationsmanager 202, einen Prozessor 204 und einen Speicher 206 ein. Der Kommunikationsmanager 202 ermöglicht, dass das System zur Erfassung von toten Winkeln 104 mit anderen Systemen, wie etwa einem automatisierten Fahr-/Assistenzsystem 102, kommuniziert. Der Prozessor 204 führt verschiedene Anweisungen durch, um die Funktionalität, die von dem System zur Erfassung von toten Winkeln 104 bereitgestellt und hierin erörtert wird, umzusetzen. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die von einem Prozessor 204 und anderen Modulen verwendet werden, die in dem System zur Erfassung von toten Winkeln 104 enthalten sind.
  • Des Weiteren schließt das System zur Erfassung von toten Winkeln 104 ein Bildverarbeitungsmodul 208 ein, das von einer oder mehreren Kameras erhaltene Bilder analysiert. Das Bildverarbeitungsmodul 208 kann zum Beispiel sekundäre Fahrzeuge nahe dem primären Fahrzeug (d. h. sekundäre Fahrzeuge, die tote Winkel nahe dem primären Fahrzeug aufweisen können) identifizieren. In einigen Ausführungsformen kann das Bildverarbeitungsmodul 208 Objekte in einem oder mehreren Bildern identifizieren, wie etwa in Fahrzeugseitenspiegeln und in in diesen Seitenspiegeln gezeigten Bildern. Das Bildverarbeitungsmodul 208 verwendet verschiedene Bildanalysealgorithmen und -techniken, um Objekte in den Bildern zu identifizieren. In einigen Ausführungsformen schließen die Bildanalysealgorithmen und -techniken Algorithmen künstlicher Intelligenz auf Grundlage von maschinellem Lernen ein, die zum Beispiel auf einer neuronalen Faltungsnetzwerkarchitektur oder neuronalen rekurrenten Netzwerkarchitektur basieren.
  • Ein Fahrzeuganalysemodul 210 analysiert Bilddaten und anderen Informationen, um eine Lage, eine Größe, einen Typ und eine Ausrichtung von sekundären Fahrzeugen zu bestimmen, die sich nahe dem primären Fahrzeug befinden. Wie hierin erörtert, wird die Lage, die Größe, der Typ und die Ausrichtung eines sekundären Fahrzeugs verwendet, um diesem Fahrzeug zugeordnete tote Winkel zu bestimmen. Beim Analysieren von sekundären Fahrzeugen kann das Fahrzeuganalysemodul 210 Bilddaten sowie Daten von einem oder mehreren Fahrzeugsensoren, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren, verwenden. Der Fahrzeugtyp (oder die Klassifizierung des Fahrzeugs), der einem sekundären Fahrzeug zugeordnet ist, schließt zum Beispiel ein kleines Auto, ein Auto in Standardgröße, einen LKW, einen Kleinbus, einen Bus und dergleichen ein. Diese verschiedenen Fahrzeugtypen weisen aufgrund ihrer verschiedenen Formen und Größen verschiedene tote Winkel (die auch als Bereiche toter Winkel bezeichnet werden) auf.
  • Das System zur Erfassung von toten Winkeln 104 schließt außerdem ein Gesichtsanalysemodul 212 ein, das ein Gesicht, eine Blickrichtung eines Benutzers und eine Kopfposition eines Benutzers identifizieren kann. Wie hierin detaillierter erörtert, kann das Gesichtsanalysemodul 212 ein Bild in einem Seitenspiegel analysieren, um zu bestimmen, ob der Fahrer eines sekundären Fahrzeugs in den Seitenspiegel schaut oder in eine andere Richtung schaut. Ein Gesichtserkennungsalgorithmus kann zum Beispiel bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist, was anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. Eine Fahrzeugspiegelerfassungsvorrichtung 214 identifiziert Spiegel an sekundären Fahrzeugen, wie etwa Seitenspiegel. Wie hierin erörtert, können die Spiegel des sekundären Fahrzeugs in Bildern des sekundären Fahrzeugs identifiziert werden, die durch eine an dem primären Fahrzeug angebrachte Kamera aufgenommen wurden. Eine Vorrichtung zur Schätzung von toten Winkeln 216 schätzt die toten Winkel für sekundäre Fahrzeuge auf Grundlage von verschiedenen Faktoren, wie etwa der Lage, der Größe, des Typs und der Ausrichtung von sekundären Fahrzeugen. Ein Modul zur Warnung vor toten Winkeln 218 erzeugt Alarme oder Warnmeldungen für einen Fahrer eines primären Fahrzeugs (oder ein automatisiertes Fahrsystem des primären Fahrzeugs), wenn sich das primäre Fahrzeug aktuell im toten Winkel eines sekundären Fahrzeugs befindet oder gerade in den toten Winkel eines sekundären Fahrzeugs fährt. Bei dem Alarm oder der Warnmeldung kann es sich um einen akustischen Alarm, einen visuellen Alarm, einen haptischen Alarm und dergleichen handeln. Ein maschinelles Lernmodul 220 lernt verschiedene Informationen über Fahrzeugklassifikationen, tote Winkel von Fahrzeugen und auf Testdaten und den Ergebnissen tatsächlicher Fahrtätigkeit basierende Daten.
  • In einigen Ausführungsformen kann das System zur Erfassung von toten Winkeln 104 mit anderen Fahrzeugen (z. B. sekundären Fahrzeugen) kommunizieren (z. B. unter Verwendung von Fahrzeug-zu-Fahrzeug-(V2V-)Kommunikationssystemen), um Informationen in Bezug auf tote Winkel von diesen anderen Fahrzeugen zu erhalten. Wenn zum Beispiel ein primäres Fahrzeug auf ein sekundäres Fahrzeug in einer benachbarten Spur zufährt, kann das sekundäre Fahrzeug Informationen in Bezug auf die toten Winkel des sekundären Fahrzeugs an das primäre Fahrzeug kommunizieren. Diese Informationen werden von dem primären Fahrzeug verwendet, um jegliche notwendigen Geschwindigkeits- oder Steuerungsanpassungen vorzunehmen, während es auf das sekundäre Fahrzeug zu- und an diesem vorbeifährt.
  • 3 stellt ein Beispiel für eine mehrspurige Straße 300 mit mehreren Fahrzeugen 302 und 304 dar, die in die gleiche Richtung fahren. Die Straße 300 schließt drei Spuren 306, 308 und 310 ein. In dem Beispiel aus 3 ist ein Fahrzeug 302 das primäre Fahrzeug und ein Fahrzeug 304 das sekundäre Fahrzeug. Das sekundäre Fahrzeug 304 weist einen ersten toten Winkel 314 über der linken Schulter des Fahrers und einen zweiten toten Winkel 318 über der rechten Schulter des Fahrers auf. Der tote Winkel 314 wird ungefähr durch die gestrichelten Linien 312a und 312b definiert. Ähnlich wird der tote Winkel 318 ungefähr durch die gestrichelten Linien 316a und 316b definiert. Die toten Winkel 314 und 316 werden als Beispiele gezeigt. Die spezifische Form, Größe und Ausrichtung eines bestimmten toten Winkels eines Fahrzeugs basiert auf verschiedene Faktoren, wie etwa der Größe, dem Typ sowie der Ausrichtung des Fahrzeugs und dergleichen. In einigen Ausführungsformen ist ein weiterer toter Winkel hinter dem sekundären Fahrzeug 304 vorhanden.
  • Wie in 3 gezeigt, fährt das primäre Fahrzeug 302 auf den toten Winkel 314 zu. Das primäre Fahrzeug 302 schließt ein System zur Erfassung von toten Winkeln 326 ein, das ähnlich dem hierin erörterten System zur Erfassung von toten Winkeln 104 ist. Das primäre Fahrzeug 302 schließt außerdem zumindest eine Kamera 324 und zwei Radarsensoren 320 und 322 ein. In bestimmten Ausführungsformen kann das Fahrzeug 302 eine beliebige Anzahl an Kameras, eine beliebige Anzahl an Radarsensoren und andere Sensoren, wie etwa LIDAR-Sensoren und Ultraschallsensoren, einschließen. Wie hierin erörtert, ist die Kamera 324 in der Lage, Bilder von das primäre Fahrzeug 302 umgebenden Bereichen aufzunehmen, um sekundäre Fahrzeuge in benachbarten Spuren zu identifizieren. Des Weiteren kann die Kamera 324 Bilder von bestimmten sekundären Fahrzeugen aufnehmen, wie etwa Bilder, die den Seitenspiegel des sekundären Fahrzeugs einschließen. In einigen Ausführungsformen werden die durch die Kamera 324 aufgenommenen Bilder verwendet, um eine Größe, eine Lage, eine Ausrichtung und einen Typ eines sekundären Fahrzeugs zu bestimmen. Die Radarsensoren 320 und 322 identifizieren außerdem sekundäre Fahrzeuge nahe dem primären Fahrzeug 302 und bestimmte Eigenschaften der sekundären Fahrzeuge. In einigen Ausführungsformen werden Ultraschalldetektoren verwendet, um die Lage eines sekundären Fahrzeugs zu bestimmen, wenn es sich in nächster Nähe eines primären Fahrzeugs befindet. Radarsensoren können sekundäre Fahrzeuge erfassen, die weiter von dem primären Fahrzeug weg sind. LIDAR-Sensoren werden verwendet, um einen Abstand zwischen dem primären Fahrzeug und dem sekundären Fahrzeug zu bestimmen. Kameras und Kamerabilder sind bei der Bestimmung des Fahrzeugtyps, der Größe sowie der Lage des Seitenspiegels eines sekundären Fahrzeugs und dergleichen nützlich.
  • 4 stellt ein weiteres Beispiel für eine mehrspurige Straße 400 mit mehreren Fahrzeugen 402 und 404 dar, die in die gleiche Richtung fahren. Die Straße 400 schließt zwei Spuren 406 und 408 ein. In dem Beispiel aus 4 ist ein Fahrzeug 402 das primäre Fahrzeug und ein Fahrzeug 404 das sekundäre Fahrzeug. Das primäre Fahrzeug 402 schließt eine Kamera 410 ein, die Bilder von dem sekundären Fahrzeug 404 aufnehmen kann. Obwohl dies in 4 nicht gezeigt wird, schließt das primäre Fahrzeug 402 außerdem ein Fahrzeugsteuersystem (einschließlich eines Systems zur Erfassung von toten Winkeln) ein. In einigen Ausführungsformen kann das primäre Fahrzeug 402 außerdem zusätzliche Kameras und einen oder mehrere Sensoren einschließen, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren.
  • In dem Beispiel aus 4 kann die Kamera 410 ein Bild von zumindest einem Teil des sekundären Fahrzeugs 404 aufnehmen. In diesem Beispiel nimmt die Kamera 410 ein Bild der linken Seite des sekundären Fahrzeugs 404 auf, einschließlich eines linken Seitenspiegels 414. Die Grenzen des durch die Kamera aufgenommenen Bilds werden durch gestrichelten Linien 412a und 412b gezeigt. In einigen Ausführungsformen sind die Grenzen des durch die Kamera 410 erfassten Bilds einstellbar, um die Größe des in jedem Bild erfassten Bereichs zu ändern. Wie hierin erörtert, kann das System zur Erfassung von toten Winkeln Bilddaten von der Kamera 410 analysieren, um die Größe, die Lage und den Typ des Fahrzeugs, die dem sekundären Fahrzeug 404 zugeordnet sind, zu identifizieren. Des Weiteren kann das System zur Erfassung von toten Winkeln Bilddaten von der Kamera 410 verwenden, um den Seitenspiegel 414 zu identifizieren und ein in dem Seitenspiegel 414 gezeigtes Bild zu identifizieren (z. B., um zu bestimmen, ob der Fahrer des sekundären Fahrzeugs 404 in den Seitenspiegel 414 oder von dem Seitenspiegel 414 wegschaut).
  • 5 stellt ein beispielhaftes Bild in einem Seitenspiegel 500 eines Fahrzeugs dar, das einen Fahrer zeigt, der in den Seitenspiegel schaut. Das Beispiel aus 5 stellt ein in dem Seitenspiegel eines sekundären Fahrzeugs gezeigtes Bild dar, das anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. In dieser Situation kann das System zur Erfassung von toten Winkeln bestimmen, dass eine hohe Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in dem Seitenspiegel sehen kann. Da die an dem primären Fahrzeug angebrachte Kamera das Gesicht des Fahrers des sekundären Fahrzeugs sehen kann, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug in dem Seitenspiegel ebenfalls sehen kann. Diese Situation reduziert das Risiko eines Fahrens durch den toten Winkel des sekundären Fahrzeugs, da es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht und sich über das primäre Fahrzeug bewusst ist, während es auf das sekundäre Fahrzeug zufährt.
  • 6 stellt ein beispielhaftes Bild in einem Seitenspiegel 600 eines Fahrzeugs dar, das einen Fahrer zeigt, der von dem Seitenspiegel wegschaut. Das Beispiel aus 6 stellt ein in dem Seitenspiegel eines sekundären Fahrzeugs gezeigtes Bild dar, das anzeigt, dass der Fahrer des sekundären Fahrzeugs von dem Seitenspiegel wegschaut. In dieser Situation kann das System zur Erfassung von toten Winkeln bestimmen, dass eine hohe Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in dem Seitenspiegel nicht sieht. Da der Fahrer des sekundären Fahrzeugs von dem primären Fahrzeug wegschaut, ist es nicht wahrscheinlich, dass der Fahrer das primäre Fahrzeug sieht. Diese Situation erhöht das Risiko eines Fahrens durch den toten Winkel des sekundären Fahrzeugs, da es möglich ist, dass der Fahrer des sekundären Fahrzeugs nicht sieht, dass das primäre Fahrzeug auf ihn zufährt und durch den toten Winkel fährt. Daher ist es möglich, dass sich der Fahrer des sekundären Fahrzeugs nicht über die Existenz des primären Fahrzeugs bewusst ist.
  • 7 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 700 zur Erfassung von toten Winkeln eines sekundären Fahrzeugs darstellt. Zunächst identifiziert ein System zur Erfassung von toten Winkeln in einem primären Fahrzeug in 702 ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Verkehrsspur. Wie hierin erwähnt, identifiziert das System zur Erfassung von toten Winkeln das sekundäre Fahrzeug unter Verwendung einer am Fahrzeug angebrachten Kamera und eines oder mehreren Sensoren, wie etwa Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren. Das System zur Erfassung von toten Winkeln bestimmt in 704 die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs. In einigen Ausführungsformen werden die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs auf Grundlage von Sensordaten, einschließlich eines oder mehreren von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen, bestimmt.
  • Das System zur Erfassung von toten Winkeln schätzt in 706 eine dem sekundären Fahrzeug zugeordnete Fahrzeugklasse auf Grundlage von der Lage, den Abmessungen und/oder der Ausrichtung des sekundären Fahrzeugs. In einigen Ausführungsformen werden die Lage, Abmessungen und Ausrichtung des sekundären Fahrzeugs auf Grundlage von Sensordaten, einschließlich eines oder mehreren von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen, bestimmt. Das Verfahren 700 wird mit dem Identifizieren des Systems zur Erfassung von toten Winkeln von einer oder mehreren Lagen der Seitenspiegel an dem sekundären Fahrzeug in 708 fortgesetzt. Das System zur Erfassung von toten Winkeln bestimmt dann in 710 mehrere dem sekundären Fahrzeug zugeordnete tote Winkel auf Grundlage der Fahrzeugklasse und der Lage der Seitenspiegel. In einigen Ausführungsformen bestimmt ein Algorithmus auf Grundlage von maschinellem Lernen mehrere dem sekundären Fahrzeug zugeordnete tote Winkel auf Grundlage von mehreren vorherigen Bestimmungen und vorherigem Algorithmustraining.
  • Nach dem Identifizieren der toten Winkel des sekundären Fahrzeugs bestimmt das Verfahren in 712, ob sich das primäre Fahrzeug in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt). Wenn sich das primäre Fahrzeug in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt), warnt das System zur Erfassung von toten Winkeln den Fahrer des primären Fahrzeugs in 714, dass er sich in dem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt). Als Reaktion auf diese Warnung kann der Fahrer langsamer fahren oder die Spur wechseln, um zu vermeiden, durch den toten Winkel zu fahren, oder der Fahrer des primären Fahrzeugs kann die Geschwindigkeit erhöhen, um die Zeit zu minimieren, die zum Fahren durch den toten Winkel benötigt wird. Wenn das primäre Fahrzeug durch ein automatisiertes Fahrsystem gesteuert wird, kann das System die Geschwindigkeit oder Fahrtätigkeiten des primären Fahrzeugs auf Grundlage der Existenz des toten Winkels anpassen.
  • Wenn sich das primäre Fahrzeug nicht in einem toten Winkel des sekundären Fahrzeugs befindet (oder auf diesen zufährt), fährt das Verfahren mit der Überwachung des sekundären Fahrzeugs fort, um zu bestimmen, ob das primäre Fahrzeug auf den toten Winkel des sekundären Fahrzeugs zufährt oder in diesen einfährt.
  • 8 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 800 zur Bestimmung, ob ein Fahrer eines sekundären Fahrzeugs zu dem primären Fahrzeug schaut, darstellt. Zunächst empfängt das System zur Erfassung von toten Winkeln ein oder mehrere Bilder des Seitenspiegels des sekundären Fahrzeugs 802. Das System zur Erfassung von toten Winkeln identifiziert in 804 ein Bild in dem Seitenspiegel des sekundären Fahrzeugs. Das Verfahren wird in 806 mit dem Analysieren des Bilds in dem Seitenspiegel des sekundären Fahrzeugs durch das System zur Erfassung von toten Winkeln fortgeführt, um die Kopfposition und die Blickrichtung des Fahrers zu erfassen. Das Bild im Seitenspiegel des sekundären Fahrzeugs kann zum Beispiel das Gesicht des Fahrers, den Kopf des Fahrers von der Seite, den Hinterkopf des Fahrers oder ein anderes Objekt einschließen. Wenn die Kopfposition des Fahrers in Richtung des Seitenspiegels zeigt, zeigt das Bild das Gesicht des Fahrers. Wenn die Kopfposition des Fahrers jedoch nicht in Richtung des Seitenspiegels zeigt (z. B., wenn der Fahrer gerade nach vorne oder von dem Seitenspiegel wegschaut), ist der Kopf des Fahrers von der Seite oder der Hinterkopf des Fahrers in dem Bild zu sehen.
  • Das Verfahren 800 wird in 808 mit dem Bestimmen, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht, durch das System zur Erfassung von toten Winkeln fortgesetzt. Wenn zum Beispiel das Gesicht des Fahrers in dem Seitenspiegel sichtbar ist, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug in dem Seitenspiegel sehen kann. Wenn jedoch der Kopf des Fahrers von der Seite oder der Hinterkopf des Fahrers in dem Seitenspiegel sichtbar ist, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug nicht sehen kann. In einigen Ausführungsformen wird ein Gesichtserkennungsalgorithmus verwendet, um zu bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist. Wenn der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug in 810 nicht sehen kann, wird das Verfahren in 812 mit dem Warnen des Fahrers des primären Fahrzeugs, dass er nicht durch den Fahrer des sekundären Fahrzeugs gesehen werden kann, durch das System zur Erfassung von toten Punkten fortgesetzt. Als Reaktion auf diese Warnung kann der Fahrer langsamer fahren oder die Spur wechseln, um zu vermeiden, durch den toten Winkel zu fahren, oder kann der Fahrer die Geschwindigkeit des primären Fahrzeugs erhöhen, um die Zeit zu minimieren, die zum Fahren durch den toten Winkel benötigt wird. Wenn das primäre Fahrzeug durch ein automatisiertes Fahrsystem gesteuert wird, kann das System die Geschwindigkeit oder Fahrtätigkeiten des primären Fahrzeugs auf Grundlage der Existenz des toten Winkels anpassen.
  • Das Verfahren 800 wird in 814 mit dem Empfangen von aktualisierten Bildern des Seitenspiegels des sekundären Fahrzeugs durch das System zur Erfassung von toten Winkeln fortgesetzt. Das Verfahren wird mit 804 fortgesetzt, um ein Bild in dem Seitenspiegel der aktualisierten Bilder zu identifizieren.
  • In einigen Ausführungsformen werden das Erfassen des sekundären Fahrzeugs und das Schätzen von toten Winkeln unter Verwendung von Deep-Learning-Techniken und/oder Techniken auf Grundlage von maschinellem Lernen durchgeführt. Ein Algorithmus auf Grundlage von maschinellem Lernen kann zum Beispiel Eingänge von verschiedenen Sensoren einbeziehen, wie etwa Radarsensoren, LIDAR-Sensoren, Ultraschallsensoren und Kameras. Die Daten von den verschiedenen Sensoren werden durch mehrere Schichten von neuronalem Netzwerk geleitet, das verschiedene unterschiedliche Arten von Schichtenarchitekturen einschließt, wie etwa Faltungs- und Entfaltungsarchitektur sowie rekurrente Architektur. In alternativen Ausführungsformen werden andere Arten von Deep-Learning-Techniken und/oder Techniken auf Grundlage von maschinellem Lernen verwendet, um sekundäre Fahrzeuge zu erfassen und tote Winkel von Fahrzeugen zu schätzen.
  • Während verschiedene Ausführungsformen der vorliegenden Offenbarung hierin beschrieben werden, versteht es sich, dass diese lediglich als Beispiele dienen, und nicht als Einschränkung. Für Personen, die in dem entsprechenden Fachbereich qualifiziert sind, wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eine der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung hierin wird zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hierin beschriebenen alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.

Claims (15)

  1. Verfahren, umfassend: Erfassen eines sekundären Fahrzeugs vor einem primären Fahrzeug durch das primäre Fahrzeug; Empfangen eines Bilds des sekundären Fahrzeugs von einer an dem primären Fahrzeug angebrachten Kamera; Identifizieren eines Seitenspiegels in dem empfangenen Bild; Analysieren eines Bilds in dem Seitenspiegel, um eine Kopfposition des Fahrers des sekundären Fahrzeugs zu bestimmen; und Bestimmen auf Grundlage der Kopfposition des Fahrers, ob der Fahrer das primäre Fahrzeug sehen kann.
  2. Verfahren nach Anspruch 1, wobei das Erfassen des sekundären Fahrzeugs auf von zumindest einer an dem primären Fahrzeug angebrachten Kamera empfangenen Daten basiert.
  3. Verfahren nach Anspruch 1, das ferner das Warnen eines Fahrers des primären Fahrzeugs als Reaktion auf das Bestimmen, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug nicht sehen kann, umfasst.
  4. Verfahren nach Anspruch 1, wobei das Warnen des Fahrers des primären Fahrzeugs das Erzeugen von mindestens einem von einem akustischen Alarm, einem visuellen Alarm und einem haptischen Alarm einschließt.
  5. Verfahren nach Anspruch 1, das ferner das automatische Anpassen der Geschwindigkeit des primären Fahrzeugs als Reaktion auf das Bestimmen, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug nicht sehen kann, umfasst.
  6. Verfahren nach Anspruch 1, das ferner das automatische Anpassen der Fahrtätigkeiten des primären Fahrzeugs als Reaktion auf das Bestimmen, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug nicht sehen kann, umfasst.
  7. Verfahren, umfassend: Erfassen eines sekundären Fahrzeugs vor einem primären Fahrzeug in einer benachbarten Verkehrsspur durch ein System zur Erfassung von toten Winkeln in dem primären Fahrzeug; Empfangen eines Bilds des sekundären Fahrzeugs von einer an dem primären Fahrzeug angebrachten Kamera; Identifizieren eines Seitenspiegels in dem empfangenen Bild; Analysieren des Bilds in dem Seitenspiegel, um zu bestimmen, ob das Gesicht eines Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist; Bestimmen, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht, auf Grundlage der Kopfposition des Fahrers des sekundären Fahrzeugs; und Warnen eines Fahrers des primären Fahrzeugs als Reaktion auf das Bestimmen, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug nicht sehen kann.
  8. Verfahren nach Anspruch 1 oder 7, wobei das Analysieren des Bilds in dem Seitenspiegel ferner das Anwenden eines Gesichtserkennungsalgorithmus einschließt, um zu bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel sichtbar ist.
  9. Verfahren nach Anspruch 1 oder 7, wobei durch das Analysieren des Bilds in dem Seitenspiegel ferner eine Blickrichtung des Fahrers des sekundären Fahrzeugs bestimmt wird.
  10. Verfahren nach Anspruch 1 oder 7, wobei das Erfassen des sekundären Fahrzeugs auf von zumindest einem an dem primären Fahrzeug angebrachten Sensor empfangenen Daten basiert.
  11. Verfahren nach Anspruch 10, wobei der Sensor, der an dem primären Fahrzeug angebracht ist, einer von einem Radarsensor, einem LIDAR-Sensor oder einem Ultraschallsensor ist.
  12. Verfahren nach Anspruch 7, wobei das Warnen des Fahrers des primären Fahrzeugs das Erzeugen von zumindest einem von einem akustischen Alarm, einem visuellen Alarm und einem haptischen Alarm einschließt.
  13. Verfahren nach Anspruch 7, das ferner das automatische Anpassen der Fahrtätigkeiten des primären Fahrzeugs als Reaktion auf das Bestimmen, dass das Gesicht des Fahrers des sekundären Fahrzeugs in dem Seitenspiegel nicht sichtbar ist, umfasst.
  14. Vorrichtung, umfassend: ein Bildverarbeitungsmodul, das konfiguriert ist, um ein sekundäres Fahrzeug vor einem primären Fahrzeug zu erfassen, wobei das Bildverarbeitungsmodul ferner konfiguriert ist, um ein Bild von dem sekundären Fahrzeug von einer an dem primären Fahrzeug angebrachten Kamera zu empfangen; eine Fahrzeugspiegelerfassungsvorrichtung, die konfiguriert ist, um einen Seitenspiegel in dem empfangenen Bild zu identifizieren; und ein Gesichtsanalysemodul, das konfiguriert ist, um ein Bild in dem Seitenspiegel zu analysieren, um eine Kopfposition eines Fahrers des sekundären Fahrzeugs zu bestimmen, wobei das Gesichtsanalysemodul ferner konfiguriert ist, um auf Grundlage der Kopfposition des Fahrers zu bestimmen, ob der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sehen kann.
  15. Vorrichtung nach Anspruch 14, die ferner ein Modul zur Warnung vor toten Winkeln umfasst, das konfiguriert ist, um einen Fahrer des primären Fahrzeugs zu warnen, wenn der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug nicht sehen kann.
DE102017112788.7A 2016-06-13 2017-06-09 Systeme und Verfahren zur Erfassung von toten Winkeln Pending DE102017112788A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/181,263 2016-06-13
US15/181,263 US10115025B2 (en) 2016-06-13 2016-06-13 Detecting visibility of a vehicle to driver of other vehicles

Publications (1)

Publication Number Publication Date
DE102017112788A1 true DE102017112788A1 (de) 2017-12-14

Family

ID=59349996

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017112788.7A Pending DE102017112788A1 (de) 2016-06-13 2017-06-09 Systeme und Verfahren zur Erfassung von toten Winkeln

Country Status (6)

Country Link
US (1) US10115025B2 (de)
CN (1) CN107487258B (de)
DE (1) DE102017112788A1 (de)
GB (1) GB2553616A (de)
MX (1) MX2017007671A (de)
RU (1) RU2017120288A (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207406A1 (de) * 2018-05-14 2019-11-14 Bayerische Motoren Werke Aktiengesellschaft Sichtfeldbestimmung
WO2021043504A1 (de) * 2019-09-05 2021-03-11 Robert Bosch Gmbh Verfahren und vorrichtung zur ausgabe einer warninformation an den fahrer eines einspurigen fahrzeugs
DE102022201699A1 (de) 2022-02-18 2023-08-24 Zf Friedrichshafen Ag Computer-implementiertes Verfahren und Vorrichtung zum Erhöhen der Sicherheit eines ersten Fortbewegungsmittels in Bezug auf zumindest ein zweites Fortbewegungsmittel

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571908B2 (en) 2016-08-15 2020-02-25 Ford Global Technologies, Llc Autonomous vehicle failure mode management
US10611381B2 (en) 2017-10-24 2020-04-07 Ford Global Technologies, Llc Decentralized minimum risk condition vehicle control
US10726645B2 (en) 2018-02-16 2020-07-28 Ford Global Technologies, Llc Vehicle diagnostic operation
CN108764115B (zh) * 2018-05-24 2021-12-14 东北大学 一种卡车危险提醒方法
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) * 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN111223331B (zh) 2018-11-26 2022-10-18 华为云计算技术有限公司 车辆预警方法及相关装置
US10635915B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US11072342B2 (en) * 2019-02-19 2021-07-27 Toyota Research Institute, Inc. Actively adapting to driving environments based on human interactions
CN109934175B (zh) * 2019-03-15 2021-07-06 百度在线网络技术(北京)有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN110077350A (zh) * 2019-03-22 2019-08-02 上海思致汽车工程技术有限公司 一种他车盲区报警系统
KR20210017315A (ko) * 2019-08-07 2021-02-17 엘지전자 주식회사 차량의 장애물 경고 방법
CN112428953A (zh) * 2019-08-23 2021-03-02 长城汽车股份有限公司 一种盲区监测报警方法及装置
CN115376363B (zh) * 2019-09-04 2023-12-01 赵婷婷 用于控制运载工具的系统、方法
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US20040190167A1 (en) * 2003-03-26 2004-09-30 Russell Berger Vehicle mirror assembly
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
US8190355B2 (en) 2007-10-10 2012-05-29 International Business Machines Corporation Driving assistance and monitoring
JP2009187424A (ja) 2008-02-08 2009-08-20 Alpine Electronics Inc 周辺監視装置および周辺監視方法
JP5022272B2 (ja) 2008-03-03 2012-09-12 本田技研工業株式会社 走行支援装置
JP4561863B2 (ja) 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
KR101231510B1 (ko) * 2010-10-11 2013-02-07 현대자동차주식회사 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
JP2012221116A (ja) 2011-04-06 2012-11-12 Koito Mfg Co Ltd 車両用危険予知システム
US20130311075A1 (en) 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance
US9180882B1 (en) 2012-06-20 2015-11-10 Google Inc. Avoiding blind spots of other vehicles
CN202686138U (zh) * 2012-07-19 2013-01-23 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
CN104648248A (zh) * 2013-11-22 2015-05-27 莫儒 环视汽车盲区安全影像头
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
US20160046236A1 (en) * 2014-08-13 2016-02-18 Sensory, Incorporated Techniques for automated blind spot viewing
CA2999671A1 (en) * 2015-09-30 2017-04-06 Sony Corporation Control apparatus, control method, and program
DE112016006386T5 (de) * 2016-03-11 2018-10-25 Mitsubishi Electric Corporation Fahrzeugseitige vorrichtung, warnungsausgabeverfahren und warnungsausgabeprogramm

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207406A1 (de) * 2018-05-14 2019-11-14 Bayerische Motoren Werke Aktiengesellschaft Sichtfeldbestimmung
WO2021043504A1 (de) * 2019-09-05 2021-03-11 Robert Bosch Gmbh Verfahren und vorrichtung zur ausgabe einer warninformation an den fahrer eines einspurigen fahrzeugs
DE102022201699A1 (de) 2022-02-18 2023-08-24 Zf Friedrichshafen Ag Computer-implementiertes Verfahren und Vorrichtung zum Erhöhen der Sicherheit eines ersten Fortbewegungsmittels in Bezug auf zumindest ein zweites Fortbewegungsmittel

Also Published As

Publication number Publication date
US20170357859A1 (en) 2017-12-14
GB201708983D0 (en) 2017-07-19
MX2017007671A (es) 2018-09-10
CN107487258B (zh) 2022-05-17
GB2553616A (en) 2018-03-14
RU2017120288A (ru) 2018-12-10
CN107487258A (zh) 2017-12-19
US10115025B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
DE102017112788A1 (de) Systeme und Verfahren zur Erfassung von toten Winkeln
DE102016120507B4 (de) Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102017112567A1 (de) Totwinkel-erkennungssysteme und verfahren
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102018107344A1 (de) Hinderniserfassungssysteme und -verfahren
DE102017121622A1 (de) Eis- und schneeerfassungssysteme und -verfahren
DE102016120508A1 (de) Autonomes Fahren an Kreuzungen basierend auf Wahrnehmungsdaten
DE102016123878A1 (de) Fahrzeugblinksignaldetektion
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE102018132509A1 (de) Ein Fahrzeug und ein Verfahren zur fahrzeugübergreifenden Zusammenarbeit zur Erfassung von physischer äußerlicher Beschädigung
DE102019115425B4 (de) KOLLISIONSMINDERUNG FÜR BENACHBARTE FUßGÄNGER
DE112019000279T5 (de) Steuern autonomer fahrzeuge anhand sicherer ankunftszeiten
DE102018112234A1 (de) Verkehrssituationswahrnehmung für ein autonomes fahrzeug
DE102017100199A1 (de) FUßGÄNGERERKENNUNG MIT AUFFÄLLIGKEITSKARTEN
DE102017121378A1 (de) Auf geokodierte informationen gestützte fahrzeugwarnung
DE102019205223A1 (de) Einfädelverhaltenssysteme und Verfahren zum Einfädeln von Fahrzeugen
DE102019205228A1 (de) Einfädelverhaltenssysteme und Verfahren für Fahrzeuge auf einer Hauptspur
DE102017100029A1 (de) Vorhersage einer fahrerabsicht an einer kreuzung
DE102017100013A1 (de) Bestimmen der fahrerabsicht an strassenverkehrskreuzungen zum vermeiden der kollision von automobilen
DE102018101487A1 (de) Systeme und verfahren zur kollisionsvermeidung
DE102017115011A1 (de) Fussgängererkennung beim rückwärtsfahren eines fahrzeugs
DE102017111028A1 (de) Unfalldämpfungssysteme und -verfahren
DE102017127333A1 (de) Sinklocherfassungssysteme und -verfahren
DE102019101511A1 (de) Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen
DE112019004554T5 (de) System und verfahren zur warnung vor vorhergesagten fahrzeugvorfällen und zum ausweichen

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE

R012 Request for examination validly filed