DE102015110348A1

DE102015110348A1 - Anpassung einer Warnausgabe basierend auf einer Sicht eines Fahrers

Info

Publication number: DE102015110348A1
Application number: DE102015110348.6A
Authority: DE
Inventors: John-Michael McNew
Original assignee: Toyota Motor Engineering and Manufacturing North America Inc; Toyota Engineering and Manufacturing North America Inc
Current assignee: Toyota Motor Engineering and Manufacturing North America Inc
Priority date: 2014-07-09
Filing date: 2015-06-26
Publication date: 2016-01-14
Also published as: US9262924B2; US20160009175A1

Abstract

Eine Mensch-Maschine-Schnittstelle (HMI) kann Warnungen und Meldungen an einen Fahrer übermitteln, indem sie aus einer Reihe verschiedener Warnvorrichtungen auf Basis von Informationen in Bezug auf einen Blickwinkel des Fahrers auswählt. Die verschiedenen Warnvorrichtungen können eine primäre optische Warnvorrichtung (z. B. ein Head-up-Display), eine sekundäre optische Warnvorrichtung (z. B. ein Kombiinstrument oder einen Navigationsbildschirm), ein Mobilgerät (z. B. ein Tablet oder ein Mobiltelefon), ein Audiosystem oder eine haptische Vorrichtung beinhalten. Die HMI-Vorrichtung zeigt Warnungen auf optischen Warnvorrichtungen im Blickfeld des Fahrers an, kann ein aktives Mobilgerät ansteuern, damit dieses eine Warnung ausgibt. Optische Warnungen können Richtungshinweise beinhalten. Akustische Warnungen können die optischen Warnungen begleiten und können mit größerer Intensität ausgegeben werden, wenn keine optischen Vorrichtungen im Blickfeld des Fahrers liegen.

Description

ALLGEMEINER STAND DER TECHNIK
GEBIET
Diese Offenbarung betrifft Mensch-Maschine-Schnittstellen und genauer Mensch-Maschine-Schnittstellen in Kraftfahrzeugen.
BESCHREIBUNG DER VERWANDTEN TECHNIK
Manche technische Anlagen in Kraftfahrzeugen, beispielsweise Kollisionsvermeidungssysteme, überwachen die Umgebung auf Gefahren und richten das Kraftfahrzeug ein, um Gefahren zu entschärfen. Die Umgebung außerhalb des Fahrzeugs wird unter Verwendung einer Reihe verschiedener Sensoren, beispielsweise Radars, Infrarot- und optischer Detektoren, überwacht, um drohende Kollisionen zu erfassen. Wenn Gefahren von den Sensoren erfasst werden, lösen diese Gefahren häufig eine Warnung an den Fahrer aus.
Zum Beispiel beschreibt US 8,184,008 , Uozumi et al., das Messen eines Schläfrigkeitsstatus eines Fahrers und das Ausgeben einer Warnung unter Verwendung eines Summers, wenn ein Fahrer seine Augen für länger als ein vorgegebenes Intervall geschlossen hält.
KURZFASSUNG
Gemäß Aspekten dieser Offenbarung wird festgestellt, dass eine oder mehrere von einer Mehrzahl von optischen Warnvorrichtungen in einem ersten festgestellten Blickwinkel eines Fahrers liegt bzw. liegen, und die eine oder eine erste optische Warnvorrichtung von der Mehrzahl von optischen Warnvorrichtungen wird angesteuert, damit sie eine erste optische Warnung ausgibt, wenn festgestellt wird, dass die erste optische Warnvorrichtung im ersten festgestellten Blickwinkel des Fahrers liegt. Der Blickwinkel des Fahrers kann auf Basis eines Bildes des Fahrers, eines Bildes in der Blickrichtung des Fahrers und auf Basis von Positionsdaten des Fahrers festgestellt werden.
Es kann festgestellt werden, ob keine von der Mehrzahl von optischen Warnvorrichtungen im ersten festgestellten Blickwinkel des Fahrers liegt. Falls dies zutrifft, kann mindestens eine nicht-optische Warnvorrichtung angesteuert werden, damit sie eine erste nicht-optische Warnung auf einer ersten Warnstufe ausgibt, wenn keine von der Mehrzahl von optischen Warnvorrichtungen im ersten festgestellten Blickwinkel des Fahrers liegt.
Ein Aktivitätsstatus eines Mobilgeräts kann ebenfalls festgestellt werden. Das Mobilgerät kann angesteuert werden, damit es eine Mobilgerätewarnung ausgibt, wenn auf Basis des Aktivitätsstatus des Mobilgeräts festgestellt wird, dass das Mobilgerät aktiv ist.
Es kann festgestellt werden, dass das Mobilgerät im Blickwinkel des Fahrers liegt. Falls dies zutrifft, kann das Mobilgerät angesteuert werden, damit es die Mobilgerätewarnung ausgibt, wenn festgestellt wird, dass das Mobilgerät gerade noch aktiv war und festgestellt wird, dass das Mobilgerät im Blickwinkel des Fahrers liegt.
Auf Basis eines Bildes vom Mobilgerät kann festgestellt werden, ob der Fahrer auf das Mobilgerät blickt. Falls dies zutrifft, kann das Mobilgerät angesteuert werden, damit es die Mobilgerätewarnung ausgibt, wenn entweder festgestellt wird, dass der Fahrer auf das Mobilgerät blickt, oder wenn die Feststellung, ob der Fahrer auf das Mobilgerät blickt, ergebnislos bleibt.
Es kann festgestellt werden, dass eine zweite optische Warnvorrichtung von der Mehrzahl von optischen Warnvorrichtungen im Blickwinkel des Fahrers liegt. Eine zweite optische Warnvorrichtung kann angesteuert werden, damit sie eine zweite optische Warnung ausgibt, wenn die zweite optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt.
Die mindestens eine nicht-optische Warnvorrichtung kann angesteuert werden, damit sie eine unterstützende nicht-optische Warnung auf einer zweiten Warnstufe ausgibt, wenn mindestens eine von der Mehrzahl von optischen Warnvorrichtungen eine erste optische Warnung ausgibt, wobei die zweite Warnstufe auf einer Stufe liegt, niedriger ist als die erste Warnstufe.
Mindestens eine von der ersten optischen Warnung, der zweiten optischen Warnung, der ersten nicht-optischen Warnung, der unterstützenden nicht-optischen Warnung und der Mobilgerätewarnung kann modifiziert werden, um eine Stufe der jeweiligen Warnung heraufzusetzen, wenn die Reaktion des Fahrers ein erstes vorgegebenes Kriterium nicht erfüllt.
Es kann festgestellt werden, dass die erste optische Warnvorrichtung im ersten festgestellten Blickwinkel des Fahrers liegt, wenn der erste festgestellte Blickwinkel einem direkten Blickfeld bzw. einer direkten Sicht des Fahrers entspricht. Es kann festgestellt werden, dass die zweite optische Warnvorrichtung im zweiten festgestellten Blickwinkel des Fahrers liegt, wenn der zweite festgestellte Blickwinkel einem erweiterten Blickfeld bzw. einer erweiterten Sicht des Fahrers entspricht.
Mindestens eine von der Mehrzahl von optischen Warnvorrichtungen kann angesteuert werden, damit sie eine unterstützende optische Warnung ausgibt, wenn keine von der Mehrzahl von optischen Warnvorrichtungen im Blickfeld des Fahrers liegt.
Ein Aktivitätsprotokoll des Mobilgeräts kann abgerufen und mit einem Kriterium Aktiv und einem Kriterium Gerade-noch-aktiv-gewesen verglichen werden. Es kann festgestellt werden, dass das Mobilgerät aktiv ist, wenn das Aktivitätsprotokoll das Kriterium Aktiv erfüllt. Es kann festgestellt werden, dass das Mobilgerät gerade noch aktiv war, wenn das Aktivitätsprotokoll das Kriterium Gerade-noch-aktiv-gewesen erfüllt. Es kann festgestellt werden, dass das Mobilgerät inaktiv ist, wenn das Aktivitätsprotokoll das Kriterium Gerade-noch-aktiv-gewesen und das Kriterium Aktiv nicht erfüllt.
Die mindestens eine nicht-optische Warnvorrichtung kann mindestens eines der folgenden Elemente beinhalten: einen mechanischen Messwandler im Bremspedal, einen mechanischen Messwandler im Fahrersitz, ein Heizungs-, Lüftungs- und Klimatisierungssystem, einen mechanischen Messwandler, der den Sicherheitsgurt strafft, einen Lautsprecher, eine haptische Warnvorrichtung und eine akustische Warnvorrichtung.
Die Mehrzahl von optischen Warnvorrichtungen kann mindestens eine der folgenden Elemente beinhalten: ein Head-up-Display, einen Navigationsbildschirm, ein Kombiinstrument, einen Seitenspiegel und einen Rückspiegel.
Die mindestens eine nicht-optische Warnvorrichtung kann eine optische Ausgabe beinhalten. Die Mobilgerätewarnung kann eine optische Warnung und/oder eine akustische Warnung und/oder eine haptische Warnung sein. Mindestens eine von der Mehrzahl von optischen Warnvorrichtungen kann eine nicht-optische Ausgabe, einschließlich einer akustischen Ausgabe oder einer haptischen Ausgabe, beinhalten.
Die optische Warnung und/oder die erste nicht-optische Warnung und/oder die Mobilgerätewarnung stellen Richtungshinweise bereit, die einen Blick des Fahrers in eine vorgegebene Richtung lenken.
Eine erste nicht-optische Warnvorrichtung kann angesteuert werden, damit sie eine Warnung ausgibt. Der Griff des Fahrers am Lenkrad kann überwacht werden, und Änderungen des Blickwinkels des Fahrers können überwacht werden, um festzustellen, ob der Fahrer auf die Warnungen reagiert. Wenn festgestellt wird, dass der Fahrer nicht auf die Warnungen reagiert, können die Warnungen modifiziert werden, damit der Fahrer eher auf sie aufmerksam wird.
Aspekte der Offenbarung können in einem oder mehreren Verfahren, Prozessen, Systemen und/oder Fahrzeugen implementiert sein. Jedoch ist diese Liste nicht beschränkend, und es sind weitere Implementierungen möglich.
Ein Beispielssystem kann aufweisen: eine Fahrerüberwachungsvorrichtung, die dafür ausgelegt ist, einen Blickwinkel eines Fahrers zu erfassen; eine Mehrzahl von Warnvorrichtungen, einschließlich einer Mehrzahl von optischen Warnvorrichtungen und mindestens einer nicht-optischen Warnvorrichtung; und eine Steuerschaltung. Die Steuerschaltung kann dafür ausgelegt sein festzustellen, welche von der Mehrzahl von optischen Warnvorrichtungen im Blickwinkel eines Fahrers liegt; eine erste optische Warnvorrichtung aus der Mehrzahl von optischen Warnvorrichtungen anzusteuern, damit diese eine erste optische Warnung ausgibt, wenn festgestellt wird, dass die erste optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt; die nicht-optische Warnvorrichtung anzusteuern, damit diese eine erste nicht-optische Warnung ausgibt, wenn festgestellt wird, dass keine optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt; festzustellen, ob der Fahrer auf die erste optische Warnung oder die erste nicht-optische Warnung reagiert; und ein Mobilgerät anzusteuern, damit dieses eine Mobilgerätewarnung ausgibt, wenn festgestellt wird, dass der Fahrer nicht auf die erste optische Warnung oder die erste nicht-optische Warnung reagiert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Offenbarung wird aus der folgenden ausführlichen Beschreibung in Verbindung mit den begleitenden Zeichnungen besser verständlich werden, von denen
1A ein schematisches Diagramm einer Implementierung einer Warnvorrichtung einer Mensch-Maschine-Schnittstelle (HMI) zeigt;
1B ein schematisches Diagramm einer Implementierung der HMI-Warnvorrichtung zeigt;
2 ein Ablaufschema einer Implementierung eines HMI-Verfahrens zeigt;
3 ein Ablaufschema einer Implementierung eines Warnungsausgabeprozesses zeigt;
4 ein Ablaufschema einer Implementierung eines Warnungseinstellungsprozesses zeigt;
5 ein Ablaufschema einer anderen Implantation eines HMI-Verfahrens zeigt;
6 eine Ansicht eines Innenraums eines Kraftfahrzeugs ist, das eine HMI-Vorrichtung aufweist; und
7 eine Ansicht einer Implementierung von Blickwinkelregionen eines Innenraums eines Kraftfahrzeugs ist.
AUSFÜHRLICHE BESCHREIBUNG
Gemäß Aspekten dieser Offenbarung kann ein intelligentes Warnsystem Informationen über einen Blickwinkel eines Fahrers verwenden, um Warnungen und andere Meldungen, die auf optischen Vorrichtungen, Mobilgeräten und nicht-optischen Vorrichtungen ausgegeben werden sollen, so abzustimmen, dass es den Fahrer effektiver warnen oder auf andere Weise mit ihm kommunizieren kann. Der Blickwinkel des Fahrers wird verwendet, um festzustellen, wo (z. B. auf welcher von den verschiedenen Warnvorrichtungen) und wie Warnungen unter Verwendung verschiedener Warnvorrichtungen ausgegeben werden sollen (z. B. mit welcher Intensität der Warnungsausgabe und ob eine optische oder eine nicht-optische Warnung besser ist), um die Warnungsausgaben so abzustimmen, dass eine effizientere Kommunikation mit dem Fahrer möglich ist. Der Blickwinkel des Fahrers und andere Aktionen, beispielsweise eine Position der Hände auf dem Lenkrad, können verwendet werden, um festzustellen, ob eine Warnung verstärkt oder modifiziert werden soll oder ob eine andere Warnvorrichtung verwendet werden soll.
Zum Beispiel kann ein Prozess das Anzeigen von Warnungen auf optischen Warnvorrichtungen innerhalb des direkten Blickfelds des Fahrers beinhalten. Wenn keine optischen Warnvorrichtungen im direkten Blickfeld des Fahrers liegen, können Warnungen auf Warnvorrichtungen angezeigt werden, die im erweiterten Blickfeld des Fahrers liegen. Falls keine optischen Warnvorrichtungen, die sich innerhalb des Fahrzeugs befinden, im direkten oder erweiterten Blickfeld des Fahrers liegen, können Warnungen auf das Mobilgerät des Fahrers geschoben werden, wenn die Warnvorrichtung gerade aktiv ist. Ebenso können Warnungen unter Verwendung nicht-optischer Warnvorrichtungen, beispielsweise von Lautsprechern, ausgegeben werden, um entweder die optischen Warnvorrichtungen zu unterstützen oder als primäre Warnungsausgabe.
Durch Abstimmen der Warnvorrichtung oder einer Kombination von Warnvorrichtungen auf Basis des Blickwinkels des Fahrers kann die Effektivität der Warnung verbessert werden, die Reaktionszeit des Fahrers kann verkürzt werden, indem auf solche Sinneswahrnehmungen abgezielt wird, die kürzere Nervenleitungen haben, und eine Abstumpfung des Fahrers durch ein Zuviel an Warnungen kann vermieden werden. Ein Blickfeld des Fahrers (d. h. eine Sicht eines Fahrers) ist eine Blickrichtung des Fahrers auf Basis einer Richtung, in der die Augen des Fahrers ausgerichtet sind, eine Blickrichtung des Fahrers auf Basis einer Ausrichtung/Position des Kopfes des Fahrers oder eine Kombination davon. Die Warnungen sollen eine Reaktion des Fahrers stimulieren, wobei die Reaktion lediglich darin bestehen kann, dass der Fahrer seine Aufmerksamkeit auf etwas richtet, oder bewirken, dass der Fahrer eine bestimmte physische Handlung durchführt. Jedoch ist die Form der Reaktion nicht auf diese Beispiele beschränkt.
Es wird nun auf die Zeichnungen Bezug genommen, wo gleiche Bezugszahlen gleiche oder entsprechende Teile in den Darstellungen bezeichnen und wo 1A eine schematische Ansicht eines Beispiels für eine Implementierung einer Mensch-Maschine-Schnittstelle-(HMI)-Warnvorrichtung 101 in einem Kraftfahrzeug ist.
Die HMI-Warnvorrichtung 101 beinhaltet eine Fahrerüberwachungsvorrichtung 102, um Informationen in Bezug auf den aktuellen Blickwinkel des Fahrers (d. h. Hinweise auf den Blickwinkel des Fahrers) zu erfassen. In einer Implementierung kann die Fahrerüberwachungsvorrichtung 102 eine Fahrerüberwachungsvorrichtung sein, die sich im Fahrzeug befindet, beispielsweise eine Videokamera, eine ladungsgekoppelte (CCD) Kamera oder eine CMOS-Kamera (CMOS: sich ergänzender Metall-Oxid-Halbleiter), die Bilder von dem Fahrer aufnimmt. Andere Kameras, beispielsweise Infrarotkameras, können ebenfalls verwendet werden. Die Kameras können auch mit Flugzeit-(Time-of-Flight)-Sensoren, beispielsweise einer (Licht und Entfernung erfassenden) Lidar-Vorrichtung, verwendet oder dagegen ausgetauscht werden, um Objekte oder Merkmale zu erkennen. Die Bilder des Fahrers werden unter Verwendung einer Bildverarbeitungsschaltung verarbeitet, um Informationen in Bezug auf den Blickwinkel des Fahrers zu erhalten. Die Bildverarbeitungsschaltung kann in die Fahrerüberwachungsvorrichtung 102 integriert sein oder kann außerhalb der Fahrerüberwachungsvorrichtung 102 angeordnet sein (z. B. kann die Bildverarbeitungsschaltung stattdessen in einen Rechenprozessor 104 integriert sein).
In einer Implementierung kann die Fahrerüberwachungsvorrichtung 102 auch in einen Teil einer am Körper tragbaren Vorrichtung, beispielsweise Google Glass^TM eingebaut sein. Die am Körper tragbare Vorrichtung kann dafür ausgelegt sein, die Ausrichtung des Kopfes des Fahrers, die Richtung, in die die Augen des Fahrers blicken, oder andere Informationen in Bezug auf den Blickwinkel des Fahrers zu erfassen. In einer Implementierung kann die Fahrerüberwachungsvorrichtung 102 eine Kamera an einem Mobilgerät wie einem Tablet oder einem Mobiltelefon sein, das dafür ausgelegt ist, Informationen in Bezug auf das Blickfeld des Fahrers zu beschaffen. Die Fahrerüberwachungsvorrichtung 102 liefert Informationen in Bezug auf den Blickwinkel des Fahrers. Die Fahrerüberwachungsvorrichtung 102 kann auch eine Kombination aus den oben genannten Implementierungen sein, die dafür ausgelegt ist, Informationen in Bezug auf den Blickwinkel des Fahrers zu liefern.
Die Bilder und Informationen von der Fahrerüberwachungsvorrichtung 102 können verarbeitet und auf der Fahrerüberwachungsvorrichtung 102 gespeichert werden oder die Bilder können verarbeitet und vom Rechenprozessor 104, der einen Speicher 106 aufweist, gespeichert werden. Die Bilder und Informationen können auch im Speicher 106 gespeichert und später verarbeitet werden, um Änderungen des Blickwinkels zu erfassen. Die verschiedenen hierin beschriebenen Verarbeitungen können lokal oder in Kombination mit externer Verarbeitung, z. B. durch eine an einem anderen Ort befindliche Verarbeitungsschaltung, durchgeführt werden.
In einer Implementierung vergleicht der Rechenprozessor 104 die Blickrichtung des Fahrers mit den Stellen, wo sich verschiedene Warnvorrichtungen befinden, und entscheidet, welche Warnvorrichtungen am wirksamsten wären, um eine Warnung an den Fahrer zu übermitteln. Der Rechenprozessor 104 kann auch Berechnungen durchführen, um festzustellen, welche Gefahren bestehen und welche Warnstufe angemessen ist.
Zusätzlich zur Verarbeitung von Bildern des Fahrers kann der Rechenprozessor 104 viele andere Funktionen erfüllen, beispielsweise die Bestimmung der Intensitätsstufe einer Warnung, die Koordination der Warnungen von verschiedenen Vorrichtungen und die Überwachung von Gefahren, um Warnungen zu initiieren/zu beenden. Zahlreiche Faktoren können die Entscheidungen beeinflussen, die vom Rechenprozessor 104 getroffen werden. Zum Beispiel können die Wahl der Warnvorrichtungen, die Warnungen ausgeben sollen, die Wahl der Intensitätsstufe einer Warnung und die Art und Weise, wie die Warnungsausgaben koordiniert werden, jeweils von der Art der Gefahr, die der Warnung zugrunde liegt (z. B. ob der Fahrer Anzeichen von Müdigkeit zeigt, ob sich ein Fußgänger vor dem Fahrzeug befindet, ob eine Kollision stattfindet, ob der Verkehr stockt), der relativen Wirksamkeit von Abhilfemaßnahmen (z. B. Bremsen, Ausweichmanöver und Lenken des Blickes des Fahrers in eine bestimmte Richtung) und dem aktuellen Blickwinkel des Fahrers beeinflusst werden. Der Rechenprozessor 104 kann auch auf Daten im Speicher zurückgreifen (z. B. auf den vorangehenden Blickwinkel des Fahrers), die verwendet werden, um die Reaktion des Fahrers auf Warnungen zu evaluieren und um die Warnung zu aktualisieren, um die Reaktion des Fahrers auf die Warnungsausgaben und die Änderung der Umstände zu berücksichtigen. Zum Beispiel können die Warnungen auf eine höhere Warnintensitätsstufe heraufgesetzt werden, wenn der Fahrer nicht angemessen auf die Warnungen reagiert. Im Allgemeinen erledigt der Rechenprozessor 104 die primären Rechen- und Entscheidungsaufgaben im Zusammenhang mit der HMI-Warnvorrichtung 101.
Der Rechenprozessor 104 kann ein Xenon- oder Core-Prozessor der amerikanischen Firma Intel oder ein Opteron-Prozessor der amerikanischen Firma AMD oder eine andere Art von Prozessor sein, den ein Durchschnittsfachmann kennt, beispielsweise ein Prozessor auf ARM-Basis. Der Rechenprozessor 104 kann auf einem FPGA, ASIC, PLD oder unter Verwendung von diskreten logischen Schaltungen, die ein Durchschnittsfachmann kennt, implementiert sein. Ferner kann der Rechenprozessor 104 in Form einer Vielzahl von Prozessoren implementiert sein, die parallel zusammenarbeiten, um die Befehle der oben beschriebenen erfindungsgemäßen Prozesse auszuführen. Die Prozessdaten und Befehle für den Rechenprozessor 104 können im Speicher 106 gespeichert sein. Diese Prozesse und Befehle können auch auf einer Speichermedienplatte wie einer Festplatte (HDD) oder einem tragbaren Speichermedium gespeichert sein oder ferngespeichert sein. Ferner sind die beanspruchten Vorteile nicht durch die Form des computerlesbaren Mediums beschränkt, auf dem die Befehle zur Implementierung des HMI-Warnverfahrens gespeichert sind. Zum Beispiel können die Befehle auf CDs, DVDs, in einem FLASH-Speicher, einem RAM, einem ROM, einem PROM, einem EPROM, einem EEPROM, einer Festplatte oder irgendeiner anderen Informationsverarbeitungsvorrichtung gespeichert sein. Der Speicher 106 kann eine Speichermedienplatte wie eine Festplatte (HDD), ein tragbares Speichermedium oder ein FLASH-Speicher sein.
Die HMI-Warnvorrichtung 101 beinhaltet eine primäre optische Onboard-Warnvorrichtung 108, beispielsweise ein Head-up-Display oder ein Kombiinstrument. Unabhängig davon, um welche Anzeigevorrichtung es sich bei der primären optischen Onboard-Warnvorrichtung 108 handelt, ist die primäre optische Onboard-Warnvorrichtung 108 für den Fahrer sichtbar, wenn der Fahrer geradeaus blickt und seine „Augen auf der Straße” hat (d. h. die optische Anzeige liegt im Blickfeld des Fahrers, wenn der Fahrers in Richtung der Vorwärtsbewegung des Kraftfahrzeugs geradeaus blickt).
Eine optische Warnung auf der primären optischen Onboard-Warnvorrichtung 108 kann viele Formen haben. In einer Implementierung wird eine optische Warnung, die auf der primären optischen Onboard-Warnvorrichtung 108 ausgegeben wird, als Text angezeigt. In einer Implementierung wird die optische Warnung als Muster von Symbolen angezeigt, die blinken, konstant leuchten oder ihre Position und Größe ändern können. Ebenso gibt die optische Warnung in einer Implementierung Richtungshinweise an den Fahrer aus. Die Warnung kann als irgendeine Kombination aus Text, Symbolen, Pfeilen, Richtungshinweisen oder anderer optischer Anzeige angezeigt werden, die dafür ausgelegt ist, Informationen zu übermitteln oder eine Empfindung hervorzurufen.
Die HMI-Warnvorrichtung 101 kann sekundäre optische Onboard-Warnvorrichtungen 110 beinhalten, beispielsweise einen Navigationsbildschirm, ein Kombiinstrument, Anzeigen in einem Rückspiegel oder in Seitenspiegeln, Warnleuchten und andere LCD/LED-Anzeigen, die aus der Perspektive des Fahrers sichtbar sind. Die optischen Warnungen, die auf den sekundären optischen Onboard-Warnvorrichtungen 110 angezeigt werden, können Text, Symbole, Muster, Richtungshinweise, räumlich/zeitlich variierende Hintergründe oder andere optische Muster beinhalten, die dafür ausgelegt sind, Informationen zu übermitteln oder Empfindungen hervorzurufen.
Die HMI-Warnleuchte 101 beinhaltet eine Netzwerksteuerschaltung 112, die dafür ausgelegt ist, mit einem Mobilgerät 114 zu kommunizieren. Das Mobilgerät 114 kann ein Tablet, ein Mobiltelefon, ein Smartphone, eine am Körper zu tragende Technik wie Google Glass^TM, eine Smartwatch oder ein drahtloses Endgerät sein. Die Netzwerksteuerschaltung 112 sendet und empfängt Meldungen vom Mobilgerät 114. Die Netzwerksteuerschaltung 112 ist dafür ausgelegt, mit mindestens einer Vorrichtung bzw. einem Gerät zu kommunizieren, kann aber auch dafür ausgelegt sein, mit zahlreichen Mobilgeräten zu kommunizieren. Die Netzwerksteuerschaltung 112 kann Bluetooth, ein drahtloses lokales Netzwerk, ein IEEE 802-Netzwerk, ein Infrarotkommunikationsnetzwerk, ein Wi-Fi-Netzwerk und/oder eine drahtgebundene Schnittstelle beinhalten.
Die HMI-Warnvorrichtung 101 kann auch Warnvorrichtungen beinhalten, die dafür ausgelegt sind, den Fahrer unter Verwendung nicht-optischer Einrichtungen zu warnen. Zum Beispiel kann die HMI-Warnvorrichtung 101 eine akustische Warnvorrichtung 116 beinhalten, die dafür ausgelegt ist, akustische Warnungen zu senden. Diese akustischen Warnungen können von einem Audio-Lautsprecher, einem piezoelektrischen Messwandler, einem magnetostriktiven Messwandler, einem elektrostatischen Messwandler oder einem anderen Schall-Messwandler gesendet werden. Die akustische Warnvorrichtung 116 kann auch ein Standard-Fahrzeugaudiosystem sein. Die akustischen Warnungen können als Sprache, Klingeltöne, Warntöne, Musik oder andere Klänge ausgegeben werden, die dafür ausgelegt sind, Informationen zu übermitteln oder eine Empfindung/Reaktion des Fahrers hervorzurufen.
Die HMI-Warnvorrichtung 101 kann auch eine haptische Warnvorrichtung 118 beinhalten, um den Fahrer über den Tastsinn des Fahrers zu warnen. Die haptische Warnvorrichtung 118 kann ein mechanischer Messwandler sein, der mit einem Sitz, einem Bremspedal, einem Sicherheitsgurt, einem Lenkrad oder einem anderen Teil des Fahrzeugs verbunden ist, der mit dem Fahrer in physischem Kontakt steht. Die haptische Warnvorrichtung 118 kann auch Luft sein, die aus dem Lüftungssystem des Fahrzeugs kommt, oder andere Formen von taktiler Kommunikation, die dafür ausgelegt sind, den Fahrer zu warnen oder auf andere Weise Informationen zu übermitteln oder eine Empfindung hervorzurufen.
Sowohl die Fahrerüberwachungsvorrichtung 102 als auch die primäre optischen Onboard-Warnvorrichtungen 108, die sekundären optischen Onboard-Warnvorrichtungen 110, die akustische Warnvorrichtung 116 und die haptische Warnvorrichtung 118 sind mittels eines Onboard-Kommunikationssystems 120 mit dem Rechenprozessor 104 verbunden. Dieses Onboard-Kommunikationssystem 120 kann eine direkte Verdrahtung, ein Controller Area Network(CAN)-Bus, ein Local Area Network(LAN)-Bus oder ein anderer Netzwerkbus sein.
In einer in 1A dargestellten Implementierung der Fahrerüberwachungsvorrichtung 102 ist die Fahrerüberwachungsvorrichtung über die Netzwerksteuerschaltung 112 und nicht über das Onboard-Kommunikationssystem 120 am Rechenprozessor 104 angeschlossen.
In einer anderen Implementierung könnte die Netzwerksteuerschaltung 112 am Onboard-Kommunikationssystem 120 angeschlossen sein statt direkt am Rechenprozessor 104 angeschlossen zu sein. Die HMI-Warnvorrichtung 101 kann in manchen Beispielen als eine oder mehrere elektronische Einheiten oder als programmierte Schaltung implementiert sein, die an einer oder an mehreren Stellen in oder am Fahrzeug installiert sein kann. Somit können Aspekte der Verarbeitung in manchen Implementierungen auf verteilte Weise durchgeführt werden.
1B zeigt eine Implementierung der HMI-Warnvorrichtung 101. Nun wird unter Bezugnahme auf 1B eine Hardware-Beschreibung der HMI-Warnvorrichtung 101 gemäß Implementierungsbeispielen beschrieben. In 1B weist die HMI-Warnvorrichtung 101 eine CPU 150 auf, welche die hierin beschriebenen Prozesse ausführt. Prozessdaten und Befehle können im Speicher 152 gespeichert sein. Prozesse und Befehle können auch auf einer Speichermedienplatte 154 wie einer Festplatte (HDD), einer Halbleiterplatte (SSD) oder einem tragbaren Speichermedium gespeichert sein oder ferngespeichert sein. Ferner ist diese Offenbarung nicht auf die Form des computerlesbaren Mediums beschränkt, auf dem die Befehle gespeichert sind. Zum Beispiel können die Befehle auf CDs, DVDs, in einem FLASH-Speicher, einem RAM, einem ROM, einem PROM, einem EPROM, einem EEPROM, einer Festplatte oder irgendeiner anderen Informationsverarbeitungsvorrichtung gespeichert sein, mit der die HMI-Warnvorrichtung 101 kommuniziert, beispielsweise auf einem Server oder einem Computer.
Ferner können Aspekte dieser Offenbarung als Dienstprogramm, Hintergrund-Daemon oder als Komponente eines Betriebssystems oder als Kombination davon bereitgestellt sein, die in Verbindung mit einer CPU 150 und einem Betriebssystem wie Microsoft Windows 7, UNIX, Solaris, LINUX, Apple MAC-OS und anderen Betriebssystemen ausgeführt werden.
Die CPU 150 kann ein Xenon- oder Core-Prozessor der amerikanischen Firma Intel oder ein Opteron-Prozessor der amerikanischen Firma AMD sein oder eine andere Art von Prozessor, den ein Durchschnittsfachmann kennt, beispielsweise ein Prozessor auf ARM-Basis. Die CPU 150 kann auf einem FPGA, ASIC, PLD oder unter Verwendung von diskreten logischen Schaltungen, die ein Durchschnittsfachmann kennt, implementiert sein. Ferner kann die CPU 150 in Form einer Vielzahl von Prozessoren implementiert sein, die parallel zusammenarbeiten, um die Befehle der oben beschriebenen erfindungsgemäßen Prozesse auszuführen.
Die HMI-Warnvorrichtung 101 in 1B weist außerdem eine Netzwerksteuerung 156, beispielsweise eine Intel Ethernet PRO-Netzwerkschnittstellenkarte der amerikanischen Intel Corporation auf, das am Netzwerk 180 angeschlossen ist. Das Netzwerk 180 kann ein öffentliches Netzwerk, beispielsweise das Internet, oder ein privates Netzwerk, beispielsweise ein LAN- oder WAN-Netzwerk, oder irgendeine Kombination davon sein und kann auch PSTN- oder ISDN-Subnetzwerke beinhalten. Das Netzwerk 180 kann auch verdrahtet sein, beispielsweise ein Ethernet-Netzwerk, oder es kann drahtlos sein, wie ein zelluläres Netzwerk, einschließlich von drahtlosen, zellulären EDGE-, 3G- und 4G-Systemen. Das drahtlose Netzwerk kann auch WiFi, Bluetooth oder eine andere drahtlose Form der Kommunikation sein.
Die HMI-Warnvorrichtung 101 beinhaltet ferner eine erste Anzeigesteuerung 158 und eine zweite Anzeigesteuerung 160, wie eine NVIDIA GeForce GTX- oder Quadro-Graphikkarte von der amerikanischen NVIDIA Corporation, die jeweils an einer entsprechenden ersten Anzeige 159, beispielsweise einer Projektionsvorrichtung in einem Head-up-Display, und einer zweiten Anzeige 161, beispielsweise einem LCD-Navigationsbildschirm, angeschlossen ist.
Die HMI-Warnvorrichtung 101 weist ferner eine Universal-I/O-Schnittstelle 162 auf, die an einer Eingabevorrichtung 164 ebenso wie an Sensoren 166 angeschlossen ist, in denen die Fahrerüberwachungsvorrichtung 102 enthalten sein kann. Die Universal-I/O-Schnittstelle 162 kann auch an einer Reihe verschiedener Stellantriebe 168 einschließlich der haptischen Warnvorrichtung 118 angeschlossen sein.
Eine Klangsteuereinrichtung 170 ist ebenfalls in der HMI-Warnvorrichtung 101 vorgesehen, beispielsweise ein Sound Blaster X-Fi Titanium von Creative, der an den Lautsprechern/dem Mikrofon 172 angeschlossen ist, um dadurch Klänge und/oder Musik zu schaffen. Die Klangsteuereinrichtung 170 und die Lautsprecher/das Mikrofon 172 können die akustische Warnvorrichtung 116 sein.
Die Universal-Speichersteuereinrichtung 174 ist über den Kommunikationsbus 176 mit der Speichermedienplatte 154 verbunden und kann eine ISA, EISA, VESA, PCI oder ähnliches sein, die alle Komponenten der HMI-Warnvorrichtung 101 miteinander verbindet. Eine Beschreibung der allgemeinen Merkmale und Funktionen der Anzeige 160, der Tastatur und/oder der Maus 164, ebenso wie der Anzeigesteuereinrichtung 158, der Speichersteuereinrichtung 174, der Netzwerksteuereinrichtung 156, der Klangsteuereinrichtung 170 und der Universal-I/O-Schnittstelle 162 ist um der Kürze willen hier weggelassen, da diese Merkmale bekannt sind.
2 zeigt ein Ablaufschema eines HMI-Warnverfahrens 200, das ein Algorithmusprozess ist, der von der HMI-Warnvorrichtung 101 ausgeführt werden kann.
Das Verfahren 200 beginnt, nachdem eine Warnung ausgegeben worden ist. Eine Warnung kann von einem herkömmlichen Warnsystem kommen, z. B. wenn eine Fahrspurabweichung erfasst wird oder wenn eine Kollision zu erwarten ist. Es können viele unterschiedliche Arten von Warnungen übermittelt werden. Manche Warnungen können dringend sein (z. B. wenn eine Kollision unmittelbar droht). Andere Warnungen können nicht dringend sein (z. B. Stauwarnung, eine Warnung, dass der Kraftstoff zur Neige geht, oder eine Warnung, dass eine Wartung des Fahrzeugs ansteht. Warnung kann in einem breiten Sinn interpretiert werden und jede Meldung bedeuten, die zeitlich befristet ist.
Manche sicherheitstechnischen Anlagen in Kraftfahrzeugen, beispielsweise Kollisionsvermeidungssysteme, überwachen die Umgebung auf Gefahren und richten das Kraftfahrzeug so ein, dass die Gefahren entschärft werden. Die Umgebung außerhalb des Fahrzeugs wird unter Verwendung einer Reihe verschiedener Sensoren, beispielsweise Radars, Infrarot- und optischer Detektoren, überwacht, um drohende Kollisionen zu erfassen. Die Warnung wäre dann jede Meldung, die in Bezug auf diese Gefahren an den Fahrer übermittelt wird.
Warnungen, die nicht direkt mit einer unmittelbar bevorstehenden Kollision in Beziehung stehen, können die Sicherheit des Kraftfahrzeugs auch verbessern. Zum Beispiel können Kraftfahrzeuge mit Sensoren und drahtlosen Kommunikationssystemen ausgestattet sein, die eine Überwachung auf Fußgänger oder sich ändernde Verkehrsmuster durchführen.
In noch anderen Kraftfahrzeugwarnsystemen können Fahrerüberwachungskameras verwendet werden, um zu überwachen, ob der Fahrer ermüdet, und um den Fahrer zu warnen/aufzuwecken, wenn es scheint, als sei der Fahrer eingenickt. Zusätzlich zu einer Erfassung, ob die Augen des Fahrers offen oder geschlossen sind, können diese Fahrerüberwachungskameras die Bewegung der Augen verfolgen, um festzustellen, ob der Fahrer auf die Straße achtet oder seine Aufmerksamkeit von etwas anderem abgelenkt wird. Eine Warnung kann jede Meldung sein, die übermittelt wird, um den Fahrer zu alarmieren und seine Aufmerksamkeit auf etwas zu richten.
Im ersten Schritt S210 fragt der Rechenprozessor 104 Informationen in Bezug auf den Blickwinkel des Fahrers ab (d. h. über die Blickrichtung).
Im Prozess 220 wird die Warnung unter Verwendung einer primären Warnvorrichtung oder einer Kombination aus einer primären Warnvorrichtung und unterstützenden Warnvorrichtungen ausgegeben. Diese Warnvorrichtungen können die primäre optische Onboard-Warnvorrichtung 108, die sekundären optischen Onboard-Warnvorrichtungen 110, das Mobilgerät 114, die akustische Warnvorrichtung 116 und die haptische Warnvorrichtung 118 beinhalten.
In einer Implementierung wird die primären Warnvorrichtungen auf Basis des Blickwinkels des Fahrers gewählt. Die Wahl der primären Warnvorrichtung kann auch die Art der Warnung berücksichtigen und wie die primäre Warnvorrichtung in Kombination mit den unterstützenden Warnvorrichtungen verwendet werden soll. Zum Beispiel wird in einer Implementierung, wo die primäre Warnvorrichtung eine optische Warnvorrichtung ist (d. h. die primäre optische Onboard-Warnvorrichtung 108, die sekundären optischen Onboard-Warnvorrichtungen 110 oder das Mobilgerät 114), die primäre Warnvorrichtung durch die akustische Warnvorrichtung unterstützt, die eine Warnung auf einer Stufe Vorrichtung-im-Blick ausgibt. Wenn die primäre Warnvorrichtung die akustische Warnvorrichtung ist, gibt die akustische Warnvorrichtung eine Warnung auf einer Stufe Vorrichtung-nicht-im-Blick aus, und die akustische Warnvorrichtung kann durch optische Vorrichtungen unterstützt werden, die Richtungshinweise auf die Gefahr ausgeben.
Zusätzlich dazu, dass die Wahl der Warnvorrichtung auf dem Blickwinkel des Fahrers basiert, kann die Wahl der Warnvorrichtungen und der Warnungsausgabe auch auf die Art und die Natur der Gefahr abgestimmt werden, die Ursache der Warnung ist. Die Wahl der Warnvorrichtungen und Warnungsausgaben wird so getroffen, dass der Fahrer effektiver auf die Warnung und/oder Gefahr aufmerksam gemacht werden kann und die angemessene Reaktion des Fahrers hervorgerufen werden kann. Zum Beispiel sind optische Warnungen auf Vorrichtungen, die im Blickfeld des Fahrers liegen, effektiver als optische Warnungen auf Vorrichtungen außerhalb des Blickfelds des Fahrers. Außerdem können manche Gefahren Warnungen notwendig machen, die so abgestimmt sind, dass sie eine bewusste Abwägung bewirken, während andere Gefahren Warnungen notwendig machen können, die so abgestimmt sind, dass sie eine schnelle und instinktive Reaktion hervorrufen (z. B. eine unmittelbar drohende Kollision). Außerdem können manche Warnungen so abgestimmt werden, dass sie Richtungshinweise liefern, die den Fahrer auf eine Stelle aufmerksam machen, wo sich eine Gefahr befindet (z. B. auf ein fremdes Objekt, das sich dem Fahrzeug von der Seite nähert), während andere Warnungen richtungsunabhängig sind (z. B. eine Warnung bei Ermüdung des Fahrers). Ebenso kann eine haptische Bremspedalwarnung effektiver sein bei der Induzierung einer Bremsung mit kurzer Reaktionszeit, während optische und akustische Vorrichtungen effektiver sein können, wenn es darum geht, den Fahrer darauf aufmerksam zu machen, dass er eine Entscheidung in Bezug auf Hindernisse außerhalb des Fahrzeugs treffen sollte.
Manche Implementierungen des Warnungsausgabeprozesses 220 nutzen Informationen über den Blickwinkel des Fahrers aus der Fahrerüberwachungsvorrichtung 102, um die primäre Warnvorrichtung und die unterstützenden Warnvorrichtungen zu wählen (d. h. durch Schaltung zu bestimmen).
Nach Ausgabe der Warnung im Prozess 220 geht das Verfahren 200 zu Schritt S240 weiter. Schritt S240 fragt, ob der Fahrer eine angemessene Reaktion auf die Warnung gezeigt hat. Falls die Reaktion des Fahrers angemessen ist, wird das Verfahren beendet. Andernfalls geht das Verfahren 200 zu Prozess 250 weiter, wo die ausgegebene Warnung angepasst wird, um den Fahrer effektiver zu warnen.
Im Warnungsanpassungsprozess 250 wird die Reaktion des Fahrers unter Verwendung der Fahrerüberwachungsvorrichtung 102 überwacht. Andere Sensoren können ebenfalls verwendet werden, um die Reaktion des Fahrers zu überwachen (z. B. Bremsensensoren und ein „Hände-am-Lenkrad”-Griffsensor, der im Lenkrad enthalten ist, um zu überwachen, ob der Fahrer seine Hände ordnungsgemäß am Lenkrad hat), wenn diese anderen Sensoren zusätzliche Informationen über die Reaktion des Fahrers liefern. Ein Griffsensor kann einen oder mehrere taktile, Druck- oder kapazitive Sensoren beinhalten, deren ausgegebene Signale verwendet werden können, um festzustellen, ob der der Fahrer seine Hände am Lenkrad hat. Eine Datenbank kann Positionen von richtigen oder akzeptablen Stellen, wo die Hände am Lenkrad liegen können, speichern, und erfasste Positionen oder Kontaktdrücke können mit den gespeicherten Positionen verglichen werden, um festzustellen, ob der Fahrer das Lenkrad richtig greift. Die Erfassung der Hände am Lenkrad kann auch verwendet werden, um festzustellen, ob der Fahrer eine Reaktion auf eine Warnung zeigt. Ebenso kann das Fehlen einer Erfassung der Hände auf dem Lenkrad oder eine falsche Positionierung eine Warnung auslösen. Ein optischer Sensor, beispielsweise eine Kamera, kann ebenfalls eine Handposition erfassen, entweder zusammen mit dem Griffsensor oder alleine.
Falls Änderungen in Bezug auf den Fahrer darauf hinweisen, dass der Fahrer dabei ist eine angemessene Reaktion auf die Warnung zu zeigen, dann kann die Warnstufe auf der aktuellen Stufe gehalten werden oder sie kann gegebenenfalls auf einer niedrigeren Stufe beibehalten werden. Falls es jedoch keine Hinweise darauf gibt, dass der Fahrer dabei ist, eine angemessene Reaktion zu zeigen, dann kann die Warnstufe heraufgesetzt werden, wodurch die Dringlichkeit der Warnung erhöht wird und die Warnungsausgabe durch Ändern der Intensität, der Qualität, des Musters, der Lautstärke, der Farbe, der Größe oder des Textes der Warnungsausgabe mehr Aufmerksamkeit erregt. Diese Änderungen und andere Verstärkungen einer Warnung können z. B. auf eine Vibration, einen Klang, auf Licht oder auf andere Formen einer Energieausgabe angewendet werden, die als Warnungsausgabe emittiert wird. Der Prozess 250 kann eine iterative Schleife sein, wodurch nach einer Änderung der Warnstufe der Prozess 250 damit fortfährt, die Reaktion des Fahrers zu überwachen, und dementsprechend die Warnung anpasst, bis der Fahrer entweder eine vollständige Reaktion auf die Warnung gezeigt hat und/oder die Gefahr nicht mehr besteht. Das Verfahren 200 endet nach Abschluss des Warnungsanpassungsprozesses 250.
In einer Implementierung, wo die HMI-Vorrichtung sowohl eine Fahrerüberwachungsvorrichtung 102 als auch einen Griffsensor im Lenkrad aufweist, wird die Reaktion des Fahrers auf eine Warnung sowohl durch eine Erfassung von Änderungen im Blickwinkel des Fahrers unter Verwendung der Fahrerüberwachungsvorrichtung 102 als auch durch Überwachen des Griffs des Fahrers am Lenkrad überwacht. Die angestrebte Reaktion auf Warnungsausgaben besteht sowohl darin, dass der Blick des Fahrers auf die Straße vor ihm gelenkt wird – Augen auf die Straße –, als auch darin, dass er seine Hände auf das Lenkrad legt – Hände aufs Lenkrad. Wenn festgestellt wird, dass der Fahrer entweder die Bedingung Augen-auf-die-Straße oder Hände-aufs-Lenkrad nicht erfüllt, dann werden die Warnungsausgaben heraufgesetzt wie oben für den Prozess 250 erörtert.
3 zeigt eine Implementierung des Warnungsausgabeprozesses 220.
Der erste Schritt S222 des Warnungsausgabeprozesses 220 stellt fest, ob der Blickwinkel des Fahrers geradeaus ist (d. h. ob er seine Augen auf der Straße hat). Falls der Blickwinkel auf der Straße ist, dann liegt die primäre optische Onboard-Warnvorrichtung 108 im direkten Blickfeld des Fahrers, und in Schritt S224 wird die Warnung auf der primären optischen Onboard-Warnvorrichtung ausgegeben. In einer Implementierung wird die Ausgabe der Warnung auf der primären optischen Onboard-Warnvorrichtung 108 von Warnungen auf anderen Warnvorrichtungen begleitet, beispielsweise auf der akustischen Warnvorrichtung 116, um die Aufmerksamkeit des Fahrers effektiver auf die Gefahr zu lenken. Falls der Blickwinkel nicht auf der Straße liegt, geht der Prozess 220 vom Schritt S222 zum Schritt S226 weiter. In einer Implementierung werden Warnungen jedes Mal an die primäre optische Onboard-Warnvorrichtung ausgegeben, und der erste Schritt S222 kann durchgeführt werden, um festzustellen, ob eine andere Warnvorrichtung gebraucht oder empfohlen wird.
In Schritt S226 fragt der Warnungsausgabeprozess 220 danach, ob der Blickwinkel des Fahrers eine direkte Sicht auf die sekundären optischen Onboard-Warnvorrichtungen beinhaltet. Wenn die sekundären optischen Onboard-Warnvorrichtungen in Schritt S228 im direkten Blickfeld des Fahrers liegen, dann wird die Warnung auf denjenigen sekundären optischen Onboard-Warnvorrichtungen 110 ausgegeben, die im direkten Blickfeld des Fahrers liegen. In einer Implementierung wird die Ausgabe der Warnung auf den sekundären optischen Onboard-Warnvorrichtungen von Warnungen auf anderen Warnvorrichtungen begleitet, beispielsweise auf der akustischen Warnvorrichtung 116, um die Aufmerksamkeit des Fahrers effektiver auf die Warnung und die Gefahr zu lenken. Falls die sekundären optische Onboard-Warnvorrichtungen nicht im direkten Blickfeld des Fahrers liegen, geht der Prozess 220 vom Schritt S226 zum Schritt S230 weiter.
In Schritt S230 fragt der Warnungsausgabeprozess 220 danach, ob der Blickwinkel des Fahrers eine erweiterte Sicht auf die sekundären optischen Onboard-Warnvorrichtungen beinhaltet. Wenn die sekundären optischen Onboard-Warnvorrichtungen in Schritt S228 im erweiterten Blickfeld des Fahrers liegen, dann wird die Warnung auf denjenigen sekundären optischen Onboard-Warnvorrichtungen 110 ausgegeben, die im erweiterten Blickfeld des Fahrers liegen. In einer Implementierung wird die Ausgabe der Warnung auf den sekundären optischen Onboard-Warnvorrichtungen von Warnungen auf anderen Warnvorrichtungen begleitet, beispielsweise auf der akustischen Warnvorrichtung 116, um die Aufmerksamkeit des Fahrers effektiver auf die Warnung oder die Gefahr zu lenken. Falls die sekundären optischen Onboard-Warnvorrichtungen nicht im erweiterten Blickfeld des Fahrers liegen, geht der Prozess 220 vom Schritt S230 zum Schritt S232 weiter.
In Schritt S232 fragt der Warnungsausgabeprozess 220, ob der Blick des Fahrers auf das Mobilgerät 114 gerichtet ist. Falls das Mobilgerät 114 im direkten Blickfeld des Fahrers liegt oder falls nicht bekannt ist, ob das Mobilgerät im Blickfeld des Fahrers liegt, geht der Prozess 220 zu Schritt S234 weiter, wo gefragt wird, ob das Mobilgerät aktiv ist. Wenn das Mobilgerät 114 nicht im direkten Blickfeld des Fahrers liegt, geht der Prozess 220 zu Schritt S237 weiter, wo eine Warnung auf einer nicht-optischen Warnvorrichtung ausgegeben wird.
In Schritt S234 fragt der Warnungsausgabeprozess 220 ab, ob das Mobilgerät gegenwärtig aktiv ist, gerade noch aktiv war oder inaktiv ist. Um die Aktivitätsstufe des Mobilgeräts 114 festzustellen, kann der Rechenprozessor 104 das Aktivitätsprotokoll des Mobilgeräts 114 abfragen, das über eine Universal Serial Bus(USB)-Verbindung, Bluetooth oder ein anderes drahtloses Kommunikationsverfahren mit der HMI-Warnvorrichtung 101 verbunden sein kann. Der Rechenprozessor 104 kann das Aktivitätsprotokoll durch Nachverfolgen von Daten, die vom Mobilgerät 114 an die HMI-Warnvorrichtung 101 über einen Kommunikationskanal gesendet werden, speichern und bewahren. Für die Analyse des Aktivitätsprotokolls des Mobilgeräts 114 kann der Rechenprozessor 104 Anzeichen für eine gerade erst stattgefundene Verwendung des Mobilgeräts 114 berücksichtigen, einschließlich der Schlüsselabfolge, einer Scroll-Aktivität und einer Touch-Screen-Aktivierung. Die Analyse des Aktivitätsprotokolls ordnet die Aktivitätsstufe des Mobilgeräts 114 in eine von drei Kategorien ein: derzeit aktiv, gerade noch aktiv gewesen oder inaktiv.
Falls das Mobilgerät 114 derzeit aktiv ist, steuert in Schritt S238 die Netzsteuerschaltung 112 das Mobilgerät 114 an, und eine Warnung wird auf das Mobilgerät 114 geschoben.
Falls das Mobilgerät 114 gerade noch aktiv war, wird in einer Implementierung, wo das Mobilgerät 114 eine Kamera aufweist, die Kamera verwendet, um festzustellen, ob der Fahrer auf das Mobilgerät 114 blickt. Diese Feststellung kann entweder durch eine Verarbeitung des Kamerabildes auf dem Mobilgerät 114 unter Verwendung von Software, die auf dem Mobilgerät 114 installiert ist, oder durch Übermitteln des Kamerabildes auf den Rechenprozessor 104 durchgeführt werden, wo das Bild verarbeitet wird, um festzustellen, ob der Fahrer auf das Mobilgerät 114 blickt. Falls das Mobilgerät 114 gerade noch aktiv war und das Blickfeld des Fahrers das Mobilgerät 114 einschließt, oder wenn unbekannt ist, ob das Blickfeld des Fahrers das Mobilgerät 114 einschließt, dann steuert die Netzsteuerschaltung 112 in Schritt S238 das Mobilgerät 114 an, und eine Warnung wird auf das Mobilgerät 114 geschoben.
Wenn der Prozess 220 zu Schritt S238 weitergeht und die Warnung in Schritt 214 auf das Mobilgerät 114 geschoben wird, wird in einer Implementierung die Warnung auf dem Mobilgerät 114 durch Warnungen auf anderen Warnvorrichtungen unterstützt, beispielsweise auf der akustischen Warnvorrichtung 116, um die Aufmerksamkeit des Fahrers wirksamer auf die Warnung zu lenken.
Falls das Mobilgerät in Schritt S234 nicht aktiv ist oder das Mobilgerät gerade noch aktiv war, aber das Mobilgerät in Schritt S236 nicht im Blickfeld des Fahrers liegt, dann geht der Prozess 220 zu Schritt S237 weiter, wo eine Warnung auf einer nicht-optischen Warnvorrichtung (z. B. der akustischen Warnvorrichtung 116 oder der haptischen Warnvorrichtung 118) ausgegeben wird. Die nicht-optische Warnung wird auf der Stufe Vorrichtung-nicht-im-Blick ausgegeben und kann durch Warnungen unterstützt werden, die auf einer optischen Warnvorrichtung ausgegeben werden.
Schritt S237 kann erreicht werden, wenn alle optischen Onboard-Anzeigen 108 und 110 und das Mobilgerät 114 jeweils nicht im Blickfeld des Fahrers liegen. In Schritt S237 werden die nicht-optischen Warnvorrichtungen (d. h. die akustische Warnvorrichtung 116 und die haptische Warnvorrichtung 118) verwendet, um eine Warnung an den Fahrer auszugeben. In einer Implementierung geben sowohl die akustische Warnvorrichtung 116 als auch die haptische Warnvorrichtung 118 jeweils die Warnung an den Fahrer aus. In einer anderen Implementierung gibt die akustische Warnvorrichtung 116, nicht aber die haptische Warnvorrichtung 118 die Warnung an den Fahrer aus. In einer anderen Implementierung gibt die haptische Warnvorrichtung 118, nicht aber die akustische Warnvorrichtung 116 die Warnung an den Fahrer aus. Ebenso geben in einer Implementierung die optischen Warnvorrichtungen Warnungen aus, um die von der akustischen Warnvorrichtung 116 und/oder der haptischen Warnvorrichtung 118 ausgegebenen Warnungen zu unterstützen.
In einer anderen Implementierung kann der Prozess 220 nach Abschluss des Schrittes S224 zu Schritt S226 weitergehen. Ebenso kann der Prozess 220 nach Abschluss des Schrittes S228 zu Schritt S232 weitergehen. Hierbei kann Schritt S237 nur erreicht werden, wenn keine der optischen Warnvorrichtungen im Blickfeld des Fahrers liegt. Ansonsten kann diese Implementierung des Prozesses 220 gemäß 3 ablaufen.
In einer anderen Implementierung beinhaltet der Prozess 220 immer die Ausgabe einer Warnung auf der primären optischen Vorrichtung 108, auch wenn die primäre optische Vorrichtung 108 nicht im Blickfeld des Fahrers liegt. Falls die primäre optische Vorrichtung 108 nicht im direkten Blickfeld des Fahrers liegt, wird in Schritt 222 bestimmt, ob es auch eine zweite Warnungsausgabe auf einer zweiten Vorrichtung geben soll. Wenn der Fahrer seine Augen nicht auf der Straße hat und somit das Blickfeld des Fahrers die primäre optische Vorrichtung 108 nicht einschließt, geht der Prozess 220 zu Schritt S226 weiter und fragt nach einer zweiten Warnvorrichtung und Ausgabe. Wenn in Schritt S222 festgestellt wird, dass der Fahrer seine Augen auf der Straße hat und daher die primäre optische Vorrichtung im direkten Blickfeld des Fahrers liegt, dann wird keine Warnung auf einer zweiten Warnvorrichtung ausgegeben. In einer Implementierung wird die Warnung auf der primären Warnvorrichtung zusätzlich zu etwaigen zweiten oder zusätzlichen Warnungen, die von einer zweiten Warnvorrichtung oder von zusätzlichen Warnvorrichtungen ausgegeben werden, auch von einer Warnung begleitet, die von einer unterstützenden nicht-optischen Warnvorrichtung ausgegeben wird, beispielsweise einem Ton aus einem Lautsprecher.
4 zeigt eine Implementierung des Warnungsanpassungsprozesses 250 und betrifft in einer Implementierung spezifisch die Feststellung, ob der Fahrer auf eine Warnung reagiert, lediglich auf Basis der Kopfneigung des Fahrers (z. B. des aktuellen Blickwinkels des Fahrers. Der Warnungsanpassungsprozess 250 beginnt bei Schritt S252 mit der Frage, ob der Fahrer auf die Warnung reagiert. In einer Implementierung wird der Unterschied zwischen dem aktuellen Blickwinkel und dem Soll-Blickwinkel des Fahrers verwendet, um festzustellen, ob der Fahrer auf die Warnung reagiert.
Wenn der Fahrer in Schritt S252 auf die Warnung reagiert, dann geht der Prozess zu Schritt S254 weiter. Bei Schritt S254 kann der Warnton auf seinem aktuellen Pegel gehalten werden oder er kann ausgeschaltet werden.
Wenn der Fahrer in Schritt S252 nicht auf die Warnung reagiert, dann geht der Warnungsanpassungsprozess 250 zu Schritt S256 weiter und fragt, ob sich der Blickwinkel des Fahrers ändert, so dass er näher an den Soll-Blickwinkel kommt.
Wenn sich der Blickwinkel des Fahrers in Schritt S256 in Richtung auf den Soll-Blickwinkel bewegt, dann geht der Prozess 250 zu Schritt S260 weiter, wo zusätzliche Messungen durchgeführt werden, um den Blickwinkel des Fahrers festzustellen, um ihn mit vorangegangenen Blickwinkeln und dem Soll-Blickwinkel zu vergleichen. Wenn sich der Blickwinkel des Fahrers dagegen nicht in Richtung auf den Soll-Blickwinkel bewegt, dann geht der Prozess 250 zu Schritt S258 weiter, wo der Ton bezüglich Qualität, Lautstärke und/oder Muster geändert wird, um eine höhere Dringlichkeit zu vermitteln und um die Aufmerksamkeit des Fahrers eher zu erregen.
Nach Abschluss des Schrittes S258 geht der Prozess 250 zu Schritt S260 weiter, um Informationen in Bezug auf den aktuellen Blickwinkel des Fahrers zu erhalten. Dann kehrt der Prozess 250 zum Anfang der Schleife bei Schritt S252 zurück, und die Schleife wird wiederholt, bis der Fahrer auf die Warnung antwortet. In einer Implementierung beinhaltet die Schleife außerdem ein Ausgangskriterium, das ein Verlassen der Schleife erlaubt, wenn die Warnung keine Gültigkeit mehr hat oder wenn eine maximale Anzahl von Schleifeniterationen erreicht worden ist.
In einem Implementierung des HMI-Warnverfahrens 200 endet das Verfahren 200 nicht nach dem Warnungsanpassungsprozess 250, sondern wird fortgesetzt durch die Rückkehr zu Schritt S210, und das Verfahren 200 wird als kontinuierliche Schleife durchgeführt, bis die Schleife durchbrochen wird, wenn das ursprüngliche „Warnung ausgeben” zurückgenommen wird. Solange das „Warnung ausgeben” nicht zurückgenommen wird, geht das Verfahren 200 weiter und richtet im Prozess 220 die Warnvorrichtungen und Ausgaben entsprechend dem Blickwinkel des Fahrers ein und passt im Prozess 250 die Intensität der Warnung an. Diese Schleife einer fortgesetzten Einrichtung und Anpassung dauert an, bis die Gefahr, die Ursache der Warnung war, nicht mehr besteht und das „Warnung ausgeben” zurückgenommen wird, wodurch die Schleife durchbrochen wird.
5 zeigt eine Implementierung eines HMI-Warnverfahrens, das HMI-Warnverfahren 500. Das Verfahren beginnt, nachdem eine Warnung ausgegeben worden ist.
Im ersten Schritt S504 wird der Blickwinkel des Fahrers anhand der auf den Blickwinkel des Fahrers bezogenen Informationen festgestellt, die aus der Fahrerüberwachungsvorrichtung 102 abgefragt werden. Dann wird in Schritt S506 abgefragt, ob der Blickwinkel des Fahrers anzeigt, dass der Fahrer seine Augen nicht auf der Straße hat. Falls der Fahrer seine Augen auf der Straße hat, geht das Verfahren 500 zu Schritt S508 weiter und gibt eine Warnung auf der primären optischen Onboard-Warnvorrichtung 108 aus. Falls der Fahrer seine Augen nicht auf der Straße hat, geht das Verfahren zu Schritt S510 weiter.
Dann wird in Schritt S510 abgefragt, ob der Blickwinkel des Fahrers eine der sekundären optischen Vorrichtungen 110 einschließt. Falls das direkte und das erweiterte Blickfeld des Fahrers eine der sekundären optischen Vorrichtungen 110 einschließen, dann geht das Verfahren 500 zu Schritt S512 weiter. In S512 wird eine Warnung auf den sekundären optischen Onboard-Warnvorrichtungen 108 ausgegeben. Ferner kann der Schritt S512 eine weitere Frage dahingehend enthalten, welche von den sekundären optischen Onboard-Warnvorrichtungen 108 im Blickfeld des Fahrers liegt, und selektiv Warnungen nur auf denjenigen sekundären optischen Onboard-Warnvorrichtungen 108 ausgeben, die im Blickwinkel des Fahrers liegen. Ebenso können die Art und die Intensität der in Schritt S512 ausgegebenen Warnung ferner davon abhängen, ob die Vorrichtung, die eine Warnung ausgibt, im direkten Blickfeld oder nur im erweiterten Blickfeld des Fahrers liegt. Falls das direkte und das erweiterte Blickfeld des Fahrers keine der sekundären optischen Vorrichtungen 110 einschließen, dann geht das Verfahren 200 zu Schritt S514 weiter.
Dann wird in Schritt S514 abgefragt, ob der Blickwinkel des Fahrers das Mobilgerät 114 einschließt. Falls das Mobilgerät 114 nicht im Blickfeld des Fahrers liegt, geht das Verfahren 500 zu Schritt S520 weiter. Falls das Mobilgerät 114 im Blickfeld des Fahrers liegt oder falls ein nicht eindeutiges Ergebnis dafür vorliegt, ob das Mobilgerät 114 im Blickfeld des Fahrers liegt, geht das Verfahren 500 zu Schritt S516 weiter. In einer Implementierung kann es sein, dass der Rechenprozessor keine Informationen über den Ort des Mobilgeräts im Kraftfahrzeug hat. In dieser Implementierung überspringt das Verfahren den Schritt S514 und geht stattdessen direkt von Schritt S510 bis Schritt S516.
In Schritt S516 wird abgefragt, ob das Mobilgerät 114 aktiv ist. Wenn das Mobilgerät 114 gerade aktiv ist, wird in Schritt S524 eine Warnung auf das Mobilgerät 114 geschoben. Falls das Mobilgerät 114 gerade nicht aktiv ist und nicht gerade noch aktiv war, dann geht das Verfahren 500 zu Schritt S516 weiter. Falls das Mobilgerät 114 gerade noch aktiv war, geht das Verfahren 500 zur Frage bei Schritt S522 weiter.
Bei Schritt S522 wird gefragt, ob zusätzlich dazu, dass das Mobilgerät 114 im Blickfeld des Fahrers ist, der Fahrer auch auf das Mobilgerät 114 blickt. Falls das Mobilgerät 114 mit einer Kamera ausgestattet ist, kann diese Frage, ob der Fahrer auf das Mobilgerät 114 blickt, durch Verarbeiten eines Bildes beantwortet werden, das von der Kamera des Mobilgeräts aufgenommen wird. Falls festgestellt wird, dass der Fahrer gerade auf das Mobilgerät 114 blickt, oder wenn die Antwort auf die Frage nicht eindeutig ist, geht das Verfahren 500 zu Schritt S524 weiter. In Schritt S524 wird eine Warnung auf das Mobilgerät geschoben. Andernfalls geht das Verfahren zu Schritt S520 weiter.
In Schritt S520 wird eine Warnung unter Verwendung einer nicht-optischen Warnvorrichtung (z. B. der akustischen Warnvorrichtung 116 oder der haptischen Warnvorrichtung 118) ausgegeben. Obwohl Schritt 520 der einzige Schritt ist, wo ausdrücklich angegeben wird, dass eine Warnung anhand einer nicht-optischen Warnvorrichtung ausgegeben wird, kann auch in anderen Schritten als S520 (d. h. in Schritten S508, S512 und S524) eine nicht-optische Warnvorrichtung eine Warnung auf einer Stufe Vorrichtung-im-Blick ausgeben, um die Warnungen, die von einer optischen Warnvorrichtungen ausgegeben werden, zu unterstützen. Ebenso kann in Schritt S520 die primäre Warnung, die von der nicht-optischen Warnvorrichtung ausgegeben wird und die auf der Stufe Vorrichtung-nicht-im-Blick liegt, durch Warnungen unterstützt werden, die auf den optischen Warnvorrichtungen ausgegeben werden.
Bei Schritt S524 wird eine Warnung auf das Mobilgerät 114 geschoben, und das Mobilgerät 114 gibt die Warnung an den Fahrer aus.
Auf jeden der Schritte S508, S512, S524 und S520 folgt direkt die Frage in Schritt S530. In Schritt S530 wird gefragt, ob der Fahrer auf die ausgegebenen Warnungen reagiert. Um diese Frage zu beantworten, kann der Rechenprozessor 104 verschiedene Anzeichen für die Reaktion des Fahrers in Betracht ziehen. Zu diesen Anzeichen gehören die relativen Unterschiede zwischen dem aktuellen Blickwinkel, dem vorherigen Blickwinkel und dem Soll-Blickwinkel des Fahrers. In einer Implementierung kann der Rechenprozessor 104 auch Eingaben von anderen Sensoren, wie einem Bremsensensor, und den Winkel des Lenkrads berücksichtigen. Falls der Fahrer auf die Warnung reagiert, endet das Verfahren 500. Andernfalls geht das Verfahren zu Schritt S532 weiter, wo die Warnung geändert wird, um die Aufmerksamkeit des Fahrers besser erregen zu können und besser eine angestrebte Reaktion hervorrufen zu können. Zum Beispiel kann eine andere Farbe, ein anderer Klang, eine andere Lautstärke, ein anderes Muster usw. verwendet werden, um die Warnung auszugeben. Nach Schritt S532 kehrt das Verfahren 500 zurück zu der Frage bei Schritt S530 und wiederholt die Schleife, bis der Fahrer angemessen auf die Warnungsausgaben reagiert oder bis „Warnung ausgeben” zurückgenommen wird.
6 zeigt eine schematische Ansicht einer Implementierung und zeigt die Stellen, wo sich einige Komponenten des HMI-Warnsystems 101 befinden, gesehen aus dem Innenraum 600 eines Kraftfahrzeugs. Der Innenraum 600 des Kraftfahrzeugs weist eine Windschutzscheibe 612, ein linkes Fenster 614 und ein rechtes Fenster 616 auf. Die primäre optische Onboard-Warnvorrichtung 108 kann ein (nicht dargestelltes) Head-up-Display sein, das in die Windschutzscheibe 612 integriert ist, um dem Fahrer auf optischem Wege Informationen zu übermitteln, wenn der Blick des Fahrers auf die Straße vor ihm gerichtet ist.
Der Innenraum 600 des Kraftfahrzeugs beinhaltet einen linken Spiegel 608, ein Kombiinstrument 630, einen Navigationsbildschirm 604, einen rechten Seitenspiegel 610 und einen Rückspiegel 609. Die sekundären optischen Onboard-Warnvorrichtungen können im linken Seitenspiegel 608, im Kombiinstrument 630, im Navigationsbildschirm 604, im rechten Seitenspiegel 610 und/oder im Rückspiegel enthalten sein. Die sekundären optischen Onboard-Warnvorrichtungen können Lampen, Leuchtdioden (LEDs), Flüssigkristall(LCD)-Bildschirme oder LED-Bildschirme sein.
Der Innenraum 600 des Kraftfahrzeugs beinhaltet ein Lenkrad 602, einen linken Sitz 624, einen rechten Sitz 626, ein Gaspedal, ein Bremspedal, einen Sicherheitsgurt und ein Heizungs-, Lüftungs- und Klimaanlagensystem (HVAC). Die haptische Warnvorrichtung 118 kann in das Lenkrad 602, den linken Sitz 624, das Gaspedal, das Bremspedal, den Sicherheitsgurt und/oder das HVAC-System eingebaut sein. Die haptische Warnvorrichtung 118 kann den Fahrer durch Erzeugen einer Vibration oder einer anderen mechanischen Betätigung, die vom Fahrer gespürt wird, warnen. Ebenso kann die haptische Warnvorrichtung 118 die Aufmerksamkeit des Fahrers durch andere taktile Mittel erregen, wie (z. B. durch Anblasen des Fahrers mit Luft unter Verwendung des HVAC-Systems oder durch Straffen des Sicherheitsgurts).
Der Innenraum 600 des Kraftfahrzeugs weist einen linken Lautsprecher 618 und/oder einen rechten Lautsprecher 620 auf. Diese Lautsprecher können in die akustische Warnvorrichtung integriert sein.
Der Innenraum 600 des Kraftfahrzeugs weist eine Fahrerüberwachungskamera 628 auf. Die Fahrerüberwachungskamera 628 kann die Fahrerüberwachungsvorrichtung 102 sein. Die Fahrerüberwachungskamera kann an der Lenksäule angeordnet sein oder die Fahrerüberwachungskamera kann in einer Stereokameraimplementierung mehrere Kameras beinhalten, die auf jeder Seite des Lenkrads angeordnet sind. Darüber hinaus kann die Fahrerüberwachungskamera auf einer Seite des Lenkrads angeordnet sein, wie in 6 dargestellt ist. Die Fahrerüberwachungsvorrichtung kann auch eine am Körper tragbare technische Vorrichtung, beispielsweise Google Glass^TM, oder eine Kamera am Mobilgerät 114 beinhalten.
Das Mobilgerät 114 kann sich im Inneren des Kraftfahrzeugs 100 befinden. Eine Kamera am Mobilgerät 114 kann als Fahrerüberwachungskamera 628 verwendet werden. Das Mobilgerät 114 kann über die Netzwerksteuerschaltung 112 an die HMI-Warnvorrichtung 101 angeschlossen sein. Das Mobilgerät 114 kann Warnungen optisch, akustisch und/oder haptisch ausgeben.
In einer Implementierung können die optischen Warnvorrichtungen nicht-optische Ausgaben, beispielsweise akustische Lautsprecher, beinhalten, um Töne auszugeben. Ebenso können die nicht-optischen Warnvorrichtungen optische Ausgaben beinhalten. Das Mobilgerät kann optische Ausgaben (z. B. auf einem LCD-Bildschirm), akustische Ausgaben (z. B. Lautsprecher oder einen piezoelektrischen Messwandler) und haptische Ausgaben (z. B. Vibrationen) beinhalten.
7 zeigt ein Beispiel für die Implementierung der Fahrerblickwinkelregionen für die HMI-Warnvorrichtung. Die Fahrerblickwinkelregionen beinhalten einen Blick nach links außen 702, einen Geradeausblick auf die Straße 704, einen Blick nach links unten 706, einen Blick nach unten und zur Mitte 708 und einen Blick nach rechts außen 710. Zusätzlich zu diesen fünf Blickfeldern kann ein sechstes Blickfeld enthalten sein. Das sechste Blickfeld ist der Blick auf das Mobilgerät 114. Dieser Blick auf das Mobilgerät kann einen der fünf aufgezählten Blickwinkel überlappen oder er kann auch keinen der fünf aufgezählten Blickwinkel überlappen.
Wenn der Blickwinkel des Fahrers den Geradeausblick auf die Straße 704 einschließt, dann wird in einer Implementierung eine Warnung auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt, die durch die akustische Warnvorrichtung 116 unterstützt wird, welche eine Warnung der Stufe Vorrichtung-im-Blick ausgibt.
Wenn der Blickwinkel des Fahrers den Blick nach links außen 702 beinhaltet und die sekundären optischen Onboard-Warnvorrichtungen 110 eine optische Anzeige im linken Seitenspiegel 608 beinhalten, dann wird in einer Implementierung eine Warnung auf dem linken Seitenspiegel 608 angezeigt, die durch die akustische Warnvorrichtung 116 unterstützt wird, welche eine Warnung der Stufe Vorrichtung-im-Blick ausgibt. In einer Implementierung kann die Warnung auf dem linken Seitenspiegel 608 durch eine Warnung unterstützt werden, die auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt wird.
Wenn der Blickwinkel des Fahrers den Blick nach links unten 706 beinhaltet und die sekundären optischen Onboard-Warnvorrichtungen 110 eine optische Anzeige im Kombiinstrument 630 beinhalten, dann wird in einer Implementierung eine Warnung auf dem Kombiinstrument 630 angezeigt, die durch die akustische Warnvorrichtung 116 unterstützt wird, welche eine Warnung der Stufe Vorrichtung-im-Blick ausgibt. In einer Implementierung kann die Warnung auf dem Kombiinstrument 630 durch eine Warnung unterstützt werden, die auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt wird.
Wenn der Blickwinkel des Fahrers den Blick nach unten und zur Mitte 708 beinhaltet und die sekundären optischen Onboard-Warnvorrichtungen 110 eine optische Anzeige auf dem Navigationsbildschirm 604 beinhalten, dann wird in einer Implementierung eine Warnung auf dem Navigationsbildschirm 604 angezeigt, die durch die akustische Warnvorrichtung 116 unterstützt wird, welche eine Warnung der Stufe Vorrichtung-im-Blick ausgibt. In einer Implementierung kann die Warnung auf dem Navigationsbildschirm 604 durch eine Warnung unterstützt werden, die auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt wird. Wenn das Mobilgerät 114 aktiv ist (d. h. gerade aktiv ist oder gerade noch aktiv war) und im direkten oder erweiterten Blickwinkel des Fahrers liegt, dann kann die Warnung auch auf das Mobilgerät 114 geschoben werden, um die Warnung auf dem Navigationsbildschirm 604 zu unterstützen.
Falls der Blickwinkel des Fahrers zwischen dem Blick nach unten und zur Mitte 708 und dem Blick nach links 706 unten liegt, dann liegt weder das Kombiinstrument 630 noch der Navigationsbildschirm 604 im direkten Blickfeld des Fahrers, aber beide können im erweiterten Blickfeld des Fahrers liegen. Wenn keine der Anzeigen im direkten Blickfeld des Fahrers liegt, dann fragt in einer Implementierung das Verfahren zur Feststellung, welche optischen Anzeigevorrichtungen Warnungen ausgeben sollen, ob irgendwelche optischen Anzeigevorrichtungen im erweiterten Blickfeld des Fahrers liegen. Obwohl das direkte Blickfeld des Fahrers einen im Wesentlichen konischen, auf der direkten Blickachse des Fahrers zentrierten Raumwinkel einnimmt, umfasst das erweiterte Blickfeld des Fahrers einen torusförmigen Raumwinkel, der das direkte Blickfeld des Fahrers umgibt. Das erweiterte Blickfeld des Fahrers beinhaltet eine periphere Sicht auf Gegenstände, die nicht direkt im Fokus der Aufmerksamkeit des Fahrers liegen, die der Fahrer aber sehen kann, ohne seine Blickachse zu ändern. Falls keine optischen Anzeigen im direkten Blickwinkel des Fahrers liegen, aber mindestens eine optische Anzeige im erweiterten Blickfeld des Fahrers liegt, dann wird die Warnung an alle optischen Vorrichtungen im erweiterten Blickfeld des Fahrers ausgegeben. In einer anderen Implementierung wird die Warnung an alle optischen Vorrichtungen im direkten und im erweiterten Blickfeld des Fahrers ausgegeben, und zwar unabhängig davon, ob eine optische Warnvorrichtung im direkten Blickfeld des Fahrers liegt oder nicht.
Wenn der Blickwinkel des Fahrers den Blick nach rechts außen 710 beinhaltet und die sekundären Onboard-Warnvorrichtungen 110 eine optische Warnvorrichtung im rechten Seitenspiegel 610 beinhalten, dann wird in einer Implementierung die Warnung auf dem rechten Seitenspiegel 610 angezeigt, die durch die akustische Warnvorrichtung 116 unterstützt wird, welche eine Warnung der Stufe Vorrichtung-im-Blick ausgibt. In einer Implementierung kann die Warnung auf dem rechten Seitenspiegel 610 durch eine Warnung unterstützt werden, die auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt wird.
Wenn das Mobilgerät 114 im Blickfeld des Fahrers liegt und die primäre optische Onboard-Warnvorrichtung 108 und die sekundären optischen Onboard-Warnvorrichtungen 110 nicht im des Fahrers liegen, dann wird die Warnung auf das Mobilgerät 114 geschoben, wenn das Mobilgerät 114 gerade aktiv ist oder wenn das Mobilgerät 114 gerade noch aktiv war und eine Kamera am Mobilgerät 114 bestätigt, dass der Fahrer auf das Mobilgerät 114 blickt. Die Warnung auf dem Mobilgerät 114 kann durch die akustische Warnvorrichtung 116 unterstützt werden, die eine Warnung auf der Stufe Vorrichtung-im-Blick ausgibt. In einer Implementierung kann die Warnung auf dem Mobilgerät 114 ferner durch eine Warnung unterstützt werden, die auf der primären optischen Onboard-Warnvorrichtung 108 angezeigt wird.
Das Warnverfahren 200 und das andere Warnverfahren 500 können in einem größeren Warnverfahren verarbeitet werden. Zum Beispiel könnte ein größeres Warnverfahren vor Schritt S210 oder Schritt S504 mit dem Ausgeben einer Warnung ohne Berücksichtigung des Blickwinkels des Fahrers beginnen. Ebenso könnten die Warnverfahren Verfahren 200 und Verfahren 500 als Teil eines größeren Prozesses integriert sein, der auf dem Rechenprozessor 104 und/oder einer Fern-Rechenplattform ausgeführt wird. Der größere Prozess kann einen Verlauf der Blickwinkel des Fahrers und Ansprechzeiten des Fahrers als Reaktion auf Warnereignisse verfolgen, um die Gewohnheiten des Fahrers zu lernen und um die Kombinationen aus Warnvorrichtungen und Ausgaben besser einrichten zu können, um die Aufmerksamkeit des Fahrers besser erregen und auf Gefahren lenken zu können.
Ferner kann ein Blickwinkel des Fahrers in einem Beispiel zwischen einem Kombiinstrument und einem Navigationsbildschirm (oder zwei anderen möglichen Warnvorrichtungen) liegen. Es kann also sein, dass der Blickwinkel des Fahrers eine erweiterte Sicht auf sowohl das Kombiinstrument als auch den Navigationsbildschirm einschließt, aber keine direkte Sicht auf das Kombiinstrument oder den Navigationsbildschirm einschließt. In diesem Beispiel kann eine Warnung auf zumindest diesen beiden Vorrichtungen ausgegeben werden.
Obwohl bestimmte Implementierungen beschrieben worden sind, sind diese Implementierungen nur als Beispiele angegeben und sollen die Lehren dieser Offenbarung nicht beschränken. Die hierin angegebenen Lehren können in verschiedenen anderen Formen implementiert werden. Ebenso können verschiedene Weglassungen, Ersetzungen und Änderungen vorgenommen werden, ohne vom Gedanken und von den Lehren der Offenbarung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8184008 [0003]

Zitierte Nicht-Patentliteratur

IEEE 802-Netzwerk [0044]

Claims

Vorrichtung, eine Verarbeitungsschaltung umfassend, die dafür ausgelegt ist festzustellen, welche von einer Mehrzahl von optischen Warnvorrichtungen in einem ersten festgestellten Blickwinkel eines Fahrers liegt; und eine erste optische Warnvorrichtung aus der Mehrzahl von optischen Warnvorrichtungen anzusteuern, damit diese eine erste optische Warnung ausgibt, wenn festgestellt wird, dass die erste optische Warnvorrichtung im ersten festgestellten Blickwinkel des Fahrers liegt.
Vorrichtung nach Anspruch 1, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist den Blickwinkel des Fahrers auf Basis eines Bildes des Fahrers, eines Bildes in Blickrichtung des Fahrers und auf Basis von Positionsdaten des Fahrers festzustellen.
Vorrichtung nach Anspruch 2, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist festzustellen, ob keine von der Mehrzahl von optischen Warnvorrichtungen in dem ersten festgestellten Blickwinkel des Fahrers liegt; und mindestens eine nicht-optische Warnvorrichtung anzusteuern, damit diese eine erste nicht-optische Warnung auf einer ersten Warnstufe ausgibt, wenn keine von der Mehrzahl von optischen Warnvorrichtungen im ersten festgestellten Blickwinkel des Fahrers liegt.
Vorrichtung nach Anspruch 3, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist einen Aktivitätsstatus eines Mobilgeräts festzustellen; und das Mobilgerät anzusteuern, damit dieses eine Mobilgerätewarnung ausgibt, wenn auf Basis des Aktivitätsstatus des Mobilgeräts festgestellt wird, dass das Mobilgerät aktiv ist.
Vorrichtung nach Anspruch 4, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist festzustellen, ob das Mobilgerät im Blickwinkel des Fahrers liegt; und das Mobilgerät anzusteuern, damit dieses die Mobilgerätewarnung ausgibt, wenn festgestellt wird, dass das Mobilgerät gerade noch aktiv war und festgestellt wird, dass das Mobilgerät im Blickwinkel des Fahrers liegt.
Vorrichtung nach Anspruch 4, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist auf Basis eines Bildes vom Mobilgerät festzustellen, ob der Fahrer auf das Mobilgerät blickt; und das Mobilgerät anzusteuern, damit dieses die Mobilgerätewarnung ausgibt, wenn entweder festgestellt wird, dass der Fahrer auf das Mobilgerät blickt, oder wenn die Feststellung, ob der Fahrer auf das Mobilgerät blickt, ergebnislos bleibt.
Vorrichtung nach Anspruch 4, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist festzustellen, ob eine zweite optische Warnvorrichtung von der Mehrzahl von optischen Warnvorrichtungen in einem zweiten festgestellten Blickwinkel des Fahrers liegt; und die zweite optische Warnvorrichtung anzusteuern, damit diese eine zweite optische Warnung ausgibt, wenn die zweite optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt.
Vorrichtung nach Anspruch 7, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist die mindestens eine nicht-optische Warnvorrichtung anzusteuern, damit diese eine unterstützende nicht-optische Warnung auf einer zweiten Warnstufe ausgibt, wenn mindestens eine von der Mehrzahl von optischen Warnvorrichtungen eine erste optische Warnung ausgibt, wobei die zweite Warnstufe auf einer Stufe liegt, niedriger ist als die erste Warnstufe.
Vorrichtung nach Anspruch 8, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist mindestens eine von der ersten optischen Warnung, der zweiten optischen Warnung, der ersten nicht-optischen Warnung, der unterstützenden nicht-optischen Warnung und der Mobilgerätewarnung zu modifizieren, um eine Stufe der jeweiligen Warnung heraufzusetzen, wenn die Reaktion des Fahrers ein erstes vorgegebenes Kriterium nicht erfüllt.
Vorrichtung nach Anspruch 7, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist festzustellen, dass die erste optische Warnvorrichtung im ersten festgestellten Blickwinkel des Fahrers liegt, wenn der erste festgestellte Blickwinkel einer direkten Sicht des Fahrers entspricht; und festzustellen, dass die zweite optische Warnvorrichtung im zweiten festgestellten Blickwinkel des Fahrers liegt, wenn der zweite festgestellte Blickwinkel einer erweiterten Sicht des Fahrers entspricht.
Vorrichtung nach Anspruch 3, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist mindestens eine von der Mehrzahl von optischen Warnvorrichtungen anzusteuern, damit diese eine unterstützende optische Warnung ausgibt, wenn keine von der Mehrzahl von optischen Warnvorrichtungen im Blickfeld des Fahrers liegt.
Vorrichtung nach Anspruch 4, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist ein Aktivitätsprotokoll des Mobilgeräts abzufragen; das Aktivitätsprotokoll mit einem Kriterium Aktiv und einem Kriterium Gerade-noch-aktiv-gewesen zu vergleichen; festzustellen, dass das Mobilgerät aktiv ist, wenn das Aktivitätsprotokoll das Kriterium Aktiv erfüllt; festzustellen, dass das Mobilgerät gerade noch aktiv war, wenn das Aktivitätsprotokoll das Kriterium Gerade-noch-aktiv-gewesen erfüllt und das Kriterium Aktiv nicht erfüllt; und festzustellen, dass das Mobilgerät inaktiv ist, wenn das Aktivitätsprotokoll das Kriterium Gerade-noch-aktiv-gewesen nicht erfüllt und das Kriterium Aktiv nicht erfüllt.
Vorrichtung nach Anspruch 4, wobei die mindestens eine nicht-optische Warnvorrichtung mindestens eines der folgenden Elemente beinhaltet: einen mechanischen Messwandler im Bremspedal, einen mechanischen Messwandler im Fahrersitz, ein Heizungs-, Lüftungs- und Klimatisierungssystem, einen mechanischen Messwandler, der den Sicherheitsgurt strafft, einen Lautsprecher, eine haptische Warnvorrichtung und eine akustische Warnvorrichtung.
Vorrichtung nach Anspruch 4, wobei die Mehrzahl von optischen Warnvorrichtungen mindestens eines der folgenden Elemente beinhaltet: ein Head-up-Display, einen Navigationsbildschirm, ein Kombiinstrument, einen Seitenspiegel und einen Rückspiegel
Vorrichtung nach Anspruch 4, wobei die mindestens eine nicht-optische Warnvorrichtung eine optische Ausgabe beinhaltet; die Mobilgerätewarnung eine optische Warnung und/oder eine akustische Warnung und/oder eine haptische Warnung ist; und mindestens eine von der Mehrzahl von optischen Warnvorrichtungen eine nicht-optische Ausgabe, einschließlich einer akustischen Ausgabe oder einer haptischen Ausgabe, beinhaltet.
Vorrichtung nach Anspruch 4, wobei die erste optische Warnung und/oder die erste nicht-optische Warnung und/oder die Mobilgerätewarnung Richtungshinweise bereitstellen, die einen Blick des Fahrers in eine vorgegebene Richtung lenken.
Vorrichtung nach Anspruch 1, wobei die Verarbeitungsschaltung ferner dafür ausgelegt ist eine erste nicht-optische Warnvorrichtung anzusteuern, damit diese eine nicht-optische Warnung ausgibt: den Griff des Fahrers am Lenkrad zu überwachen und Änderungen des Blickwinkels des Fahrers zu überwachen, um festzustellen, ob der Fahrer auf die Warnungen reagiert; und wenn festgestellt wird, dass der Fahrer nicht auf die Warnungen reagiert, die Warnungen zu modifizieren, damit der Fahrer eher auf sie aufmerksam wird.
Verfahren, umfassend: Feststellen, welche von einer Mehrzahl von optischen Warnvorrichtungen in einem ersten festgestellten Blickwinkel eines Fahrers liegt; Ansteuern einer ersten optischen Warnvorrichtung aus der Mehrzahl von optischen Warnvorrichtungen, damit diese eine erste optische Warnung ausgibt, wenn festgestellt wird, dass die erste optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt; Feststellen, welche bzw. ob eine von der Mehrzahl von optischen Warnvorrichtungen im Blickfeld des Fahrers liegt; Ansteuern einer nicht-optischen Warnvorrichtung, damit diese eine erste nicht-optische Warnung auf einer ersten Warnstufe ausgibt, wenn festgestellt wird, dass keine von der Mehrzahl von optischen Warnvorrichtungen im festgestellten Blickwinkel des Fahrers liegt; Ansteuern eines Mobilgeräts, damit dieses eine Mobilgerätewarnung ausgibt, wenn festgestellt wird, dass ein Status des Mobilgeräts Aktiv ist; Überwachen einer Reaktion des Fahrers auf die erste optische Warnung, die erste nicht-optische Warnung und die Mobilgerätewarnung; und Unterstützen der ersten optischen Warnung und/oder der ersten nicht-optischen Warnung und/oder der Mobilgerätewarnung, wenn die Reaktion des Fahrers ein vorgegebenes Kriterium nicht erfüllt.
Nicht-transitorisches, computerlesbares Speichermedium, das ausführbare Befehle beinhaltet, wobei die Befehle, wenn sie von einer Schaltung ausgeführt werden, bewirken, dass die Schaltung das Verfahren nach Anspruch 18 ausführt.
System, umfassend: eine Fahrerüberwachungsvorrichtung, die dafür ausgelegt ist, einen Blickwinkel eines Fahrers zu erfassen; eine Mehrzahl von Warnvorrichtungen, einschließlich einer Mehrzahl von optischen Warnvorrichtungen und mindestens einer nicht-optischen Warnvorrichtung; eine Steuerschaltung, die dafür ausgelegt ist festzustellen, welche von der Mehrzahl von optischen Warnvorrichtungen im Blickwinkel eines Fahrers liegt; eine erste optische Warnvorrichtung aus der Mehrzahl von optischen Warnvorrichtungen anzusteuern, damit diese eine erste optische Warnung ausgibt, wenn festgestellt wird, dass die erste optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt; die nicht-optische Warnvorrichtung anzusteuern, damit diese eine erste nicht-optische Warnung ausgibt, wenn festgestellt wird, dass keine optische Warnvorrichtung im festgestellten Blickwinkel des Fahrers liegt; festzustellen, ob der Fahrer auf die erste optische Warnung oder die erste nicht-optische Warnung reagiert; und ein Mobilgerät anzusteuern, damit dieses eine Mobilgerätewarnung ausgibt, wenn festgestellt wird, dass der Fahrer nicht auf die erste optische Warnung oder die erste nicht-optische Warnung reagiert.