-
EINFÜHRUNG
-
Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen beziehen sich auf die Blickverfolgung und Erkennung. Insbesondere beziehen sich Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen, auf das Vorhersagen von Zielen eines Blicks eines Benutzers oder einer visuellen Aufmerksamkeit eines Benutzers.
-
ZUSAMMENFASSUNG
-
Eine oder mehrere exemplarische Ausführungsformen behandeln die vorgenannten Probleme durch Bereitstellen einer Blickverfolgungsvorrichtung. Insbesondere stellen eine oder mehrere Ausführungsformen eine Blickverfolgungsvorrichtung bereit, die in der Lage ist, den Blick eines Benutzers zu verfolgen und ein Ziel des Blicks eines Benutzers mit einer höheren Genauigkeit vorherzusagen, selbst dann, wenn der Blick eines Benutzers auf Bereiche gerichtet ist, in denen ein Sensor nicht in der Lage ist, den Blick eines Benutzers zu erfassen oder in seiner Fähigkeit, den Blick eines Benutzers zu erfassen, begrenzt ist.
-
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein Verfahren zum Verfolgen eines Blicks eines Benutzers in einem Fahrzeug bereitgestellt. Das Verfahren beinhaltet das Empfangen von Blickinformationen, die dem Blick des Benutzers zugeordnet sind; basierend auf den Blickinformationen, bestimmen, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als ein Schwellwert ist; und in Reaktion darauf, dass die Änderungsinformation größer als der Schwellenwert ist, Vorhersagen mindestens eines aus einem Blickvektor des Blicks des Benutzers und eines Standorts eines Blickziels des Blicks des Benutzers auf der Grundlage eines kinematischen Modells.
-
Das Bestimmen, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als der Schwellenwert ist, kann in Reaktion auf das Empfangen einer Vielzahl von Abtastungen der Blickinformation durchgeführt werden.
-
Die Vorhersage des Blickvektors kann das Bestimmen beinhalten, ob der vorhergesagte Blickvektor einer der Funktion zugeordneten Position entspricht; in Reaktion darauf, dass der vorhergesagte Blickvektor der Position entspricht, welche dieser Funktion entspricht, Bestimmen einer Wahrscheinlichkeit, dass der vorhergesagte Blickvektor der Position entspricht, welche der Funktion basierend auf mindestens einer aus den historischen Nutzungsinformationen und den Fahrzeugkontextinformationen zugeordnet ist; und Ausführen der Funktion basierend auf der ermittelten Wahrscheinlichkeit.
-
Die historischen Nutzungsinformationen können mindestens eine aus den zuvor vom Benutzer eingeleiteten Funktionen, zuvor gespeicherte Blickvektoren des Benutzers innerhalb eines vorbestimmten Schwellenwerts aus dem Blickvektor, eine Anzahl an Zeiten einer vom Benutzer eingeleiteten Funktion, Standorte, die zuvor vom Benutzer erfasst wurden und eine Anzahl an Standorten, die zuvor durch den Benutzer erfasst wurden, beinhalten.
-
Die Fahrzeugkontextinformationen können Informationen über mindestens eines oder mehrere aus einem mit einem Fahrzeug verbundenen Ereignis, einer Lenkung eines Fahrzeugs, einen Blinkerstatus, eine Geschwindigkeit eines Fahrzeugs, einen Standort eines Fahrzeugs, ein Motorereignis oder einen Status, einen Emissionsstatus, Umdrehungen pro Minute eines Motors, Übertragungsstatus, Reifendruck, Türöffnungs-/Schließstatus, Kofferraumöffnungs-/Schließstatus, Fensteröffnungs-/Schließstatus, Innen-/Außentemperatur, barometrischer Druck, Höhe eines Fahrzeugs, Beschleunigung eines Fahrzeugs, Benutzereingabe, einen vom Benutzer angewendeten Druck zu einem Objekt oder einer Schaltfläche in einem Fahrzeug, ob sich ein Fahrgast in einem Sitz befindet, Standort und Geschwindigkeit von externen Objekten um das Fahrzeug herum, welche Lichter eines Fahrzeugs aktiviert sind, ob ein Autoschlüssel in einem Fahrzeug vorhanden ist, und ein aktuell angezeigter Bildschirm auf einem Display im Fahrzeug, einen Status eines Fahrzeugs, einen Status einer Einstellung eines Fahrzeugs und einen Standort einer vom Benutzer ausführbaren Funktion, beinhalten.
-
Die Vorhersage des Standorts des Blickziels kann das Bestimmen beinhalten, ob Koordinaten des vorhergesagten Standorts innerhalb eines erfassbaren Bereichs liegen; in Reaktion darauf, dass die Koordinaten innerhalb des erfassbaren Bereichs liegen, Berechnen einer Differenz zwischen dem vorhergesagten Standort und dem Standort des Blickziels und Aktualisieren des kinematischen Modells basierend auf der berechneten Differenz; und in Reaktion darauf, dass die Koordinaten außerhalb des erfassbaren Bereichs liegen, Ausführen einer Funktion basierend auf dem vorhergesagten Standort.
-
Die Blickinformation kann Koordinateninformationen des Blicks des Benutzers und die Zeitinformation des Blicks des Benutzers beinhalten.
-
Das kinematische Modell kann basierend auf den Koordinateninformationen und den Zeitinformationen berechnet werden.
-
Der Schwellenwert kann ein Indikator dafür sein, ob der Benutzerblick außerhalb eines Bereichs liegt, in dem der Benutzerblick innerhalb eines bestimmten Genauigkeitsgrades verfolgbar ist.
-
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein nicht-flüchtiges computerlesbares Medium bereitgestellt, das Anweisungen umfasst, die durch einen Computer ausführbar sind, um das Verfahren zum Verfolgen eines Benutzerblicks in einem Fahrzeug durchzuführen.
-
Gemäß einem Aspekt einer weiteren exemplarischen Ausführungsform ist eine Vorrichtung zum Verfolgen eines Blicks eines Benutzers vorgesehen. Die Vorrichtung umfasst mindestens einen Speicher mit computerausführbaren Anweisungen; und mindestens einen Prozessor, der konfiguriert ist, um die ausführbaren Anweisungen des Computers zu lesen und auszuführen. Die ausführbaren Anweisungen des Computers bewirken den mindestens einen Prozessor zum: Empfangen von Blickinformationen, die dem Blick des Benutzers zugeordnet sind; basierend auf den Blickinformationen, bestimmen, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als ein Schwellwert ist; und in Reaktion darauf, dass die Änderungsinformation größer als der Schwellenwert ist, Vorhersagen mindestens eines aus einem Blickvektor des Benutzerblicks und eines Standorts eines Blickziels des Benutzerblicks auf der Grundlage eines kinematischen Modells.
-
Der mindestens eine Prozessor kann konfiguriert sein, um zu bestimmen, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als der Schwellenwert ist, in Reaktion auf das Empfangen einer Vielzahl von Mustern der Blickinformationen.
-
Die Vorhersage des Blickvektors kann das Bestimmen beinhalten, ob der vorhergesagte Blickvektor einer der Funktion zugeordneten Position entspricht; in Reaktion darauf, dass der vorhergesagte Blickvektor der Position entspricht, welche dieser Funktion entspricht, Bestimmen einer Wahrscheinlichkeit, dass der vorhergesagte Blickvektor der Position entspricht, welche der Funktion basierend auf mindestens einer aus den historischen Nutzungsinformationen und den Fahrzeugkontextinformationen zugeordnet ist; und Ausführen der Funktion basierend auf der ermittelten Wahrscheinlichkeit.
-
Die historischen Nutzungsinformationen können mindestens eine aus den zuvor vom Benutzer eingeleiteten Funktionen, zuvor gespeicherte Blickvektoren des Benutzers innerhalb eines vorbestimmten Schwellenwerts aus dem Blickvektor, eine Anzahl an Zeiten einer vom Benutzer eingeleiteten Funktion, Standorte, die zuvor vom Benutzer erfasst wurden und eine Anzahl an Standorten, die zuvor durch den Benutzer erfasst wurden, beinhalten.
-
Die Fahrzeugkontextinformationen können Informationen über mindestens eines oder mehrere aus einem mit einem Fahrzeug verbundenen Ereignis, einer Lenkung eines Fahrzeugs, einen Blinkerstatus, eine Geschwindigkeit eines Fahrzeugs, einen Standort eines Fahrzeugs, ein Motorereignis oder einen Status, einen Emissionsstatus, Umdrehungen pro Minute eines Motors, Übertragungsstatus, Reifendruck, Türöffnungs-/Schließstatus, Kofferraumöffnungs-/Schließstatus, Fensteröffnungs-/Schließstatus, Innen-/Außentemperatur, barometrischer Druck, Höhe eines Fahrzeugs, Beschleunigung eines Fahrzeugs, Benutzereingabe, einen vom Benutzer angewendeten Druck zu einem Objekt oder einer Schaltfläche in einem Fahrzeug, ob sich ein Fahrgast in einem Sitz befindet, Standort und Geschwindigkeit von externen Objekten um das Fahrzeug herum, welche Lichter eines Fahrzeugs aktiviert sind, ob ein Autoschlüssel in einem Fahrzeug vorhanden ist, und ein aktuell angezeigter Bildschirm auf einem Display im Fahrzeug, einen Status eines Fahrzeugs, einen Status einer Einstellung eines Fahrzeugs und einen Standort einer vom Benutzer ausführbaren Funktion, beinhalten.
-
Die Vorhersage des Standorts des Blickziels kann das Bestimmen beinhalten, ob Koordinaten des vorhergesagten Standorts innerhalb eines erfassbaren Bereichs liegen; in Reaktion darauf, dass die Koordinaten innerhalb des erfassbaren Bereichs liegen, Berechnen einer Differenz zwischen dem vorhergesagten Standort und dem Standort des Blickziels und Aktualisieren des kinematischen Modells basierend auf der berechneten Differenz; und in Reaktion darauf, dass die Koordinaten außerhalb des erfassbaren Bereichs liegen, Ausführen einer Funktion basierend auf dem vorhergesagten Standort.
-
Die Blickinformation kann die Koordinateninformationen des Benutzerblicks und die Zeitinformationen des Benutzerblicks beinhalten.
-
Das kinematische Modell kann basierend auf den Koordinateninformationen und den Zeitinformationen berechnet werden.
-
Der Schwellenwert kann ein Indikator dafür sein, ob der Benutzerblick außerhalb eines Bereichs liegt, in dem der Benutzerblick innerhalb eines spezifischen Genauigkeitsgrades verfolgbar ist.
-
Der spezifische Genauigkeitsgrad kann drei Grad oder weniger betragen.
-
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt ein Blockschaltbild einer Blickverfolgungsvorrichtung gemäß einer exemplarischen Ausführungsform;
-
2 zeigt ein Flussdiagramm eines Verfahrens zum Vorhersagen von Zielen der visuellen Aufmerksamkeit gemäß einer exemplarischen Ausführungsform;
-
3 zeigt ein Flussdiagramm zum Vorhersagen eines Blickvektors gemäß einem Aspekt einer exemplarischen Ausführungsform; und
-
4 zeigt ein Flussdiagramm zum Vorhersagen eines Blickziels gemäß einem Aspekt einer exemplarischen Ausführungsform.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Vorrichtungen zum Verfolgen eines Blicks eines Benutzers oder einer visuellen Aufmerksamkeit eines Benutzers verwenden Sensoren, welche die von einem Benutzer ausgeführten Aktionen und die Ausgabeinformationen, die den Aktionen des Benutzers entsprechen, ermitteln. Die Informationen von den Sensoren werden dann verwendet, um Informationen zu bestimmen, die dem Blick des Benutzers zugeordnet sind. So kann beispielsweise ein Blick eines Benutzers auf ein Ziel der visuellen Aufmerksamkeit gerichtet werden, wie es unter Verwendung eines Punktes im 2D- oder 3D-Raum beobachtet wird, auf den die Augen fokussiert sind. Allerdings sind Blickverfolgungsvorrichtungen immer noch in der Genauigkeit hinsichtlich der Verfolgung eines Blicks und das Bestimmen eines Ziels eines Benutzerblicks begrenzt. Somit besteht ein Bedarf für eine Blickverfolgungsvorrichtung, die in der Lage ist, den Blick des Benutzers genauer zu verfolgen und ein Ziel des Blicks des Benutzers zu bestimmen.
-
Eine Blickverfolgungsvorrichtung und ein Verfahren davon werden nun im Detail unter Bezugnahme auf die 1–4 der beigefügten Zeichnungen, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen, beschrieben. Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten Ausführungsbeispiele lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jedes Ausführungsbeispiels normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
-
Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit”, „gebildet auf” oder „angelegt” ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, es können Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein, es sei denn, es wird angegeben, dass ein erstes Element „direkt” mit dem zweiten Element „verbunden” ist oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element konfiguriert ist, um Informationen von einem zweiten Element zu empfangen, kann das erste Element die Informationen direkt von dem zweiten Element empfangen, die Informationen über einen Bus empfangen, die Informationen über ein Netzwerk empfangen oder die Information über Zwischenelemente empfangen, es sei denn, das erste Element wird angezeigt, um die Information „direkt” vom zweiten Element zu empfangen.
-
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
-
1 zeigt ein Blockschaltbild einer Blickverfolgungsvorrichtung 100 gemäß einer exemplarischen Ausführungsform. Wie in 1 gezeigt, beinhaltet die Blickverfolgungsvorrichtung 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, einen Blickerfassungssensor 105, einen Benutzereingang 106, einen Fahrzeugeingangsstatus 107 und eine Kommunikationsvorrichtung 108. Jedoch ist die Blickverfolgungsvorrichtung 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente beinhaltet und/oder ein oder mehrere der vorgenannten Elemente weglässt.
-
Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Blickverfolgungsvorrichtung 100. Die Steuerung 101 kann einen oder mehrere der Speicher 103, der Ausgänge 104, der Blickerfassungssensoren 105, der Benutzereingaben 106, des Fahrzeugeingangsstatus 107 und der Kommunikationsvorrichtung 108 der Blickverfolgungsvorrichtung 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen und eine Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
-
Die Stromversorgung 102 stellt einen oder mehrere der Speicher 103, der Ausgänge 104, der Blickerfassungssensoren 105, der Benutzereingaben 106, des Fahrzeugeingangsstatus 107 und der Kommunikationsvorrichtung 108 der Blickverfolgungsvorrichtung 100 bereit. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
-
Der Speicher 103 ist so konfiguriert, dass er Informationen speichert und abruft, die von der Blickverfolgungsvorrichtung 100 verwendet werden. Der Speicher 103 kann durch die Steuerung 101 gesteuert werden, um Fahrzeugkontextinformationen, historische Nutzungsinformationen usw. zu speichern und abzurufen. Der Speicher kann auch ein Vorhersagemodell oder eine Vorhersagemodell-Datenbank mit Informationen über Blickmuster des Benutzers und Funktionen im Zusammenhang mit den Blickmustern des Benutzers enthalten. Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
-
Der Ausgang 104 gibt Informationen in einer visuellen, hörbaren oder haptischen Form aus. Der Ausgang 104 kann über die Steuerung 101 gesteuert werden, um dem Benutzer der Blickverfolgungsvorrichtung 100 Ausgänge zu liefern. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Anzeige, einer Heads-Up-Anzeige, einer haptischen Rückkopplungsvorrichtung, einer Vibrationsvorrichtung, einer Abgriffrückkopplungsvorichtung, einer holographischen Anzeige usw. beinhalten.
-
Der Blickerfassungssensor 105 ist konfiguriert, um einen Standort eines Blicks des Benutzers und eine Bewegungsrichtung des Blicks des Benutzers zu erfassen und Informationen über den Standort und die Richtung zur Blickverfolgungsvorrichtung 100 und der Steuerung 101 bereitzustellen. Der Blickerfassungssensor 105 kann eine oder mehrere aus einer Infrarotkamera, einer Kamera, einer nahen Infrarotkamera, einer aktiven Lichtkamera, einem Ultraschallsensor, einer Radarvorrichtung usw. beinhalten. Der Blickerfassungssensor 105 kann die Informationen an die Steuerung 101 zum Verarbeiten bereitstellen, sodass die Steuerung Funktionen ausführen kann, die auf einer oder mehreren der Positionen eines Blicks des Benutzers, des Standorts des Benutzers, der Bewegungsrichtung des Blicks des Benutzers und des vorhergesagten Ziels des Blicks des Benutzers basieren.
-
Die Benutzereingabe 106 ist so konfiguriert, um Eingabeinformationen und Befehle an die Blickverfolgungsvorrichtung 100 zu liefern. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. an die Steuerung 101 zu liefern. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einer Maus, einem Touchpad usw. beinhalten.
-
Das Fahrzeugstatuseingang 107 ist konfiguriert, um Fahrzeuginformationen zu empfangen und die Fahrzeuginformationen an die Blickverfolgungsvorrichtung 100 zu liefern. Der Fahrzeugstatuseingang 107 kann verwendet werden, um Fahrzeugkontextinformationen usw. an die Steuerung 101 zu liefern. Die Fahrzeugkontextinformation kann von Sensoren oder Vorrichtungen empfangen werden, die Informationen über das Fahrzeug erfassen, können aus dem Speicher 103 gelesen werden, wobei die Fahrzeugkontextinformationen über die Kommunikationsvorrichtung 108 gespeichert oder empfangen werden. Die Fahrzeugkontextinformationen können von Sensoren oder Vorrichtungen, wie beispielsweise einem oder mehreren aus einem GPS (Global Positioning System), einem Tachometer, einem Kilometerzähler, einem Motorsensor, einem Emissionssensor, einem Sendesensor, einem Reifendrucksensor, einem Türsensor, einem Kofferraumsensor, einem Fenstersensor, einem Innen-/Außentemperatursensor, einem barometrischen Drucksensor, einem Beschleunigungssensor, einem gyroskopischen Sensor, einer Berührungskraft oder einem Drucksensor, einem Sitzsensor, einem Passagiersensor, einem Kollisionssensor, einem externen Objektdetektor, einem Ultraschallsensor, einem Radarsensor, einem Thermometer, einem Höhenmesser, einer elektronischen Steuereinheit (z. B. einer elektronischen Steuerung usw.), einem Fahrzeuglicht-Aktivierungssensor, einem Regensensor, einem Schneesensor, einem Fahrzeugschlüsselsensor, einer Fahrzeuginformation und einer Unterhaltungsvorrichtung (d. h. einer Infotainmentvorrichtung), einer Kommunikationsvorrichtung, einem Umgebungslichtsensor, usw. bereitgestellt werden.
-
Die Fahrzeugkontextinformation kann Informationen über eines oder mehrere von einem mit einem Fahrzeug verbundenen Ereignis, eine Lenkung eines Fahrzeugs, einen Blinkerstatus, eine Geschwindigkeit eines Fahrzeugs, ein Standort eines Fahrzeugs, ein Motorereignis oder einen Status, einen Emissionsstatus, Umdrehungen pro Minute eines Motors, Übertragungsstatus, Reifendruck, Türöffnungs-/Schließstatus, Kofferraumöffnungs-/Schließstatus, Fensteröffnungs-/Schließstatus, Innen-/Außentemperatur, barometrischer Druck, Höhe eines Fahrzeugs, Beschleunigung eines Fahrzeugs, Benutzereingabe, vom Benutzer angewendeten Druck zu einem Objekt oder einer Schaltfläche in einem Fahrzeug, ob sich ein Fahrgast in einem Sitz befindet, Ort und Geschwindigkeit von externen Objekten um das Fahrzeug herum, welche Lichter eines Fahrzeugs aktiviert sind, ob ein Autoschlüssel in einem Fahrzeug vorhanden ist, ein aktuell angezeigter Bildschirm auf einem Display im Fahrzeug, Tag- oder Nachtzeit, ein Umgebungslicht, einen Status eines Fahrzeugs, einen Status einer Einstellung eines Fahrzeugs und einen Ort einer Funktion, die vom Benutzer ausführbar ist, beinhalten.
-
Die Kommunikationsvorrichtung 108 kann von der Blickverfolgungsvorrichtung 100 verwendet werden, um mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann verwendet werden, um Blickkontaktinformationen, Fahrzeugkontextinformationen, historische Nutzungsinformationen usw. an die Steuerung 101 und die Blickverfolgungsvorrichtung 100 zu liefern. Die Kommunikationsvorrichtung 108 kann von der Steuerung 101 verwendet werden, um Befehle zum Ausführen von Funktionen zu senden.
-
Die Kommunikationsvorrichtung 108 kann verschiedene Kommunikationsmodule beinhalten, wie beispielsweise ein Rundfunkempfangsmodul, ein Nahfeldkommunikationsmodul (NFC), ein GPS-Modul und ein drahtloses Kommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer zu empfangen, und ein digitales Multimediaübertragungsmodul (DMB) zum Empfangen und Verarbeiten eines DMB-Rundfunksignals. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Das GPS-Modul ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein Wi-Fi- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das drahtlose Kommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie beispielsweise 3rdGeneratien (3G), 3rdGeneration Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth oder ZigBee, beinhalten.
-
Gemäß einer exemplarischen Ausführungsform ist die Steuerung 101 der Blickverfolgungsvorrichtung 100 so konfiguriert, um mit dem Blick des Benutzers aus dem Blickerfassungssensor 105 Informationen zu erhalten. Basierend auf den Blickinformationen bestimmt die Steuerung 101, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als ein Schwellenwert ist. In diesem Fall kann die Änderungsinformation Vektorinformationen beinhalten, die eine Blickrichtung des Benutzers angeben. in Reaktion darauf, dass die Änderungsinformation größer als der Schwellenwert ist, ist die Steuerung 101 so konfiguriert, um wenigstens einen aus einem Blickvektor des Blicks des Benutzers und eine Position eines Blickziels des Blicks des Benutzers basierend auf einem kinematischen Modell vorherzusagen. Darüber hinaus kann die Steuerung 101 konfiguriert sein, um zu bestimmen, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als der Schwellenwert ist, in Reaktion auf das Empfangen einer Vielzahl von Abtastungen der Blickinformationen.
-
Die Blickinformation kann Koordinateninformationen des Blicks des Benutzers und die Zeitinformation des Blicks des Benutzers beinhalten. Das kinematische Modell kann basierend auf den Koordinateninformationen und den Zeitinformationen berechnet werden. Die Koordinateninformationen und die Zeitinformationen können verwendet werden, um eine Größe einer Geschwindigkeit (z. B. Richtung und Geschwindigkeit) zu bestimmen, bei der sich die Augen bewegen. Unter Verwendung einer entsprechenden festgelegten Abtastrate, wenn eine Änderung der Benutzer-Blickposition oberhalb eines vorbestimmten Schwellenwerts liegt, ist es möglich zu bestimmen, dass ein Übergang im Blick des Benutzers auftritt. Es ist zum Beispiel möglich, einen Übergang eines Blicks des Benutzers basierend auf den Abständen zwischen den Blickkoordinateninformationen von einem Ziel zu einer anderen Zielposition zu verfolgen. Mit anderen Worten, wenn ein Abstand zwischen den Blickkoordinaten zunimmt, kann ein Übergangszustand von einem Blickziel zu einem anderen Blickziel vorhergesagt werden, und das Ziel kann basierend auf einer Richtung vorhergesagt werden, die basierend auf den Blickkoordinaten im Übergangszustand bestimmt wird. In einem anderen Beispiel kann das kinematische Modell unter Verwendung einer Komponente von Abständen zwischen Koordinateninformationen über einen Zeitraum berechnet werden. Insbesondere kann das kinematische Modell auf der Grundlage eines Vergleichs zwischen einem Abstand zwischen den zuletzt abgetasteten Koordinaten und einem gleitenden Durchschnitt von Abständen zwischen einer vorbestimmten Anzahl an vorherigen abgetasteten Koordinaten berechnet werden.
-
Der Schwellenwert ist ein Indikator dafür, ob sich der Blick des Benutzers im Wandlungsprozess von einer Zielfixierung zu einer anderen Zielfixierung befindet. Der Schwellenwert kann ein vorbestimmter konstanter Wert sein oder kann ein variabler Wert sein, der unter Verwendung von unmittelbar vorhergehenden Abtastdaten oder eines rollenden Durchschnitts der letzten Geschwindigkeitswerte oder Abstandswerte berechnet wird. Zusätzlich kann der Schwellenwert basierend auf den historischen Blickdaten angepasst werden. Die spezifische Genauigkeitsgrad kann ein Grad oder weniger, drei Grad oder weniger oder je nach Anwendung oder Ausrüstung variieren.
-
Die Steuerung 101 kann konfiguriert sein, um den Blickvektor vorherzusagen, indem festgestellt wird, ob der vorhergesagte Blickvektor einer der Funktion zugeordneten Position entspricht; und in Reaktion darauf, dass der vorhergesagte Blickvektor der Position entspricht, der dieser Funktion zugeordnet ist, ist die Steuerung 101 konfiguriert, um die Wahrscheinlichkeit zu bestimmen, dass der vorhergesagte Blickvektor der Position entspricht, die der Funktion basierend auf mindestens einer aus den historischen Nutzungsinformationen und den Fahrzeugkontextinformationen zugeordnet ist. Die Steuerung 101 kann dann steuern, um die Funktion auszuführen oder auf andere Weise zusätzliche Funktionen basierend auf der ermittelten Wahrscheinlichkeit ausführen.
-
Die historischen Nutzungsinformationen können Informationen sein, die eine oder mehrere zuvor von einem Benutzer eingeleitete Funktionen, zuvor gespeicherte Blickvektoren des Benutzers innerhalb eines vorbestimmten Schwellenwerts aus dem Blickvektor, eine Anzahl an Zeiten einer vom Benutzer eingeleiteten Funktion, Positionen, die zuvor vom Benutzer erfasst wurden und eine Anzahl an Positionen, die zuvor durch den Benutzer erfasst wurden, beinhalten. Die historische Nutzungsinformation kann zeitgestempelt sein, und der Zeitstempel kann darauf bezogen sein, um mit den aktuellen Handlungen auf historische Nutzungsinformationen oder Blickinformationen des Benutzers zu korrelieren.
-
Die Steuerung 101 kann konfiguriert sein, um die Position des Blickziels vorherzusagen, indem festgestellt wird, ob Koordinaten des vorhergesagten Standorts innerhalb eines erfassbaren Bereichs liegen, in Reaktion darauf, dass die Koordinaten innerhalb des erfassbaren Bereichs liegen ist die Steuerung 101 konfiguriert, um eine Differenz zwischen der vorhergesagten Position und der Position des Blickziels zu berechnen und das kinematische Modell basierend auf der berechneten Differenz zu aktualisieren. In diesem Fall kann die Steuerung 101 auch konfiguriert sein, um eine Funktion basierend auf der Position des Blickziels auszuführen. Die Steuerung 101 kann auch konfiguriert sein, um eine Funktion basierend auf der vorhergesagten Position, in Reaktion darauf, dass die Koordinaten außerhalb des erfassbaren Bereichs liegen, auszuführen. So kann zum Beispiel die Funktion ein Vorhersagemodell oder eine Vorhersage-Datenbank basierend auf Blickmustern des Benutzers aktualisieren.
-
Die von der Steuerung 101 ausgeführte Funktion kann die Ausgabe 104 steuern, um eine Ausgabe von einer oder mehreren visuellen, hörbaren oder haptischen Rückmeldungen bereitzustellen. Darüber hinaus kann die von der Steuerung 101 ausgeführte Funktion Informationen über die Kommunikationsvorrichtung 108 an eine andere Komponente des Fahrzeugs oder Servers ausgeben, welche die Information speichern oder verarbeiten würde.
-
Gemäß einer exemplarischen Ausführungsform kann die Steuerung 101 eine oder mehrere Funktionen steuern, um eine aktive Sicherheitsmaßnahme wie beispielsweise Bremsen, Aufrechterhalten einer Fahrspur eines Fahrzeugs, eine Vorwärtskollisionsvermeidung, eine Sicherheitsbenachrichtigung, wie beispielsweise eine Anzeigelampe oder ein Warnton usw. basierend auf der Vorhersage der Position des Blicks des Benutzers durchführen. So kann beispielsweise die Funktion Anweisungen zum Anlernen eines Fahrers bereitstellen. Die Anweisungen zum Anlernen eines Fahrers können Anweisungen bezüglich der Fahrzeuggeschwindigkeit, Betätigen einer Bremse eines Fahrzeugs, Steuern eines Fahrzeugs oder Steuern einer Komponente eines Fahrzeugs sein. In einem anderen Beispiel, wenn die Fahrzeuggeschwindigkeit und die Lenkinformation darauf hindeuten, dass ein Spurwechsel aufgetreten ist, wobei die Blickinformation des Benutzers anzeigt, dass eine Schulter (Toter Winkel) überprüft, aber kein Blinker aktiviert wurde, kann ein Fahrertraining bezüglich des Blinksignals vorgesehen sein. Alternativ, wenn keine Überprüfung des toten Winkels durchgeführt wurde, kann ein Fahrertraining in Bezug auf eine Überprüfung des toten Winkels durchgeführt werden. Darüber hinaus kann eine weitere Funktion sein, aktive Sicherheitsmaßnahmen zum Anpassen, die durchgeführt werden können, wenn bestimmte Situationen erfüllt sind und/oder um Schnittstellen zum Blick des Benutzers über die Zeit anzupassen.
-
Gemäß einer exemplarischen Ausführungsform kann die von der Steuerung 101 ausgeführte Funktion die Steuerung von Informationen an Anzeigen ausführen, beispielsweise durch Bereitstellen einer Benutzerschnittstelle für einen Benutzer eines Fahrzeugs. So kann beispielsweise die Steuerung 101 konfiguriert sein, um festzustellen, wann der Fokus des Fahrers auf einen zentralen Bedienbereich des Bildschirms gerichtet wird, und um das Display innerhalb einer festgelegten Grenze leicht aufzuhellen oder Informationen im zentralen Bedienbereich basierend auf der Position des Blicks des Benutzers anzuzeigen. Gemäß einem anderen Beispiel kann die Steuerung 101 konfiguriert sein, um zu ermitteln, wann der Fokus des Fahrers auf einen zentralen Bedienbereich des Bildschirms gerichtet ist und um spezifische oder gezielte Informationen basierend auf den Fahrzeugkontextinformationen anzuzeigen. Gemäß einem weiteren Beispiel kann die Steuerung 101 konfiguriert sein, um zu ermitteln, wann der Fokus des Fahrers auf eine bestimmte Taste oder ein Element gerichtet ist, und um spezifische Benutzeroberflächenelemente (z. B. eine Softtaste) aufzuhellen. In noch einem weiteren Beispiel kann die Steuerung 101 konfiguriert sein, um den Fahrer zu warnen, wenn der Blick des Fahrers nicht auf eine richtige Position gerichtet ist, wie beispielsweise die Straße bei Geradeausfahrten, die Straße beim Rückwärtsfahren, Toter Winkel beim Spurwechsel oder beim Abbiegen. Darüber hinaus kann eine Benachrichtigung aufgrund der Position des Blicks des Benutzers abgelehnt werden.
-
2 zeigt ein Flussdiagramm eines Verfahrens zum Vorhersagen von Zielen der visuellen Aufmerksamkeit gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Blickverfolgungsvorrichtung 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen. Unter Bezugnahme auf 2 wird im Betrieb S210 die dem Blick des Benutzers zugeordnete Blickinformation empfangen. Basierend auf den Blickinformationen wird bestimmt, ob die dem Blick des Benutzers zugeordnete Änderungsinformation größer als ein Schwellenwert im Betrieb S220 ist. Wenn bestimmt wird, dass die Änderungsinformation größer als der Schwellenwert im Betrieb 5220-Ja ist, wird mindestens einer aus einem Blickvektor des Blicks des Benutzers und einer Position eines Blickziels eines Blicks des Benutzers im Betrieb S230 vorhergesagt. Wenn bestimmt wird, dass die Änderungsinformation nicht größer als der Schwellenwert im Betrieb S220-Nicht ist, kehrt das Verfahren zum Empfangen von Blickinformationen, die dem Blick des Benutzers im Betrieb S210 zugeordnet sind, zurück.
-
3 zeigt ein Flussdiagramm für ein Verfahren zum Vorhersagen eines Blickvektors gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 3 wird bestimmt, ob ein Blickvektor einer Position entspricht, die einer Funktion im Betrieb S310 zugeordnet ist. Wenn bestimmt wird, dass der Blickvektor einer der Position zugeordneten Funktion entspricht, fährt das Verfahren mit S320 fort, ansonsten endet das Verfahren. Im Betrieb S320 wird in Reaktion auf das Bestimmen, dass der Blickvektor der Position, die der Funktion zugeordnet ist, entspricht, eine Wahrscheinlichkeit, dass der Blickvektor der Position, die der Funktion zugeordnet ist, entspricht, basierend auf mindestens einer aus historischen Nutzungsinformationen und Fahrzeugkontextinformationen berechnet. Die Funktion wird dann basierend auf der ermittelten Wahrscheinlichkeit im Betrieb S330 durchgeführt. Wenn beispielsweise der Wahrscheinlichkeitswert einer Funktion oder Funktionen einen Schwellenwert erfüllen oder überschreiten, kann die Funktion(en) durchgeführt werden. In einem anderen Beispiel können, wenn mehrere Funktionen dem vorhergesagten Blickvektor entsprechen, eine Funktion oder Funktionen mit dem größten Wahrscheinlichkeitswert(en) durchgeführt werden.
-
4 zeigt ein Flussdiagramm für ein Verfahren zum Vorhersagen eines Blickziels gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 4 wird bestimmt, ob sich die Koordinaten der vorhergesagten Position innerhalb eines erfassbaren Bereichs im Betrieb S410 befinden. Wenn bestimmt wird, dass die Koordinaten der vorhergesagten Position innerhalb des erfassbaren Bereichs liegen, wird eine Differenz zwischen der vorhergesagten Position und der Position des Blickziels berechnet und das kinematische Modell wird basierend auf der berechneten Differenz im Betrieb S420 aktualisiert. In diesem Fall kann auch eine Funktion basierend auf der Position des Blickziels ausgeführt werden. Wenn bestimmt wird, dass die Koordinaten der vorhergesagten Position außerhalb des erfassbaren Bereichs liegen, wird eine Funktion basierend auf der vorhergesagten Position im Betrieb S430 durchgeführt. So können beispielsweise die Koordinaten der vorhergesagten Position eine Position sein, die ein vorbestimmter Abstand oder ein vorbestimmter Schwellenwert aus dem erfassbaren Bereich oder eine oder mehrere Koordinaten, die den erfassbaren Bereich bilden. Alternativ kann eine Funktion basierend auf der vorhergesagten Position und einer bestimmten Wahrscheinlichkeit im Betrieb S430 durchgeführt werden. In diesem Fall würde die ermittelte Wahrscheinlichkeit basierend auf mindestens einer aus historischen Nutzungsinformationen und Fahrzeugkontextinformationen berechnet.
-
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
-
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.
