DE102012212217A1

DE102012212217A1 - Verfahren zum Abbilden der Blickposition auf eine Informationsanzeige im Fahrzeug

Info

Publication number: DE102012212217A1
Application number: DE102012212217A
Authority: DE
Inventors: Amanda J. Kalhous; Fuad Al-Amin; Jarvis Chau; Norman J. Weigert
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2011-07-19
Filing date: 2012-07-12
Publication date: 2013-01-24
Anticipated expiration: 2032-07-13
Also published as: DE102012212217B4; CN102887121A; US9043042B2; CN102887121B; US20130024047A1

Abstract

Es wird ein Verfahren zum Steuern eines Fahrzeugsystems eines Fahrzeugs geschaffen. Das Verfahren umfasst: Empfangen von Bilddaten, die von einem Insassen des Fahrzeugs erfasst werden; Bestimmen eines Fokus des Insassen des Fahrzeugs auf der Grundlage der Bilddaten; und Erzeugen eines Anwenderbefehls zum Steuern des Fahrzeugsystems auf der Grundlage des Fokus des Insassen.

Description

GEBIET DER ERFINDUNG
Die vorliegende Offenbarung bezieht sich auf Verfahren, Systeme und Computerprogrammprodukte, um die Fahrerblickrichtung zum Steuern von Fahrzeugsystemen zu verwenden.
HINTERGRUND
Die Hauptsteuereinrichtungen für Fahrzeug-Entertainment-Systeme sind üblicherweise in der Mitte des Fahrzeugarmaturenbretts angeordnet. Um das Entertainment-System zum Ausführen einer Funktion zu bedienen, ändert ein Fahrer vorübergehend den Fokus seiner Aufmerksamkeit von der Straße auf das Entertainment-System.
Dementsprechend ist es erwünscht, Systeme und Verfahren zu schaffen, um Fahrzeugfunktionen zu bedienen, ohne den Fokus des Fahrers zu ändern.
ZUSAMMENFASSUNG DER ERFINDUNG
In einer beispielhaften Ausführungsform wird ein Verfahren zum Steuern eines Fahrzeugsystems eines Fahrzeugs geschaffen. Das Verfahren umfasst: das Empfangen von Bilddaten, die von einem Insassen des Fahrzeugs erfasst werden; das Bestimmen eines Fokus des Insassen des Fahrzeugs auf der Grundlage der Bilddaten; und das Erzeugen eines Anwenderbefehls zum Steuern des Fahrzeugsystems auf der Grundlage des Fokus des Insassen.
In einer anderen beispielhaften Ausführungsform wird ein Steuersystem für ein Fahrzeug geschaffen. Das Steuersystem enthält ein erstes Modul, das auf der Grundlage von Bilddaten einen Fokus eines Insassen des Fahrzeugs bestimmt, wobei die Bilddaten unter Verwendung eines Bildprozessors von dem Insassen erfasst werden. Ein zweites Modul erzeugt auf der Grundlage des Fokus des Insassen einen Anwenderbefehl zum Steuern eines Fahrzeugsystems.
In einer nochmals anderen beispielhaften Ausführungsform wird ein Fahrzeug geschaffen. Das Fahrzeug enthält einen Bildprozessor, der Bilddaten eines Insassen des Fahrzeugs erfasst. Ein Mensch-Maschine-Schnittstellenmodul verarbeitet die Bilddaten und erzeugt auf der Grundlage der Bilddaten einen Anwenderbefehl. Ein Fahrzeugsystem empfängt den Anwenderbefehl und steuert auf der Grundlage des Anwenderbefehls eine Funktion des Fahrzeugsystems.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Erfindung gehen leicht aus der folgenden ausführlichen Beschreibung der Erfindung in Verbindung mit den beigefügten Zeichnungen hervor.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Merkmale, Vorteile und Einzelheiten erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung von Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:
1 ein Funktionsblockschaltplan ist, der ein Fahrzeug darstellt, das ein Fahrerblickrichtungs-Steuersystem gemäß beispielhaften Ausführungsformen enthält;
2 ein Datenflussdiagramm ist, das ein Fahrerblickrichtungs-Steuermodul gemäß beispielhaften Ausführungsformen darstellt; und
3 ein Ablaufplan ist, der ein Fahrerblickrichtungs-Steuerverfahren gemäß beispielhaften Ausführungsformen darstellt.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Selbstverständlich bezeichnen entsprechende Bezugszeichen in allen Zeichnungen gleiche oder entsprechende Teile und Merkmale. Wie er hier verwendet ist, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), auf eine elektronische Schaltung, auf einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und auf Speicher, die eines oder mehrere Software- oder Firmwareprogramme ausführen, auf eine Kombinationslogikschaltung und/oder auf andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Gemäß beispielhaften Ausführungsformen ist ein allgemein bei 10 gezeigtes blickrichtungsgestütztes Steuersystem in der Weise gezeigt, dass es innerhalb eines Fahrzeugs 12 enthalten ist. Das blickrichtungsgestützte Steuersystem 10 verarbeitet Netzhautinformationen eines Fahrers 13 oder eines anderen Insassen des Fahrzeugs 12 und erzeugt darauf beruhend Steuersignale zum Steuern von Funktionen von Fahrzeugsystemen 16a–16n. Solche Fahrzeugsysteme 16a–16n können z. B. ein Entertainmentsystem, ein Navigationssystem, ein Telematiksystem und/oder irgendein anderes System innerhalb des Fahrzeugs enthalten, sind darauf aber nicht beschränkt. Es wird gewürdigt werden, dass die Steuersignale an Steuermodule 18a–18n, die den Fahrzeugsystemen 16a–16n zugeordnet sind, über ein Fahrzeugnetz 20 (wie allgemein bei 22 gezeigt) übertragen werden können und/oder (wie allgemein bei 24 gezeigt) direkt an das Fahrzeugsystem 16n' übertragen werden können.
In verschiedenen Ausführungsformen enthält das blickrichtungsgestützte Steuersystem 10 einen Bildprozessor 26, der Bilddaten des Fahrers 13 erfasst, und ein Mensch-Maschine-Schnittstellenmodul (HMI-Modul) 28, das die erfassten Bilddaten verarbeitet. Das HMI-Modul 28 erzeugt auf der Grundlage der verarbeiteten Bilddaten die Steuersignale zum Steuern eines oder mehrerer der Fahrzeugsysteme 16a–16n.
In verschiedenen Ausführungsformen kommuniziert das HMI-Modul mit einem Anzeigesystem 30. Das Anzeigesystem 30 zeigt eine Anwenderschnittstelle an, die dem zu steuernden Fahrzeugsystem 16a–16n entspricht. In verschiedenen Ausführungsformen wird die Anwenderschnittstelle in der oder in der Nähe der Sichtlinie des Fahrers 13 angezeigt. Die Anwenderschnittstelle kann z. B. auf einer Windschutzscheibe (nicht gezeigt) des Fahrzeugs 12 durch ein Headup-Display-System (HUD-System) angezeigt werden. Das HMI-Modul 28 verarbeitet die Bilddaten in Bezug auf die angezeigte Anwenderschnittstelle.
Nun anhand von 2 veranschaulichen Datenflussdiagramme das HMI-Modul 28 gemäß verschiedenen Ausführungsformen. Es wird gewürdigt werden, dass verschiedene Ausführungsformen der HMI-Module 28 gemäß der vorliegenden Offenbarung irgendeine Anzahl von Teilmodulen enthalten können. Die in 2 gezeigten Teilmodule können kombiniert und/oder weiter unterteilt werden, um ähnlich die Blickrichtung eines Fahrers zu erkennen und auf der Grundlage davon Funktionen eines oder mehrerer Fahrzeugsysteme 16a–16n' (1) zu steuern. Eingaben in das HMI-Modul 28 können von einer oder von mehreren Sensoreingabeeinrichtungen des Fahrzeugs 12 (1) empfangen werden, von anderen Modulen (nicht gezeigt) innerhalb des Fahrzeugs 12 (1) empfangen werden, durch andere Module (nicht gezeigt) innerhalb des HMI-Moduls 28 bestimmt/modelliert werden und/oder über ein Netz (z. B. das Internet) von einer externen Quelle empfangen werden. In dem Beispiel aus 2 enthält das HMI-Modul 28 ein Bildverarbeitungsmodul 32, ein Blickrichtungsanalysemodul 34, ein Anzeigemodul 36 und ein Befehlsmodul 38.
Das Bildverarbeitungsmodul 32 empfängt als Eingabe Bilddaten 40. Das Bildverarbeitungsmodul 32 verarbeitet die Bilddaten 40, um ein Gesicht und Augen des Fahrers 13 zu unterscheiden (1), und erzeugt auf der Grundlage davon Augendaten 42 und Gesichtsdaten 44. Es wird gewürdigt werden, dass durch das Bildverarbeitungsmodul 32 verschiedene Analyseverfahren ausgeführt werden können, um die Augen und das Gesicht von den Bilddaten 40 zu unterscheiden. Diese Analyseverfahren können die Verwendung der Infrarotbeleuchtung auf das Auge zum Erzeugen einer Wirkung einer hellen Pupille, die einen hohen Kontrast zwischen den Pupillen und dem Rest des Gesichts erzeugt, um eine Robustheit und Genauigkeit der Augennachführung sicherzustellen, enthalten, sind darauf aber nicht beschränkt. Die Gesichtsdetektierung wird unter Verwendung des Viola-Jones-Objektdetektierungssystems ausgeführt.
Das Blickrichtungsanalysemodul 34 empfängt als Eingabe die Augendaten 42 und die Gesichtsdaten 44. Das Blickrichtungsanalysemodul 34 bestimmt auf der Grundlage der Augendaten 42 und/oder der Gesichtsdaten 44 einen Fokus des Fahrers 13 (1) und erzeugt auf der Grundlage davon Fokusdaten 46. Es sollte gewürdigt werden, dass durch das Blickrichtungsanalysemodul 34 verschiedene Analyseverfahren ausgeführt werden können, um den Fokus des Fahrers 13 zu bestimmen (1). Solche Analyseverfahren können die Verwendung der selbstkalibrierten Ruhezustandsdaten des Fahrers von dem Blickrichtungsanalysemodul und das Bestimmen der relativen Augenposition (Pupillenposition) und Gesichtsposition enthalten, sind darauf aber nicht beschränkt, wobei der Fahrerfokussierungsalgorithmus den Fokus des Fahrers bestimmen kann.
In verschiedenen Ausführungsformen kann das Blickrichtungsanalysemodul 34 die Gesichtsdaten 44 unter Verwendung eines Analyseverfahrens analysieren, um eine Position des Gesichts zu bestimmen. Daraufhin kann das Blickrichtungsanalysemodul 34 die Augendaten 42 unter Verwendung eines Analyseverfahrens und auf der Grundlage der Gesichtsposition analysieren, um einen Fokus des Auges (der Augen) zu bestimmen. In verschiedenen Ausführungsformen kann der Fokus des Auges (der Augen) z. B. durch einen allgemeinen Ort oder durch eine x-y-Koordinate innerhalb einer zweidimensionalen Ebene dargestellt werden.
Das Anzeigemodul 36 empfängt als Eingabe Systemdaten 48. Die Systemdaten 48 können durch das zu steuernde Fahrzeugsystem 16a–16n (1) erzeugt werden und können einen gegenwärtigen Zustand des Fahrzeugsystems 16a–16n (1) angeben. Das Anzeigemodul 36 managt auf der Grundlage der Systemdaten 48 die über die Anzeigedaten 50 anzuzeigende Anwenderschnittstelle. Das Anzeigemodul 36 kann z. B. Anzeigedaten 50 erzeugen, die von dem Anzeigesystem 30 zum Anzeigen eines bestimmten Bildschirms oder einer Benachrichtigung der dem zu steuernden Fahrzeugsystem 16a–16n (1) zugeordneten Anwenderschnittstelle verwendet werden können.
Daraufhin stellt das Anzeigemodul 36 diese Anzeigedaten oder andere Anzeige/Funktions-Daten 52 für das Befehlsmodul 38 zur Verfügung. Die Anzeige/Funktions-Daten 52 geben irgendwelche dem besonderen Bildschirm zugeordneten Funktionen oder eine Benachrichtigung, die angezeigt wird, und eine Abbildung der Funktionen auf die zweidimensionale Ebene, auf der die Anwenderschnittstelle angezeigt wird, an. Zum Beispiel werden durch den Bildschirm, der angezeigt wird, die Funktionen x, y und z bereitgestellt. Die Funktion x wird auf die Koordinaten ((a, b), (c, d), (e, f) usw.) der Anwenderschnittstelle abgebildet; die Funktion y wird auf die Koordinaten ((g, h), (i, j), (k, l) usw.) der Anwenderschnittstelle abgebildet; und die Funktion z wird auf die Koordinaten ((m, n), (o, p), (q, r) usw.) der Anwenderschnittstelle abgebildet.
In verschiedenen Ausführungsformen empfängt das Anzeigemodul 36 ferner als Eingabe eine Auswahl 54. Wie hinsichtlich des Befehlsmoduls 38 genauer diskutiert wird, kann die Auswahl 54 erzeugt werden, wenn die ausgewählte Funktion einem neuen Bildschirm oder einer Benachrichtigung der Anwenderschnittstelle zugeordnet ist. Das Anzeigemodul 36 kann auf der Grundlage der Auswahl 54 die Anzeigedaten 50 (z. B. zum Anzeigen eines neuen Bildschirms oder einer neuen Benachrichtigung) und die Anzeige/Funktions-Daten 52 ändern.
Das Befehlsmodul 38 empfängt als Eingabe die Anzeige/Funktions-Daten 52 und die Fokusdaten 46. Das Befehlsmodul 38 bestimmt auf der Grundlage der Eingaben 46, 52 die Auswahl 54 des Fahrers und erzeugt in einigen Fällen auf der Grundlage davon einen Anwenderbefehl 56. Zum Beispiel bildet das Befehlsmodul 38 die Koordinaten der Fokusdaten 46 auf Koordinaten der Anzeige/Funktions-Daten 52 ab und bestimmt die den Koordinaten zugeordnete Funktion. Daraufhin bestimmt das Befehlsmodul 38 den richtigen Befehl für diese Funktion und erzeugt auf der Grundlage davon einen Anwenderbefehl 56.
Der Anwenderbefehl 56 kann von dem Fahrzeugsystem 16a–16n' empfangen werden, um ein Systemmerkmal zu steuern. Der Anwenderbefehl kann zurück für das Anzeigemodul bereitgestellt werden, um die Änderung der Anwenderschnittstelle zu initiieren.
Nun wird weiterhin auf 2 und außerdem auf 3 Bezug genommen, worin ein Ablaufplan blickrichtungsgestützte Steuerverfahren veranschaulicht, die durch die blickrichtungsgestützten Steuersysteme gemäß der vorliegenden Offenbarung ausgeführt werden können. Wie im Licht der Offenbarung gewürdigt werden kann, ist die Reihenfolge des Betriebs innerhalb des Verfahrens nicht auf die wie in 3 dargestellte sequentielle Ausführung beschränkt, sondern kann in irgendeiner oder mehreren unterschiedlichen Reihenfolgen wie zutreffend und gemäß der vorliegenden Offenbarung ausgeführt werden. Wie weiter gewürdigt werden wird, können einer oder mehrere Schritte hinzugefügt oder entfernt werden, ohne den Erfindungsgedanken des Verfahrens zu ändern.
In verschiedenen Ausführungsformen kann das Verfahren so geplant werden, dass es auf der Grundlage vorgegebener Ereignisse ausgeführt wird, und/oder kann es während des Betriebs des Fahrzeugs 12 (1) (wie gezeigt) ausgeführt werden.
In einem Beispiel kann das Verfahren bei 100 beginnen. Bei 110 wird bestimmt, ob die blickrichtungsgestützte Steuerung aktiv ist (wobei z. B. durch den Fahrer ein Schalter zum Aktivieren des blickrichtungsgestützten Steuersystems ausgewählt wird). Falls die blickrichtungsgestützte Steuerung bei 110 aktiv ist, wird bei 130 auf der Grundlage der Steuersystemdaten und irgendeiner Auswahl die Anwenderschnittstelle bestimmt. Auf der Grundlage der Systemdaten und irgendwelcher Befehlsdaten zum Anzeigen der Anwenderschnittstelle, z. B. über die HUD, werden bei 140 die Anzeigedaten erzeugt. Bei 150 werden die Bilddaten von dem Bildprozessor analysiert, um die Augendaten und/oder die Gesichtsdaten zu bestimmen. Bei 160 werden die Augendaten und/oder die Gesichtsdaten analysiert, um den Fokus zu bestimmen. Bei 170 wird auf der Grundlage des Fokus die Auswahl bestimmt und werden die der gegenwärtigen Anwenderschnittstelle zugeordneten Funktionen (wie durch die Anzeige/Funktions-Daten angegeben) angezeigt. Optional kann die Auswahl bei 180 über eine Eingabeaufforderung von der Anwenderschnittstelle bestätigt werden. Falls die Auswahl bei 180 bestätigt wird, wird bei 190 auf der Grundlage der Auswahl und der der Auswahl zugeordneten Funktion der Anwenderbefehl erzeugt. Anschließend wird das Verfahren bei 110 mit der Überwachung, ob das blickrichtungsgestützte Steuersystem aktiv ist, fortgesetzt. Falls das blickrichtungsgestützte Steuersystem dagegen nicht aktiv ist oder das blickrichtungsgestützte Steuersystem nicht aktiv wird (z. B. daraufhin ausgeschaltet wird), kann das Verfahren bei 120 enden.
Obwohl die Erfindung anhand beispielhafter Ausführungsformen beschrieben worden ist, ist für den Fachmann auf dem Gebiet selbstverständlich, dass verschiedene Änderungen vorgenommen werden können und Äquivalente für Elemente davon ersetzt werden können, ohne von dem Umfang der Erfindung abzuweichen. Außerdem können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Erfindung anzupassen, ohne von dem wesentlichen Umfang davon abzuweichen. Somit soll die Erfindung nicht auf die besonderen offenbarten Ausführungsformen beschränkt sein, sondern enthält die Erfindung alle Ausführungsformen, die im Umfang der vorliegenden Anmeldung liegen.

Claims

Steuersystem für ein Fahrzeug, umfassend: ein erstes Modul, das auf der Grundlage von Bilddaten einen Fokus eines Insassen eines Fahrzeugs bestimmt, wobei die Bilddaten unter Verwendung eines Bildprozessors von dem Insassen erfasst werden; und ein zweites Modul, das auf der Grundlage des Fokus des Insassen einen Anwenderbefehl zum Steuern eines Fahrzeugsystems erzeugt.
System nach Anspruch 1, das ferner ein drittes Modul umfasst, das die Bilddaten analysiert, um aus den Bilddaten Augendaten und/oder Gesichtsdaten zu bestimmen.
System nach Anspruch 2, wobei das erste Steuermodul auf der Grundlage der Augendaten und/oder der Gesichtsdaten den Fokus des Insassen bestimmt.
System nach Anspruch 1, das ferner ein viertes Modul umfasst, das Anzeigedaten zum Anzeigen einer dem Fahrzeugsystem zugeordneten Anwenderschnittstelle erzeugt.
System nach Anspruch 4, wobei das zweite Modul eine Auswahl des Insassen auf der Grundlage des Fokus in Bezug auf die Anwenderschnittstelle bestimmt und wobei das zweite Modul den Anwenderbefehl auf der Grundlage der Auswahl erzeugt.
System nach Anspruch 5, wobei das vierte Modul die Anzeigedaten auf der Grundlage der Auswahl ändert.
Fahrzeug, umfassend: einen Bildprozessor, der Bilddaten eines Insassen des Fahrzeugs erfasst; ein Mensch-Maschine-Schnittstellenmodul, das die Bilddaten verarbeitet und das auf der Grundlage der Bilddaten einen Anwenderbefehl erzeugt; und ein Fahrzeugsystem, das den Anwenderbefehl empfängt und das auf der Grundlage des Anwenderbefehls eine Funktion des Fahrzeugsystems steuert.
Fahrzeug nach Anspruch 7, das ferner ein Anzeigesystem umfasst, das eine Anwenderschnittstelle in einer Sichtlinie des Insassen anzeigt.
Fahrzeug nach Anspruch 8, wobei das Mensch-Maschine-Schnittstellenmodul die Bilddaten in Bezug auf die Anwenderschnittstelle verarbeitet.
Fahrzeug nach Anspruch 8, wobei das Mensch-Maschine-Schnittstellenmodul auf der Grundlage des Anwenderbefehls Schnittstellendaten an das Anzeigesystem sendet.
Fahrzeug nach Anspruch 7, wobei das Mensch-Maschine-Schnittstellensymbol auf der Grundlage der Bilddaten einen Fokus des Insassen bestimmt; und den Anwenderbefehl auf der Grundlage des Fokus des Insassen erzeugt.