DE102012003283A1

DE102012003283A1 - Verfahren und Vorrichtung zur blickgestützten Steuerung

Info

Publication number: DE102012003283A1
Application number: DE201210003283
Authority: DE
Inventors: Stephan Odörfer; Tore Meyer
Original assignee: 4tiitoo AG
Current assignee: 4TIITOO GMBH, DE
Priority date: 2012-02-20
Filing date: 2012-02-20
Publication date: 2013-08-22

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur blickgestützten Steuerung, insbesondere eines Computersystems, wobei die Vorrichtung mindestens eine Einrichtung zur Blickerfassung, mindestens eine Auswerte- und Steuereinrichtung und mindestens einen Primärbildschirm (1) umfasst, wobei mittels der mindestens einen Einrichtung zur Blickerfassung eine Blickrichtung und/oder Blickbewegung und/oder eine Blickdauer eines Bedieners erfassbar ist, wobei die Vorrichtung weiter einen Aktionsbildschirm (7) umfasst, wobei Ausgangsdaten der Einrichtung zur Blickerfassung an eine erste Auswerte- und Steuereinrichtung übertragbar und von dieser ersten Auswerte- und Steuereinrichtung auswertbar sind, wobei mittels der ersten Auswerte- und Steuereinrichtung in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein Steuersignal für den Primärbildschirm (1) und/oder den Aktionsbildschirm (7) und/oder eine Recheneinrichtung erzeugbar ist.

Description

Die Erfindung betrifft eine Verfahren und eine Vorrichtung zur blickgestützten Steuerung, insbesondere eines Computersystems.
Bekannt sind z. B. tragbare Computersysteme, z. B. Laptops im Clamshell-Formfaktor, die mit einer Tastatur, einem Trackpad und/oder einem Touchscreen ausgestattet sind (z. B. US D491176 S). Diese dienen als Eingabeeinrichtungen für das Computersystem. Die EP 1562469 A1 offenbart einen Eyetracker, welcher als Eingabeeinrichtung an einem Computersystem die Steuerung eines Mauszeigers mittels Blickerfassung zulässt. Die US 20110175932 A1 offenbart, dass bei einem solchen Eyetracker über eine spezielle Software der Bediener bei der Interaktion auf dem Bildschirm unterstützt wird. Bisher werden infrarot-basierte Eyetracker in erster Linie im Bereich Marktforschung und Steuerung von Computersystemen für körperlich beeinträchtigte Menschen eingesetzt. Nachteilig ergibt sich hierbei, dass die Bedienung bzw. die Bedienbarkeit solcher Computersysteme umständlich und zeitintensiv sein kann.
Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zur berührungslosen, insbesondere blickgestützten, Steuerung, insbesondere eines Computersystems, zu schaffen, welches eine Bedienbarkeit vereinfacht, insbesondere eine zeit- und energiesparende Bedienung ermöglicht.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Vorgeschlagen wird ein Verfahren zur blickgestützten Steuerung, insbesondere eines Computersystems. Das Computersystem kann hierbei z. B. ein tragbarer Computer, z. B. ein Laptop, ein Netbook oder ein Tablet-Computer, aber auch ein Desktop-PC sein.
Mittels mindestens einer Einrichtung zur Blickerfassung wird ein Fixationspunkt und/oder eine Blickrichtung eines Bedieners erfasst. Der Fixationspunkt bezeichnet einen Punkt, den der Bediener betrachtet, also den Punkt, auf den die Augen des Bedieners fokussiert sind. Das Computersystem kann diese Einrichtung zur Blickerfassung umfassen. Die Einrichtung zur Blickerfassung kann auch als Eyetracker bezeichnet werden. Die Einrichtung zur Blickerfassung kann hierbei eine aktive oder passive Einrichtung zur Blickerfassung sein. Ein Beispiel für eine aktive Einrichtung zur Blickerfassung ist ein infrarotlichtbasierter Eyetracker. Ein Beispiel für eine passive Einrichtung zur Blickerfassung ist z. B. eine Webcam.
Vorzugsweise ist die Einrichtung zur Blickerfassung fest mit zumindest einem Teil des Computersystems, z. B. mit einem Gehäuse des Computersystems, verbunden.
Weiter können Ausgangsdaten der Einrichtung zur Blickerfassung an eine erste Auswerte- und Steuereinrichtung übertragen und von dieser ersten Auswerte- und Steuereinrichtung ausgewertet werden. Hierzu kann die Einrichtung zur Blickerfassung datentechnisch oder signaltechnisch mit der ersten Auswerte- und Steuereinrichtung verbunden sein. Das Computersystem kann diese erste Auswerte- und Steuereinrichtung umfassen, beispielsweise kann die erste Auswerte- und Steuereinrichtung eine Recheneinheit oder mehrere Recheneinheiten des Computersystems umfassen.
In Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung wird mindestens ein Steuersignal für mindestens eine Ausgabeeinrichtung erzeugt. Diese Ausgabeeinrichtung kann beispielsweise eine visuelle Ausgabeeinrichtung, beispielsweise ein Bildschirm des Computersystems sein. Alternativ oder kumulativ wird ein Steuersignal für eine Recheneinrichtung, insbesondere des Computersystems, erzeugt. Diese Recheneinrichtung kann die erste Auswerte- und Steuereinrichtung selbst sein, in diesem Fall kann beispielsweise das Steuersignal eine Prozess auslösen oder eine Anwendung starten, der von der ersten Auswerte- und Steuereinrichtung selbst durchgeführt oder ausgeführt wird. Dies kann beispielsweise das Vorladen mindestens eines Parameters einer Aktion sein, was nachfolgend näher beschrieben wird. Auch kann die Recheneinrichtung eine weitere Recheneinrichtung des Computersystems sein.
Die erste Auswerte- und Steuereinrichtung kann dieses mindestens eine Steuersignal erzeugen.
Auch kann beispielsweise eine Blickbewegung, z. B. einen räumlichen Verlauf von Fixationspunkten des Bedieners, ausgewertet werden. Auch kann eine Zeit-Raum-Beziehung der Fixationspunkte ermittelt werden, also ein zeitlicher Verlauf der räumlichen Bewegung von Fixationspunkten, z. B. ein zeitlicher Verlauf von räumlichen Koordinaten von Fixationspunkten. Alternativ oder kumulativ kann eine Blickdauer, d. h. eine Zeitdauer eines konstanten oder quasi-konstanten Fixationspunktes ermittelt werden. Quasi-konstant bedeutet, dass sich räumliche Koordinaten eines Fixationspunktes innerhalb einer vorbestimmten Zeitdauer nicht mehr als ein vorbestimmtes Maß, welches z. B. in Pixeln oder in mm bestimmt wird, ändern.
Das Steuersignal kann auch als Steuerbefehl aufgefasst werden, mit welchem eine Ausgabe oder mindestens ein Prozess des Computersystems gesteuert wird.
Das Computersystem umfasst mindestens einen Primärbildschirm und mindestens einen Aktionsbildschirm als Ausgabeeinrichtungen. Der Primärbildschirm und der Aktionsbildschirm können hierbei räumlich getrennt ausgebildete Bildschirme sein. Hierbei sind die Bildschirme baulich getrennte Bildschirme. Beide können jedoch fest mit einem gemeinsamen Gehäuse des Computersystems verbunden sein. Jedoch kann auch ein Teilbereich eines Bildschirms den Primärbildschirm und ein weiterer Teilbereich des Bildschirms den Aktionsbildschirm ausbilden. Vorzugsweise ist eine Breite und/oder Höhe und/oder Bildschirmdiagonale des Aktionsbildschirms kleiner als die entsprechende Große des Primärbildschirms. Hierdurch ergibt sich in vorteilhafter Weise eine vereinfachte bauliche Integration des Aktionsbildschirms in das Computersystem, dessen räumliche Dimension hierdurch ebenfalls gering gehalten werden kann.
Der Aktionsbildschirm dient hierbei der Anzeige von Informations- und/oder Funktionselementen, die eine blickgestützte Bedienung des Computersystems verbessern, wie nachfolgend näher erläutert. Zusätzlich kann der Aktionsbildschirm als Eingabeeinrichtung dienen, z. B. kann der Aktionsbildschirm als Touchscreen ausgebildet sein.
Mittels der ersten Auswerte- und Steuereinrichtung kann also ein Steuersignal sowohl für den Primärbildschirm als auch für den Aktionsbildschirm erzeugbar sein.
Insgesamt ergibt sich somit eine blickgestützte Erzeugung eines Steuersignals, wobei das mindestens eine Steuersignal ein Steuersignal für den mindestens einen Primärbildschirm und/oder ein Steuersignal für den mindestens einen Aktionsbildschirm sein kann.
Das mindestens eine Steuersignal kann zusätzlich in Abhängigkeit von Ausgangsdaten mindestens einer weiteren Eingabeeinrichtung und/oder einer Recheneinrichtung erzeugt werden. Eine weitere Eingabeeinrichtung kann z. B. eine Maus, eine Tastatur, eine Einrichtung zur Bilderfassung, z. B. eine Webcam oder 3D-Kamera, sein. Auch kann eine weitere Eingabeeinrichtung ein Sensor, z. B. ein Lagesensor, sein.
Der Aktions- und/oder Primärbildschirm können jeweils als Touchscreen und/oder als 3D-Bildschirm ausgebildet sein. Ein Touchscreen ist hierbei beispielsweise mittels eines Betätigungselements, beispielsweise mittels eines Fingers oder Stiftes, bedienbar.
Die Einrichtung zur Blickerfassung ist bezüglich des Primärbildschirms sowie bezüglich des Aktionsbildschirms kalibriert oder kalibrierbar. Dies bedeutet, dass eine geometrische Beziehung zwischen einem Koordinatensystem der Einrichtung zur Blickerfassung und dem Primär- und Aktionsbildschirm bekannt oder bestimmbar ist. Somit kann erfasst werden, ob und in welchem Bereich bzw. auf welchem Punkt des Primärbildschirms oder des Aktionsbildschirms ein Fixationspunkt des Bedieners liegt.
Insbesondere kann das Computersystem einen Lagesensor oder mehrere Lagesensoren und/oder eine 3D-Kamera umfassen. Mittels Ausgangsdaten des Lagesensors oder der Lagesensoren und/oder einer Auswertung von erfassten Bilddaten der 3D-Kamera kann eine Kalibrierung der Einrichtung zur Blickerfassung bezüglich des Aktionsbildschirms und/oder des Primärbildschirms erfolgen. Hierbei kann z. B. eine räumliche Lage und Orientierung des Aktionsbildschirms bezüglich der Einrichtung zur Blickerfassung bestimmt werden.
Durch das erfindungsgemäße Verfahren ergibt sich in vorteilhafter Weise, dass ein Computersystem, welches sowohl einen Primärbildschirm als auch einen Aktionsbildschirm umfasst, blickgestützt gesteuert werden kann. Hierbei kann eine relative Position und/oder Orientierung des Lagesensors oder der Lagesensoren und/oder der 3D-Kamera zur Einrichtung zur Blickerfassung vorbekannt oder bestimmbar sein.
In einer weiteren Ausführungsform wird in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein bedienerspezifisches und/oder anwendungsspezifisches Informationselement und/oder Funktionselement auf dem Primärbildschirm und/oder Aktionsbildschirm dargestellt. Ein Informationselement bezeichnet hierbei beispielsweise ein Element zur grafischen Darstellung von Informationen. Das Informationselement ist hierbei passiv, wobei passiv bedeutet, dass dem Informationselement keine Aktion zugeordnet ist, welche aktiviert werden kann. Ein Funktionselement bezeichnet im Gegensatz hierzu ein aktives Element, also ein Element, dem mindestens eine Aktion zugeordnet ist. Die Zuordnung einer Aktion wird nachfolgend weiter erläutert. Auch das Funktionselement kann eine in Form eines grafischen Elements dargestellt werden. Zusätzlich kann ein Funktionselement jedoch auch zur grafischen Darstellung von Informationen dienen.
Den auf den Bildschirmen dargestellten Elementen kann jeweils ein blickbezogener Darstellungsbereich zugeordnet sein. Hierbei wird ein Blick oder Fixationspunkt eines Bedieners einem Element dann zugeordnet, falls der Fixationspunkt in dem blickbezogenen Darstellungsbereich liegt. Der blickbezogene Darstellungsbereich kann hierbei gleich einer Größe eines grafischen Darstellungsbereiches des Elements sein. Auch kann der blickbezogene Darstellungsbereich um ein vorbestimmtes Maß größer als der grafische Darstellungsbereich sein, hierdurch wird in vorteilhafter Weise eine Toleranzbereich für Fixationspunkte geschaffen. Auch kann der blickbezogene Darstellungsbereich beispielsweise kreis-, rechteck- oder ovalförmig sein und den grafischen Darstellungsbereich umfassen.
Eine Auswertung kann beispielsweise zeitbezogen erfolgen. Herbei können beispielsweise räumliche Koordinaten von Fixationspunkten des Bedieners und der jeweils korrespondierende zeitliche Erfassungszeitpunkt, beispielsweise in einer Speichereinrichtung des Computersystems, gespeichert werden. Hierdurch wird eine Blickhistorie gespeichert. Hieraus können auch Zeiträume eines konstanten oder quasi-konstanten Fixationspunktes ermittelt werden (Verweildauer). Da Bildschirmkoordinaten von auf dem Primär- und/oder Aktionsbildschirmen dargestellten Informationselementen und/oder Funktionselementen bekannt sind, kann in Verbindung mit Inhalten dieser Informationselemente und/oder Funktionselemente ein Interesse des Bedieners ermittelt werden. Beispielsweise kann sich der Bediener für diejenigen Informationen interessieren, die von Informationselementen dargestellt oder repräsentiert werden, die der Bediener länger als eine vorbestimmte Zeitdauer betrachtet hat. In Abhängigkeit dieser Auswertung können in Abhängigkeit einer aktuellen Anwendung weitere Informations- und/oder Funktionselemente angezeigt werden. Beispielsweise kann bei einer (Online-)Shop-Anwendung ausgewertet werden, welche Produkte sich ein Bediener länger als eine vorbestimmte Zeitdauer anschaut. In Abhängigkeit dieser Produkte können weitere Produkte derselben Kategorie z. B. auf dem Aktionsbildschirm angezeigt werden. Beispielsweise kann bei einer (Online-)Shop-Anwendung, mittels der Weine verkauft werden, ausgewertet werden, welche Weinarten oder Rebsorten der Bediener länger als eine vorbestimmte Zeit anschaut. Dann können weitere Weine der gleichen Weinart oder der gleichen Rebsorte angezeigt werden.
Dies ist eine bedienerspezifische Darstellung von Informationselementen und/oder Funktionselementen. Hierbei wird also unter anderem ein blickgestütztes Steuersignal zur Steuerung des Primär- und/oder Aktionsbildschirm erzeugt, welches eine an ein Interesse des Bedieners Darstellung von Informations- und/oder Funktionselementen auf dem Primärbildschirm und/oder auf dem Aktionsbildschirm ermöglicht.
Ein anwendungsspezifisches Informationselement und/oder Funktionselemente bezeichnet hierbei ein Element, dessen dargestellte Information oder Funktion abhängig von einer aktuell ausgeführten Anwendung ist, beispielsweise von einem ausgeführten Textverarbeitungsprogramm. Beispielsweise können bei einem Textverarbeitungsprogramm, wenn ein Textteil, z. B. ein Wort oder Textabschnitt, markiert oder ausgewählt wird, Funktionselemente angezeigt werden, denen Formatierungsaktionen, z. B. „Fett”, „Kursiv”, „Unterstrichen” zugeordnet sind. Weiter können Informationselemente angezeigt werden, die eine Anzahl der Buchstaben oder Wörter des ausgewählten Wortes oder Textabschnitts wiedergeben. In einem Bildverarbeitungspragramm können beispielsweise Funktionselemente angezeigt werden, denen Bildverarbeitungsaktionen zugeordnet sind, wenn ein Teilbereich eines Bildes ausgewählt ist.
Die Inhalte und/oder die grafische Darstellung des mindestens einen Informationselements und/oder Funktionselements kann hierzu z. B. aus einer Speichereinrichtung geladen werden. Diese kann beispielsweise eine Speichereinrichtung des Computersystems sein (interne Speichereinrichtung) oder eine externe Speichereinrichtung, beispielsweise ein externer Server sein, der mit der ersten Steuer- und Auswerteeinrichtung datentechnisch verbunden ist.
Auch kann bei der Darstellung des mindestens einen bedienerspezifischen und/oder anwendungsspezifischen Informationselements und/oder Funktionselements auf dem Primärbildschirm und/oder Aktionsbildschirm der entsprechende Bildschirm aktiviert werden, falls er bis zu diesem Zeitpunkt deaktiviert war. Dies lenkt in vorteilhafter Weise eine Aufmerksamkeit des Bedieners auf den jeweils aktivierten Bildschirm.
Hierdurch ergibt sich in vorteilhafter Weise eine Anpassung der Inhalte der Bildschirme, beispielsweise der dargestellten Informations- und/oder Funktionselemente, an ein Interesse des Bedieners oder an eine aktuell ausgeführte Anwendung. Für den Bediener ergibt sich somit eine vereinfachte und schnellere Bedienbarkeit des Computersystems.
In einer weiteren Ausführungsform wird auf dem Primärbildschirm und/oder Aktionsbildschirm mindestens ein Funktionselement angezeigt, wobei dem mindestens einen Funktionselement mindestens eine Aktion zugeordnet ist, die blickgestützt auswählbar und/oder aktivierbar ist.
Funktionselemente können z. B. Hyperlinks, Softkeys, so genannte Reiter oder Softbuttons sein. Eine Aktion, die einem Funktionselement zugeordnet sein kann, kann z. B. eine Anzeigeaktion, eine Ausführungsaktion, eine Beendigungsaktion oder eine weitere Aktion sein. Bei einer Anzeigeaktion erfolgt nach einer Aktivierung eine Anzeige von z. B. einem Informationselement oder einem, z. B. nachgeordneten, Funktionselement auf dem Primär- oder dem Aktionsbildschirm, vorzugsweise auf dem Aktionsbildschirm.
Hierbei bedeutet eine blickgestützte Auswahl, dass die mindestens eine Aktion des Funktionselements in Abhängigkeit des Ergebnisses der Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung ausgewählt wird. Eine Auswahl kann z. B. erfolgen, wenn ein Fixationspunkt des Bedieners in einem blickbezogenen Darstellungsbereich des Funktionselementes liegt. Auch kann eine Auswahl erfolgen, wenn räumliche Positionen des Fixationspunktes über eine vorbestimmte Zeitdauer kontinuierlich innerhalb des blickbezogenen Darstellungsbereiches des Funktionselements liegen. Auch kann eine Auswahl erfolgen, falls eine Änderung einer Blickbewegung im blickbezogenen Darstellungsbereich des Funktionselement erfolgt. Eine Änderung der Blickbewegung kann beispielsweise festgestellt werden, falls sich ein Richtungsvektor der Blickbewegung Innerhalb einer vorbestimmten Zeitdauer um mehr als ein vorbestimmtes Maß, z. B. einen vorbestimmten Winkel und/oder eine vorbestimmte Länge, ändert. Auch kann eine Auswahl erfolgen, falls eine Änderung der Blickgeschwindigkeit und/oder eine Änderung der Blickbeschleunigung im blickbezogenen Darstellungsbereich des Funktionselements erfolgt. Beispielsweise kann eine Auswahl erfolgen, wenn im blickbezogenen Darstellungsbereich eines Funktionselements eine Blickgeschwindigkeit Null oder nahe Null ist und gegebenenfalls für eine vorbestimmte Zeitdauer bleibt. Auch kann eine Auswahl erfolgen, wenn im blickbezogenen Darstellungsbereich eines Funktionselements eine Blickbeschleunigung einen Vorzeichenwechsel aufweist.
Ein ausgewähltes Aktionselement kann hierbei verändert grafisch dargestellt werden, z. B. mit einer anderen Farbe und/oder eine Umrandung und/oder einer mittigen Hervorhebung.
Eine blickgestützte Auswahl kann jedoch in einer ersten Alternative auch mittels einer Auswertung einer Blickhistorie erfolgen. Erfolgt z. B. eine blickgestützte oder anderweitige Aktivierung, was nachfolgend näher erläutert wird, und ist aktuell keine Aktion ausgewählt, so kann z. B. eine Aktion ausgewählt werden, die einem Funktionselement zugeordnet ist, dessen blickbezogenen Darstellungsbereich der Bediener zuletzt fixiert oder mehr als eine vorbestimmte Zeitdauer fixiert hat oder in dessen blickbezogenen Darstellungsbereich eine Änderung der Blickbewegung und/oder Blickgeschwindigkeit und/oder Blickbeschleunigung erfolgte. Hierdurch erfolgt eine nachträglich Auswahl einer zu aktivierenden Aktion. Die Blickhistorie kann hierbei über eine vorbestimmte Zeitdauer vor dem aktuellen Zeitpunkt, der ein Zeitpunkt der Aktivierung sein kann, ausgewertet werden. Hierfür können räumliche Koordinaten von Fixationspunkten des Bedieners und deren Erfassungszeitpunkte gespeichert werden. Hat der Bediener während dieser Zeitdauer die Darstellungsbereiche mehrerer Funktionselemente fixiert, so kann beispielsweise die Aktion des Funktionselements ausgelöst werden, welches er am längsten fixiert hat. Auch kann in einem solchen Fall mehrerer Funktionselemente eine Anzeigeaktion ausgelöst werden, bei der diese Funktionselemente z. B. auf dem Aktionsbildschirm angezeigt werden. Diesen Funktionselementen können hierbei die Funktionselemente oder ein Teil der Funktionselemente sein, deren blickbezogenen Darstellungsbereiche zuletzt fixiert wurden. Diese Darstellung kann z. B. derart erfolgen, dass diese Funktionselemente auf dem Aktionsbildschirm z. B. in sortierter Form, z. B. als Liste, dargestellt werden.
Eine blickgestützte Auswahl kann in einer zweiten Alternative auch mittels einer toleranzgestützten Auswahl erfolgen, die nachfolgend näher erläutert wird.
In einer weiteren Ausführungsform erfolgt eine blickgestützte Auswahl und eine der blickgestützten Auswahl zeitlich nachfolgend Aktivierung erfolgt oder eine blickgestützte Auswahl und gleichzeitig mit der blickgestützten Auswahl eine Aktivierung oder eine Aktivierung und eine der Aktivierung zeitlich nachfolgende blickgestützte Auswahl.
Hierdurch ergeben sich in vorteilhafter Weise mehrere Möglichkeiten der blickgestützten Bedienung. Für die nachfolgenden Beispiele wird angenommen, dass einem Funktionselement ”Hyperlink”, welches z. B. in einer Browseranwendung verwendet wird, eine Anzeigeaktion zugeordnet ist, wobei bei Aktivierung der Anzeigeaktion weitere, dem Funktionselement ”Hyperlink” nachgeordnete, Funktionselemente, z. B. ein Funktionselement ”Link in einem neuen Tab öffnen”, welchem die Ausführungsaktion ”Öffnen des Hyperlinks in einem neuen Tab des Browsers” zugeordnet ist, und ein Funktionselement ”Link in neuem Fenster öffnen”, welchem die Ausführungsaktion ”Öffnen des Hyperlinks in einem neuen Fenster des Browsers” zugeordnet ist, angezeigt werden.
Beispielsweise können eine Auswahl und Aktivierung gleichzeitig erfolgen. Wird das Funktionselement ”Hyperlink” beispielsweise auf dem Primärbildschirm, beispielsweise in einem Browser, dargestellt und blickgestützt ausgewählt und gleichzeitig aktiviert, so können die beiden nachgeordneten Funktionselemente dann beispielsweise auf dem Aktionsbildschirm dargestellt werden.
Auch kann erst eine Auswahl und eine der Auswahl zeitlich nachfolgende Aktivierung erfolgen. Beispielsweise kann das Funktionselement ”Hyperlink” auf dem Primärbildschirm dargestellt und blickgestützt ausgewählt werden. Eine Aktivierung der Anzeigeaktion und somit die Darstellung der nachgeordneten Funktionselemente, z. B. auf dem Aktionsbildschirm, erfolgt jedoch nur, wenn eine der Auswahl nachfolgende Aktivierung erfolgt. Die Aktivierung kann hierbei eine blickgestützte oder eine weitere Aktivierung sein. Dies wird nachfolgend weiter erläutert.
Auch kann eine Aktivierung und einer der Aktivierung zeitlich nachfolgende Auswahl erfolgen. Hierbei ist im Zeitpunkt der Aktivierung also noch keine Aktion ausgewählt.
In einer ersten Alternative kann hierbei ein historiengestützte Auswahl erfolgen. Erfolgt z. B. eine Aktivierung, so kann, wie vorhergehend beschrieben, eine Auswertung der Blickhistorie erfolgen und eine nachfolgende Auswahl der Anzeigeaktion erfolgen, die dem Funktionselement ”Hyperlink” zugeordnet ist.
In einer zweiten Alternative kann eine toleranzgestützte Auswahl erfolgen. Erfolgt z. B. eine Aktivierung, so kann ein Toleranzbereich mit vorbestimmter Größe um den Fixationspunkt, der zum Zeitpunkt der Aktivierung fixiert wurde, ausgewertet werden. Dieser Toleranzbereich kann z. B. kreisförmig oder rechteckförmig sein. Die vorbestimmte Größe des Toleranzbereiches kann hierbei z. B. in Pixeln oder in mm angegeben sein. Überschneidet sich der Toleranzbereich zumindest teilweise mit einem blickbezogenen Darstellungsbereich oder grafischen Darstellungsbereich eines einzigen Funktionselements, so kann die dieser Funktionselement zugeordnete Aktion ausgewählt und gegebenenfalls aktiviert werden. Überschneidet sich der Toleranzbereich zumindest teilweise mit blickbezogenen Darstellungsbereichen oder grafischen Darstellungsbereichen mehrerer Funktionselemente, so kann eine Aktion eines Funktionselements ausgewählt und gegebenenfalls aktiviert werden, dessen blickbezogener oder grafischer Darstellungsbereich die größte Überschneidung mit dem Toleranzbereich aufweist. Auch kann hierbei zusätzlich eine Blickhistorie ausgewertet werden. Somit kann z. B. eine Aktion eines Funktionselements ausgewählt und gegebenenfalls aktiviert werden, dessen blickbezogener oder grafischer Darstellungsbereich eine Überschneidung, jedoch nicht unbedingt die größte Überschneidung, mit dem Toleranzbereich aufweist und dessen blickbezogenen Darstellungsbereich der Bediener zuletzt fixiert hatte oder am zeitlich längsten in einem vorbestimmten Zeitraum vor der Aktivierung fixiert hatte oder in dessen blickbezogenem Darstellungsbereich eine Änderung der Blickbewegung und/oder der Blickgeschwindigkeit und/oder der Blickbeschleunigung erfolgte. Überschneidet sich der Toleranzbereich mit keinem blickgestützten Darstellungsbereich kann eine Größe des Toleranzbereiches vergrößert werden und eine toleranzgestützte Auswahl mit dem vergrößerten Toleranzbereich erneut durchgeführt werden.
Weiter kann nach einer toleranzgestützten Auswahl eine Adaption einer Größe und/oder Form des Toleranzbereiches und/oder der blickgestützten Darstellungsbereiche erfolgen. Liegen z. B. bei einer vorbestimmten Anzahl von toleranzgestützten Auswahlvorgängen die Fixationspunkte in einem bestimmten Abstand oder Abstandsintervall und/oder in einer bestimmten Richtung außerhalb des blickgestützten Darstellungsbereiches des Funktionselements, dem die mittels der toleranzgestützten Auswahl ausgewählte Aktion zugeordnet ist, so kann eine Große und/oder Form des Toleranzbereichs und/oder von blickgestützten Darstellungsbereichen von Funktionselementen derart angepasst werden, dass zukünftig eine schnellere Aktivierung erfolgt. Wird z. B. ein blickgestützter Darstellungsbereich derart angepasst, dass seine Form und/oder Größe die in einem bestimmten Abstand oder Abstandsintervall und/oder in einer bestimmten Richtung außerhalb des ursprünglichen blickgestützten Darstellungsbereich liegenden Fixationspunkte umfasst, so bewirkt eine Detektion eines zukünftigen Fixationspunktes mit diesem Abstand und/oder dieser Richtung eine sofortige Auswahl, ohne dass noch eine toleranzgestützte Auswahl notwendig ist. Wird z. B. der Toleranzbereich angepasst, so kann z. B. eine erneute toleranzgestützte Auswahl mit vergrößertem Toleranzbereich unnötig werden. Hierdurch ergibt sich in vorteilhafter Weise eine verbesserte blickgestützte Bedienung.
Die Möglichkeit der Bedienung, also die zeitliche Reihenfolge von Auswahl und Aktivierung, kann hierbei in Abhängigkeit der Art der jeweils zu aktivierenden Aktion gewählt werden. Die verschiedenen Möglichkeiten ermöglichen somit eine Anpassung der blickgestützten Bedienung an eine Intuition des Bedieners und bedingen hierdurch eine weniger zeitintensive Bedienung.
In einer weiteren Ausführungsform erfolgt eine blickgestützte Auswahl und eine anderweitige Aktivierung. Eine anderweitige Aktivierung bedeutet hierbei, dass die Aktivierung nicht blickgestützt oder nicht ausschließlich blickgestützt erfolgt. Eine anderweitige Aktivierung kann beispielsweise eine berührungsgestützte Aktivierung sein, z. B. ein einfache oder doppelte Betätigung einer Maustaste oder eines Softkeys oder eines Hardkeys. Hierzu kann das Computersystem weitere nicht-blickgestützte Aktivierungseinrichtungen, beispielsweise die Vorhergehend erwähnten weiteren Eingabeeinrichtungen umfassen.
Vorzugsweise ist an einem Gehäuse des Computersystems, beispielsweise des Laptops, mindestens ein Hard- oder Softkey angeordnet, dessen einfache oder doppelte Betätigung eine Aktivierung einer blickgestützt ausgewählten Aktion bewirkt. Hierbei kann der mindestens eine Hard- oder Softkey ausschließlich einer Aktivierung einer blickgestützt ausgewählten Aktion dienen und sonst keine weitere Funktion ausüben. Vorzugsweise ist der Hard- oder Softkey kein Hard- oder Softkey einer Tastatur des Computersystems, sondern separat von dieser angeordnet. Weiter vorzugsweise ist der mindestens eine Hard- oder Softkey an einer Seitenfläche des Teils des Computersystems, beispielsweise des Laptops, angeordnet, auf dessen Oberfläche eine Tastatur angeordnet ist. Dies ermöglich in vorteilhafter Weise eine Betätigung mittels eines kleinen Fingers eines Bedieners, falls Hände des Bedieners in einer Arbeitsstellung auf oder vor einer Tastatur angeordnet sind. Die Arbeitsstellung bezeichnet hierbei eine Stellung in der Handballen räumlich vor der Tastatur derart positioniert sind, dass ein Bediener Tasten der Tastatur betätigen kann. Auch kann der mindestens eine Hard- oder Softkey auf der Oberfläche des Teils des Computersystems angeordnet sein, auf dem auch die Tastatur angeordnet ist, jedoch räumlich vor dieser, also hin zu einem Bediener. Dies ermöglicht in vorteilhafter Weise eine Betätigung mittels eines Handballens, falls eine Hand des Bedieners derart positioniert ist, dass er Tasten der Tastatur betätigen kann.
In einer alternativen Ausführungsform erfolgt eine blickgestützte Auswahl und eine blickgestützte Aktivierung. Eine blickgestützte Aktivierung kann hierbei beispielsweise entsprechend der vorhergehend geschilderten Möglichkeiten einer blickgestützten Auswahl erfolgen, also z. B. falls Fixationspunkte eines Bedieners in einem blickbezogenen Darstellungsbereich eines der Aktion zugeordneten Funktionselements liegt oder länger als eine vorbestimmte Zeitdauer (Aktivierungsdauer) in einem blickbezogenen Darstellungsbereich eines der Aktion zugeordneten Funktionselements liegt oder eine Änderung einer Blickbewegung und/oder Blickgeschwindigkeit und/oder Blickbeschleunigung in einem blickbezogenen Darstellungsbereich eines der Aktion zugeordneten Funktionselements erfolgt.
Auch können blickgestützte Aktivierungsbereiche vorgesehen sein, die nicht dem blickgestützten Darstellungsbereich eines der Aktion zugeordneten Funktionselements entsprechen, also räumlich davon getrennt angeordnet sind. Eine Aktivierung kann dann entsprechend der vorhergehenden Ausführungen bezogen auf diesen Aktivierungsbereich erfolgen.
Beispielsweise kann ein Aktivierungsbereich der blickbezogenen Darstellungsbereich des Aktionsbildschirms sein. Lenkt der Bediener seinen Blick auf den Aktionsbildschirm, tritt also der Fixationspunkt in den blickbezogenen Darstellungsbereich des Aktionsbildschirms ein, so kann eine Aktivierung erfolgen. Bezogen auf das vorhergehend geschilderte Beispiel zur Aktivierung der Anzeigeaktion des Funktionselements ”Hyperlink” können dessen nachgeordnete Funktionselemente also z. B. erst dann auf dem Aktionsbildschirm angezeigt werden, falls der Bediener seinen Blick auf den Aktionsbildschirm lenkt. Dieser kann hierbei aktiviert werden, was nachfolgend näher erläutert wird.
Der Aktivierungsbereich kann hierbei nur einseitig begrenzt sein. So kann der Aktivierungsbereich z. B. nur durch eine Grenzlinie oder Grenzebene begrenzt sein.
Der Aktivierungsbereich kann auch ein nicht auf dem Primär- und/oder Aktionsbildschirm dargestellter Bereich sein. Beispielsweise kann der Aktivierungsbereich ein vorbestimmter Bereich außerhalb der Bildschirme sein. Beispielsweise kann der Aktivierungsbereich neben, über oder unter dem Aktions- und/oder Primärbildschirm angeordnet sein. Der Aktivierungsbereich kann hierbei gekennzeichnet, z. B. durch eine farbliche Umrandung oder eine Einfärbung. Der Aktivierungsbereich kann z. B. an einem Gehäuse des Computersystems angeordnet sein.
Vorzugsweise ist der Aktivierungsbereich ein dynamisch in Große und/oder Position auf dem Primärbildschirm, vorzugsweise jedoch auf dem Aktionsbildschirm, dargestellter Bereich. Der Aktivierungsbereich kann hierbei z. B. ein Funktionselement sein, dem die Aktion ”Aktivieren” zugeordnet ist. Die Größe und/oder Position kann hierbei in Abhängigkeit einer ausgewählten Aktion und/oder eine aktuell ausgeführten Anwendung gewählt werden.
In einer weiteren Ausführungsform wird nach einer blickgestützten Auswahl mindestens ein Parameter der mindestens einen ausgewählten Aktion und/oder mindestens ein Parameter einer der ausgewählten Aktion nachgeordneten Aktion vorgeladen.
Vorgeladen bedeutet hierbei, dass ein oder mehrere Parameter z. B. in einen Arbeitsspeicher einer Steuereinrichtung, z. B. in ein Register einer CPU, geladen werden, der oder die für eine Ausführung der Aktion benötigt werden. Hierdurch ergibt sich bei einer nachfolgenden Aktivierung, dass die ausgewählte und aktivierte Aktion schneller ausgeführt werden kann. Z. B. kann beim vorhergehend erläuterten Beispiel des Funktionselements ”Hyperlink” ein Inhalt der mit dem Hyperlink verknüpften Webseite in einen Arbeitsspeicher des Computers oder einer Recheneinrichtung des Computers geladen werden. Erfolgt eine Auswahl und Aktivierung einer der nachgeordneten Aktionen, beispielsweise der Aktion ”Link in einem neuen Fenster öffnen” kann der Inhalt dieser Webseite schneller dargestellt werden.
In einer weiteren Ausführungsform wird in Abhängigkeit einer blickgestützten Auswahl und/oder Aktivierung mindestens einer Aktion mindestens ein aktionsspezifisches Informationselement und/oder mindestens ein aktionsspezifisches Funktionselement auf dem Aktionsbildschirm angezeigt. Vorzugsweise ist hierbei das Funktionselement, dem die blickgestützt ausgewählte Aktion und/oder aktivierte Aktion zugeordnet ist, auf dem Primärbildschirm dargestellt. Die Aktivierung ist hierbei nicht zwingend blickgestützt, sondern kann auch eine anderweitige Aktivierung sein.
Hierdurch ergibt sich in vorteilhafter Weise eine visuelle Aufteilung, die eine verbesserte Erfassbarkeit von Informationen und Funktionen sowie eine verbesserte blickgestützte Bedienung ermöglicht. So können Anzeigevorgänge, die z. B. durch aktivierte Anzeigeaktionen bedingt sind, auf dem, vorzugsweise räumlich, getrennten Aktionsbildschirm erfolgen. Hierdurch kann eine Darstellung von Inhalten auf dem Primärbildschirm relativ statisch bleiben, was eine Erfassbarkeit vereinfacht. Auch können nachgeordnete aktionsspezifische Funktionselemente getrennt, also nicht auf dem Primärbildschirm, dargestellt werden, was eine vom Primärbildschirm unabhängige weitere Auswahl und/oder Aktivierung von Aktionen ermöglicht. Hierdurch wird eine blickgestützte Bedienung weniger verwirrend.
Insbesondere können bei einer Aktivierung einer Aktion, der mindestens zwei Aktionen nachgeordnet sind, Funktionselemente auf dem Aktionsbildschirm angezeigt werden, denen diese nachgeordneten Funktionen zugeordnet sind. Bezogen auf das vorhergehend erläuterte Beispiel des Funktionselements ”Hyperlink” können die Funktionselemente, die den nachgeordneten Aktionen zugeordnet sind, auf dem Aktionsbildschirm angezeigt werden. Hierdurch ergibt sich in vorteilhafter Weise, dass beim visuellen Betrachten einer in einem Browser auf dem Primärbildschirm dargestellten Webseite nicht zusätzlich Funktionselemente immer dann dargestellt werden müssen, falls der Bediener ein auf dem Primärbildschirm dargestelltes Funktionselement ”Hyperlink” blickgestützt auswählt und aktiviert.
Weiter können nach einer blickgestützten Auswahl und/oder nach einer Aktivierung eine Aktivierung eines Bildschirms, z. B. des Aktionsbildschirms, erfolgen. Vorzugsweise wird ein Bildschirm aktiviert, auf dem aufgrund der Auswahl und/oder Aktivierung mindestens ein Informationselement und/oder Funktionselement angezeigt wird. Hierdurch ergibt sich in vorteilhafter Weise, dass eine Aufmerksamkeit des Bedieners auf das neu angezeigte Informationselement und/oder Funktionselement gelenkt wird.
In einer weiteren Ausführungsform ist dem Aktionsbildschirm und/oder dem Primärbildschirm jeweils ein blickgestützter Darstellungsbereich zugeordnet, wobei der Aktionsbildschirm und/oder Primärbildschirm deaktiviert wird, falls ein Fixationspunkt des Bedieners außerhalb des jeweiligen blickgesützten Darstellungsbereichs ist.
Der blickgestützte Darstellungsbereich eines Bildschirms kann hierbei der gesamte Anzeigebereich des Bildschirms sein, also die gesamte Bildfläche, auf der Inhalte dargestellt werden können.
Hierdurch ergibt sich in vorteilhafter Weise, dass z. B. der Aktionsbildschirm deaktiviert ist, falls der Bediener den Primärbildschirm betrachtet. Ein Deaktivieren umfasst hierbei ein Abdunkeln des Bildschirms um einen vorbestimmtes Maß oder auf eine vorbestimmte Bildschirmhelligkeit als auch ein vollständiges Abdunkeln des Bildschirms, welches in einer Bildschirmhelligkeit resultiert, die der Bildschirmhelligkeit bei einem ausgeschalteten Bildschirm entspricht.
Auch kann der Aktionsbildschirm und/oder Primärbildschirm deaktiviert werden, falls ein Fixationspunkt den blickgestützten Darstellungsbereich verlässt. Dies kann z. B. über eine Prädiktion bestimmt werden, wobei Parameter, z. B. eine Richtung und eine Geschwindigkeit, einer Blickbewegung bestimmt werden und auf Grundlage dieser Parameter eine Prädiktion für eine zukünftige Position des Fixationspunktes ermittelt wird.
Selbstverständlich kann, falls der Primär- und/oder Aktionsbildschirm deaktiviert ist, eine Aktivierung erfolgen, falls der Fixationspunkt des Bedieners in den jeweiligen blickgestützten Darstellungsbereichs eintritt. Vorzugsweise ist eine Größe des blickgestützten Darstellungsbereichs in diesem Fall größer als der gesamte Anzeigebereich des jeweils deaktivierten Bildschirms. Somit ist in vorteilhafter Weise der jeweilige Bildschirm bereits aktiviert, falls der Fixationspunkt in den Anzeigebereich des Bildschirms eintritt. Derselbe Effekt kann erzielt werden, falls z. B. über eine Prädiktion eine zukünftige Position des Fixationspunktes ermittelt wird und bereits vor einem Eintritt in den blickgestützten Darstellungsbereich des deaktivierten Bildschirms eine Aktivierung erfolgt.
Bei allen vorhergehend erläuterten Ausführungsformen kann die erste Auswerte- und Steuereinrichtung datentechnisch mit mindestens einer weiteren Eingabeeinrichtung und/oder einer Recheneinrichtung des Computersystems verbunden sein, wobei das mindestens eine Steuersignal zusätzlich in Abhängigkeit von Ausgangsdaten der mindestens einen weiteren Eingabeeinrichtung und/oder Recheneinrichtung erzeugt wird.
Weitere Eingabeeinrichtungen können z. B. eine Maus, eine Tastatur, eine 3D-Kamera oder Webcam oder ein Lagesensor, z. B. ein Gyrosensor, sein. Z. B. kann bei einer Aktivierung einer Maus, z. B. beim Einstecken einer Maus oder beim Aktivieren der Maus nach einer längeren Pause, ein Mauszeiger am aktuellen Fixationspunkt des Bedieners oder an dem letzten Fixationspunkt des Bedieners im blickbezogenen Darstellungsbereich des Bildschirms angezeigt werden. Auch können Informationen einer 3D-Kamera genutzt werden, um eine Neigung eines Kopfes des Bedieners zu bestimmen und in Abhängigkeit der Neigung des Kopfes und des Fixationspunktes eine Darstellung, beispielsweise an eine gewünschte Perspektive, angepasst werden. Über eine Auswertung von Daten einer Webcam kann ein aktueller Bediener erkannt werden und ein bedienerspezifisches Eyetracking-Profil des Bedieners geladen werden.
Weiter vorgeschlagen wird eine Vorrichtung zur blickgestützten Steuerung eines Computersystems, wobei die Vorrichtung mindestens eine Einrichtung zur Blickerfassung, mindestens eine Auswerte- und Steuereinrichtung und mindestens einen Primärbildschirm und einen Aktionsbildschirm umfasst, wobei mittels der mindestens einen Einrichtung zur Blickerfassung eine Blickrichtung und/oder Blickbewegung und/oder eine Blickdauer eines Bedieners erfassbar ist, wobei Ausgangsdaten der Einrichtung zur Blickerfassung an eine erste Auswerte- und Steuereinrichtung übertragbar und von dieser ersten Auswerte- und Steuereinrichtung auswertbar sind, wobei mittels der ersten Auswerte- und Steuereinrichtung in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein Steuersignal für den Primärbildschirm und/oder Aktionsbildschirm und/oder eine Recheneinrichtung des Computersystems erzeugbar ist. Mittels der vorgeschlagenen Vorrichtung ist in vorteilhafter Weise das vorhergehend erläuterte Verfahren durchführbar.
Die Vorrichtung kann Teil des Computersystems sein.
Beispielsweise kann die Vorrichtung Teil eines Laptops sein. Hierbei kann der Aktionsbildschirm in einer Ebene der Tastaturoberfläche oder in einer zur Tastaturoberfläche parallelen Ebene angeordnet sein. Alternativ ist auch denkbar, dass der Aktionsbildschirm mit einem vorbestimmten Winkel bezüglich der Ebene der Tastaturoberfläche angeordnet ist. Eine angewinkelte Stellung kann unter Umständen eine verbesserte Ablesbarkeit gewährleisten und für Finger einer Hand in Arbeitsstellung auf einem Laptop besser erreichbar sein. Auch kann der Winkel des Aktionsbildschirms frei oder innerhalb eines vorbestimmten Winkelintervalls einstellbar sein, beispielsweise mittels eines Drehgelenks. Vorzugsweise ist dann eine Einrichtung zur Erfassung des aktuellen Winkels vorgesehen, um eine Kalibrierung des Aktionsbildschirms bezüglich der Einrichtung zur Blickerfassung zu ermöglichen.
Weiter vorgeschlagen wird ein Computerprogrammprodukt mit einem Computerprogramm, das Softwaremittel zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 aufweist, wenn das Computerprogramm in einem Automatisierungssystem, beispielsweise von der ersten Auswerte- und Steuereinrichtung oder dem Computersystem, durchgeführt wird.
Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
1 eine perspektivische Ansicht einer erfindungsgemäßen Vorrichtung zur blickgestützen Steuerung, die in einen Laptop integriert ist und
2 ein schematisches Flussdiagramm eines Verfahrens zur blickgestützten Steuerung.
Nachfolgend bezeichnen gleiche Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
In 1 ist ein Laptop mit Standard-Clamshell-Formfaktor dargestellt. Das Laptop stellt hierbei ein Computersystem dar. Die in das Laptop integrierte Vorrichtung umfasst einen als Touchscreen ausgestalteten Primärbildschirm (1) und einen im Gehäuse des Primärbildschirms verbauten Lagesensor (2). Weiter umfasst die Vorrichtung eine Einrichtung zur Blickerfassung, die als Eyetracker (3) bezeichnet werden kann und in einem Gelenk (5) des Laptops angeordnet bzw. verbaut ist. Weiter umfasst die Vorrichtung eine 3D-Kamera (4). Hinter einer Tastatur (6) befindet sich ein weiterer als Touchscreen ausgestalteter Aktionsbildschirm (7).
Auf dem Laptop wird z. B. ein Betriebssystem ausgeführt. Im Rahmen der Ausführung des Betriebssystem werden Steuersignale erzeugt, die einer Steuerung des Primärbildschirms (1) dienen. Hierbei können im Rahmen der Ausführung des Betriebssystem nur Steuersignale zur Steuerung des Primärbildschirms (1), jedoch nicht zur Steuerung des Aktionsbildschirms (7) erzeugt werden.
Die Vorrichtung umfasst eine nicht dargestellte erste Auswerte- und Steuereinrichtung. Diese ist datentechnisch mit dem Eyetracker (3) verbunden und wertet Ausgangsdaten des Eyetrackers (3) aus. In Abhängigkeit eines Ergebnis der Auswertung der Ausgangsdaten des Eyetrackers (3) erzeugt die erste Auswerte- und Steuereinrichtung mindestens ein Steuersignal. Dieses Steuersignal kann ein Steuersignal für den Primärbildschirm (1) oder den Aktionsbildschirm (7) sein. Ist das Steuersignal ein Steuersignal des Primärbildschirms (1), kann dieses beispielsweise über eine Schnittstelle zum Betriebssystem oder zu einer das Betriebssystem ausführenden Steuer- oder Recheneinrichtung übertragen werden, wobei dann wiederum die Steuerung des Primärbildschirms (1) mittels Steuersignalen erfolgt, die im Rahmen der Ausführung des Betriebssystems erzeugt werden.
Bei der Anwendung auf klassische Computersystemen, z. B. bei einem Desktop-PC, ist der Primärbildschirm (1) mit dem Eyetracker (3) fest verbunden und von der Tastatur (6) und dem Aktionsbildschirm (7) physisch getrennt.
Insbesondere kann aber die erste Auswerte- und Steuereinrichtung den Aktionsbildschirm steuern. Vorzugsweise ist der Aktionsbildschirm (7) ausschließlich durch die erste Auswerte- und Steuereinrichtung oder ausschließlich durch von der ersten Auswerte- und Steuereinrichtung erzeugte Steuersignale steuerbar. Mittels der ersten Auswerte- und Steuereinrichtung können eigenständig Anwendungen, beispielsweise Programme, ausgeführt werden und anwendungsspezifische Informationen, auf dem Primärbildschirm (1) und/oder Aktionsbildschirm (7) dargestellt werden.
Hierzu kann die erste Steuer- und Auswerteeinrichtung ein Computerprogramm ausführen, welches in einem Computerprogrammprodukt enthalten ist.
Die erste Auswerte- und Steuereinrichtung kann auch Ausgangsdaten weiterer Eingabeeinrichtungen und/oder Sensoren, z. B. der 3D-Kamera (4) und/oder der Tastatur (6) des Laptops empfangen und auswerten und ein Steuersignal zusätzlich in Abhängigkeit dieser Ausgangsdaten erzeugen. Wie vorhergehend geschildert können die Ausgangsdaten weiterer Eingabeeinrichtungen beispielsweise über eine Schnittstelle zum Betriebssystem oder zu einer das Betriebssystem ausführenden Steuer- oder Recheneinheit an die erste Auswerte- und Steuereinrichtung übertragen werden.
Der Lagesensor (2) ist derart verbaut, dass eine räumliche Lage und Orientierung zum Primärbildschirm (1) konstant ist. Ebenfalls ist ein weiterer Lagesensor (2) mit einer konstanten räumlichen Lage und Orientierung bezüglich des Aktionsbildschirm (7) an oder in dem Laptop bzw. dessen Gehäuse angeordnet. Aus Ausgangsdaten der beiden Lagesensoren kann eine relative Orientierung und gegebenenfalls auch Position der Bildschirme (1, 7) zueinander berechnet werden. Der Eyetracker (3) ist mit einer festen, vorbekannten räumlichen Lage und Orientierung zum Aktionsbildschirm (7) an oder in dem Laptop bzw. dessen Gehäuse angeordnet. Somit ist er gegenüber dem Aktionsbildschirm (7) kalibriert. Aus Ausgangsdaten der Lagesensoren kann somit auch für jede Drehung des Primärbildschirms (1) um das Gelenk (5) der Primärbildschirm (1) bezüglich des Eyetrackers (3) kalibriert werden. Somit kann zu jedem Zeitpunkt bestimmt werden, ob ein Fixationspunkt eines Bedieners in einem blickgestützten Darstellungsbereich des Primärbildschirms (1) oder des Aktionsbildschirms (7) liegt. Selbstverständlich kann der Eyetracker (3) auch mit einer festen, vorbekannten räumlichen Lage und Orientierung zum Primärbildschirm (1) an oder in dem Laptop bzw. dessen Gehäuse angeordnet sein. In diesem Fall kann der Aktionsbildschirm (7) mittels der Ausgangsdaten der Lagensensoren bezüglich des Eyetrackers (3) kalibriert werden.
Im Falle eines alternativen Formfaktors, z. B. bei einer Anordnung von Primärbildschirm (1) und Aktionsbildschirm (7) ohne direkte mechanische Verbindung, können beispielsweise Daten einer Webcam, einer 3D-Kamera oder Daten weiterer Sensoren zur Kalibrierung genutzt werden.
Auf Grundlage von Informationen des Eyetrackers (3) kann z. B. eine Bildschirmhelligkeit des Primärbildschirms (1) und/oder des Aktionsbildschirms (7) geregelt werden, womit eine Energieeinsparung erzielt wird sowie zusätzlicher Nutzerinput generiert werden kann. Die Steuerung erfolgt über die erste Steuer- und Auswerteeinrichtung. So wird der Aktionsbildschirm (7) abgedunkelt, solange der Blick des Bedieners nicht auf dem Aktionsbildschirm (7) verweilt. Sobald der Bediener seinen Blick auf den Aktionsbildschirm (7) lenkt und/oder die erste Auswerte- und Steuereinrichtung detektiert, dass den Bediener bei der Bedienung unterstützende weitere Informationen und/oder Funktionen notwendig sind oder sein können, können diese Informationen und/oder Funktionen, beispielsweise in Form von Informationselementen und/oder Funktionselementen auf dem Aktionsbildschirm (7) dargestellt werden, wobei der Aktionsbildschirm (7) wieder aktiviert wird. Hierdurch kann in vorteilhafter Weise auch eine Aufmerksamkeit des Bedieners auf diese zusätzlichen Informationen und/oder Funktionen gelenkt werden, was eine Bedienung verbessert.
Die 3D Kamera (4) erfasst den Bediener und es können, z. B. durch die erste Auswerte- und Steuereinrichtung, eine Position und/oder Orientierung des Kopfes bzw. des Körpers und/oder Gesten erkannt werden. Weiterhin können weitere externe Aktionsbildschirme vorgesehen sein, wobei deren Position und Orientierung vorbestimmt oder bestimmbar ist, wobei mittels der ersten Steuer- und Auswerteeinrichtung Fixationspunkte auch auf diesen weiteren Aktionsbildschirmen entsprechend erkannt werden können.
Die Tastatur (6) kann Reihen für Buchstaben, Zahlen und/oder Sonderzeichen als Hardkeys umfassen. Auch können zusätzliche Aktivierungstasten als Hardkeys vorgesehen sein, bei deren Betätigung eine vorhergehend, gleichzeitig oder nachfolgend blickgestützt ausgewählte Aktion aktiviert wird.
Weiter können auf dem Aktionsbildschirm (7) Softkeys dargestellt werden, die Hardkeys der Tastatur (6) ergänzen. Diese Softkeys und die ihnen zugeordneten Aktionen können in Abhängigkeit einer aktuell ausgeführten Anwendung und/oder in Abhängigkeit einer aktuell blickgestützt ausgewählten und/oder aktivierten Aktion gewählt und dargestellt werden.
Des Weiteren sind Aktivierungstasten (12) vorgesehen. Diese können einer Aktivierung einer vorhergehend, gleichzeitig oder nachfolgend blickgestützt ausgewählten Aktion dienen und sonst keine weitere Funktion ausüben. Vorzugsweise sind die Aktivierungstasten an einer Seitenfläche des Teils des Computersystems, beispielsweise des Laptops, angeordnet, auf dessen Oberfläche eine Tastatur (6) angeordnet ist. Dies ermöglich in vorteilhafter Weise eine Betätigung mittels eines kleinen Fingers eines Bedieners, falls Hände des Bedieners in einer Arbeitsstellung auf oder vor einer Tastatur (6) angeordnet sind. Die Arbeitsstellung bezeichnet hierbei eine Stellung in der Handballen räumlich vor der Tastatur derart positioniert sind, dass ein Bediener Tasten der Tastatur betätigen kann. Auch können die Aktivierungstasten (12) auf der Oberfläche des Teils des Computersystems angeordnet sein, auf dem auch die Tastatur angeordnet ist, jedoch räumlich vor dieser, also hin zu einem Bediener. Dies ermöglicht in vorteilhafter Weise eine Betätigung mittels eines Handballens, falls eine Hand des Bedieners derart positioniert ist, dass er Tasten der Tastatur betätigen kann.
Die auf dem Aktionsbildschirm (7) dargestellten Informationen und/oder Funktionen werden entweder generisch für jede vom Betriebssystem bereitgestellte Anwendung oder in Form von an eine spezifische Anwendung angepassten Informationen und/oder Funktionen dargestellt.
Hierzu kann die erste Auswerte- und Steuereinrichtung über eine Schnittstelle zum Betriebssystem und/oder eine das Betriebssystem ausführende Steuer- und Recheneinheit verfügen, über die Informationen bezüglich der generischen Informationen (z. B. der Beginn und das Ende einer Anwendung) an die erste Auswerte- und Steuereinrichtung übermittelt werden. In Abhängigkeit dieser Informationen kann dann die erste Auswerte- und Steuereinrichtung ein Steuersignal für den Aktionsbildschirm (7) erzeugen, auf welchem dann z. B. entsprechende Informationselemente und/oder Funktionselemente dargestellt werden. Auch kann eine auf der ersten Steuer- und Auswerteeinrichtung ausgeführte Software, mittels derer das erfindungsgemäße Verfahren durchführbar ist, eine Schnittstelle umfassen, die direkt durch eine entsprechend angepasste Anwendung angesteuert werden kann.
Die Informationen und/oder Funktionen können sich auf Informationen und/oder Funktionen beziehen, die auf dem Primärbildschirm (1) dargestellt werden oder auch zusätzliche Informationen und/oder Funktionen sein. Folgende Beispiele sind hier einzeln oder in Kombination möglich:

• Der Aktionsbildschirm (7) kann zur Anzeige eines, gegebenenfalls vergrößerten, Teilbereichs des Primärbildschirms (1) genutzt werden, z. B. kann ein Ausschnitt eines Fotos zur detaillierten Bildbearbeitung auf dem Aktionsbildschirm (7) dargestellt werden, während das gesamte Foto auf dem Primärbildschirm (1) dargestellt wird.
• Der Aktionsbildschirm (7) kann durch eine Fingerspreizgeste (Pinch and Zoom) eine Darstellung von Inhalten, also z. B. Informationen und/oder Funktionen, auf dem Primärbildschirm (1) skalieren.
• Der Aktionsbildschirm (7) kann zur Darstellung eines zusätzlichen Bereichs zum Primärbildschirm (1), z. B. als Zwischenablage oder als Bedienfeld für eine Videoausgabe, genutzt werden.
• Der Aktionsbildschirm (7) kann zur Darstellung zusätzlicher Elemente einer Tastatur in Form von Softkeys, z. B. für Elemente eines Nummerblocks oder für Sonderzeichen oder für anwendungsspezifische Informations- und/oder Funktionselemente genutzt werden.
• Der Aktionsbildschirm (7) kann zur Darstellung eines zusätzlichen Menüs genutzt werden (z. B. häufig genutzte Aktionen wie „Format kopieren” oder „Fett markieren”, falls ein Textverarbeitungsprogramm ausgeführt wird).
• Der Aktionsbildschirm (7) kann als virtuelles Trackpad z. B. zur Steuerung eines – nur während der Interaktion angezeigten – Mauszeigers genutzt werden.
• Der Aktionsbildschirm (7) kann zur Darstellung von weiterführenden Inhalten und verlinkten Webseiten einer auf dem Primärbildschirm (1), z. B. in einem Browser, dargestellten Webseite genutzt werden.

Neben dem integrierten Aktionsbildschirm (7) können auch weitere ggf. externe Bildschirme als zusätzliche oder einzelne Aktionsbildschirme, zum Einsatz kommen.
Im Gegensatz zu bisherigen Verfahren im Bereich der Mensch-Maschine-Kommunikation und Computer-Interaktion kann eine Aktion, wie z. B. ein Bestätigungsklick, anstelle mit dem Trackpad oder einer Maus komplett berührungslos ausgewählt und/oder aktiviert werden. Eine Maus oder ein Trackpad sind dadurch nicht mehr notwendig, um den Computer zu bedienen.
Hierbei kann das Auslösen von Aktionen durch einen dynamisch anpassbaren Aktivierungsbereich auf dem Aktionsbildschirm (7) unterstützt werden. Der Aktivierungsbereich ist ein dynamisch in Grolle und/oder Position veränderbarer auf dem Aktionsbildschirm (7) dargestellter Bereich. Der Aktivierungsbereich kann hierbei z. B. ein Funktionselement sein, dem die Aktion ”Aktivieren” zugeordnet ist. Die Größe und/oder Position kann hierbei in Abhängigkeit einer ausgewählten Aktion und/oder eine ausgeführten Anwendung gewählt werden.
Um dies zu gewährleisten, wird der Aktionsbildschirm (7) von der ersten Auswerte- und Steuereinrichtung gesteuert, die auch eine Auswertung der Ausgangsdaten des Eyetrackers (3) durchführt und gegebenenfalls zusätzliche Ausgangsdaten weiterer Eingabeeinrichtungen verarbeitet und hieraus Rückschlüsse über eine Intention des Bedieners zieht. Auf einer Auswertung dieser Daten basierend können Steuersignale erzeugt werden, die den Bediener bei der Nutzung unterstützen. Z. B. können angepasste Informationen und/oder Funktionen, beispielsweise in Form von Informations- und/oder Funktionselementen, auf dem Aktionsbildschirm (7) dargestellt werden und bestimmte Aktionen im Hintergrund direkt oder unter Vorbehalt ausgeführt werden.
Ausschlaggebend für eine Auswertung können Bewegungsmuster der Augen im blickgestützten Darstellungsbereich des Primärbildschirms (1) und/oder des Aktionsbildschirms (7) sein. So kann z. B., falls ein Blick des Bedieners von einer bestimmten Stelle auf dem Primärbildschirm (1) auf eine bestimmte Stelle oder einen bestimmten Bereich im Aktionsbildschirm (7) gerichtet wird, ein Aktion ausgewählt und/oder aktiviert werden. Auch kann eine Auswahl und/oder Aktivierung erst nach einer kurzen Verweildauer auf jener Stelle durchgeführt werden. Auch kann eine Auswahl und/oder Aktivierung einer Aktion durchgeführt werden, falls der Bediener nachfolgend noch auf eine weitere Stelle oder einen weiteren Bereich entweder auf dem Aktionsbildschirm (7) oder auf dem Primärbildschirm (1) schaut. Als weiteres Beispiel kann der Bediener seinen Blick auf eine bestimmte Stelle, insbesondere einen blickbezogene Darstellungsbereich eines Funktionselements, dem eine Anzeigeaktion zugeordnet ist, auf dem Primärbildschirm (1) oder Aktionsbildschirm (7) lenken, wodurch eine Anzeigeaktion ausgewählt und aktiviert wird, durch deren Ausführung eine weitere Bestätigungsfläche, z. B. ein nachgeordnetes Funktionselement, dem eine Aktivierungsaktion zugeordnet ist, erscheint. Sobald der Bediener seinen Blick auf diese Bestätigungsfläche lenkt, wird eine Aktion aktiviert, z. B. ein Event generiert.
Ein Ergebnis einer Aktion kann z. B. auf dem Primärbildschirm (1) oder dem Aktionsbildschirm (7) z. B. als Informationselement und/oder Funktionselement dargestellt werden und/oder direkt an das Betriebssystem oder eine das Betriebssystem ausführende Steuer- und Recheneinheit übertragen werden und/oder von der ersten Auswerte- und Steuereinrichtung selbst ausgewertet werden. Folgende Beispiele sind hier einzeln oder in Kombination denkbar:

• Anpassen eines Inhaltes auf dem Primärbildschirm (1) und/oder dem Aktionsbildschirm (7)
• Vorladen von Befehlen oder Aktionen, z. B. im Hintergrund
• Direktes Aktivieren von Befehlen oder Aktionen
• Anzeige einer Auswahl von nachgeordneten Befehlen oder Aktionen
• Anzeigen von zusätzlichen Informationen
• Anzeigen von in bestimmter Reihenfolge angeordneten und/oder sortierten Elementen
• Anzeige einer Markierung einer letzten Leseposition auf dem Primärbildschirm (1)
• Automatisches Pausieren eines abgespielten Videos, wenn ein Fixationspunkt des Bedieners den blickgestützten Darstellungsbereich des Videos verlässt.

Durch die jeweilige Registrierung der direkt im Anschluss folgenden Auswahl und/oder Aktivierung von Aktionen können zusätzlich Verbindungen zu der vorhergehend ausgewählten und/oder aktivierten Aktion geknüpft und ggf. als Regel gespeichert werden. Ein Beispiel hierfür ist, falls der Bediener mehrfach leicht neben eine gewünschte Fläche klickt und diese gleiche Aktion solange wiederholt, bis er die gewünschte Fläche getroffen hat, der entsprechende Offset bei künftigen ähnlichen Aktionen genutzt werden. Falls also bei einer nächsten Aktion der Klick erneut neben die gewünschte Fläche geht und damit keine Aktion ausgelöst wird, wird der Offset hinzugerechnet und direkt eine Aktion auslöst. Ebenso ist es möglich, dass der Offset mit einbezogen wird, wenn der Nutzer mehrfach ähnliche Randbereiche einer Fläche fixiert und geklickt hat und die Aktion durch bereits den ersten Klick ausgelöst wurde. Somit ist eine individuelle Anpassung an den Bediener zur Laufzeit möglich.
In 2 ist ein schematisches Flussdiagramm eines Verfahrens zur blickgestützten Steuerung dargestellt. Das Verfahren wird zu einem Startzeitpunkt Start gestartet. In einem ersten Schritt 8 erfolgt eine Erfassung von Blickdaten mittels des in 1 dargestellten Eyetrackers (3). In einem zweiten Schritt 9 wird ein Fixationspunkt eines Bedieners detektiert, der in einem blickbezogenen Darstellungsbereich eines Funktionselements liegt, dem eine Aktion zugeordnet ist. Hierdurch wird diese Aktion ausgewählt. In einem dritten Schritt 10, der zeitlich dem zweiten Schritt 9 nachfolgt, wird ein weiterer Fixationspunkt des Bedieners detektiert, der in einem blickbezogenen Darstellungsbereich eines weiteren Funktionselements liegt, das einem Aktivierungsbereich entspricht, dem also die Aktion „Aktivieren” zugeordnet ist. Hierdurch wird die zuvor im zweiten Schritt 9 ausgewählte Aktion aktiviert. In einem vierten Schritt 11 wird die aktivierte Aktion dann ausgeführt. Das Verfahren kann dann zu einem Endzeitpunkt Ende beendet werden.
Bezugszeichenliste

1: Primärbildschirm
2: Lagesensor
3: Eyetracker
4: 3D-Kamera
5: Gelenk
6: Tastatur
7: Aktionsbildschirm
8: erster Schritt
9: zweiter Schritt
10: dritter Schritt
11: vierter Schritt
12: Aktivierungstasten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1562469 A1 [0002]
US 20110175932 A1 [0002]

Claims

Verfahren zur blickgestützten Steuerung, insbesondere eines Computersystems, wobei mittels mindestens einer Einrichtung zur Blickerfassung eine Blickrichtung und/oder Blickbewegung und/oder eine Blickdauer eines Bedieners erfasst wird, wobei in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein Steuersignal für mindestens eine Ausgabeeinrichtung des Computersystems und/oder eine Recheneinrichtung erzeugt wird, wobei das Computersystem mindestens einen Primärbildschirm (1) und einen Aktionsbildschirm (7) als Ausgabeeinrichtungen umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein bedienerspezifisches und/oder anwendungsspezifisches Informationselement und/oder Funktionselement auf dem Primärbildschirm (1) und/oder Aktionsbildschirm (7) dargestellt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass auf dem Primärbildschirm (1) und/oder Aktionsbildschirm (7) mindestens ein Funktionselement angezeigt wird, wobei dem mindestens einen Funktionselement mindestens eine Aktion zugeordnet ist, die blickgestützt auswählbar und/oder aktivierbar ist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine blickgestützte Auswahl und eine der blickgestützten Auswahl zeitlich nachfolgende Aktivierung erfolgt oder eine blickgestützte Auswahl und gleichzeitig mit der blickgestützten Auswahl eine Aktivierung erfolgt oder eine Aktivierung und eine der Aktivierung zeitlich nachfolgende blickgestützte Auswahl erfolgt.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass eine blickgestützte Auswahl einer Aktion und eine anderweitige Aktivierung dieser Aktion erfolgt.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass eine blickgestützte Auswahl einer Aktion und eine blickgestützte Aktivierung dieser Aktion erfolgt.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass nach einer blickgestützten Auswahl mindestens ein Parameter der mindestens einen ausgewählten Aktion und/oder mindestens ein Parameter einer der ausgewählten Aktion nachgeordneten Aktion vorgeladen wird.
Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass in Abhängigkeit einer blickgestützten Auswahl und/oder Aktivierung der mindestens einen Aktion mindestens ein aktionsspezifisches Informationselement und/oder mindestens ein aktionsspezifisches Funktionselement auf dem Aktionsbildschirm (7) angezeigt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass dem Aktionsbildschirm (7) ein blickgestützter Darstellungsbereich zugeordnet ist, wobei der Aktionsbildschirm (7) deaktiviert wird, falls ein Fixationspunkt außerhalb des blickgestützten Darstellungsbereich ist.
Vorrichtung zur blickgestützten Steuerung, insbesondere eines Computersystems, wobei die Vorrichtung mindestens eine Einrichtung zur Blickerfassung, mindestens eine Auswerte- und Steuereinrichtung und mindestens einen Primärbildschirm (1) umfasst, wobei mittels der mindestens einen Einrichtung zur Blickerfassung eine Blickrichtung und/oder Blickbewegung und/oder eine Blickdauer eines Bedieners erfassbar ist, dadurch gekennzeichnet, dass die Vorrichtung weiter einen Aktionsbildschirm (7) umfasst, wobei Ausgangsdaten der Einrichtung zur Blickerfassung an eine erste Auswerte- und Steuereinrichtung übertragbar und von dieser ersten Auswerte- und Steuereinrichtung auswertbar sind, wobei mittels der ersten Auswerte- und Steuereinrichtung in Abhängigkeit eines Ergebnis einer Auswertung der Ausgangsdaten der Einrichtung zur Blickerfassung mindestens ein Steuersignal für den Primärbildschirm (1) und/oder den Aktionsbildschirm (7) und/oder eine Recheneinrichtung erzeugbar ist.