DE102012221040B4 - Bestätigen der Eingabeabsicht unter Verwendung von Blickerfassung - Google Patents

Bestätigen der Eingabeabsicht unter Verwendung von Blickerfassung Download PDF

Info

Publication number
DE102012221040B4
DE102012221040B4 DE102012221040.7A DE102012221040A DE102012221040B4 DE 102012221040 B4 DE102012221040 B4 DE 102012221040B4 DE 102012221040 A DE102012221040 A DE 102012221040A DE 102012221040 B4 DE102012221040 B4 DE 102012221040B4
Authority
DE
Germany
Prior art keywords
user
user selection
computer system
selection
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012221040.7A
Other languages
English (en)
Other versions
DE102012221040A1 (de
Inventor
Lisa Seacat Deluca
Brian D. Goodman
Soobaek Jang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyndryl Inc
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE102012221040A1 publication Critical patent/DE102012221040A1/de
Application granted granted Critical
Publication of DE102012221040B4 publication Critical patent/DE102012221040B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Verfahren für das Überprüfen einer Benutzerauswahl, aufweisend die Schritte:des Erfassens der Augenbewegung eines Benutzers durch ein Computersystem, um eine Position des Benutzerblicks auf einer Anzeige zu ermitteln;des Empfangens einer Benutzerauswahl an einer Position auf der Anzeige durch das Computersystem; unddes Überprüfens der Benutzerauswahl durch das Computersystem auf der Grundlage der Position des Benutzerblicks und der Position der Benutzerauswahl, wobei der Schritt des Überprüfens der Benutzerauswahl durch das Computersystem die Schritte aufweist:Ermitteln, dass die Position des Benutzerblicks nicht innerhalb eines definierten Bereichs der Anzeige liegt, der der Position der Benutzerauswahl entspricht, durch das Computersystem, und entweder Ignorieren der Benutzerauswahl; oderdaran anschließend Anfordern einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war, durch das Computersystem; undals Reaktion auf das Empfangen einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war, Ausführen eines oder mehrerer Befehle, die der Benutzerauswahl entsprechen, durch das Computersystem.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich im Allgemeinen auf Benutzeroberflächen und im Besonderen auf die Erkennung einer unbeabsichtigten Eingabe in eine Benutzeroberfläche.
  • HINTERGRUND DER ERFINDUNG
  • Zur Blickerfassung fähige Einheiten können Augenbewegungen erkennen und messen, indem sie den Blick oder die Blickrichtung eines Benutzers (üblicherweise auf einen Bildschirm) ermitteln. Die gewonnenen Daten können dann für eine spätere Verwendung aufgezeichnet oder in manchen Fällen unmittelbar dazu genutzt werden, für einen Computer in aktiven Oberflächen Befehle bereitzustellen. Eine Grundlage für eine Realisierung einer Blickerfassungstechnologie hat mit Licht (üblicherweise Infrarotlicht) zu tun, das vom Auge reflektiert und von einer Videokamera oder einem anderweitigen, eigens hierfür ausgelegten optischen Sensor erfasst wird. So erzeugt Infrarotlicht Reflexionen auf der Hornhaut, deren Positionen mit der Blickrichtung in Verbindung gebracht werden können. Konkret richtet sich eine Kamera auf ein oder beide Augen und zeichnet deren Bewegung auf, während ein Betrachter/Benutzer auf irgendeine Art Reiz blickt. Die meisten modernen Blickerfassungseinheiten verwenden den Kontrast, um die Mitte der Pupille zu lokalisieren, und Infrarotlicht oder ungerichtetes Licht im nahen Infrarotbereich, um eine Hornhautreflexion zu erzeugen. Nach einer einfachen Kalibrierung für eine Einzelperson kann der Vektor zwischen diesen beiden Merkmalen dazu verwendet werden, den Schnittpunkt des Blicks mit einer Oberfläche zu berechnen.
  • Die WO 2010 / 127 714 A2 offenbart eine elektronische Vorrichtung, umfassend eine Koordinateneingabefläche, auf die mindestens ein Finger eines Benutzers gelegt werden kann, eine Positionsschätzeinheit und eine Positionserfassungseinheit. Die Positionsschätzeinheit dient zum Schätzen einer ersten Position von mindestens einem Objekt, das auf der Koordinateneingabefläche platziert werden kann. Die Positionserfassungseinheit dient zum Ermitteln einer Schätzung einer zweiten Position, an der ein Benutzer auf die gleiche oder eine andere Koordinateneingabefläche schaut. Die Vorrichtung wird zumindest auf Grundlage der Kombination der geschätzten ersten Position und der geschätzten zweiten Position gesteuert.
  • Die US 2011 / 0 175 932 A1 offenbart Systeme und Verfahren zur Unterstützung eines Benutzers bei der Interaktion mit einer graphischen Benutzeroberfläche durch die Kombination von augenbasierter Eingabe mit Eingaben für z.B. die Auswahl und Aktivierung von Objekten und Objektteilen und die Ausführung von kontextbezogenen Aktionen in Bezug auf die Objekte und Objektteile. Die Druckschrift bezieht sich auch auf solche Systeme und Verfahren, bei denen der Benutzer spezifische Kombinationen von Augendateneingaben und Eingaben, die zu einer bestimmten kontextbezogenen Aktion führen sollen, konfigurieren und anpassen kann.
  • Die US 2005 / 0 243 054 A1 offenbart ein Zeigeverfahren, das den Blick als impliziten Steuerkanal verwendet. Ein Benutzer schaut auf natürliche Weise auf ein als Taste auf einer grafischen Benutzeroberfläche dargestelltes Zielobjekt und drückt dann eine manuelle Auswahltaste. Sobald die Auswahltaste gedrückt ist, verwendet das Verfahren eine Wahrscheinlichkeitsanalyse, um ein höchstwahrscheinliches Zielobjekt zu ermitteln und hervorzuheben. Wenn es sich bei dem hervorgehobenen Objekt um das Zielobjekt handelt, kann der Benutzer es durch erneutes Drücken einer Taste, wie z.B. der Auswahltaste, auswählen. Wenn das hervorgehobene Objekt nicht das Zielobjekt ist, kann der Benutzer mit zusätzlichen Tasten ein anderes Zielobjekt auswählen, um zu dem beabsichtigten Zielobjekt zu navigieren.
  • KURZDARSTELLUNG
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren für das Überprüfen einer Benutzerauswahl unter Verwendung von Blickerfassung mit einer geringeren Fehlerkennungsrate der Benutzerauswahl bereitzustellen. Die der Erfindung zugrunde liegenden Aufgaben werden jeweils mit den Merkmalen der unabhängigen Patentansprüche gelöst. Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche.
  • Aspekte einer Ausführungsform der vorliegenden Erfindung offenbaren ein Verfahren, ein Computersystem und ein Computerprogrammprodukt für das Erkennen einer unbeabsichtigten Benutzerauswahl unter Verwendung von Blickerfassung. Das Verfahren weist einen Computer auf, der eine Augenbewegung eines Benutzers erfasst, um eine Position auf einer Anzeige zu ermitteln, an der sich der Blick des Benutzers mit der Anzeige schneidet. Zu dem Verfahren gehört ferner, dass der Computer über eine Benutzeroberfläche, die auf der Anzeige angezeigt wird, eine Benutzerauswahl empfängt. Zu dem Verfahren gehört ferner, dass der Computer auf der Grundlage davon, ob die Position auf der Anzeige, an welcher sich der Blick des Benutzers mit der Anzeige schneidet, innerhalb eines definierten Bereichs der Anzeige liegt, der einer Position auf der Benutzeroberfläche entspricht, an der die Benutzerauswahl empfangen wurde, entscheidet, ob er darauffolgende Befehle, die der Benutzerauswahl entsprechen, ausführen soll.
  • Figurenliste
    • 1 ist ein Blockdiagramm eines Datenverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung;
    • 2 ist eine beispielhafte grafische Oberfläche, die einen Eingabefehler zeigt, bei dem ein Benutzer des Datenverarbeitungssystems aus 1 eine Option auf der Oberfläche auswählt, während sein Blick auf eine andere Stelle gerichtet ist.
    • 3 ist ein Ablaufdiagramm der Schritte eines Auswahlprüfprogramms in dem Datenverarbeitungssystem aus 1 für das Erkennen von und Warnen vor möglichen unbeabsichtigten Benutzerauswahlaktionen gemäß einer Ausführungsform der vorliegenden Erfindung.
    • 4 zeigt ein Blockdiagramm von internen und externen Komponenten des Datenverarbeitungssystems aus 1.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die vorliegende Erfindung wird nun unter Bezugnahme auf die Figuren ausführlich beschrieben. 1 stellt ein Datenverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Erfindung dar, das allgemein mit 100 bezeichnet ist.
  • Das Datenverarbeitungssystem 100 ist zum Anzeigen von Daten für den Benutzer mit der Anzeige 102 verbunden, zum Erfassen von Augenbewegungen des Benutzers mit der Kamera 104 verbunden, und zum Empfangen von Auswahlaktionen von dem Benutzer mit der Maus 106 verbunden. Das Datenverarbeitungssystem 100 kann ein Server-Computer, ein Client-Computer, ein Notebook, ein Laptop-Computer, ein Tablet-Computer, eine Handheld-Einheit oder ein Smartphone, ein Thin Client oder eine beliebige andere elektronische Einheit oder ein Rechensystem sein, die/das in der Lage ist, eine Eingabe von einem Benutzer zu empfangen und Computerprogrammbefehle auszuführen. Bei einer anderen Ausführungsform steht das Datenverarbeitungssystem 100 für ein Rechensystem, das in Gruppen zusammengefasste Computer und Komponenten nutzt, die als einzelne Zusammenstellung nahtlos ineinandergreifender Ressourcen fungieren, wenn über ein Netzwerk darauf zugegriffen wird. Dies ist eine gebräuchliche Realisierung bei Rechenzentren und Cloud-Computing-Anwendungen.
  • Die Anzeige 102 ist als Computermonitor abgebildet. Alternativ zu einem verbundenen externen Monitor kann die Anzeige 102 auch ein fest eingebauter Anzeigebildschirm des Datenverarbeitungssystems 100 sein. Eine derartige Ausführung wird bei Tablet-Computern und Smartphones verwendet. Auf ähnliche Art und Weise kann die Kamera 104 eine fest eingebaute Komponente des Datenverarbeitungssystems 100 sein. Die Kamera 104 ist vorzugsweise eine Infrarotkamera oder eine Kamera mit Infrarotfunktion. Die Maus 106 steuert die Bewegung eines Cursors (eines beweglichen Anzeigers auf einem Computerbildschirm, der den Punkt angibt, an dem eine Eingabe eines Benutzers stattfinden wird) und empfängt Auswahlaktionen oder Klicks von dem Benutzer und überträgt empfangene Auswahlaktionen zu dem Datenverarbeitungssystem 100, um eine Auswahl an der Position des Cursors anzugeben. Alternativ kann ein Cursor durch ein Tastfeld oder eine Rollkugel bewegt werden. Bei einer anderen alternativen Ausführungsform kann das Datenverarbeitungssystem 100 keine Maus 106 aufweisen, und Benutzerauswahlaktionen können über einen Berührungsbildschirm empfangen werden. Bei einer Ausführungsform mit einem Berührungsbildschirm kann ein Cursor auch mittels Druck auf den Berührungsbildschirm bewegt werden. Eine alternative Ausführungsform mit einem Berührungsbildschirm kann zudem völlig ohne Cursor auskommen.
  • Das Datenverarbeitungssystem 100 enthält ein Cursorerfassungsprogramm 108 für das Erfassen einer Position eines Cursors relativ zur Anzeige 102. Wenn ein Benutzer eine Auswahl vornehmen möchte, klickt er auf eine Taste der Maus 106, und das Datenverarbeitungssystem 100 wählt ein Objekt an der Position des Cursors zum Zeitpunkt des Klicks aus. Bei einer Ausführungsform mit einem Berührungsbildschirm und ohne Cursor weist das Datenverarbeitungssystem 100 kein Cursorerfassungsprogramm 108 auf, und etwaige Auswahlaktionen können an einer Position auf der Anzeige 102 durch Druck (z.B. Antippen mit einem Finger) vorgenommen werden.
  • Das Datenverarbeitungssystem 100 enthält zudem ein Blickerfassungsprogramm 110 zum Bestimmen und erfassen der Position eines Benutzerblicks auf der Anzeige 102. Das Blickerfassungsprogramm 110 arbeitet in Verbindung mit der Kamera 104. Vorzugsweise führt das Blickerfassungsprogramm 110 über einen gewissen Zeitraum einen Datensatz mit einer Blickposition eines Benutzers zu einem gegebenen Zeitpunkt. So kann das Datenverarbeitungssystem 100 z. B. einen Datensatz mit jeder Stelle, auf die der Benutzer während der vergangenen zehn Sekunden geblickt hat, sowie mit der Zeitdauer, für die er darauf geblickt hat, speichern.
  • Das Auswahlprüfprogramm 112 wird in dem Datenverarbeitungssystem 100 ausgeführt und korreliert, nachdem ein Benutzer eine Auswahl vorkommen hat, den Zeitpunkt der Auswahl mit einer Position des Benutzerblicks zu dem oder etwa zu dem Zeitpunkt der Auswahl, um zu ermitteln, ob die Auswahl beabsichtigt war. Jede Aktion, die zu einer Auswahl gehört, die sich als unbeabsichtigt herausstellt, wird verhindert oder erfordert zum Fortfahren eine zusätzliche Bestätigung.
  • Die grafische Oberfläche 114 wird auf dem Datenverarbeitungssystem 100 bereitgestellt und arbeitet in Verbindung mit der Anzeige 102, um Inhalte wie z.B. Symbole und einen beweglichen Cursor sichtbar darzustellen, und ermöglicht einem Benutzer, eine spezifische Position auszuwählen. Die grafische Oberfläche 114 kann eine oder mehrere Benutzeroberflächen wie z.B. eine Betriebssystemoberfläche und Anwendungsoberflächen aufweisen. Die grafische Oberfläche 114 kann über die Maus 106 oder über Druck auf einen Berührungsbildschirm eine Auswahl empfangen und diese Auswahl an das Auswahlprüfprogramm 112 melden.
  • 2 zeigt eine beispielhafte Ausführungsform der grafischen Oberfläche 114. Wie abgebildet, zeigt die grafische Oberfläche 114 die Benutzeroberfläche 200. Die Benutzeroberfläche 200 ist eine Webbrowser-Oberfläche. Zu anderen Benutzeroberflächen können Textverarbeitungsoberflächen, Oberflächen für elektronische Nachrichten und andere Anwendungsoberflächen zählen, die eine Auswahl einer Option ermöglichen, indem an einer spezifischen Position auf einer Anzeige der Oberfläche mit einer Maus geklickt oder Druck ausgeübt wird.
  • Der Cursor 202 befindet sich auf einer Verknüpfung, die von dem Benutzer ausgewählt werden kann. In diesem Fall steuert die Maus 106 den Cursor 202. Während sich der Cursor 202 auf dem Link befindet, ist ein Blick 204 des Benutzers auf Text auf der Benutzeroberfläche 200 gerichtet. Ein Klick mit der Maus 106 gibt eine Auswahl der Verknüpfung auf der Benutzeroberfläche 200 an, auf der sich der Cursor 202 befindet. Da der Benutzer jedoch gerade liest, würde das Datenverarbeitungssystem 100, das die Position des Benutzerblicks 204 ermittelt, in diesem Fall angeben, dass die Auswahl unbeabsichtigt war. Während der Schaden bei einem Browser zu vernachlässigen wäre, da der Benutzer im Anschluss daran eine Zurück-Schaltfläche auswählen könnte, könnte das unbeabsichtigte Schließen eines Dokuments oder das Abschicken eines unvollständigen Dokuments oder einer elektronischen Nachricht weiterreichende Konsequenzen haben. Bei einer Ausführungsform, bei der das Datenverarbeitungssystem 100 ein Smartphone ist, können unbeabsichtigte Auswahlaktionen bei einer zufälligen Berührung mit der Hand oder sogar dann geschehen, wenn sich das Telefon in der Tasche eines Benutzers befindet.
  • 3 ist ein Ablaufdiagramm der Schritte eines Auswahlprüfprogramms 112 für das Erkennen von und Warnen vor möglichen unbeabsichtigten Benutzerauswahlaktionen gemäß einer Ausführungsform der vorliegenden Erfindung.
  • Das Auswahlprüfprogramm 112 empfängt eine Benutzerauswahl (Schritt 302) in der Regel über eine Benutzeroberfläche wie die grafische Oberfläche 114. Die Auswahl kann über einen Mausklick in Verbindung mit dem Cursorerfassungsprogramm 108 oder über Druck auf einen Berührungsbildschirm erfolgt sein.
  • Das Auswahlprüfprogramm 112 speichert danach die Position auf der Oberfläche, an der die Auswahl stattgefunden hat (Schritt 304). Bei der bevorzugten Ausführungsform ist die Position der Auswahl ein Bereich mit Koordinaten, die für eine Verknüpfung oder Schaltfläche oder Option stehen, die auf der Oberfläche angezeigt wird und von dem Benutzer ausgewählt wurde. Bei einer anderen Ausführungsform ist die Position der Auswahl der Punkt oder Koordinatensatz, der für die exakte Stelle steht, die von dem Benutzer auswählt wurde. Zusätzlich zum Speichern der Position wird bei einer Ausführungsform auch der Zeitpunkt, zu dem die Auswahl getroffen wurde, gespeichert (Schritt 306). Der Zeitpunkt kann als interner Taktzählung des Datenverarbeitungssystems 100 gespeichert werden und wird vorzugsweise auf die Millisekunde genau gespeichert.
  • Das Auswahlprüfprogramm 112 ermittelt eine Position des Benutzerblicks zum oder etwa zum Zeitpunkt der Benutzerauswahl (Schritt 308). Bei der bevorzugten Ausführungsform verwaltet das Datenverarbeitungssystem 100 einen fortlaufenden Datensatz zur Position des Benutzerblicks. Der Zeitpunkt der Benutzerauswahl kann dann mit dem fortlaufenden Datensatz verglichen werden, um die Position des Benutzerblicks zum Zeitpunkt der Auswahl zu ermitteln. Für einen Fachmann dürfte klar sein, dass bei einer Ausführungsform das Datenverarbeitungssystem 100 die Position eines Benutzerblicks ermitteln kann, sobald eine Benutzerauswahl empfangen wird, und die ermittelte Position mit der Auswahl vergleichen kann, ohne Zeitpunkte zu erfassen. Allerdings wird das Verfahren der Zeitpunkterfassung bevorzugt, da verschiedene Systeme unterschiedliche Verarbeitungsgeschwindigkeiten aufweisen und die Verwendung von Zeitmarken dem Auswahlprüfprogramm 112 gestattet, Zeitpunkte, die exakt mit dem Zeitpunkt der Auswahl übereinstimmen, sowie die Position des Benutzerblicks zu Zeitpunkten vor der Auswahl zu verwenden. Das Auswahlprüfprogramm 112 könnte z.B. auch die Position des Benutzerblicks eine Sekunde (oder mehrere Sekunden, Millisekunden usw.) vor der Auswahl vergleichen, da der Benutzer unter Umständen auf die Stelle blickt, an die er den Cursor setzen möchte, und vor deren eigentlicher Auswahl an eine andere Stelle blickt. Somit kann zur ermittelten Position des Benutzerblicks jede beliebige Position bis hin zur und einschließlich der Benutzerauswahl gehören.
  • Das Auswahlprüfprogramm 112 ermittelt im Anschluss daran, ob die Position des Benutzerblicks (oder eine Abfolge von Positionen zum oder etwa zum Zeitpunkt der Benutzerauswahl) innerhalb einer Schwellenwertspanne der Auswahl liegt (Entscheidungsblock 310). Bei einer Ausführungsform ist die Schwellenwertspanne jede beliebige Position innerhalb des gespeicherten Bereichs (aus Schritt 304) der Benutzerauswahl. Bei einer anderen Ausführungsform ist die Schwellenwertspanne eine Position innerhalb einer Anzahl von Bildpunkten (z.B. 50 usw.) in einer beliebigen Richtung ausgehend von dem gespeicherten Bereich oder Punkt der Benutzerauswahl.
  • Wenn die Position des Benutzerblicks innerhalb des Schwellenbereichs liegt (Verzweigung „Ja“ bei Entscheidung 310), fährt das Auswahlprüfprogramm 112 mit Befehlen fort, die der Auswahl entsprechen (Schritt 312). Wenn die Position des Benutzerblicks nicht innerhalb des Schwellenbereichs liegt (Verzweigung „Nein“ bei Entscheidung 310), fordert das Auswahlprüfprogramm 112 eine Bestätigung der Auswahl an (Schritt 314).
  • Bei einer Ausführungsform ist die Bestätigungsanforderung einfach eine Auswahlschaltfläche (Optionsschaltfläche), die dem Benutzer erlaubt, eine Option auszuwählen, welche die ursprüngliche Benutzerauswahl bestätigt. Bei einer alternativen Ausführungsform könnte das Auswahlprüfprogramm 112 gleichzeitig mit der Auswahlschaltfläche den Auswahlbereich auch hervorheben, um den Benutzer darüber zu informieren, wo die ursprüngliche Auswahl erfolgt ist. Bei einer weiteren Ausführungsform könnte die Bestätigungsanforderung auf der Grundlage der tatsächlichen Position des Benutzerblicks andere, möglicherweise beabsichtigte Verknüpfungen/Auswahlaktionen vorschlagen.
  • Im Anschluss an die Bestätigungsanforderung ermittelt das Auswahlprüfprogramm 112, ob eine Bestätigung empfangen wurde (Entscheidungsblock 316). Wenn eine Benutzerbestätigung vorhanden ist, fährt das Auswahlprüfprogramm 112 mit Befehlen fort, die der Auswahl entsprechen (Schritt 312). Wenn keine Benutzerbestätigung vorliegt, bricht das Auswahlprüfprogramm 112 die Auswahl ab (Schritt 318).
  • Bei einer Ausführungsform ermittelt das Auswahlprüfprogramm 112 auf der Grundlage einer Chronik von Bestätigungsantworten eine Zeitspanne vor der Benutzerauswahl, für welche die Position des Benutzerblicks mit der Position der Benutzerauswahl verglichen werden soll. Bei einer Realisierung verwaltet das Auswahlprüfprogramm 112 eine Chronik von Bestätigungen des Benutzers, die angeben, dass eine Benutzerauswahl beabsichtigt war, sowie den entsprechenden, am kürzesten zurückliegenden Zeitpunkt, zu dem sich der Benutzerblick mit der Position der bestätigten Benutzerauswahl geschnitten hat. Nachdem eine Chronik von Bestätigungen gespeichert worden ist, ermittelt das Auswahlprüfprogramm 112 eine Zeitspanne, bei der das Programm 112 davon ausgehen kann, dass die Benutzerauswahl, wenn sich die Position des Benutzerblicks mit der Position der Benutzerauswahl innerhalb der ermittelten Zeitspanne schneidet, beabsichtigt war.
  • Bei einer anderen Ausführungsform kann das Auswahlprüfprogramm 112 ohne den Schritt 314 und den Entscheidungsblock 316 auskommen und, wenn es ermittelt, dass die Position des Benutzerblicks nicht innerhalb einer Schwellenwertspanne der Auswahl liegt (Verzweigung „Nein“ bei Entscheidung 310), die Auswahl einfach abbrechen (Schritt 318). Wenn der Benutzer die Auswahl beabsichtigt hätte, müsste er bei einer derartigen Ausführungsform erneut auswählen und würde vermutlich zur Position der Auswahl blicken, um sicherzugehen, dass er an der richtigen Stelle klickt. Wenn der Benutzer nicht zur richtigen Position blickt, kann das Datenverarbeitungssystem 100 bei dieser Ausführungsform als „gesperrt“ oder funktionsunfähig betrachtet werden. Wenn der Benutzer überhaupt nicht auf die Anzeige 102 blickt, kann über die Benutzeroberfläche somit keine Benutzereingabe ausgewählt werden. Dies würde Fehler wie z.B. das unbeabsichtigte Wählen in der Hosentasche vermeiden, wenn das Datenverarbeitungssystem 100 ein Smartphone ist.
  • 4 zeigt ein Blockdiagramm von Komponenten des Datenverarbeitungssystems 100 gemäß einer beispielhaften Ausführungsform. Dabei sollte klar sein, dass 4 lediglich zur Veranschaulichung einer Realisierung dient und keinerlei Einschränkungen im Hinblick auf die Umgebung impliziert, in der verschiedene Ausführungsformen realisiert werden können. An der abgebildeten Umgebung könnten zahlreiche Änderungen vorgenommen werden.
  • Das Datenverarbeitungssystem 100 weist eine Datenübertragungsstruktur 402 auf, welche für den Datenaustausch zwischen dem/den Prozessor(en) 404, dem Speicher 406, dem permanenten Speicher 408, der Datenübertragungseinheit 410 und der/den Ein-/Ausgabe-Schnittstelle(n) (E/A-Schnittstelle(n)) 412 sorgt.
  • Der Speicher 406 und der permanente Speicher 408 sind Beispiele für computerlesbare, physische Speichereinheiten. Eine Speichereinheit ist eine beliebige Hardware-Einheit, die in der Lage ist, Informationen wie z.B. Daten, in funktionsspezifischer Form vorliegenden Programmcode und/oder andere geeignete Informationen vorübergehend und/oder dauerhaft zu speichern. Der Speicher 406 kann z.B. ein oder mehrere Direktzugriffsspeicher (RAM) 414, ein Cache-Speicher 416 oder eine beliebige andere geeignete, flüchtige oder nichtflüchtige Speichereinheit sein.
  • Das Cursorerfassungsprogramm 108, das Blickerfassungsprogramm 110 und das Auswahlprüfprogramm 112 werden in dem permanenten Speicher 408 gespeichert und durch einen oder mehrere der betreffenden Prozessoren 404 über einen oder mehrere Speicher des Speichers 406 ausgeführt. Bei der Ausführungsform aus 4 weist der permanente Speicher 408 Flash-Speicher auf. Alternativ oder zusätzlich kann der permanente Speicher 408 eine Magnetplatten-Speichereinheit einer internen Festplatte, ein Halbleiterlaufwerk, eine Halbleiter-Speichereinheit, einen Festwertspeicher (ROM), einen EPROM oder eine beliebige andere computerlesbare, physische Speichereinheit aufweisen, die in der Lage ist, Programmbefehle oder digitale Informationen zu speichern.
  • Die von dem permanenten Speicher 408 verwendeten Medien können auch entfernbar sein. So kann eine entfernbare Festplatte als permanenter Speicher 408 verwendet werden. Zu weiteren Beispielen gehören eine optische oder Magnetplatte, die für die Übertragung auf eine andere Speichereinheit, die ebenfalls Teil des permanenten Speichers 408 ist, in ein Laufwerk eingeschoben wird, oder andere entfernbare Speichereinheiten wie z.B. ein USB-Stick oder eine Smartcard.
  • Die Datenübertragungseinheit 410 sorgt bei diesen Beispielen für den Datenaustausch mit anderen Datenverarbeitungssystemen oder -einheiten. Bei diesen Beispielen weist die Datenübertragungseinheit 410 eine oder mehrere Netzwerkschnittstellenkarten auf. Die Datenübertragungseinheit 410 kann den Datenaustausch entweder über physische oder drahtlose Datenübertragungsverbindungen oder aber über beides ermöglichen. Bei einer weiteren Ausführungsform kann das Datenverarbeitungssystem 100 ohne Datenübertragungseinheit 410 auskommen. Das Cursorerfassungsprogramm 108, das Blickerfassungsprogramm 110 und das Auswahlprüfprogramm 112 können über die Datenübertragungseinheit 410 in den permanenten Speicher 408 heruntergeladen werden.
  • Die E/A-Schnittstelle(n) 412 ermöglicht (ermöglichen) die Ein- und Ausgabe von Daten mit anderen Einheiten, die mit dem Datenverarbeitungssystem 100 verbunden sein können. So kann die E/A-Schnittstelle 412 z.B. eine Verbindung zu externen Einheiten 418 wie z.B. der Kamera 104, der Maus 106, einer Tastatur, einem Tastfeld, einem Berührungsbildschirm und/oder einer anderen Art geeigneter Eingabeeinheit bereitstellen. Die E/A-Schnittstelle(n) 412 stellt (stellen) auch eine Verbindung zu der Anzeige 102 her.
  • Die Anzeige 102 stellt einen Mechanismus für das Anzeigen von Daten für einen Benutzer zur Verfügung und kann z.B. ein Computermonitor sein. Alternativ kann die Anzeige 102 auch eine fest eingebaute Anzeige sein und auch als Berührungsbildschirm fungieren.
  • Die oben erwähnten Programme können in verschiedenen Programmiersprachen (z.B. Java oder C++) geschrieben sein, einschließlich maschinenorientierter, problemorientierter, objektorientierter und nicht objektorientierter Sprachen. Alternativ dazu können die Funktionen der oben erwähnten Programme ganz oder teilweise durch Computerschaltungen und andere (nicht abgebildete) Hardware realisiert werden.
  • Anhand der obigen Ausführungen wurde ein Verfahren, ein Computersystem und ein Computerprogrammprodukt für das Erkennen von möglicherweise unbeabsichtigten Benutzerauswahlaktionen offenbart. Allerdings können zahlreiche Änderungen und Ersetzungen vorgenommen werden, ohne dass vom Schutzumfang der vorliegenden Erfindung abgewichen würde. So kann jeder Block der Ablaufpläne oder Blockdiagramme ein Modul, ein Segment oder einen Codeabschnitt darstellen, der einen oder mehrere ausführbare Befehle enthält, mit denen sich die angegebene(n) logische(n) Funktion(en) realisieren lässt (lassen). Zu beachten ist ferner, dass bei manchen alternativen Ausführungsformen die in den Blöcken erwähnten Funktionen in einer anderen Reihenfolge als der in den Figuren genannten auftreten können. Die vorliegende Erfindung wurde somit im Sinne eines nicht einschränkenden Beispiels offenbart.

Claims (9)

  1. Verfahren für das Überprüfen einer Benutzerauswahl, aufweisend die Schritte: des Erfassens der Augenbewegung eines Benutzers durch ein Computersystem, um eine Position des Benutzerblicks auf einer Anzeige zu ermitteln; des Empfangens einer Benutzerauswahl an einer Position auf der Anzeige durch das Computersystem; und des Überprüfens der Benutzerauswahl durch das Computersystem auf der Grundlage der Position des Benutzerblicks und der Position der Benutzerauswahl, wobei der Schritt des Überprüfens der Benutzerauswahl durch das Computersystem die Schritte aufweist: Ermitteln, dass die Position des Benutzerblicks nicht innerhalb eines definierten Bereichs der Anzeige liegt, der der Position der Benutzerauswahl entspricht, durch das Computersystem, und entweder Ignorieren der Benutzerauswahl; oder daran anschließend Anfordern einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war, durch das Computersystem; und als Reaktion auf das Empfangen einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war, Ausführen eines oder mehrerer Befehle, die der Benutzerauswahl entsprechen, durch das Computersystem.
  2. Verfahren nach Anspruch 1, wobei der Schritt des Überprüfens der Benutzerauswahl durch das Computersystem die Schritte aufweist: Ermitteln, dass die Position des Benutzerblicks innerhalb eines definierten Bereichs der Anzeige liegt, der der Position der Benutzerauswahl entspricht, durch das Computersystem und als Reaktion darauf Ausführen von einem oder mehreren Befehlen, die der Benutzerauswahl entsprechen, durch das Computersystem.
  3. Verfahren nach einem der vorherigen Ansprüche 1 bis 2, wobei der Schritt des Überprüfens der Benutzerauswahl durch das Computersystem die Schritte aufweist: Ermitteln, dass die Position des Benutzerblicks nicht innerhalb eines definierten Bereichs der Anzeige liegt, der der Position der Benutzerauswahl entspricht, durch das Computersystem; daran anschließend Anzeigen einer oder mehrerer alternativer Benutzerauswahlaktionen durch das Computersystem auf der Grundlage der Position des Benutzerblicks; und als Reaktion auf das Empfangen einer Auswahl von einer der einen oder mehreren alternativen Benutzerauswahlaktionen Ausführen von einem oder mehreren Befehlen, die der einen von der einen oder den mehreren alternativen Benutzerauswahlaktionen entsprechen, durch das Computersystem.
  4. Verfahren nach einem der vorherigen Ansprüche, wobei zu dem Schritt des Erfassens der Augenbewegung des Benutzers durch das Computersystem, um die Position des Benutzerblicks auf der Anzeige zu ermitteln, ferner das Speichern eines Datensatzes mit Positionen und entsprechenden Häufigkeiten des Benutzerblicks auf der Anzeige durch das Computersystem gehört; und wobei zu dem Schritt des Empfangens der Benutzerauswahl an einer Position auf der Anzeige durch das Computersystem ferner das Speichern eines relativen Zeitpunkts der Benutzerauswahl durch das Computersystem gehört; und wobei zu dem Schritt des Überprüfens der Benutzerauswahl durch das Computersystem das Ermitteln durch das Computersystem gehört, ob ein oder mehrere Befehle, die der Benutzerauswahl entsprechen, auf der Grundlage davon ausgeführt werden sollen, ob eine Position des Benutzerblicks zum oder etwa zum relativen Zeitpunkt der Benutzerauswahl innerhalb eines definierten Bereichs der Anzeige liegt, die der Position der Benutzerauswahl entspricht.
  5. Verfahren nach Anspruch 4, wobei die Position des Benutzerblicks zum oder etwa zum relativen Zeitpunkt der Benutzerauswahl eine beliebige Position aus dem Datensatz von Positionen ist, bei denen der jeweils entsprechende Zeitpunkt weniger als eine Sekunde vor dem relativen Zeitpunkt der Benutzerauswahl und nicht nach dem relativen Zeitpunkt der Benutzerauswahl liegt.
  6. Verfahren nach Anspruch 4 oder 5, wobei die Position des Benutzerblicks zum oder etwa zum relativen Zeitpunkt der Benutzerauswahl eine beliebige Position aus dem Datensatz von Positionen ist, bei denen der jeweils entsprechende Zeitpunkt innerhalb einer Spanne von Zeitpunkten liegt, wobei die Spanne von Zeitpunkten auf der Grundlage einer Chronik einer oder mehrerer Benutzerauswahlaktionen, die von dem Benutzer bestätigt wurden, und für jede betreffende bestätigte Benutzerauswahl unter der einen oder den mehreren bestätigten Benutzerauswahlaktionen einer Position des Benutzerblicks innerhalb eines definierten Bereichs der Anzeige ermittelt wird, der einer Position der betreffenden bestätigten Benutzerauswahl, die zeitlich am nächsten bei der betreffenden bestätigten Benutzerauswahl liegt, und dem entsprechenden Zeitpunkt der Position entspricht.
  7. Verfahren nach einem der Ansprüche 4 bis 6, wobei der definierte Bereich der Anzeige, welcher der Position der Benutzerauswahl entspricht, einen Bereich von Koordinaten auf der Anzeige aufweist, der mindestens die Position der Benutzerauswahl enthält.
  8. Computerprogrammprodukt, das computerausführbare Befehle zum Ausführen des Verfahrensschritts gemäß einem der vorherigen Verfahrensansprüche aufweist.
  9. Computersystem für das Überprüfen einer Benutzerauswahl, aufweisend: einen oder mehrere Prozessoren, ein oder mehrere computerlesbare Speicher, eine(n) oder mehrere computerlesbare physische Speichereinheiten und Programmbefehle, die in der einen oder den mehreren Speichereinheiten gespeichert sind und durch den einen oder die mehreren Prozessoren über den einen oder die mehreren Speicher ausgeführt werden, wobei die Programmbefehle aufweisen: Programmbefehle zum Erfassen der Augenbewegung eines Benutzers, um eine Position des Benutzerblicks auf einer Anzeige zu ermitteln; Programmbefehle zum Empfangen einer Benutzerauswahl an einer Position auf der Anzeige; und Programmbefehle zum Überprüfen der Benutzerauswahl auf der Grundlage der Position des Benutzerblicks und der Position der Benutzerauswahl, wobei die Programmbefehle zum Überprüfen der Benutzerauswahl Programmbefehle aufweisen zum: Ermitteln, dass die Position des Benutzerblicks nicht innerhalb eines definierten Bereichs der Anzeige liegt, der der Position der Benutzerauswahl entspricht, und entweder Ignorieren der Benutzerauswahl; oder daran anschließend Anfordern einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war; und als Reaktion auf das Empfangen einer Bestätigung von dem Benutzer, dass die Benutzerauswahl beabsichtigt war, Ausführen eines oder mehrerer Befehle, die der Benutzerauswahl entsprechen.
DE102012221040.7A 2011-12-02 2012-11-19 Bestätigen der Eingabeabsicht unter Verwendung von Blickerfassung Active DE102012221040B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/309,688 2011-12-02
US13/309,688 US20130145304A1 (en) 2011-12-02 2011-12-02 Confirming input intent using eye tracking

Publications (2)

Publication Number Publication Date
DE102012221040A1 DE102012221040A1 (de) 2013-06-06
DE102012221040B4 true DE102012221040B4 (de) 2020-12-10

Family

ID=48326749

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012221040.7A Active DE102012221040B4 (de) 2011-12-02 2012-11-19 Bestätigen der Eingabeabsicht unter Verwendung von Blickerfassung

Country Status (3)

Country Link
US (1) US20130145304A1 (de)
DE (1) DE102012221040B4 (de)
GB (1) GB2497206B (de)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111388A1 (ja) * 2012-01-23 2013-08-01 三菱電機株式会社 情報表示装置
US20130246926A1 (en) * 2012-03-13 2013-09-19 International Business Machines Corporation Dynamic content updating based on user activity
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
US9626072B2 (en) * 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9342145B2 (en) * 2013-01-22 2016-05-17 Kabushiki Kaisha Toshiba Cursor control
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
KR20150031986A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
KR20150045637A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 사용자 인터페이스 운용 방법 및 그 전자 장치
WO2015065478A1 (en) * 2013-11-01 2015-05-07 Intel Corporation Gaze-assisted touchscreen inputs
US10394442B2 (en) * 2013-11-13 2019-08-27 International Business Machines Corporation Adjustment of user interface elements based on user accuracy and content consumption
CN104750401B (zh) * 2013-12-30 2018-03-13 华为技术有限公司 一种触控方法、相关装置以及终端设备
KR20150083553A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 입력 처리 방법 및 장치
US20150227289A1 (en) * 2014-02-12 2015-08-13 Wes A. Nagara Providing a callout based on a detected orientation
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
US10599326B2 (en) 2014-08-29 2020-03-24 Hewlett-Packard Development Company, L.P. Eye motion and touchscreen gestures
CN105824400A (zh) * 2015-01-06 2016-08-03 索尼公司 电子设备的控制方法、控制装置以及电子设备
US10860094B2 (en) * 2015-03-10 2020-12-08 Lenovo (Singapore) Pte. Ltd. Execution of function based on location of display at which a user is looking and manipulation of an input device
US20170038837A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US9746920B2 (en) 2015-08-25 2017-08-29 International Business Machines Corporation Determining errors in forms using eye movement
US10825058B1 (en) * 2015-10-02 2020-11-03 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
US10871821B1 (en) 2015-10-02 2020-12-22 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
US11157166B2 (en) * 2015-11-20 2021-10-26 Felt, Inc. Automove smart transcription
US9886584B2 (en) 2016-02-25 2018-02-06 International Business Machines Corporation Optimized redaction system
CN106066694A (zh) * 2016-05-30 2016-11-02 维沃移动通信有限公司 一种触摸屏操作响应的控制方法及终端
US20180088665A1 (en) * 2016-09-26 2018-03-29 Lenovo (Singapore) Pte. Ltd. Eye tracking selection validation
CN107219921B (zh) 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
US11237691B2 (en) 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US10572007B2 (en) 2017-12-15 2020-02-25 International Business Machines Corporation Preventing unintended input
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
RU2746201C2 (ru) * 2019-06-28 2021-04-08 Акционерное общество "Лаборатория Касперского" Система и способ невербальной активации сервиса на мобильном устройстве
CN111142656B (zh) * 2019-07-29 2024-03-19 广东小天才科技有限公司 一种内容定位方法、电子设备及存储介质
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11227103B2 (en) 2019-11-05 2022-01-18 International Business Machines Corporation Identification of problematic webform input fields
US11231833B2 (en) * 2020-01-10 2022-01-25 Lenovo (Singapore) Pte. Ltd. Prioritizing information when app display size is reduced
US10955988B1 (en) 2020-02-14 2021-03-23 Lenovo (Singapore) Pte. Ltd. Execution of function based on user looking at one area of display while touching another area of display
US20220397975A1 (en) * 2021-06-09 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and computer program for touch stabilization
US20230069764A1 (en) * 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
US11768536B2 (en) * 2021-09-09 2023-09-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for user interaction based vehicle feature control
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
WO2023241812A1 (en) * 2022-06-17 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for displaying a user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243054A1 (en) * 2003-08-25 2005-11-03 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
WO2010127714A2 (en) * 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including one or more coordinate input surfaces and method for controlling such an electronic apparatus
US20110175932A1 (en) * 2010-01-21 2011-07-21 Tobii Technology Ab Eye tracker based contextual action

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917476A (en) * 1996-09-24 1999-06-29 Czerniecki; George V. Cursor feedback text input method
US6601021B2 (en) * 2000-12-08 2003-07-29 Xerox Corporation System and method for analyzing eyetracker data
US7577925B2 (en) * 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243054A1 (en) * 2003-08-25 2005-11-03 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
WO2010127714A2 (en) * 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including one or more coordinate input surfaces and method for controlling such an electronic apparatus
US20110175932A1 (en) * 2010-01-21 2011-07-21 Tobii Technology Ab Eye tracker based contextual action

Also Published As

Publication number Publication date
GB2497206B (en) 2014-01-08
DE102012221040A1 (de) 2013-06-06
GB2497206A (en) 2013-06-05
US20130145304A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
DE102012221040B4 (de) Bestätigen der Eingabeabsicht unter Verwendung von Blickerfassung
CN104641316B (zh) 光标移动设备
DE112011105171B4 (de) Blockieren von Benutzerinhalten basierend auf der Position
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
DE202016001214U1 (de) Benutzerschnittstelle für Zahlungen
DE102015106814A1 (de) Datenübertragung basierend auf identifizierenden Informationen von Eingabegeräten
DE202012101429U1 (de) Berührungssensor mit adaptiver Berührungsdetektionsschwelle
DE112013003258T5 (de) Anmeldung unter Verwendung eines synthetischen Fingerabdruckbildes und Fingerabdruck-Erfassungssystems
DE202017105614U1 (de) Systeme und Computerprogrammprodukte für eine Touchscreen-Benutzeroberfläche eines kollaborativen Bearbeitungstools
KR20150096319A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
DE102010038655A1 (de) Verfahren und Vorrichtung für das Zoomen mit einer einzigen Berührung unter Verwendung einer Spiraldrehung
CN105308536A (zh) 用于显示器控制和定制姿势解释的动态用户交互
DE112020002566T5 (de) Benutzerschnittstellen zur zyklusverfolgung
CN104685449A (zh) 基于用户的目光的用户界面元素焦点
DE202011106877U1 (de) Modusumschaltung
DE112013004614T5 (de) Gestentastatur mit Gestenannullierung
DE112008003993T5 (de) Bestimmen von Berührungsstellen unter Verwendung von gestörtem Licht
DE102014118109A1 (de) Systeme und Verfahren zum Darstellen von Informationen auf einem Gerät basierend auf einem Eye-Tracking
US9684445B2 (en) Mobile gesture reporting and replay with unresponsive gestures identification and analysis
JP6203971B2 (ja) ディスプレイ装置を操作する方法及びシステム
CN104881225A (zh) 一种调节条的控制方法和装置
DE102011114151A1 (de) Ausdehnen des berührbaren bereichs eines berührungsbildschirms über die grenzen des bildschirms hinaus
CN108089737B (zh) 单台计算机的多鼠标控制方法及装置
DE112021004323T5 (de) Behebung eines benutzerschnittstellenfehlers
DE102015104659A1 (de) Informationsverarbeitungsverfahren und elektronisches Gerät hierfür

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003030000

Ipc: G06F0003010000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003030000

Ipc: G06F0003010000

Effective date: 20150401

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: KYNDRYL, INC., NEW YORK, US

Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINES CORPORATION, ARMONK, N.Y., US