DE19983513B4 - Verfahren für das Auswählen eines grafischen Objektes und System für die Steuerung einer Schnittstelle eines Rechnersystems hierfür - Google Patents

Verfahren für das Auswählen eines grafischen Objektes und System für die Steuerung einer Schnittstelle eines Rechnersystems hierfür Download PDF

Info

Publication number
DE19983513B4
DE19983513B4 DE19983513T DE19983513T DE19983513B4 DE 19983513 B4 DE19983513 B4 DE 19983513B4 DE 19983513 T DE19983513 T DE 19983513T DE 19983513 T DE19983513 T DE 19983513T DE 19983513 B4 DE19983513 B4 DE 19983513B4
Authority
DE
Germany
Prior art keywords
screen
user
movement
graphic object
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19983513T
Other languages
English (en)
Other versions
DE19983513T1 (de
Inventor
Franz Hatfield
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYNTHETIC ENVIROMENTS Inc
Original Assignee
SYNTHETIC ENVIROMENTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYNTHETIC ENVIROMENTS Inc filed Critical SYNTHETIC ENVIROMENTS Inc
Publication of DE19983513T1 publication Critical patent/DE19983513T1/de
Application granted granted Critical
Publication of DE19983513B4 publication Critical patent/DE19983513B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/977—Dynamic icon, e.g. animated or live action

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren für das Auswählen eines grafischen Objektes, welches auf einem Bildschirm (121; 201) dargestellt ist, wobei das Verfahren aufweist:
das Darstellen mindestens eines grafischen Objektes (309; 313; 317) in Bewegung auf dem Bildschirm;
das Sammeln von Eingabedaten von einem beweglichen Eingabegerät (117; 125, 127; 129, 131; 133; 203), welches durch einen Benutzer gesteuert ist, über eine vorbestimmte Zeitperiode;
das Detektieren, ob eine Übereinstimmung zwischen der Bewegungsrichtung eines grafischen Objektes auf dem Bildschirm und der Bewegungsrichtung des Eingabegerätes auf der Grundlage der Eingabedaten vorliegt; und
das Auswählen des grafischen Objektes auf dem Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes detektiert worden ist.

Description

  • Hintergrund der Erfindung
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft generell das Gebiet der Mensch-Computer-Wechselwirkung und der Benutzerschnittstellentechnologie. Spezieller betrifft die vorliegende Erfindung ein System und ein Verfahren, welches eine Absicht oder eine Auswahl eines Benutzers durch Vergleich bestimmt, z.B. die Reaktion der Augenbewegung des Benutzers als Resultat einer von einem Computer oder einer Software generierten und präsentierten Reizfolgenanimation.
  • 2. Hintergrundinformation
  • Die Mensch-Computer-Wechselwirkung (MCW) beschäftigt sich mit Wegen, auf denen Menschen und Computer kommunizieren können, um gemeinsam Probleme zu lösen. Die MCW-Technologie hat sich dramatisch verbessert, seit die ersten digitalen Computer mit Fernschreiberanschlüssen ausgestattet wurden. Die Benutzer kommunizierten zuerst mit den ersten Computern durch befehlsbasierte Texteingabe und primär durch eine Tastatur. Die Einführung der grafischen Benutzerschnittstelle, das sogenannte Fenster-Icon-Menü-Zeigemodell (FIMZ), führte eine räumli che Ausdehnung der Benutzerschnittstellen und eine neue Art der Wechselwirkung ein, was es ermöglichte, ein „Maus"-Zeigegerät zu verwenden, um Objekte und Fenster zu identifizieren, welche als Ziel der Kommunikation vorgesehen sind, und ein kleiner Befehlssatz, z.B. Mausklicks (das Klicken der Maus), kann eine spezielle Absicht übermitteln (z.B. Öffne dieses Fenster, Starte dieses Programm oder Erhalte die Hilfeinformation auf diesem Punkt). In jedem Fall wird das Mausklicken in dem Zusammenhang interpretiert, über welchen Benutzerschnittstellenobjekten die Maus aktuell positioniert ist. Heutige Schnittstellen werden „grafische Benutzerschnittstellen" genannt, weil sie vieles von früheren textbasierten Kommunikationen zwischen den Menschen und dem Computer durch grafische Objekte setzen, welche fähig sind, Informationen zu übermitteln und eine Eingabe zum Erreichen ähnlicher Auswirkungen entgegenzunehmen, welche früher durch textbasierte Verfahren erreicht wurden. Trotzdem waren all diese Verfahren „befehlsbasiert", mit einem expliziten Dialog, welcher zwischen dem Benutzer und dem Computer stattfindet, und wobei der Benutzer Befehle an den Computer erteilt, etwas zu tun. Im Gegensatz dazu überwachen nicht befehlsbasierte Schnittstellen (siehe z.B. Nielsen, Jakob „Noncommand User-Interfaces", Communications of the ACM, Band 36, Nr. 1, Januar 1993, Seiten 83–99) passiv den Benutzer, sammeln Daten über die jüngste Geschichte der Interaktionen, der Kopfposition, der Position des Augenblickes (eye gaze) und andere, so dass sie besser das Problem des Benutzers charakterisieren können, und sind in einer Position, in der sie automatisch Unterstützung anbieten, welche genau auf den aktuellen Problemzusammenhang gerichtet ist. Zum Beispiel, wenn ein Computerprogramm die Information hat, auf welches Benutzerschnittstellenobjekt der Benutzer im Moment sieht, kann das Programm eine detaillierte Information über das Thema anbieten, welches durch das Objekt repräsentiert wird (siehe z.B. Tognazzini, US-Patent Nr. 5,731,805).
  • Heutige Computersysteme stellen Benutzern eine begrenzte Auswahl von Eingabegeräten zur Verfügung. Zusätzlich zur Tastatur werden PC's und Workstations stets vom Hersteller mit einer Art Zeigegerät, wie z.B. einem Mausgerät, ausgestattet. Die Benutzer können andere Zeigegeräte von einer Vielfalt von Drittlieferanten erwerben. Diese anderen Zeigegeräte umfassen ferngesteuerte Mäuse, Track- Bälle, Force-Bälle, Leuchtstifte, Bildschirmberührungskonsolen und andereexotische Hardware mit Kopfzeiger und Gebärdengeräte (z.B. Datenhandschuhe). All diese Geräte können ein Ausgangssignal produzieren, welches geeignet ist, einen Cursor auf einem Bildschirm zu steuern. Als Alternative können Benutzer Spracherkennungssoftware erwerben, was die Notwendigkeit für irgendein Zeigegerät oder eine Tastatur herabsetzt oder nahezu eliminiert.
  • Die Interaktion mit einer befehlsbasierten grafischen Benutzerschnittstelle umfasst gewöhnlich einen Zweischrittprozess. Erstens muss ein Benutzerschnittstellenobjekt zum „Fokus" werden, und zweitens muss der Benutzer seine „Zustimmung" erklären, so dass der Computer die Handlung ausführen kann, welche mit dem Benutzerschnittstellenobjekt verbunden ist. Dieser Prozess kann der Interaktionsform der „Fokus-Zustimmung" zugeordnet werden. Zum Beispiel umfasst das Drücken einer Benutzer-Schnittstellen-Steuerungs-Schaltfläche (Objektes) erstens das Positionieren des Mauscursors über der Schaltfläche, und dann das Nachuntendrücken der linken Maustaste, während der Mauscursor über dem räumlichen Bereich der Schaltfläche verbleibt. In Befehlszeilen- (textbasierten) Schnittstellen werden Fokus und Zustimmung durch das Eintippen des gewünschten Befehls des Anwendungsprogramms oder Betriebssystems und durch Drücken der Enter-Taste erteilt. Tatsächlich spezifiziert der Benutzer/die Benutzerin, was er oder sie von dem Computer auszuführen verlangt, und kontrolliert dies auf Richtigkeit, bevor die Enter-Taste gedrückt wird.
  • Der Augenblickpunkt (ABP) (eye point-of-gaze (POG)) wurde für die Anwendung in einer Steuerung einer Schnittstelle bereits in den 70er Jahren vorgeschlagen (siehe z.B. Bolt, Richard A., The Human Intertace: Where People and Computers Meet, Lifetime Learning, London, 1984). In seiner ersten Konzeptionierung würde ein Computerbenutzer ein bestimmtes Gebiet auf einer Computersichtanzeige fixieren, und nach dem dortigen Festhalten seines Blicks für einige Zeit (z.B. eine Verweilzeit) würde der Computer entsprechend reagieren. Zum Beispiel, wenn der Benutzer auf den Buchstaben „A" für mehr als 0,5 Sekunden starrt, kann er als „ausgewählt" betrachtet werden, und der Computer kann durch das Schreiben eines „A" in eine Texteingabebox antworten. Eine Anwendung dieses Verfahrens würde eine Augenblick-aktivierte Tastatur sein, welche speziell für solche Menschen nützlich wäre, welche eine konventionelle Tastatur nicht benutzen können oder wollen. Der Augenblickpunkt wurde für die Anwendung in Sichtanzeigen der Luftfahrt vorgeschlagen, um das manuelle Arbeitspensum zu reduzieren (siehe z.B. Calhoun u.a., Gloria L., „Eye-Controlled Switching for Crew Station Design", Proceedings of the Human-Factors-Society, 28. jährliches Treffen; 1984; Borah, Joshua "Helmet Mounted Eye Tracking for Virtual Panoramic Display Systems", Teil I und II: Eye Tracker Specification and Design Approach", Endreport, AAMRL-TR-89-019, AAMRL, WPAFB, OH, 1989), für die Steuerung von am Kopf montierten Sichtanzeigen (siehe z.B. Smyth, US-Patent Nr. 5,689,619) und für die allgemeine Computernutzung (siehe z.B. Jacob, Robert J. K., „The Use of Eye Movements in Human-Computer Interaction Techniques: What You Look At is What You Get", ACM Transactions on Information Systems, Band 9, Nr. 3, April 1993, S. 152–169; Hatfield u.a., Franz, „Eye/Voice Mission Planning Interface", publiziert als Armstrong Laboratory Tech. Report AL/CF-TR-1995-0204 Synthetic Environments, Inc., McLean, VA 1995).
  • Aus „Spherical Menu Selector"/"Uses of the Spherical Selector" (in: Research Disclosure, November 1989, Nr. 307123/307074) ist es bekannt, auswählbare grafische Objekte einer grafischen Benutzerschnittstelle in Bewegung darzustellen. Die US 5 745 719 A offenbart ein Verfahren, bei dem eine Cursorposition auf einem Bildschirm periodisch abgetastet und die zeitliche Veränderung analysiert wird, um aus den Trajektorien Kommandosignale zu erzeugen. Aus der US 5 360 971 A ist ein Eye-Tracking-Interface-System bekannt, um Kommunikations- und Kontrollfunktionen als Ergebnis vorbestimmter Augengesten zu erzeugen. Dabei erfolgt die Kalibrierung des Systems durch das Verfolgen eines auf einem Bildschirm in Bewegung dargestellten Cursors mit den Augen.
  • Ausführungseinschränkungen auferlegt durch das menschliche visuelle System
  • Das menschliche visuelle System erzeugt verschiedene Typen von Augenbewegungen, was in Borah zusammengefasst ist. Beim Abrastern eines visuellen Schauplatzes besteht die Augenbewegung einer Person typischerweise aus einer Reihe von Stopps an visuellen Zielen, genannten Fixierungen, und schnellen Sprüngen zwischen den Zielen, genannt Saccaden. Die visuelle Information wird vorrangig während der Fixierungen erlangt, welche typischerweise mindestens 200 Millisekunden dauern. Saccaden dauern von 30 bis 120 Millisekunden und erreichen Geschwindigkeiten von 400 bis 600 Grad pro Sekunde. Während der Fixierungen zeigen die Augen verschiedene Arten von unwillkürlicher Bewegung, einschließlich Mikrosaccaden (auch Schnipser genannt), Abtriften und Zucken. Mikrosaccaden, die Ursache der größten Bewegung, dienen dem Zweck des Wiederzentrierens eines Bildes auf der Fovea. Diese unwillkürliche Bewegung ist gewöhnlich kleiner als 1 ° des visuellen Winkels, aber sie ist wichtig für den Entwurf des Eye-Tracking-Systems und der Benutzerschnittstelle, welche die Eye-Tracking-Eingabe nutzt. Wegen dieser unwillkürlichen Bewegung, wenn eine Benutzer versucht, sich auf ein visuelles Ziel zu fixieren, welches nahe bei einem anderen Ziel ist, ist es schwierig für das Eye-Tracking-System, ausreichend scharf zu unterscheiden, welches Ziel gemeint ist, einfach weil die beobachtete Erscheinung, die unwillkürliche Augenbewegung, nicht gesteuert werden kann. Gegeben durch beides, das eigene Verhalten des menschlichen visuellen Systems und die Genauigkeit des erst aufgebauten Augen-Bahnaufzeichnungssystems, ist es erforderlich, dass die Benutzer auf das gewünschte Ziel ausreichend lang starren, so dass das Augen-Bahnaufzeichnungssystem das gewünschte Ziel genauer erkennen kann. Dies wird gewöhnlich durch eine Art von durchschnittsbildendem Prozess ausgeführt, so dass der Schwerpunkt der Beobachtung über eine bestimmte Zeitperiode eine vernünftige Abschätzung dessen ergibt, was der Benutzer fixiert hat. Ein Weg, um dem Benutzer die Bürde des Starrens zu erleichtern, ist der, die visuellen Ziele größer zu machen, aber dies hat den negativen Effekt, dass hierfür zusätzlicher Bildschirmplatz erforderlich ist. In Luftfahrtanwendungen z.B. ist der Bildschirmplatz knapp und sehr wichtig. Die Aussichten zum Erreichen einer besseren scharten Unterscheidung von stationären Zielen mit einer besseren Augen-Bahnaufzeichnungsgenauigkeit sind nicht vielversprechend, da die Genauigkeitsstufen bei heutigen künstlichen Systemen schon bei etwa einem halben Grad des visuellen Winkels liegen. Da die unwillkürliche Bewegung eines Auges 1,0° nahe kommen kann, wie oben diskutiert, arbeiten die heutigen Systemgenauigkeitsstufen bereits innerhalb der Leistungsgrenze des menschlichen visuellen Systems.
  • Wie hier weiter offenbart ist, fordert die vorliegende Erfindung das Inbewegungbringen eines computergenerierten grafischen Objektes, eine Form der Computeranimation. Animation wird in Computerschnittstellen in erster Linie eher dazu verwendet, Information an den Benutzer zu übermitteln, als als eine Einrichtung zum Erhalten von Information von dem Benutzer. Animation wird verwendet, um Verständnis zu vermitteln, um das Benutzerinteresse aufrechtzuerhalten sowie um einen Unterhaltungswert zur Verfügung zu stellen. Animation wird benutzt, um das Interesse auf einen speziellen Punkt auf dem Computerbildschirm zu lenken, wonach vom Benutzer erwartet wird, dass er eine offenkundige Ausführungshandlung mit einem Eingabegerät unternimmt. Zum Beispiel Videospiele benutzen die Animation, um eine Reaktion des Spielers anzuregen, z.B. das Schießen auf ein Ziel. Aber die angeregte Benutzereingabe drückt keine Wahl oder eine notwendige Steuerung dessen aus, was als nächstes im Spiel stattfindet, gibt aber dem Benutzer die Möglichkeit, seine oder ihre Fähigkeiten zu zeigen und ermöglicht es, dass sich der Benutzer an dem Wettkampf erfreut. Die Animation wird nicht direkt als Mittel dafür genutzt, von dem Benutzer eine Auswahlinformation zu erhalten.
  • Probleme bei der Verwendung des Augenblicks in einer Schnittstelle
  • Es gibt einige Probleme in konventionellen Systemen, welche Augenblicke (eye gaze) nutzen, um eine Computerschnittstelle zu steuern. Erstens, der heutige Stand der Technik stützt sich auf ausgedehnte, unnatürliche Verweilzeiten, womit bewirkt wird, dass ein Benutzerschnittstellenobjekt in den Fokus gerückt wird. Zweitens, wenn es einem Benutzer im derzeitigen Stand der Technik glückt, dass ein Benutzerschnittstellenobjekt in den Fokus gerückt wird, ist eine andere Form der Eingabe erforderlich, um die Zustimmung zu erklären. Obwohl die Zustimmung durch Augenblinzeln erklärt werden kann oder durch das Erfordernis einer entsprechend größeren Verweilzeit über dem im Fokus stehenden Benutzerschnittstellenobjekt, ist dies schwierig und unnatürlich.
  • Wenn ein Computerbenutzer den Cursor über ein grafisches Benutzerschnittstellenobjekt bewegt, hat der Benutzer nominell vier (4) verschiedene Handlungen, welche mit der Zwei-Tasten-Maus ausgeführt werden könnten, und sechs (6) verschiedene Handlungen, welche mit einer Drei-Tasten-Maus ausgeführt werden können, wobei einzelne und Doppelklicks erlaubt sind. Die Anzahl wird größer, wenn Akkordtasten erlaubt sind, z.B. Klicken der linken Maustaste während die Steuerungstaste gedrückt ist. Jedoch, wenn der Augenblickpunkt allein verwendet wird, ist der Bereich möglicher Ausdrücke, verglichen mit einer Maus, relativ begrenzt. Einfach durch das Feststellen, dass ein Benutzer ein Objekt fixiert, kann noch nicht klar sein, was der Wunsch oder die Auswahl des Benutzers ist.
  • Vermutlich kann man die Länge einer Verweilzeit einer kleinen Gruppe von Handlungen zuordnen, um eine Unterscheidung zu erlangen. Zum Beispiel, wenn der Benutzer den Augenblick für 0,5 Sekunden beibehält, würde man auf Handlung 1 schließen; für 0,5 bis 1,0 Sekunden würde man auf Handlung 2 schließen; und für Verweilzeiten größer als 1,0 Sekunden würde man auf Handlung 3 schließen. Das Hauptproblem mit diesem Verfahren ist, dass es schwierig für die Menschen ist, ihren Blickpunkt mit entsprechender Genauigkeit für gerade diese relativ kurzen Zeitperioden zu steuern. Zusätzlich, in Aufgaben, welche eine hohe Leistung und möglichst parallele Operationen erfordern (z.B. Sprach- und visuelle Aufgaben) reduziert die kognitive Anstrengung, welche zum Aufrechterhalten des Blick-Punktes erforderlich ist, die verfügbare Zeit, welche anderen Aufgaben gewidmet wird, z.B. dem Abrastern anderer Bereiche der Sichtanzeige, dem Ausführen manueller Handlungen oder der Formulierung gesprochener Antworten. Als Resultat dieser Begrenzungen, ist, wenn der Augenblick in einer Schnittstelle Verwendung findet, es gewöhnlich wünschenswert, wenn nicht absolut notwendig, andere Eingabemodalitäten einzuführen, z.B. Augenblinzeln, Stimme, Schalter oder Tastendruckeingabe, um den Dialog mit dem Computer zu vervollständigen (siehe z.B. Hatfield u.a.; Calhoun u.a.; Jacob; Smyth).
    •
  • Es ist daher die Aufgabe der vorliegenden Erfindung, die zuvor genannten Nachteile des Standes der Technik zu überwinden und ein verbessertes Verfahren und System für das Auswählen eines grafischen Objektes, welches auf einem Bildschirm dargestellt ist, bereitzustellen.
  • Zusammenfassung der Erfindung
  • Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 und Anspruch 5, sowie durch ein System gemäß Anspruch 12 und Anspruch 1–6.
  • Wie hier weiter offenbart ist, versieht die vorliegende Erfindung die Benutzer mit alternativen Mitteln für die Steuerung und die Informationseingabe in einen Computer. Die Erfindung sieht einen Weg für den Computer vor, die Augenbewegung des Benutzers zu überwachen, die Augenbewegung mit der bekannten Bewegung eines computergenerierten, animierten grafischen Objektes zu vergleichen und zu bestimmen, welche Funktionen der Benutzer ausführen möchte und schließlich diese Funktionen auszuführen.
  • Die vorliegende Erfindung nutzt eine Benutzerschnittstellensteuerung, welche sensitiv auf den Augenblick des Benutzers ist. Sie stützt sich darauf, dass ein grafisches Obiekt, genannt ein "Komet", auf dem Bildschirm in Bewegung versetzt wird (d.h. Animation), welches visuell von dem Benutzer erreicht werden kann. Die Erfindung kann benutzt werden, um eine Benutzerschnittstelle zu betreiben allein unter Verwendung des Augenblicks. Der Benutzer verfolgt visuell einen der Kometen, und nach einer kurzen Zeitdauer bestimmt der Computer, durch Vergleich der bekannten Bahnen des Kometen und der detektierten Bewegungsbahn des Augenblicks des Benutzers, dass der Benutzer wünscht, die Handlung oder die Gruppe von Handlungen auszuführen, die in Verbindung mit dem Kometen steht. Der Prozess, in dem visuell erreicht wird, dass ein Komet in den Fokus rückt, liefert auch die Zustimmung, wobei zwei Funktionen (der Fokus und die Zustimmung) zu einer Handlung zusammenfallen. Anders als bei anderen Augenblicks-Schnittstellenkonzepten ist eine separate manuelle Handlung oder ein Augenblinzeln nicht erforderlich, um die Dialog-Interaktion zu vervollständigen.
  • Eine Vielzahl von Kometen kann in Bewegung gesetzt werden, wodurch eine Anordnung von Kometen hervorgerufen wird. Wenn hier nur ein Objekt in Bewegung ist, wird sein visuelles Erreichen und damit seine Auswahl in dem Ausführen exakt einer Gruppe von Handlungen durch den Computer resultieren. Gibt es eine Mehrzahl bewegter Objekte, z.B. n Objekte, dann wird der Computer, abhängig davon, welches Objekt visuell erreicht und ausgewählt ist, die Gruppe von Handlungen ausführen, welche mit dem Objekt verbunden ist. Daher stellt die Schnittstelle mit n Objekten in Bewegung zu jeder gegebenen Zeit effektiv ein Menü mit n Auswahlmöglichkeiten zur Verfügung.
  • Die Erfindung bezieht sich auf Probleme im Stand der Technik bei der Verwendung des Augenblicks in einer Schnittstelle durch: (i) das Ersetzen unnatürlicher und schwieriger Augenfixierungsaufgaben durch natürlichere und leichter auszuführende reibungslose Verfolgung der Augenbewegungsaufgaben (Zielverfolgen); (ii) Kombination der interaktiven Fokus- und Zustimmungsschritte in einer einzelnen gemeinsamen Handlung; und (iii) Präsentieren einer Vielzahl von Kometen, welche sich in verschiedenen Bahnen und/oder Richtungen und/oder Abschnitten bewegen, wodurch eine Vielzahl von Auswahlmöglichkeiten entsteht, welche in einem relativ kompakten Sichtanzeigebereich präsentiert wird.
  • Ein Grundprinzip, welches der vorliegenden Erfindung zugrunde liegt, ist, dass, obwohl die Eye-Tracking-Technologie und das menschliche visuelle System wahrscheinlich nahe den theoretischen Grenzen für stationäre Ziele arbeiten, durch das Versetzen der visuellen Ziele in Bewegung die ungewollte unwillkürliche Augenbewegung keine Konsequenz hat. Das ist so, weil, wenn das Auge und das Ziel beide in Bewegung sind, das Rauschen im Datensignal (statistische Varianz) mit einem guten Systementwurf reduziert werden kann. Zudem arbeitet das Auge bei Zielen mit einer ebenen Bahn, welche sich in einem Bereich von 1 bis 30 Grad des visuellen Winkels pro Sekunde bewegen, besonders gut, einer Form der Bewegung, welche als reibungslose Verfolgung bezeichnet wird. Reibungslose Verfolgung ist schwierig für Menschen in der Abwesenheit eines beweglichen Ziels, jedoch kann Training helfen. Daher sind, um in einer Computerschnittstelle das vorteilhafte Modell einer reibungslosen Verfolgung auszunutzen, die Benutzerschnittstellensteuerungen der Erfindung in Bewegung gesetzt (d.h. sie sind animiert).
  • Es ist ein computergesteuertes Verfahren für das Darstellen von einem oder mehreren animierten Computergrafikobjekten für einen Computerbenutzer gezeigt. Der Computer ist verbunden mit einem externen Eye-Tracking-System, oder hat andererseits seine eigenen Hardwaregeräte und Software, welche es erlauben, den Blick-Punkt des Benutzers zu erlangen. Die Hardware und Software ist in der Lage, den Blick-Punkt des Benutzers auf einem Computersichtanzeigegerät zu bestimmen. Das computergesteuerte Verfahren zeigt ein oder mehrere animierte Computergrafikobjekte auf dem Bildschirm, vergleicht die Bahn des Blick-Punktes des Benutzers mit den bekannten Bahnen verschiedener grafischer Objekte und bestimmt dann, welches Objekt durch den Benutzer verfolgt wird. Nach einer willkürlichen Zeitperiode, während der die Bahn des Blick-Punktes des Benutzers und die grafischen Objektbahnen verglichen werden und Gegenstand mehrerer Bedingungen der Anpassungsgüte der Bahn des Benutzers zu den bekannten Bahnen verschiedener Objekte werden, wird bestimmt, wann eine ausreichende Übereinstimmung erzielt wurde. Es führt dann, ohne weitere Eingabe durch den Benutzer, die Handlung aus, welche mit dem Objekt verbunden ist, dessen Bahn die besten Übereinstimmungen mit der Bahn des Blickpunktes des Benutzers aufweist.
  • In einem anderen Aspekt ist ein Informationspräsentationssystem offenbart, welches eine zentrale Recheneinheit, einen Speicher, externe Speichergeräte, Medien, Eingabe-, Ausgabeschnittstellen, ein Bildschirmgerät und eine Hardware, Software und/oder Firmware, zur Bestimmung des Blick-Punktes des Benutzers auf einem Sichtanzeigegerät besitzt. Die Software, welche den Blick-Punkt des Benutzers auf dem Bildschirm bestimmt, kann auf einem externen Speichermedium liegen, und in einem Prozessbereich der zentralen Recheneinheit ausgeführt werden, oder sie kann auf einem separaten eigenständigen Eye-Tracking-System liegen, welches mit der zentralen Recheneinheit und dem Speicher durch eine Eingabe/Ausgabeschnittstelle verbunden ist. Die Vorrichtung umfasst ein Sichtanzeigegerät, welches in der Lage ist, ein oder mehrere animierte grafische Objekte auf der Sichtanzeige darzustellen. Die Vorrichtung umfasst auch ein Blick-Punkt-Detektionsverfahren, welches den Punkt im dreidimensionalen Raum bestimmt, an welchem die Bahnlinie des Blickes des Benutzers (eine Linie, welche vom Auge des Benutzers auf dem Bildschirm gezogen ist), die sichtbare Bildschirmfläche des Bildschirmgerätes schneidet. Die Vorrichtung umfasst auch ein Verfahren zur Bestimmung, welche Benutzerschnittstellenobjekte durch den Blick-Punkt des Benutzers gekreuzt werden, einschließlich der Objekte (d.h. Kometen), welche so animiert werden, dass sie sich in einer vorbestimmten Bahn bewegen, und reagieren, wenn sie ausgewählt werden.
  • Entsprechend einem anderen Aspekt ist ein System und ein Verfahren für die Bestimmung des point-of-interest eines Benutzers vorgesehen auf der Grundlage der Bewegung eines Eingabegerätes (wie eines Mausgerätes, eines Trackballs, eines Joysticks, eines Datenhandschuhs usw.). Wenn die Bewegungsrichtung eines Kometen so bestimmt ist, dass sie der Bewegungsrichtung des Eingabegerätes entspricht, wird der Komet ausgewählt und eine Handlung oder eine Aufgabe, welche mit dem ausgewählten Kometen verbunden ist, kann ausgeführt werden. Zusätzlich zum Zulassen der Auswahl von Kometen auf der Basis des Augenblicks des Benutzers erlaubt die vorliegende Erfindung auch, dass Kometen auf der Grundlage der Bewegung eines willkürlichen Eingabegerätes ausgewählt werden.
  • Weitere Eigenschaften und/oder Variationen können zusätzlich zu den oben genannten vorgesehen sein. Zum Beispiel kann die Erfindung in verschiedenen Kombinationen und Unterkombinationen der oben beschriebenen Eigenschaften und/oder Kombinationen und Subkombinationen von verschiedenen weiteren Eigenschaften vorgesehen sein, welche unten in der detaillierten Beschreibung genannt sind.
  • Das Obige und andere Objekte, Eigenschaften und Vorteile der vorliegenden Erfindung werden im Folgenden näher ausgeführt.
    •
  • Kurzbeschreibung der Zeichnungen
  • Die vorliegende Erfindung wird weiter beschrieben in der folgenden detaillierten Beschreibung unter Bezugnahme auf die genannte Vielzahl von Zeichnungen mittels nicht einschränkender Beispiele bevorzugter Ausführungsformen der vorliegenden Erfindung, in welchen die Bezugszeichen jeweils ähnliche Teile in den Illustrationen bezeichnen, und wobei:
  • 1 ein Beispiel einer Rechnersystemumgebung zeigt, welche die Erfindung umfassen kann;
  • 2 ein Beispiel eines Bildschirmgeräts und einer Videokamera (mit einer optionalen Beleuchtungsquelle) für das Erhalten eines Bildes von einem oder beiden Augen eines Benutzers zeigt;
  • 3A, 3B, 3C und 3D in Übereinstimmung mit einem Aspekt der Erfindung, ein Beispiel einer Abfolge von Benutzer und Computerwechselwirkungen zeigen, welche eine Gruppe von Kometen zur Steuerung eines computerbasierten Systems aufruft und nutzt;
  • 4A, 4B, 4C, 4D, 4E, 4F, 4G, 4H, 4I und 4J verschiedene Beispiele von Ausführungsformen von grafischen Objekten (d.h. Kometen), in Übereinstimmung mit der Erfindung, zeigen;
  • 5 ein Beispiel eines High-Level-Flussdiagramms von verschiedenen Prozessen und Operationen ist, welche für das Erschaffen, die Nutzung und die schließliche Zerstörung einer Kometenanordnungssteuerung, in Übereinstimmung mit einem Aspekt der Erfindung, ausgeführt werden;
  • 6 ein Beispiel eines Flussdiagramms, in Übereinstimmung mit einem Aspekt der Erfindung, von verschiedenen Prozessen und Operationen ist, welche für das Erschaffen einer Kometenanordnung und die Bestimmung, ob ein spezieller Komet durch den Benutzer erreicht wurde und nachfolgend ausgewählt wurde, ausgeführt werden; und
  • 7 ein Beispiel eines Flussdiagramms von verschiedenen Prozessen und Operationen ist, welche für das Erschaffen, die Darstellung, und das In-Bewegung-Setzen eines einzelnen grafischen Objektes oder Kometen, und für die Bestimmung, wann der Komet erreicht und durch den Benutzer verfolgt wurde, ausgeführt werden können.
  • Detaillierte Beschreibung von bevorzugten Ausführungsformen
  • Die vorliegende Erfindung ist eine Benutzerschnittstellensteuerung, welche sensitiv auf den Blick eines Auges des Benutzers ist. Sie stützt sich auf das In-Bewegung-Setzen (d.h. Animation) eines oder mehrerer grafischer Objekte oder Kometen auf einer Sichtanzeige, welche visuell durch den Benutzer erreicht werden können. Die Erfindung kann benutzt werden, um eine Benutzerschnittstelle zu betreiben, unter alleiniger Verwendung des Augenblickes. Der Benutzer erreicht visuell und verfolgt einen Kometen, und nach einer kurzen Zeitdauer bestimmt der Computer, durch Vergleich der bekannten Bahn des Kometen und der detektierten Bewegungsbahn des Augenblicks des Benutzers, dass der Benutzer eine Handlung oder eine Gruppe von Handlungen ausführen möchte, welche mit dem Kometen verbunden sind.
  • Die Erfindung kann in verschiedenen Anwendungen angewendet werden und innerhalb einer breiten Vielfalt von Betriebsumgebungen. Zum Beispiel kann die Erfin- dung zur Steuerung einer Computersichtanzeige angewendet werden, montiert auf oder innerhalb eines Desktops, einer Wand, einer Maschinensteuerplatte, einer Fahrzeugsteuerstation oder montiert auf dem Kopf als Teil eines tragbaren Computersystems. Es kann für die Steuerung von Computerbildschirmen verwendet werden mit dem generellen Zweck von Rechenanwendungen, einschließlich Regierungs-, Geschäfts- und Heim-Anwendungen, welche grafische Benutzerschnittstellen verwenden. Es kann für die Steuerung von Internet-Web-Browsern verwendet werden. Die Erfindung kann auch als Teil einer Schnittstelle genutzt werden, welche entworfen ist, Personen mit verschiedenen Behinderungen Zugang zu Computerressourcen ohne Verwendung von Händen oder mit einer minimalen Verwendung von Händen zu verschaffen. Weiter kann sie als Teil einer Schnittstelle für spezielle Anwendungen einschließlich Raumfahrt, Luftfahrt und Bodenfahrzeuganwendungen genutzt werden, speziell wo die Benutzer an operative Aufgaben gebunden sind, welche ein hohes kognitives, wahrnehmendes und manuelles Arbeitspensum erfordern. Sie kann in bemannten Fahrzeugen, wie im Flugzeug, Hubschrauber, im Raumfahrzeug, in motorisierten Bodenfahrzeugen und der Fernsteuerung von unbemannten Raumfahrzeugen verwendet werden. Sie kann in Luftüberwachungs zentren, Telekommunikationszentren, einschließlich Einrichtungen für Telekonferenzen, und anderen Typen von Befehls- und/oder Überwachungszentren benutzt werden. Sie kann in einer Herstellungsprozesssteuerung und anderen Betriebsablaufsteuerungen verwendet werden. Außerdem kann sie als Teil einer Schnittstelle zu Simulatoren und Unterhaltungssystemen, einschließlich „virtual reality"-Systemen, Server-Unterhaltungssystemen und Desktop-Unterhaltungssystemen verwendet werden.
  • Eine spezielle Anwendung der Erfindung ist die Steuerung von Luftfahrtsichtanzeigen in einem Kampfflugzeug. In bisherigen Flugzeugen wird ein Großteil der Steuerung von Sichtanzeigen durch manuelle Handlungen ausgeführt, entweder man drückt Schaltflächen auf den Sichtanzeigen selbst oder man drückt Tasten; welche sich auf dem Gashebel und dem Steuerknüppel des Piloten befinden. Zum Beispiel, wenn ein Pilot eine Sichtanzeige für einen generellen Anwendungszweck in einem Flugzeug neu figurieren möchte, um ein Luftradarbild anstelle des augenblicklichen Oberflächenradarbild anzuzeigen, muss der Pilot manuell die richtige Taste oder eine Folge von Tasten drücken. Durch die Bahnaufzeichnung der Augenblickpunkt-Position und unter Verwendung der Eigenschaften der Erfindung können viele dieser Steuerungshandlungen durch die Darstellung animierter Grafiken ausgeführt werden, welche, wenn sie durch das Auge erreicht und verfolgt werden, für eine bestimmte Zeitperiode, in spezifischen Systemantworten resultieren, z.B. in der Änderung der Konfiguration einer Sichtanzeige, wie oben beschrieben.
  • Die vorliegende Erfindung kann im computer- oder mikroprozessorbasierenden Systemen eingebaut werden. 1 illustriert ein Beispiel einer Rechnersystemumgebung, in welcher die Erfindung verkörpert sein kann. Wie in 1 gezeigt, besteht das System aus einem Rechner (host system) 101 mit verschiedenen angebrachten Eingangs- und Ausgangsgeräten. Der Rechner 101 kann ein oder mehrere zentrale Recheneinheiten 105, 107, interne Speicher mit direktem Zugriff 109, einen Videoanzeigeadapter 113 und eine Anzahl von Eingangs- und Ausgangsports 123 umfassen, wobei all diese durch einen Rechnersystembus 103 miteinander verbunden sind. Als nicht einschränkendes Beispiel kann ein Intel Pentium-Mikroprozessor oder ein anderer Typ eines Mikroprozessors mit einer Betriebsgeschwindigkeit von 200 MHz oder größer für die Prozessoren 105, 107 eingesetzt werden, und ein Speicher mit einem direkten Zugriff mit 64 Mb oder einer größeren Kapazität kann für die Speicher 109 verwendet werden. In der Ausführungsform von 1 sind die Tastatur 115 und die Maus 117 Beispiele für Eingabegeräte, welche mit den Input/Output (I/O)-Ports 123 verbunden sind. Ein externes Dateispeichergerät 119, mit dem Rechner 101 durch die I/O-Ports 123 verbunden gezeigt, kann eine Hard-Disc, eine CD-ROM und/oder irgendein anderes nicht flüchtiges Speichermedium aufweisen. Ein Videosichtanzeigegerät 121 ist mit dem System durch einen Videosichtanzeigeadapter 113 verbunden gezeigt. Die vorliegende Erfindung erfordert eine Quelle für die Eye-Tracking-Daten, einschließlich einer Videokamera. Wenn diese Quelle ein externes Eye-Tracking-System ist, kann es durch einen Eingangs-Ausgangsport 123 verbunden werden. In 1 sind eine Videokamera 127 und eine Eye-Tracking-Steuerung 125 mit den I/O-Ports 123 verbunden und vorgesehen als ein Beispiel eines solchen Eye-Tracking-Systems. Im Fall eines nicht einschränkenden Beispiels kann ein ASL-Modell 4000 oder ein Modell 5000 Eye-Tracking-System, verfügbar von Applied Science Laboratories (Bedford, MA), als Eye-Tracking-System angewendet werden, welches mit einem seriellen I/O-Port oder I/O-Ports 123 verbunden ist. Als Alternative kann das Eye-Tracking-System oder die Quelle durch eine Systembusadapterkarte 112 verbunden werden. Zum Beispiel werden eine Videokamera 131 und eine Eye-Tracking-Steuerung 129 mit der Adapterkarte 112 verbunden und können als ergänzende oder alternative Eye-Tracking-Quelle vorgesehen sein. Als ein weiteres Beispiels kann ein ISCAN-Headhunter, verfügbar von ISCAN (Burlington, MA), als Eye-Tracking-System, das über eine Adapterkarte 112 mit einem Bus 103 verbunden ist, benutzt werden. Wenn eine Systemkonfiguration gewählt wird, welche keinen externen Eye-Tracker verwendet, aber die Eye-Tracking-Steuerungsfunktionen innerhalb des Rechners 101 durchführt, dann erfordert eine solche Konfiguration mindestens eine Videokameraquelle 132 und eine Videoaufnahmekarte (oder einen Bilder-Greifer) 111. Da die Erfindung die Bahnverfolgung des Blick-Punktes des Benutzers in Echtzeit ausführt, ist es wünschenswert, sie für ein Betriebssystem zu implementieren, welches bevorrechtigtes Multitasking unterstützt, und es ist auch wünschenswert, obwohl nicht erforderlich, sie für ein Betriebssystem zu implementieren, welches Multiprocessing unterstützt, und auf einem Computer, welcher viele Prozessoren , wie Multiprozessoren 105, 107, besitzt. Die Software zur Implementierung verschiedener Eigenschaften der Erfindung sollte Multi-Threaded-Programmierung nutzen, um Vorteile der Verwendung einer Multiprozessorcomputerarchitektur zu nutzen. Im Falle eines nicht einschränkenden Beispiels können Microsoft Visual C++ und Template Graphics Software, Inc. (TGS) Open Inventor genutzt werden, um die verschiedenen Aspekte und Eigenschaften der Erfindung zu implementieren.
  • Wie oben diskutiert, kann das Eye-Tracking-System der Erfindung separat mit dem Rechnersystem verbunden werden und/oder in ihm integriert sein. 2 zeigt in einem Beispiel ein Sichtanzeigegerät 201 (welches für die Sichtanzeige 121 in 1 vorgesehen sein könnte) und die Anordnung einer Anlage 202 für eine Videokamera 203 in einem verbundenen mechanischen Steuerungssystem (nicht gezeigt), welches den Betrieb der Videokamera steuert (z.B. Belichtungssteuerung, Verschlusssteuerung, Schwenkbewegung, Zoombewegung usw.), um von einem oder beiden Augen des Benutzers ein Bild zu erhalten. Die Videokamera 203 in 2 kann jeder der Videokameras 127, 131, 133, gezeigt in 1, entsprechen. Eine optionale Beleuchtungsquelle 204 ist in 2 gezeigt, welche auf der Sichtanzeige-Kante montiert ist. Die Beleuchtungsquelle kann aus einem oder einer Mehrzahl von Infrarot(IR)-Licht emittierenden Dioden (LEDs) mit niedriger Leistung bestehen, welche Licht aus dem unsichtbaren Teil des Spektrums emittieren. Wenn Leistung angelegt wird, wird die LED-Anordnung das Auge bestrahlen, ohne den Benutzer abzulenken, wobei ein oder mehrere bemerkbare helle Lichtflecke in dem von der Videokamera 203 aufgenommenen Bild erscheinen, vorausgesetzt, dass es im selben Infrarotbereich empfindlich ist wie die LED's.
  • Wie oben diskutiert, benutzt die vorliegende Erfindung eine Benutzerschnittstellensteuerung, und einen „Kometen", welcher sensitiv auf den Blick des Auges eines Benutzers ist. Sie stützt sich auf das In-Bewegung-Setzen (d.h. Animation) eines grafischen Objektes auf der Sichtanzeige, welches visuell durch den Benutzer erreicht werden kann. Das grafische Objekt kann einen einzelnen Kometen oder eine Anordnung von Kometen aufweisen. Der Benutzer erreicht visuell und verfolgt einen der Kometen und nach einer kurzen Zeitspanne bestimmt der Computer durch Vergleich der bekannten Bahn des Kometen und der detektierten Bewegungsbahn des Augenblickes des Benutzers, dass der Benutzer eine Handlung oder eine Gruppe von Handlungen ausführen möchte, welche mit dem Kometen verbunden sind. Der Prozess des visuellen Erreichens eines Kometen, um ihn in einen Fokus zu rücken, verschafft eine Zustimmung, wodurch zwei Funktionen (der Fokus und die Zustimmung) zu einer Handlung zusammenfallen. Anders als andere Augenblicks-Schnittstellenkonzepte ist keine separate manuelle Handlung oder ein Augenblinzeln erforderlich, um die Dialogwechselwirkung zu vervollständigen.
  • Die 3A bis 3D zeigen ein Beispiel einer Abfolge einer Benutzer-Computer-Interaktion, welche eine Kometenanordnung zur Steuerung des Computers hervorruft und nutzt. Die Funktionalität des Kometen kann am besten verstanden werden durch eine erste Betrachtung, wie eine konventionelle fensterbasierte Dialogbox verwendet wird. Als Referenz, die Eingabemaske, mit der die Benutzer interagieren, um eine Datei in einer konventionellen grafischen Benutzerschnittstelle zu öffnen, ist ein Beispiel einer Dialogbox. Eine Dialogbox kann durch das Programm selbst errichtet werden oder als ein Ergebnis einer anderen Benutzerwechselwirkung, z. B. der Auswahl eines Punktes aus dem Hauptmenü. Betrachtet man den Fall der Benutzer-Initiierung einer Handlung, wählt der Benutzer danach einen speziellen Punkt (z.B. den Menüpunkt Öffnen) aus, so wird eine Eingabemaske, genannt eine Dialogbox, dem Benutzer zur Interaktion präsentiert. Diese Dialogbox weist gewöhnlich eine Vielfalt von Benutzerschnittstellensteuerungen und Feldern auf, wie herunterverlaufende Listenboxen, Überprüfungsboxen, Eingabefelder und andere Schaltflächen. Nachdem der Benutzer die verschiedenen Dialogteile ausgefüllt hat, drückt der Benutzer z. B. eine „OK"-Taste. Diese Handlung bewirkt, dass das Computerprogramm einige Handlungen ausführt, wie das Öffnen einer Textverarbeitungsdatei zum Editieren. Ein Komet kann in vielerlei Weise wie eine regulären Dialogbox arbeiten. Ein Benutzerprogramm (Anwendung) kann, auf seine eigene Veranlassung, einen Kometen darstellen, um Informationen von dem Benutzer zu erlangen, oder der Benutzer kann einige Handlungen ausführen, was darin resul tiert, dass ein oder mehrere Kometen dargestellt werden. Wenn ein Komet , ähnlich einer Dialogbox gezeigt wird, wartet er auf den Benutzer, um ausgeblendet zu werden. Wenn mehrere Kometen dargestellt werden, repräsentiert derjenige, welcher zuerst visuell erreicht wurde, die Auswahl des Benutzers für eine spezielle Handlung. Während der Benutzer eine Dialogbox durch zunächst Ausfüllen der Dialogfelder und dann Drücken der OK-Taste ausblendet, ist in einem Kometen, analog zum „Felder ausfüllen" die Kometenbewegung visuell zu verfolgen. Anders jedoch als eine Dialogbox, kann der Komet automatisch sich selbst ausblenden, wenn die Programmsteuerung es bestimmt, da sie genug Informationen zur Bestimmung dessen besitzt, was der Benutzer verfolgt. Als Ergebnis ist der Benutzer nicht verpflichtet, eine separate Handlung auszuführen, um den Kometen auszublenden. Anders als eine konventionelle Dialogbox ist ein Komet ein animiertes grafisches Objekt, welches in Bewegung gesetzt ist und durch den Augenblick des Benutzers verfolgt werden kann.
  • In 3A ist der Kundenbereich 302 in einem Startfenster 301 des laufenden Programms leer. In einem nächsten Bildschirmfenster 303 ruft der Benutzer einen Befehl auf, um Hilfe zu erhalten in einem speziellen Interessengebiet und wählt einen Menüpunkt aus dem Hilfe-Menü 304 aus, wie in 3B gezeigt. Ein Befehl kann durch die Stimme, mit einer Tastatur, mit einer Maus oder einem anderen Zeigegerät oder jeglicher multi-modaler Kombination der obigen eingegeben werden. Zusätzlich, obwohl nicht mit Bezug auf die Ausführungsform der 3A-3B dargestellt, kann ein Befehl durch die Nutzung eines Kometen oder einer Kometenanordnung ausgewählt werden. In jedem Fall produziert die Eingabe eines Befehls unter dem Hilfemenü 304 ein neues Dialogfenster oder eine Hilfeseite 305 und einen lesbaren Hilfetext 307 mit drei verschiedenen Kometen, welche links, rechts und am Boden des Hilfetextanzeigebereiches positioniert sind, wie in 3C gezeigt. Der Komet 309, der links in 3C dargestellt ist, ist ein kleiner aufwärts zeigender Pfeil, welcher sich kontinuierlich vom Boden des Bildschirms entlang einer ersten und möglichst unsichtbaren vertikalen Spur 311 nach oben bewegt. Wenn der Kometenkopf oben am Bildschirm angelangt ist, beginnt er von neuem von unten zu starten. Der Komet 313, welcher rechts in der 3C dargestellt ist, ist ein kleiner abwärts zeigender Pfeil, welcher sich kontinuierlich von oben nach unten auf dem Bildschirm entlang einer festen und möglicherweise unsichtbaren vertikalen Spur 315 bewegt. Wenn der Kometenkopf den Boden des Bildschirms erreicht hat, beginnt er von neuem von oben zu starten. Entsprechend eines Aspektes der Erfindung wird der Komet 309, wenn er von dem Benutzer verfolgt wird, das Aufwärts-Rollen des Bildschirms über eine volle Seite veranlassen (entsprechend dem Seite-nach-oben-Befehl). Ein Komet 313, wenn er durch den Benutzer verfolgt wird, wird das Abwärts-Rollen des Bildschirms über eine volle Seite veranlassen (entsprechend dem Seite-nach-unten-Befehl). Ein dritter Komet 317, der unten im lesbaren Textgebiet in 3C positioniert ist, ist eine kleine Kugel, welche sich von links nach rechts entlang einer festen und möglicherweise unsichtbaren horizontalen Spur 319 bewegen kann. Der Komet 317, wenn er durch den Benutzer verfolgt wird, wird das Schließen des Hilfetextbildschirms veranlassen (entsprechend dem Drücken einer OK- oder Schließschaltfläche einer konventionellen Dialogbox). Angenommen z.B., dass ein Benutzer visuell den Kometen 317 unten in 3C verfolgt hat, um den Dialog zu beenden, und dass das System diese Handlung richtig interpretiert hat, dann schließt das Programm die Hilfeseite 305 und kehrt zu dem ursprünglich erscheinenden Programmfenster 321 mit einem leeren Kundenbereich 323 zurück, wie in 3D gezeigt ist.
  • In der Ausführungsform der 3A-3D sind Beispiele verschiedener Kometen 309, 313 und 317 gezeigt. Es ist natürlich möglich, andere Kometentypen und Kometenanordnungen vorzusehen, um die Augenblicks-Interaktion für die Computersteuerung zu erleichtern. Weiterhin können Kometen als 2D- oder 3D-Objekte für die Betrachtung durch einen Benutzer festgelegt werden. Die Kometen können auch halbtransparent erscheinen, so dass sie auf dem Bildschirm dargestellte Informationen oder Text nicht verdecken, jedoch noch für den Benutzer sichtbar bleiben. Als nicht einschränkende Beispiele zeigen die 4A-4J verschiedene mögliche visuelle Ausführungen von Kometen und Kometenanordnungen. In den 4A-4J repräsentiert ein dunkel ausgefülltes Objekt den Kometenkopf und die gestrichelten Linien sind die Spuren, denen der Komet folgt. Ein nicht ausgefülltes Objekt auf derselben Spur wird verwendet, um die vorherige Position des sich bewegenden Kometen zu zeigen. In 4A ist eine Konfiguration 401 vorgesehen, welche einen Einzelkometen zeigt, welcher in Uhrzeigerrichtung auf einer kreisförmigen Spur rotiert. Die Kometenspur selbst könnte dargestellt werden, aber in vielen Fällen sollte sie nicht dargestellt werden, weil es sich nicht als nützlich erweist und den Bildschirm überfüllt. Der "Kopf" des Kometen ist der einzige Teil, welcher tatsächlich dargestellt wird, so dass ein Benutzer nur einen sich bewegenden 2D-Kreis oder eine 3D-Kugel im Falle der Konfiguration 401 sieht. Die Kometen können sich in ihren Bahnen in verschiedenen Geschwindigkeiten bewegen, wie sie vom Programm vorherbestimmt sind, welches sie steuert. In 4B zeigt eine Konfiguration 402 einen Einzelkometen, welcher in einer elliptischen Bahn in einer Richtung entgegengesetzt zur Uhrzeigerrichtung rotiert. Konfiguration 402 zeigt, dass ein Kometenkopf jegliche Form (wie z.B. eine Sternenform), eine solide Textur oder eine Farbe aufweisen kann, egal ob zweidimensional (2-D) oder dreidimensional (3-D). Zum Beispiel können Kometen als komplexe grafische Objekte oder Zeichen implementiert werden und können visuell Dinge darstellen (wie einen Schlüssel oder einen Mülleimer), Tiere (wie z.B. einen Frosch), oder Personen (wie z.B. einen Wachmann). Eine Konfiguration 403 der 4C zeigt einen Einzelkometen (in diesem Fall eine Kugel oder einen Kreis) welcher in einem Sternenmuster rotiert. In 4D zeigt eine Konfiguration 404 mehrere Kometen, welche in konzentrischen kreisförmigen Bahnen und in entgegengesetzten Richtungen rotieren. In der Ausführungsform von 4D kann die Bahn eines Einzelkometen mehrere Kometenköpfe umfassen. In 4E zeigt eine Konfiguration 405 einen Einzelkometen, welcher auf einer rechteckigen Spur rotiert. Die Spur in 4E kann zu einer quadratischen Spur modifiziert werden oder zu einer anderen Art einer linearen Spur. Die 4F zeigt eine Konfiguration 406, welche drei Ansichten von aufeinanderfolgenden Zeiten eines einzelnen Kometenkopfes aufweist, welcher sich auf dem Bildschirm bewegt (z.B. entlang der Z-Achse), wobei bei jedem Zeitschritt (t = 0, t = 5, t = 12), das Objekt kleiner wird. Eine ähnliche Bewegung kann erreicht werden, in dem sich der Kometenkopf aus dem Bildschirm herausbewegt, wobei bei jedem Zeitschritt das Objekt größer wird. 4G zeigt eine Konfiguration 407, welche einen Kometen mit einem Pfeilkopf aufweist, welcher sich entlang einer geraden Linie in einer vertikalen Richtung bewegt, während 4H eine Konfigurati on 408 mit einem ähnlichen Kometenkopf zeigt, welcher sich in horizontaler Richtung bewegt. In 4I zeigt eine Konfiguration 409 die Bewegung entlang einer geraden Linie mit einem schrägen Winkel. Eine Konfiguration 410 in 4J zeigt, dass, zusätzlich zur Bewegung entlang fester sich wiederholender Bahnen, ein Komet einer zufälligen Bahn folgen kann, wobei er nicht immer auf den gleichen Platz zurückkehren muss. Die Verwendung regulärer Bahnen ist nicht erforderlich aber besitzt einen rechnerischen Vorteil, da die Kometenpositionen im voraus berechnet werden können. Die Kometen, welche in den Figuren 4A-4J gezeigt sind, sind als zweidimensionale (2-D) grafische Objekte illustriert. Jedoch kann das Konzept auch implementiert werden unter Nutzung dreidimensionaler (3-D) grafischer Objekte (das heißt Kugeln anstatt von Kreisen, Würfel anstatt von Quadraten, dreidimensionale Sterne anstatt von zweidimensionalen).
  • 5 zeigt ein Beispiel eines High-Level-Flussdiagrammes von verschiedenen Prozessen und Operationen, welche für das Erschaffen, die Verwendung und schließliche Zerstörung einer Kometenanordnung ausgeführt werden können. Wie diskutiert wurde, kann eine Kometenanordnung ein oder mehrere Kometenobjekte aufweisen und entsprechend kann die Prozedur von 5 durch eine auf einem Computer laufende Software oder ein mikroprozessorbasiertes Rechnersystem implementiert werden. Das Rechnersystem kann ein Rechnersystem sein, wie der Rechner 101 von 1 oder es kann ein mikroprozessorbasiertes System oder Gerät sein, welches mit einem Bildschirm und der Eye-Tracking-Ausstattung verbunden ist.
  • Der Prozess von 5 wird in dem Schritt S. 501 initialisiert und gestartet. In Schritt S. 503 erfasst und sammelt der Prozess die Positionsdaten. Zum Beispiel kann der Prozess in Schritt S. 503 das Ausgangssignal eines Eye-Tracking-Gerätes oder eines Eye-Tracking-Systems lesen. Das Eye-Tracking-Ausgangssignal kann über einen Computerport, wie einem seriellen Port, einem universellen seriellen Bus, einem parallelen Port der irgend einem anderen Gerät, welches physikalisch und elektrisch durch den Rechner oder das mikroprozessorbasierte System unterstützt ist, erhalten werden, wie in dem in 1 gezeigten Computersystem 101. Das Eye-Tracking-Ausgangssignal kann auch durch ein Gerät erhalten werden, welches direkt mit dem Rechnersystembus verbunden ist, wie eine Videoaufnahmekarte 111, gezeigt in 1, welches selbst mit einer Videokamera verbunden ist. In jedem Fall kann das Eye-Tracking-Signal die Form eines nicht verarbeiteten Videosignals aufweisen, oder von Daten, welche durch eine Steuerungseinheit extern vom Computer vorverarbeitet worden sind. Wenn die Daten die Form von nicht verarbeiteten Videosignalen aufweisen, kann ein Softwareprogramm oder ein Programm, welches im Nur-Lesespeicher (ROM) eingelesen worden ist, das Videosignal verarbeiten, um das Auge und die Augeneigenschaften von der Umgebung zu trennen, den Pupillenmittelpunkt zu ermitteln und schließlich ein Purkinjebild zu bestimmen (das erste Purkinjebild, anders bekannt als Hornhautreflexion (CR), ist die Reflexion einer Lichtquelle von einer vorderen Oberfläche der Horn haut) und einen Blick-Punkt-Vektor zu berechnen, welcher den Bildschirm des Rechnersystems schneidet, wie bei dem in 1 gezeigten Computerbildschirm 121. Dieser Blick-Punkt-Vektor kann in Umgebungskoordinaten und in Einheiten von Zoll oder Zentimetern von einem unwillkürlichen aber festen Referenzpunkt in der Umgebung ausgedrückt werden. Der Blick-Punkt-Vektor repräsentiert die Entfernung (in allen drei Dimensionen) des Blick-Punktes des Benutzers auf dem Bildschirm vom Referenzpunkt. Diese Berechnung kann auch auf das Vorhandensein irgend eines Kopfbewegungsaufzeichnungsgeräts gestützt sein, in welchem Fall das Programm die Lageinformationen, welche das Bahnaufzeichnungsgerät zur Verfügung stellt, zusammen mit der Lageinformation, welche mit der Augenpupille und dem Purkinjebild zusammenhängt, zusammenfassen muss, um den Blick-Punkt-Vektor zu bestimmen.
  • In Schritt S. 505 wird der point-of-interest des Benutzers auf dem Bildschirm bestimmt. Zum Beispiel kann in Schritt S. 505 der Prozess den Augenbahnüberwachungs-Blick-Punkt-Vektor, welcher in Umgebungskoordinaten ausgedrückt ist, in Bildschirmkoordinaten, ausgedrückt in Pixeln (Bildelementen für die spezifische Auflösung des Bildschirmmonitors, umwandeln. Der Prozess kann weiterhin verschiedene statistische und signalverarbeitende Algorithmen verwenden, wie z.B. solche, welche Praktikern auf diesem Gebiet gut bekannt sind, um die Hochfrequenzkomponenten des Augenbahnüberwachungssignals zu eliminieren, um einen glatten Strom von Blick-Punkt-Daten herzustellen. Zum Beispiel kann unter Nutzung der Verfahrensweise und der Modelle der statistischen Zeitreihenanalyse ein einfacher gleitender Mittelwert von Aufnahmedaten des Eye-Tracker-Blickpunktvektors ermittelt werden. Unter Verwendung der Verfahrensweise und der Modelle der digitalen Signalverarbeitung kann ein Filter mit n-fach verzögertem begrenztem Impulsansprechverhalten (FIR) zur Verarbeitung der Aufnahmedaten des Eye-Tracker-Zeichnungs-Blick-Punkt-Vektors genutzt werden. In Schritt S. 507 ruft der Prozess eine Prozedur zum Erschaffen und Überwachen einer Kometenanordnung auf. In diesem Zusammenhang können die verschiedenen Prozesse und Operationen, welche in 6 gezeigt sind, ausgeführt werden, um eine Kometenanordnung zu erschaffen und zu bestimmen, ob ein spezieller Komet von einem Benutzer ausgewählt wurde. In Schritt S. 509 kann die Kometenanordnung, als eine bewegte Gruppe von Softwareobjekten, zerstört werden oder die Kometenanordnung kann entfernt werden oder auf dem Bildschirm unsichtbar gemacht werden, ohne die Gruppe von Softwareobjekten zu zerstören, wenn das Anwendungsprogramm oder das Rechnersystem nicht länger wünscht, dass diese dargestellt werden. In Schritt S. 511 werden die Handlungen ausgeführt, welche mit dem ausgewählten Kometen verbunden ist. Wenn das Ergebnis der ausgeführten Prozedur in Schritt S. 507 "Fehler" lautet, was bedeutet, dass kein Komet in der Anordnung ausgewählt wurde, dann wird das Rechnersystem oder das Anwendungsprogramm instruiert, eine Art von Handlungen, einschließlich keine Handlungen, auszuführen (z. B. das Beenden eines Threads). Wenn das Ergebnis In Schritt S. 507 ''Erfolg" lautet, mit dem Index i des ausgewählten Komets, dann wird das Rechnersystem oder das Anwendungsprogramm instruiert, die Handlung oder die Handlungen auszuführen, welche mit dem ausgewählten Kometen verbunden sind. Die Aktionen des Kometen, welche von dem Rechnersystem oder dem Anwendungsprogramm in Schritt S. 507 vorgenommen werden, können jeglichen Typs sein. Zum Beispiel können die Handlungen, welche mit einem speziellen Kometen verbunden sind, sein: (i) eine Änderung der Farbe oder des Bewegungsmusters des Kometen, um dem Benutzer eine Rückmeldung zu geben, dass er erfolgreich verfolgt wurde und damit durch den Benutzer ausgewählt wurde; (ii) das Ausblenden oder anderweitiges Verbergen des Kometen selbst, so dass er nicht länger auf dem Bildschirm sichtbar ist; und/oder (iii) das Hervorrufen einer primären Handlung oder von Handlungen, wodurch der Komet in die Ausgangsstellung versetzt wird, wie die Öffnung einer speziellen Datei, Schließen eines Informations(Hilfe)Bildschirms, das Auslösen der Dateisicherungsoperation oder des Starten eines speziellen Programms. Der Prozess von 5 endet mit Schritt S. 513.
  • 6 zeigt ein Beispiel eines Flussdiagramms von verschiedenen Prozessen und Operationen, die ausgeführt werden können für die Erschaffung einer Kometenanordnung und die Bestimmung, ob ein spezieller Komet durch den Benutzer erreicht wurde und nachfolgend ausgewählt wurde. Wie oben diskutiert, kann die Prozedur von 6 in Schritt S. 507 im Prozess von 5 ausgeführt werden. Die Proze dur von 6 kann durch irgend eine geeignete Kombination von Hardware, Software und/oder Firmware implementiert werden, wie auf einem Rechnersystem laufende Software.
  • Das Verfahren von 6 wird in Schritt S. 601 initialisiert und gestartet. In Schritt S. 603 initialisiert das Verfahren verschiedene Schlüssel- oder Hauptvariablen. Zum Beispiel wird eine Variable t, welche den Zeitindex kennzeichnet, initialisiert und auf Null gesetzt und wird eine Variable Tmax, welche die Maximalanzahl von Stichproben, welche genommen werden, repräsentiert, initialisiert. Eine Variable fs, welche die Stichprobenfrequenz repräsentiert, z.B. 30 Mal pro Sekunde (oder 30 Hertz) kann auch initialisiert werden. Weiterhin wird eine Variable N, die hier die Anzahl zu erzeugender Kometen in der Anordnung kennzeichnet, belegt. Die Auswahl für die Variable N ist bestimmt durch die Anzahl von Kometen, welche dargestellt werden müssen, welche wiederum bestimmt werden durch die Anzahl von Auswahlmöglichkeiten, welche dem Benutzer präsentiert werden müssen. Generell erfordern N Auswahlmöglichkeiten die Darstellung von N Kometen. Jedoch, wenn eine einfache primäre Auswahl vorliegt, wie bei "Ja" oder "Nein", wodurch zwei Auswahlmöglichkeiten repräsentiert werden, dann kann ein einzelner Komet dargestellt werden, welcher unbegrenzt verharren würde, bis er erfolgreich durch den Benutzer verfolgt wird, in welchem Fall die Interpretation "Ja" ist. Wenn er niemals verfolgt wird, dann wird die Interpretation gemäß der Voreinstellung "Nein" sein. Daher muss die Beziehung zwischen der Anzahl von Auswahlmöglichkeiten und der Anzahl von Kometen nicht eins-zu-eins sein. Auswahlmöglichkeiten für die Variablen Tmax und fs können voneinander abhängig gemacht werden, und können auf die Zeitlänge bezogen werden, in der der Benutzer einen spezifischen Kometen in der Anordnung (einschließlich einer Anordnung, welche einen einzelnen Kometen enthält) erreichen darf. Zum Beispiel, wenn es das Ziel ist, dem Benutzer fünf (5) Sekunden zu überlassen, um den Kometen zu erreichen und die Stichprobenperiode fs mit dreißig (30) ausgewählt wurde, muss dabei die maximale Stichprobenanzahl Tmax einhundertfünfzig (150) betragen. Die Auswahlmöglichkeit für die Variable fs kann experimentell bestimmt werden und kann eine Funktion der Geschwindigkeit des Rechnerprozessors, der Geschwindigkeit, mit welcher die Kometen sich entlang ihrer Bahnen bewegen, der spezifischen Konfigurationen und Größen der Kometenbahnen und der Ausdehnung von anderen Prozessoraufgaben, welche durch den Rechner ausgeführt werden müssen, sein. Zum Beispiel, bei einer hohen Prozessorauslastung, welche durch dreidimensionale Graphiken oder videobasierte Anwendungen bedingt ist, kann es nicht praktisch oder wünschenswert sein, mit hoher Rate abzufragen. Generell, je höher die Abfragefrequenz, um so mehr Zeit muss ein Rechnerprozessor aufwenden, um die Bahn des Blick-Punktes des Benutzers mit den Kometenbahnen in Übereinstimmung zu bringen, woraus resultiert, dass weniger Zeit für die Ausführung anderer Rechnerprozessoraufgaben zur Verfügung steht.
  • In Schritt S. 605 konstruiert der Prozess N Kometensoftwareobjekte eines geeigneten Typs und einer Art, wie durch das Anwendungsprogramm gefordert. In Schritt S. 607 ruft der Prozess eine Kometensteuerungsprozedur N mal auf, jedes mal für einen Kometen. In diesem Zusammenhang kann die beispielhafte Kometensteuerungsprozedur von 7 in Schritt S. 607, für das Erschaffen, die Darstellung, und das In-Bewegung-Setzen jedes Kometen und für die Bestimmung, wann ein Komet durch den Benutzer erreicht und verfolgt wurde, ausgeführt werden. Entsprechend einer bevorzugten Ausführungsform der Erfindung ist in Schritt S. 607 ein einzelner Thread für jeden Kometen implementiert, und es wird ein Betriebssystem verwendet, welches bevorzugtes Multitasking unterstützt, wodurch die parallele coarse-grain Verarbeitung ermöglicht wird. Als nicht einschränkende Beispiele, Microsoft Windows 95, 98 und NT und verschiedene Formen von Unix-Betriebssystemen Unterstützung von bevorzugtem Multitasking zur Verfügung.
  • Zusätzlich ist es, in Abhängigkeit von den gesamten Verarbeitungserfordernissen der Benutzeranwendung, in der Kometen verwendet werden, vorteilhaft, einen Computer oder ein Rechnersystem zu verwenden, welches multiple Prozessoren unterstützt, um die Gesamtausführbarkeit der Verarbeitung zu verbessern. Doch nicht alle der oben genannten Betriebssysteme können multiple Prozessoren nutzen (Windows NT und einige Unix-Betriebssysteme können multiple Prozessoren nutzen). Wenn ein Prozess eine Kometensteuerungsprozedur aufruft (eine Prozedur wie in 7), kann es als Argumente die Werte von Tmax und fs übergeben, welche in der Kometenrufprozedur zur Steuerung der Zeitdauer der Augenakquisition der Kometen genutzt werden, das heißt, der Zeitperiode (= Tmax × fs), in welcher der Komet visuell erreicht werden kann. Nach dieser Periode erlöscht der Komet, das heißt, seine Verfolgung nach dieser Periode bewirkt nicht, dass er ausgewählt wird. Normalerweise, würde die Zeitdauer der Augenakquisition für alle Kometen in der Anordnung bei einer gegebenen gleichen Zeitspanne für die visuelle Verfolgung dieselbe sein. Doch gibt es keinen Grund, weshalb diese Akquisitionsperioden nicht auf verschiedene Zeiten festgelegt werden könnten, wodurch einige Kometen früher erlöschen könnten als andere.
  • In Schritt S. 609 erhöht der Prozess den Zeitindex t um eins (1). In Schritt S. 611 bestimmt der Prozess, ob eine maximale Anzahl von Zeitperioden, Tmax, überschritten wurde. Wenn dem so ist, gibt der Prozess "Fehler" an die aufrufende Prozedur zurück (das heißt, die Prozedur von 5 Schritt S. 507) und beendet Schritt S. 613. Wenn Tmax nicht überschritten ist, dann bestimmt der Prozess in Schritt S. 615 ), für jeden der N Kometen, ob sich ein "Erfolg" ergibt, was aus der Kometensteuerungsprozedur hervorgeht (z. B. der Kometensteuerungsprozedur von 7). Auf ein erstes "Erfolgs"-Ergebnis, in Schritt S. 619, gibt der Prozess "Erfolg" und den Index i des ausgewählten Kometen der aufrufenden Prozedur zurück (z. B. der Prozedur von 5) und beendet Schritt S. 613. Wenn kein "Erfolgs"-Ergebnis in Schritt S. 615 erhalten wird, dann geht der logische Fluss weiter zu Schritt S. 609 und erhöht den Zeitindex t und bestimmt, ob eine maximale Anzahl von Zeitperioden, Tmax, in Schritt S. 611 überschritten wurde.
  • 7 zeigt ein Beispiel einer Kometensteuerungsprozedur für das Erschaffen, die Darstellung und das In-Bewegung-Setzen eines einzelnen Kometen als grafisches Objekt und für die Bestimmung, wann der Komet von dem Benutzer erreicht und verfolgt wurde. Wie oben diskutiert, kann die Prozedur von 7 in Schritt S. 615 im Prozess von 6 ausgeführt werden. In Übereinstimmung mit einem Aspekt der Erfindung können die Prozesse und Operationen von 7 durch eine geeig nete Kombination von Hardware, Software und/oder Firmware implementiert werden, wie durch Software, welche auf einem Rechnersystem läuft.
  • In der Kometensteuerungsprozedur von 7 umfasst der Grundprozess das Sammeln einer Anzahl von Stichproben zu festen Zeitintervallen. Eine Stichprobe besteht aus dem Ort des Kometen in Bildschirmkoordinaten zu einer bestimmten Zeit t und dem Ort des point-of-interest des Benutzers zu einer Zeit t. Der Prozess startet in Schritt S. 701. In Schritt S. 703 initialisiert der Prozess verschiedene Schlüsselvariablen. Zwei dieser Variablen, Tmax und fs, werden als Argumente von der aufrufenden Prozedur übergeben (das heißt, Schritt S. 607 in 6). Wie oben erklärt, werden die Variablen Tmax und fs zur Steuerung der Zeitdauer der Augenakquisition der Kometen verwendet, das heißt, der Zeitperiode (= Tmax × fs), in welcher der Komet visuell erreicht werden kann. Jedoch muss, die Zeitperiode, während der der Komet visuell erreicht werden kann, nicht die gleiche Zeitperiode sein, in welcher der Komet auf der Computersichtanzeige gezeigt ist. Zum Beispiel kann eine Kometenanordnung immer während der Zeit dargestellt sein, in welcher die Prozedur in 7 wiederholt und kontinuierlich abläuft. Am Ende jeder Periode der Augenakquisition wird eine neue Periode gestartet, während der ein Komet ausgewählt werden kann (erfolgt durch den Benutzer) oder nicht. In Schritt S. 703 können andere Variablen initialisiert oder gesetzt werden. Zum Beispiel kann eine Variable t, welche den Zeitindex kennzeichnet, auf Null gesetzt werden. Da das Aufrufen der Kometensteuerungsprozedur in 7 nahezu simultan zu allen N Kometenobjekten in Schritt S. 607 erfolgt, werden die individuellen Werte für t genau dem Wert t der Kometenanordnung entsprechen, welcher in Schritt S. 603 initialisiert worden ist. In Schritt S. 703 kann auch eine vorbestimmte Toleranz ε (wobei ε größer Null ist), welche einen erlaubten Fehler oder einen Abstand zwischen der Kometenposition und der Position des Blick-Punktes des Benutzers repräsentiert, initialisiert oder gesetzt werden. Weiterhin können die Variablen C und D, welche weiter unten diskutiert sind, auch in Schritt S. 704 initialisiert und gesetzt werden.
  • Für jeden Kometen ist die Variable C initialisiert und auf Null gesetzt und weist eine Matrix mit zwei Spalten und Tmax Reihen auf, um die Position des Kometen über Tmax Zeitperioden darzustellen. Die erste Spalte von C, mit x bezeichnet, weist zeitindizierte Werte der horizontalen Koordinate des Kometen in Bildschirmpixeln auf, das heißt x = [x1, x2, ..., xTmax]T wobei T die Vektortransposition kennzeichnet. Die zweite Spalte von C, mit y bezeichnet, weist zeitindizierte Werte der vertikalen Koordinate des Kometen in Bildschirmpixeln auf, das heißt y = [y1, y2, ..., yTmax]T,wobei T die Vektortransposition kennzeichnet.
  • Die Variable D ist initialisiert und auf Null gesetzt und weist eine Matrix aus zwei Spalten und Tmax-Reihen zur Darstellung der Position des Blick-Punktes des Benutzers über Tmax Zeitperioden auf. Die erste Spalte von D, mit u bezeichnet, weist zeitindizierte Werte der horizontalen Koordinate des Blick-Punktes des Benutzers in Bildschirmpixeln auf, u = [u1, u2, ..., uTmax]T,wobei T die Vektortransposition kennzeichnet. Die zweite Spalte von D, mit v bezeichnet, weist zeitindizierte Werte der vertikalen Koordinate des Blick-Punktes des Benutzers in Bildschirmpixeln auf, v = [v1, v2, ..., vTmax]T,wobei T die Vektortransposition kennzeichnet.
  • In Schritt S. 705 bewirkt der Prozess, dass das grafische Objekt, welches den Kometen repräsentiert, auf dem Computerbildschirm in Bewegung versetzt wird. Die spezielle Geometrie und Erscheinung des Kometen kann von jeglicher Form sein und, wie in den 4A-4J gezeigt, kann hier jegliche Anzahl von Kometen zu jeder einzelnen Zeit ausgesetzt werden und jeder gegebene Komet kann einer Vielfalt von Bahnmustern, sowohl der Form der Bahn als auch der generellen Richtung der Bewegung nach, folgen. Außerdem muss ein Komet nicht immer an seinen Ausgangspunkt zurückkehren (spezifiziert zur Zeit t = 0) und seine Bewegung kann auch zufällig sein. In Schritt S. 707 erhöht der Prozess den Zeitindex t um eins (1). In Schritt S. 709 bestimmt der Prozess, ob eine maximale Anzahl von Zeitperioden, Tmax, überschritten wurde. Wenn dem so ist, gibt der Prozess in Schritt S. 708 ein "Fehler"-Ergebnis an die aufrufende Prozedur zurück (das heißt, der Prozedur von 6 in Schritt S. 615). Danach endet der Prozess in Schritt S. 711. Wenn die maximale Anzahl von Zeitperioden nicht überschritten wurde, in Schritt S. 713, extrahiert der Prozess die aktuelle Position des Kometen in Bildschirmpixelkoordinaten auf dem Bildschirm und aktualisiert die Matrix C, welche mit dem Kometen verbunden ist. Die Aktualisierung besteht in der Zuweisung der horizontalen Kometenposition zu dem Vektorelement x[t] zur aktuellen Zeit t und der Zuweisung der vertikalen Kometenposition zu dem Vektorelement y[t] zur aktuellen Zeit t.
  • Das Ermitteln der aktuellen Position von einem beweglichen grafischen Objekt auf dem Bildschirm kann zu einer beträchtlichen rechnerischen Auslastung des Systemprozessors und der den Videobildschirm ansteuernden Hardware führen. Dies ist besonders dann der Fall, wenn die Kometen der vorliegenden Erfindung in dreidimensionale (3-D)-Graphiken implementiert werden, so dass der Prozess für die Bestimmung, wo sich ein spezieller Komet zu einer entsprechenden Zeit befindet, eine längere Berechnung benötigt. Ein Weg zur Erleichterung dieser rechnerischen Last ist die Verwendung vorbestimmter und sich allgemein wiederholender Kometenbahnen, welche durch einen Prozess zur Generierung einer deterministischen Bewegung hergestellt werden. Der Prozess des Extrahierens der aktuellen Kometenposition entlang einer Bahn kann effizienter durchgeführt werden, indem ein oder mehrere Parameter des Prozesses zur Generierung einer deterministischen Bewegung zum Zeitindex t abgefragt werden und dieser Wert oder diese Werte zu einfachen geometrischen Berechnungen der Bildschirmkoordinaten des Kometen verwendet werden. Zum Beispiel, wenn ein spezifischer Komet implementiert ist, um einer kreisförmigen (das heißt sich wiederholenden und deterministischen) Bahn zu folgen und der Prozesses zur Generierung der Bewegung, welcher bewirkt, dass der Komet auf dem Bildschirm an verschiedenen Orten dargestellt wird, einen einfachen Rotationswinkel Theta des grafischen Kometenobjekts verwendet, und der Krümmungsradius r der kreisförmigen Bahn auch bekannt und konstant ist, dann können die horizontalen und vertikalen Bildschirmkoordinaten (im dreidimensionalen Darstellungsraum) leicht durch Anwendung von Kosinus- und Sinusfunktionen auf den Rotationswinkel Theta und anschließender unabhängiger Multiplikation dieser zwei Resultate mit dem Krümmungsradius r berechnet werden. Diese Resultate (welche nun im dreidimensionalem Raum vorliegen) müssen weiterhin in horizontale und vertikale Bildschirmpixel durch Verwendung einer einfachen linearen Transformation der horizontalen und vertikalen Koordinaten im dreidimensionalen Raum konvertiert werden.
  • In Schritt S. 715 wird der point-of-interest des Benutzers bestimmt und die Matrix D aktualisiert. Zum Beispiel kann in Schritt S. 715 der Prozess die aktuelle Blick-Punkt-Position des Benutzers in Bildschirmkoordinaten auf dem Computerbildschirm extrahieren und die Matrix D aktualisieren. Die aktualisierte Matrix enthält eine Zuweisung der horizontalen Position des Blick-Punktes des Benutzers in Bildschirmpixeln zu dem Vektorelement u[t] zur aktuellen Zeit t und eine Zuweisung der vertikalen Position des Blick-Punktes in Bildschirmkoordinaten zu dem Vektorelement v[t] zur aktuellen Zeit t. In Schritt S. 717 bestimmt der Prozess, ob der Abstand zwischen einem dargestellten Kometen und dem Blick-Punkt des Benutzers, über ein oder mehrere Zeitperioden akkumuliert , klein genug ist, um die Bahnen des Kometen und die des Blick-Punktes des Benutzers als gleich zu betrachten. Das Abstandsmaß ist eine Funktion der Matrizen C und D und ist bezeichnet als f (C, D). Letztlich bestimmt der Prozess in diesem Schritt, dass der Benutzer einen speziellen Kometen verfolgt hat, wenn das berechnete Abstandsmaß kleiner oder gleich dem erlaubten positiven Abstand ε ist (das heißt f (C, D) ≤ ε). Das Abstandsmaß kann auf verschiedenem Wege berechnet werden. Eine einfache Methode ist es, den kartesischen Abstand zwischen dem Blickpunkt des Benutzers und dem Kometen für jeden Zeitschritt zu berechnen und einen gleitenden Durchschnitt des Abstandes zu ermitteln. In einer anspruchsvolleren Methode könnte eine Auswahl von digitalen Filtern, welche das bekannte Bewegungsmuster eines speziellen Kometen in Betracht ziehen, entworfen und angewendet werden. In dem Fall, wo mehrere Kometen dargestellt sind, könnten verschiedene heuristische Methoden angewendet werden, um unwahrscheinliche Kandidaten auszuklammern und die Ausführbarkeit zu verbessern. Zum Beispiel, wenn der Blick-Punkt des Benutzers ausschließlich oder fast ausschließlich über eine bestimmte Zeitdauer auf den rechten unteren Quadranten des Computerbildschirms gerichtet ist , würde es eine gute Schätzung sein, anzunehmen, dass keine Kometen in dem oberen rechten Quadranten durch den Benutzer verfolgt werden. Bei Verwendung dieser Art einer heuristischen Methode kann die Abstandsberechnung auf einige der vielen Kometen begrenzt werden, wodurch Rechenzeit gespart wird. Die Auswahl von ε wird im wesentlichen empirisch, in Abhängigkeit von der Spezifik der Anwendung und der Funktion f (C, D) bestimmt. Jedoch kann generell gesagt werden, dass, wenn sich ε Null nähert, die Kometenauswahl sehr schwierig wird, was ein stabiles Eye-Tracking erfordert. Dies hat den Vorteil, dass Kometen nicht versehentlich oder zufällig ausgewählt werden können. Es kann generell gesagt werden, dass, wenn ε sehr groß wird (am Ende Annäherung gegen unendlich), die Kometenauswahl immer einfacher wird und auch sehr schwache Eye-Trackings ein Auswahlergebnis erzeugen. Daher muss ein Kompromiss zwischen der Robustheit und der Empfindlichkeit der Kometenauswahl erreicht werden.
  • Wiederum unter Bezugnahme auf 7, wenn in Schritt S. 717 bestimmt wird, dass f (C, D) ≤ ε, dann gibt in Schritt S. 719 der Prozess ein "Erfolgs"-Ergebnis an die aufrufende Prozedur zurück (z.B. Prozedur von 7 in Schritt S. 615). Wenn eine Vielzahl von Kometen oder eine Kometenanordnung vorliegt, dann kann in Schritt S. 719 der Prozess auch ein Ergebnis zurückgeben, welches einen Index i einschließt oder eine andere Form der Kennzeichnung vorsieht (wie eine Nachricht in einem Fenster ), um den ausgewählten Kometen der aufrufenden Prozedur anzuzeigen. Als Alternative kann die aufrufende Prozedur (die Prozedur von 6) auf der Grundlage des Prozess-Threads (erschaffen in Schritt S. 607), welcher mit dem "Erfolgs"-Ergebnis antwortete, bestimmen, welcher Komet ausgewählt wurde. Nach Schritt S. 719 endet der Prozess in Schritt S. 711. Wenn jedoch ermittelt wird, in Schritt S. 717, dass die Beziehung f (C, D) ≤ ε nicht erfüllt ist, geht der Prozess zurück zu Schritt S. 707, um den Zeitindex t zu erhöhen und zu bestimmen, ob eine maximale Anzahl von Zeitperioden Tmax in Schritt S. 709 überschritten wurde.
  • In den oben beschriebenen Ausführungsformen der Erfindung ist offenbart, dass die Kometenanordnung zerstört werden kann, wenn kein einziger Komet während der Zeitdauer der Augenakquisition ausgewählt wurde. In Übereinstimmung mit einem anderen Aspekt der Erfindung ist es auch möglich, dass die Kometenanordnung nicht zerstört wird, bis das Anwendungsprogramm, welches die Kometenanordnung verwendet, sich von selbst schließt. Zum Beispiel könnte eine Kometenanordnung zuerst in einer Internetbrowseranwendung ausgesetzt werden wenn sie startet, sichtbar bleiben während der Browseranwendung und nur zerstört werden, wenn der Benutzer das Browserprogramm schließt.
  • In der oben ausgeführten Beschreibung ist die Erfindung im Hinblick auf die Nutzung des Augenblickpunktes eines Benutzers als Datum, um den point-of-interest anzuzeigen beschrieben. Die vorliegende Erfindung ist jedoch nicht darauf begrenzt, Blick-Punkt-Daten zu verwenden, um den point-of-interest eines Benutzers zu bestimmen oder einen Kometen auszuwählen. Andere Arten von Augenrichtungsdaten oder Eingabedaten können für denselben Zweck genutzt werden. Zum Beispiel kann die Erfindung mit jedem Gerät implementiert werden, welches fähig ist, den point-of-interest des Benutzers auf einem Bildschirm, wie dem 121 in der Ausführungsform von 1, zu übermitteln. Beispiele für solche Geräte sind konventionelle Mäuse, ferngesteuerte Mäuse, Trackbälle, Forcebälle, Lichtstifte, Joysticks, Kopfzeigegeräte, Hilfsgeräte für Personen mit Behinderungen und Gebär dengeräte wie Datenhandschuhe, die alle zur Steuerung der Cursorposition entweder auf einer Sichtanzeige oder einem Rechner oder einem mikroprozessorbasiertem System oder Gerät, sichtbar gezeigt oder nicht, benutzt werden können. All diese Gerätebeispiele können ein Ausgangssignal erzeugen, welches für die Cursorsteuerung auf dem Bildschirm geeignet ist und alle können mit einer Schnittstelle miteinander verbunden sein, z.B. mit einem Rechner 121 in 1 durch die verschiedenen I/O Ports 123 und durch Adapterkarten, welche sie mit dem Rechnerbus 103 verbinden. Zusätzlich können die offenbarten Prozeduren der 5 bis 7 angepasst oder passend modifiziert werden, um eine Eingabe von einem dieser Beispielgeräte behandeln zu können. Zum Beispiel, wenn der Benutzer eine konventionelle Maus bewegt, um den point-of-interest auf einem Bildschirm anzuzeigen, kann der Algorithmus in Schritt S. 505 von 5 einen Betriebssystemaufruf auslösen, um die aktuellen Cursorkoordinaten zu erhalten. Schritt S. 503 kann daher als Leseausgang von einem dieser Beispielgeräte entgegengesetzt zum Leseausgang von einem Eye-Tracking-Gerät oder einem Eye-Tracking-System implementiert werden. Weiter können die Schritte S. 715 und S. 717 von 4 so modifiziert werden, dass die Bestimmung, ob ein spezieller Komet verfolgt wird, auf der Grundlage und Cursorbewegungsdaten ausgeführt wird, welche von einem der Beispielgeräte zur Verfügung gestellt werden. In einem solchen Fall wird die Matrix D so aktualisiert, dass sie die Cursorposition in Bildschirmkoordinaten auf den Bildschirm enthält. Als ein Ergebnis könnte ein Komet ausgewählt werden, wenn bestimmt wird, dass eine Übereinstimmung zwischen der Bewegungsrichtung des Kometen und der Bewegungsrichtung eines Eingabegerätes vorliegt. Zum Beispiel könnte ein Benutzer Seite hinauf, Seite herunter, oder Schließe den Textbildschirm in 3C durch die Bahnverfolgungsbewegung eines geeigneten Kometen durch die Bewegung eines Eingabegerätes, wie eines konventionellen Mausgeräts, auslösen. Daher kann der Benutzer, in einer Implementierung der Erfindung, welche nicht die Eye-Tracking-Eingabe verwendet, eine konventionelle Maus einen Trackball, einen Joystick, einen Datenhandschuh usw. nutzen, um die Bewegung irgend eines oder einer Mehrzahl von Kometen zu verfolgen, wodurch derselbe Effekt erreicht wird, als wäre das System mit einem Eye-Tracking-Gerät konfiguriert.

Claims (21)

  1. Verfahren für das Auswählen eines grafischen Objektes, welches auf einem Bildschirm (121; 201) dargestellt ist, wobei das Verfahren aufweist: das Darstellen mindestens eines grafischen Objektes (309; 313; 317) in Bewegung auf dem Bildschirm; das Sammeln von Eingabedaten von einem beweglichen Eingabegerät (117; 125, 127; 129, 131; 133; 203), welches durch einen Benutzer gesteuert ist, über eine vorbestimmte Zeitperiode; das Detektieren, ob eine Übereinstimmung zwischen der Bewegungsrichtung eines grafischen Objektes auf dem Bildschirm und der Bewegungsrichtung des Eingabegerätes auf der Grundlage der Eingabedaten vorliegt; und das Auswählen des grafischen Objektes auf dem Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes detektiert worden ist.
  2. Verfahren nach Anspruch 1, wobei jedes der grafischen Objekte (309; 313; 317) mit einer vorbestimmten Handlung verbunden ist, die durch ein Rechnersystem (101) auszuführen ist, wobei das Verfahren weiter aufweist: das Bewirken, dass das Rechnersystem die vorbestimmte Handlung ausführt, wenn das grafische Objekt auf der Grundlage der detektierten Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes ausgewählt worden ist.
  3. Verfahren nach Anspruch 1, wobei das Verfahren weiter aufweist: das Bestimmen eines Abstandsmaßes (f(C, D)) zwischen der Bewegungsrichtung des grafischen Objektes auf dem Bildschirm (C) und der Bewegungsrichtung des Eingabegerätes (D), und das Detektieren, dass eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes existiert, wenn das Abstandsmaß innerhalb einer vorbestimmten Toleranz (ε) liegt.
  4. Verfahren nach Anspruch 1, wobei das Verfahren weiter aufweist: das Entfernen eines grafischen Objektes vom Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes nicht detektiert ist.
  5. Ein Verfahren für das Auswählen eines grafischen Objekts, welches aufweist: das Darstellen einer Vielzahl von grafischen Objekten (309; 313; 317) in Bewegung auf einem Bildschirm (121; 201), wobei jedes der grafischen Objekte mit einer vorbestimmten Handlung verbunden ist, die durch ein Rechnersystem (101) auszuführen ist; das Sammeln von Augenrichtungsdaten des Benutzerauges mit einem Eye-Tracking-System (125, 127; 129, 131; 133; 203) über eine vorbestimmte Zeitperiode; das Analysieren der Augenrichtungsdaten des Benutzers und das Detektieren, ob eine Übereinstimmung zwischen der Bewegungsrichtung von mindestens einem grafischen Objekt auf dem Bildschirm und der Bewegungsrichtung des Benutzerauges vorliegt; und das Auswählen von mindestens einem grafischen Objekt, welches auf dem Bildschirm dargestellt ist, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Benutzerauges detektiert worden ist.
  6. Verfahren nach Anspruch 5, welches weiter aufweist: das Ausführen der vorbestimmten Handlung, welche mit dem grafischen Objekt verbunden ist, durch das Rechnersystem (101).
  7. Verfahren nach Anspruch 6, wobei die vorbestimmten Handlungen umfassen: das Starten eines Programms und/oder das Ausführen eines Menübefehls, und/oder das Ändern einer Eigenschaft des grafischen Objektes, um die Auswahl durch den Benutzer zu bestätigen, und/oder das Entfernen eines grafischen Objektes vom Bildschirm.
  8. Verfahren nach einem der Ansprüche 5–7, wobei das Detektieren aufweist: das Bestimmen eines Abstandsmaßes (f(C, D)) zwischen der Bewegungsrichtung des grafischen Objektes auf dem Bildschirm (C) und der Bewegungsrichtung des Benutzerauges (D), und das Detektieren, dass eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Benutzerauges existiert, wenn das Abstandsmaß innerhalb einer vorbestimmten Toleranz (ε) liegt.
  9. Verfahren nach einem der Ansprüche 5–8, wobei das Verfahren weiter aufweist: das Anwenden einer oder mehrerer heuristischer Methoden zum Identifizieren und Eliminieren nicht ausgewählter grafischer Objekte.
  10. Verfahren nach einem der Ansprüche 5–9, wobei das Verfahren weiter aufweist: das Darstellen jedes der Vielzahl von grafischen Objekten auf dem Bildschirm, so dass jedes einer vordefinierten Bahn folgt.
  11. Verfahren nach einem der Ansprüche 5–10, wobei das Verfahren weiter aufweist: das Entfernen eines grafischen Objektes vom Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Benutzerauges nicht detektiert ist.
  12. System für die Steuerung einer Schnittstelle eines Rechnersystems (101), wobei das System aufweist: einen Bildschirm (121; 201), welcher mindestens ein grafisches Objekt (309; 313; 317) darstellt, wobei jedes grafische Objekt in Bewegung auf dem Bildschirm dargestellt ist; Mittel zum Sammeln von Eingabedaten von einem beweglichen Eingabegerät (117; 125, 127; 129, 131; 133; 203), welches durch einen Benutzer gesteuert ist, über eine vorbestimmte Zeitperiode; Mittel zum Detektieren, ob eine Übereinstimmung zwischen der Bewegungsrichtung eines grafischen Objektes auf dem Bildschirm und der Bewegungsrichtung des Eingabegerätes auf der Grundlage der Eingabedaten vorliegt; und Mittel zum Auswählen des grafischen Objektes auf dem Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes detektiert worden ist.
  13. System nach Anspruch 12, wobei jedes der grafischen Objekte (309; 313; 317) mit einer vorbestimmten Handlung verbunden ist, die durch das Rechnersystem (101) auszuführen ist, wobei das System weiter aufweist: Mittel zum Bewirken, dass das Rechnersystem die vorbestimmte Handlung ausführt, wenn das grafische Objekt auf der Grundlage der detektierten Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes ausgewählt worden ist.
  14. System nach Anspruch 12, wobei das System weiter aufweist: Mittel zum Bestimmen eines Abstandsmaßes (f(C, D)) zwischen der Bewegungsrichtung des grafischen Objektes auf dem Bildschirm (C) und der Bewegungsrichtung des Eingabegerätes (D), und zum Detektieren, dass eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes existiert, wenn das Abstandsmaß innerhalb einer vorbestimmten Toleranz (ε) liegt.
  15. System nach Anspruch 12, wobei das System weiter aufweist: Mittel zum Entfernen eines grafischen Objektes vom Bildschirm, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Eingabegerätes nicht detektiert ist.
  16. System für die Steuerung einer Schnittstelle eines Rechnersystems (101), aufweisend: einen Bildschirm (121; 201), welcher mindestens ein grafisches Objekt (309; 313; 317) darstellt, wobei jedes grafische Objekt in Bewegung auf dem Bildschirm dargestellt ist und mit mindestens einer vorbestimmten Handlung verbunden ist, die durch das Rechnersystem auszuführen ist; ein Eye-Tracking-System (125, 127; 129, 131; 133; 203), welches die Augenblickpunkt-Daten eines Benutzerauges über eine vorbestimmte Zeitperiode detektiert; Mittel (105, 107) zum Verarbeiten der Augenblickpunkt-Daten des Benutzers und zum Bestimmen, dass ein grafisches Objekt ausgewählt ist, wenn eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes auf dem Bildschirm und der Bewegungsrichtung des Benutzerauges vorliegt; und Mittel zum Ausführen einer vorbestimmten Handlung durch das Rechnersystem, welche mit dem grafischen Objekt verbunden ist, welches durch den Benutzer ausgewählt ist.
  17. System nach Anspruch 16, wobei das Verarbeitungsmittel (105, 107) aufweist: Mittel zum Bestimmen eines Abstandsmaßes (f(C, D)) zwischen der Bewegungsrichtung des grafischen Objektes auf dem Bildschirm (C) und der Bewegungsrichtung des Benutzerauges (D), und zum Detektieren, dass eine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Benutzerauges existiert, wenn das Abstandsmaß innerhalb einer vorbestimmten Toleranz (ε) liegt.
  18. System nach Anspruch 16, wobei das grafische Objekt (309; 313; 317) in Bewegung auf dem Bildschirm so dargestellt ist, dass es einer vordefinierten Bahn auf dem Bildschirm folgt.
  19. System nach Anspruch 16, welches weiter aufweist: Mittel zum Entfernen eines grafischen Objektes vom Bildschirm, wenn keine Übereinstimmung zwischen der Bewegungsrichtung des grafischen Objektes und der Bewegungsrichtung des Benutzerauges durch das Verarbeitungsmittel detektiert worden ist.
  20. System nach Anspruch 16, wobei eine Vielzahl von grafischen Objekten in Bewegung auf dem Bildschirm dargestellt ist, wobei jedes der Vielzahl von grafischen Objekten mit einer vorbestimmten Handlung verbunden ist, die vom Rechnersystem auszuführen ist.
  21. System nach einem der Ansprüche 16 bis 20, wobei das Verarbeitungsmittel Mittel für das Anwenden verschiedener heuristischer Methoden zum Identifizieren und Eliminieren von nicht ausgewählten grafischen Objekten aufweist.
DE19983513T 1998-09-01 1999-08-18 Verfahren für das Auswählen eines grafischen Objektes und System für die Steuerung einer Schnittstelle eines Rechnersystems hierfür Expired - Fee Related DE19983513B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/145,159 1998-09-01
US09/145,159 US6243076B1 (en) 1998-09-01 1998-09-01 System and method for controlling host system interface with point-of-interest data
PCT/US1999/018751 WO2000016185A2 (en) 1998-09-01 1999-08-18 System and method for controlling host system interface with user point-of-interest data

Publications (2)

Publication Number Publication Date
DE19983513T1 DE19983513T1 (de) 2001-08-30
DE19983513B4 true DE19983513B4 (de) 2005-03-24

Family

ID=22511859

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19983513T Expired - Fee Related DE19983513B4 (de) 1998-09-01 1999-08-18 Verfahren für das Auswählen eines grafischen Objektes und System für die Steuerung einer Schnittstelle eines Rechnersystems hierfür

Country Status (5)

Country Link
US (1) US6243076B1 (de)
AU (1) AU2142200A (de)
DE (1) DE19983513B4 (de)
GB (1) GB2357948B (de)
WO (1) WO2000016185A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010097315A1 (de) 2009-02-24 2010-09-02 Reiner Kunz Navigation endoskopischer vorrichtungen mittels eye-tracker
EP2520993A3 (de) * 2011-05-06 2014-10-22 DECKEL MAHO Pfronten GmbH Vorrichtung zum Bedienen einer automatisierten Maschine zur Handhabung, Montage oder Bearbeitung von Werkstücken

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076118B1 (en) * 1997-12-05 2006-07-11 Sharp Laboratories Of America, Inc. Document classification system
DE59905777D1 (de) * 1999-07-22 2003-07-03 Swisscom Mobile Ag Mobile Bildaufnahme, Retinaprojektion von gemäss Augenposition eines Benutzers ermittelten Bilddaten, sowie Wiedergabe von aus den ermittelten Bilddaten gewonnener Nutzinformation
US6402320B1 (en) * 1999-08-09 2002-06-11 Childrens Hospital Los Angeles Methods and apparatus for measuring visual acuity in preverbal children
EP1252769B2 (de) * 2000-02-01 2006-12-20 Swisscom Mobile AG System und verfahren zur verbreitung von bildobjekten
US6639583B1 (en) * 2000-04-06 2003-10-28 Hewlett-Packard Development Company, L.P. User interface utilizing a computer pointing device with infrared bridge
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
GB2387927B (en) * 2001-12-20 2005-07-13 Canon Kk Control apparatus
GB2388209C (en) * 2001-12-20 2005-08-23 Canon Kk Control apparatus
GB2396001B (en) * 2002-10-09 2005-10-26 Canon Kk Gaze tracking system
US7483026B2 (en) * 2003-01-17 2009-01-27 Fischer John G Method of displaying product and service performance data
US8554346B2 (en) * 2003-01-17 2013-10-08 Shawdon, Lp Method of displaying product and service performance data
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
WO2004111812A2 (en) * 2003-06-18 2004-12-23 Zi Corporation Text entry system and method
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7617205B2 (en) 2005-03-30 2009-11-10 Google Inc. Estimating confidence for query revision models
US7360175B2 (en) * 2003-10-03 2008-04-15 Lexisnexis, A Division Of Reed Elsevier Inc. Hierarchical, multilevel, expand and collapse navigation aid for hierarchical structures
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1691670B1 (de) * 2003-11-14 2014-07-16 Queen's University At Kingston Verfahren und gerät für die kalibrationsfreie augenverfolgung
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
US8721341B2 (en) * 2004-03-02 2014-05-13 Optimetrics, Inc. Simulated training environments based upon foveated object events
US7129887B2 (en) * 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
US9223868B2 (en) 2004-06-28 2015-12-29 Google Inc. Deriving and using interaction profiles
ITFI20040223A1 (it) * 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
PL1827805T3 (pl) * 2004-12-01 2009-04-30 Pirelli Sposób i urządzenie do kontroli procesu wytwarzania komponentów opony przeznaczonej dla koła pojazdu mechanicznego
CN100399247C (zh) * 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
JP4572696B2 (ja) * 2005-02-17 2010-11-04 ソニー株式会社 制御信号入力システム、制御信号入力方法。
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US20060194181A1 (en) * 2005-02-28 2006-08-31 Outland Research, Llc Method and apparatus for electronic books with enhanced educational features
US7710423B2 (en) * 2005-03-21 2010-05-04 Microsoft Corproation Automatic layout of items along an embedded one-manifold path
US7870147B2 (en) * 2005-03-29 2011-01-11 Google Inc. Query revision using known highly-ranked queries
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20070003913A1 (en) * 2005-10-22 2007-01-04 Outland Research Educational verbo-visualizer interface system
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
WO2007107949A1 (en) * 2006-03-23 2007-09-27 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP2009539131A (ja) * 2006-05-31 2009-11-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示パラメータの制御
US7626572B2 (en) * 2006-06-15 2009-12-01 Microsoft Corporation Soap mobile electronic human interface device
JP5398532B2 (ja) * 2006-08-07 2014-01-29 コーニンクレッカ フィリップス エヌ ヴェ 運動を促すためにコンピュータスクリーンでユーザの動作を監視する方法及び装置
US8832575B2 (en) * 2006-09-26 2014-09-09 Core Wireless Licensing S.A.R.L Speed dependent displaying of information items in a graphical user interface
US8036917B2 (en) * 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
ES2316272B1 (es) * 2007-02-16 2009-11-30 Iriscom Sistemas, S.L . Sistema de seguimiento ocular para el gobierno de un ordenador.
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US8060887B2 (en) * 2007-03-30 2011-11-15 Uranus International Limited Method, apparatus, system, and medium for supporting multiple-party communications
US8627211B2 (en) 2007-03-30 2014-01-07 Uranus International Limited Method, apparatus, system, medium, and signals for supporting pointer display in a multiple-party communication
US8702505B2 (en) 2007-03-30 2014-04-22 Uranus International Limited Method, apparatus, system, medium, and signals for supporting game piece movement in a multiple-party communication
US7950046B2 (en) 2007-03-30 2011-05-24 Uranus International Limited Method, apparatus, system, medium, and signals for intercepting a multiple-party communication
US7765266B2 (en) 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium, and signals for publishing content created during a communication
US7765261B2 (en) 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium and signals for supporting a multiple-party communication on a plurality of computer servers
CA2700339A1 (en) * 2007-06-11 2008-12-18 Skillz Systems Inc. Method and device for sports skill training
US20080309616A1 (en) * 2007-06-13 2008-12-18 Massengill R Kemp Alertness testing method and apparatus
US20110205167A1 (en) * 2007-06-13 2011-08-25 Massengill Family Trust Brain concussion screening method & apparatus
US20110169730A1 (en) * 2008-06-13 2011-07-14 Pioneer Corporation Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
US9200901B2 (en) 2008-06-19 2015-12-01 Microsoft Technology Licensing, Llc Predictive services for devices supporting dynamic direction information
US8700301B2 (en) 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
US20090319166A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
US20090315775A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US20100156638A1 (en) * 2008-12-22 2010-06-24 Intercept Logic, Inc. Hand directed contraband sensing apparatus and method
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US8255827B2 (en) * 2009-01-26 2012-08-28 Microsoft Corporation Dynamic feature presentation based on vision detection
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20100332324A1 (en) * 2009-06-25 2010-12-30 Microsoft Corporation Portal services based on interactions with points of interest discovered via directional device information
US8872767B2 (en) 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
US8860729B2 (en) * 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
CN101950200B (zh) * 2010-09-21 2011-12-21 浙江大学 基于摄像头的眼球控制游戏地图和角色移动的方法和装置
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9323390B2 (en) * 2010-11-29 2016-04-26 Toshiba Tec Kabushiki Kaisha Coordinate recognition apparatus and control method thereof
US20160232704A9 (en) * 2011-05-11 2016-08-11 Daniel FONTIJNE Apparatus and method for displaying an image of an object on a visual display unit
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
CN103988149A (zh) * 2011-12-14 2014-08-13 英特尔公司 注视激活的内容传输系统
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9415745B1 (en) 2012-06-08 2016-08-16 The Boeing Company High intensity light source blocking system and method
US8917238B2 (en) 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
US8737691B2 (en) * 2012-07-05 2014-05-27 Verizon Patent And Licensing Inc. Methods and systems for creating virtual trips from sets of user content items
KR101354321B1 (ko) * 2012-11-27 2014-02-05 현대자동차주식회사 눈동자의 움직임을 이용한 명령 입력 장치 및 그 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US20140156654A1 (en) * 2012-12-05 2014-06-05 Hcl Technologies Limited Gaze controlled contextual web search
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US20140173524A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Target and press natural user input
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN103150021B (zh) * 2013-03-21 2017-02-22 上海斐讯数据通信技术有限公司 电子书阅读控制系统及电子书阅读控制方法
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9829975B2 (en) 2013-08-27 2017-11-28 Auckland Uniservices Limited Gaze-controlled interface method and system
US8950864B1 (en) 2013-08-30 2015-02-10 Mednovus, Inc. Brain dysfunction testing
KR102063767B1 (ko) * 2013-09-24 2020-01-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
USD745046S1 (en) 2013-10-25 2015-12-08 Microsoft Corporation Display screen with animated graphical user interface
USD753716S1 (en) 2013-11-21 2016-04-12 Microsoft Corporation Display screen with icon
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN104484588B (zh) * 2014-12-31 2018-10-09 河南华辰智控技术有限公司 具有人工智能的虹膜安全认证方法
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
CN107016270A (zh) * 2015-12-01 2017-08-04 由田新技股份有限公司 结合脸部认证或手部认证的动态图形眼动认证系统、方法
DE102017108194A1 (de) * 2017-04-18 2018-10-18 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US10768696B2 (en) 2017-10-05 2020-09-08 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
US10597042B2 (en) * 2018-03-27 2020-03-24 Intel Corporation User gesture directed object detection and recognition in a vehicle
JP7047676B2 (ja) * 2018-08-31 2022-04-05 株式会社Ｊｖｃケンウッド 評価装置、評価方法、及び評価プログラム
USD976950S1 (en) * 2020-10-02 2023-01-31 Lutron Technology Company Llc Display screen or portion thereof with animated graphical user interface
CN112546613B (zh) * 2020-12-22 2023-03-24 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
US11816221B2 (en) * 2021-04-22 2023-11-14 Bank Of America Corporation Source code vulnerability scanning and detection smart glasses
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11340703B1 (en) * 2021-06-29 2022-05-24 Bank Of America Corporation Smart glasses based configuration of programming code

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2179147A (en) 1984-12-24 1987-02-25 Univ Adelaide Improvements relating to eye-gaze-direction controlled apparatus
US5142655A (en) 1987-10-14 1992-08-25 Wang Laboratories, Inc. Computer input device using an orientation sensor
US5068645A (en) 1987-10-14 1991-11-26 Wang Laboratories, Inc. Computer input device using an orientation sensor
US4891630A (en) 1988-04-22 1990-01-02 Friedman Mark B Computer vision system with improved object orientation technique
JPH03163623A (ja) 1989-06-23 1991-07-15 Articulate Syst Inc 音声制御コンピュータ・インターフェース
WO1991017522A1 (en) 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
US5367315A (en) 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5450596A (en) 1991-07-18 1995-09-12 Redwear Interactive Inc. CD-ROM data retrieval system using a hands-free command controller and headwear monitor
US5305244B2 (en) 1992-04-06 1997-09-23 Computer Products & Services I Hands-free user-supported portable computer
JPH06131437A (ja) 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
US5632002A (en) 1992-12-28 1997-05-20 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems
CA2115210C (en) 1993-04-21 1997-09-23 Joseph C. Andreshak Interactive computer system recognizing spoken commands
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5625380A (en) 1995-02-08 1997-04-29 John Paulin Hansen Method and circuit for generating an activation signal and uses for the same
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Spherical Menu Selector/Uses of the Spherical Menu Selector. In: Research Disclosure, November 1989, Nr. 307123/Nr. 307074 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010097315A1 (de) 2009-02-24 2010-09-02 Reiner Kunz Navigation endoskopischer vorrichtungen mittels eye-tracker
DE102009010263A1 (de) 2009-02-24 2010-09-02 Reiner Kunz Steuerung der Bildaufnahme bei Endoskopen und Steuerung mikroinvasiver Instrumente mittels Eye-Tracking
EP2520993A3 (de) * 2011-05-06 2014-10-22 DECKEL MAHO Pfronten GmbH Vorrichtung zum Bedienen einer automatisierten Maschine zur Handhabung, Montage oder Bearbeitung von Werkstücken
US9158298B2 (en) 2011-05-06 2015-10-13 Deckel Maho Pfronten Gmbh Device for operating an automated machine for handling, assembling or machining workpieces

Also Published As

Publication number Publication date
GB0104863D0 (en) 2001-04-18
WO2000016185A9 (en) 2000-08-17
GB2357948A (en) 2001-07-04
GB2357948B (en) 2003-02-12
WO2000016185A2 (en) 2000-03-23
DE19983513T1 (de) 2001-08-30
AU2142200A (en) 2000-04-03
US6243076B1 (en) 2001-06-05
WO2000016185A3 (en) 2000-05-25

Similar Documents

Publication Publication Date Title
DE19983513B4 (de) Verfahren für das Auswählen eines grafischen Objektes und System für die Steuerung einer Schnittstelle eines Rechnersystems hierfür
DE112006002954B4 (de) Virtuelles Schnittstellensystem
Jacob et al. The perceptual structure of multidimensional input device selection
Loomis Tactile letter recognition under different modes of stimulus presentation
Bizzi The coordination of eye-head movements
Lotte et al. Towards improved BCI based on human learning principles
DE69329341T2 (de) Virtueller realitätsgenerator für finanznachrichten
DE102015103735A1 (de) Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
EP2467822B1 (de) Kontinuierliche bestimmung einer perspektive
DE102016210288A1 (de) Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
DE10056291A1 (de) Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
DE102016104186A1 (de) Simulator zum Training eines Teams einer Hubschrauberbesatzung
Won et al. Appearance and task success in novel avatars
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
DE2409614A1 (de) Verfahren zur pruefung des gesichtsfeldes
EP3716014A1 (de) Übertragen eines zustands zwischen vr-umgebungen
CN117476182A (zh) 瞬时超重和失重状态下的认知决策评估训练系统和方法
Tang et al. Toward brain-actuated mobile platform
DE102007026120B4 (de) Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems
Mughrabi et al. On the effectiveness of virtual eye-hand coordination training with head mounted displays
Riecke How Far Can We Get with Just Visual Information?: Path Integration and Spatial Updating Studies in Virtual Reality
Lee Scared of the dark: Examining aversive activation during a virtual navigation task
Bedny et al. Applied and systemic-structural activity theories
Hsu et al. Age differences in remote pointing performance
Murphy Within reach: The contribution of dynamic viewpoint to the perception of remote environments

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee