DE112016003719T5

DE112016003719T5 - System und Verfahren für Biomechanik-basierte Augensignale zur Interaktion mit realen und virtuellen Objekten

Info

Publication number: DE112016003719T5
Application number: DE112016003719.8T
Authority: DE
Inventors: Lewis James Marggraff; Nelson George Publicover; Spencer James Connaughton; Nathan LORD; Peter N. Milford; Ivan Maleev
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2015-08-15
Filing date: 2016-08-15
Publication date: 2018-05-09
Also published as: KR20180083252A; CN108351685A; CN108351685B; WO2017031089A1; JP6865175B2; EP3335096A1; GB201803620D0; EP3335096B1; GB2561455A; JP2018530798A; EP3335096A4; GB2561455B; KR102196975B1

Abstract

Es werden Systeme und Verfahren zum Erkennen der Absicht eines Benutzers einer Vorrichtung bereitgestellt, die in erster Linie auf der Bewegung der Augen beruhen. Das System kann in unauffälliger Headwear beinhaltet sein, die Eye-Tracking ausführt und die Bildschirmanzeige steuert. Das System kann auch ferngesteuerte Eye-Tracking-Kamera(s) einsetzen, Fernanzeigen und/oder andere zusätzliche Eingabevorrichtungen. Die Bildschirmgestaltung ist dahingehend optimiert, die Ausbildung und zuverlässige Detektierung schneller Augensignale zu begünstigen. Die Detektion von Augensignalen beruht auf dem Nachverfolgen physiologischer Bewegungen des Auges, die sich unter freiwilliger Steuerung durch den Benutzer der Vorrichtung befinden. Die Detektion von Augensignalen führt zu Aktionen, die mit in die Kleidung integrierter Datenverarbeitung (Wearable Computing) und einer großen Vielfalt von Anzeigevorrichtungen kompatibel sind.

Description

DATEN ZU VERWANDTEN ANMELDUNGEN
Die vorliegende Anmeldung erhebt Anspruch gegenüber den gleichzeitig anhängigen vorübergehenden Anmeldungen mit den Seriennummern 62/025.707, eingereicht am 15. August 2015, 62/252.347, eingereicht am 6. November 2015 und 62/319.751, eingereicht am 7. April 2016 und ist eine teilweise Fortsetzung der gleichzeitig anhängigen Patentanmeldungen mit den Seriennummern 14/708.234, 14/708.241 und 14/708.229, allesamt eingereicht am 9. Mai 2015, die Anspruch haben gegenüber den vorläufigen Anmeldungen mit den Seriennummern 61/991.435, eingereicht am 9. Mai 2014, 62/023.940, eingereicht am 13. Jul, 2014, 62/027.774, eingereicht am 22. Juli 2014, 62/027.777, eingereicht am 22. Juli 2014, 62/038.984, eingereicht am 19. August 2014, 62/ 039.001, eingereicht am 19. August 2014, 62/046,072, eingereicht am 4. September 2014, 62/074.920, eingereicht am 4. November 2014 und 62/074.927, eingereicht am 4. November, 2014 deren Offenbarungen in ihrer Gesamtheit durch Verweis hierein ausdrücklichen Bestandteil der vorliegenden Beschreibung bilden.
URHEBERRECHTSVERMERK
Hierin enthalten ist Material, das dem Urheberrechtsschutz unterliegt. Der urheberrechtliche Eigentümer hegt keinerlei Einwände gegen die Vervielfältigung der Patentoffenlegung mittels Fax durch irgendeine Person, da diese in den Akten des United States Patent and Trademark Office vermerkt ist, behält sich jedoch anderenfalls sämtliche Rechte auf das Urheberrecht in jeglicher Form vor. Der folgende Vermerk trifft auf nachstehend beschriebene und in den hieran angehängten Zeichnungen Software, Screenshots und Daten zu, auf die Jegliche Rechte Vorbehalten sind.
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen Systeme und Verfahren zum Erkennen der Absicht eines Nutzers (DIU, „Discerning the Intent of a User“) und zum anschließenden Steuern und Interagieren mit Datenverarbeitungs- und sonstigen Geräten vorwiegend unter Verwendung der Augen mit zusätzlicher optionaler Eingabeunterstützung. Das System verwendet Verfahren aus den Bereichen der Human-Machine Interfaces (HMIs), tragbarer Datenverarbeitung, menschlicher Physiologie, Bildverarbeitung und Deep Learning. Das System kann mit einer unauffälligen Kopfbedeckung, die die Augenverfolgung durchführt und/oder Hardware zur entfernten Augenverfolgung, die optional mit am Kopf befestigten Anzeigen (HMD, head mounted displays), fernen Anzeigen und/oder sonstigen tragbaren Sensoren oder Betätigungselementen verbunden sein kann, implementiert werden. Das System kann einem Nutzer einen leicht anzuwendenden, intuitiven und flexiblen Eingabemechanismus zum Steuern und Interagieren mit lokalen oder fernen Datenverarbeitungsgeräten bereitstellen.
ALLGEMEINER STAND DER TECHNIK
Computermäuse, Joysticks und andere manuelle Verfolgungsgeräte sind allgegenwärtige Werkzeuge zum Spezifizieren von Positionsinformationen bei Mensch-Maschine-Interaktionen. Mit der Einführung von tragbaren Datenverarbeitungsgeräten die beispielsweise im Allgemeinen stationäre Oberflächen für eine ordnungsgemäße Funktionsweise erfordern, sind mit der Eigenschaft des Tragbaren der Vorrichtungen, die zum Tragen am Körper entwickelt wurden, nicht kompatibel.
Es kann Eye Tracking (Augenverfolgung) verwendet werden, um Anzeigen anzusehen und zweckdienlich Positionsinformationen in Bezug auf virtuelle Objekte auf einer Anzeige oder reale Objekte in einer Umgebung des Nutzerobjektes anzuzeigen. Die Augen werden jedoch auch extensiv während normaler menschlichen Aktivitäten verwendet. Demzufolge besteht eine Herausforderung, wenn die Augenposition als Eingabedatenstrom zur Interaktion und Steuerung verwendet wird, darin, die Absicht eines Nutzers auf der Grundlage der Augenbewegung zu erkennen (DIU). Eines der Ziele der Systeme und Verfahren hierin besteht darin, zwischen den Bewegungen des Auges, die mit den normalen täglichen Aktivitäten verbunden sind und den bewussten oder willkürlichen Bewegungen, hierin als „Augensignale“ bezeichnet, zu unterscheiden, mit denen ein Interagieren und Steuern eines Gerätes beabsichtigt wird.
Es sind neue Paradigmen zum Erkennen der Absicht anhand von Augenbewegungen unter gleichzeitiger Beibehaltung der Fähigkeit von Individuen zur Visualisierung und Interaktion mit ihrer Umgebung erforderlich.
KURZDARSTELLUNG DER OFFENBARUNG
In Anbetracht des Vorstehenden werden hierin Systeme und Verfahren im Wesentlichen zum kontinuierlichen Erkennen der verschiedenen Absichten oder operativer Ziele eines oder mehrerer Nutzer, im Wesentlichen auf der Grundlage von absichtlichen Bewegungen eines oder mehrerer Augen zu erkennen, bereitgestellt.
Gemäß einer Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers blinzeln; Bestätigen, mit dem Detektor, dass eine Augenbewegung des einen oder der beiden Augen des Nutzers innerhalb einer vorab vorgegebenen Blinzeldauer nach dem Blinzeln; Klassifizieren, mit dem Detektor, dass die Augenbewegung sakkadiert ist, auf der Grundlage, dass eine sakkadierte Geschwindigkeit des einen oder der beiden Augen des Nutzers eine vorab festgelegte Schwellenwertgeschwindigkeit übersteigt; und Durchführen eines mit der sakkadierten Augenbewegung verbundenen Augenbewegung, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn ein oder beide Augen des Nutzers auf ein Objekt gerichtet sind, einer Sakkade eines oder beider Augen des Nutzers von dem Objekt in Richtung eines Zielortes auf der Anzeige; wenigstens teils auf der Grundlage des Identifizierens der Sakkade, Bewegen, auf der Anzeige während der Sakkade, von Orten des einen oder der mehreren angezeigten Objekte, innerhalb eines vorab definierten Bereiches um den Zielort auf der Anzeige; Bestätigen, mit einem Detektor, dass die Sakkade innerhalb eines vorab festgelegten Abstandes von dem Zielort abgeschlossen ist; Bestimmen, mit dem Detektor, einer oder mehrerer Blickbewegungen der Augen, die einem der angezeigten Objekte folgen, wodurch ein verfolgtes Objekt identifiziert wird; und Durchführen eines Schrittes in Bezug auf ein oder mehrere des Zielortes und des verfolgten Objektes, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen eine grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn sich das eine oder beide Augen des Nutzers auf eine erste Taste auf einer Tastatur richten; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von der ersten Taste in Richtung einer zweiten Taste auf einer zweiten Tastatur; Bestätigen, mit dem Detektor, dass die erste Sakkade innerhalb eines vorab festgelegten Abstandes von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf eine oder beide der ersten und der zweiten Taste, ohne Warten auf Wahrnehmen der zweiten Taste durch den Nutzer, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Bereitstellen einer ersten Tastatur aufweisend einen ersten Bereich mit einer Vielzahl von Tasten und eine zweite Tastatur aufweisend einen zweiten Bereich mit einer Vielzahl von Tasten; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf den ersten Bereich der ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf eine erste Taste auf der ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von einer ersten Taste in Richtung des zweiten Bereiches der zweiten Tastatur; Bestätigen, mit dem Detektor, dass die erste Sakkade innerhalb des zweiten Bereichs der zweiten Tastatur abgeschlossen ist; und Durchführen eines Schrittes in Bezug au die erste Taste, ohne darauf zu warten, dass der zweite Bereich der zweiten Tastatur durch den Nutzer wahrgenommen wird, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Übertragen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Darstellen, auf einer ersten Anzeige, eines ersten Feldes, aufweisend einen ersten Bereich mit einer Vielzahl von Symbolen und eines zweiten Feldes, aufweisend einen zweiten Bereich mit einer Vielzahl von Symbolen; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf ein erstes Symbol in dem ersten Feld gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der mehreren Augen des Nutzers in Richtung des zweiten Bereiches des zweiten Feldes; Bestätigen, mit dem Detektor, dass die erste Sakkade innerhalb des zweiten Bereiches des zweiten Feldes angeschlossen ist; und bei Bestätigen, dass die erste Sakkade von dem ersten Symbol zu dem zweiten Bereich abgeschlossen ist, Durchführen eines Schrittes in Bezug auf das erste Symbol, ohne darauf zu warten, dass der zweite Bereich durch den Nutzer wahrgenommen wird, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung einer Tastatur und eines Detektors bereitgestellt, das, Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf die erste Taste auf der ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass die Sakkade innerhalb eines vorab festgelegten Abstandes von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf eine oder beide der ersten und der zweiten Taste, ohne darauf zu warten, dass die zweite Taste durch den Nutzer wahrgenommen wird, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung einer Tastatur und eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf eine erste Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen von der erste Taste in Richtung einer zweiten Taste auf der Tastatur; Identifizieren, mit dem Detektor, einer oder mehrerer korrektiver Sakkaden des einen oder der beiden Augen des Nutzers weiter in Richtung auf die zweite Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass wenigstens eine oder eine oder mehrere korrektiven Sakkaden innerhalb eines vorab festgelegten Abstandes von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen eines Schrittes, der zu einem oder beiden der ersten und der zweiten Taste gehört, ohne darauf zu warten, dass die zweite Taste durch den Nutzer wahrgenommen wird, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung einer Tastatur und eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers innerhalb eines vorab festgelegten Abstandes von einem Ort der ersten Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass die Sakkade (zu) innerhalb eines vorab festgelegten Abstandes von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf sowohl die erste als auch die zweite Taste, ohne eine Anzeige zu ändern, um nicht die Aufmerksamkeit des Nutzers zu erregen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung einer Tastatur, einer Anzeige und eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen ersten Ort auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem ersten Ort in Richtung eines Auto-Fill-Aktivierungsziels auf einem Auto-Fill-Aktivierungszielort auf der Anzeige; Zeigen, innerhalb eines vorab festgelegten Bereiches um den Auto-Fill- Aktivierungszielort auf der Anzeige, einer oder mehrerer Abschlusselemente einer Datenmenge; Durchführen einer Auswahlaugenbewegung zum Anzeigen der Auswahl des einen der einen oder mehreren Abschlusselemente und dadurch Identifizieren eines ausgewählten Abschlusselementes; und Anhängen des ausgewählten Abschlusselementes an die Datenmenge, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung einer Tastatur und eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers innerhalb eines vorab festgelegten Abstandes von einem Ort der ersten Taste auf der Tastatur ausgerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Identifizieren, mit dem Detektor, einer oder mehrerer zusätzlicher Sakkaden des einen oder der beiden Augen des Nutzers in Richtung einer oder mehrerer zusätzlicher Tasten auf der Tastatur; Identifizieren, mit der ersten Sakkade und der einen oder den mehreren zusätzlichen Sakkaden, eines Augenbewegungsmusters; Klassifizieren, unter Verwendung des Augenbewegungsmusters als Eingabe in ein neurales Netzwerk, eines oder mehrerer alphanumerischer Zeichen; durch Durchführen einer Aktion in Bezug auf das eine oder die mehreren alphanumerischen Zeichen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung einer Tastatur, einer Anzeige und eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen ersten Ort gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem ersten Ort in Richtung eines ersten Aktivierungszielortes auf der Anzeige; Entfernen des ersten Aktivierungsziels von der Anzeige und Darstellen eines zweiten Aktivierungsziels auf der Anzeige an einem zweiten Aktivierungszielort, der, verglichen mit dem ersten Aktivierungszielort, anders ist; Identifizieren, mit dem Detektor, einer zweiten Sakkade des einen oder der beiden Augen des Nutzers von dem ersten Aktivierungszielort in Richtung eines zweiten Ortes auf der Anzeige; Bestätigen, mit dem Detektor, dass die zweite Sakkade zu innerhalb eines vorab festgelegten Abstandes von dem zweiten Ort abgeschlossen ist; Identifizieren, mit dem Detektor, einer dritten Sakkade des einen oder der beiden Augen des Nutzers von dem zweiten Ort in Richtung des zweiten Aktivierungszielortes auf der Anzeige; und Durchführen eines Schrittes in Bezug auf einen oder mehreren des ersten Ortes, des ersten Aktivierungszielortes, des zweiten Ortes und des zweiten Aktivierungsziels, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf eine betrachtete Position innerhalb einer Skala gerichtet sind; Identifizieren, mit dem Detektor, einer Sakkade des einen oder der beiden Augen des Nutzers von der betrachteten Position innerhalb der Skala in Richtung eines Aktivierungsziels an einem Aktivierungszielort; Bestätigen, mit dem Detektor, dass eine Sakkade innerhalb einem vorab festgelegten Abstand von dem Aktivierungszielort abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf eine oder beide der betrachteten Position innerhalb der Skala in Bezug auf einen Ort der Skala und des Aktivierungsziels, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers innerhalb eines vorab festgelegten Abstandes von einem Objekt an einem Objektort ausgerichtet sind; Identifizieren, mit dem Detektor, einer Sakkade des einen oder der beiden Augen des Nutzers von dem Objekt in Richtung eines Ziels an einem Zielort; Bestätigen, mit dem Detektor, dass die Sakkade zu innerhalb eines vorab festgelegten Abstandes von dem Zielort abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf das eine oder mehrere des Objektes, des Objektortes, des Ziels und des Zielortes vor dem Wahrnehmen des Ziels, wobei der Schritt Bereitstellen eines Nutzerrückmeldung umfasst, die ausgerichtet ist, keine visuelle Aufmerksamkeit des Nutzers zu erregen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und eines Sehgerätes bereitgestellt, das Identifizieren, mit dem Detektor, dass ein oder die beiden Augen des Nutzer auf ein Objekt an einem Objektort gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem Objektort in Richtung eines erste Ziels an einem ersten Zielort; während der ersten Sakkade, Ändern, mit dem Sehgerät, der Nutzeransicht des ersten Ziels, wodurch ein Lückeneffekt erzeugt wird, Identifizieren, mit dem Detektor, einer zweiten Sakkade des einen oder der beiden Augen des Nutzers von dem ersten Zielort in Richtung des zweiten Ziels an einem zweiten Zielort; Bestätigen, mit dem Detektor, dass die zweite Sakkade innerhalb eines vorab festgelegten Abstandes von dem zweiten Zielort abgeschlossen ist; und Durchführen eines Schrittes in Bezug auf ein oder mehrere des Objektes, des Objektortes, des ersten Ziels, des ersten Zielortes, des zweiten Ziels und des zweiten Zielortes, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung einer Anzeige und eines Detektors, Identifizieren, mit einer von dem Nutzer weg gerichteten Szenekamera, von Objekten, die sich in der Umgebung des Nutzers befinden; Bestimmen, mit einer Datenbank aus Objektvorlagen, ob ein oder mehrere in der Umgebung des Nutzers befindliche Objekte hoher Wichtigkeit sind; Empfangen, unter Verwendung einer Telekommunikationsvorrichtung, einer eingehenden Datenmenge, die zum Anzeigen auf der Anzeige bestimmt ist; und Zeigen der eingehenden Datenmenge auf der Anzeige nur dann, wenn bestimmt wird, dass keine Objekte hoher Wichtigkeit in der Umgebung des Nutzers vorhanden sind, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bestimmen der Absicht von zwei (2) Nutzern tragbarer Geräte wenigstens teils auf der Grundlage der Bewegung einer oder beider Augen der Nutzer unter Verwendung einer Szenekamera und eines Detektors bereitgestellt, das Identifizieren, mit einer Szenekamera, die operativ mit einem ersten tragbaren Gerät verbunden ist, das zu einem ersten Nutzer eines tragbaren Gerätes gehört, eines Bereiches in einem oder mehreren Szenekamerabilder, der ein oder beide Augen eines zweite Nutzers eines tragbaren Gerätes enthält; Identifizieren, unter Verwendung von Bilderkennung, wenn das eine oder die beiden Augen des zweiten Nutzers eines tragbaren Gerätes innerhalb eines vorab festgelegten Winkelbereiches in Richtung des ersten Nutzers eines tragbaren Gerätes gerichtet sind; Bestätigen, dass das eine oder die beiden Augen des zweiten Nutzers eines tragbaren Gerätes für eine vorab festgelegten Zeit in Richtung des ersten Nutzers eines tragbaren Gerätes; und Zulassen einer elektronischen Datenübertragung zwischen dem ersten zu dem ersten Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerät und einem zweiten zu dem zweiten Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerät, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Nutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung einer oder beider Augen der Nutzer unter Verwendung einer Anzeige, einer oder mehrerer Szenenkameras und eines Detektors bereitgestellt, das Identifizieren, mit der einen oder den mehreren in Richtung einer Umgebung des Nutzers gerichteten Szenenkameras, betrachteter Objekte in der Umgebung des Nutzers; Empfangen, unter Verwendung einer Telekommunikationsvorrichtung, einer oder mehrerer eingehender Datenmengen, die zum Anzeigen auf der Anzeige bestimmt sind; und bestimmen, auf der Grundlage von einer oder mehreren vorab festgelegten Nutzerpräferenzen, einer Auswahl und Zeitgebung von dem Nutzer auf der Anzeige gezeigten Datenmengen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bestimmen der Absicht eines Nutzers eines tragbaren Gerätes wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung einer Szenenkamera und eines Detektors eines zu einem Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerät bereitgestellt, das Identifizieren, mit der Szenenkamera des tragbaren Gerätes, eines Bereiches in einem oder mehreren Szenenkamerabildern, der eine oder beide Augen eines betrachteten Individuums enthält; Identifizieren, unter Verwendung des Detektors und der Szenenkamera, dass ein Blick des Nutzers eines tragbaren Gerätes, innerhalb eines vorab festgelegten Winkelbereiches, in Richtung des einen oder der beiden Augen des betrachteten Individuums gerichtet ist; Identifizieren, unter Verwendung von Bilderkennung, wenn das eine oder die beiden Augen des betrachteten Individuums innerhalb eines vorab festgelegten Winkelbereichs in Richtung des Nutzers eines tragbaren Gerätes gerichtet sind; und Durchführen, mit dem tragbaren Gerät, einer Aktion, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bestimmen der Absicht von zwei (2) Nutzern tragbarer Geräte wenigstens teils auf der Grundlage der Bewegung einer oder beider Augen der Nutzer unter Verwendung einer Szenekamera und ein oder mehrerer Signale bereitgestellt, das Identifizieren, mit einer Szenekamera, die operativ mit einem zu dem ersten Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerät verbunden ist, eines Bereiches in einem oder mehreren Szenenkamerabilder, der einen oder mehrere Signal von einem zweiten zu einem zweiten Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerät enthält; Identifizieren, mit der Szenenkamera, eines von dem einen oder den mehreren Signalen des zweiten zu dem zweiten Nutzer eines tragbaren Gerätes gehörenden tragbaren Gerätes gesendeten Codes; Bestätigen, mit einer Datenbank von Zugangscodes, dass der durch das Signal gesendeter Code Zugriff auf eine Informationsdatenbank über den zweiten Nutzer eines tragbaren Gerätes zulässt; und Zulassen von elektronischer Datenübertragung zwischen dem ersten zu dem ersten Nutzer gehörenden tragbaren Gerät und einer Datenbank, die Informationen über den zweiten Nutzer eines tragbaren Gerätes enthält, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bestimmen einer Absicht eines Nutzers wenigstens teils auf der Grundlage eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn sich das eine oder die beiden Augen des Nutzers auf eine Weise bewegen, die als nützliche Augenbewegung bestimmt wird; Identifizieren, unter Verwendung einer Datenbank von Augenbewegungsvorlagen, einer zu dem nützlichen Augensignal gehörenden Augenaktion; Identifizieren, im Wesentlichen zur selben Zeit, einer von einem Eingabegerät erzeugten Nutzereingabe, die nicht zu dem einen oder beiden Augen des Nutzers gehört; Identifizieren einer zu der von dem Eingabegerät erzeugten Nutzereingabe gehörenden Geräteaktion; und Durchführen, auf der Grundlage einer Datenbank aus Eingabehierarchien, eine einer zu dem nützlichen Augensignal gehörenden Aktionen und einer zu der Nutzereingabe gehörenden Aktion.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bewegen eines Zeigers auf einer oder mehreren Anzeigen wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen eines Nutzers unter Verwendung eines Detektors und eines Zeigegerätes bereitgestellt, das Identifizieren eines Quellenortes auf einer Quellenanzeige eines Zeigers, in der die Position des Zeigers wenigstens teils durch ein Zeigegerät gesteuert wird; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Zielort auf einer Zielanzeige gerichtet sind; Bestätigen, mit dem Zeigegerät einer Bewegung des Zeigegerätes in eine Richtung innerhalb eines vorab festgelegten Richtungsbereiches, in Richtung des Zielortes auf der Zielanzeige in Bezug auf den Quellenort auf der Quellenanzeige; und Anzeigen des Zeigers an einem neuen Zeigerort auf der Zielanzeige innerhalb eines vorab festgelegten Abstandes weg von dem Zielort, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung einer oder beider Augen der Nutzer unter Verwendung einer und eines Detektors bereitgestellt, das Anzeigen, auf der Anzeige, eines Abschnittes einer Partitur; Identifizieren, mit einem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Betrachtungsort innerhalb des angezeigten Abschnittes der Partitur gerichtet sind; Identifizieren, mit einer Datenbank, die die Partitur enthält, einer oder mehrerer Pausenorte innerhalb der Partitur; bestätigen, mit dem Detektor, dass der Betrachtungsort innerhalb eines vorab festgelegten Abstandes von wenigstens einem der Pausenorte innerhalb der Partitur liegt; und Anzeigen eines neuen Abschnitte der Partitur, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers beim Steuern eines Fahrzeuges wenigstens teils auf der Grundlage der Bewegung einer oder beider Augen der Nutzer unter Verwendung eines Detektors, einer Szenekamera und einer Anzeige bereitgestellt, das Darstellen, auf der Anzeige, die operativ mit der Szenenkamera verbunden ist, von Videobildern der Umgebung des Fahrzeuges; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Zielort in den Videobildern der Umgebung des Fahrzeuges auf der Anzeige gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem Zielort auf der Anzeige in Richtung eines Aktivierungsortes auf der Anzeige; Bestätigen, mit dem Detektor, dass die Sakkade zu innerhalb eines vorab festgelegten Abstandes von einem Ort des Aktivierungsziels abgeschlossen ist; und Veranlassen des Fahrzeuges zum Fahren in Richtung eines Zielortes in der Umgebung des Fahrzeuges, das durch den Zielort auf der Anzeige dargestellt ist, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers beim Fahren eines Fahrzeuges wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf ein Objekt an einem Objektort gerichtet sind; Identifizieren, mit einem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem Objektort in Richtung eines Aktivierungsziels an einem Zielort auf einer Anzeige; Bestätigen, mit dem Detektor, dass die Sakkade zu innerhalb eines vorab festgelegten Abstandes von dem Zielort abgeschlossen ist; Bestätigen, mit dem Detektor, dass das eine oder die beiden Augen des Nutzers innerhalb einer vorab festgelegten Zeit, zu innerhalb eines vorab festgelegten Richtungsbereiches in Richtung zu einer Bewegung des Fahrzeuges gerichtet sind; und Durchführen eines Schrittes in Bezug auf eines oder mehrere des Objektes und des Aktivierungsziels, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Vergrößern eines Speichers eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers innerhalb eines vorab festgelegten Abstandes von einem Ort eines gespeicherten Objektes ausgerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von einem Objektspeicherort in Richtung eines Speicheraktivierungsziels an einem Zielort; Bestätigen, mit dem Detektor, dass die Sakkade zu innerhalb einem vorab festgelegten Abstand von dem Zielort abgeschlossen ist; Durchführen, mit einem Speichergerät, einer Speicherfunktion, aufweisend Speichern einer zu dem Speicherungsobjekt gehörenden Datenmenge an einem Ort in der Vielzahl von Datenmengen, der einem Speicherdatenmengenindex entspricht, und Erhöhen des Speicherdatenmengenindexes um Eins (1), umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Vergrößern des Speichers eines Nutzer wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit einem Detektor, wenn das eine oder die beiden Augen des Nutzers auf ein Abfrageobjekt an einem Abfrageobjektort auf einer Anzeige gerichtet sind; Identifizieren, mit einem Detektor, einer ersten Sakkade des einen oder der beiden Augen des Nutzers von dem Abfrageobjektort auf der Anzeige in Richtung eines Abfrageaktivierungsziels an einem Zielort; Bestätigen, mit dem Detektor, dass eine Sakkade zu innerhalb einem vorab festgelegten Abstand von dem Zielort abgeschlossen ist; Durchführen, mit einem Speichergerät, einer Abruffunktion aufweisend Abrufen einer abgerufenen Datenmenge von einem Ort, der einem Abrufdatenmengenindex in einer Vielzahl von Datenmengen entspricht, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Vergrößern eines Speichers eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Durchführen, wenn eine Sakkade von einem Objekt zu innerhalb einem vorab festgelegten Abstand von einem Ort eines Speicheraktivierungsziels unter Verwendung des Detektors identifiziert wird, eine Speicherfunktion einer zu dem Objekt gehörenden Datenmenge an einem Ort in der Vielzahl von Datenmengen, der einem Speicherdatenmengenindex entspricht, und Erhöhen des Speicherdatenmengenindexes um Eins (1); Durchführen, wenn eine Sakkade von einem Objekt zu innerhalb einem vorab festgelegten Abstand von einem Ort eines Abrufaktivierungsziels unter Verwendung des Detektors identifiziert wird, einer Abruffunktion einer zu dem Objekt gehörenden Datenmenge an einem Ort innerhalb einer Vielzahl von Datenmengen, der einem Abrufdatenmengenindex entspricht; Auswählen, wenn eines Sakkade bis zu einem Aktivierungsziel unter Verwendung des Detektors identifiziert wird, eines Abrufdatenmengenindexes durch Erhöhen des Abrufdatenmengenindexes um Eins (1); Auswählen, wenn eine Sakkade zu einem Abwärtsaktivierungsziel unter Verwendung des Detektors identifiziert wird, eines Abrufdatenmengenindexes durch Herabsetzen des Abrufdatenmengenindexes um Eins (1); und Durchführen, wenn eine Sakkade von einem Objekt zu innerhalb eines vorab festgelegten Abstandes von einem Ort eines Löschaktivierungsziels unter Verwendung des Detektors identifiziert wird, einer Löschfunktion, die ein oder mehrere von Löschen des Objektes an einem Ort in einer Vielzahl von Datenmengen, die einem Abrufdatenmengenindexes entspricht und Herabsetzen des Abrufdatenmengenindexes um Eins (1), umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Verbessern von Dokumentensicherheit wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung einer oder mehrerer auf ein oder beide Augen eines Nutzers gerichteten Augenkameras und einer auf eine Umgebung des Nutzers gerichtete Szenekamera bereitgestellt, das Erfassen, unter Verwendung der einen oder der mehreren Augenkameras, eines oder mehrerer Bilder des einen oder der beiden Augen des Nutzers; Bestimmen, durch Vergleichen des einen oder der mehreren Bilder des einen oder der beiden Augen des Nutzers mit einer Datenbank bekannter Identitätsaugenvorlagen, einer Identität des Nutzers; Identifizieren, unter Verwendung der Szenekamera, eines Dokumentes, das von dem einen oder den beiden Augen des Nutzers betrachtet wird; Bestätigen, unter Verwendung der einen oder der mehreren Augenkameras, dass das eine oder die beiden Augen des Nutzers auf das Dokument gerichtet sind; und elektronisches Quittieren des Dokumentes, so dass angezeigt wird, dass der identifizierte Nutzer das Dokument betrachtet hat, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung einer Anzeige, eines Kopfbewegungsdetektors und eines Augenpositionsdetektors bereitgestellt, das Anzeigen, auf der Anzeige, einer Vielzahl von angezeigten Objekten; Identifizieren, mit dem Augenpositionsdetektor, wenn das eine oder die beiden Augen des Nutzers auf eines der Vielzahl von angezeigten Objekten gerichtet sind, dadurch Identifizieren eines betrachteten Objektes; Identifizieren, mit dem Kopfbewegungsdetektor, einer Kopfbewegung durch den Nutzer in eine erste Richtung; Bestätigen, mit dem Augenbewegungsdetektor, einer Augenbewegung des einen oder der beiden Augen des Nutzers; Klassifizieren, ob die Augenbewegung vestibulo-okkular ist, auf der Grundlage dessen, ob die Augenbewegung den Nutzer veranlasst, die Betrachtung des betrachteten Objektes während der Kopfbewegung fortzusetzen; und Bestimmen, dass die Augenbewegung nicht vestibulo-okkular ist, und demzufolge Bewegen der Vielzahl von angezeigten Objekten in die erste Richtung, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Szenenkamera bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen ersten betrachteten Ort in einer Umgebung des Nutzers gerichtet sind; Identifizieren, mit einer Szenekamera, eines ersten betrachteten Objektes an einem ersten betrachteten Ort in der Umgebung des Nutzers; Identifizieren, unter Verwendung einer Datenbank aus Objektvorlagen, des ersten betrachteten Objektes und dadurch Erstellen eines ersten identifizierten betrachteten Objektes; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers eine Augenbewegung in Richtung eines zweiten betrachteten Ortes in der Umgebung des Nutzers durchführen; Identifizieren, mit der Szenenkamera, eines zweiten betrachteten Objektes an dem zweiten betrachteten Ort in der Umgebung des Nutzers; Identifizieren, unter Verwendung der Datenbank aus Objektvorlagen, des zweiten betrachteten Objektes und dadurch Erstellen eines zweiten identifizierten betrachteten Objektes; Bestätigen, unter Verwendung einer Datenbank von aktivierbaren Objekten, dass das zweite identifizierten betrachteten Objekt einem Aktivierungsziel entspricht; und Durchführen eines Schrittes in Bezug auf eins oder mehrere des ersten identifizierten betrachteten Objekts, des ersten betrachteten Ortes, des zweiten identifizierten betrachteten Objektes und des zweiten betrachteten Ortes, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors, einer Szenenkamera und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen betrachteten Ort in einer Umgebung des Nutzers gerichtet sind; Identifizieren, mit der Szenenkamera, eines betrachteten Objektes an dem betrachteten Ort in der Umgebung des Nutzers; Identifizieren, unter Verwendung einer Datenbank von Objektvorlagen, des betrachteten Objektes und dadurch Erstellen eines identifizierten, betrachteten Objektes; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers ein oder mehrere Augenbewegungen von dem identifizierten betrachteten Objekt in Richtung einer oder mehrerer Aktivierungsziele auf der Anzeige durchführen; Bestätigen, mit dem Detektor, dass die eine oder mehreren Augenbewegungen zu innerhalb eines vorab festgelegten Abstandes von dem einen des einen oder der mehreren Aktivierungsziele abgeschlossen sind und dadurch Erstellen eines ausgewählten Aktivierungsziels; und Durchführen eines Schrittes in Bezug auf das eine oder die mehreren des ersten identifizierten betrachteten Objektes und des ausgewählten Aktivierungsziels, umfasst.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Anpassen der Erkennung von Signalgebung einer Absicht eines Nutzers in einer grafischen Benutzerschnittstelle aufweisend eine elektronische Anzeige unter Verwendung eines Detektors wenigstens teils auf der Grundlage einer des kognitiven Zustandes, der physiologischen Verfassung oder Augenbewegungshistorie des Nutzers bereitgestellt, das Beobachten wenigstens eines kognitiven Zustands, eines neurologischen Zustands, einer physiologischen Verfassung und einer Augenbewegungshistorie; Identifizieren, unter Verwendung des Detektors, wenigstens eines bekannten von einer Augenbewegung angezeigten Augensignals zum Kommunizieren einer Nutzerabsicht, die von einer vorab festgelegten Bewegung des oder der Auges(n) des Nutzers durchgeführt werden kann; und Anpassen einer Toleranz für die Erkennung des wenigstens einen bekannten Signals auf der Grundlage des einen oder der mehreren des kognitiven Zustands, der physiologischen Verfassung oder Augenbewegungsverhalten des Nutzers vor oder während des wenigstens einen bekannten Signals, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Anpassen der Reaktion auf eine Erkennung von Signalgebung einer Absicht eines Nutzers in einer grafischen Nutzerschnittstelle aufweisend eine elektronische Anzeige unter Verwendung eines Detektors wenigstens teils auf der Grundlage einer des kognitiven Zustandes, einer physiologischen Verfassung oder einer Augenbewegungshistorie bereitgestellt, das Beobachten wenigstens eines kognitiven Zustandes eines Nutzers, einer neurologischen Verfassung, einer physiologischen Verfassung und einer Augenbewegungshistorie; Identifizieren wenigstens eines bekannten Augensignals zum Kommunizieren der Nutzerabsicht, wobei das Augensignal eine oder mehrere einer vorab festgelegten Bewegungen des einen oder der beiden Augen des Nutzers, Pupillenerweiterung des einen oder der beiden Augen des Nutzers und Pupillenverkleinerung des einen oder der beiden Augen des Nutzers umfasst; Erkennen des wenigstens einen bekannten Augensignals wenigstens teils auf der Grundlagen eines des kognitiven Zustandes, einer physiologischen Verfassung oder einer Augenbewegungsverhalten vor oder während des wenigstens einen bekannten Signals; Anpassen einer Reaktion auf das wenigstens eine bekannte Augensignal durch Ändern von wenigstens eines der Zeitgebung der Reaktion, Auswahl der als Teil der Antwort darzustellenden Grafik, Übergang der als Teil der Antwort dargestellten grafischen Elemente, Zeitgebung eines beliebigen Teils der Antwort und als Teil der Antwort unternommenen Schritt, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Headsets und eines Detektors bereitgestellt, das Bestimmen, mit dem Headset, von Bewegungen in einem Bereich des Kopfes des Nutzers; Bestimmen, auf der Grundlage von einer oder mehreren einer Amplitude und einer Häufigkeit der Bewegungen des Kopfes des Nutzers, eines Augenbewegungseingrenzungsbereiches; Bestätigen, mit dem Detektor, dass eine oder mehrere Augenbewegungen des einen oder der beiden Augen des Nutzers mit einem oder mehreren einer Vorlage von Augensignalbewegungen innerhalb eines Augenbewegungseingrenzungsbereiches übereinstimmt; und Durchführen eines Schrittes in Bezug auf die eine oder mehreren Augenbewegungen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Headsets bereitgestellt, das Bestimmen, mit dem Headset, einer Umgebungsbeleuchtung in einem Bereich des Kopfes des Nutzers; Bestimmen, auf der Grundlage von einer oder mehreren einer Amplitude und Änderungen bei der Umgebungsbeleuchtung; eines Augenbewegungseingrenzungsbereiches; Bestätigen, mit einem auf dem Headset befestigten Augenbewegungs-Detektor, dass eine oder mehrere Bewegungen des einen oder der beiden Augen des Nutzers mit einem oder mehreren eines Musters von Augensignalbewegungen innerhalb eines Augenbewegungseingrenzungsbereiches; und Durchführen eines Schrittes in Bezug auf die eine oder mehreren Augenbewegungen, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers in Richtung eines anfangs betrachteten Objektes auf der Anzeige an einem anfangs betrachteten Objektort gerichtet sind; Bestimmen, unter Verwendung einer Datenbank aus bevorzugten Vergrößerungszentren für auf der Anzeige dargestellte Objekte, eines bevorzugten Ortes auf der Anzeige eines Zentrums für eine Vergrößerung aller Objekte auf der Anzeige, die innerhalb eines vorab definierten Abstandes von dem anfangs betrachteten Objektort liegen; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers einem verfolgten Objekt während der Vergrößerung aller Objekte auf der Anzeige folgen, die innerhalb eines vorab definierten Abstandes von dem anfangs betrachteten Objektort liegen; Bestätigen, mit dem Detektor, dass das verfolgte Objekt während der Vergrößerung für eines vorab festgelegten Abstandes und einer vorab festgelegten Zeit verfolgt wird und dadurch ein ausgewähltes Objekt identifiziert wird; und Durchführen eines Schrittes in Bezug auf das ausgewählte Objekt, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers in Richtung eines anfangs betrachteten Objektes auf der Anzeige an einem anfangs betrachteten Objektort gerichtet sind; Bestimmen, unter Verwendung einer Datenbank von bevorzugten Vergrößerungszentren für auf der Anzeige dargestellte Objekte, eines bevorzugten Ortes auf der Anzeige eines Zentrums für eine Vergrößerung aller Objekte auf der Anzeige, die innerhalb eines vorab definierten Abstandes von dem anfangs betrachteten Objektort liegen; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers einem verfolgten Objekt während der Vergrößerung aller Objekte auf der Anzeige, die innerhalb eines vorab definierten Abstandes von dem anfangs betrachteten Objektort liegen, verfolgen; Bestätigen, mit dem Detektor, dass das verfolgte Objekt während der Vergrößerung für einen eines vorab festgelegten Abstandes und einer vorab festgelegten Zeit verfolgt wird und dadurch Identifizieren eines ausgewählten Objektes; und Durchführen eines Schrittes in Bezug auf das ausgewählte Objekt, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors, einer Anzeige und einer Tastatur bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Bereich auf der Anzeige gerichtet sind, das eine Vielzahl von auswählbaren Zielen enthält; Überlagern, auf der Anzeige, einer Vielzahl von Tastatursymbolen, worin jedes der Tastatursymbole zu einem oder mehreren auswählbaren Zielen gehört; Bestätigen, mit der Tastatur, dass der Nutzer eine Taste auf der Tastatur auswählt, die einem oder mehreren zu einem oder mehreren auswählbaren Zielen entsprechenden Tastatursymbolen entsprechen und dadurch ein oder mehrere ausgewählte Ziele identifiziert; und Durchführen eines Schrittes in Bezug auf das eine oder die mehreren ausgewählten Ziele, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors, einer Anzeige und eines Mikrophons bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Bereich auf der Anzeige gerichtet sind, der eine Vielzahl von auswählbaren Zielen enthält; Überlagern, auf der Anzeige, einer Vielzahl von Symbolen, worin jedes der Symbole zu einem oder mehreren auswählbaren Zielen gehört; Bestätigen, mit dem Mikrophon und einer Datenbank von Klangmustern, dass der Nutzer einen Klang erzeugt, der einem der zu dem einen oder mehreren auswählbaren Zielen gehörenden Symbole entspricht und dadurch Identifizieren eines oder mehrerer ausgewählter Ziele; und Durchführen eines Schrittes in Bezug auf ein oder mehrere ausgewählte Ziele, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bestimmen einer Blickrichtung zum Herleiten einer Absicht eines Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, einer Blickrichtung eines rechten Auge des Nutzers, wenn es ein Zielobjekt auf der Anzeige an einem Zielobjektort betrachtet; Identifizieren, mit dem Detektor, einer Blickrichtung eines linken Auges des Nutzers, wenn es das Zielobjekt auf der Anzeige betrachtet; Bestimmen, welche der Blickrichtung des linken Auges und der Blickrichtung des rechten Auges näher an dem Zielobjektort; und Zuweisen, auf der Grundlage welche Augenblickrichtung näher an dem Zielobjektort ist, einer Augendominanz für einen Bereich von Orten innerhalb eines vorab festgelegten Bereiches um den Zielobjektort herum.
Gemäß einer weiteren Ausführungsform wird ein Verfahren zum Bestimmen einer Blickrichtung zum Herleiten einer Absicht eines Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das Auge des Nutzers auf ein erstes Objekt gerichtet ist, das in einem ersten Objektabstand erscheint; Identifizieren, mit dem Detektor, wenn das Auge des Nutzers auf ein zweites Objekt auf der Anzeige gerichtet ist, das in einem zweiten Objektabstand erscheint, der sich von dem ersten Objektabstand unterscheidet; Modifizieren, unter Verwendung der Anzeige, einer oder mehrerer aus der Position und der Größe des zweiten Objektes auf der Anzeige; Bestätigen, dass das erste Objekt und das zweite Objekt mit einer maximalen Überlappung erscheinen, wenn sie von dem Auge des Nutzers betrachtet werden; und Bestimmen, auf der Grundlage des Ortes des ersten Objektes und eines Ortes des zweiten Objektes, einer Sichtachse des Auges des Nutzers.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Anzeigen von Bildern auf einer Anzeige in einer Übertragungsbandbreite wenigstens teils auf der Grundlage der eines Blickortes eines oder beider Augen eines Gerätenutzers des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf der Grundlage des Blickortes, eines fovealen Betrachtungsbereiches auf der Anzeige innerhalb eines Sichtbereiches des Nutzers; Identifizieren, auf der Grundlage einer Datenbank von betrachtbaren Objekten, angezeigten Objekten die für den Gerätenutzer Objekte hoher Relevanz sind; und Wiedergeben, unter Verwendung der Anzeige, von Objekten, die eines oder mehrere von Objekten der fovealen Betrachtung und hoher Relevanz sind, bei hoher Auflösung verglichen mit den verbleibenden Objekten innerhalb des Sichtbereiches des Nutzers, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Anzeigen von Bildern auf einer Anzeige in einer Übertragungsbandbreite wenigstens teils auf der Grundlage eines Blickortes eines oder beider Augen eines Gerätenutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf der Grundlage des Blickortes, eines fovealen Betrachtungsbereiches auf der Anzeige innerhalb eines vorab festgelegten Bereiches, der den Blickort umgibt; Identifizieren, auf der Grundlage des Sichtbereiches des Nutzers außerhalb des fovealen Betrachtungsbereiches, eines nicht-fovealen Betrachtungsbereiches auf der Anzeige; und Wiedergeben, unter Verwendung der Anzeige, von Objekten in dem nicht-fovealen Bereich mit einem reduzierten Farbgehalt, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Anzeigen von Bildern auf einer Anzeige in einer Übertragungsbandbreite wenigstens teils auf der Grundlage eines Blickortes eines oder beider Augen eines Gerätenutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, wenn das eine oder die beiden Augen des Nutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf der Grundlage des Blickortes, eines Betrachtungsbereiches hoher Auflösung auf der Anzeige innerhalb eines Sichtbereiches des Nutzers Wiedergeben, unter Verwendung der Anzeige, von Objekten in dem Betrachtungsbereich der hohen Auflösung auf der Anzeige bei einer höheren Auflösung verglichen mit verbleibenden Objekten auf der Anzeige innerhalb des Sichtbereiches des Nutzers außerhalb des Betrachtungsbereiches hoher Auflösung; und Modifizieren, auf der Grundlage einer Lichtmenge, die das eine oder die beiden Augen des Nutzers erreicht, eines einer Größe und einer Form des Betrachtungsbereiches hoher Auflösung auf der Anzeige, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Messen eines Augenblickes zum bestimmen der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung des einen oder der beiden Augen des Nutzers unter Verwendung eines Detektors bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen ersten Betrachtungsort in Bezug auf den Referenzort eines Objektes gerichtet sind; Bestimmen, unter Verwendung einer zu dem Objekt gehörenden Hervorhebungskarte, eines ersten Wichtungsfaktors auf der Grundlage des ersten Betrachtungsortes in Bezug auf den Referenzort des Objektes; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen zweiten Betrachtungsort in Bezug auf den Referenzort des Objektes gerichtet sind; Bestimmen, unter Verwendung der zu dem Objekt gehörenden Hervorhebungskarte, eines zweiten Wichtungsfaktors auf der Grundlage des zweiten Betrachtungsortes in Bezug auf den Referenzort des Objektes; und Bestimmen eines gewichteten durchschnittlichen Betrachtungsortes auf der Grundlage des ersten Betrachtungsortes multipliziert mit dem ersten Wichtungsfaktor, und des zweiten Betrachtungsortes multipliziert mit dem zweiten Wichtungsfaktor, umfasst.
Gemäß einer noch weiteren Ausführungsform wird ein Verfahren zum Bereitstellen einer grafischen Benutzerschnittstelle zum Herleiten der Absicht eines Nutzers wenigstens teils auf der Grundlage der Bewegung eines oder beider Augen des Nutzers unter Verwendung eines Detektors und einer Anzeige bereitgestellt, das Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen ersten Ort auf der Anzeige gerichtet sind; Bestätigen, mit dem Detektor, dass eine erste Sakkade des einen oder der beiden Augen des Nutzers von dem ersten Ort in Richtung eines Bereichsauswahlziels bis zu innerhalb eines vorab festgelegten Abstandes von einem Ort des Bereichsauswahlziels abgeschlossen ist; Identifizieren, mit dem Detektor, wenn das eine oder die beiden Augen des Nutzers auf einen zweiten Ort auf der Anzeige gerichtet sind; Bestätigen, mit dem Detektor, dass eine zweite Sakkade des einen oder der beiden Augen des Nutzers von einem ersten Ort in Richtung eines Aktivierungsziels zu innerhalb einem vorab festgelegten Abstand von einem Ort des Aktivierungsziels abgeschlossen ist; Identifizieren, auf der Grundlage von auf die Anzeige projizierten Objekten, aller Objekte, die von einem rechteckigen Bereich mit Ecken an dem ersten Ort und den zweiten Ort umrandet sind; und Durchführen eines Schrittes in Bezug auf das Aktivierungsziel, an allen Objekten auf der Anzeige, die von dem rechteckigen Bereich mit Ecken an dem ersten Ort und dem zweiten Ort umgeben sind.
Unter Betrachtung der folgenden Beschreibung werden, wenn diese zusammen mit den beigefügten Zeichnungen gelesen wird, weitere Aspekte und Merkmale der vorliegenden Erfindung ersichtlich.
Figurenliste
Durch Bezugnahme auf die ausführliche Beschreibung kann, wenn diese zusammen mit den folgenden veranschaulichenden Zeichnungen betrachtet wird, ein vollständigeres Verständnis der vorliegenden Erfindung hergeleitet werden. In den Figuren beziehen sich gleiche Referenzzahlen auf gleiche Elemente oder Schritte durch die gesamten Figuren hinweg. Die vorliegenden beispielhaften Ausführungsformen werden in den beigefügten Zeichnungen veranschaulicht, in denen:

1A eine beispielhafte Anzeige ist, die einen Augensignaldateneintrag über eine Auswahl von 1 bis 4 Elementen aus allen 8 Orten ermöglicht.
1B ein Augensignaleintrag des Wortes „boy“ unter Verwendung eines 4-mal-3-Auswahlgitters veranschaulicht.
2A eine beispielhafte Anzeige ist, die den Eintrag des englischen Alphabetes über eine Auswahl von 1 bis 3 Elementen von jedem der 9 Orte ermöglicht.
2B den Augensignaleintrag des Wortes „cat“ unter Verwendung eines 4-mal-3-Auswahlgitters veranschaulicht.
3 eine beispielhafte Anzeige ist, mit dem das englische Alphabet und Sonderzeichen über eine Auswahl von 1 bis 6 Elementes von jedem der 6 Orte eingegeben werden können.
4A eine beispielhafte Anzeige ist, mit der das englische Alphabet, Ziffern und 18 Sonderzeichen/Funktionen über eine Auswahl von 1 bis 6 Elementen von jedem der 9 Orte eingegeben werden können.
4B eine alternative Anzeige verglichen zu 4A ist, in der das englische Alphabet und Ziffern in einer eher typischeren Lesereihenfolge, von links nach rechts, und von oben nach unten angeordnet sind.
5 eine beispielhafte Anzeige der Sequenz einer typischen QWERTY-Tastatur ist, mit der Augensignaleinträge über eine Auswahl von 1 bis 4 Elementen von jedem der 12 Orte ermöglichen.
6 ein alternatives Anzeigelayout ist, in dem 1-von-4-Zeichen/Funktionen durch Sakkadieren von 1-4-Ecen des Anzeigebereiches ausgewählt werden.
7 ein weiteres beispielhaftes Anzeigelayout ist, in dem 1-4-Zeichen/Funktionen durch Sakkadieren von 1-von-4-Zielen weg von dem Anzeigebereich ausgewählt werden.
8 ein weiteres beispielhaftes Anzeigelayout ist, in dem 12 Zeichen und Funktionsmatrixorte durch Sakkadieren von 1-von-8-Zielen außerhalb des Anzeigebereiches liegenden Zielbereichen ausgewählt werden.
9A eine beispielhafte Anzeige ist, mit der der Monat und Tag eines einzugebenden Datums über eine Reihe von sakkadischen Augenbewegungen ermöglicht wird, die eine Auswahl pro Sakkade erzeugen.
9B ein alternatives Datumseintrags-Layout (verglichen zu 9A ist) bei der die vertikale Dimension auf 3 Reihen reduziert ist.
10A noch ein weiteres Datumseintrags-Layout (verglichen zu 9A) mit einer begrenzten horizontalen Dimension von 8 Spalten ist.
10B ein weiteren Datumseintrags-Layout (verglichen zu 9A) ist, bei dem die vertikale Dimension auf 3 Reihen begrenzt ist.
11A eines Tastenfeld-Layouts im Telefonstil ist, mit dem Zahlen unter Verwendung einer einzigen sakkadischen Augenbewegung pro Zahl eingegeben werden können,
11B ein alternatives Layout (verglichen zu 11A) zum Zifferndatumseintrag mit einer reduzierten vertikalen Dimension ist.
12A ein Ziffern-Tastenfeld und ein einfaches Taschenrechner-Layout ist, mit dem Zahlen unter Verwendung einer einzigen sakkadischen Augenbewegung pro Ziffer eingegeben werden können.
12 die dynamische Steuerung von Taschenrechnerfunktionen durch Ändern von Auswählen, die „je nach Bedarf“ angezeigt werden, veranschaulicht.
13 das Anzeigelayout eines wissenschaftlichen Taschenrechners und einer Beispielberechnung unter Verwendung einer Reihe von sakkadischen Augenbewegungen unter Einbeziehung einer einzelnen Sakkade pro Auswahl zeigt.
14 eine beispielhafte Anzeige einer üblichen QWERTY-Tastatur ist, die „Tippen“ über eine einzelne sakkadische Augenbewegung pro Zeichen/Funktion ermöglicht.
15A ein beispielhaftes Anzeigenlayout mit 4-Reihen mal 3-Spalten für die Eingabe von einfachen Ziffernsequenzen unter Verwendung einzelner sakkadischer Augenbewegungen pro Ziffer ist.
15B ein alternatives Anzeigenlayout (verglichen mit 15A) bestehend aus 3-Reihen mal 4-Spalten zur Eingabe von einfachen Ziffernsequenzen unter Verwendung von einzelnen sakkadischen Augenbewegungen pro Ziffer ist.
16A die Eingabe der ersten Ziffer innerhalb einer Sequenz von Ziffern veranschaulicht, wobei das Aktivierungsziel in einer Anzeige der ausgewählten Ziffernsequenz ist.
16B die Eingabe einer darauffolgenden Ziffer (verglichen mit 16A) innerhalb einer Sequenz von Ziffern ist, wobei sich das Aktivierungsziel in einer Anzeige der ausgewählten Ziffernsequenz verschiebt.
17A beispielhafte Augenbewegungen während einer Nutzerauswahl von einer durchgehenden Skala veranschaulicht.
17B visuelles Feedback zeigt, das eine Auswahl anzeigt, die aus einer durchgehenden Skala unter Verwendung von Augenbewegungen gemacht wurde.
18A einen beispielhaften Ort eines einzelnen Statussignals auf dem Nasenrücken eines tragbaren Gerätes zeigt.
18B beispielhafte Orte von zwei (2) Statussignalen entlang der rechten und der linken Seite eines am Kopf befestigten tragbaren Gerätes zeigt.
19A ein Zeitdiagramm ist, das mögliche zeitliche Beziehungen zwischen einem Rundsendestatussignal und einer Bilderfassung durch eine nichtsynchronisierte Kamera oder einen Detektor zeigt.
19B ein Beispiel eines „Mikro-Burst“ ist, der Verbindungsinformationen in dem Signal eines rundgesendeten Statussignals codiert.
20A den Aufbau für eine schnelle Bewegung oder den „Transport“ eines Zeigers, Cursors, oder ausgewählten Ortes über eine Anzeige unter Verwendung der Augen einer Person veranschaulicht.
20B das Ergebnis einer schnellen Bewegung oder des „Transportes“ eines Zeigers, Cursors oder eines ausgewählten Ortes über eine Anzeige unter Verwendung der Augen einer Person veranschaulicht.
21A den Transport eines Zeigers und dazugehöriger Textfunktion über separate Anzeigegeräte veranschaulicht.
21B die Anzeige einer Smart-Uhr dem Transport einer Textfunktion folgend veranschaulicht.
22A ein Beispiel eines Textes während einer „Ausschneiden-und-Einfügen“-Operation unter Verwendung der Augenbewegung und multimodaler Eingaben zeigt.
22B ein Beispiel von Text eine einer „Ausschneiden-und-Einfügen“-Operation zeigt, die augengeführte Bewegung eines Zeigers beinhaltet.
23 die gesteuerte Anzeige einer Partitur auf der Grundlage von Augensignalgebung veranschaulicht.
24 ein Beispiel zeigt, bei dem eine Musikpartitur als ein Augensignal-gesteuerter, einzelner Streifen angezeigt wird.
25A eine Partitur zeigt, bei der der Unterschied zwischen einem Spielort und Betrachtungsorten gemessen wird.
25B eine Partitur veranschaulicht, bei der der Unterschied zwischen einem Spielort und Betrachtungsort nach einer Rückmeldung und/oder Schulung erweitert wird.
26 eine beispielhafte Grafik, die zu einem augengesteuerten Scratchpad zur Informationsübertragung gehört, ist.
27 die Steuerung einer virtuellen Anzeige-„wall“ unter Verwendung von Augensignalen veranschaulicht.
28 die Erfassung von Kamerabildern einer Tastatur und die Hände eines Gerätenutzers veranschaulicht.
29 die Projizierung von Kamerabildern einer Tastatur und der Hände eines Gerätenutzers auf eine von dem Gerätenutzer ansehbare Anzeige zeigt.
30A einen beispielhaften Augensignalsprozess zum Auswählen einer speziellen Zelle in einer Exceltabelle demonstriert.
30B einen einzelnen Frame während des in 30A veranschaulichten Verfolgungsprozesses zum Auswählen einer einzelnen Zelle in einer Exceltablle zeigt.
31A ein Beispiel einer Unsicherheit bei der Objektauswahl auf der Grundlage eines Augenblicks in einem Bereich einer Anzeige zeigt.
31B ein Beispiel der Auswahl eines Objektes in einem Bereich einer Anzeige über überlagerte Ziffern darstellt.
31C ein Beispiel der Auswahl eines Objektes in einem Bereich einer Anzeige mit überlagerten Richtungspfeilen darstellt.
32 die kontinuierliche Verfolgung eines Fokus während der Kalibrierung darstellt.
33 einen Prozess zum Erstellen einer räumlichen Karte eines dominanten Auges veranschaulicht.
34 einen Prozess zum Bestimmen einer Sichtachse eines Nutzers veranschaulicht.
35 eine Karte erwarteter Hervorhebung für ein Objekt in Form eines isoskelen Dreieckes veranschaulicht.
36A ein Paar sakkadische Augenbewegungen zum Auswählen mehrerer Elemente (d. h. Namen) aus einem Bereich angezeigter Elemente veranschaulicht.
36B zusätzliche sakkadische Augenbewegungen zum Anhängen von zusätzlichen Elementen (d. h. Namen) an vorher ausgewählte Elemente darstellt.
36C eine sakkadische Augenbewegung zum Anhängen eines zusätzlichen Namens und zum Durchführen eines zusätzlichen Schrittes an allen der ausgewählten Elemente veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG DER BEISPIELHAFTEN AUSFÜHRUNGSFORMEN ZEITLICHE ÜBERLEGUNGEN WÄHREND DER AUGENSIGNALGEBUNG
Um Augenbewegungen zum Bestimmen von einer Nutzerabsicht zu interpretieren, müssen algorithmische Filter sowohl die physiologischen Beschränkungen (z. B. Bewegungsbereich, maximale Geschwindigkeiten, Unterschiede in Bewegungen auf horizontalen und vertikalen Achsen) der neuromuskularen Kontrolle des Auges ebenso wie Unterbrechungen in der kognitiven Verarbeitung von visuellen Informationen berücksichtigt werden, die durch schnelle Augenbewegungen und Blinzeln verursacht werden. Diese Unterbrechungen in der kognitiven Verarbeitung eines Sichtfeldes sind erforderlicher Bestandteil zur Betrachtung unserer Umgebung ohne pervasive Bewegungsverzerrung während Sakkaden oder Stopps (d. h. kurzen Zeiträumen von Dunkelheit) während des Blinzelns. Solche Unterbrechungen werden beim Menschen durch Unterdrücken der visuellen Verarbeitung retinaler Signale während Sakkaden und Blinzeln vermieden. Diese neuralen Prozesse werden als sakkadische Unterdrückung beziehungsweise Blinzelunterdrückung bezeichnet.
Sakkadische Unterdrückung (auch bekannt als sakkadische Maskierung) beginnt eigentlich bevor eine sakkadische Bewegung initiiert wird. Diese Beobachtung wird als Nachweis dafür verwendet, dass wenigstens ein Teil der sakkadischen Unterdrückung von dem zentralen Nervensystem vermittelt wird. Sakkadische Unterdrückung verhindert ein Bewusstsein, die bewusste Bewegungsverzerrung, die anderenfalls während schneller Augenbewegungen einschließlich Sakkaden vorhanden sein würde. Eine einfache Demonstration einer sakkadischen Unterdrückung (und gleichzeitig die erste wissenschaftliche Beobachtung des Phänomens 1898 durch Erdmann und Dodge) ist die Tatsache, dass die schnellen Augenbewegungen nicht in einem Spiegel oder durch eine Einzelperson beobachtet werden kann, die Augenbewegungen durchführt, wohingegen andere Beobachtet, die die Einzelperson (oder den Spiegel) betrachten, solche Bewegungen eindeutig sehen können.
Die sakkadische Unterbrechung dauert in der Regel 100-150 Millisekunden und endet unverzüglich (d. h. innerhalb einiger weniger Millisekunden), wenn eine schnelle Augenbewegung stoppt. Die sakkadische Unterdrückung stoppt normalerweise am Ende einer Sakkade oder, unter künstlich geschaffenen Bedingungen, wenn auf das Auge projizierte Bilder keine weitere Bewegung aufzeigen. Eine Demonstration eines schnellen Beendens der Unterdrückung während der Bewegung einer visuellen Szene ist die Fähigkeit einer Einzelperson, ein Objekt zu betrachten, wenn aus einem sich schnell bewegenden Fahrzeug nach draußen geschaut wird, in dem kurz die Geschwindigkeit der Szenenbewegung mit einer (sakkadischen) Augenbewegung in Übereinstimmung gebracht wird. Selbst einige wenige Millisekunden einer stationären Bildprojizierung auf die Retina ermöglicht die Wahrnehmung einer solchen sich schnell bewegenden Szene. Diese Beobachtungen legen den Schluss nahe, dass die neurale Verarbeitung auf Retinaebene (d. h. im Gegensatz zum zentralen Nervensystem) in der Steuerung oder der Aufrechterhaltung der sakkadischen Unterdrückung involviert ist.
Für einen kurzen Zeitraum von ungefähr 50-60 Millisekunden nach der sakkadischen Landung an einem Zielort, bewegen sich die Strukturen in dem Auge, so unter anderem die Pupille, die Linse und der Limbus weiterhin in Form von sich abschwächenden Schwingungen. Wird die Bewegung vom Gehirn verarbeitet, würde insbesondere die Bewegung der Linse weiterhin die bewegungsbasierte Verzerrung von Bildern verursachen, welche die Retina erreichen. Um solch eine Bewegungsverzerrung zu vermeiden, erstreckt sich die sakkadische Unterdrückung bis in den Zeitraum der sich abschwächenden Schwingungsbewegung von Strukturen in dem Auge an.
Unterdrückung von Blinzeln hemmt die bewusste Wahrnehmung von „Dunkelheit“ während der Zeit wenn das obere Augenlid die Pupille zudeckt, während verhindert wird, dass das meiste Licht die Retina erreicht. Unterdrückung von Blinzeln tritt ungeachtet dessen auf, ob das Zwinkern willkürlich oder unwillkürlich (d. h. spontan oder reflexiv) ist, und im Allgemeinen tritt es gleichzeitig in beiden Augen auf. Unterdrückung von Blinzeln tritt selbst dann auf, wenn Licht durch Umgehen der Licht blockierenden Funktion des Augenlids künstlich in die Retina.
Unterdrückung von Blinzeln beginnt vor einem Blinzeln und dauert 200-250 Millisekunden und endet nachdem das obere Augenlid aufhört, die Pupille zu bedecken. Die maximalen oberen Augenlichtgeschwindigkeiten sind je nach Richtung unterschiedlich und erreichen 700°/Sekunde in Abwärtsrichtung und 2.000°/Sekunde in Aufwärtsrichtung. Faktoren wie beispielsweise Schwindelgefühl können die maximalen Augenlidgeschwindigkeiten genauso wie die Dauer beeinflussen, die das Augenlid geschlossen bleibt.
Beim Menschen tritt Blinzeln durchschnittlich 15-20 Mal/Minute auf. Wird der soeben beschriebene Bereich der Zeitdauern von Blinzelunterdrücken zu Grunde gelegt, resultiert dies darin, dass eine Einzelperson aufgrund des Blinzelns von ungefähr 5-8% der Zeit als funktionell „blind“ ist. Einer ähnlichen Argumentationslinie folgend führt eine Einzelperson unter normalen Bedingungen sakkadische Bewegungen ungefähr 40 Mal pro Minute durch. Wird der soeben beschriebene Bereich der Zeitdauern von Blinzelunterdrücken zu Grunde gelegt, führt dies dazu, dass eine Einzelperson aufgrund der sakkadischen Unterdrückung von ungefähr 7-10% der Zeit als funktionell „blind“ ist. Der Effekt dieser Unterdrückungen zusammen genommen führt dazu, dass die Einzelperson über ungefähr 15% der Zeit funktionell blind ist. Dieser Wert kann in Abhängigkeit einer Reihe von Faktoren, unter anderem der einzelnen kognitiven Belastung, dem sogenannten „Tagträumen“, Müdigkeit, Aufmerksamkeit, Stress, Medikamenten, Beleuchtung und der aktuell durchgeführten Aufgabe (z. B. Lesen, Konversation) variieren. Von besonderer Relevanz bei einigen Anwendungen ist die wesentliche Verringerung (bis zum Fünffachen) der Blinzelgeschwindigkeit, wenn ein Anzeigegerät betrachtet wird.
Beim Menschen besteht zudem eine Interaktion zwischen Blinzeln und Sakkaden. Folgt direkt (z. B. bis zu 200 Millisekunden) nach einem Blinzeln eine Sakkade, dann wird die Spitzengeschwindigkeit und Entschleunigung der Sakkade verringert. Im Gegensatz dazu wird, wenn ein Blinzeln nach einer Sakkade auftritt, keinen wesentlichen Einfluss auf die Blinzeldynamik genommen. Ein maximaler Effekt resultiert aus einem Blinzeln, der einer Sakkade um ungefähr 100 Millisekunden vorausgeht. Das Nettoergebnis ist eine verlängerte Sakkadendauer, ungefähr ein Drittel länger als die Dauer, die auf der Grundlage der zurückgelegten sakkadischen Entfernung berechnet wurde. Dementsprechend kann eine Schwellenwertgeschwindigkeit zum Einstufen einer Augenbewegung als sakkadische Augenbewegung von einem typischen (d. h. nicht nach einem Blinzeln) Schwellenwert von mehr als 30°/Sekunde auf einen Nach-Blinzel-Schwellenwert von mehr als 20°/Sekunde verringert werden.
Blinzeln kann auch die darauffolgenden Vergenzbewegungen beeinflussen, obgleich wenigstens ein Teil dieses Effekts aufgrund eines Einflusses auf kleine sakkadische Bewegungen während Vergenz zustande kommen kann. Eine Möglichkeit der Grundlage für die Effekte eines Blinzelns auf eine Sakkade ist die Unterdrückung eines gemeinsamen, prämotorischen neuronalen Schaltkreises während eines Blinzelns, der den Prozess des Initiierens einer Sakkade beeinflusst. Dieser gemeinsame neuronale Schaltkreis kann auch bei blickevoziertem Blinzeln eine Rolle spielen. Beim Menschen und anderen Säugetieren erhöhen große Wechsel beim Blick die Wahrscheinlichkeit eines Blinzelns auf über 20%.
Bei beispielhaften Ausführungsformen kann während den Augensignalisierungsprozessen eine funktionelle Blindheit antizipierte Nutzerreaktionszeiten beeinflussen. Solche Unterbrechungen und Änderungen der Augendynamik müssen bei den Augensignalauswahlkriterien berücksichtigt werden. Dies kommt dadurch zustande, weil das Auftreten von Blinzeln im Allgemeinen nicht mit der Bildung von Augensignalen synchronisiert ist. Zusätzlich dazu können schnelle Augenbewegungen wie beispielsweise korrektive Sakkaden während einiger Augensignalsequenzen eingestreut werden und während anderer nicht. Ferner verändert das Auftreten eines Blinzelns vor einer Sakkade die Sakkadendynamik. Demzufolge müssen für eine optimale Augeninteraktionsleistung Blinzeln und andere Zeiträume funktioneller Blindheit (Nicht-Sehens) erfasst und beim Steuern der Zeitgebung von Nutzerwahrnehmung (wenn von dem Nutzer eingesetzt), Auswahlprozessen und/oder dem gesteuerten Erscheinen oder Verschwinden von angezeigten Objekten berücksichtigt werden.
Wenn als ein spezifisches Beispiel ein Objekt unmittelbar am Ende einer Sakkade auf eine Weise eingeführt werden soll, mit der Aufmerksamkeit während einer Aktivierungssequenz, die ein nahe beieinander eingetaktetes Paar sequenzieller sakkadischer Augenbewegungen beinhaltet, angezogen werden soll, dann muss die Zeitgebung der Objekteinführung das Vorhandensein jeglichen Blinzelns berücksichtigen. Tritt ein Blinzeln kurz vor einer Sakkade auf, dann erzwingt eine zusätzliche Sakkadendauer (d. h. über die für den durch die Sakkade zurückgelegten Abstand berechnete Dauer hinausgehend) eine Notwendigkeit, die Anzeige des neu eingeführten Objektes hinauszuzögern. Beispielsweise ist es auch wichtig, die erhöhte Dauer einer sakkadischen Bewegung nach einem Blinzeln nicht fälschlicherweise als eine Form von sanftem Verfolgen, vestibulo-okkularen Bewegung oder Fixierung auszulegen, die ein Bestandteil einer anderen Aktivierungssequenz sein könnte.
Im Allgemeinen müssen Augensignale, die auf der Grundlage der Steuerung oder Messung der Zeitgebung von Ereignissen basieren, das Fehlen visueller Verarbeitung während des Unterdrückens von Sakkaden und Blinzeln berücksichtigen. Zu diesen gehören kurz offengelegte Menüauswahlen, Zeiten zum Treffen von Nutzerentscheidungen, Messungen von Reaktionszeiten, Darstellung von Reizen zum Motivieren von Verhindern von unbewussten Augenbewegungen, Zeitgebung von Eliminierung von Zielen zum Erzeugen eines Lückeneffektes (gap effect), Zeitgebung der Einführung oder Änderung von Bildern, um von Veränderungsblindheit zu profitieren, Implementierung von Tools zum Unterstützen eines Geschichtenerzählers unter Nutzung des Vorteils von visueller Unterdrückung zum Ändern von Elementen in einer Szene usw.
Eine weitere Betrachtung im Zusammenhang mit sakkadischen Bewegungen zieht die sakkadische Unterdrückung von Bildverschiebung und/oder den sogenannten „Blank Effect“ (Freifeldeffekt) mit ein. Die sakkadische Unterdrückung von Bildverschiebung ist ein kognitiver Prozesse der eine bestimmte Bewegungsmenge an dem Zielort einer Sakkade, der von dem Sehsystem nicht wahrgenommen werden soll, zulässt. Der Bereich, über den Objekte ohne Erkennung bewegt werden können. ist bis zu 2° groß, ungefähr die Größe einer typischen fovealen Ansicht. Es wird davon ausgegangen, dass an Prozessen ein visuelles Kurzzeitgedächtnis und/oder ein transsakkadischer Speicher beteiligt sind.
Es ist interessant anzumerken, dass die Fähigkeit zum Erkennen einer Objektbewegung durch Einfügen eines „freien“ Feldes (Fehlen des Zielobjektes) für 50-300 Millisekunden vor der erneuten Einführung von Objekten erhöht werden kann. Es wird davon ausgegangen, dass das Zulassen einer kleinen Menge von „Übertünchung“ (slop) an den erkannten Orten von Objekten nach einer Sakkade ein konstantes Wahrnehmen von Bewegung verhindert, das aus jeglichen Unterschieden zwischen erwarteten und tatsächlichen Zielorten resultiert.
Bei beispielhaften Ausführungsformen während der Augensignalisierung kann der „Freifeldeffekt“ („blank effect“) zum Vorteil genutzt werden, indem (wenn dies erwünscht ist) die Orte von einem oder mehreren Objekten in einem Zielbereich während einer Sakkade ohne Erregen von Aufmerksamkeit verschoben werden. Umgekehrt kann das Einfügen eines kurzen freien Feldes dazu genutzt werden, um das Auge eines Nutzers auf ein sich bewegendes Objekt an einem Zielort zu „lenken“. Solch ein sich bewegendes Objekt kann beispielsweise die Anfangsphase des Anzeigens von einem oder mehreren (d. h. N, wobei „N“ eine positive Ganzzahl normalerweise größer als Null (0) ist) Objekten, um eine 1-von-N Auswahl zu treffen, die durch ein sanftes verfolgungsbasiertes, absichtliches Folgen eines ausgewählten Objektes durch einen Nutzer erkannt wird.
SAKKADISCHE VARIABILITÄT
Sakkaden über kurze Entfernungen tendieren dazu, Ziele zu übertreffen, und lange Sakkaden (größer als ungefähr 5°) tendieren dazu, Ziele zu untertreffen. Sakkaden über lange Entfernungen decken normalerweise 90% der Zielentfernung ab, gefolgt von einer korrektiven Sakkade von 10%. Zentripetale Sakkaden neigen dazu, genauer als zentrifugale Sakkaden zu sein. Korrekturen, die nach einem Untertreffen oder einem Übertreffen gemacht werden, können eine lange oder eine kurze Latenz haben. Korrektive Sakkaden können schnell (d. h. dynamisches Untertreffen oder Übertreffen) durchgeführt werden oder erfordern mehrere Hundert Millisekunden (d. h. glisadisches Untertreffen oder Übertreffen). Zieleigenschaften, im Wesentlichen Leuchtstärke, kann die Latenz einer korrektive Sakkade beeinträchtigen. Wenn die Leuchtstärke unter einen fovealen Schwellenwert fällt, können sich die Latenzen signifikant steigern.
Sakkaden neigen dazu, in Dunkelheit langsamer zu sein, wenn sie in Richtung nichtvisuelle Ziele geleitet werden oder bestimmte Pathologien vorhanden sind. Die Dauer von Sakkaden kann ebenfalls durch visuelle Reize, andere als das Ziel und die Sequenz von anderen Sakkaden, beeinträchtigt werden.
Zusammen genommen, müssen bei exemplarischen Ausführungsformen algorithmische Filter zum Erkennen des Vorhandenseins von geleiteten sakkadischen Augenbewegungen solche Verzögerungen und Variabilität berücksichtigen. Zusätzlich dazu kann die Leuchtstärke gesteuert werden, um die Geschwindigkeit von sakkadischen (einschließlich korrektiver Sakkaden) und anderer Formen von Augenbewegungen zu optimieren. In Situationen, bei denen die allgemeine Leuchtstärke nicht gesteuert werden kann, können algorithmische Filter auch allgemeine Effekte von erhöhter oder verringerter Leuchtstärke berücksichtigen, wenn sie sakkadische/Sakkadensequenzen identifizieren.
Bei nachstehenden Beschreibungen, die sich beispielweise auf „duale“ oder „einzelne“ sakkadische Bewegungen beziehen, müssen solche absichtlichen Sakkaden bei Vorhandensein anderer Augenbewegungen, unter anderem andere Formen von Sakkaden erkannt und unterschieden werden. Diese eingreifenden Augenbewegungen können eine oder mehrere (im Allgemeinen über kurze Entfernung) korrektive Sakkaden, Blinzeln, Tremore, Abgleiten und Ähnliches umfassen.
Zusätzlich dazu können, wie vorstehend erwähnt, die Pupille und (im Allgemeinen in einem geringeren Ausmaß) der Limbus Verschiebungen aufweisen, die als eine abgedämpfte Schwingung erscheinen, wenn eine sakkadische Augenbewegung ihren Zielort erreicht. Die primären Schwingungsfrequenzen dieser Bewegungen liegen im Allgemeinen bei ungefähr 20 Hertz (d. h. ein Zeitraum von 50 Millisekunden). Die abgedämpfte Schwingung kann normalerweise für ungefähr 50-60 Millisekunden erkannt werden. Das resultiert zur Fähigkeit zur Beobachtung 1-3 solcher abgedämpften Schwingungen. Die sakkadische Unterdrückung besteht fortlaufend während dieses Zeitraums. Anderenfalls wäre eine Bewegungsverzerrung innerhalb der beobachteten Szenen zu erkennen.
SAKKADISCHE SEQUENZEN BEI ABWESENHEIT VON WAHRNEHMUNG
Während der Unterdrückung von Sakkaden, einschließlich während der abgedämpften Schwingungen, die während der sakkadischen Landungen auftreten, ist Wahrnehmung nicht möglich. Demzufolge ist bei einigen beispielhaften Ausführungen während sakkadischer Sequenzen, die ausgelegt sind, um Absicht herzuleiten, wobei Wahrnehmung von Zielobjekten kein notwendiger Bestandteil des Herleitens der Absicht ist, die Zeit, während der abgedämpfte Schwingungen auftreten, ebenfalls kein erforderlicher Bestandteil zum Herleiten der Absicht. Mit anderen Worten bedeutet dies, dass, wenn Wahrnehmung erforderlich wäre, die Zeit für die Wahrnehmung (200-250 Millisekunden) ebenso wie die Zeit der abgedämpften Schwingung während einer sakkadischen Landung (50-60 Millisekunden), während denen der Nutzer funktionell blind ist, die Geschwindigkeit der absichtlichen Augenbewegungen begrenzen würde, die zum Herleiten der Absicht verwendet wird. Das Nicht-Erfordern von Wahrnehmung eliminiert die Notwendigkeit beider dieser Zeiträume.
Bei beispielhaften Ausführungsformen für Augensignalsprache kann ein erfahrener Nutzer eine Anzahl von Sakkaden durchführen, die ausgelegt sind, um Absicht herzuleiten, ohne jedes oder irgendeines der Objekte, die Ziele für die sakkadischen Sequenzen sind, vollständig wahrzunehmen. Wenn, unterstützt durch Nutzererfahrung, Wahrnehmung nicht durchgeführt wird, dann können die Intervallen zwischen Sakkaden signifikant verringert und eine oder mehrere Nutzerabsichten schneller hergeleitet werden.
Ein erfahrener Nutzer entwickelt im Allgemeinen eine zunehmende Abhängigkeit von speichergesteuerten Sakkaden, um Absicht herzuleiten. Obgleich für eine speichergesteuerte Sakkade ein visuelles Ziel im Allgemeinen immer noch erforderlich ist, muss das Zielobjekt nicht vollumfänglich untersucht werden (d. h. die vollständige Wahrnehmung erfordernd). Zusätzlich dazu befinden sich Auswahlziele oftmals in parafovealen oder peripheren Ansichten. Wie dies hierin im nachfolgenden Abschnitt mit dem Titel „Hochauflösende Wiedergabe von Objekten hoher Relevanz“ beschrieben ist, bleiben, obgleich Objektdetails im Allgemeinen nicht gut innerhalb dieser Ansicht wahrgenommen werden, diese eine starke bewusste Wahrnehmung des Obj ektortes.
Bei beispielhaften Ausführungsformen ist es möglich, ohne eine vollumfängliche Wahrnehmung des Objektes eine Sakkade zu einem ersten Objekt durchzuführen. Anschließend kann ein Schritt und/oder eine sich anschließende Sakkade zu einem zweiten Objekt ohne zu irgendeinem Zeitpunkt dieses erste Objekt vollständig wahrzunehmen, durchgeführt werden. Der Schritt in Bezug auf die Bewegung in Richtung des ersten Objektes kann alsbald dann durchgeführt werden, wenn eine sakkadische Ankunft auf der Grundlage des ballistischen Profils der sakkadischen Augenbewegung bestimmt ist. Demzufolge können ein oder mehrere Schritte vor einem bewussten Wahrnehmen der nächsten „absichtlichen“ (d. h. Absicht herleitenden) Augenbewegung (oder einer anderen Modalität des Herleitens von Absicht) durchgeführt werden.
Es ist sogar möglich, die Anzeige des ersten Objektes vor der Wahrnehmung zu entfernen und auf diese Weise den sogenannten „Lückeneffekt“ (gap effect) zu erzeugen. Wie dies an anderer Stelle hierin beschrieben ist, kann der Lückeneffekt den Effekt haben, dass das Auge aus dem Betrachten (oder dem vollständigen Wahrnehmen) des ersten Objektes befreit wird, wodurch ein schneller sakkadischer Übergang in Richtung eines anderen Objektes gefördert wird.
DUALE SAKKADISCHE AUSWAHLSEQUENZEN (DSSS) MEHRERER AUSWAHLEN (Z. B. TASTATUR)
Wie dies vorstehend beschrieben wurde, können bei der Augensignalsprache weiche Verfolgungsaugenbewegungen verwendet werden, um 1-von-N Auswahlen durch visuelles Verfolgen ausgewählter Verfolgungsobjekte zu treffen. Dieser Mechanismus ermöglicht einen bestimmten „Fluss“ der Augenbewegungen während der Bildung von Augensignalen, die möglicherweise besonders wirkungsvoll sind, wenn eine relativ kleine Anzahl von sequenziellen Auswahlsequenzen (normalerweise 1, hierin immer noch als eine „Sequenz“ bezeichnet, jedoch bis zu einigen wenigen) innerhalb einer begrenzten Zahl von Auswahlen (normalerweise 2 bis 8) durchgeführt werden. Maximale Werte für diese Anzahlen von Sequenzen und/oder Auswahlen sind nicht dazu gedacht, die Verwendung von sanften verfolgungsbasierten Mechanismen zu begrenzen; es handelt sich vielmehr um Vorschläge, die auf einer bequemen und effizienten Nutzung basieren.
Wenn die Anzahl von Auswahlen, N, groß wird, wird es physiologisch wirkungsvoller (d. h. es benötigt weniger Zeit und Aufwand) stattdessen schnelle sakkadische Augenbewegungen zum Treffen von Auswahlen zu nutzen. Ein bildhaftes und besonders nützliches Beispiel eines Prozesses mit großer N-Auswahl ist das Tippen. In der englischen Sprache umfasst dies die Auswahl aus 26 Buchstaben, 10 Ziffern und/oder einer Anzahl anderer „Sonder“-zeichen (z. B. „$“, „@“, „#“ usw.) Zeichensetzung (z. B. „,“, „.“, „?“ usw.). und Funktionen/Befehlen (z. B. Großschreiben, Umstell- und Steuertasten, Tippen Zeilenende usw.)
Bei nachstehenden Beschreibungen können Verweise auf eine „Tastatur“ eine Standard-(z. B. eine sogenannte QWERTY-Tastatur) umfassen, die weitläufig zum Tippen verwendet wird, Tastaturen mit alternativen Tippanordnungen, ein Tastenfeld, das allgemeinhin für Zifferneinträge verwendet wird oder jede beliebige andere Auswahlmatrix umfassen, beispielsweise alphanumerische (d. h. alphabetisch und/oder numerisch) Zeichen, Zeichensetzung, Richtungspfeile, sogenannte Sonderzeichen, Bilder, Funktionstasten, Zeichenfunktionen, Textbearbeitungsfunktionen, Tastenkürzel (d. h. Sammlungen von Funktionen) und Ähnliches umfassen. Die Tastatur kann auf eine spezielle Menge möglicher Auswahlen wie beispielsweise die Tage der Woche, Monate des Jahres, Uhrzeit des Tages mit vorab festgelegten Erhöhungen (z. B. aller 15 Minuten), Bundesstaaten oder Provinzen in einem Land, Farben, Schriftauswählen und/oder Schriftgrößen, Kontakte, Software-Anwendungen, Maschinensteuerungsfunktionen und Ähnliches sein. Die Tastatur- oder Auswahlmatrix kann real (z. B. ein physisches Objekt) oder virtuell (d. h. als ein Abschnitt einer Anzeige projiziert sein) oder eine Kombination aus realen oder virtuellen Tasten (Tasten, die auf einem zentralen Anzeigegerät projiziert werden und bei denen sich zusätzliche physische Tasten außerhalb des Anzeigebereiches befinden) sein.
Ferner können einzelne Tasten innerhalb einer „Tastatur“ (d. h. die Auswahlmatrix) Vorstellungen und/oder Konzepte höherer Ebenen darstellen. Tastaturauswahlen können Wörter, Phrasen oder sogar vollständige Sätze darstellen. Tasten können symbolhafte Bilder oder Diagramme wie beispielsweise jene, die zu den Chinesischen Sprachsymbolen/Bedeutungen gehören, umfassen. Tasten können auch statische oder dynamische (d. h. animierte) Medienglyphen, einschließlich jener umfassen, die universal sind und nicht zu einer einzelnen oder bestimmten Sprache gehören. Symbole, Bilder und/oder Glyphen können sich im Verlauf der Zeit als Ergebnis vorher eingegebener Tasten, eines identifizierten Nutzers, der Tageszeit, nur, wenn sie betrachtet werden und/oder sonstigen kontextuellen Elementen ändern.
Eine übergreifende Beschränkung beim Nutzen der Augen zum Tippen ist die Genauigkeit mit der Blickvektoren während der schnellen Augenbewegungen (z. B. ohne die Verwendung statistischer Verfahren wie Durchschnittsbildung über einen verlängerten Anschwellzeiträumen oder Aufnehmen der Zeit zum „Heranzoomen“ auf einem Blickbereich) bestimmt werden können. Die Blickgenauigkeit des Systems (einschließlich des Vorhandenseins von Tremoren, Mikrosakkaden, Abdrift und anderen biologischen Aspekten) begrenzt die Zahl der verschiedenen Regionen oder Bereiche, auf die während des Auswahlprozesses unter Verwendung sakkadischer Augenbewegungen gezeigt werden kann. Ein Verfahren zum Überwinden dieser Begrenzung über hoch beschränkte Anzeigebereiche ist die Verwendung mehrerer sakkadischer Augenbewegungen zum Treffen einer jeden Auswahl innerhalb einer Sequenz von Auswahlen. Dies kann möglicherweise als „Auswahlbaum“ konzipiert sein, wobei kleinere Abzweigungen Auswahlen aus kleineren Teilmengen der allgemeinen Auswahlgruppe zulassen.
Es ist möglich, drei (3) oder mehr sequenzielle sakkadische Augenbewegungen, insbesondere unter Verwendung einer Strategie zu kaskadieren, um eine Auswahl zu spezifizieren, bei der Auswahlen sich dynamisch je nach der anfänglichen Sakkade(n) ändern; dies ist im Allgemeinen jedoch noch für eine sehr große Anzahl von N‘en (z. B. >50) erforderlich. Demzufolge sind Dual-Sakkaden-Auswahlsequenzen (DSSS) am einfachsten zu verwenden und werden nachstehend ausführlich beschrieben. Dieselben allgemeinen Grundsätze können mit drei (3) oder mehr Sakkaden verwendet werden, um jede Auswahl zu treffen.
Es ist ferner nicht notwendig dieselbe Anzahl von Schichten (oder „Zweigen“ mit der Auswahlbaumstruktur) für alle möglichen Auswahlen zu verwenden. Allgemeinhin verwendete und/oder „wichtige“ Auswahlen können so eingerichtet sein, dass sie weniger Sakkaden zur Aktivierung erfordern. Wie dies nachstehend ausführlicher beschrieben wird, ist 6 ein Beispiel eines Layouts 270 bei der die meisten Auswahlen unter Verwendung einer Dual-Sakkaden-Sequenz getroffen werden können, zur Auswahl eines sogenannten „Zeilenumbruchs“ 273 gehörenden Funktionen jedoch unter Verwendung einer einzelnen sakkadischen Augenbewegung durchgeführt werden können.
Eine zweite Beschränkung, die für die Entwicklung von Augensignalsprachkomponenten berücksichtigt werden muss, ist es, den Nutzern zu ein Suchen und Finden von „Ziel“-Orten zu ermöglichen. In einigen Fällen (d. h. die im Allgemeinen eine kleine Anzahl von Auswahlen involvieren) ist ein erfahrener Nutzer möglicherweise in der Lage, die Orte üblicher Auswahlsequenzen zu kennen und speichergesteuerte Sakkaden auf der Grundlage solcher erinnerter Orte auszuführen. In den meisten Fällen muss es einem Nutzer jedoch gestattet werden, nach potentiellen Zielwahlen vor dem Durchführen von Auswahlen zu suchen. Das Prüfen und Durchsuchen involviert im Allgemeinen sakkadische Augenbewegungen. Auf diese Weise müssen Augensignalkomponenten 1) jegliche beliebige Zahl des Suchens von Augenbewegungen zulassen und 2) in der Lage sein, absichtliche sakkadische Bewegungen zu unterscheiden, die den Auswahlprozess durchführen.
Ferner können, wenn zu einem Zielort sakkadiert wird, ob eine „absichtliche“ Augenbewegung anzuzeigen oder um einfach die Umgebung visuell zu erfassen, eine oder mehrere korrektive Sakkaden und/oder andere Formen der Augenbewegung (z. B. Tremor, Schwingung) auftreten. Bei diesen handelt es sich im Allgemeinen um unwillkürliche Augenbewegungen, die zwischen Sakkaden und/oder anderen Formen von willkürlichen Bewegungen (z. B. sanftes Verfolgen, vestibulo-okkular, Vergenz) eintreten können. Algorithmen, die ausgelegt sind, um Blickzielorte zu bestimmen (ebenso wie ihre Zeitgebung und andere Eigenschaften der Augenbewegungen) müssen diesen Formen der dazwischen eintretenden Bewegungen berücksichtigen.
So fällt beispielsweise, wenn zu einem Zielort sakkadiert wird, eine anfängliche sakkadische Augenbewegung (entweder vorhergesagt oder gemessen) möglicherweise nicht innerhalb eine vorab festgelegte Schwellenwertentfernung von dem Ziel. Es können jedoch eine oder mehrere korrektive Sakkaden einen Blick eines Nutzers veranlassen, sich progressiv dem Ziel anzunähern. Wenn, als ein Ergebnis, die eine oder mehreren korrektiven Sakkaden, von dem Blick bestimmt wird, dass er innerhalb der vorab festgelegte Schwellenwertentfernung von dem Ziel liegt, dann gilt das Ziel als ausgewählt und es kann ein dazugehöriger Schritt initiiert werden.
1A ist ein Beispiel einer DSSS Tastatur des englischen Alphabets, das auf ein 4 (horizontal) mal 3 (vertikal) Augenblick-Auswahlgitter 200 beschränkt ist. Jeder Gitterort enthält entweder 4 Zeichen/Funktionen oder eine Auswahlspezifizierung (203a, 203b, 203c, 203d), die eins (1) der vier (4) Zeichen/Funktionen innerhalb des Zeichen-/Funktionsgitterortes identifiziert. Symbole, die die Zeichen/Funktionen oder den Auswahlprozess darstellen, befinden sich im Allgemeinen im Mittelbereich des Gitterortes und stellen einen mittigen Fokus (d. h. weg von den Kanten, die möglicherweise in angrenzende Gitterorte hereinragen) zum genauen Verfolgen von Augenbewegungen innerhalb des Gitterortes bereit.
Jedes beliebige Zeichen 201 kann spezifiziert werden, indem zuerst ein Bewegen (im Allgemeinen unter Verwendung einer sakkadischen Augenbewegung) zu dem Gitterort erfolgt, der das/die gewünschte Zeichen/Funktion (zusammen mit drei (3) anderen Zeichen/Funktionen) enthält und anschließend auf den Auswahlgitterort (203a, 203b, 203c, 203d) sakkadiert wird, der der Position des Zeichens innerhalb des Zeichen-/Funktionsgitterortes entspricht. Anschließend kann das nächste Zeichen durch Sakkadieren zurück zu einem Gitterort ausgewählt werden, der das/die nächste Zeichen/Funktion enthält und anschließendes Sakkadieren zu dem Auswahlort (203a, 203b, 203c, 203d), der der Position des Zeichens innerhalb des Gitterortes entspricht. Diese gepaarten Augenbewegungen können für eine beliebige Anzahl von Zeichen oder Funktionen wiederholt werden.
Als ein veranschaulichendes Beispiel stellt 1B eine Sequenz von Augenbewegungen zum Tippen des Wortes „boy“ („Junge“) unter Verwendung von Augensignalen und dem Tastaturlayout, das in 1A dargestellt ist. Sakkadische Augenbewegungen sind durch gestrichelte Linien (z. B. 205 dargestellt). Die Augenbewegungssequenz beginnt durch Auswählen des Gitterortes 204a, der den Buchstaben „b“ enthält. Anschließend wird das „b“ durch Sakkadieren 205 auf den Auswahlgitterort 203b identifiziert, der dem oberen rechten Quadrant entspricht, da sich „b“ innerhalb des oberen rechten Quadranten des Zeichengitterortes 204a befindet. Anschließend wird der Buchstabe „o“ durch Sakkadieren zu dem Gitterort 204b spezifiziert, der diesen Buchstaben enthält und durch anschließendes Sakkadieren zurück zu dem Gitterauswahlort 203c, der die unteren linken Quadranten identifiziert, wo sich „o“ innerhalb seines Gitterortes 204b befindet. Anschließend wird das Zeichen „y“ durch Sakkadieren 206 zu dem Gitterort, der den Buchstaben enthält und anschließend zu dem Gitterort 203 ausgewählt, der obere linke Quadranten identifiziert.
Das Ende des Wortes kann durch einen „Leerzeichen“ 207 oder eine Art Zeichensetzung (z. B. „,“, „.“, „?“ usw.) spezifiziert werden. Optional dazu kann der Anschluss von Teilwörtern und/oder der Abschluss von Zeichensetzung beispielsweise auch durch Auswahl eines „Autofill“-Merkmals, ähnlich den Merkmalen, die auf Smartphones und anderen Geräten vorzufinden sind, erhöht werden. Ein/eine Sonderzeichen/-funktion (z. B. „←“ oftmals zu einer Wagenrückgabe gehörend 208) kann dem Durchführen dieser Funktion vorbehalten sein. Zugriff auf andere Funktionen und alternative Tastatur-Layouts kann durch ein anderes Sonderzeichen („^“ 202 ausgelöst werden, wie dies in 1A dargestellt ist. Dieser Pfad kann beispielsweise Zugriff auf Ziffern, Symbole, Großschreibung und andere Merkmale bereitstellen.
Bei den 2A und 2B handelt es sich um ein weiteres Beispiel eines Tastatur-Layouts 210 zum Tippen unter Verwendung von Augensignalsprache. In diesem Fall werden drei (3) Zeichen (z. B. 211) in einer Spalte innerhalb eines jeden mit den Augen auswählbaren Gitterortes angeordnet. Wurde ein anfänglicher Zeichen-/Funktionsgitterort angesehen; können das obere, mittlere oder untere Zeichen innerhalb des Gitterortes durch Sakkadieren jeweils des oberen 213a, mittleren 213b oder unteren 213c y Auswahlortes ausgewählt werden. In diesem Beispiel werden die ausgewählten Gitterorte 213a, 213b, 213c weit rechts auf der Gesamtanzeige positioniert.
Das in 2A dargestellte Layout unterstützt vorzugsweise horizontale Augenbewegungen, die im Allgemeinen einen größeren physiologischen dynamischen Bereich und solche Steuerung aufweisen. Zusätzlich dazu ist das Layout relativ einfach und intuitiv und insbesondere für eine einfache Worteingabe durch einen unerfahrenen Nutzer geeignet. Das Layout beinhaltet alle sechsundzwanzig (26) Zeichen des englischen Alphabetes und eine „^“-Funktionszeichen, das beispielsweise zum Anzeigen des Endes eines Eintrages und/oder eines Wunsches zum Wechseln auf ein anderes Tastatur-Layout verwendet werden kann.
2B zeigt eine weitere beispielhafte Sequenz von Augenbewegungen, in diesem Fall zum Tippen des Wortes „cat“ (Katze) unter Verwendung des in 2A dargestellten Layouts. Wie dies in 1B dargestellt ist, werden die Augenbewegungen durch gestrichelte Linien (z. B. 215) angezeigt. Die Augenbewegungssequenz beginnt durch Auswählen des Gitterortes 214, der den Buchstaben „c“ enthält. Anschließend wird das „c“ speziell durch Sakkadieren 215 zu dem Aktivierungsgitterort 213c identifiziert, der den unteren Zeichenauswahlen entspricht, da „c“ das untere Zeichen innerhalb des Gitterortes 214 ist. Als Nächstes wird der Buchstabe „a“ durch Sakkadieren zurück zu dem Gitterort 214 spezifiziert, da sich „a“ innerhalb dieses selben Gitterortes befindet, und durch anschlie0endes Sakkadieren zu dem Auswahlgitterort 213a, der obere Zeichen/Funktionen identifiziert, da „a“ das obere Zeichen des Gitterortes 214 ist. Anschließend wird das Zeichen „t“ durch Sakkadieren durch den Gitterort ausgewählt, der den Buchstaben „t“ enthält und abschließend durch Sakkadieren 216 zu dem Gitterort 213b, der Zeichen identifiziert, die sich in der Mitte der Gitterorte befinden.
Bei diesen Tastatur-Layouts ist die maximale Anzahl möglicher Zeichen- /Funktionenauswahlen das Produkt der Anzahl von Zeichen-/Funktionsgitterorten und der Anzahl der Auswahlorte So gibt es beispielsweise in 1A acht (8) Zeichen-/Funktionsgitterorte und vier (4) Auswahlorte für eine Gesamtzahl von 8×4=32 Zeichen-/Funktionsauswahlen. In 2A gibt es neun (9) Zeichen-/Funktionsorte und drei (3) Auswahlorte für ein Maximum aus möglichen 9×3=27 Auswahlen.
Im allgemeineren Sinne kann für eine jeweilige Anzahl von auswählbaren Gittertastaturorten die maximale Anzahl von Auswahlen erhalten werden, wenn die Anzahl von Zeichen-/Funktionsorten und Auswahlorten nahe gleich sind. So zeigt beispielsweise 3 ein Beispiel eines Gitterlayouts mit 3 Zeilen und 4 Spalten 220 mit sechs (6) Zeichen/Funktions- und sechs /6) Auswahlorten, das zu einer Gesamtzahl von sechsunddreißig (36) möglichen Auswahlen resultiert. Dies ermöglicht augenbasierte Auswahlen aus allen Buchstaben des englischen Alphabetes und zehn (10) anderer Sonderzeichen oder Funktionen. Die sechs (6) Auswahlorte sind als einen linke Spalte 223a und eine rechte Spalte 223b angeordnet; ebenso wie als eine obere Zeile 224a, eine mittlere Zeile 224b und eine untere Zeile 224c.,
In 3 entspricht das Symbol in dem Mittelbereich eines jeden der Auswahlgitterorte den relativen Orten (d. h. links versus rechts und oberen, mittleren und unteren Orten) innerhalb eines Zeichen-/Funktionsauswahlortes. Auf diese Weise wird eine relative Position zum Auswählen einer spezifischen Zeichen/Funktion verwendet. Im allgemeineren Sinne können andere Mechanismen oder visuelle Anzeigen einzeln oder in Kombination verwendet werden, um Zeichen-/Funktionsauswahlen zu assoziieren. Zu diesen können in Übereinstimmung bringen mit Zeichen-/Symbolfarbe, Schriftform, Leuchtstärke oder Größe; Hintergrundfarbe; Umrandungseigenschaften und/oder andere visuelle Merkmale gehören.
Besteht eine Begrenzung hinsichtlich des Anzeige-/Blickverfolgungsbereiches, kann die Verfügbarkeit von selbst einer einzelnen zusätzlichen Spalte oder Zeile für augenbasierte Auswahlen das Repertoire von Auswahlen innerhalb eines einzelnen Bildschirms erheblich erweitern. 4A zeigt ein beispielhaftes Layout 250 eines Auswahlgitters von 5 Spalten mal 3 Zeilen. Wie bei 3, sind sechs (6) Auswahlorte als eine linke Spalte 253a und eine rechte Spalte 253b innerhalb der oberen 254a, der mittleren 254b und der unteren Spalte 254c angeordnet. Die Zeichen/Funktionen 251 werden aus den in den drei (3) am weitesten links liegenden Spalten 252a, 252b, 252c ausgewählt. Unter Verwendung dieses Layouts kann eine Gesamtzahl von 9×6=54 Zeichen- oder Funktionsauswahlen über eine einzelne DSSS getätigt werden. Dies ist ausreichend, um gleichzeitig das englische Alphabet mit 26 Buchstaben, zehn (10) Ziffern, vier (4) Navigationstasten (d. h. links, rechts, hoch und runter) und vierzehn (14) Sonderzeichen oder Funktionen darzustellen. Diese erhöhte Auswahl stellt viel größere Effizienz und Flexibilität bei der Augensignalsprache zum Durchführen von Funktionen wie beispielsweise Großschreibung, Zifferneintrag, Bildschirmnavigation, Zeichensetzung, Korrekturen, Zugriff auf andere Bildschirmlayouts oder -funktionen usw. bereit.
Selbst innerhalb desselben Augenblick-Gitterformates sind verschiedene Tastatur-Layouts möglich, da die Zeichen/Funktionen virtuell angezeigt werden und das Umschalten von Layouts einfach Umschalten von Mengen an angezeigten Symbolen umfasst. So ist beispielsweise in 4B ein alternatives beispielhaftes Layout für ein Auswahlgitter mit 5 Spalten und 3 Zeilen. In diesem Beispiel werden die alphabetischen Zeichen 255, Ziffern 256 und Sonderzeichen und Funktionen 257 innerhalb unterschiedlicherer Bereiche der Anzeige gruppiert. Es gibt eine im Wesentlichen grenzenlose Anzahl von möglichen Tastatur-Layouts, die beispielsweise für Prosaschreiben, Zifferneintrag (z. B. wo Ziffern angeordnet sind, um Augenbewegungen zu und von Auswahlorten zu minimieren), Web-Navigation und -einträgen, speziellen Aufgaben (z. B. Checklisteneintrag), Zeichnen und/oder einfache persönliche Präferenzen optimiert werden.
5 ist ein weiteres Beispiel eines Layouts einer Tastatur mit „virtueller Tastatur“ 260. In diesem Fall ist ein Augenauswahlgitter mit 4 Spalten mal 4 Zeilen angeordnet, um eine enge Übereinstimmung mit dem gutbekannten „QWERTY“-Tastatur für Einträge in HMI-Schnittstellen zu schaffen. In diesem beispielhaften Fall sind Zeichen 261 in einer ähnlichen Sequenz wie beim Layout einer Standard-Tastatur „QWERTY“ der englischen Sprache angeordnet. Da dieses Layout ursprünglich dafür ausgelegt wird, mehrere allgemein üblich verwendete Zeichen entlang oberer Zeilen anzuordnen, sind die Auswahlpositionen entlang der oberen Zeile 266 der virtuellen Tastatur angeordnet, um Augenbewegungsentfernungen zu minimieren wenn diese eher üblicherweise verwendeten Zeichen ausgewählt werden.
Die vier (4) Auswahlgitterorte 266 entsprechen den vier (4) möglichen Zeichenorten von links nach rechts innerhalb jedem der zwölf (12) Zeichen-/Funktionengitterorte (für eine Gesamtzahl von achtundvierzig (48) möglichen Zeichen/Funktionen). Zusätzlich zu den alphabetischen Zeichen enthält dieses beispielhafte Layout Navigationstasten (das hießt links, rechts, hoch und runter) Cluster 264a, 264b; eine Großschreibungsfunktion, die durch den großgeschriebenen Buchstaben „A“ dargestellt ist 265; eine Leertasten- sowie Satzzeichenfunktionen in einem einzelnen Block 262; eine kleine Zifferntastatur in der am weitesten rechts liegenden Spalte 263 das ein ähnliches zu dem sich auf den meisten Standardtastaturen befindlichen Layouts verwendet; andere Sonderzeichen und eine Funktionstaste 202, die zu zusätzlichen Menüauswahlen führen.
Es können ähnliche Strategien zum Konstruieren von Layouts von Augensignal-Tastaturen jeder beliebigen Grüße und Form verwendet werden. Es ist nicht erforderlich, alle möglichen DSSS-Kombinationen zu verwenden (d. h. einige Orte können leer sein). Die Auswahlorte müssen nicht auf einer bestimmten Seite oder gar innerhalb eines zusammenhängenden Bereiches angeordnet sein (z. B. können sie zwischen der am weitesten links und der am weitesten rechts liegenden Grenze) aufgeteilt sein. Die Tastatur kann ferner innerhalb eines eher vielschichtigen Anzeigesystems eingegliedert sein, das beispielsweise Text enthält, der getippt wird, und/oder alphanumerische Darstellungen und Bilder von Elementen, am besten mit Suchkriterien für getätigte Tastatureinträge übereinstimmen. Solche Texte und Bilder können sich um die Tastatur herum (d. h. entlang einer beliebigen oder aller Seiten) oder selbst innerhalb der mittleren Bereiche eines Tastatur-Layouts selbst befinden.
6 ist ein beispielhaftes Layout 270 einer DSSS-Tastatur eines englischen Alphabetes, das auf ein Gitter mit vier (4) (horizontale) mal drei (3) (vertikale) beschränkt ist, das ein alternatives Auswahllayout mit nicht-zusammenhängenden Auswahlbereichen darstellt. Ähnlich wie 1A. wird anfangs ein Cluster aus vier (4) Zeichen oder Funktionen aus mehreren mittleren Bereichen 272 der Anzeige 270 ausgewählt. Anschließend wird die Auswahl eines der vier (4) Zeichen/Funktionen durch sakkadische Bewegung zu einer der vier (4) Ecken des Anzeigebereiches 271a, 271b, 271c, 27 Id durchgeführt. Der Auswahlprozess der 1-4 Ecken ermöglicht intuitive, unterscheidende (d. h. in unterschiedliche Richtungen) und algorithmisch ableitbare sakkadische Augenbewegungen.
Das Layout 270 in 6 veranschaulicht ferner die Lage eines Auswahlbaumes, bei dem nicht alle Auswahlen in dem selben Auswahlmodus getätigt werden. Die meiste Auswahl innerhalb des Layouts 270 wird unter Verwendung einer dualen Sakkadensequenz getätigt. Jegliche Funktion, die zu dem sogenannten „Zeilenumbruch“-Zeichen 273, ganz rechts in der Anzeige gehört, kann unmittelbar nach einer Auswahl (d. h. innerhalb einer einzelnen Sakkade) durchgeführt werden.
Die Rückmeldung während des Tippens unter Verwendung von Augensignalen oder während irgendeines anderen Auswahlprozesses ist nicht auf virtuelle Anzeigen beschränkt. Zeichen, Wörter, Phrasen (z. B. wenn das Gerät die Nutzerabsicht „errät“) oder andere Anzeigen können in einem Audioformat (d. h. unter Verwendung einer künstlich erzeugten oder gesprochenen Stimme) bereitgestellt werden. Taktiles Feedback wie beispielsweise während kurzer Zeiträume einer Gerätvibration (z. B. wenn der Nutzer einen Eintrag „mistake“ („Fehler“)) vornimmt, kann ebenfalls beinhaltet sein. Alle Rückmeldungsmodalitäten können separat oder in Kombinationen verwendet werden. Während verschiedener Anwendungen können verschiedene Modalitäten verwendet werden.
ZIELE AUSSERHALB DER ANZEIGE
In dem Dokument „Systems and Methods for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects“ (Systeme und Verfahren für biomechanisch basierte Augensignale zum Interagieren mit realen und virtuellen Objekten), Anmeldung mit der Seriennummer 14/708,234, eingereicht am 9. Mai 2015, werden Verfahren zum Maximieren der Anzahl auswählbarer Ziele innerhalb eines Anzeigebereiches durch Einfügen von Zielorten in der Nähe von Anzeigerändern beschreiben, wobei die gesamte Offenbarung hierin ausdrücklich durch Verweis Bestandteil dieser Beschreibung bildet. Dieser allgemeine Ansatz kann erweitert werden und Zielorte umfassen, die vollständig oder wenigstens teilweise außerhalb jeglicher/n Anzeigebereiche(s) liegen.
Um einem Nutzer ein betrachtbares, außerhalb der Anzeige liegendes Ziel bereitzustellen (d. h. dem Nutzer etwas „zum ansehen zu geben“), können Zielorte Anzeigen (z. B. Symbole, Bilder, Buchstabenziffern, Symbole, ansehbare Kanten/Ränder eines Anzeigebereiches) umfassen, die im Allgemeinen innerhalb des Sichtfeldes eines Gerätenutzers liegen. Zu solchen Indikatoren können auch dynamische Komponenten (unabhängig von der Hauptanzeige) gehören, wie beispielsweise eine oder mehrere LEDs, eine zweite Anzeige oder projizierte Licht, das an- und ausgeschaltet werden oder unter Gerätesteuerung moduliert werden kann.
Ziele (z. B. Icons, Symbole, LEDs) können an eine betrachtbare Oberfläche angehängt sein. Projizierte Ziele oder Abschnitte von Ziele können eine oder mehrerer entfernte Lichtquellen umfassen, die Reflektionen von ein oder mehreren Oberflächen, Steuern von Projizierungen unter Verwendung sogenannter Wellenleiter, unter Verwendung von ein oder mehreren optischen Fasern gesteuertem Licht, lichtbrechender Optik, Blenden und/oder anderen Mechanismen zur Lichtsteuerung umfassen.
Außerhalb von Anzeigen liegende Ziele sind ferner nicht auf die Bildebene einer bestimmten Anzeige beschränkt. So können außerhalb der Anzeige liegende Ziele vor oder hinter der Bildebene der Anzeige erscheinen. Dadurch kann Vergenz (und möglicherweise Änderungen in der Linsenform in den Augen jüngerer Nutzer) berücksichtigt werden, wenn bestimmt wird, ob eine Augenbewegung zu einem außerhalb der Anzeige liegenden Ziel eine absichtliche Aktivierungssequenz ist. Werden außerhalb der Anzeige liegende Ziele in verschiedenen Tiefen dargestellt, dann kann der Grad der Vergenz (d. h. die Wahrnehmung der Tiefe) innerhalb der Auswahlkriterien für bestimmte Ziele verwendet werden.
Außerhalb der Anzeige liegende Ziele können auch Teil des Nutzers sein (z. B. Daumen, Finger, Hand), die sich (in Bezug auf die Gesamtumgebung) bewegen können, wenn sich der Nutzer über sie bewegt. Zusätzlich dazu kann ein außerhalb der Anzeige liegendes Ziel von dem Nutzer getragen werden (z. B. ein Handschuh, Ring, Teil einer Kleidung). Virtuelle außerhalb der Anzeige liegende Ziele können auf einem separaten Anzeigegerät wie beispielsweise einem nahe gelegenen Zellulartelefon oder einem Tablet angezeigt werden.
Wenn es mechanisch möglich ist, können außerhalb der Anzeige liegende Ziele (optional) eine Form von Nutzerrückmeldung (z. B. ein- oder ausgeschaltete LED, Änderung der Lichtbarbe) bereitstellen, wenn dies ausgewählt ist. In den Fällen, wenn das außerhalb der Anzeige liegende Ziel nicht veränderbar ist (z. B. ein „Sticker“-Icon oder ein Bild, die an einer Oberfläche befestigt sind), kann eine Rückmeldung anderswo auf der Anzeige, unter anderem innerhalb der parafovealen oder peripheren Ansichten bereitgestellt werden.
In vielen Fällen ist keine spezielle außerhalb der Anzeige liegende Rückmeldung erforderlich, vor allem nicht für erfahrene Nutzer. Dual-Sakkaden-Auswahlsequenzen (DSSSs) sind ein besonders nützliches Beispiel sakkadischer Augensignalsprachkomponenten bei denen Rückmeldung zu außerhalb der Anzeige liegenden Ziele allgemein nicht erforderlich ist. Wenn während der DSSS eine Sakkade zu einem außerhalb einer Anzeige liegenden Ziel zur Aktivierung verwendet wird, dann ist im Allgemeinen der resultierende Schritt (z. B. die Anzeige eines ausgewählten Zeichens oder Wortes) ausreichend, um den Nutzer darüber zu informieren, dass eine Aktivierungsauswahl aufgetreten ist.
7 ist ein Beispiel einer angezeigten Auswahlmatrix mit 4 Spalten 280a mal 3 Zeilen 280b, die vier (4) zusätzlichen Zielorten 281a, 281b, 281c, 281d über die vier (4) Ecken des Anzeigebereiches hinausgehend. In 7 werden räumliche Bereiche für außerhalb der Anzeige liegende Ziele 281a, 281b, 281c, 28 1d mit gestrichelten Linien dargestellt. Die Kombination aus angezeigten Auswahlen und außerhalb der Anzeige liegenden Zielen 281a, 281b, 281c, 281d kann beispielsweise zum Auswählen von Ziffern und einer Anzahl von Sonderzeichen (unter anderem einem, das zur Anzeige der Beendigung einer Sequenz 282 verwendet werden kann) unter Verwendung der DSSS verwendet werden. Im Vergleich mit 6 ist ersichtlich, dass außerhalb der Anzeige liegende Ziele an den vier (4) Ecken 281a, 281b, 281c, 281d 16 zusätzliche Auwahlen innerhalb der Auswahlmatrix von 4 Spalten 280a mal 3 Zeien 280b (d. h. vier (4) Auswahlen in jeden vier (4) zusätzlichen angezeigten Matrixpositionen) ermöglichen.
8 zeigt ein weiteres beispielhaftes Layout, das acht (8) außerhalb der Anzeige liegende Ziele 291a, 291b, 291c, 291d, 292a, 292b, 292c, 292d verwendet. Ähnlich wie bei 7 umfassen die angezeigten Ziele eine Auswahlmatrix mit 4 Spalten mal 3 Zeilen und außerhalb der Anzeige liegende Orte 291a, 291b, 291c, 291d, 292a, 292b, 292c, 292d, die in gestrichelten Linien dargestellt sind. Zu den angezeigten auswählbaren Elementen gehören alle Buchstaben des englischen Alphabets, zehn (10) Ziffern und Sonderzeichen und Funktionen, unter anderem die sogenannte „Return“ (oder „Zeilenumbruch“) Taste 295, die oftmals zum Anzeigen der Fertigstellung eines Eintrages verwendet wird.
Unter Verwendung des Layouts in 8 umfasst ein Dateneintrag zunächst Spezifizieren einer Gruppe von bis zu vier (4) möglichen Auswahlen innerhalb der zentralen angezeigten Matrix von 4 Spalten mal 3 Zeilen und anschließend Sakkadieren zu einer der vier (4) außerhalb der Anzeige liegenden Zielen in den Ecken 291a, 291b, 291c, 29 1d um eine 1-von-4-Auswahl anzuzeigen. Ähnlich zu dem in 7 veranschaulichten Prozess ist dies ausreichend, um jedes beliebige der Zeichen oder Funktionen in der angezeigten Auswahlmatrix zu identifizieren.
Der Nutzer kann anschließend optional weiter eine Auswahl durch anschließendes Sakkadieren zu einem der außerhalb der Anzeige liegenden „Modifizier-“Zielen 292a, 292b, 292c, 292d modifizieren. Ähnlich zu einer typischen Tastatur können diese Modifizierziele ergänzende Funktionen wie beispielsweise „SHIFT“ (Umstell-) (oftmals als ein nach oben gerichteter Pfeil und oftmals zur Großschreibung verwendet) 292a, „Control“ (abgekürzt mit Ctrl) 292b, Wechsel- (abgekürzt mit Alt) 292c oder „Funktions-“Taste (abgekürzt mit F) 292, zu der im Allgemeinen eine Zahl gehört, durchgeführt werden. Ähnlich zu einer Standardtastatur können mögliche Auswahlen, die über Modifizierung wie beispielsweise die, die zu den SHIFT-(Umstell-) Zifferntasten 294 gehören, innerhalb der ausgewählten Auswahlmatrix angezeigt werden, um einem unerfahrenen Nutzer zu helfen.
Eine Auswahl ist durch eine zurück gerichtete Sakkade an einem beliebigen Ort innerhalb der zentralen, angezeigten Auswahlmatrix fertig gestellt. Wenn der Nutzer eine Sakkade zu der Auswahlmatrix ohne Sakkadieren zu einem Modifizier-Zielort 292a, 292b, 292c, 292d durchführt, wird keine Modifizierung an einer anfänglichen Zeichen-/Funktionsauswahl vorgenommen. Es können sequenzielle Sakkaden zu Modifizier-Zeilen verwendet werden, um mehrere Modifizierer (z. B. Ctrl und SHIFT zu spezifizieren). Falls erwünscht, können Modifizierziele 292a, 292b, 292c, 292d gleichermaßen vor (im Gegensatz zu nach) Positionszielen 291a, 291b, 291c, 291d ausgewählt werden.
Die in 8 dargestellte Übersicht ermöglicht nahezu jede mögliche Kombination aus Zeichen und Sonderfunktionen, die auf einer Standardtastatur zur Auswahl unter Verwendung von Augensignalen verfügbar ist. Sonderzeichen, die auf der rechten Seite einer Standard-QWERTY-Tastatur verfügbar sind, sind innerhalb des unteren, rechts liegenden Bereiches 293 der angezeigten Auswahlmatrix verfügbar. Mit dieser Flexibilität können Standard-Tastatureinträge auf bequeme Weise unter Verwendung von Augensignalen (z. B. wenn Webseiten durchsucht und auf sie geantwortet wird) ersetzt werden.
Kombinationen aus innerhalb und außerhalb der Anzeige liegenden Zielorten können die Anzahl möglicher Auswahlen, insbesondere innerhalb tragbarer Anzeigen, die einen relativ kleinen Abschnitt eines Sichtfeldes belegen, dramatisch erhöhen. So ist beispielsweise unter Verwendung der angezeigten Auswahlmatrix mit 4 Spalten mal 3 Zeilen, die in 8 dargestellt ist, mit vier (4) außerhalb der Anzeige liegenden 1-von-4-Eckenzielen und vier (4) außerhalb der Anzeige liegenden Modifizierzielen, eine Gesamtzahl von 12×4×4=192 möglichen Auswahlen verfügbar, wenn eine Beschränkung auf einen einzelnen (optionalen) Modifizierer vorliegt. Die Verfügbarkeit eines zweiten (d. h. 1-von-4) optionalen Modifizierers erhöht die Anzahl möglicher Auswahlen auf 768.
Auf diese Weise ist dieses allgemeine Strategie besonders wertvoll, wenn Auswahlen von einem großen Pool von Möglichkeiten getroffen werden. Dies kann beim Tippen auftreten (ein Zeichen je Zeitpunkt, wie in den 7 und 8 dargestellt), beim Auswählen von Wörtern oder Phrasen, Eingeben von Zifferndaten, Auswählen aus einer großen Anzahl von Bildern oder Datenmengen (insbesondere jene, die in einer Auswahlbaumstruktur angeordnet und dargestellt sein kann), Auswählen aus Listen mit Elementen und so weiter.
Allgemeiner kann die Anzahl von außerhalb der Anzeige liegenden Zielen so klein wie ein einzelner auswählbarer Bereich für so viele Ziele sein, wie verlässlicherweise innerhalb des Sichtfeldes des Geräteträgers auflösbar sind. Außerhalb der Anzeige liegende Ziele können Randbereich der Anzeige überlappen, an Anzeigebereiche angrenzen oder gut von einem oder mehreren angezeigten Bereich/entfernt liegen. Die Größe von Zielbereichen kann variieren, so unter anderem ein Sakkadieren an jeden beliebigen Ort vorbei an einer Seite eines Anzeigebereiches führen. Die Formen von sowohl innerhalb als auch außerhalb der Anzeige liegenden Zielbereichen kann auch variieren und beispielsweise jegliche der folgenden Formen umfassen: quadratisch, rechteckig, achteckig und kreisrund.
Ein weiterer erheblicher Vorteil der peripheren und/oder außerhalb der Anzeige liegenden Orte von Aktivierungszielen ist das Verhindern von unbeabsichtigten Aktivierungen innerhalb des Anzeigebereiches. Wenn ein bestimmtes Zeichen oder eine bestimmte Funktion ausgewählt wird, kann ein Nutzer so viele Augensuchbewegungen wie erforderlich anwenden, um eine gewünschte Auswahl zu finden. Da „Aktivierung“ nur als Ergebnis von Augenbewegungen in Richtung der Peripherie (d. h. von dem Anzeigebereich weg) auftritt, ist die Chance der Aktivierung während der Suche relativ gering. Sobald Aktivierung in der Peripherie auftritt, wird eine neue Auswahl lediglich durch Zurückkehren zu dem Mittebereich initiiert. Dadurch werden Such- und anfängliche Auswahlprozesse räumlich und richtungstechnisch von Aktivierungsaufgaben getrennt, was zu einer signifikanten Reduzierung der Möglichkeit von unbeabsichtigten Aktivierungen führt.
Versucht ein Nutzer eine übermäßige Anzahl von unbeabsichtigten Aktivierungen (z. B. als Ergebnis einer schlechten Augenverfolgung aufgrund von Hindernissen) zu erzeugen, können die Aktivierungs- 291a, 291b, 291c, 291d und Modfizierziele 292a, 292b, 292c, 292d so positioniert werden, dass sie weiter von dem Anzeigebereich entfernt sind. Wenn ein Nutzer beispielweise an Erfahrung sammelt und die Anzahl von unbeabsichtigten Aktivierungen verringert, können solche Ziele näher gebracht werden, um Bereiche anzuzeigen, womit von dem Auge zurückgelegte Entfernungen verringert werden und demzufolge Auswahlzeiten und Augenmüdigkeit reduziert werden. EINZEL-SAKKADEN-AUSWAHLSEQUENZEN (SSSS)
MEHRERER AUSWAHLEN
Ist ein erweitertes Sichtfeld zur Anzeige und Augensignalisierung verfügbar, können 1-von-N Auswahlen auf eine Art und Weise angeordnet werden, die nur eine (1) Augenbewegung (d. h. eine einzelne Sakkade) pro Auswahl erfordert. SSSS-en verwenden Auswahlmengen, die in Clustern angeordnet sind, so dass sowohl:

• ein spezielles Element mit einem Cluster ausgewählt werden kann, und
• der Schritt der Auswahl angezeigt wird, durch

9A ist ein Beispiel eines Layouts einer Anzeige 300 zum Auswahlen eines Datums, bei dem jede Auswahl (d. h. Monat, Tag) mit einer einzelnen Sakkade durchgeführt werden kann. Das am weitesten links liegende Cluster 301 wird zum Spezifizieren eines Monats verwendet. Das mittlere Cluster 302 wird zum Spezifizieren eines Tages in dem Monat verwendet. Das am weitesten rechts liegende Cluster 303 spezifiziert einen Schritt. Es kann jede beliebige Datum durch Sakkadieren weg von einem Monat innerhalb des linken Clusters 301, gefolgt von einer Sakkade weg von einem Tag innerhalb des mittleren Clusters 302 in Richtung eines Schrittes innerhalb des am weitesten rechts liegenden Clusters 303 spezifiziert werden.
In 9A ist eine beispielhafte Sequenz von Augenbewegungen zum Eintragen des Datums „4. Juni“ dargestellt. Sakkadische Augenbewegungen sind als gestrichelte Linie dargestellt. Eine Sakkade weg von dem Monat „Juni“ 304 wählt den Monat aus. Eine sich anschließende Sakkade weg von der Zahl „4“ wählt den Tag aus. Sakkadieren in Richtung des Schrittes „ENTER“ (eingeben) 305b ermöglicht, dass das ausgewählte Datum in Richtung der Dateneintragssequenz einer Anwendung angewendet werden kann, bei der die Anwendung beispielsweise anschließend die Anzeige verändern kann, so dass zusätzliche Informationen eingetragen werden können.
In 9A umfassen alternative Schrittbestandteile, die ausgewählt werden können „BACK“ (zurück) 305a, um in der Dateneintragssequenz zurückzugehen, womit beispielsweise die Antwort auf eine vorherige Frage erneut eingegeben werden kann. In diesem Beispiel zwingt das Sakkadieren zu jeder beliebigen Zeit zu dem „SKIP“-(überspringen)-Ort 305c die Anwendung dazu, sich ohne Dateneintrag zu bewegen. Da eine Auswahl lediglich bei Sakkadieren weg von einem Cluster getätigt wird, kann eine beliebige Anzahl von erforschenden Augenbewegungen ohne Weiteres innerhalb eines Clusters zum Auswählen einer gewünschten Auswahl vorgenommen werden. Das Korrigieren eines falsch ausgewählten Monats kann unter einfachem Sakkadieren zurück zu dem Datum-Cluster durchgeführt werden. Das „←“-Symbol in dem Zifferncluster 306 kann beispielsweise Sonderfunktionen wie beispielsweise das Anfordern eines anderen Tastatur-Layoutes vorbehalten werden.
9B veranschaulicht ein weiteres Layout für die Tastatur 307 zur Eingabe von Daten. Dieses Layout kann verwendet werden, wenn vertikale Augenbewegungen eher beschränkt sind (z. B. um eine Anzeige entlang des oberen oder unteren Bereiches eines Visors zu ermöglichen) und/oder wenn es erwünscht ist, Zahleneinträge, die Tage darstellen, gemäß den Zifferneinheiten auszurichten (was etwas intuitiver für einige Nutzer wäre). Das beispielhafte SSSS von Augenbewegungen in 9B spezifiziert das Datum 8. Mai.
10A veranschaulicht noch ein weiteres Layout einer Tastatur 310, das beispielsweise verwendet werden kann, wenn der horizontale Bereich der Augenbewegungen beschränkt ist. In diesem Fall, ist eine (1) Sakkade zum Auswählen eines Datums erforderlich, wobei der Tag als zwei (2) separate Ziffern, 312, 313, spezifiziert wird.
Von links nach rechts ermöglichen Cluster Auswahlen des Monats 311, Zehner-Ziffern des Tages 312, Zifferneinheiten des Tages 313 und einen Schritt 314. Die beispielhafte Augenbewegungssequenz 315 zeigt die Auswahl des Datums „25. Dezember“ unter Verwendung eines SSSS.
10B ist ein abgeändertes Layout 316 einer Tastatur, die der in 10A dargestellten ähnlich ist, mit der Ausnahme, dass der vertikale Bewegungsbereich beschränkter ist (d. h. nur drei (3) Zeilen aufweist). In diesem Layout 316 ist eine „0“ nicht in den Zehner-Ziffern für die Auswahl eine Tages enthalten, aus dem einfachen Grund, weil das Umgehen des Zehner-Cluster 312 als eine implizierte führende Null interpretiert werden kann. Die veranschaulichte Augenbewegung SSSS 317, die „7. Dezember“ spezifiziert, ist ein Beispiel eines solchen Falls.
SSSS-en, bei denen die eingestellte Auswahl wiederholt dieselbe ist (z. B. Buchstaben, Ziffern, Funktionen), kann durch Anzeigen von Duplikaten eines Abschnittes oder aller einer Auswahlmenge bearbeitet werden. Es kann eine Sequenz einer beliebigen Länge durch Wechseln von vor und zurück zwischen Clustern oder Wechseln zwischen Clustern ausgewählt werden.
11A zeigt eine Standard-Zifferntastatur von Seite zu Seite 320, die beispielsweise zum Wählen einer Telefonnummer verwendet werden kann. Die Layouts der in 11A veranschaulichten Tastenfelder 321, 322 sind so, wie sie auf einem normalen Telefon vorzufinden sind. Alternativ dazu wird durch Austauschen der Zeilen, die „789“ enthalten, mit Zeilen, die „123“ enthalten, die Layouts zu jenen von normalen Computertastaturen und Tastenfeldern von Taschenrechnern umgewandelt.
Durch Sakkadieren hin und zurück zwischen Tastenfeldern kann eine Zahl einer beliebigen Länge spezifiziert werden. Als Ausgangspunkt für den Zahleneintrag kann sowohl das eine als auch das andere Tastenfeld verwendet werden. Die Eingabe kann aufhören, wenn eine ausreichende Anzahl von Ziffern für eine bestimmte Anwendung (z. B. Telefonnummer, Passcode) eingegeben worden sind, oder wenn ein Sonderzeichen (z. B. „*“ or „#“) eingegeben wird. Der SSSS-Augenbewegungspfad 323 wird in 11A veranschaulicht und ist ein Beispiel zum Eingeben der Zahl „148766“.
11B ist ein Beispiel zum Eingeben eines alternativen Layouts 324 zur Eingabe von Ziffern. Dieses Layout 324 ist sowohl einfach als auch intuitiv zu nutzen. Eine Nummer wird durch Sakkadieren vorwärts und zurück zwischen 2 linearen Zeilen 325a, 325b aus Ziffern und einem Sonderzeichen „←“/-funktion eingegeben. Durch die beschränkte vertikale Dimension kann dieses Layout 324 strategisch zum Verringern von Behinderung beispielsweise entlang der oberen oder unteren Kante einer Anzeige platziert werden. Der SSSS-Augenbewegungspfad 326 in 11b ist ein Beispiel zum Eingeben derselben Zahl (z. B. „148766“) wie in 11A.
12A zeigt ein SSSS-Layout 330 für einen Taschenrechner. In diesem Beispiel werden doppelt ausgeführte Taschenrechner-Layouts 331a, 331b nebeneinander platziert. Sowohl Zahlen als auch Funktionen können mittels abwechselnden Augenbewegungen vor-und-zurück zwischen den doppelt ausgeführten Anzeigen 331a, 331b ausgewählt werden. Die gestrichelten Linien 332 zeigen die Augenbewegungen, die zum Berechnen des Ergebnisses des Multiplizierens von 34 und 85 verwendet werden. Das Ergebnis dieser Berechnung (d. h. 2890) ist unmittelbar nach einer abschließenden Sakkade zu einem „=“-Zeichen 333 angezeigt 339.
12B veranschaulicht eine einfache Situation, in der eine dynamische Steuerung von Anzeigen den Nutzereingabeprozess unterstützen kann. Unter Verwendung desselben Taschenrechner-Layouts 330 wie dem von 12A können sowohl in der Taschenrechneranzeige links 331a als auch rechts 331b anfangs Zeichen für „/“,„*“,„-“,„+“ und „=“ (wie dies in Streifen 331a) dargestellt ist, fehlen. Dies rührt daher, weil diese Zeichen nicht zum Durchführen einer Funktion verwendet werden können, bei der keine Ziffer vorhanden ist. Wird ein erster Ziffernwert ausgewählt (z. B. eine „2“ in Streifen 331a) können Rechenoperators unmittelbar angezeigt werden 335 (z. B. während einer sakkadischen Augenbewegung 334) in dem gegenüberliegenden Seitenstreife 331b. Zu diesem Zeitpunkt ist ein Gleichheitszeichen (d. h. „=“) noch nicht angezeigt 336, da seine Funktion erst dann durchgeführt werden kann, wenn eine Rechenoperation und zusätzliche Zifferninformationen bereitgestellt werden.
Es ist nicht erforderlich, dass SSSS-Anzeigen identisch sind, selbst wenn sequenzielle Eingaben derselben Form sind. 13 zeigt ein beispielhaftes Layout eines wissenschaftlichen Taschenrechners, der zum schnellen Eingeben von Zahlen optimiert ist. In vertikaler Richtung sind die Inhalte von Gitterorten innerhalb der oberen 341a und der unteren 341b Anzeigen Spiegelbilder von einander. Häufig verwendete Ziffern befinden sich nahe beieinander und belegen die mittigen, innen liegenden Zeilen 342c, 343c der oberen 341a einer unteren 341b Anzeige. Allgemein übliche Funktionen belegen mittige Zeilen 342b, 343b. Weniger gebräuchliche Funktionen sowie andere Operationen sind in den Zeilen 342a, 242b am weitesten entfernt von den mittigen Anzeigebereichen angeordnet. Diese Konfiguration unterstützt kürzere, schnellere Augenbewegungen zum Treffen von allgemeineren Auswahlen (insbesondere in vertikaler Richtung). Weniger genutzte Merkmale in außen liegenden Zeilen erfordern im Allgemeinen längere Augenbewegungen.
Die beispielhafte Berechnung 349 unter Verwendung von Augensignalen, die in 13 dargestellt ist, berechnet: sin (30°) / 4. Zusätzlich zu Rechenfunktionen und anderen Operationen, die man allgemein auf wissenschaftlichen Taschenrechnern vorfindet (z. B. Bildschirm löschen, Eintrag löschen), Flags und andere Einstellbedingungen wie beispielsweise ob trigonometrische Funktionen Grade oder Radiane als Einheiten annehmen, können durch Augensignalgebung an geeigneten Orten eingerichtet werden 344.
13 ist zudem eine Veranschaulichung des Grundsatzes, dass ein Layout, das für die manuelle Eingabe (oder eine andere Form der Eingabe) optimiert worden ist, kein erforderliches Optimum für die Augensignalgebung ist. Demgemäß sind die auf den Bewegungen von einem oder mehreren Fingern beruhenden Designlayouts (z. B. Ziffern-Tastenfelder) möglicherweise für die Augensignalgebung auf der Grundlage von Geschwindigkeiten der Augensignalerzeugung, einfachen Verwendung und/oder Augenermüdung nicht optimal.
14 veranschaulicht ein Beispiel eines SSSS-Layouts 350 für eine QWERTY-Tastatur. In diesem Beispiel sind der obere 351a und untere 351b Abschnitt des Gesamtlayouts 350 Spiegelbilder voneinander in vertikaler Richtung. Dadurch können doppelt ausgeführte Zeilen 352c, 253a der häufig verwendeten Zeichen entlang der Oberkante einer standardmäßigen QWERTY-Tastatur und sehr nahe beieinander angeordnet sein. Die mittlere Zeile einer Standardtastatur ist in dem mittleren 352b, 353b dem oberen 351a und unteren Abschnitt 351b der doppelt ausgeführten Tastatur angeordnet. Die Zeile mit den allgemein weniger genutzten Zeichen befindet sich in den Zeilen 352a, 353c am weitesten voneinander entfernt. Augensignale 345 in 14 veranschaulichen das Tippen des Wortes „HELLO“ gefolgt von einem Leerzeichen (d. h. „_“) 354 als Vorbereitung für das nächste Wort.
Ein erfahrener Gerätenutzer kann die Positionen der Auswahlen (d. h. auf der Grundlage der Erinnerung) in einem Layout kennen. In diesem Fall kann ein räumlicher Speicher zum weiteren Beschleunigen der Auswahlen durch Eliminieren der suchenden Augenbewegungen und durch einfaches Sakkadieren durch eine Sequenz von Auswahlen verwendet werden. Kleine korrektive Sakkaden, die am Ende größerer selektiver Sakkaden auftreten können, können algorithmisch identifiziert (z. B. sakkadische Bewegungen, die weniger als über eine Schwellenwertentfernung zurücklegen) und nicht als eine für sich gestellte Auswahl betrachtet werden. Solche Speichergesteuerte Auswahlsequenzen können insbesondere für kürzere, gut bekannten Reihen wie beispielsweise Telefonnummern, Passcodes, übliche Namen und Ähnliches nützlich sein.
15A ist ein Beispiel eines Ziffern-Tastenfeld-Layouts 360 mit 4 Zeilen mal 3 Spalten, das zur Eingabe von Zahlensequenzen mit einer einzelnen sakkadischen (im Allgemeinen speichergesteuerten) Augenbewegung pro Ziffer verwendet werden kann. Da sich die Augensignalsprache im Allgemeinen nicht auf Verweilzeit stützt (z. B. um „Wiederholen“-Operationen durchzuführen), tritt dann ein Problem auf, wenn ein wiederholter Eintrag (z. B. wiederholte Ziffern) erforderlich ist. Dies wird durch Bereitstellen einer „Wiederholen“-Auswahl 362 gelöst. Die Eingabe eines wiederholten Wertes oder einer Funktion kann durch Sakkadieren von dem Eintrag zu dem Ort der wiederholten Auswahl 362 durchgeführt werden. Muss der Wert oder die Funktion weiter wiederholt werden, kann eine Sakkade rückwärts zu dem Ursprungsort des Eintrages oder der Funktion durchgeführt werden. Dieser Vorwärts-Rückwärts-Prozess kann eine beliebige Anzahl von Malen für verlängerte Wiederholungen wiederholt werden.
Bei einer alternativen Ausführungsform kann das an dem Ort der „wiederholten“ Funktion 362 angezeigte Bild die Zahl (oder ein anderes Zeichen/Funktion) sein, das/die wiederholt werden kann. Dies ist ein Beispiel einer dynamischen Steuerungsanzeige, bei der sich mögliche Auswahlen je nach den vorherigen Einträgen ändern. Sobald eine Auswahl getätigt ist, zeigt der Wiederholungsort 362 eine doppelte Ausfertigung des Bildes der Auswahl, so dass seine Auswahl einen wiederholten Eintrag verursacht. Es können dynamische Änderung an dem Wiederholungsort 362 auf „unsichtbare sichtbare“ Weise (z. B. wie an anderer Stelle hierin beschrieben) vorgenommen werden, um nicht die Aufmerksamkeit und daraus resultierende Augenbewegung(en) zu erregen.
15A veranschaulicht eine beispielhafte Augenbewegungssequenz, die zum Eingeben der Zahl „15664“ als gestrichelte Linie dargestellt ist. Diese Beispiel umfasst den Eintrag einer wiederholten Ziffer (d. h. „6“), die unter Verwendung des „Wiederholungs-“ortes 362 eingegeben wird. Die Eingabe von Ziffern kann unter Verwendung eines spezifischen Ortes 363 (allgemeinhin in vielen Betriebssystemen als eine „Rückgabe“/Return bezeichnet) abgeschlossen werden. Falsche Einträge während solcher kurzen Sequenzen können beispielsweise durch einfaches Beenden 363 und erneutes Eingeben der Sequenz bearbeitet werden. Während dem Spezifizieren einer bekannten Anzahl von Auswahlen wie beispielsweise eine Telefonnummer (unter Verwendung einer Länder-/Regionerkennung zum Bestimmen der Anzahl von Ziffern) kann der „Return“-Ort 363 zum Initiieren des Wählens oder alternative zum Beenden einer beliebigen Sequenz ohne Wählen der eingegebenen Zahl, um Irreführung zu vermeiden, verwendet werden. Im letzten Fall kann das Wählen automatischem beim Eingeben der letzten Zahl auftreten.
15B ist ein alternatives Layout eines Zahlen-Tastenfeldes mit 3 Zeilen mal 4 Spalten 365 für die Eingabe von Zahlensequenzen mit einer einzigen sakkadischen (im Allgemeinen speichergesteuerten) Augenbewegung pro Zahl. Dieses Layout kann beispielsweise verwendet werden, um Vorteil der im Allgemeineren größeren Genauigkeit und des verfügbaren Bereiches zum Messen horizontaler (im Gegensatz zu vertikalen) Augenbewegungen zu nutzen.
Einfache Anzeige-Layouts, die speichergesteuerte Augenbewegungen ermöglichen, können zum Auswählen von alphanumerischen Zeichen, Icons, die Funktionen darstellen können, allgemein üblichen Menüsequenzen, Schnittstellen oder anderen grafischen Darstellungen von Menschen aus Ziffern verwendet werden, womit Gruppen von Einzelpersonen und Ähnliches ausgewählt werden können.
Interaktive Anzeigen haben möglicherweise keinen Hintergrund (z. B. im Fall von Anzeigen mit vergrößerter Realität), einen hervorstechenden Hintergrund oder überlappten (z. B. durch Steuerung der Transparenz, Leuchtstärke, Farbe usw.) auf andere Bilder oder Video. Anzeigekomponenten können beispielsweise so positioniert sein, dass sie sich in der Mitte des Sehfeldes eines Nutzers oder vollständig im Randgebiet dessen, je nachdem was jeweils benötigt wird, befinden.
Anzeigen können auch statisch oder dynamisch sein. Dynamische Anzeigen können die Nutzereingabe sowohl beschleunigen als auch unterstützen. So können beispielsweise, wie dies soeben beschrieben wurde, wenn ein Taschenrechner verwendet wird (wenn die normale Sequenz eine Nummer gefolgt von einer Operation eingeben muss), Symbole für Operationen (z. B._, -, *, /) so lange zurückgehalten werden, bis mindestens eine Zahl eingegeben ist und ein resultierendes Symbol/Auswahl (z. B. Gleichheitszeichen) so lange zurückgehalten werden kann, bis ausreichende Informationen vorhanden sind, um ein Ergebnis berechnen zu können, Wenn eine Telefonnummer eingegeben wird, kann sich die Anzeige ändern (Farbe, Leuchtstärke usw.) kurz bevor die letzte Zahl eingegeben werden soll, und sich die Telefonverbindung automatisch beim Eintrag herstellt. In unterschiedlichen Phasen während eines Dateneintragsprozesses können am häufigsten verwendete und/oder wichtige Auswahlen auf eine oder mehrere Arten hervorgehoben werden (z. B. durch Steuern der Helligkeit, Farbe, Transparenz, des Hintergrundes, Umrandung usw.), um Aufmerksamkeit zu erzeugen.
MEHRERE UND/ODER BEWEGLICHE AKTIVIERUNGSZIELE
In zusätzlichen beispielhaften Ausführungsformen kann es wünschenswert sein, ein Aktivierungsziel von seinem gewöhnlichen (d. h. normalerweise von einer speichergesteuerten Sakkade) zu einem anderen Ort auf einer Anzeige weg zu bewegen, um ein Merkmal oder eine Eigenschaft über eine getroffene Auswahl anzuzeigen. Zusätzlich oder alternativ dazu können auch mehrere Aktivierungsziele angezeigt werden, wo eine Auswahl eines spezifischen Ziels (von zwei oder mehreren) nicht nur eine Aktivierung sondern auch eine 1-von-N-Auswahl anzeigt.
Die 16A und 16B veranschaulichen ein bewegliches Aktivierungsziel, bei dem die Zielaktivierungsorte 373a, 373b die Position des Einsetzns einzelner Ziffern innerhalb eines Panels 372 von ausgewählten Ziffern anzeigen. Die Sequenz der ausgewählten Ziffern 272 kann beispielsweise zum Spezifizieren einer Telefonnummer, einer persönlichen Identifikationsnummer, einer Kreditkartennummer und Ähnlichem verwendet werden. Ziffern werden innerhalb der Augensignalisierungssprache aus einem Zahlentastenfeld 370 ausgewählt, das zehn (10) Dezimalziffern 371 ebenso wie ein „Rückwärtstasten“-Zeichen 375 enthalten, die zum Durchführen von Korrekturen verwendet werden kann, und eine Zeilenumbruchtastenzeichen 376 enthalten, die verwendet wird, um das Ende einer Zifferneingabesequenz anzuzeigen.
In 16A wird eine Reihe von Zahlen eingegeben, die mit der Auswahl der ersten Ziffer (d. h. einer „3“ in diesem Beispiel) beginnt Durch Durchführen einer sakkadischen Augenbewegung 374 von der „3“ innerhalb der Auswahlanordnung von Ziffern 370 zu dem Aktivierungsort 373a innerhalb der Zahlenanzeigebereiches 372 wird eine „3“ als erste Ziffer registriert. Bei diesem Beispiel wechselt, wie dies in 16B veranschaulicht ist, der Aktivierungsort 373b nach rechts um die Breite einer Ziffer und die soeben eingegebene „3“ wird angezeigt. Dadurch wird dem Nutzer ein visuelles Feedback bereitgestellt, dass die Ziffer registriert worden ist und dass das System bereit für die nächste Ziffer an dem Ort auf der Anzeige und der Position innerhalb des Zahlentastenfeldes 372 ist, die durch ein neues Aktivierungsziel 373b angezeigt werden.
Die nächste einzugebende Zahl in der in 16B veranschaulichten Sequenz ist eine „5“. Der Gerätenutzer kann den Zahlentastenfeldbereich für die nächste Ziffern unter Verwendung einer beliebigen Anzahl von Augenbewegungen erforschen, die Umgebung außerhalb des Zahlentastenbereiches durchsuchen oder direkt auf die gewünschte Ziffer sakkadieren 377. Aktivierung der nächsten Ziffer tritt auf, wenn es eine sakkadische Augenbewegung von der gewünschten Ziffer zurück zu dem neuen Aktivierungszielort 373b gibt.
Der Prozess des Annehmens von Einträgen und dementsprechendes Wechseln des Ortes des Aktivierungsziels kann für Zahleneinträge einer beliebigen Länger wiederholt werden. Das Ende einer Sequenz kann anhand der Eingabe einer vorab festgelegten Anzahl von Einträgen oder der Eingabe einer speziellen Sequenz (z. B. eines Zeilenumbruchtaste-Zeichens 376) bestimmt werden. Dieselbe Strategie kann zum Eingeben von alphanumerischen Daten, Antworten auf Multiple-Choice (z. B. bei Prüfungen) Fragen, Reihen von Wörtern oder Phrasen, Auswahlen aus einer Menge von Symbolen oder Bildern und Ähnlichem verwendet werden.
Die 1 bis einschließlich 8 veranschaulichen die Situation, in der es mehrere Aktivierungsziele gibt. Bei diesen Beispielen wir eine 1-von-N-Auswahl getätigt, um zu spezifizieren, welches Zeichen in einer Gruppe von Zeichen bei Aktivierung ausgewählt werden soll. Eine ähnliche Strategie (d. h. Auswahl aus 1-von-N Möglichkeiten und Aktivierung) kann verfolgt werden, wenn aus einer Gruppe von Zeichen, Silben, Wörtern, Phrasen, zahlen, Bildern, Dateinahmen, Datenmengen, Symbolen, Icons, Glyphen, Maschinenfunktionen, Menüauswahlen, angewandten Parametern oder Eigenschaften, Software-Anwendungen und Ähnlichem ausgewählt wird. Ferner können Gruppen in Cluster zusammengruppiert werden, um das Auffinden einer Anfangsauswahl und/oder Richtung des Aktivierungsziels zu ermöglichen, um die HMI intuitiver zu gestalten. Wenn beispielsweise ein Bundesstaat oder eine Provinz, von denen spezifiziert wird, das sie möglicherweise in einem Land liegen, können Auswahlen räumlich innerhalb der Auswahlmatrix entsprechend ihren geografischen Standorten innerhalb des Landes (im Gegensatz zu beispielsweise einer alphabetischen Anordnung) angeordnet werden. Als weiteres Beispiel können, wenn aus einer Reihe von Software-Anwendungen ausgewählt wird, jene, die die Anzeige eines Videos umfassen, alle so positioniert werden, dass sie unter Verwendung von sakkadischer Signalisierung in Abwärtsrichtung zu Aktivierungszielen (d. h. auf dem unteren Teil der Anzeige) positioniert werden.
ZUGEWIESENE AKTIVIERUNG ODER „GO“-OBJEKTE
Im allgemeinsten Fall kann die Augensignalsprache verfolgte Augenbewegungen zum Bestimmen der Absicht eines Nutzers mit einer beliebigen Kombination aus Realwörterobjekten und virtuellen Objekten auf einer oder mehreren Anzeigen verwenden. Eigenschaften, unter anderem Standorte virtueller Objekte auf der einen oder den mehreren Anzeigen können dem Gerät oder System bekannt sein, zu dem das Gerät gehört, wie bei Operationen mit einem fernen Prozessor, einem Server oder einer über ein Netzwerk verbundenen Speichereinrichtung. Auf diese Weise kann das Gerät ohne Weiteres Augenbewegungen, die auf das eine oder die mehreren virtuellen Objekte gerichtet sind, Bedeutungen zuweisen.
Die Eigenschaften (unter anderem die Standorte) von Realweltobjekten in der Umgebung des Geräteträgers werden im Allgemeinen nicht von dem Gerät gesteuert. So unterscheiden sich beispielsweise von einem Gertenutzer in einer Konferenzraumumgebung betrachtete Objekte im Wesentlichen von jenen, die während des Steuerns eines Fahrzeuges betrachtet werden. Auf diese Weise muss die Augensignalsprache in der Lage sein, solche Variationen der Realwelt zu berücksichtigen. Dies umfasst das Umgehen mit Situationen, bei denen keine gerätegesteuerte Anzeige zum Bestimmen der Nutzerabsicht verwendet wird.
Wie vorstehend beschrieben, kann hörbares oder anderweitiges Nutzerfeedback zum Identifizieren möglicher Auswahlen oder wenn eine bestimmte Auswahl von Realwelt-Objekten getroffen wird, bereitgestellt werden. Ein Aspekt, der in dieses Szenario mit aufgenommen werden sollte, ist/sind die identifizierten Augenbewegung(en) zum Treffen oder Aktivieren des ausgewählten Schrittes. Mit anderen Worten, was ist der Sinn und Zweck der Aktivierung oder eines „Los“-Icons bei Fehlen einer Anzeige?
Bei beispielhaften Ausführungsformen führt dies zu der Feststellung einer oder mehrerer zuweisbarer „Los“-Objekte In anderen Worten bedeutet dies, dass ein oder mehrere Objekte in der Realweltumgebung vorrübergehend oder dauerhaft als ein oder mehrere „Los“-Icons verwendet werden können. Wird die Anzeige verwendet, passt das Zuweisen von Funktionen einem identifizierten Realweltobjekt nützlicherweise zu der Grammatik der Augensignalsprache, die ein Betrachten von Realweltobjekten mit oder ohne visuelle Vergrößerung, Signale, Aktivierungen oder anzeigegesteuerten Übergangsgrafiken umfasst.
Bei beispielhaften Ausführungsformen kann einem Realweltobjekt eine „Los“-Funktion durch anfängliches Betrachten des Objektes, Sakkadieren zu einem „Offenlegungs“-Icon auf einer Anzeige und anschließendem Sakkadieren zu einem neu offengelegten „Zuweisungs“-Icon zugewiesen werden, das den Schritt des Verbindens des Realweltobjektes mit einer „Los“- oder einer Aktivierungsfunktion durchführt. Andere beispielhafte Sequenzen von Verbinden von Augenbewegungen umfassen eine Sakkade von dem Objekt zu einem angezeigten „Los“- oder einem anderen verfügbaren Aktivierungspunkt, oder eine Sequenz aus Sakkaden und/oder Verfolgungen, die das Objekt mit angezeigten Objekten und sogar anderen Realweltobjekten eingliedern. Verfolgte Bewegungen von sich in der realen Welt bewegenden Objekten in ihrer von der Szenekamera beobachteten Form, ebenso wie mit denn Augen verfolgte Objekte, die von einem Nutzer bewegt werden, wie beispielsweise die Augen, die den/die Finger des Nutzers verfolgen, der in Richtung eines Objektes zeigt/zeigen, oder Finger, die einem sich bewegenden Objekt folgen, ergänzen ebenfalls die Sprache, die für die Zuweisung der Funktion und/oder Auswahl oder Aktivierung von Objekten verfügbar ist.
Ein Beispiel dieser Ausführungsform ist das Verfolgen eines Fingers, der auf ein Objekt wie beispielsweise ein geschriebenes Wort, ein Bild oder eine Seite in einem Buch zeigt, das/die real, virtuell oder bildschirmbasiert ist, um:

1) bei Berühren oder Daraufzeigen das Aussprechen des Wortes oder des damit zusammenhängenden Satzes, Absatzes oder der entsprechenden Seite zu initiieren,
2) auf der Grundlage der Berührung oder des Zeigens auf ein beliebiges Objekt (einen) Klang/Klänge, der/die abgespielt werden soll/en, oder (einen) andere Schritt/e zu initiieren. So können beispielsweise Klänge abgespielt werden oder ein animatronisches Zeichen antworten, wenn ein Nutzer auf Bilder oder Fotos in einem Buch schaut, darauf zeigt und/oder sie berührt oder eine Kombination aus Anschauen und Berühren durchgeführt wird; oder
3) dem Objekt eine Funktion zugewiesen wird, so dass sich anschließende Interaktionen (z. B. Berühren, Drücken oder eine andere Interaktion, Daraufzeigen, Kitzeln, Betrachten) eine Aktion wie beispielsweise einen Klang, eine Bewegung oder eine andere Veränderung des Objektes verursachen.

Bei beispielhaften Ausführungsformen kann in Situationen ohne Anzeige die „Los“- oder Aktivierungsfunktion unter Verwendung von Augenbewegungen zugewiesen werden. Dies beinhaltet Betrachten eines gewünschten Realweltobjektes und sich daran anschließendes Erstellen einer erkennbaren, eindeutigen Augenbewegung. Als Beispiele können mehrere Augenbewegungen (z. B. mit einer vorgeschriebenen Mindestmenge an Bewegungen) in einem grob kreisförmigen Muster um das Realweltobjekt herum durchgeführt werden, oder der Nutzer kann ein sogenanntes „crossed eye“ (Schielen)-Signal durchführen, um die Aktivierungsfunktion durchzuführen.
Alternativ dazu und als zusätzliche beispielhafte Ausführungsformen kann der Nutzer einen Betrachtungsort mit Körperbewegungen kombinieren, die unter willkürlicher Kontrolle stehen, um eine Aktivierungskontrolle zuzuweisen. Wenn der Nutzer von einem Realweltobjekt zu einem bestimmten Körperteil sakkadiert (z. B. einem Finger, Daumen, einer Hand, einem Fuß), dann kann das Betrachten und/oder die vorab festgelegte Bewegung eines solchen Körperteils zum Signalisieren verwendet werden, dass der Nutzer wünscht, dass das Realweltobjekt ein Aktivierungs- oder „Los“-Ziel ist. Alternativ dazu kann, wenn der Nutzer betrachtet wird, wie der (z. B. mit einem spezifizierten Finger oder einem Zeigegerät) auf ein Objekt zeigt, das Objekt, auf das gezeigt wird, anschließend einem Aktivierungsziel zugewiesen werden kann. Das Objekt kann dann auf ähnliche Weise, wenn der Nutzer ein Objekt aussucht und es für einen voran festgelegten Zeitraum und/oder während eines Bewegungsmusters betrachtet, das gehaltene Objekt (das irgendwo platziert sein kann) als ein Aktivierungs- oder „Los“-Ziel betrachtet werden.
Ein Realweltaktivierungs- oder ein Los-Objekt kann jedes beliebige in der Umgebung sein, unter anderem, beispielsweise eine Markierung auf einer Wand, ein Zeichen, eine Zahl, ein Wort, eine Tür, ein Licht und Ähnliches. Objekte können auch gedruckte Elemente, Spielzeuge oder andere Objekte sein, die unbelebt oder auf irgendeine Weise aktiviert sein können. Die Aktivierung- oder „Los“-Funktion kann mit einem Abschnitt des Realweltobjektes, beispielsweise der Kante eines Fernsehers, der Ecke eines Fensterrahmens, dem Griff einer Tür und Ähnlichem verbunden sein. Einem eindeutig identifizierbaren, spezifischen Objekt (d. h. mit einer oder mehreren identifizierbaren, sich auszeichnenden Eigenschaften) kann eine Funktion oder eine allgemeine Klasse von Objekten wie beispielsweise Lichtschalter, Steckdosen, Stifte, Bücher, Schuhe und Ähnliches zugewiesen werden, die unter Verwendung von auf dem Gebiet der Technik bekannten Objekterkennungsalgorithmen klassifiziert werden können.
Sobald einem oder mehreren Realweltobjekten eine „Los“- oder eine Aktivierungsfunktion zugewiesen sind, können anschließend andere Komponenten der Augensignalisierungssprache verwendet werden. So kann beispielsweise ein Nutzer, der zwischen einem ferngesteuerten Lichtschalter an und aus schalten möchte, zuerst auf den Schalter schauen und dann zu dem „Los“-Objekt sakkadieren. Da im Allgemeinen Realweltobjekte bei ihrer Aktivierung keine (Realwelt)-Auswahlmenüs anzeigen können, besteht eine viel größere Abhängigkeit von dem Kontext (einschließlich der Identität) von einem oder mehreren betrachteten Realweltobjekten. So kann beispielsweise ein Schalter ein Licht dazu veranlassen hin- und her geschaltet zu werden, wohingegen das Betrachten einer Tür die Tür zum Aufmachen (unter der Annahme dass der Nutzer zum Öffnen der bestimmten Tür autorisiert ist) veranlasst. Der Kontext kann auch andere Faktoren wie beispielsweise die Tageszeit (z. B. kann ein Licht nur nachts eingeschaltet werden), Historie von Aktivitäten (nur ein Licht einschalten, das vorher von dem Nutzer ausgeschaltet wurden), ob die Umgebung hell oder dunkel ist, das Vorhandensein von Klang oder eine identifizierbare Sprache in der Umgebung und so weiter umfassen.
MEHRFACHE AKTIVIERUNGS- ODER „LOS“-OBJEKTE
Die Augensignalsprache ist nicht auf einen einzelnen „Los“- oder Aktivierungsort beschränkt. In weiteren Ausführungsformen können mehrere „Los“-Icons oder Aktivierungsobjekte an verschiedenen Orten unterschiedlichen Aktionen zugewiesen werden. Im Grunde genommen kann der Nutzer dadurch schnell eine 1-von-N-Auswahl treffen, wobei N die Anzahl von Aktivierungsobjekten zusätzlich zu der Aktivierung ist, wenn zu einem „Los“-Ort sakkadiert wird.
Wie vorstehend beschrieben, können mehrere Objekte in der Realweltumgebung mit denselben oder unterschiedlichen Funktionen (unter Berücksichtigung des Kontextes) verbunden werden. Da die reale Welt reich an verschiedenen Objekten in der Umwelt ist, kann ein Nutzer die Signalisierungseffizienz durch Zuweisen von Funktionen einer großen Anzahl solcher Objekte erhöhen. Dies ist insbesondere in stabilen, gut bekannten Umgebungen wie beispielsweise einem Büro oder einem Familienzimmer der Fall.
Selbst in der eher beschränkten Umgebung einer Nutzeranzeige kann es für einige Anwendungen effizienter sein, mehrere Aktivierungsorte zu verwenden. Beispiele dieses allgemeinen Konzeptes sind in den 1 bis einschließlich 8 dargestellt, wobei mehrere Aktivierungsziele zum weiteren Spezifizieren von einer Gruppe möglicher Auswahlen aus Zeichen, Zahlen und anderen Funktionen verwendet werden. Das Platzieren von vier Aktivierungszielen in den vier Ecken oder, alternativ dazu, entlang der vier Seiten einer Anzeige, ist besonders effektiv und einfach zu verwenden. Eine breite räumliche Trennung von Aktivierungszielen in gut definierten Richtungen erleichtert die Unterscheidung von Auswahlen auf der Seite des Nutzers intuitiver und verhindert nachteilige Aktivierungen (aufgrund der räumliche voneinander getrennten Ziele) durch das Gerät.
VERWENDUNG VON SAKKADEN ZUM AUSWÄHLEN AUS EINEM DURCHGÄNGIGEN BEREICH
Wie vorstehend beschrieben, können weiche Verfolgungsbewegungen der Augen zum Verfolgen eines Objektes über einen von einem Nutzer wählbaren Zeitraum und/oder eine solche Entfernung verwendet werden, um eine Nutzereingabe auf der Grundlage eines „durchgängigen“ Bereiches von Eingaben (z. B. zum Steuern eines Lautsprechervolumens zu spezifizieren. In zusätzlichen beispielhaften Ausführungsformen können sakkadische Augenbewegungen zum Auswählen aus einem durchgehenden Bereich oder einer solchen „Skala“ verwendet werden. Eine Skala ist jede beliebige Form von grafischer Darstellung, mit der ein Nutzer eine Eingabe auf der Grundlage des Spezifizierens einer spezifischen Position (aus einer beliebigen Anzahl von oder einer unendlichen Anzahl möglicher Positionen) unter Verwendung des Augenblickes in Bezug auf den vollen Bereich der angezeigten Skala spezifizieren kann. So kann insbesondere die betrachtete Position in Bezug auf die Positionen des niedrigsten Wertes und des höchsten Wertes der angezeigten Skala zum Spezifizieren einer Auswahl bestimmt werden.
Eine erhebliche Herausforderung bei der Verwendung von sakkadischen Augenbewegungen zum Treffen einer Auswahl aus einem durchgängigen Bereich entsteht durch die Tatsache, dass sakkadische Augenbewegungen inhärent unterbrochen sind, bei denen von einem Zielort zum anderen gesprungen wird. Dementsprechend ist das Filtern (im Allgemeinen unter Verwendung einer Art zeitlicher und räumlicher Durchschnittsbildung) von gemessenen Orten innerhalb von Clustern sakkadischer Bewegungen, die auf spezifische Ziele gerichtet sind, eine wichtige Überlegung bei der Verwendung von sakkadischen Bewegungen zum Treffen einer durchgehenden Auswahl.
Wie vorstehend beschrieben, ist es physiologisch schwierig, sakkadische Bewegungen in Bereichen durchzuführen, in denen „nichts zu sehen ist“. Auf diese Weise ist es, selbst beim Treffen einer durchgängigen Auswahl unter Verwendung von Sakkaden wichtig, getrennte Fokusorte als Ziele für sakkadische Bewegungen bereitzustellen. 17A veranschaulicht ein Beispiel einer Grafik oder einer Skala 380 mit Fokus- (d. h. sakkadisches Ziel) Orten, die zum Treffen einer durchgehenden Auswahl auf der Grundlage von sakkadischen Augenbewegungen verwendet werden können.
Fokusorte werden unter Verwendung von gleichmäßig beanstandeten Häkchen 381a, 381b erstellt, die eine mittige Achse 385 kreuzen, was an ein Lineal erinnert. Die Schnittstellen der Achse mit den Häkchen 381a, 381b erzeugen die Fokusse. Um den Wiederholungscharakter der Häkchen zu unterbrechen, werden längere Häkchen 381b in regelmäßigen Abständen zwischen die kleineren Häkchen 381a sehr ähnlich wie bei den Markierungen eines Bandmaßes gesetzt. Es können auch andere grafische Darstellungen einer durchgängigen Auswahl wie beispielsweise ein (Nummer)-Wählen, eine schematische Darstellung eines mechanischen (d. h. mit Flüssigkeit befüllten) Thermometers, einer Nadelanzeige und Ähnliches verwendet werden; wobei die Fokusorte entlang der jeweiligen Skalen unter Verwendung von Anzeigen wie beispielsweise Häkchen, Punkten, Pfeilen, Farbänderungen usw. erzeugt werden. Sakkadische Augenbewegungen können in jede beliebige Richtung (einschließlich horizontal, vertikal, radial und/oder abwechselnd) durchgeführt werden.
Beispielhafte gemessene Orte sakkadischer Bewegungen sind in 17A als ausgefüllte Kreise 382 dargestellt. Wie in 17B dargestellt ist, wird auf er Grundlage eines laufenden Durchschnittes dieser gemessenen Orte 382, dem Nutzer eine anfängliche grafische Darstellung 383 der Auswahl in Bezug auf den allgemeinen Auswahlbereich, der durch die Skala 380 dargestellt ist, bereitgestellt. An dieser Stelle kann der Nutzer sakkadische Augenbewegungen zu Fokussen nach links 384a oder nach rechts 384b durchführen, um den ausgewählten Wert jeweils zu verringern oder zu erhöhen. Optional dazu kann die Geschwindigkeit, bei der die Auswahl den linken oder rechten sakkadischen Bewegungen des Auges folgt, darauf basieren, wie weit nach links oder rechts der Nutzer in Bezug auf die Entfernung von einer anfänglichen Auswahl schaut. Sobald der Nutzer mit einer Auswahl zufrieden ist, kann eine sakkadische Augenbewegung weg von dem Bereich der Skala oder zu einem Aktivierungsort durchgeführt werden, womit angezeigt wird, dass der Auswahlprozess abgeschlossen ist.
MULTIMODALES FEEDBACK
In zusätzlichen Ausführungsformen kann Feedback während Nutzerauswahlen unter Verwendung von Modalitäten durchgeführt werden, die andere sind, als jene, die zu einer angezeigten Skala oder einer anderen Skalendarstellung gehören. So können beispielsweise, wenn die Audiolautstärke angepasst wird, Klänge während des Auswahlprozesses erzeugt werden (d. h. auf dem bestimmten Level), um die Lautstärkeauswahl zu treffen. Als zusätzliche Beispiele können die Helligkeit, Farbe, Hinweis, Transparenz, der Kontrast, die Größe, Detailgröße und/oder die Form der angezeigten Bilder so geändert werden, dass sie proportional, umgekehrt proportional oder auf nichtlineare Weise mit Auswahlen verbunden sind, die von einem Nutzer während eines Auswahlprozesse getroffen werden
Es kann auch Feedback zu Geräten bereitgestellt werden, die entfernt zu einem Nutzergerät liegen (jedoch mit ihm kommunizieren). Zu Beispielen von entfernten Modalitäten gehören Ändern von entfernten Anzeigebildschirmen und Beleuchtung, entfernte Klangerzeugung unter anderem Klängen, die von Mobilgeräten erzeugt werden, Steuerung der Umgebungstemperatur, Indikatoren wie beispielsweise digitales Auslesen und so weiter.
Die Verwendung anderer, nicht anzeige-basierter Modalitäten kann auch helfen, unbeabsichtigte Augenbewegungen während des Auswahlprozesses durch Vermeiden von Änderungen an der Anzeige zu verringern, die das Auge des Nutzers auf sich ziehen. In zusätzlichen beispielhaften Ausführungsformen kann multimodales Feedback in einer Form verwendet werden, um Änderungen an einer anderen darzustellen. So kann beispielsweise ein Vergrößerungsgrad oder ein „Zoom“ eines Bildes als ein hörbares Signal dargestellt werden, bei dem die Tonhöhe (d. h. die Frequenz von Schallschwingungen) auch zum Anzeigen einer Zoomstufe verwendet werden kann. Im ähnlichen Sinne und als ein weiteres Beispiel kann die Wiederholungsgeschwindigkeit eines klickenden (oder eines beliebigen anderen) Klanges während des Auswählens einer Steuerung erhöht und/oder verringert werden, die zu einer beliebigen Sorte von „Geschwindigkeit“ wie beispielsweise der Frame-Geschwindigkeit während der Anzeige von Video, der Scroll-Geschwindigkeit für Text, „Seitenumbruchgeschwindigkeit“ während der Anzeige von Standbildern und Ähnlichem gehören.
In zusätzlichen beispielhaften Ausführungsformen können feine Änderungen an einem repräsentativen Bild so vorgenommen werden, dass sie „unsichtbar sichtbar“ sind. Mit anderen Worten kann ein Objekt sichtbar sein, wenn sich ein Nutzer kognitiv des Vorhandenseins eines visuellen Elementes bewusst ist, das in dem parafovealen oder peripheren Sichtfeld des Nutzers von ihrem aktuellen Blickpunkt gefühlt oder gesehen werden kann, jedoch „unsichtbar“ ist oder nicht gefühlt werden kann, wenn sich ein Nutzer nicht kognitiv des möglichen Vorhandenseins des visuellen Elementes bewusst ist. Dies kann durchgeführt werden, um nicht den Blick des Nutzers auf das Ziel, Icon oder auf eine Anzeige einer gesteuerten Statusänderung zu ziehen.
Mit diesen Strategien kann verhindert werden, dass dramatische Änderungen an der Anzeige als Feedback vorgenommen werden müssen, wie beispielsweise ein Bild dynamisch heranzoomen zu müssen (d. h. Ablenkungen zu erzeugen), die leicht unbeabsichtigte Augenbewegungen während des Treffens einer sakkadischen Auswahl erzeugen. Ein Nutzer kann schnell lernen, dass eine bestimmte (d. h. eine, an die er sich erinnert), Tonhöhe oder Klick-Häufigkeit eine bestimmte Zoomstufe oder eine bestimmte Wiederholungsgeschwindigkeit darstellt. Es können ähnliche oder andere durchgehende Eingabeauswahlen eingegeben werden.
Akustisches Feedback ist besonders dann nützlich, wenn Auswahlen mit Realweltobjekten getätigt werden. Wenn der Nutzer beispielsweise ein Objekt wie beispielsweise ein Lichtschalter ansieht, der von dem Gerät erkannt wird (z. B. unter Verwendung der Szenekamera zusammen mit dem Blickort), kann eine Anzeige, dass das Objekt erkannt worden ist und für eine Aktion verfügbar ist durch einen akustischen Hinweis (z. B. ein „Ping“, „Ding“, „Klingeln“, „Klick“, „Glocke“) angezeigt werden. Durch anschließendes Sakkadieren von dem Objekt zu einem Aktivierungs-Icon oder „Los“ kann eine Aktion wie beispielsweise das Einschalten des Lichtes verursacht werden.
In zusätzlichen Ausführungsformen können akustische und/oder andere (z. B. Vibrations-, Geruchs, taktiles) Feedback ebenfalls abgestuft werden, um irgendeinen Aspekt des Realweltobjektes anzuzeigen. Ist das Objekt beispielsweise ein Gesicht und wird das Gesucht (unter Verwendung von Objekterkennungsalgorithmen) aus einer Datenbank mit Gesichtern identifiziert, kann eine Form von akustischem Hinweis (z. B. eine Doppelton, wobei der zweite häufiger auftritt) bereitgestellt werden. Wenn andererseits ein Gesicht als ein Gesicht erkannt jedoch nicht als innerhalb einer Datenbank von Gesichtern vorhanden identifiziert wird, kann eine andere akustische Modulation, Amplitude und/oder ein Hinweis (z. B. ein Doppelton, wobei der zweite häufiger auftritt) als Feedback an den Nutzer bereitgestellt werden. In beiden Fällen kann der Nutzer eine Aktivierungssakkade durchführen; die Aktion, die aus der Aktivierung resultiert, kann jedoch unterschiedlich ausfallen, je nach der gerätebasierten Erkennung und/oder Identifizierung des Objektes.
In diesen Fällen oder in Reaktion auf einen augenbezogenen Austausch unter Beteiligung von Vibration, Temperatur, Spannung, Druck, von denen jedes beliebige oder eine Kombination davon entsprechend einer gewünschten Kommunikation von Informationen variieren kann, kann auch haptisches Feedback bereitgestellt werden. Solch ein haptisches Feedback kann über eine Reihe verschiedener verbundener tragbarer Geräte, unter Anderem Handschuhe, Armketten, Ringe, Halsketten, Kopfbedeckung, Unterwäsche und Ähnlichem bereitgestellt werden.
In zusätzlichen Ausführungsformen stellen die binaurale Beschaffenheit und/oder die Fähigkeit, Klangquellen akustisch zu lokalisieren, eine weitere Möglichkeit für Nutzer-Feedback bereit. Dies kann im Allgemeinen durch Verwendung von zwei oder mehreren Lautsprechern erreicht werden, es ist jedoch besonders mit Verwendung eines Paares an Ohrenstöpseln oder Kopfhörern als eine Komponente des Nutzer-Feedback-Systems effizient. Im Grunde genommen, wird die Wahrnehmung der Richtung eines Klanges vorwiegend aufgrund der Phasenunterschiede von Klängen erzielt, die zwischen jedem Ohr gehört werden. Die Wahrnehmung der Entfernung berücksichtigt ebenfalls Unterschiede der Amplituden, die in jedem Ohr gehört werden. Dieses allgemeine Phänomen wird auf dem Gebiet der Technik als Head Related Transfer Function (HRTF) bezeichnet.
Es können sowohl wahrgenommene 1) Richtung als auch 2) Entfernung separat oder gemeinsam verwendet werden, um einem Nutzer Feedback bereitzustellen. Änderungen in der Richtung und/oder Entfernung können in einem gesonderten Ereignismodus (z. B. einzelne Klicks oder andere Klänge) oder einem durchgehenden Modus (z. B. eine durchgehende Sirene) verwendet werden. Die Klangrichtung kann in einer Form mit der durchgeführten Aktion (z. B. Schubsen eines Objektes auf einer Anzeige nach links und damit Erzeugen eines Klanges, der anscheinend von links stimmt) verbunden ist oder völlig ohne Bezug zu einer Aktion sein (z. B. ein Klang, der von rechts stammt und „Ja“ anzeigt und ein Klang, der von links stammt und der „Nein“ anzeigt).
Auf ähnliche Weise kann wahrgenommene Entfernung in einer Form mit der Aktion durchgeführt wird, im Zusammenhang stehen (z. B. ein Klang der beim Heranzoomen eines Bildes als näher erscheinend gestaltet wird, ein Klang der näher erscheint, wenn sich der Nutzer einer richtigen Antwort nähert oder ein wahrgenommener entfernter Klang, der anzeigt, dass eine Einstellung auf einem entfernten Gerät eingestellt worden ist) oder kann völlig ohne Bezug zu ihr sein (z. B. ein Klang, der als nahe erscheinend gestaltet wird, womit dem Nutzer die Dringlichkeit einer Nachricht angezeigt wird).
ANWENDUNG DES GAP-EFFECTS AUF PHYSISCHE OBJEKTE
Der Gap-Effect (Lückeneffekt) wird als grundlegendes Werkzeug zur Beschleunigung von Nutzerinteraktionen bei der Augensignalisierungssprache angewendet. Wie vorstehend beschrieben, kann ein Objekt, das kurz davorsteht, als Ergebnis einer sakkadischen Augenbewegung betrachtet zu werden, aus der Betrachtung entfernt werden, womit die visuelle Aufmerksamkeit des Nutzers „freigegeben“ wird, um sich schneller weiter zu begeben (verglichen mit einem Objekt, das in der Ansicht des Nutzers verbleibt), um ein anderes Objekt anzusehen. Das Entfernen des virtuellen Objektes auf einer Anzeige zu einer angemessenen Zeit kann den Gap-Effekt erzeugen.
Werden physische Realweltobj ekte betrachtet, ist es im Allgemeinen nicht möglich, das tatsächliche Objekt während einer Sakkade aus der Betrachtung eines Nutzers zu entfernen. Unter Verwendung eines Augmented Reality (AR)- oder eines Mixed Reality (MR)-Gerätes, kann die Betrachtung eines solchen Objektes jedoch entfernt werden. In dieser beispielhaften Ausführungsform können die Realweltobj ekte anfangs durch ein AR- oder ein MR-Gerät betrachtet werden, indem ein oder mehrere Bereiche des Gerätes im Wesentlichen transparent gestaltet werden. Wenn der Nutzer in Richtung eines Aktivierungsobjektes sakkadiert, dann kann das Objekt aus der Betrachtung des Nutzers entfernt werden, in dem die Transparenz des AR- oder MR-Gerätes in Richtung zu dem Realwelt-Aktivierungsobjektes verringert oder eliminiert wird.
Falls gewünscht, kann der teilweise oder ganz undurchsichtige Bereich mit einem neutralen Bereich gefüllt werden, der nicht die Aufmerksamkeit des Nutzers anzieht. Dies kann beispielsweise eine durchgängige Farbe, räumliche Farb(en)gradienten, ein pseudozufälliges Geräusch, ein familiäres Bild oder eine Schätzung des Hintergrundes hinter dem Aktivierungsobjekt auf der Grundlage des betrachtbaren Bereiches um das Objekt herum sein. Um die Aufmerksamkeit weiter zu verringern, kann der Bereich um die Kanten des Bereiches mit der verringerten Transparenz als Übergang allmählich von weniger transparent (d. h. Blockieren der Betrachtung des Nutzers des Objektes) bis zu völlig transparent (d. h. weg von dem Objekt, das von der Betrachtung blockiert wird) gestaltet werden. Dadurch wird die Wahrscheinlichkeit verringert, dass ein Nutzer die Kante eines Bereiches mit verringerter Transparenz erkennt und/oder betrachtet.
Durch das vollständige oder teilweise Blockieren der Betrachtung eines Zielobjektes während und/oder nach einer Sakkade unter Verwendung von AR-Verfahren kann ein Gap-Effekt unter Verwendung von Realwelt-Aktivierungszielen erzeugt werden. Anschließend kann Transparenz in dem AR-Gerät zum erneuten Enthüllen des Objektes unter Verwendung vorstehend beschriebener Verfahren zurückgegeben werden, die eingerichtet sind, um die Aufmerksamkeit des Nutzers nicht zu erregen. Wenn beispielsweise ausreichend Zeit zur Verfügung steht, kann die Transparenz langsam zurückgegeben werden, oder wenn der Nutzer funktionell „blind“ ist (z. B. während Sakkaden und/oder Blinzeln).
HÖFLICHKEITSBETRACHTUNGEN
Dem Thema Höflichkeit im Zusammenhang mit interaktiven und/oder sogenannten „Smart“-Geräten wird allgemeinhin viel Bedenken gewidmet. In vielen Fällen, beispielsweise bei geschäftlichen und sozialen Anlässen, wünscht sich ein Nutzer beispielsweise die eingehenden Anrufe oder Datenströme zu verringern, indem er zeitweise alle bis auf die Notrufkommunikation ausschaltet. Es geschieht jedoch manchmal leicht, dass vergessen wird, ein Gerät in einen „Nicht stören“ - oder „Geräuschlos“-Modus zu setzen, bevor man sich in solche Situationen begibt, während man seinen täglichen Aktivitäten nachgeht. Gleichermaßen leicht geschieht es, dass man es vergisst, ein Gerät in seinen normalen Betriebszustand zu versetzen, wenn diese Situationen zu Ende sind.
Auf der Grundlage von vorab definierten Sätzen von Präferenzen kann ein/e Headset und/oder Anzeige(n) vorrübergehend eingehende Benachrichtigungen und Informationen „filtern“, wenn das Gerät Situationen erkennt (z. B. Objekte mit hoher Relevanz und/oder Einzelpersonen), die einen „Nicht Stören“-Modus verlangen. So kann ein Gerät beispielsweise erkennen, dass der Geräteträger in ein Gespräch verwickelt ist. Diese Situation kann anhand der Erkennung der aufgezeichneten Stimme des Trägers unter Verwendung eines Mikrophons und/oder Bilder der Menschen, die in Richtung des Geräteträgers sprechen, die unter Verwendung von Szenekamera(s), die die Umgebung betrachtet/n, aufgezeichnet werden, bestimmt werden. Besondere Beachtung muss den Richtungen der Augen der Menschen in den Szenekamerabildern (z. B. in Richtung des Geräteträgers oder nahe genug dem Geräteträger, um engen oder persönlichen Kontakt zu suggerieren, der nicht unterbrochen werden sollte) und ob sich die Münder der sich in der Nähe befindenden Einzelpersonen bewegen, gewidmet werden. Zu anderen Informationen, die verwendet werden können, um automatisch zu bestimmen, ob ein „Nicht stören“-Modus ausgelöst werden sollte, gehören die Tageszeit, der Wochentag (z. B. Werktag vs. Wochenende), der Geostandort, Drinnen- vs. Draußenumgebung und andere Muster.
Der Nicht-Stören-Modus kann auch dann ausgelöst werden, wenn eine bestimmte Person, Umgebung oder ein Ort erkannt wird. So können beispielsweise Unterbrechungen dann unangebracht sein, wenn mit einer bestimmten Person (z. B. dem Chef, oder Sachbearbeitern) gesprochen wird. Der Nicht-Stören-Modus (und selbst ein „Nicht-Senden“-Modus) können ausgelöst werden, wenn das Innere eines Flugzeuges erkannt wird. Bereiche innerhalb von Schulen, Krankenhäusern, Kino oder Kinosälen, Theater und anderer Einrichtungen können als Zonen für den „Nicht-Stören“-Modus auf der Grundlage des Geostandortes und/oder der Identifizierung unter Verwendung einer Szenenkamera identifiziert werden. Das Innere eines Fahrzeuges kann (auf der Grundlage einer Datenbank aus Mustern von Interieuren von Fahrzeugen) zusammen mit beliebigen Steuerungen (d. h. Fahrzeug oder einer beliebigen anderen Maschine) erkannt werden, die möglicherweise Prioritätsnutzeraufmerksamkeit erfordern.
Im allgemeinsten Sinn kann jeder beliebige Kontext, für den eine Ablenkung des Trägers nicht gestattet werden soll, oder bei dem die Ablenkung von einer anderen Person oder Einrichtung wahrgenommen werden kann, unter Verwendung der „Nicht-Stören“-Funktion gehandhabt werden. Es wird die Bildanalyse auf der Grundlage eines neuralen Netzers trainiert, um „Nicht Stören“ zu erkennen, oder Situationen verwendet werden, die nicht unterbrochen werden dürfen, um einen oder mehrere Nicht-Stören-Modi zu implementieren.
Auf der Grundlage von Nutzerpräferenzen können verschiedene Stufen von Datenfilterung vorab eingestellt werden. Als ein beispielhaftes Szenario können in einigen Situationen Texte und Alarme zugelassen werden, während E-Mails und andere Benachrichtigungen blockiert werden. Die Anzeige oder das Zurückhalten (d. h. von der Anzeige zu einem späteren Zeitpunkt) von Informationen kann von der Quelle der Informationen und/oder den aktuellen Aktivitäten abhängen. So kann beispielsweise physiologisches Überwachen (z. B. der Herzgeschwindigkeit, der Atemgeschwindigkeit) und navigatorische Informationen während Radfahren oder Wandern angezeigt werden, aber nicht mehr angezeigt werden, sobald die Aktivität beendet wurde. In anderen Situationen können alle Übertragungen blockiert oder zwischengespeichert werden (d. h. gesammelt jedoch nicht angezeigt werden), mit Ausnahme jener, die als Notfall deklariert sind.
Auf ähnliche Weise können Benachrichtigungsmodalitäten je nach der Situation modifiziert werden. Während verschiedener Nicht-Stören-Situationen können Benachrichtigungen, die normalerweise einen akustischen Klang involvieren würden, in einem „Stille“-Modus umgewandelt werden, der einfach eine Bildschirmnachricht und/oder eine nicht hörbare Vibration anzeigt.
In anderen beispielhaften Ausführungsformen können Benachrichtigungen so langeverzögert werden, bis ein Nicht-Stören-Modus abgelaufen ist. Verzögerungen können nur einige wenige Sekunden oder Minuten dauern, um ein Gespräch nicht zu unterbrechen. Verzögerungen können auch so erweitert werden, dass sie mehrere Stunden andauern, um beispielsweise eine wichtige Konferenz nicht zu unterbrechen. Anzeigen eines „Nicht-Stören“-Modus-Zustandes können dem Nutzer visuell, mündlich oder durch eine andere Stimulation (z. B. über haptische Mechanismen) angezeigt werden. Die Steuerung und/oder Bestätigung eines Nicht-Stören-Modus kann auch mit Augen, der Stimme, den Händen, dem Kopf, EKG oder anderen Eingabeverfahren durchgeführt werden.
ERREGEN VON NUTZERAUFMERKSAMKEIT WÄHREND WICHTIGER BENACHRICHTIGUNGEN
In einigen Fällen ist es möglicherweise erforderlich, die Aufmerksamkeit eines Nutzers auf einen speziellen Informationskörper oder ein Ereignis ungeachtet anderer Aktivitäten zu ziehen. Wenn beispielsweise eine unmittelbare potentielle Gefahr für das Nutzergerät oder Andere besteht (z. B. eine sogenannte „Aktive Shooter“-Situation in der Umgebung des Nutzers, ein gebäudespezifischer Brandalarm und Ahnliches), kann ein dringender Bedarf an der Alarmierung eines Nutzergerätes bestehen. Die Kenntnis eines Blickes des Gerätenutzers kann bei dem Prozess der Erregung einer Aufmerksamkeit des Nutzers und der Bereitstellung on Informationen, die relevant für die Situation sind, helfen.
In beispielhaften Ausführungsformen wird bei Empfang von als dringlich erachteten Informationen eine Anzeige in das Suchtfeld (z. B. innerhalb der vergrößerten Realität, der virtuellen Realität oder den Headsets mit gemischten Realitäten) in allgemeiner Richtung des Blickes des Nutzers platziert. Die Anzeige kann explizit innerhalb des fovealen Blickbereiches eines Nutzers, des parafovealen Bereiches oder des peripheren Bereiches platziert werden. Optional dazu kann das System dynamisch einen Blick eines Nutzers so lange verfolgen, bis der Nutzer die Benachrichtigung bestätigt und/oder eine Aktion unternimmt. Die visuelle Anzeige kann in Form eines Icons, Symbols, Wortes oder Wörtern, Thumbnail-Bildes in Bezug auf die Situation, Abschnitt eines Bildes und Ähnliches vorliegen. Die visuelle Anzeige wird auf eine Weise dargestellt, die dafür ausgelegt ist, Aufmerksamkeit (z. B. schnell eingeführt, nicht während Zeiträumen von Nutzerblindheit unter anderem sakkadischer Unterdrückung oder Blinzelunterdrückung, mit hohem Kontrast usw.) zu erregen. Die visuelle Anzeige kann von einem anderen Alarmmechanismus wie beispielsweise einem akustischen oder haptischen Reiz begleitet sein.
Sobald die anfängliche Benachrichtigung getätigt wurde, kann die visuelle Anzeige auf eine Weise bewegt oder „geschoben“ werden, mit der sie visuell von dem Geräteträger gefolgt werden kann. Dadurch kann der Geräteträger den räumlichen Pfad der symbolischen Darstellung der Informationen oder des Ereignisses zu einem speziellen Bereich verfolgen und anschließend erinnern, in einem Fällen, zu einer speziellen Teilmenge in einem Bereich. So kann beispielsweise eine dringende eingehende Textnachricht zu einem Bereich geschoben werden, in dem Textnachrichten abgerufen werden können. In dem Bereich, in dem Textnachrichten aufgerufen werden, kann das Verschieben einen Ort visuell anzeigen, der zu einem bestimmten Sender der dringenden Textnachricht gehört. Eine dringende E-Mail kann auf ähnliche Weise angezeigt werden, um sie zu einem bestimmten Sender in einem Bereich zu verschieben, der dem Abrufen von E-Mails vorbehalten ist. Dringende Bilder oder Links zu Video können an Orte verschoben werden, wo solcher Inhalt abgerufen werden kann. Dringender Inhalt in verschiedenen Formen kann auch zu einem dedizierten Bereich für solche Informationen (ungeachtet des Formates) verschoben und/oder zu anderen Bereichen kopiert werden.
Das Blickverhalten eines Nutzers kann während eines solchen Verschiebens überwacht werden, um zu überprüfen, dass ein Nutzer den Reiz unter Verwendung eines sanften Verfolgungs- oder eines sakkadischen Augensignals folgt. Führt der Nutzer ein solches Signal nicht innerhalb einer vorab festgelegten Zeit durch, kann das Verschieben auf eine Weise wiederholt werden, mit der sichergestellt wird, dass die Aufmerksamkeit eines Nutzers eingefangen wird und die Benachrichtigung bestätigt und/oder auf sie reagiert wird. Die Fähigkeit des Systems zum Verfolgen des Blickes eines Nutzers liefert ein starkes Werkzeug, um die Aufmerksamkeit des Nutzers in kritischen Situationen zu leiten.
Nach dem visuellen Verfolgen der Anzeige des Verschiebens kann der Nutzer anschließend die Anzeige sofort aktivieren (unter Verwendung der Augensignalisierungssprache), um weitere Details hinsichtlich der Nutzerbenachrichtigung abzufragen. Alternativ dazu kann der Nutzer einfach den räumlichen Ort der Benachrichtigung erinnern, so dass die Informationen zu einem späteren Zeitpunkt abgerufen werden können. Dieses allgemeine Schema stellt sicher, dass ein Nutzer zu dringenden Benachrichtigen alarmiert wird, ohne ihn abzulenken oder ihn zur Durchführung ungewollter visueller Aktivitäten über einen verlängerten Zeitraum zu zwingen (z. B. während des Steuern eines Fahrzeuges oder Bedienen anderer Maschinen).
In zusätzlichen Ausführungsformen kann die Handhabung von dringenden Benachrichtigungen durch das Gerät auch kontextsensibel sein. Ein Nutzer kann vorab bestimmen, welche Benachrichtigungen ausreichend dringend sind, um den visuellen Alarmierungsprozess vorzeitig zu initiieren. Festlegungen vorab können auf der Informationsquelle, der Form (z. B. Text, Bilder) der Benachrichtigung, einer Einstufung hinsichtlich der Dringlichkeit, der historischen Häufigkeit, Tageszeit, Ort, Nutzeraktivität, Nähe zu anderen Menschen, Nutzerhistorie, ob der Nutzer in der Vergangenheit solche Benachrichtigungen unbeachtet hat oder nicht darauf reagiert hat und anderen Faktoren beruhen. Ob der visuelle Alarmierungsprozess ausgeführt wird, kann auch von den offensichtlichen Aktivitäten, die von de Gerätenutzer durchgeführt werden, abhängen. So können beispielsweise nur die Benachrichtigungen mit der höchsten Priorität während des Steuerns des Fahrzeuges angezeigt werden, während Benachrichtigungen mit weniger Dringlichkeit (z. B. Textnachrichten) während Zeiträumen mit relativer Inaktivität angezeigt werden können.
MOBILER ONLINE-STATUS UND DATENSCHUTZKONTROLLEN
Wenn die anfängliche Verbindung hergestellt wird, die durch die tragbaren Geräte aktiviert werden (d. h. ohne eine vorherige Identifizierung oder eine Kenntnis), tritt ein Problem dahingehend auf, eine betrachtete Person und eine tragbare Hardware zu einer dazugehörigen Netzwerkadresse (z. B. URL- [Universal Record Locator], MAC- [Media Access Control] Adresse, IP- [Internet Protocol] Adresse) oder eine andere Form und/oder Protokoll zur elektronischen Datenübertragung zu verbinden. Wenn die betrachtete Person durch Verfahren wie beispielsweise Gesichtserkennung identifiziert werden kann, dann kann auf ein dazugehöriges Gerät oder eine „Adresse“ der Einzelperson (wenn auf der Grundlage der Datenschutzeinstellungen möglich) von einer Datenbank aus abgerufen werden. Ohne irgendeine Form von Nutzer- oder Hardware-Erkennung besteht keine automatische Form zum Initiieren einer endgültigen Verbindung oder Verknüpfung zwischen den Nutzergeräten in Nähe zueinander.
Wenn sie sehr nahe beieinander liegen, könnte von einem anderen Gerätenutzer eine angebrachte Identifizierung (z. B. Barcode, Q-R-Code) auf einem Nutzergerät gesehen und entsprechend ausgelegt werden, um Zugriff auf eine Netzwerkadresse zu erlangen. Dies ist jedoch über jede beliebige Entfernung schwierig und verbietet auch die Möglichkeit eines Nutzers, einen „Datenschutzmodus“ einzugeben, wenn externe Kontakte nicht gewünscht sind (ohne dass der Identifizierungscode physisch entfernt wird).
Eine einfache und stromsparende Art und Weise ein Gerät und den Träger eines Gerätes mit einem anderen Gerät (und dem Geräteträger) zu Verbinden, ist die Nutzung einer oder mehrere Quellen elektromagnetischer Strahlung (d. h. Signale), die mit einem Gerät einhergehen, die anschließend von den Szenenkameras der anderen Geräteträger betrachtet werden können. Ein gepulstes (z. B. Flashing, Ein-Aus) Infrarot-LED-Signal ist eine nützliche, beispielhafte Ausführungsform für die Anwendung. Es können Wellenlängen in Nähe des Infrarotbereiches (z. B. 800-1300 nm) ausgesucht werden, die für Nutzer unsichtbar und nicht ablenkend sind, die jedoch von den Szenekameras (z. B. unter Verwendung von [CMOS]- oder Charge-Couple Device [CCD]-Sensortechnologien) anderer tragbarer Geräteträger erkannt werden können.
Eine IR-LED mit einer Weitwinkelprojizierung (nahe 180 Grad) ist am nützlichsten wenn sie beispielsweise auf dem Nasenrücken befestigt wird. 18A zeigt ein Beispiel eines Headsets 490 und des Ortes eines einzelnen Signalgebers, der auf dem Nasenrücken 491 befestigt ist. Jeder Geräteträger, der das Gesicht eines Geräteträgers mit einem solchen Signalgeber sehen kann, sollte im Allgemeinen (sofern der Signalgeber nicht aus irgendeinem Grund behindert wird) in der Lage sein, die Signalaufzeichnungen zu erkennen.
Mit zwei (oder mehr) LEDs, die auf den Seiten des Gerätes montiert sind, kann die Erkennbarkeit von allen Winkeln aus sogar noch vergrößert werden, obgleich dies zu Lasten eines zusätzlichen Stromverbrauchs geht. 18B zeigt ein Beispiel einer dualen Signalgeber-492a, 492b Anordnung in dem Gelenkbereiches eines Ohrenträgers. In alternativen Ausführungsformen, in dem Fall eines Helmes oder Kopfbedeckung mit Trägern an dem größeren Abschnitt des Kopfes, kann ein Weitwinkelprojizierungssignalgeber in der Nähe der Oberseite des Kopfes platziert werden. Mehrere Signalgeber, die um den Kopf herum platziert sind, können die Fähigkeit sicherstellen, dass aus allen Betrachtungswinkeln erkannt wird.
Der gepulste Signalgeber kann, nicht nur zur Anfangserkennung (unter Verwendung des Bildprozesses) von Geräten und ihren Nutzern, sondern auch zum Anzeigen des Status des Geräteträgers verwendet werden. Anzeigen eines Kontaktstatus kann beispielsweise ähnlich den Statusanzeigen sein, die in typischen Telekonferenzsituationen verwendet werden, bei denen ein beispielhafter Status Folgendes sein kann: „verfügbar“, „momentan Offline“, „Gruppe verfügbar“, „nur für Kontakte“ oder „nicht verfügbar“. Damit wird einem Geräteträger Datenschutzkontrolle vorliegen und diese kann in Echtzeit durch den Nutzer geändert und/oder automatisch von dem Gerät geändert werden. Automatische Statusänderungen können auf dem Ort, der betrachteten Umgebung des Geräteträgers (z. B. ob sich in einem Gespräch befindend), Tageszeit, elektronischer Kalender, Augensignalaktivität usw. basieren.
Ein nützliches Verfahren zum Lokalisieren eines weiteren Headsets und eines Identifizierungssignals in der Umgebung eines Geräteträgers umfasst das Subtrahieren von räumlich angeordneten Bildern mit dem Signal Ein (d. h. ein aktives Signal sendend) versus dem Signal Aus. Unterschiede zwischen zwei (oder mehreren) solcher Bilder treten in erster Linie in dem Bereich des Signals auf, und solche „Unterschiede-Bilder“ können zum Isolieren des Standortes des Signals ebenso wie dafür verwendet werden, sicherzustellen (z. B. durch Messen der Signalfrequenzeigenschaften), dass die Quelle des Signals ein weiteres Gerät ist.
Wenn das Pulsieren eines Signals nicht mit der Framegeschwindigkeit einer beobachtenden Kamera synchronisiert wird, tritt ein Problem auf, wenn die maximale Frequenz bestimmt wird, mit der das Signal ein- und ausmoduliert wird, während sichergestellt wird, dass die Kamerabilder wenigstens einen Frame während der maximalen und minimalen Helligkeitsstufen (um das Signal durch Subtrahieren aufeinanderfolgender Bilder leicht zu verfolgen/identifizieren) enthält. Wenn in aufeinanderfolgenden Bildern die Frame-Geschwindigkeit wenigstens vier (4) mal die Modulationsgeschwindigkeit des pulsierten Signals ist, wird sichergestellt, dass die Bilder, die von einer nicht-synchronisierten Kamera erzeugt wurden, Frames mit maximalen und minimalen Beleuchtungsstufen (unter der Annahme, dass das Signal mit gleichen „ein“- und „aus“-Zeiten ausstrahlt) enthalten. Maximale und minimale Beleuchtungsstufen können als Referenzen verwendet werden, wenn die Pulsbreiten- oder Amplitudenmodulation zum Codieren von Informationen auf die nachstehend beschriebene Weise auftritt. Wenn beispielsweise eine Erfassungsgeschwindigkeit einer Kamera sechzig (60) Frames/Sekunde ist, dann stellt ein Modulieren eines Signals bei fünfzehn Hertz (15 Hz) sicher, dass maximale und minimale Signalstufen in den Kamerabildern erkannt werden.
19A ist ein Zeitgebungsdiagramm, das die Beziehung zwischen einem gepulsten Signal 500 und den Frame-Geschwindigkeiten von nicht-synchronisierten Kameras 501a, 501b veranschaulicht, wobei die Frame-Geschwindigkeit der Kamera vier (4) mal die Zyklusgeschwindigkeit des Signals ist. Der „Ein“-Zustand eines Signals 503a wird durch eine hohe Stufe in dem Zeitdiagramm 500 dargestellt. Im Gegensatz dazu wird der Signal-„Aus“-Zustand durch eine niedrige Stufe 503b dargestellt. Ein ganzer Signalzyklus 502 umfasst sowohl Zustände Ein 502a als auch Zustände Aus 503b In 19A sind die gestrichelten Linien 506 als Referenzzeiten während des Übergangs von niedrig auf hoch eines jeden Signalzyklus dargestellt.
Die Kamerazeitgebung 501a, 501b wird durch einen vertikalen Strich am Ende eines jeden Bildframe-Erfassungszeitraums dargestellt, der auch eintrifft, wenn eine neue Frame-Erfassung initiiert wird. In dem oberen Kamerazeitdiagramm 501a wird ein vollständiger Frame 504a während der Zeit erfasst, in der das Signal 500 „ein“ ist. Ein weiterer Frame 504b wird erfasst, wenn das Signal 500 aus ist. Wird die Kamerazeit verschoben 501b, bleibt wenigstens ein vollständiger Frame, der erfasst wird, wenn das Signal „Ein“ ist 505a und ein weiterer vollständiger Frame wenn das Signal „Aus“ ist 505b. „Full-On“ und „Full-Off“-Bilder sind verfügbar ungeachtet der Kamera-vs.-Signal-Synchronisierung.
Obgleich an den heutigen Telekommunikationsstandards gemessen langsam, kann der Status eines Gerätes (und der dazugehörigen Einzelperson) innerhalb eines solchen Signals codiert werden. Die Signaleigenschaften können dynamisch geändert werden, um diese Informationen zu reflektieren. Beispiele dieser Codierung umfassen Pulsbreitenmodulation (d. h. Steuern der Dauer der Ein-Phase vs. Aus-Phase), Phasenverschiebung oder Amplitudenmodulation analog zu asynchronen Datenübertragungsstandards, die während serieller Datenübertragung verwendet werden (z. B. RS-232-Protokolle) und Ähnliches Mit einer begrenzten Anzahl von Statusoptionen (normalerweise als Ziffernwert codiert), können Statusinformationen, beispielsweise innerhalb weniger als einer (1) Sekunde selbst bei langsamen Frame-Geschwindigkeiten gesendet und bestimmt werden.
Wenn ein Geräteträger so eingestellt ist, dass er externe Verbindungen zulässt, dann müssen Netzwerk-„Adressen“ oder andere Verbindungsinformationen ausgetauscht werden, um die Verbindungen zu aktivieren. Befindet sich nur ein Geräteträger in einem lokalen Bereich, dann könnte dies durch einen Geräte-„Entdeckungs-“Prozess durchgeführt werden, bei dem Adressen auf einfache Weise ohne Beschränkung (z. B. unter Verwendung von Bluetooth oder Wi-Fi) gesendet und ausgetauscht werden. Für einen sicheren Austausch von Adressen und Referenzen, insbesondere wenn die Möglichkeit von mehr als einem anderen Gerätenutzer in der Nähe besteht, ist ein Signalisierungsprozess, der zu eine bestimmten Gerät isoliert ist (d. h. betrachtet wird) erforderlich.
Wenn Kontakt oder eine „Verbindung“ ein Potential ist, dann kann eine Sichtkamera kurz auf einen kleinen Bereich von Interesse um die Signalquelle herum geschaltet und die Erfassungsgeschwindigkeiten auf einen Bereich von Hunderten oder sogar Tausenden Frames pro Sekunde erhöht werden. Mikrobursts von codierten Informationen in dem Signal können Netzwerkortinformationen wie beispielsweise eine URL-, eine IP-Adresse, eine MAC-Identifizierung oder einen anderen Zeiger umfassen, der in einer Nachschlagetabelle mit einer zentralen Datenbank verwendet werden kann. Codieren kann dieselben oder andere Verfahren als die während der Bestimmung des Status mit geringer Frame-Geschwindigkeit verwendeten anwenden. So können beispielsweise allgemein verwendete Serienprotokolle (z. B. RS-232) verwendet werden. Der wichtigste Unterschied ist der Anstieg der Geschwindigkeit des Informationsaustausches, der durch die höhere Framegeschwindigkeit ermöglicht wird, wodurch komplexere Informationen wie beispielsweise URL spezifiziert werden können.
19B ist ein Zeitdiagramm, das einen Mikroburst 508 veranschaulicht, bei dem Netzwerkstandortinformationen während eines Zyklus einer Signalpulsierung codiert werden. Solche Mikrobursts können periodisch während des normalen Zyklus eines Signals 507 immer dann, wenn der Gerätenutzer für eine Verbindung verfügbar ist, zerstreut werden.
Im analogen Sinne führt das Signal elektronisch die Identitätsfunktionen eines QR- oder eines Barcodes durch, jedoch dass diese 1 über weitere Entfernungen arbeiten und 2) von einem Headset-Träger gesteuert werden können. Der Austausch von Referenzen einer speziell betrachteten Einzelperson kann unauffällig, normalerweise in weniger als einer Sekunde durchgeführt werden, während Datenschutz wann immer dies gewünscht wird, aufrecht erhalten wird.
Alternative Ausführungsformen zu einer Kamera mit hoher Frame-Geschwindigkeit umfassen eine Vielzahl von Sendesignalen, die im Wesentlichen gleichzeitig eine oder mehrere Daten codieren und senden. Das Codieren von Daten kann Phasendifferenzen zwischen zwei oder mehreren solchen Signalen umfassen. Anstelle des Umschaltens auf hohe Frame-Geschwindigkeiten in einer oder mehreren Kameras, können eine oder mehrere Einzelpixel-Detektoren (z. B. Fotodioden) in einem Empfangsgerät verwendet werden. Solch ein Detektor kann anschließend bei hohen Geschwindigkeiten zum Decodieren von Mikrobursts verwendet werden, mit denen beispielsweise „Kontaktpfade“ codiert werden. Die Übertragung solcher Daten wäre funktional ähnlich der IR-Fernsteuerung von Geräten, die allgemeinhin zur Datenübertragung mit Fernsehern, Lautsprechersystemen und Ähnlichem verwendet werden. Solch ein Detektor müsste direktional sensitiv sein, um Störungen in überfüllten Situationen zu verhindern.
IDENTIFIZIERUNG UND ANWENDUNGEN VON GEMEINSAMEN SEHEN
Gespräche von Angesicht zu Angesicht zwischen Einzelpersonen sind allgegenwärtige Bestandteile unseres täglichen Lebens. Gegenseitiges Ansehen spielt bei dieser Art von Kommunikation hinsichtlich des Beginnens und Aufrechtherhaltens von Gesprächen ebenso wie beim Identifizieren und Registrieren „wer was gesagt hat“ eine entscheidende Rolle.
Bei beispielhaften Ausführungsformen kann Blickkontakt-Verfolgung kombiniert mit Szenekamerabildern (d. h. Blick des Gerätenutzers auf die Umgebung aufgelegt) verwendet werden, um eine Einzelperson zu identifizieren, die von einem Geräteträger angesehen wird. Schaut ein anderer Geräteträger zurück auf die Einzelperson (d. h. über dieselben Verfahren identifiziert), dann können diese zwei Einzelpersonen Referenzen austauschen und es kann jeglicher Informationsaustausch und Konversation so lange zwischen den Einzelpersonen stattfindend registriert werden, wie dieser Status des gegenseitigen Blickkontaktes aufrechterhalten wird. Der Austausch von Referenzen kann eine anfängliche Identifizierung über (ein) Gerätesignal(e), beispielsweise auf die vorstehend beschriebene Weise umfassen.
Auf der Grundlage der vorab festgelegten Nutzerpräferenzen kann das System optional zulassen, dass der Austausch von Blickkontakt zu verschiedenen Zeiten stattfindet. Wenn beispielsweise eine erste Einzelperson eine zweite Person über einen Zeitraum ansieht und sich dann für einen von dem Nutzer ausgewählten Zeitraum wegdreht, kann das System den Austausch von Referenzen zulassen, wenn die zweite Person zurückblickt, selbst wenn sich die erste Person weggedreht hat. Als weiteres Beispiel wünscht sich möglicherweise ein Paar aus Einzelpersonen, sich zu einem späteren Zeitpunkt wieder zu verbinden, so lange wie sich beide Einzelpersonen gegenseitig zu einer Zeit während einer Konferenz oder einem Meeting angesehen haben.
Wenn eine der Personen, die an dem Gespräch beteiligt sind, kein Gerät trägt, kann das Vorhandensein des gegenseitigen Blickkontaktes immer noch unter Verwendung der Szenekamera des Geräteträgers identifiziert werden. Auf der Grundlage des Szenekameravideos eines Geräteträgers kann Bilderkennung verwendet werden, um zu bestimmen, ob eine Einzelperson in der Umgebung zurück zu dem Geräteträger schaut. Die Identifizierung ob jemand in eine bestimmte Richtung schaut wird auf dem Gebiet der Technik als „Blickverharrung“ (gaze lock) bezeichnet. Auf den Geräteträger gerichtete Blickverharrung kann auf der Grundlage von Gesichtsausrichtung, Gesichtsausdruck und/oder Auge(n)richtung identifiziert werden. Bei einigen Ausführungsformen können zu algorithmischen Ansätzen Machine Learning (neurales Netzwerk) auf der Grundlage von Kamerabildern gehören. Die meisten Einzelpersonen können Blickverharrung (d. h. wenn sie beobachtet werden) auf natürliche Weise identifizieren, in dem Maße, dass es oftmals unvermeidlich ist zu bemerken, wenn sie jemand ansieht.
Die Identifizierung von Blickverharrung kann auch in der virtuellen Welt an einer virtuellen Figur angewendet werden. In Situationen wie beispielsweise Telekonferenzen, Simulationen und Gamespielen, können virtuelle Figuren dazu befähigt werden, auf spezielle Einzelpersonen beispielsweise um eine realistischere Konversation zu ermöglichen, zu schauen. Blickverharrung kann direkt (über eine Datenübertragungsverbindung) durch die virtuelle Figur oder auf der Grundlage von Szenenkamerabildern der virtuellen Figur erkannt werden.
Ob gegenseitiger Blickkontakt auf 1) Bildern von zwei separaten Geräteträgern, 2) Blickverfolgung durch einen einzelnen Geräteträger zusammen mit Blickverharrung in Szenekamerabildern, oder 3) Blickverharrung durch eine virtuelle Figur basiert; das Vorhandensein des gegenseitigen Blickkontaktes kann auf eine Vielzahl von Arten verwendet werden:

1. Haben sich die Einzelpersonen nie vorher getroffen, können (unter der Annahme dass Datenschutzüberlegungen, die an anderer Stelle hierin beschrieben sind, berücksichtigt wurden) Informationen hinsichtlich der anderen Person dem/den Geräteträger(n) angezeigt werden, um so Verbindungen zu ermöglichen.
2. Haben sich die Einzelpersonen vorher getroffen, dann können Informationen, die zum erneuten Verbinden erforderlich sind (z. B. Name, Zeit des vorherigen Kontaktes usw.) angezeigt werden, um eine erneute Verbindung zu ermöglichen.
3. Wenn eine Konversation oder andere Informationen während des gegenseitigen Blickkontaktes ausgetauscht werden, können jede beliebige Informationen (z. B. Audio, Bilder, Text), die über den Austausch gespeichert wurden, als während des gegenseitigen Blickkontaktes aufgetreten etikettiert werden. Dies kann bei dem Bereitstellen von Kontext während der Informationsabrufe helfen.
4. Bei Gesprächen oder Interaktionen mit mehreren Einzelpersonen können gegenseitige Blickkontakte aufgezeichnet und/oder zum Kennzeichnen von Informationen (z. B. Audio, Bilder, Text) durch die Interaktion hinweg verwendet werden. Diese Daten können beim Bewältigen des Problems „wer hat was gesagt“ innerhalb von Datenmengen ebenso wie beim Erkennen von Themen von Interesse von Einzelpersonen ebenso wie Themen von Interesse von Gruppen aus Einzelpersonen helfen.

MULTIMODALE STEUERUNGEN UNTER ANDEREM TRAGBARE GERÄTE
Obgleich Augensignale ein mächtiges Werkzeug bei der Human Machine Interface-Interaktion insbesondere während tragbarer und/oder mobiler Datenberechnungssituationen, kann ihre Verwendbarkeit im Wesentlichen noch erweitert werden, wenn sie mit einer oder mehreren Modalitäten der HMI-Interaktion verbunden sind. So fühlt es sich beispielsweise im Allgemeinen „komfortabel“ an, Augensignale mit Sprachbefehlen und/oder ergänzenden Verfahren wie beispielsweise Kopfnicken zu kombinieren, und absichtliche Augenbewegungen zu signalisieren und/oder zu betonen. Zu absichtlichen Augenbewegungen gehört möglicherweise eine Sakkade, eine Reihe von Sakkaden, eine Vergenzbewegung, eine vestibulo-okulare Bewegung oder ein sanftes Verfolgen.
Ein Problem, das während solch einer multimodalen Steuerung auftritt, ist herauszufinden, welche Form der Eingabe eine übergeordnete Steuerung zu jedem beliebigen Zeitpunkt gegeben wird. Es können dort Mehrdeutigkeiten auftreten, wo Aktivierungssequenzen, die aus unterschiedlichen Quellen stammen, zu ungefähr derselben Zeit empfangen werden (z. B. welche Sequenz sollte zuerst ausgeführt werden?) und/oder, wenn zwei oder mehr Sequenzen empfangen werden, die logisch nicht konsistent sind (z. B. eine Anforderung zum Anzeigen einer Vollbildschirmanzeige eines Bildes und einer Vollbildschirmanzeige einer E-Mail zur gleichen Zeit).
Prioritäten für solche Eingaben können von einer bestimmten Anwendung abhängen und/oder können sich von einem auf den anderen Moment ändern. Besteht beispielsweise ein Bedarf an einer Spezifikation, die Buchstaben, Zahlen, Wörter, Phrasen oder Sätze umfasst, ist es oftmals leichter und schneller, eine gewünschte Eingabe auszusprechen. Bei beispielhaften Ausführungsformen können Anwendungen besondere Aufmerksamkeit auf „hören“ zur Audioeingabe zu solchen Zeiten legen. Audioeingaben können weiter verfeinert werden, beispielsweise um die Stimmeneingabe als für den Geräteträger spezifisch zu identifizieren.
Viele Formen der HMI-Eingaben verwenden Änderungen oder Bewegungen, die Teil der Durchführung täglicher Aktivitäten sein können, die nicht zur Gerätesteuerung gehören. Verschiedene Eingaben haben verschiedene Empfänglichkeiten zur Auslegung, ob eine Änderung „absichtlich“ für die HMI-Interaktion ist (d. h. eine Komponente eines Signals ist) oder nicht zu einer solchen Steuerung gehört. Dies kann eine Rolle beim Bestimmen der Prioritäten verschiedener Eingaben spielen. An einem Ende dieses Spektrums dient das Bewegen einer Computermaus und das Klicken auf einer seiner Drucktasten grundsätzlich der Absicht, eine Maschinensteuerung anzuzeigen. Am anderen Ende des Spektrums sind Augenbewegungen ein wichtiger Bestandteil der täglichen Aktivitäten, wobei die Augensignalisierungssprache insbesondere dafür eingerichtet ist, absichtlich von erkundenden und anderen Formen von Augenbewegungen zu ermöglichen.

Tabelle 1 zeigt eine Anzahl von beispielhaften Eingabequellen zusammen mit einem anfänglichen oder inhärenten Vertrauen, dass eine Änderung im Status absichtlich (d. h. an eine HMI-Interaktion gerichtet) ist. Ungefähr die obere Hälfte der Tabelle beinhaltet Eingabemodalitäten mit Geräten, bei denen absichtlicher Interaktionskontakt (oder Beinahekontakt im Falle der Näheerfassung) getätigt wird. In der mittleren Spalte von Tabelle 1 zeigt eine erhöhte Anzahl von Sternchen ein erhöhtes Vertrauen an, dass eine anfangs erkannte Änderung im Zustand (ohne eine Nachfolgeanalyse) absichtlich ist. Tabelle 1 Eigenschaften von verschiedenen Eingabemodalitäten

Erkennung einer Zustandsänderung	anfängliches Vertrauen von absichtlichen Bewegungen	beispielhafte Priorität
Maus, Joystick, Pen oder Zeigegerät	**********
Tastatur	**********
Touchscreen, Touchball oder Touchpad	**********	1
Fingertippen oder andere Näheerfassung (Schütteln)	*********
schnelle Bewegung des tragbaren Gerätes (Schütteln)	**	2
Schalter und andere helfende Technologiesensoren	*********
Kopfnicken	********	3
Handgeste	*******
Bewegungen anderer Körperteile unter anderem Arme und Beine	*****
Sprachbefehl		5
Augensignal	**	4
Elektroenzephalogramm (EKG)	*

Das Drücken einer Maus- oder einer Tastaturtaste ist, nahezu ohne Ausnahme, mit einer zielstrebigen HMI-Absicht verbunden. Das Berühren eines Schalters, eines Bildschirms, Pads oder anderen näherungssensitiven Gerätes ist ebenfalls für gewöhnlich zielstrebig, obgleich versehentliche Berührungen, Tippen oder Wischen gelegentlich auftreten können. Viele Geräte haben Beschleunigungsmesser integriert, die Bewegung erfassen und dementsprechend reagieren können, wenn sie bewegt oder geschüttelt werden. Insbesondere tragbare Geräte stehen unter ständiger Bewegung. Demzufolge müssen die Eigenschaften der Bewegung (z. B. Amplitude, vorwiegend Frequenzen und/oder Dauer) berücksichtigt werden, um zu bestimmen, wenn Bewegungen zielstrebig sind.
Der untere Abschnitt von Tabelle 1 beinhaltet Eingabemodalitäten die im Allgemeinen eher indirekt erfasst werden. Kopfnicken, Handgesten und definierte Bewegungen, die von anderen Körperteilen durchgeführt werden, erfordern im Allgemeinen ein spezielles Muster und/oder eine Sequenz aus Bewegungen, die als HMI-Signal auszulegen sind. Anderenfalls kann die Bewegung anderen Bewegungen zugerechnet werden. Sofern man nicht blind oder stumm ist, sind Sprech- und Augenbewegungen allgegenwärtige Komponenten der täglichen Aktivitäten. Demzufolge ist der Grad der „Zielstrebigkeit“ solcher potentiellen Eingaben sorgfältig zu messen.
Das inhärente Vertrauen und der „Absichtlichkeitsbewertungspunkt“ können eine Rolle beim Bestimmen der Priorität einer jeweiligen Eingabe spielen. Ein „Absichtlichkeitsbewertungspunkt“ kann auf der Grundlage des Grades berechnet werden, mit dem eine bestimmte Bewegung, Geste oder ein Augensignal mit dem Muster einer Auswahl oder einer Aktivierungssequenz übereinstimmen. Muster, die die meiste Übereinstimmung aufweisen, sind mit größter Wahrscheinlichkeit absichtlich auf der Gerätenutzerseite. Das inhärente Vertrauen einer Modalität, ein „Absichtlichkeitsbewertungspunkt“ und der Kontext einer bestimmten Anwendung (z. B. ob eine oder mehrere Modalitäten erwartet werden oder für eine bestimmte Modalität der Eingabe nützlich sind) können alle zum Filtern und Priorisieren von Eingaben verwendet werden.
Die am weitesten rechts liegende Spalte in Tabelle 1 listet eine beispielhafte „Hierarchie“ oder Prioritätenliste für eine beispielhafte Anwendung auf. Nicht alle Eingabemodalitäten sind im Allgemeinen zu jeder Zeit verfügbar, und selbst wenn diese verfügbar sind, werden einige Modalitäten möglicherweise während einiger Anwendungen nicht verwendet. Wenn beispielsweise Augensignale während einer Interaktion mit einem Mobiltelefongerät verwendet werden, dann können Eingabemodalitäten, die zu dem Mobilgerät gehören, und Modalitäten, die von der Kopfbedeckung erfasst werden, die zum Verfolgen der Augenbewegung verwendet werden (unter anderem ein Mikrophon) zur Herleitung der Absicht verwendet werden. Für diese Form der Interaktion können beispielhafte Prioritäten von Eingabemodalitäten (wie in Tabelle 1 aufgelistet) sein:

1. Touch-Steuerung unter Verwendung des Bildschirms basiert auf willkürlichen Bewegungen und ist im Allgemeinen absichtlich. Demzufolge werden alle Touchbefehle sofort ausgeführt.
2. Das Schütteln des Mobilgerätes kann unabsichtlich oder absichtlich sein. Demzufolge kann der Bestimmung des Schüttelns des Gerätes eine hohe Strenge beigemessen werden, und, wenn Schwellenwerte (z. B. Amplituden, Frequenz, Dauer, Richtung) überschritten werden, wird die Erkennung als Form einer Eingabe verwendet.
3. Auf ähnliche Weise sind Kopfbewegungen im Allgemeinen allgegenwärtig. Wenn jedoch eine Kopfbewegung mit großer Amplitude vorab definierten Mustern (z. B. Schütteln des Kopfes „Ja“ oder „Nein“) übereinstimmt, dann kann auf solche Eingaben sofort reagiert werden.
4. Als Nächstes in der Priorität folgen Augensignale die entweder unabhängig von Modalitäten höherer Prioritäten ausgewählt und ausgeführt werden können oder völlig zerstreut werden, wobei beispielsweise eine Auswahl unter Verwendung von Augensignalen getätigt und eine Aktion oder eine Aktivierung unter Verwendung von Touch-Steuerung an dem Mobilgerät spezifiziert werden kann.
5. In diesem Beispiel ist die Modalität mit der niedrigsten Priorität eine Audio Eingabe. In diesem Fall wird die Spracherkennung nur dann verwendet, wenn sie durch Augensignale oder andere Interaktionen hoher Priorität aktiviert werden. Auf diese Weise kann das Aufzeichnen von Sprache oder das Transkribieren von Sprache in Text beispielsweise auf Zeiten beschränkt werden, wenn dies durch andere Modalitäten signalisiert wird (z. B. während Zeiten wenn Textnachrichten oder E-Mails erstellt werden).

In dem soeben beschriebenen Beispiel werden die Prioritäten verschiedener Modalitäten dynamisch gestaltet. Wenn beispielsweise ein wichtiges Wort oder eine Phrase erkannt wird, kann die Priorität der Sprachsteuerung erhöht werden, um die Augensignalisierung und/oder andere Modalitäten zu übertreffen. In diesem Fall werden Sprachbefehle so lange ausgeführt wie es einen Audio-Stream gibt. Augensignale können während Zeiträumen von Stille gestreut werden, wenn eine nützlichere Form von Dateneintrag erachtet wird und/oder wenn die Sprachsteuerung ausgeschaltet oder ihre Priorität über ein oder mehrere identifizierte wichtige Worte oder Phrasen verringert wird, oder durch eine andere Art von Anzeige.
Wird mehr als eine Eingabemodalität zur im Wesentlichen selben Zeit erfasst, kann die Aktion, die zu der Modalität gehört, die niedriger in der Hierarchie ist, verzögert oder gar nicht durchgeführt werden. Ob die Aktion niedrigerer Priorität irgendwann durchgeführt wird, kann auch von dem „Absichtlichkeitsbewertungspunkt“ oder dem gemessenen Vertrauen abhängen, dass die Eingabe von dem Gerätenutzer wie vorstehend beschrieben beabsichtigt war. Diese Quelle kann beispielsweise davon abhängen, wie nahe Augenbewegungssakkaden in Richtung eines Aktivierungsziels sind oder diesem folgen.
Eine weitere Überlegung bei der Verwendung einer multimodalen HMI besteht in dem Unterschied der Genauigkeit von Orten, die von Augensignalen spezifiziert werden versus andere Modalitäten. Obgleich Augenbewegungen extrem schnell sein können, gibt es eine grundsätzliche Grenze hinsichtlich der Winkelauflösung, dass ein Blickort anhand der Augenverfolgung auf der Grundlage der Größe des Pupilleneingangs und der Fovea ebenso wie anderen optischen Gesichtspunkten bestimmt werden kann. Dies steht im Gegensatz zu den gesteuerten Bewegungen von beispielsweise einer Computermaus bei der, obgleich es möglicherweise einige Zeit dauert, bis jemand seinen Arm, seine Hand und die Maus über große Strecken bewegt, feinmotorische Fähigkeiten in einer Hand (zusammen mit der geeigneten Skalierung der Maus versus Cursorbewegungen) zum genauen Spezifizieren von Orten auf der Anzeige oder in Ansichten von virtuellen oder Realweltszenen verwendet werden.
AUGENSIGNAL-VERGRÖSSERTE MULTIMODALE STEUERUNG („TRANSPORT“)
Durch Erkennen solcher Unterschiede in der Genauigkeit und der Steuerung macht sich die Augensignalisierungsnutzerschnittstelle die multimodalen Eingabe zum Vorteil, indem den Augen gestattet wird, zu tun, „was sie am besten tun“ und die Fähigkeiten anderer Modalitäten berücksichtigen. So wird beispielsweise Szenenerkundung unter Einbeziehung von Bewegungen der Augen über große Bereiche am besten von den Augen durchgeführt. Wenn dies anschließend von den Augenbewegungen so signalisiert wird, oder wenn die Bewegung von einem Gerät mit höherer Genauigkeit (z. B. Computermaus, Trackball, digitaler Pen) erkannt wird, dann kann die Eingabe von dem Gerät höherer Genauigkeit übernommen werden.
In der Tat kann die Bewegungsempfindlichkeit des/der multimodalen Geräte/s für hohe Genauigkeit (versus Bereich) eingestellt werden, da Bewegungen im großen Bereich und Suchen am besten durch die Augen durchgeführt werden. Die Bewegungsempfindlichkeit solcher Geräte kann dynamisch geändert werden, um die Genauigkeit nach dem „Transport“ der Aufmerksamkeit auf einen speziellen Bereich mit einem/den Auge(n) zu maximieren,
Die Vorteile des Einbeziehens von Augensignalen in andere multimodale Formen der Steuerung umfassen:

1. Geschwindigkeit, wobei die Augen große bogenförmige Strecken schneller als Finger, Hände, Arme oder andere Körperteile zurücklegen können;
2. Einfachheit, wobei die Betrachtung oder Fokussierung auf ein Objekt, das beim Herleiten der Absicht eines Geräteträgers ein natürlicher Bestandteil dieses Prozesses ist;
3. Bekämpfung von Müdigkeit, wobei die Bewegungen der Augen im Wesentlichen unermüdlich verglichen mit der Biomechanik sind, die mit der Bewegung von Fingergelenken, Handgelenken, Ellbogen oder anderen Körperteilen einhergeht; und
4. spezielle Funktionen wie beispielsweise, dass bei der Betrachtung Feedback ein essentieller Bestandteil beim Durchführen von Operationen (z. B. Fahrtsimulator, foveatische Hochauflösung-Wiedergabe usw.) und/oder Kombinieren 2-dimensionaler (oder 3-dimensionaler, falls Vergenz enthalten ist) Orte die mit multimodalen Eingaben von anderen Geräte von dem Auge betrachtet werden, ist.

Als ein spezifische Beispiel, das diese Vorteile verkörpert, sei die Betrachtung einer Anzeige während eines großen Bereiches typischer Anwendungen wie beispielsweise Lesen, Suchen, Richten der Informationsbewegung, Bearbeiten, Betrachten von Bildern oder Video, Zeichnen, Erstellen und so weiter betrachtet. Eine zielstrebige Bewegung des/der Auge(s)/n kann verwendet werden, um schnell einen Zeiger oder eine andere Anzeige (z. B. Cursor) zu einem Bereich von Interesse zu „transportieren“.
Zusätzlich zu einfacher Bedienung und Schnelligkeit besteht ein weiterer Vorteil dieses Prozess darin, dass der aktuelle Ort eines Zeigers oder Cursors nicht mehr „gefunden“ werden muss (d. h. visuell nach ihm gesucht werden muss). In aktuellen Anwendungen kann das visuelle „Aufsuchen“ eines Cursors zeitraubend und ablenkend sein, insbesondere, wenn er sich in einem großen Text- oder Bildkörper befindet. Wird eine Computermaus benutzt, ist es jedoch erforderlich den Cursor zu finden, um zu bestimmen, welche Richtungsbewegungen zum Ansteuern eines Zielortes unternommen werden sollten.
In beispielhaften Ausführungsformen kann ein Zeiger beim Initiieren einer Bewegung eines Zeigers in die allgemeine Richtung (d. h. innerhalb eines vorab festgelegten Richtungsbereiches) in Richtung des Zielortes transportiert werden, der von dem Geräteträger betrachtet wird. Diese Anfangsbewegung kann unter Verwendung eines Zeigegerätes wie beispielsweise einem Cursor, Joystick, Trackball, Digital Pen und Ähnlichem durchgeführt werden. Nach der Initiierung kann der Transport des Zeigers zu einem neuen Ort (d. h. dem durch den Blick des Nutzers angezeigten Zielort) schnell (z. B. durch schnelles Anzeigen von Video-Frames an Zwischenorten) oder sofort auftreten (z. B. ohne Zwischenschaltung von Video-Frames) auftreten. Alternativ oder zusätzlich dazu kann ein Zielort in der Augensignalsprache über eine absichtliche sakkadische Augenbewegung zu dem Zielort hin oder von ihm weg initiiert werden.
Dem Geräteträger kann Feedback, das einen neuen Fokusbereich (falls gewünscht) anzeigt, bereitgestellt werden. Dies kann in Form eines sichtbaren Cursors, Zeigers, durch Hervorheben eines/von auswählbaren Objektes/n in dem Bereich, Änderung des Hintergrunds, Hinzufügen von Rändern und Ähnlichem erfolgen. Optional dazu kann visuelles Feedback auch die Anzeige eines Objektes, wie es sich beim Annähern des Zielortes nach einem schnellen Transport verlangsamt, beinhalten.
Beim Transport zu einem Fokusbereich kann ein weiteres HMI-Gerät nahtlos (d. h. ohne jegliche spezifische Befehlssequenz) zum Steuern und Aktivieren von Auswahlen verwendet werden. Geräte wie beispielsweise Touchpads, Computermäuse, Joysticks und Ähnliches bieten eine höhere Genauigkeit (verglichen mit Augensignalen). Diese Genauigkeit kann zum Treffen einer Auswahl über räumliche Bereiche bis zur visuellen Sehschärfe des Geräteträgers verwendet werden. In der Tat kann die Empfindlichkeit solcher Geräte abgestimmt werden, um sich an die kleinen, präzisen Bewegungen anzupassen, da die Geräte nicht länger zum Abdecken großer Bereiche verwendet werden müssen. Dieses Abstimmen kann statisch oder dynamisch und adaptiv sein. So kann beispielsweise die Empfindlichkeit eines Zeigegerätes vorrübergehend am Ende eines mittels Augensignalen gesteuerten Transportes (wie beispielsweise eine Sakkade) reduziert werden (was eine größere physische Bewegung zum Bewegen eines Zeigers über eine kürzere Distanz erfordert), mit dem ein Zeiger in der Nähe des gewünschten Zieles gelagert werden kann.
Der „Transport“ umfasst möglicherweise einen breiten Bereich von Anzeigen unter anderem virtueller Realität, vergrößerter Realität, Tablets, Mobiltelefone, Smart-Geräte, projizierte Bilder, Anzeigemonitore, Schilder und Ähnliches. Der „Transport“ kann innerhalb einer einzelnen Anzeige oder über zwei oder mehrere Anzeigegeräte hinweg geschehen. Solche Anzeigen können durch ein oder mehrere Verarbeitungsgeräte gesteuert werden. Der die Augenverfolgung unterstützende „Transport“ eines Zeigers kann auch durch einen oder mehrere Augenverfolgungsmechanismen aktiviert werden, die positioniert sind, um eine oder mehrere Anzeigen an angrenzenden oder nicht angrenzenden anzeigeaktivierten Objekten zu unterstützen. Anzeigen können sogar „virtuell“ in Form von 3-D oder holographischen Projektionen von Objekten im Raum sein. Der Transport innerhalb eines Sichtfeldes ist nicht auf Geräte beschränkt, die in demselben Anzeigemodus arbeiten. So kann beispielsweise der Transport eines Zeigers oder einer anderen Anzeige nahtlos über den Bildschirm eines Smartphones zu einer holografischen Projektion oder einer Smartwatch, einem Fernseher, medizinischen Gerätebildschirm und/oder anderen Bildschirmen sein.
Die Fähigkeit Funktionen mit gleichzeitigem visuellen Feedback (d. h. Teil des vorstehenden vierten Punktes) durchzuführen, ist von besonderem Wert wenn die Augen in Kombination mit anderer Eingabe (z. B. Computermaus, Touchpad, Digital Pen usw.) verwendet werden um 3-dimensionale virtuelle Objekte in einem 3-dimensionalen Raum zu visualisieren und zu steuern. Die 2-dimensionale Steuerung, die in den meisten herkömmlichen Computereingabegeräten (z. B. Mäuse, Trackballs, usw.) vorgefunden wird stellt nur unzureichendes Maß an Spielraum zur Steuerung der Betrachtungsperspektive und anderer Steuerungsaspekte eines 3-dimensionalen Objektes im Raum bereit. Dies führt oftmals zum Trennen der verschiedenen Dimensionen von Steuerung in spezifische Steuerungen wie beispielsweise übergreifend-horizontal, übergreifend-vertikal, Zoom, horizontales Drehen, vertikales Drehen und axiales Drehen.
Es ist viel natürlicher (d. h. intuitiver und schneller), einen Ort auf der Oberfläche eines Objektes oder einer 3-dimensionalen Position im Raum (durch Einführen von Vergenz) unter Verwendung seiner Augen und anschließendem Bearbeiten einer Szene mit dem betrachteten Punkt eines einen Bezugsdrehpunkt zu betrachten. Wenn beispielsweise ein Drehpunkt betrachtet und ein Touchpad verwendet wird, kann ein betrachtetes Objekt horizontal gedreht werden (durch Wischen eines Fingers nach links oder rechts), vertikal gedreht werden (durch Wischen eines Fingers nach oben oder unten) oder axial gedreht werden (durch eine kreisförmige Bewegung von 2 Fingern). Absichtlichkeit und anschließende Aktivierungen können unmissverständlich durch willkürliche Aktionen wie beispielsweise Mausklicks, Screentouches usw. angezeigt werden. Da die Augen zentraler Bestandteil (im bildlichen und wörtlichen Sinne) des Steuerungsmechanismus sind, geschieht das Feedback in dem Bereich von Interesse zu den Augen unmittelbar.
Nicht nur können Objekte in einer 3-dimensionalen Welt auf natürlichere Weise betrachtet werden, Objekte können auch natürlicher, schneller und intuitiver „bearbeitet“ werden, wenn die Augen als eine Eingabe einbezogen werden. Müssen Komponenten hinzugefügt, subtrahiert oder Eigenschaften modifiziert werden (z. B. Farbe, Oberfläche, Textur, Material(en), das/die den Bereich ausmachen), ist es bequem, sich den Bereich einfach anzusehen und zur gleichen Zeit Änderungen unter Verwendung anderer Eingabemodalitäten vorzunehmen. Noch einmal können anschließend Änderungen in der Größe, Form oder den Eigenschaften des Bereiches sofort und ohne Wegzusehen (z. B. unter Verwendung anderer Visualisierungshinweise, Bildschirme oder Perspektiven) visualisiert werden.
Diese multimodalen Strategien können ergonomische und HMI-Beschränkungen, die oftmals als „Fitts' Gesetz“ bezeichnet werden. Dieser Grundsatz suggeriert, dass die Zeit, die zum Bewegen zu einem Zielbereich erforderlich ist, eine Funktion des Verhältnisses zwischen der Entfernung zum Ziel und der Größe des Ziels ist, wobei die Größe des Ziels durch die Genauigkeit des Zielauswahlprozesses vorgegeben ist. Augenbewegungen können schnell große Entfernungen abdecken. Multimodale Eingabe mit höherer räumlicher Auflösung lässt kleinere Ziele (und eine größerer Anzahl davon) zu. Auf diese Weise kann die Auswahlgeschwindigkeit (d. h. für gewöhnlich in der Informationstheorie mit Bits pro Sekunde beschrieben) durch multimodale Eingaben erhöht werden, die Augensignale beinhalten.
Ein Beispiel, das die Leistung der multimodalen Eingabe in der Augensignalsprache demonstriert, ist der Prozess des Zeichnens (d. h. Malens) eines Objektes oder einer Szene. In diesem Fall können Augenbewegungen zum Spezifizieren von Orten von Objekten, zu denen eine Aktion unternommen werden soll, verwendet werden. Solche Objekte können sich selbst bewegen oder nur kurz erscheinen. Es kann schnelles Sakkadieren zwischen Objekten verwendet werden, um ähnliche Aktionen auf einen Bereich/eine Reihe von Objekten anzuwenden. Es können Sprachbefehle zum Spezifizieren von Aktionen so wie „Kopieren“, „Einfügen“, „Löschen“ oder „Farbe einfüllen“ verwendet werden. Es können Kopfbewegungen verwendet werden um die Orte und/oder das Drehen von virtuellen Objekten „anzustubsen“. Es kann ein Touchscreen oder ein virtueller Bildschirm (z. B. wenn ein AR-(Augmented Reality) Gerät verwendet wird) mit einer angezeigten Farbpalette mit Fingergesten zum Auswählen von Farben verwendet werden.
Es können verschiedene Eingabemodi auf unterschiedliche Weise und zu unterschiedlichen Zeiten angewendet werden. Multimodale Eingabekombinationen ermöglichen das gleichmäßige vollständige Durchführen komplexer Funktionen wie beispielsweise Zeichnen unter Verwendung von tragbaren und/oder mobilen Geräten.
AUGENSIGNAL-MODULIERTE MULTIMODALE STEUERUNG
In den vorstehend beschriebenen Ausführungsformen werden Augensignale zusammen mit anderen Formen von Maschinensteuerung durch Umschalten zwischen zwei oder mehreren Eingabemechanismen auf der Grundlage von beispielsweise wahrgenommener Absichtlichkeit verwendet. In zusätzlichen Ausführungsformen kann multimodale Steuerung im großen Maße auf eine angenehme, sinnesbezogene und intuitive Weise erweitert werden, indem gestattet wird, dass Augensignale die Funktionen anderer Eingaben „modulieren“ oder verbessern. Auf diese Weise können die Stärken verschiedener Formen von multimodaler Steuerung gleichzeitigt ausgenutzt werden.
20A und 20B veranschaulichen die Schritte, die in einem besonders nützlichen Beispiel von augensignal-basierter Modulation einer multimodalen Bewegung eines Cursors, Zeigers oder eines anderen verfolgten Ortes 511a (im weiteren Verlauf im Sinne der Einfachheit als „Zeiger“ bezeichnet) enthalten sind. Der Zeiger (Cursor, verfolgter Ort, usw.) kann eine bewegliche symbolische Darstellung (Pfeil, Fadenkreuz, Icon, Kreis usw.) beinhalten, das zu Zeiten sichtbar ist, oder auf andere Art und Weise visuelles Feedback wie beispielsweise Hervorheben, Änderungen des Hintergrundes, das Auftreten von Umrandungen, Farbunterschiede, Änderungen der Objektgrößte und Ähnliches bereitstellen. In 20A schaut ein Nutzer auf einen Ort 512 auf einer Anzeige, der als ein ausgefüllter Kreis 510 dargestellt ist. Aufgrund der Unsicherheit von Blickmessungen kann der Blickort in einem Bereich 513 um das betrachtete Objekt herum bestimmt werden. Ein Cursor oder Zeiger 511a kann sich anderswo auf der Anzeige befinden.
Eine Maus, ein Trackball, Joystick oder ein anderes Steuergerät kann zum Steuern des Ortes von Cursor 511a verwendet werden Wenn jedoch während der modulierten multimodalen Steuerung der Zeiger im Allgemeinen in Richtung des Blickes 513 bewegt wird, wird beim Erreichen einer Schwellenwertentfernung innerhalb einer kontinuierlichen Bewegung der Cursor 51 la zum im Wesentlichen sofortigen Bewegen oder „Springen“ 515 auf den Bereich des Blickes 513 veranlasst. Diese schnelle Umsetzung 515 des Zeigers oder eines anderen verfolgten Ortes, die in 20B veranschaulicht ist, spart wesentlich Zeit und bekämpft Ermüdung und/oder andere Folgen wiederholter manueller Manipulationen einer Maus, eines Trackballs, Joysticks oder eines anderen Steuergerätes. In einigen Fällen wären mehrere Handbewegungen, unter anderem Anheben der Hand oder des Gerätes zum Durchqueren solcher langen Entfernungen erforderlich gewesen.
Modulierte, multimodale Steuerung eines Zeigers wird hierin als ein „Transport“ des Zeigers bezeichnet. Wie in 20B dargestellt ist, fällt der Zeiger 51 lb nach einem sofortigen Transport im Allgemeinen in den fovealen Betrachtung des Nutzers. Bei einer Ausführungsform kann der Zeiger erneut erscheinen und sich entlang eines allgemeinen Vektors von dem ursprünglichen Ort des Zeigers in Richtung des Betrachtungspunkt des Nutzers bewegen, wobei die Bewegung des Zeigegerätes die Bewegung des Zeigers bei erneutem Auftreten steuert. Wie dies vorher angemerkt wurde, kann die Empfindlichkeit des Zeigegerätes (für eine leichtere Steuerung) bei erneuten Auftreten des Zeigers solange reduziert werden, bis der Nutzer den Zeiger zum Eintreffen an dem gewünschten Ort leitet, und anschließend durch Klicken oder Aktivieren des Zeigegerätes agiert. Auf diese Weise sieht der Nutzer mit wenig oder gar keiner Augenbewegung den Zeiger, der anschließend mit hoher Genauigkeit unter Verwendung einer oder mehrerer Steuergeräte manipuliert werden kann. Das Nettoergebnis ist eine Präzisionssteuerung eines Zeigers, der sich bewegt und im Allgemeinen in Steuerungsrichtung betrachtet werden kann, der jedoch große Bereich innerhalb der Anzeige 510 mit anscheinend minimalem Aufwand überspringt
Dieses Schema nutzt gleichzeitig den Vorteil der Fähigkeit der Augen, sich schnell zu bewegen, während Befehlseingaben von anderen Steuerungsgeräten angenommen werden, die eine größere Genauigkeit besitzen. Transport kann dann auftreten, wenn Schwellenwertentfernungen durchquert worden sind, wobei die Richtung des Blickes der Augen in Bezug auf den Zeiger und/oder die Geschwindigkeit der Bewegung des Steuergerätes berücksichtigt werden. Alternativ dazu kann der Nutzer mit dem Steuergerät eine „Geste machen“, dass eine schnelle Bewegung in Richtung des Betrachtungsortes gewünscht wird. Zu Gesten können eine schnelle Bewegung (d. h. die eine Schwellenwertgeschwindigkeit übersteigt), Schütteln des Gerätes (z. B. vor und zurück), ein oder mehrere Bewegungsmuster (z. B. kreisförmige Bewegung in eine fixe Richtung usw.) und Ähnliches gehören. Alternativ dazu kann das Drücken eines Knopfes (oder eines anderen Schaltmechanismus, unter anderem Näherungserfassung, Klang- oder Spracherkennung, Kopfschütteln, Zwinkern usw.) angewendet werden, um anzuzeigen, dass eine schnelle Bewegung eines Zeigers in Richtung des Betrachtungsortes gewünscht ist.
Ein Benutzer der Vorrichtung kann einen Satz von Einstellungen erstellen, um festzulegen, welche Modi (d. h. Gesten, Bewegungen, Geräuschaktivierung usw.), Schwellen (z. B. Bereich der Richtung, zurückgelegte Entfernung usw.) und andere Variablen (z. B. spezifische geäußerte Wörter, Lidschlagdauer usw.) das Durchführen des Transportvorgangs veranlassen. Wenn sich zusätzlich der Zeiger in der Nähe der Blickrichtung des Auges befindet (d. h. innerhalb einer vorbestimmten Trennung zwischen den Positionen von Zeiger und Blick), ist der Transport im Allgemeinen nicht vorteilhaft und kann automatisch deaktiviert werden.
Alternativen zu einem oder mehreren momentanen Sprüngen in Zeigerposition beinhalten das Ändern der Empfindlichkeit oder der räumlichen „Verstärkung“ von Steuervorrichtungen. „Verstärkung“ bezieht sich auf die Beziehung zwischen der Bewegung oder Signalgebung auf der Steuervorrichtung im Gegensatz zu der (im Allgemeinen proportionalen) von einem Zeiger zurückgelegten Entfernung. Die „Verstärkung“ einer Steuervorrichtung kann beispielsweise proportional zur Trennung zwischen Cursorposition und Blickposition sein. Eine höhere Verstärkung (d. h. eine größere Geschwindigkeit der Cursorbewegung für eine gegebene Steuerbewegung oder eine andere Eingabe) gestattet, dass längere Entfernungen innerhalb einer Anzeige schneller durchschritten werden. Schnelle Bewegungen eines Zeigers können auch geformt oder profiliert sein. Die Zeigerbewegung kann an jedem Ende einer schnellen Bewegung Beschleunigungs- und Entschleunigungsphasen mit einer dazwischenliegenden hohen Geschwindigkeit aufweisen. Diese Modelle glätten Zeigerbewegungen, wodurch Möglichkeiten zur Ablenkung während des Transports reduziert werden.
Der Transport ist nicht auf eine einzelne Anzeige oder sogar Art der Anzeige beschränkt. Ein Zeiger kann beispielsweise von einer Position auf einem am Kopf getragenen Virtual-Reality-Headset auf die Anzeige eines Smartphones „transportiert“ werden. Ein plattformübergreifender Transport ist besonders wertvoll bei Anwendungen, die in die Kleidung integrierte Datenverarbeitung (wearable computing) verwenden. Ein Anzeigebereich kann beispielsweise auf einer Vorrichtung eingeschränkt, doch auf einer anderen verfügbar sein. Das Transportieren gestattet schnelle Übergänge zu einer anderen Vorrichtung oder sogar zwischen Vorrichtungen hin und her. Da der „Transport“ schnell über räumliche Bereiche springt, beeinträchtigt die Tatsache, dass eine physische Lücke vorliegen könnte, die eine Vorrichtung von der anderen trennt, den „Transport“-Vorgang nicht. In der Tat fühlt sich der Transport über derartige Lücken hinweg intuitiv an.
Ein plattformübergreifender Transport kann Anzeigen für erweiterte Realität (augmented reality - AR) oder virtuelle Realität (virtual reality - VR), Smartphones, Armbanduhren, Tablet-Oberflächen, Laptopanzeigen, Anzeigemonitore, Anordnungen von Anzeigemonitoren, Beschilderung und dergleichen beinhalten. Derartige Anzeigen können befestigt oder beweglich sein. Die Zeigersteuerung wird unter Verwendung von Prozessorplattformen innerhalb der Vorrichtungen und vorrichtungsübergreifenden Protokollen wie etwa Bluetooth, W-LAN und/oder anderen Formen mobiler Kommunikation durchgeführt. Eine Hochgeschwindigkeits-Telekommunikation ist unverzichtbar zum Ermöglichen eines nahtlosen (d. h. ohne wesentliche Verzögerungen) Transports zwischen den Vorrichtungen.
Zuordnungen, die einem oder mehreren Zeigern zugeordnet sind, können auch mit dem Zeiger zusammen transportiert werden. Wenn beispielsweise ein Zeiger einem Bild oder einem Abschnitt von Text zugeordnet oder an diese „angeheftet“ ist, kann die diesem Bild oder Text zugeordnete Information sowohl an die Anzeige und die Verarbeitungskapazität des bzw. der Zusatzgeräte(s) transportiert werden. Beispiele für Zuordnungen, die transportiert werden können, beinhalten Bilder, Video, Text, Zahlen, Dateien, Anwendungen, spezielle Funktionen (d. h. die von Anwendungen vorgenommen werden) und dergleichen. Diese Form des Transports ist für viele Funktionen innerhalb der Augensignalsprache grundlegend.
Die 21A und 21B stellen den Prozess der plattformübergreifenden Augensignalgebung dar, der den „Transport“ einer zugeordneten Funktion beinhaltet. 21A zeigt den Anzeigebereich 520 einer mobilen Vorrichtung wie etwa eines Smartphones oder eines Tablets. Der Anzeigebereich 520 beinhaltet Icons 523, die verschiedene ausführbare Funktionen darstellen, sowie eine Säule 524 von Aktivierungsicons, die als Teil der Augensignalsprache auswählbar sind. Die Anzeige 520 kann manipuliert werden unter Verwendung jeder Kombination von Berührung, Augensignalen, Sprachbefehlen und dergleichen, um gewünschte Aktionen durchzuführen.
Wenn der Benutzer beispielsweise wünscht, Textnachrichten auf einer Smartwatch 525 zu erfassen, kann dieser Prozess durch „Transportieren“ eines Icons, das Textnachrichten 521 darstellt, zu dem Bereich der Uhr 525 eingeleitet werden. Jede Einrichtung, die zu dem Transportvorgang führt, kann durch jede Kombination von Augensignalgebung, berührungsempfindlichem Bildschirm, Stimme oder anderen Eingabemodalitäten durchgeführt werden. Der Transport wird durch eine oder mehrere Augenbewegungen 522 (im Allgemeinen sakkadisch) vorgenommen, die eine räumliche Lücke zwischen Vorrichtungen überqueren können. Falls gewünscht, kann eine graphische Rückmeldung auf der empfangenden Vorrichtung (d. h. in diesem Fall der Uhr 525) ein Bild oder eine animierte Sequenz des Transportprozesses beinhalten. Dies könnte beispielsweise ein Icon sein, das in Richtung der Augenbewegung(en) zu der Mitte der Anzeige der Vorrichtung 525 hin wandert, ein Vorschaubild oder eine andere graphische Anzeige.
Wie in 21B dargestellt, können, sobald eine Funktion „transportiert“ ist, Augensignale und/oder jegliche andere Steuermechanismen einschließlich Berührung und Stimme verwendet werden, um weitere gewünschte Aktionen auszuführen. Vorhandene Anzeigen (d. h. eine leicht lesbare Uhr 526a im Fall von 21A) können beispielsweise minimiert werden 526b. Augensignale und/oder andere multimodale Eingaben können auch verwendet werden, um die transportierte Funktion zu manipulieren. Wie in 21B dargestellt, können beispielsweise Textnachrichten gelesen werden.
Durch plattformübergreifenden Transport können die Stärken jeder Vorrichtung genutzt werden. In dem in 21A und 21B dargestellten Fall kann das Tablet 520 ein viel größeres Auswahlfeld (d. h. aufgrund von Anzeigeplatz), um daraus auszuwählen, aufweisen. Die Smartwatch ist eine zweckdienlichere Lesevorrichtung für unterwegs. Im Falle von Multiplattformtransport über eine große Anordnung von Anzeigen (d. h. einem Raster von 5 x 5 Anzeigen, die als eine „Wand“ angeordnet sind) hinweg kann der Transportprozess sogar verwendet werden, um die Position eines Zeigers zu bestimmen.
Die 22a und 22B stellen ferner die Vorteile des „Transportierens“ eines Zeigers dar, um eine Teilmenge von Text innerhalb eines Dokuments unter Verwendung von multimodalen Techniken zu spezifizieren, und um nachfolgend die spezifizierte Teilmenge an eine andere Position innerhalb des Dokuments „auszuschneiden und einzufügen“. Wie obenstehend beschrieben, könnte der ausgewählte Text in einigen Anwendungen auf die Anzeige einer anderen Vorrichtung eingefügt werden. 22A zeigt eine Anzeige 530, die einen Textkörper 531 enthält. In diesem Fall möchte der Benutzer den ersten Satz des Texts 532a, der als Teil einer Liste von Pangramm-Sätzen eingefügt werden soll, weiter nach unten in das Dokument 531 bewegen.
Unter Verwendung jeder Kombination von Augensignalen und multimodalen (z. B. Maus, Trackpad) Eingaben wird ein Zeiger 533a zuerst an den Anfang des Satzes bewegt, wo der Anfang des ausgewählten Texts spezifiziert wird (z. B. durch einen Tastendruck unter Verwendung einer Maus). Indem man danach auf den Bereich nahe dem Ende des Satzes 535 schaut und den Prozess des Verwendens multimodaler (z. B. Maus, Trackpad) Steuerung verwendet, wird die Position des Zeigers zum Ende des Satzes „transportiert“ 534. Die Bewegung zur Blickrichtung (d. h. Ende des Satzes 535) hin kann momentan sein oder in einer hohen Geschwindigkeit.
Der Zeiger kann (gegebenenfalls) als sich verlangsamend gezeigt werden, wenn er sich der Blickposition nähert. Dies erzeugt das angenehme Gefühl, dass der Zeiger reibungslos auf Eingabesteuerungen reagiert, während er dynamisch seine Reaktionsmerkmale ändert. Der Nettoeffekt ist die Fähigkeit, genau das Ende des Satzes (d. h. das Ende des auszuschneidenden und einzufügenden Bereichs) mit einer hohen Genauigkeit zu spezifizieren, während schnell große Abschnitte des bzw. der Bildschirm(e) durchschritten werden, wodurch beträchtlich Zeit und Aufwand gespart werden.
Sobald das Ende des ausgewählten Texts 535 spezifiziert ist, kann der Benutzer dann zu dem Bereich sakkadieren 536, in den der Text zu verschieben ist, wie in 22B gezeigt. Wiederum kann der „einzufügende“ Teil des Vorgangs von einem „Transport“-Prozess profitieren. Durch eine Sakkade mit multimodaler Eingabe kann der Zeiger schnell zu dem Blickbereich transportiert zu werden, wo er anschließend unter Verwendung von multimodaler Steuerung(en) genauer geführt werden kann, um die Position 533b zu spezifizieren, an der der Satz 532b einzufügen ist. Ein Tastendruck auf der Maus oder den Trackball oder ein anderer Benutzerhinweis (z. B. Stimmbefehl) beendet den Vorgang.
Innerhalb beispielhafter Ausführungsformen kann die Erfassung von Augensignalen zum Implementieren eines Transportmechanismus über Detektoren vorgenommen werden, die an oder in der Nähe von entfernten oder in die Kleidung integrierten (wearable) Objekten oder Vorrichtungen (einschließlich kopfmontierter Vorrichtungen) positioniert sind, oder sie können unter Verwendung einer oder mehrerer Umgebungskameras, in denen die Augen eines oder mehrerer Benutzer sichtbar sein können, implementiert werden.
AUGENSIGNALRÜCKMELDUNG WÄHREND DER MULTIMODALEN STEUERUNG
Die multimodale Steuerung erfordert spezielle Umstände beim Bereitstellen von visuellen Auswahlen und/oder von Rückmeldungen an einen Benutzer der Vorrichtung. Das Bereitstellen aller multimodalen Auswahlen zu allen Zeiten erzeugt einen verwirrenden Eindruck der Benutzerschnittstelle.
Ein beispielhaftes Verfahren zum Überwinden einer solchen Verwirrung beinhaltet die foveale Hervorhebung. In dieser Ausführungsform können dem Benutzer, wenn der Blick zu einem Bereich hin gerichtet ist, auswählbare Elemente innerhalb dieses Bereichs (d. h. im Allgemeinen innerhalb der fovealen Sicht) angezeigt werden. Die Hinweise können in Form von Farb- oder Intensitätshervorhebung, Vordergrundfarbvariationen, verschiedenem Hintergrund einschließlich eines Lichtkranzes, Umreißen eines Bereichs, Modifikation von Schriftart(en), variierender Objektgröße oder einer anderen Form der Signalgebung auftreten. Ein dynamischer Hinweis zu auswählbaren Elementen innerhalb einer fovealen Sicht verhindert die Situation, dass der Anzeigebildschirm mit einer großen Anzahl von Auswahlelementen überladen ist. Sie stellt dem Benutzer auch bezüglich des angesehenen Bereichs eine Rückmeldung bereit und (einem unerfahrenen Benutzer), welche Elemente auswählbar sind.
Es ist auch wichtig, die Entfernung von Auswahlhinweisen sorgfältig zu steuern und in eine Reihenfolge zu bringen. Für abschließende Auswahlen (d. h. eine, in der keine weitere Auswahl notwendig ist, um eine Aktion durchzuführen), kann das Hervorheben (oder andere Hinweise) nicht ausgewählter Elemente sofort entfernt werden, um mit der ausgewählten Aktion fortzufahren.
Unter Verwendung multimodaler Steuerungen kann die anfängliche Bewegung einer grundsätzlich zielgerichteten Eingabe (siehe Tabelle 1) wie etwa einer Maus oder eines Trackballs als ein Signal dafür verwendet werden, dass keine Augensignale für eine spezielle Auswahl zu verwenden sind, wodurch gestattet wird, dass Augensignal-Menüs zurückgezogen werden. Algorithmisch beinhaltet ein Verfahren zum komfortablen Implementieren der Einfügung und Rücknahme von Augensignal-Anzeigekomponenten das Verwenden einer Bild „schicht“ bei solchen Komponenten, in denen die Transparenz einer solchen Schicht steuerbar ist. Bei Bedarf kann die anzeigegroße Schicht (oder Bereich(e) innerhalb der Schicht) weniger transparent (d. h. blickdichter) gemacht werden, um Augensignalelemente freizulegen. Gegebenenfalls kann das Freilegen von Augensignalelementen stufenweise als ein „Einblenden“ durchgeführt werden, um die Tendenz, Aufmerksamkeit auf sich zu lenken, zu reduzieren. Wenn kein Bedarf besteht, können ein oder mehrere Bereiche der Augensignalschicht entfernt werden, indem ein oder mehrere Bereiche innerhalb der Schicht transparenter gemacht werden.
AUGENSIGNALBASIERTES LESEN VON MUSIKNOTEN
Eine spezifische Anwendung der Augensignalsprache beinhaltet das Lesen, Spielen und/oder Betrachten von Musiknoten. In der physischen Welt oder bei berührungsempfindlichen Bildschirme muss der Musiker am Ende einer Seite von Musiknoten einen kurzen Moment aufhören zu spielen, um die Seite umzuschlagen, entweder mit einem physischen Seitenumschlagen oder einem Wischen auf dem Bildschirm. Dies kann unerwünschte Pausen während des Spielens erzeugen und die Kontinuität und das Fließen der Musik unterbrechen.
Eine Ausführungsform integriert die Augensignalgebungs- und Trackinginformation, um eine Position zu bestimmen, an der ein Musiker in den Musiknoten gerade ist, und ein smartes Scrollen durch die Musiknoten ermöglicht, um solche Unterbrechungen zu verhindern. Bei Musiknoten von voller Länge, die viele Zeilen auf einer einzelnen Seite beinhalten, wird ein Seitenumblättern ausgeführt, sobald der Musiker das Ende einer Seite erreicht, was gegebenenfalls einen stufenweisen Übergang auf der Grundlage der Augengeschwindigkeit beinhaltet, um zu gewährleisten, dass der Musiker die Seite vollständig beenden kann und zur nächsten Seite übergehen kann.
23 zeigt ein Beispiel für eine Partitur 571 innerhalb einer Anzeige 570. Wenn der Blick (nicht notwendigerweise die Spielposition) des Musikers den Bereich der letzten Note auf der Seite 572 erreicht, findet ein Umblättern der Seite statt. Auf der Grundlage der Benutzereinstellungen kann die Seitenumblätterfunktionalität in einem „kontinuierlichen“ Zeilenscrollmodus, einem traditionelleren Seitenumblättermodus oder im Scrollen oder Umschlagen eines Teils oder der gesamten Seite oder Anzeige bestehen.
Vorteile dieses letztgenannten Verfahrens beinhalten die Tatsache, dass bestehende Musiknoten einfach gescannt und leicht in ein System portiert werden können, das Blicknachverfolgung (Eye-Tracking) beinhaltet. Heutigen Musikern ist dieses Format auch bekannt. Bei Verwendung dieser Herangehensweise ist es wichtig, die Zeitgebung des Bildlaufs zu steuern, um sicherzustellen, dass während des Spiels keine Information verlorengeht.
Eine Datenbank, welche die Partitur enthält, kann bevorzugte Pausenpositionen (d. h. Positionen innerhalb einer Partitur, an denen Anzeigeänderungen bevorzugt sind) enthalten, wo Modifikationen in der Anzeige auftreten können. Alternativ oder zusätzlich dazu können eine oder mehrere Pausenpositionen innerhalb einer vorbestimmten Entfernung vom Ende (oder jeder anderen Bezugsposition) der angezeigten Partitur zugeordnet werden.
In einem alternativen Scrollverfahren ist die Partitur in Zeilen formatiert, die zu einem einzigem horizontalen „Streifen“ verkettet sind. 24 zeigt ein Beispiel für einen Teil eines Partiturstreifens 580, in welchem dem Musiker ein Segment oder ein „Fenster“ 581 angezeigt wird. Wenn sich die Blickposition 582 des Benutzers dem Ende des angezeigten Bereichs der Partitur nähert, wird die Partitur innerhalb des Sichtfensters nach vorn verschoben (d. h. von links nach rechts) 583. Ein Musiker kann dann kontinuierlich auf einer einzigen Zeile über den Bildschirm mit einer durch den Blick des Benutzers bestimmten Scrollgeschwindigkeit durch das gesamte Stück scrollen, potenziell mit zusätzlicher Rückmeldung aufgrund des Tempos des Stücks, von Augensignalen und/oder von über die Ohren aufgenommener Rückmeldung. Trotz der Mühe, die erforderlich sein kann, Scans bestehender Partituren umzuformatieren, kann dieses Verfahren von einigen bevorzugt werden, insbesondere in Situationen, in denen kleine Anzeigen (einschließlich Anzeigen virtueller, vermischter oder erweiterter Realität) erwünscht sind. Für einige Benutzer kann ein in einem kontinuierlichen Tempo ablaufendes Scrollen einer einzelnen Zeile angenehmer und/oder intuitiver sein.
Intelligentes Seitenscrollen kann auch vom Augenverhalten abhängen, das oft das Niveau des Könnens eines Musikers widerspiegelt. Das Auge eines Musikers überblickt in der Regel einige Takte im Voraus zu den Noten, die er gerade spielt. Dies variiert abhängig vom Können des Musikers, wobei ein unerfahrener Musiker nur auf die Noten schaut, die unmittelbar zu spielen sind, wohingegen ein erfahrener Musiker mehrere Takte im Voraus zu dem, was gerade gespielt wird, in einer Art von Vorbereitung liest. Dies steht auch in Beziehung zu dem Niveau des Könnens eines Musikers, was als „Blatt-Spiel“ bekannt ist, die Fähigkeit, ein Stück ohne Üben genau zu spielen, wenn man es zum ersten Mal liest. Ein erfahrener Musiker ist in der Lage, viele Takte im Voraus zu lesen, wodurch genug Zeit zum Verarbeiten gegeben wird, was geschehen wird und die Lippen, Arme, Finger, die Brust und/oder andere Körperteile im richtigen Rhythmus zu bewegen, um die Musik genau zu spielen.
In beispielhaften Ausführungsformen kann eine augensignalbasierte Steuerung der Anzeige einer Partitur verwendet werden, um einen Musiker einzustufen und/oder darin auszubilden, zunehmend komplizierte Musik aufgrund der Audio- und Blickposition vom Blatt zu spielen. Wie in den 25A und 25B dargestellt, vergleichen Einstufung und Rückmeldung die Unterschiede zwischen der bzw. den gespielten Note(n) und den von dem Musiker gelesenen Noten.
25A zeigt eine Partitur 590, in der Unterschiede zwischen der Spielposition 591a und der Blickposition 592a (im Voraus zu der Spielposition) gemessen werden. Die Spielposition kann auf dem Erfassen von Noten, die auf dem Instrument selbst gespielt werden oder auf Audioerkennung der von dem Instrument erzeugten Töne, die unter Verwendung eines Mikrofons erfasst werden, basieren. 25B zeigt dieselbe Partitur wie in 25A nach Übung und/oder Rückmeldung, wobei die Trennung zwischen der Spielposition 591b und der Blickposition 592b erweitert ist
Während einer Vorstellung kann die allgemeine Augensignalsprache auch verwendet werden, um eine Vielfalt von Funktionen zu steuern, einschließlich der Auswahl von Partituren (z. B. aus einem Archiv verschiedener Partituren), des Einrichtens von Benutzereinstellungen, schweigend mit anderen Musikern oder einem Dirigenten zu kommunizieren, auf Anforderungen von anderen zu reagieren oder Anzeigen (d. h. in Echtzeit) von Abschnitten von gespielter Musik, die noch einmal aufgenommen werden sollten. Im Fall von elektronisch gesteuerten Instrumenten können Augensignale dafür verwendet werden, um ein oder mehrere Instrumente teilweise (z. B. eingerichtete Parameter) oder vollständig zu steuern. Diese Aktionen können unauffällig durchgeführt werden unter Verwendung der allgemeinen Struktur und von Auswahlsequenzen der Augensignalsprache.
AUGENSIGNALSPRACHEN-ZWISCHENABLAGE
Eine allgegenwärtige Funktion oder Aufgabe, die bei vielen Betriebssystemen von Computervorrichtungen verwendet wird, ist die Übertragung von Informationsblöcken von einer Position oder Anwendung zu einer anderen Position oder Anwendung. Die Formen der Information können Folgendes beinhalten: Zeichen, Wörter oder Wortgruppen, Zahlen oder Zahlengruppen, Bilder, Zeichnungen, Audiodateien, Video, Icons, die Funktionen oder Anwendungen darstellen, Ordner oder andere Darstellungen von Informationsclustern oder dergleichen. Ein beispielhaftes Verfahren, das der Augensignalsprache ermöglicht, solche Information zu leiten und zu übertragen, ist die Verwendung einer „Zwischenablage“. Eine „Zwischenablage“ erfüllt vielfältige Funktionen während Augensignalgebungsprozessen. Eine Zwischenablage:

1. gestattet, dass Daten zur Übertragung oder zur Speicherung zusammengeführt werden,
2. gestattet, dass Teilmengen von Daten isoliert werden,
3. konvertiert bei Bedarf Daten von einer Form in eine andere (z. B. Sprache in Text)
4. arbeitet als archivische Verwahrungsstelle zur Speicherung und Entnahme abgelegter Datensätze und
5. dient als zentrale Stelle, um Übertragungsprozesse anzuzeigen und zu aktivieren.

Informationsquellen können Daten beinhalten, die von Anwendungen wie etwa Textverarbeitung, Tabellenkalkulation, Bild- und Videobetrachtungsprogrammen, Textempfangsprogrammen, Mailempfangsprogrammen, Internetbrowsern und dergleichen erzeugt wurden. Die Quellen können auch die Ausgaben von Vorrichtungen wie etwa Kameras, Mikrofonen, GPS, Uhren, Beschleunigungsmessern, Sensoren und dergleichen beinhalten. Ziele der Information können Textverarbeitung, Tabellenkalkulationselemente, Bild- und Videoeditoren, Textsender, Mailserver, Auswahlen und/oder Reaktionen innerhalb von Webseiten und dergleichen beinhalten.
26 ist eine beispielhafte Anzeigegestaltung 600 eines Steuerbereichs einer Augensignal-Zwischenablage. Dieser Bereich beinhaltet:

1. einen Bereich, in dem Information in die Zwischenablage unter Verwendung von Augensignalen abgelegt werden kann 601,
2. einen Bereich, aus dem Information aus der Zwischenablage unter Verwendung von Augensignalen entnommen werden kann 602,
3. einen Bereich zum „Hochscrollen“, um zuvor gespeicherte Einträge innerhalb der Zwischenablage zu isolieren 603, und
4. einen Bereich zum Herunterscrollen (d. h. nach vorn zu aktuelleren Einträgen), um zuvor gespeicherte Einträge innerhalb der Zwischenablage zu isolieren 604.

Der Vorgang des Speicherns von Information in die Zwischenablage beinhaltet Ansehen eines Objekts und nachfolgendes Sakkadieren von dem Bereich des Objekts 605 hin zum „Ablegen des Objekts“-Bereich der Anzeige 601. Wie obenstehend beschrieben, kann die abgelegte Information viele verschiedene Formen beinhalten. Zusätzlich können Objekte aus virtuellen Anzeigen extrahiert werden 600 oder aus der realen Welt, in der Objekterkennung verwendet werden kann, um die Identität des Objekts zu registrieren und/oder ein Bild des Objekts gespeichert werden kann.
Ein Vorschaubild des neu gespeicherten Objekts wird sowohl im „Eingangs“-Bereich 601 der Zwischenablage sowie im „Ausgangs“-Bereich 602 gespeichert. Das Speichern von Gegenständen im „Eingangs“-Bereich 601 wird einfach vorgenommen, um den Benutzer der Vorrichtung an Information zu erinnern, die vor Kurzem gespeichert worden ist, da Inhalte nicht unmittelbar aus dem „Eingangs“-Bereich extrahierbar sind. Die Entnahme von Information wird unter Verwendung des „Ausgangs“-Bereichs 602 vorgenommen.
Das Verfahren des Entnehmens von Information aus der Zwischenablage beinhaltet die folgenden Schritte:

1. Ein Benutzer kann gegebenenfalls nach oben scrollen 603 und/oder nach unten 604, um eine archivierte Darstellung (z. B. ein Vorschaubild) von gespeicherter Information zu isolieren. Das Scrollen beinhaltet das Ausführen sakkadischer Bewegungen aus dem „Ausgangs“-Bereich 602 zu entweder dem „Scroll nach oben“-Bereich 603 oder dem „Scroll nach unten“-Bereich 604 und dann Rückkehren zum „Ausgangs“-Bereich 602. Falls der Benutzer entweder auf dem „nach oben“- 603 oder dem „nach unten“- 604 Bereich verharrt, kann wiederholtes Scrollen auftreten, da sich der benachbarte „Ausgangs“-Bereich innerhalb der fovealen Ansicht befindet und vom Benutzer gesehen werden kann.
2. Der Einfachheit halber kann ein Element, das aus der Zwischenablage isoliert wurde und nicht länger benötigt wird, aus der Zwischenablage gelöscht werden. Dies kann beispielsweise durch eine sakkadische Augenbewegung von dem „nach oben“-Scrollbereich 603 zum „nach unten“-Scrollbereich 604 oder umgekehrt durchgeführt werden, indem der „Ausgangs“-Bereich 602 umgangen wird. Sobald es gelöscht ist, kann das im „Ausgangs“-Bereich angezeigte Element das nächste Element „nach oben“ oder „nach unten“ in der Zwischenablage-Liste sein, abhängig davon, aus welchem Bereich 603, 604 der Löschvorgang eingeleitet wurde.
3. Sobald ein gewünschtes Entnahmeelement aus der Zwischenablage isoliert worden ist, kann ein Benutzer danach den Anzeigebereich untersuchen, in den der Gegenstand einzufügen ist. Dies kann beispielsweise eine Position innerhalb einer Textverarbeitung oder einer Textnachricht, eine Zelle innerhalb einer Tabellenkalkulation, eine Position innerhalb einer Webseite und dergleichen sein. Das Sakkadieren von der gewünschten Einsetzposition 606 hin zum „Ausgangs“-Bereich 602 vervollständigt die Entnahme.

Alternativ und zusätzlich zum obenstehend beschriebenen „Scrolling“-Verfahren kann die Zwischenablage zum Isolieren von Elementen aus der Zwischenablage zur Übertragung „durchsucht“ werden. Dies ist besonders wirksam beim Verwenden von Spracheingabe; jedoch können Text oder ein Bild, das auf einer Anzeige isoliert worden ist, oder ein Bild/Audio, das von einer Vorrichtung erfasst wurde, als Quellen für Suchvergleiche verwendet werden. Falls nötig, kann eine Konvertierung durchgeführt werden, um das Suchen innerhalb der Zwischenablage zu ermöglichen. Es kann beispielsweise Sprache-zu-Text (oder eine andere Darstellung) durchgeführt werden (d. h. außer wenn Audioaufzeichnungen innerhalb der Zwischenablage unmittelbar verglichen werden), um multimodale Suchen zu ermöglichen. Ähnlich kann eine Objektidentifzierung und/oder eine Stimmerkennung verwendet werden, um Elemente innerhalb der Zwischenablage zu identifizieren, um das Suchen zu erleichtern. Am besten übereinstimmende Elemente innerhalb der Zwischenablage können in den „Ausgangs“-Bereich 602 gelegt und zur Übertragung vorbereitet werden.
Das Verharren mit dem bzw. den Auge(n) auf dem „Hochscroll“-Bereich 603 kann verwendet werden, um die Vorrichtung beispielsweise auf eine Spracheingabe zum Suchen aufmerksam zu machen. Das Verharren auf dem „Hochscroll“-Bereich 603 kann auch verwendet werden, um das Durchsuchen der Teilmenge von Zwischenablage-Information zu bedeuten, die älter ist (d. h. früher in der Zwischenablage abgelegt wurde) als die sich aktuell im „Ausgangs“-Bereich 602 befindliche Information. Im Gegensatz dazu kann das Verharren auf dem „Herunterscroll“-Bereich 604 die Vorrichtung auf eine Stimmeingabe aufmerksam machen und das Durchsuchen innerhalb der Teilmenge gespeicherter Elemente bedeuten, die nach dem aktuell im „Ausgangs“-Bereich 602 angezeigten Element abgelegt wurden. Das Verharren auf dem „Ausgangs“-Bereich 602 kann verwendet werden, um das Suchen im gesamten Inhalt der Zwischenablage zu bedeuten. Dies ist einer der wenigen Momente innerhalb der Augensignalsprache, in dem ein „Verharrungs“ vorgang des Auges des Benutzers angemessen ist, um das bzw. die Ergebnis(se) einer Suche innerhalb der Zwischenablage wahrnehmen zu können.
In 26 sind die im Zwischenablagespeicher 601 und in den Entnahme- 602 Bereichen dargestellten Elemente beispielhafte Platzhalter während Situationen, in denen die Zwischenablage leer ist. Sobald sich Inhalt in entweder der „Eingangs“-601 oder der „Ausgangs“-Zwischenablage befindet, werden Vorschaubilder des Inhalts der Zwischenablage in den entsprechenden Bereichen gezeigt.
AUGENSIGNALSTEUERUNG VON DROHNEN UND ANDEREN FERNGESTEUERTEN FAHRZEUGEN
Die Augensignalsprache ist besonders zweckmäßig in Situationen, in denen Positionen und/oder Richtungen schnell und/oder wiederholt zu spezifizieren sind, und/oder wenn es wünschenswert ist, Steuerungen, die unter Verwendung anderer Körperteile gebildet werden, wie etwa handgesteuerte Joysticks oder Computermäuse, zu reduzieren oder zu beseitigen. Das Fliegenlassen einer Drohne (d. h. eines unbemannten Luftfahrzeugs) oder eines anderen ferngesteuerten Fahrzeugs (z. B. eines Boots, eines U-Boots) mit einer oder mehreren Bordkameras und/oder Telemetrie ist ein Beispiel dafür.
Eine Hauptfunktion beim Fliegenlassen eines solchen Fahrzeugs ist es zu spezifizieren, „wohin zu fliegen ist“ (oder „wohin zu gehen ist“ im Fall von bodengängigen, See- oder Unterwasserfahrzeugen). In den meisten Fällen wird dies in einer kontinuierlichen oder periodischen Weise durchgeführt, um Hindernisse zu überwinden, Bereiche mit „Flugverbot“ zu vermeiden, Wind, Strömungen und andere Umweltbedingungen zu berücksichtigen, und andere Faktoren.
Eine besonders intuitive und zweckmäßige Art, eine 3-dimensionale Flugrichtung anzugeben besteht darin, auf eine Zielposition/ eine Zielrichtung aus der Perspektive der Drohne oder des Fahrzeugs zu „schauen“. Echtzeit-Telemetrie und Ansichten einer oder mehrerer auf die Drohne oder das Fahrzeug montierten Kameras können auf AR-, VR-, vermischte Realitäts-Headset, Tablet-, Smartphone-, Smartwatch-, Laptop- oder Desktop-Computer-Monitoren angesehen werden. Verschiedene Auswahlen für Augensignalsteuerung können auf oder um Live-Videobilder herum überlagert werden. Die Fahrzeugsteuerung wird unter Verwendung der Augensignalsprache ausgeführt, die von anderen (z. B. manuell, Stimme) Steuerungen unterstützt wird.
Wie bei anderen Komponenten der Augensignalsprache ist es wichtig, sondierende Augenbewegungen, die allgegenwärtig verwendet werden, um die Umgebung zu untersuchen, von „zielgerichteten“ Augenbewegungen zu unterscheiden, die eine Absicht zur Steuerung der Drohne oder des Fahrzeugs vermitteln. Indem zielgerichtete sakkadische Augenbewegung(en) von (einem) Ziel(en) zu einer Aktivierungsposition oder einer Reihe von Positionen innerhalb einer Anzeige gemacht werden, kann die Zielrichtung (und -entfernung unter Verwendung von anderer Instrumentierung wie etwa GPS) angegeben werden. Solche Bestimmungsziele können stationär oder beweglich (und somit durch das Fahrzeug getrackt) sein. Ein oder mehrere Ziele können zu verschiedenen Zeitpunkten verborgen sein.
Um eine teilweise oder vollständige handfreie Steuerung zu erzielen, können Augensignale auch verwendet werden, um andere Aspekte der Fahrzeugbewegung zu steuern. Dies kann beispielsweise die Vorwärtsgeschwindigkeit, die Drosselung, die Größe und Orientierung von Steuerflächen, Propelleranstellwinkel und so weiter sein. Die Augensignalsprache kann auch verwendet werden, um andere Aufgaben einzuleiten, wie etwa „Zurück zur Basis“, Ladung abwerfen, stationärer Schwebeflug, Warn- oder Informationssignale ausgeben usw. Augensignale können auch verwendet werden, um Zustandsanzeigen über Menüs abzufragen, um Flugpläne zu spezifizieren oder zu modifizieren, Zwischenziele anzusehen und zu markieren und dergleichen.
BLICKNACHVERFOLGUNG (GAZE TRACKING) UND AUGENSIGNALGEBUNG WÄHREND DES FÜHRENS EINES FAHRZEUGS
In weiteren beispielhaften Ausführungsformen ist der Blicksteuerung und Elementen der Augensignalsprache besondere Beachtung zu schenken, wenn sie beim Führen eines Fahrzeugs eingesetzt werden. Fahrzeuge können Personenkraftfahrzeuge, Lastkraftfahrzeuge, schwere Maschinerie, Boote, Schneemobile, Geländefahrzeuge und dergleichen beinhalten. Besondere Beachtung entsteht, da die Augen eines Fahrers zusätzlich zur Augensignalgebung verwendet werden müssen, um die Fahrumgebung mit nur kurzen Unterbrechungen zu überwachen, um potenziell lebensgefährliche Situationen zu verhindern.
Organisationen, die sich mit Fahrersicherheit beschäftigen, empfehlen, dass unter angemessenen Bedingungen jede Zeit, in der man von dem vor einem liegenden Fahrzeugweg wegschaut, 1,6 bis 2,0 Sekunden nicht überschreiten darf (mit einigen Unterschieden in den Empfehlungen je nach der Organisation). In der Tat berichten die meisten Fahrer, dass es ihnen ein unangenehmes Gefühl bereitet, wenn sie für ca. zwei (2) Sekunden weggeschaut haben. Als Richtwert beträgt die durchschnittliche Zeit, in der man ein traditionelles (z. B. nicht einem Heads-up-Display zugeordnetes) Radio einstellt, 1,6 Sekunden. Es werden jedoch große Unterschiede bei diesen Zeiträumen berichtet.
Während des Fahrvorgangs kann eine Einbeziehung dessen, wohin der Fahrer schaut, eine Anzahl von Vorteilen sowohl für den Fahrkomfort als auch die Sicherheit erzeugen: 1) Anzeigen und andere Formen der Fahrerinformation sind modifizierbar aufgrund dessen, ob, und wie lange, der Fahrer auf den Fahrtweg vor sich geschaut hat. Anzeigevorrichtungen können sich dynamisch an Fahrtbedingungen (z. B. Autobahn im Gegensatz zum Parkplatz) und das Verhalten des Fahrers anpassen, um zu verhindern, dass sie zu unangemessenen Zeiten Aufmerksamkeit erfordern und/oder um die mentale Belastung zu reduzieren. 2) Der Zeitpunkt der Augensignalsteuerungen und Rückmeldung durch Anzeigen kann so konzipiert werden, dass der Fahrer ermuntert wird, nach einer vorbestimmten Zeit zurück auf den vor ihm liegenden Weg zu schauen. 3) Falls vom Fahrzeug eine Notfallsituation erfasst wird (z. B. könnte dies ein automatisches Bremsen auslösen) und der Fahrer nicht in die Richtung der Situation schaut, können Schritte eingeleitet werden, um die Blickrichtung des Fahrers zu leiten.
Die Schnelligkeit von Auswahl und Aktivierung innerhalb der Augensignalsprache kann genutzt werden, um sicheres Fahren zu fördern unter Verwendung von virtuellen Anzeigen (z. B. Konsolenanzeigen, Brillen für erweiterte Realität (augmented reality - AR-Brillen), Heads-up-Displays und dergleichen), insbesondere jene mit größeren Formaten. Wie vorstehend beschrieben, sind die von den Augen erzeugten Sakkaden die schnellsten Bewegungen im menschlichen Körper. Eine Sakkade zu einer Position auf einer Konsolenanzeige (häufig erinnerungsgeführt), gefolgt von einer oder mehreren Sakkaden, um eine Auswahl und/oder eine Aktivierung durchzuführen, kann im Allgemeinen in einer kürzeren Zeit durchgeführt werden als beispielsweise eine Handbewegung, um eine Geste oder eine Aktivierung einer Position auf einem berührungsempfindlichen Bildschirm oder Knopf durchzuführen, um dieselbe Funktion durchzuführen. Unter Verwendung von Augensignalgebung kann es sogar möglich sein, alle Fahrsteuerungen auszuführen, ohne jemals eine Hand vom Lenkrad zu nehmen.
Innerhalb des speziellen Falls des Fahrens kann eine kontextsensitive und gestraffte Menüauswahl eingesetzt werden, um Zeiten, die mit dem Wegschauen vom Fahrtprozess verbunden sind, weiter zu reduzieren. Als ein Beispiel für Ersteres können virtuelle „Tasten“ zum Steuern einer Radiofunktion nicht unmittelbar während der Anzeige einer zur Navigation verwendeten Karte zur Verfügung stehen. Als ein Beispiel für Letzteres kann sowohl die Funktionsauswahl als auch die Aktivierung unter Verwendung einer einzelnen Sakkade hin zu einer Aktivierungsposition wie etwa zu einer der vier (4) Ecken einer Anzeige, vorgenommen werden.
Im Gegensatz dazu können in einer nicht das Fahren betreffenden Anwendung Interaktionen mit einem Bild oder einer Landkarte Auswahlen aus einer großen Anzahl von Vorgängen wie etwa Vergrößern, Verkleinern, Schwenken, Objekt wählen, Objekt identifizieren, Ausschneiden, Einfügen und dergleichen beinhalten. Innerhalb der Augensignalsprache würde eine Auswahl aus einer solch großen Anzahl von Vorgängen im Allgemeinen mindestens zwei (2) sakkadische Augenbewegungen (z. B. einen sogenannten „Freilegungs“-Vorgang), d. h. eine, um ein Menü zu erzeugen, und eine, um eine Aktion von diesem Menü zu wählen, erfordern.
In einer Fahrtanwendung jedoch können beim Betrachten einer Landkarte die Auswahlen begrenzt sein, beispielsweise auf sakkadische Augenbewegungen hin zu einer der vier (4) Ecken des Bildschirms. Aktionen, die den vier Ecken zugeordnet sind, können Folgende sein:

1. Vergrößern (zentriert auf die gerade auf der Landkarte betrachtete Position)
2. Verkleinern,
3. Schwenken (in die gerade auf der Landkarte betrachtete Richtung), und
4. Verlassen der Landkartenanzeige (z. B. Rückkehren zu einem übergeordneten Menü).

Eine Schnellauswahl und eine Aktivierung eines kontextsensitiven, begrenzten Satzes von potenziellen Funktionen reduziert die Zeiten von Blicken weg vom Fahrprozess sowie die mentale Belastung durch nicht unmittelbar mit dem Fahren verbundene Prozesse. Auswahlen können auch auf eine Weise begrenzt sein, die einen Fahrer dazu zwingt, auf den vor ihm liegenden Weg zu sehen, bevor er weiter fährt, was einer Strategie von kurzen Blicken weg vom Fahrtweg förderlich ist. Wenn auf den vor sich liegenden Weg gesehen wird, können Strategien zum Ändern von Anzeigen auf Weisen, die ein Anziehen von Aufmerksamkeit verhindern (z. B. während Zeiträumen von sakkadischer und/oder Lidschlagblindheit, einer sich stufenweise ändernden Helligkeit und/oder Farbe [was die Veränderungsblindheit ausnutzt] usw.) wie obenstehend beschrieben, die Fahrersicherheit weiter erhöhen. Die Kenntnis der Blickrichtung eines Fahrers kann auch dazu verwendet werden, die Zeitgebung und den Inhalt von dem Fahrer vorgelegten Information zu ändern, um ein sicheres Fahrverhalten weiter zu fördern.
Während des Fahrprozesses kann der Fahrer kurz vom Fahrprozess hin zu einem auswählbaren Objekt wegschauen. Das auswählbare Objekt kann ein virtuelles Objekt sein wie etwa eine auf einer Landkarte angezeigter Position, die auf eine Konsole oder ein Heads-up-Display im Fahrzeuginneren projiziert wird, oder ein physikalisches Objekt wie etwa ein Knopf, der die Beleuchtung steuert. In einer alternativen Ausführungsform zur Aktivierung unter Verwendung von Augensignalgebung auf einer Anzeige kann der Blick des Fahrers dann seine Aufmerksamkeit wieder auf den Prozess des Fahrens lenken, sobald das auswählbare Objekt als vom Fahrer gesehen identifiziert wird. Zu der Zeit kann der Fahrer eine mit der gerade gesehenen Blickposition verbundene Funktion aktivieren. Die Aktivierung kann auf vielfältige Weisen durchgeführt werden, einschließlich einem Stimmbefehl (d. h. bestimmt über Stimmerkennung eines oder mehrerer Schlüsselwörter), Schalter (z. B. am Lenkrad angeordnet), Kopfnicken oder einer ähnlichen Anzeige. Verschiedene Fahrer können verschiedene Aktivierungsmodi bevorzugen. Verschiedene Aktivierungsmodi können auch zu verschiedenen Zeiten verwendet werden.
Verschiedene Modi der Aktivierung (sakkadische Augenbewegung hin zu einer oder mehreren Aktivierungspositionen, manueller Tastendruck, Stimme usw.) können zum Aktivieren verschiedener Steuerungen verwendet werden. Beispiele für Fahrersteuerungen beinhalten das Aufhellen oder Abdunkeln von Beleuchtung (durch Blicken auf einen Lichtschalter), das Anheben oder Absenken der Fenster (durch Blicken auf Fensteraktivierungssteuerungen), die Auswahl eines Radiosenders (durch Blicken auf das Radio), das Vorspielen eines Lieds oder eines Podcasts auf einer Playlist (durch Blicken auf den Audioplayer), Erhöhen oder Verringern der Audiolautstärke (durch kurzes Blicken auf den Lautstärkeregelungsknopf) und andere Audiomerkmale, Anpassen der Richtungen und der Menge des Luftstroms (durch Blicken auf geeignete Knöpfe und/oder Anzeiger), Regeln der regionalen Temperatur (durch Blicken auf Anzeiger), Anpassen der Spiegelposition (durch Blicken auf Spiegelpositionsregler), Ändern der Sitzregler (durch Blicken auf geeignete Tasten), Anpassen der Scheibenwischergeschwindigkeit (durch Blicken auf die Scheibenwischerregler) und dergleichen. In den meisten Fällen können sowohl Augensignalgebungs- und manuelle (traditionelle) Steuerungen dem Fahrer verfügbar gemacht werden.
Das Ermuntern eines Fahrers, seine Aufmerksamkeit wieder auf den vor ihm liegenden Weg zu richten, fördert sicheres Fahren durch das Reduzieren von Zeiten, die nicht mit dem Fahren verbundenen Funktionen zugeordnet sind. Eine Aktivierung kann über eine Zeit auftreten, die innerhalb der Kurzzeit- oder verwendbaren visuellen Erinnerung des Fahrers liegt, was weiter die mentale Belastung für Prozesse reduziert, die nicht unmittelbar mit dem Führen des Fahrzeugs verbunden sind. Komplexe Vorgänge, wie das Finden und Anzeigen einer Zielposition auf einer Landkarte, können als eine Reihe kurzer Blicke weg von dem Prozess des Fahrens ausgeführt werden, in der die Aktivierungen stattfindet, wenn die Aufmerksamkeit wieder auf den Prozess des Fahrens nach jedem Blick zurück gerichtet wird. Eine solche Reihe kurzer Blicke wird für die Fahrsicherheit als optimal erachtet. Zusätzlich, wenn eine Anzeige als Ergebnis einer Aktivierung (z. B. einer auf einer Landkarte durchgeführten Schwenk- oder Vergrößerungs-Funktion) verändert wird, können Änderungen der Anzeige durchgeführt werden, während der Fahrer nicht unmittelbar auf die Anzeige schaut, was ferner die visuellen Verarbeitungsvorgänge beim Betrachten einer sich dynamisch verändernden Anzeige reduziert.
Es können dem Fahrer verschiedene Strategien zur Verfügung gestellt werden, wenn unterschiedliche Anzeige- und interaktive Vorrichtungen verfügbar sind. Wenn beispielsweise sowohl eine AR-Anzeige als auch eine Konsolenanzeige verfügbar sind, dann kann eine begrenzte Menge an Information für kurze Zeiträume auf der AR-Vorrichtung angezeigt werden. Wenn jedoch komplexere Vorgänge wie etwa Navigation durchgeführt werden, kann es sicherer sein, die Konsolenanzeige mit der Unterstützung von Augensignalgebung zu verwenden. Die Kommunikation kann direkt zwischen der AR-Vorrichtung und dem die Konsole steuernden Prozessor stattfinden. Alternativ oder zusätzlich dazu kann eine Umgebungskamera auf der AR-Vorrichtung verwendet werden, wobei Ansichtsoptionen auf der Konsole angezeigt werden und dabei helfen, die Benutzerauswahlen über Augeninteraktion zu führen.
Die Fähigkeit, über die gesamte Frontalsicht des Fahrers auf Steuerungen zu blicken, fördert auch ein konsistentes und sicheres Fahrverhalten. Bei minimaler Fahrerfahrung werden die Blicke durch erinnerungsgelenkte Kopf- und Augenbewegungen hin zu bekannten Positionen (mit großen Winkeltoleranzen) innerhalb eines Fahrzeugs geführt. Im Gegensatz dazu, falls große Mengen an Information auf einen kleinen Raum projiziert würden wie etwa ein kleines Heads-up-Display, wird es schwieriger, eine bestimmte Steuerung innerhalb eines solch begrenzten Raums zu orten und zu identifizieren. Die Situation wird verschlechtert, falls die Anzeige verschiedene Sätze von Information zu verschiedenen Zeiten projiziert. Ein Fahrer kann warten oder andere Nachschlage-Vorgänge durchführen müssen, um in der Lage zu sein, mit einem gewünschten Anzeigemenü zu interagieren.
ZUORDNEN VON IDENTIFIZIERTEN DOKUMENTEN ZU BENUTZERN VON VORRICHTUNGEN
Verfahren zum Identifizieren eines Benutzers einer Vorrichtung aufgrund von Regenbogenhautidentifizierung und anderen Maßnahmen sind in „Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification“ (Systeme und Verfahren zum Erkennen von Augensignalen und kontinuierliche biometrische Identifizierung), laufende Nummer der Anmeldung 14/708.241, eingereicht am 9. Mai 2015, beschrieben, deren gesamte Offenbarung hier ausdrücklich durch Bezugnahme aufgenommen wird. Viele sichere Anwendungen erfordern eine Zuordnung zwischen einem Dokument, einem Formular, einer Vereinbarung oder einem anderen Datensatz und einem identifizierten Benutzer einer Vorrichtung. Diese Anwendungen umspannen eine Vielzahl von Gebieten, einschließlich Recht, Finanzen, Lizenzierung, Sicherheit, Einwilligung nach Aufklärung, Medizin und dergleichen.
In beispielhaften Ausführungsformen können reale (d. h. physische) oder virtuelle (d. h. auf einer Anzeige angesehene) Dokumente von einem Benutzer einer Vorrichtung angesehen werden, wobei die Identität des Dokuments unter Verwendung von einer oder mehrerer Umgebungskameras verifiziert werden kann, welche die Umgebung des Benutzers der Vorrichtung beobachten. Die Dokumentenidentifizierung kann auf dem Inhalt, eingebettete(m/n) QR-Code(s), eingebettete(m/n) Strichcode(s), Erkennung einer Unterschrift oder der Ortung und Identifizierung anderer Sicherheitsmerkmale basieren. Die Erkennung einer Unterschrift kann durchgeführt werden unter Verwendung von Bilderkennungstechniken und/oder maschinellen Lernverfahren einschließlich Klassifizierung durch sogenannte Deep-Learning-neuronale Netze.
Sobald ein Dokument identifiziert worden ist, kann es elektronisch markiert werden als von einem Benutzer einer Vorrichtung angesehen, identifiziert auf der Grundlage von Regenbogenhauterkennung (z. B. einem Regenbogenhaut-Code) und/oder anderen Maßnahmen. Gegebenenfalls können an (einer) elektronischen Darstellung(en) (eines) solche(r/n) Dokument(s/e) unter Verwendung der Augensignalsprache oder durch andere Methoden, wie etwa der Verwendung einer Tastatur oder Stimmerkennung, Modifizierungen vorgenommen werden. Modifizierungen können das Einsetzen einer „Unterschrift“ aufgrund der bestätigten Identität des Benutzers der Vorrichtung beinhalten. Diese Unterschrift kann in einer Form (z. B. eines überlagerten Bildes) vorliegen, die in der Regel einem handgeschriebenen Dokument oder einer „elektronischen Unterschrift“) (d. h. numerischem Code) zugeordnet ist, welche einzig einer Person zugeordnet ist. Alternativ oder zusätzlich dazu kann ein Strichcode oder ein QR-Code an das Dokument angehängt werden, um anzuzeigen, dass es von dem identifizierten Benutzer angesehen wurde.
Schließlich kann eine Unterschrift Metadaten beinhalten, die eine Teilmenge oder einen vollständigen Satz von Blickdaten des Benutzers beschreiben, welche eins oder mehr aus Augensignalgebung, Blickdauer mit Zeitstempel, Blicksequenzkartierung, Pupillenerweiterung und andere biometrische Signalen, die beim visuellen Lesen oder Scannen des Dokuments durch den Benutzer auftreten, beinhalten können. Eine solche Information kann wertvoll sein für Einwilligung nach Aufklärung und kann ebenfalls ein Verfahren darstellen, nicht nur zur Validierung der Durchsicht von Information, sondern auch zum Bereitstellen eines Hinweises auf das Verstehen und/oder sogar des Einverständnisses mit der Vertragssprache.
Derartige „unterzeichnete“ und/oder modifizierte Dokumente können dann auf eine Weise ausgetauscht werden, die einem physischen Austausch eines Dokuments gleichwertig ist. Die Zeit, das Datum und der Ort (z. B. bestimmt durch ein globales Positionierungssystem) der Unterzeichnung kann auch innerhalb des bzw. der Dokument(e) eingebettet sein.
VIRTUELLE ANZEIGE-„WAND“
Virtuelle Realität, erweiterte Realität, vermischte Realität und andere kopfmontierte Anzeigesysteme (head-mounted display systems) stellen einen Mechanismus zum Ansehen von virtuellen Anzeige-„Wänden“ oder erweiterten Desktops bereit. Diese Wände oder wirksamen Flächen beinhalten große virtuelle Anzeigeflächen, wobei ein Bereich der „Wand“ so projiziert ist, um jederzeit durch einen Benutzer einer Vorrichtung angesehen zu werden. Jedoch werden alle Bereiche der virtuellen Anzeige, die einen Benutzer der Vorrichtung vollständig umgeben kann, zum Ansehen und zur Interaktion programmatisch aufrecht erhalten. Virtuelle Wände oder Flächen können von jeder Größe, wahrgenommenen Entfernung(en) von dem Benutzer der Vorrichtung, Form oder Krümmung sein. Die Anwendungen beinhalten erweiterte Arbeitsplatzumgebungen, interaktive Anzeigen und Unterhaltung.
Virtuelle Anzeigewände sind ideal geeignet für Blickinteraktionen und die Augensignalsprache, wobei Benutzer aus verschiedenen Interaktionsmodi aufgrund von Benutzereinstellungen und/oder speziellen Anwendungen auswählen können. Der Bereich, dem in das Sichtfeld des Benutzers der Vorrichtung projiziert wird, kann aufgrund von Kopfbewegungen, der Blickrichtung des Benutzers der Vorrichtung und/oder Augensignalbefehlen gesteuert werden.
27 stellt Interaktionen eines Benutzers der Vorrichtung 611 mit einer typischen virtuellen Wand oder Anzeige 610 dar. Innerhalb des Sichtfelds (dargestellt durch gestrichelte Linien) 612 eines Benutzers der Vorrichtung 611 ist ein Bereich 613 der gesamten virtuellen Wand 610 auf eine Anzeigevorrichtung (z. B. Augmented-Reality- oder Virtual-Reality-Headset) zum Betrachten projiziert. Dieser projizierte Bereich 613 kann von jeder Größe und Position innerhalb des virtuellen Anzeigebereichs 610 sein, wobei in einigen Fällen die Größe eingerichtet sein kann, abhängig von einer bestimmten Anwendung automatisch zu variieren.
Im Stand der Technik (z. B. von Oculus VR, USA hergestellte Vorrichtungen), wird die Steuerung des sichtbaren Bereichs 613 eines insgesamt virtuellen Raums 610 in der Regel aufgrund von Kopfbewegungen durchgeführt. Eine Kopfbewegung veranlasst beispielsweise das angezeigte Bild, in die Richtung der Bewegung über einen Bogenabstand zu scrollen, der dazu führt, dass stationäre Objekte in der virtuellen Umgebung stationär erscheinen. Jedoch kann in beispielhaften Ausführungsformen eine verbesserte Steuerung des sichtbaren Bereichs erreicht werden, indem auch Blickdynamiken berücksichtigt werden. Wenn beispielsweise vestibulookuläre Augenbewegungen detektiert werden, wobei das Auge weiterhin auf eine Position sieht, während sich der Kopf bewegt, kann der sichtbare Bereich stationär bleiben. Dies verhindert eine übermäßige Anzeigebewegung für einen Benutzer einer Vorrichtung zu Zeiten, in denen ein Objekt von Interesse vorliegt.
Andererseits ändert der Benutzer der Vorrichtung in beispielhaften Ausführungsformen, in denen eine Kopfbewegung vorliegt, die mit einer nicht vestibulookulären Augenbewegung verbunden ist, im Allgemeinen das bzw. die ins Visier genommenen Objekt(e) gezielt. In diesem Fall wird eine Umgebungsbewegung vorweggenommen. Eine sehr angenehme und „natürliche“ Methode, eine Umgebung zu bewegen, besteht darin, die Anzeigeänderung während des Zeitraums der sakkadischen Unterdrückung vorzunehmen (obenstehend beschrieben). Auf diese Weise wird die Umgebung zu Zeiten geändert, in denen der Benutzer der Vorrichtung funktionell blind ist, wodurch die mit Umgebungsbewegungen verbundene Ablenkung reduziert wird. Eine Umgebungsbewegung, die in Zeiträumen von sakkadischer Unterdrückung vorgenommen wird, kann als ein „biologisch inspiriertes“ Verfahren eingeordnet werden, da der wichtigste physiologische Zweck der Lidschlagunterdrückung darin besteht, ständig wahrgenommene Bewegungen zu reduzieren.
In der Augensignalsprache gibt es eine Wahlmöglichkeit, wie augenwählbare Bereiche einer Anzeige positioniert und freigelegt werden können. Im ersten Beispiel, bezeichnet als „Bildschirmsperre“, sind auswählbare Bereiche an festen Positionen innerhalb der virtuellen Anzeigefläche 610 angeordnet. Der Einfachheit halber kann ein bestimmter auswählbarer Bereich an verschiedenen Positionen wiederholt werden. Dies ist in 27 dargestellt, wobei drei (3) identische Aktivierungsziele 616a, 616b, 616c entlang dem oberen Abschnitt der virtuellen Anzeigefläche 610 wiederholt werden. In einigen Fällen kann eine auswählbare Fläche nur für einen Bereich der virtuellen Anzeige gelten. In diesem Fall kann der auswählbare Bereich, basierend auf dem Inhalt, nur an einem Position als „gesperrter Bildschirm“-Icon oder ein anderes Symbol innerhalb dieses Bereiches verfügbar gemacht werden.
In einer alternativen Ausführungsform innerhalb der Augensignalsprache können augenwählbare Bereiche (z. B. Aktivierungsziele) an festen Positionen innerhalb des Sichtfelds des Benutzers der Vorrichtung positioniert werden. In diesem Modell, bezeichnet als „fixierter Kopf (Head Lock)“, werden Icons oder andere Symbole, die das Auge eines Benutzers zu einem auswählbaren Bereich führen, auf der virtuellen Anzeige überlagert und bewegen sich, wenn der sichtbare Bereich 613 innerhalb der virtuellen Anzeigefläche 610 bewegt wird (d. h. durch eine Bewegung des Kopfes des Benutzers.)
Wie obenstehend beschrieben, kann das kopfgesteuerte Positionieren von Objekten gegebenenfalls nur durch jene Kopfbewegungen gesteuert werden, die als nicht vestibulookulär bestimmt werden. Mit anderen Worten ist es möglich, seinen Kopf während der Augensignalgebung zu bewegen, ohne die Positionen von projizierten/angezeigten Objekten zu bewegen, indem man auf ein bestimmtes Objekt schaut und seinen Kopf bewegt (d. h. Erzeugen einer vestibulookulären Augenbewegung).
In zusätzlichen Ausführungsformen ist es möglich, sowohl die „Bildschirmsperre“- als auch die „Head Lock“ -Modelle gleichzeitig für eine Augeninteraktion zu verwenden. Auswählbare Bereiche, die dem Inhalt einer virtuellen Anzeige 610 verbindbar sind (z. B. mit dem Bearbeiten von Text verbundene Auswahlen), können beispielsweise in einem „Bildschirmsperre“-Modus in der Nähe des Textinhalts positioniert werden. Gleichzeitig können auswählbare Bereiche, die beispielsweise allgemeineren Navigations- und Steuerfunktionen zugeordnet sind (z. B. zum Starten neuer Anwendungen) in einem „Head Lock“-Modus ständig verfügbar gemacht werden. Dies macht allgemeinere Navigationsfunktionen leichter auffindbar (d. h. es fördert erinnerungsgeleitete Sakkaden).
Eine Anzeige von Icons oder anderen Symbolen, die sowohl mit dem „Bildschirmsperre“- oder dem „Head Lock“-Modus verbunden sind, kann durch Steuern der Transparenz von Icons und/oder Symbolen umgesetzt werden. Blasse Icons können gestatten, dass der Inhalt der Anzeige geprüft wird ohne übermäßig überladen zu sein. Die Blickdichte kann erhöht werden (d. h. die Transparenz verringert) wie durch den Kontext erfordert, beispielsweise mit zunehmender Zeit von einer vorherigen Aktivierung und/oder dem Erfahrungsniveau eines Benutzers der Vorrichtung.
ERWEITERTE TASTATUREINGABEN
Wenn eine Tastatur in Verbindung mit am Kopf getragener Vorrichtung (Headwear) (z. B. virtueller Realität, erweiterter Realität oder Heads-up-displays) verwendet wird, können die Headset-Vorrichtung und/oder jegliche Anbaugeräte die Fähigkeit, eine Tastatur zu sehen, physisch beschränken oder verhindern. Beispielsweise wird durch Vorrichtungen für virtuelle Realität jegliche Sicht auf die reale Welt vollständig blockiert. Dies stört im Allgemeinen die Verwendung einer Tastatur, da viele Benutzer von Tastaturen auf ihre Hände sehen müssen, beispielsweise beim Schreiben oder Drücken von Tasten, die anderen Funktionen zugeordnet sind. Sogar jene, die so-genannte „Blindschreiber“ sind, schauen im Allgemeinen vor dem Prozess des Anschlagens der Tasten gelegentlich hin, um zu gewährleisten, dass die Hände korrekt (d. h. relativ zu den Tasten) positioniert sind.
In einer beispielhaften Ausführungsform stellen ein tragbares Headset und eine (tragbare oder Fern-) Anzeige ein Verfahren zum Überwinden einer jeglichen behinderten Sicht auf eine Tastatur und die Hände bereit durch Betrachten des Bereichs der Tastatur unter Verwendung einer Kamera und Überlagern von Kamerabildern (d. h. einschließlich von Finger- und Tastenpositionen) innerhalb eines sichtbaren Bereichs einer Anzeige. Auf diese Weise können Fingerpositionen relativ zu Tasten bestimmt werden, ohne dass man den ganzen Weg nach unten (oder in jede andere Richtung) auf eine echte Tastatur blicken muss. Die die Tastatur beobachtende Kamera kann auf jeder Form von Headwear, am Hals oder an der Brust oder jedem anderen Träger (z. B. nicht am Körper) montiert sein wie etwa einem Pfosten oder als eine Vorrichtung, die abwärts vom oberen Teil eines Anzeigemonitors schaut.
Eine überlagerte Anzeige der Positionen von Fingern und Tasten ist besonders wirkungsvoll, wenn sie mit Augensignalen kombiniert wird. Die Augensignalsprache wurde konstruiert, um „wirkungsvolle“ Augenbewegungen in Bezug auf von den Augenbewegungen zurückgelegte Entfernungen und die erforderliche Zeit, um eine Absicht zu übertragen, zu verwenden. Abwärts gerichtete Blicke auf eine physische Tastatur lenken von Sprachkomponenten ab, verbrauchen eine beträchtliche Zeit und tragen zur Augenermüdung bei (d. h. aufgrund von Sakkaden von einer langen Entfernung zur Tastatur hin). Ferner erfordert der Prozess des Rückführens des Blicks eines Benutzers auf einen Bereich innerhalb einer Anzeige im Allgemeinen eine Sakkade von einer langen Entfernung, eine oder mehrere korrektive Sakkaden und häufig suchende Sakkaden, um zu einer gewünschten Betrachtungsposition auf einer Anzeige zurückzukehren.
Die Echtzeit-Projektion einer Ansicht der Hände eines Benutzers und einer Tastatur kann die Augen- (und Kopf-) bewegungen drastisch reduzieren, die mit dem Betrachten der eigenen Hände während der Eingabe in eine Tastatur verbunden sind. In den meisten Fällen können die virtuellen oder projizierten Bilder von Händen und Tastatur derart positioniert werden, dass sie sich innerhalb der peripheren, parafovealen oder sogar der fovealen Sicht befinden, während sie Aufgaben ausführen. Dies gestattet einem Benutzer einer Vorrichtung, die Sicht zwischen einem oder mehreren Bereichen von Interesse auf einer Anzeige hin und her zu wechseln, sowie eine Sicht von Fingern und Tasten während der Eingabe in die Tastatur ohne den Verlust von räumlichen Bezugspunkten und/oder anderer Information auf der Anzeige.
28 zeigt eine Ansicht einer Headwear 650, die eine die Tastatur beobachtende Kamera 651 beinhaltet, welche so ausgerichtet ist, dass sich eine Tastatur 652 und die Hände 653a, 653b des Benutzers einer Vorrichtung innerhalb des Sichtfelds 654 der Tastaturkamera 651 befinden. In einigen Ausführungsformen kann der Benutzer der Vorrichtung nicht in der Lage sein, die Position der Tastatur 652 und der Hände 653a, 653b zu sehen.
29 zeigt dieselbe Headwear 650 wie in 28 mit einer Projektion der Tastatur 662 und den Händen des Benutzers der Vorrichtung 663a, 663b, wie sie von der Tastaturkamera 651 aufgezeichnet werden und in Echtzeit auf einer Anzeige angesehen werden 660. Die Anzeige 660 kann ein Teil der Headwear 650 sein (z. B. erweiterter Realität, virtueller Realität oder Heads-up-displays) oder entfernt angeordnet sein (z. B. Tablet, Smart-Vorrichtung, Laptop, Computermonitor), solange die Anzeige(n) sich innerhalb des Sichtfelds (dargestellt durch gestrichelte Linien) 661a, 661b des Trägers der Vorrichtung befinde(t/n).
Die beispielhafte in 29 dargestellte Aufgabe beinhaltet Schreiben auf der Tastatur durch einen Benutzer der Vorrichtung. Zeichen und Wörter werden an einer Position 665 relativ zu einem Textkörper 664 angefügt. Bei Bedarf kann der Benutzer abwärts auf das projizierte Bild der Tastatur 662 und der Hände 663a, 663b schauen, um relative Positionen während des Schreibprozesses zu bestimmen. Dies beinhaltet viel weniger Augenbewegung und zugeordnete kognitive Verarbeitung im Vergleich mit dem Ansehen der echten Tastatur 652 und der Hände 653a, 653b.
Das projizierte Bild der Tastatur 662 und der Hände 663 a, 663b kann irgendwo auf der Anzeige 660 positioniert sein, wie es dem Benutzer der Vorrichtung gefällt. Das projizierte Bild kann auch von jeder Größe oder jeder Transparenz (d. h. vom vollständigen Blockieren anderer angezeigter Elemente bis zur überlagerten Position, die kaum sichtbar ist) sein. Halbtransparente Projektionen können sogar innerhalb von Bereichen positioniert sein, an denen Schreibe- oder andere Betrachtungsaktivitäten auftreten (wodurch Augenbewegungen minimiert werden). Der Grad der Transparenz kann von dem Benutzer gesteuert werden oder automatisch einstellbar sein. Projektionen können beispielsweise weniger transparent (d. h. auffälliger) gemacht werden, wenn bemerkt wird, dass Schreibfehler gemacht werden.
In anderen beispielhaften Ausführungsformen können physische und/oder projizierte Tastaturen zur Verwendung in erweiterten Modi optimiert werden. Physische Tastaturen können mechanische Führungen oder Bezugspositionen (d. h. durch Fühlen identifizierbar) beinhalten, um zu helfen, die Hände und Finger zu positionieren, wenn sie nicht direkt sichtbar sind. Ein oder mehrere solcher Führungsstifte oder Flächen sowie Bezugsflächen, die haptisch identifizierbar sein können, können überall über der gesamten Tastaturfläche angeordnet sein.
Projizierte Tastaturen können entwickelt werden, um praktisch jede Tastaturgestaltung unterzubringen. Projizierte Tastenoberseiten können innerhalb von Videobildern unter Verwendung von im Stand der Technik wohlbekannten Bilderkennungstechniken erkannt werden. Innerhalb solcher Bilder können dann jegliche Symbole oder Zeichensätze auf die Oberseiten projizierter Tasten überlagert werden. Auf diese Weise ist eine vollständig durch den Benutzer auswählbare Tastatur möglich. Dies kann verwendet werden, um Zeichen und Symbole einzubeziehen, die in verschiedenen Sprachen verwendet werden, Situationen unterzubringen, in denen eine körperliche Behinderung vorhanden ist, sich an bestimmte Anwendungen anzupassen (z. B. eine hauptsächlich numerische Eingabe in Tabellen), und/oder Gestaltungen zu individualisieren, um die Leistung in verschiedenen Einstellungen einschließlich der Augensignalsprache zu optimieren.
Ein besonders zweckmäßiges Beispiel für Letzteres beinhaltet die Möglichkeit, unter Verwendung der Tastatur zu spezifizieren, ob Augenbewegungen „zielgerichtet“ sind. Jede schnelle Bewegung, wie das Drücken eines Daumens, kann verwendet werden, um rasch anzuzeigen, dass Augensignale als zielgerichtet zu interpretieren sind, und um ergebnisorientierte Aktivierungen durchzuführen. Eine solche Tastatur „taste“ kann auf eine ähnliche Weise wie ein Tastendruck auf einer Computermaus oder ein Drücken auf ein berührungsempfindliches Pad verwendet werden. Auf diese Weise können, ohne die Hände von einer Tastatur zu entfernen, Cursor- und/oder andere Zeigerbewegungen durch kleine Handbewegungen und schnelle Augenbewegungen gesteuert werden.
Alternativ oder zusätzlich dazu können Tastaturen Positionssteuerung unter Verwendung eingebetteter berührungsempfindlicher Flächen, Richtungstasten, eines Miniatur-Joysticks oder einer Schiebestange, eines kleinen Trackballs oder ähnlichen Mechanismus beinhalten. Diese können in Situationen verwendet werden, in denen eine genauere Positionssteuerung erforderlich ist, als unter Verwendung von Augensignalen verfügbar ist. Die Hände relativ stationär zu halten durch Beseitigen der Notwendigkeit, eine Computermaus oder ein kabelloses Touchpad oder einen Joystick zu orten und nachfolgend zu verwenden, verbessert (d. h. durch Erhöhen der Eingabegeschwindigkeit und/oder Reduzieren der mentalen Belastung und damit verbundener Ermüdung) die meisten Formen der Eingabe über eine Tastatur weiter.
In alternativen oder zusätzlichen Ausführungsformen können die Positionen insbesondere der Finger (und der Hände im Allgemeinen) unter Verwendung verschiedener Verfahren erfasst werden, welche die obenstehend beschriebenen Kamerabilder ergänzen können. Die Nähe eines Fingers zu einer Taste kann durch im Stand der Technik bekannte Näherungsdetektionsverfahren geschätzt werden. Einige Näherungsdetektionsverfahren verlassen sich beispielsweise auf Unterschiede in den dielektrischen Eigenschaften eines zum großen Teil wassergefüllten Fingers im Gegensatz zum dielektrischen Verhalten von Luft (d. h. wenn kein Finger vorhanden ist). Somit kann durch Messen der Kapazität in der Nähe einer Taste (d. h. abhängig von dielektrischen Eigenschaften), die Anwesenheit oder Abwesenheit eines Fingers bestimmt werden. Andere Techniken beinhalten Messen der Anwesenheit oder Abwesenheit von Licht, das von einem Finger, soweit vorhanden, reflektiert wird.
Hinweise zur Anwesenheit oder Abwesenheit von Fingern in der Nähe spezifischer Tasten können auf den kamerabasierten Bildern der obenstehend beschriebenen Tastatur oder auf einer separaten virtuellen Tastatur angezeigt werden. Diese Hinweise zur Anwesenheit von Fingern können Bilder von kleinen Lichtern, Änderungen des Zeichens oder Symbols auf der Fläche einer Taste, eine überlagerte Kontur oder ein Bild eines virtuellen Fingers oder eine andere Darstellung der Anwesenheit von Fingern über jeder der Tasten beinhalten.
In weiteren Ausführungsformen kann die Anwesenheit jedes Fingers weiter unterschieden werden aufgrund von Folgendem:

1. Die Nähe eines Fingers kann unter Verwendung von oben beschriebenen Näherungsdetektionsverfahren erfasst werden.
2. Der Kontakt eines Fingers mit einer Taste kann unter Verwendung von berührungsempfindlichen Techniken bestimmt werden.
3. Das tatsächliche Drücken einer Taste kann durch den Drucktast-Schaltvorgang der Taste gemessen werden.

Gemeinsam können diese Herangehensweisen dazu ausgestaltet sein, sowohl die Augenbewegungen und Fingerbewegungen während der Dateneingabe zu minimieren, wodurch die HMI-Geschwindigkeit erhöht wird und/oder die mentale, zur Ermüdung führende Belastung reduziert wird. Somit können diese Herangehensweisen sowohl den Fingern als auch den Augen gestatten, das zu tun, was sie am besten können.
SAKKADISCHES AUGENSCHREIBEN OHNE STÖRENDE AUGENBEWEGUNGEN
In beispielhaften Ausführungsformen beinhaltet das „Augenschreiben“ das Eingeben von Zeichen und/oder anderen Symbolen durch Ansehen (mit einem oder beiden Augen eines Benutzers) einer Tastatur oder einer anderen Auswahlmatrix. Die Tastatur oder Auswahlmatrix kann real sein (d. h. ein physisches Objekt) oder virtuell (d. h. projiziert als ein Abschnitt einer Anzeige). Ein grundlegender Aspekt des Augenschreibens ist die Eingabe von Zeichen und jeglicher anderer Symbole, welche die Absicht eines Benutzers so schnell wie möglich übermitteln können, unter Verwendung von zielgerichteten Augenbewegungen, während die mentale Belastung minimiert wird.
Augenbewegungen können beispielsweise unter Verwendung von einem oder mehreren an Headwear montierten Detektoren, die auf ein oder beide Augen gerichtet sind, überwacht werden. Die Headwear kann auch Anzeigen erweiterter Realität, vermischter Realität oder virtueller Realität beinhalten. Alternativ oder zusätzlich dazu können Augenbewegungen unter Verwendung von einem oder mehreren Detektoren, die auf ein oder beide Augen gerichtet sind, innerhalb einer mobilen Vorrichtung wie etwa eines Telefons, Tablets, Laptop-Computers oder einer ähnlichen Vorrichtung ferngesteuert überwacht werden. Die Augenbewegungen können auch unter Verwendung von Detektoren, die auf ein oder beide Augen gerichtet sind, innerhalb von Desktop-Computern, Peripherievorrichtungen (d. h. so-genannten „Peripheriegeräten“) in Verbindung mit zentralen Steuereinheiten, wandmontierten Anzeigen, eigenständigen Leseanzeigen, Beschriftungen oder ähnlichen Vorrichtungen überwacht werden.
Ein Aspekt vieler handelsüblicher Augenschreibsysteme ist die Verwendung von Verharren (d. h. eine oder mehrere Augenfixierungen über einen Zeitraum, der eine vorbestimmte Zeit überschreitet), Lidschlag oder Gesichtsmuskelbewegungen, um die Auswahl eines Zeichens oder Symbols anzuzeigen. Jeder dieser Indikatoren erfordert eine beträchtliche Menge an Zeit, um eine Auswahl zu bedeuten, insbesondere im Vergleich mit der schnellen sakkadischen Augenbewegung, die verwendet wird, um das Auge anfänglich auf einen spezifischen Zeichen- oder Symbolposition zu leiten. Die Entfernung solcher Auswahlindikatoren kann die Geschwindigkeit des Augenschreibens (d. h. die Anzahl der Zeichen, Symbole oder des pro Zeiteinheit eingegebenen Inhalts) wesentlich erhöhen.
Ein Aspekt beispielhafter Ausführungen ist hier die Erzeugung von sequenziellen Abfolgen von sakkadischen Augenbewegungen durch einen Benutzer, die im Allgemeinen nicht durch Verharren, Lidschlag oder augenunabhängige Muskelbewegungen unterbrochen werden. Ein(e) Benutzer(in) bewegt sein(e) bzw. ihr(e) Auge(n) von einem ausgewählten Zeichen zum nächsten über eine Abfolge von Sakkaden ohne wesentliche Verzögerungen. Aufgrund von einem oder mehreren Videostreams von Augenbewegungen werden zielgerichtete Sakkaden von einem ausgewählten Zeichen zum nächsten vom System in einer aufeinanderfolgenden, ununterbrochenen Weise erkannt.
Ein anderer Aspekt von Ausführungsformen ist hier das allgemeine Fehlen von visueller Rückmeldung während des Augenschreibens. Würde eine Rückmeldung gezeigt werden (d. h. Hervorheben eines ausgewählten Zeichens, Zeigen eines neu eingegebenen Zeichens innerhalb eines Worts oder eines Satzes, Modifizieren einer Tastaturgestaltung), würde die Handlung des Anzeigens einer solchen Rückmeldung im Allgemeinen die „Wahrnehmung“ der Rückmeldung seitens des Schreibenden erzwingen. Eine solche visuelle Wahrnehmung benötigt eine minimale Zeit (einschließlich 200-250 Millisekunden, um jedes Zeichen oder Symbol vollständig wahrzunehmen), wodurch die maximale Geschwindigkeit des Schreibprozesses begrenzt wird. In der Tat erfordert die Wahrnehmung einer Rückmeldung im Allgemeinen eine längere Zeit als die meisten sakkadischen Augenbewegungen (sogar wenn daran mindestens eine korrektive Sakkade zusätzlich beteiligt ist).
Beim Menschen ist es für das visuelle System mental schwierig, schnelle Änderungen innerhalb des Sichtfelds (einschließlich innerhalb nicht-fovealer Bereiche) zu ignorieren. Somit ist ein Schlüssel zum schnellen Augenschreiben die Beibehaltung eines Sichtfelds, das sich wenig bzw. gar nicht ändert. Das Hervorheben eines ausgewählten Zeichens oder das Anzeigen eines Satzes während er geschrieben wird, was in modernen Augenschreibsystemen üblich ist, hat die Wirkung, die maximal erreichbaren Schreibgeschwindigkeiten drastisch zu reduzieren durch das Aufsichlenken von Aufmerksamkeit (d. h. unter Beteiligung zusätzlicher Augenbewegungen) und nachfolgende Kognition/Wahrnehmung.
Eine erhöhte Schreibgeschwindigkeit führt auch zu einem verbesserten mentalen Fluss, indem der Engpass des Schreibprozesses selbst entfernt wird. Es ist im Allgemeinen leicht, Gedanken in einer Geschwindigkeit zu formen, die schneller ist als viele Personen in der Lage sind zu schreiben (manuell oder unter Verwendung unserer Augen). Durch Vereinfachen und Beschleunigen des Augenschreibprozesses wird es leichter, einen Gedankengang zusammenzufügen.
In zusätzlichen Ausführungsformen ist es möglich, einem Benutzer eine nicht-visuelle Rückmeldung bereitzustellen, um die mentale visuelle Verarbeitung und Steuerung, die mit dem Augenschreiben verbunden sind, nicht zu stören. In beispielhaften Ausführungsformen kann eine Rückmeldung in Form von hörbaren Hinweisen von Augenbewegungsauswahlen bereitgestellt werden. Einzelne Zeichen, Wörter oder Sätze können in Audioform gesendet werden, sobald die visuellen Auswahlen vorgenommen werden. Alternativ oder zusätzlich dazu kann dem Benutzer eine haptische Rückmeldung bereitgestellt werden. Ein Beispiel, das sowohl eine hörbare und eine haptische Rückmeldung beinhaltet, besteht aus einer Vokalisierung, sobald jedes Wort vom System erkannt wurde, und einem kurzen taktilen Stimulus, wenn das Ende jedes Satzes bestimmt wird.
Die Abwesenheit von Verharren (und den meisten anderen Formen der Fixierung) und durch eine visuelle Rückmeldung ausgelöster Wahrnehmung gestattet, dass durch sakkadische Augenbewegungen Zeichen und/oder andere Symbole rasch und mit einer reduzierten mentalen visuellen Verarbeitung ausgewählt werden, da die foveale Sicht des Augenschreibers aus einer statischen und vereinfachten visuellen Tastatur besteht. Das Fehlen von Rückmeldung zum Zeitpunkt des Schreibens reduziert auch die Neigung, Fehler zu korrigieren. Innerhalb eines solchen Systems besteht im Allgemeinen eine größere Verlässlichkeit auf einer maschinellen Fehlerkorrektur. In der Regel können die meisten Fehler, die der Erstkorrektur während des Schreibprozess entkommen, von dem Schreibenden später korrigiert werden, zur Zeit der Durchsicht des gesamten Dokuments.
In weiteren Ausführungsformen können neuronale Netze (neural networks - NNs) verwendet werden, um Augenbewegungen zu „lernen“, die mit der Auswahl eines bestimmten Zeichens und/oder Abfolgen von Zeichen verbunden sind. Allgemeine Formen des NN-Trainings (z. B. unter Verwendung von Fehlerrückführung oder Backpropagation) und der Umsetzung (einschließlich des Einsatzes von zentralen Verarbeitungseinheiten, Grafikverarbeitungseinheiten und Hardware-basierter Beschleunigung) sind innerhalb des Gebiets des maschinellen Lernens wohlbekannt.
Neuronale Netze können trainiert werden, um die Abfolge von Augenbewegungen eines Benutzers zu erkennen, die mit der Auswahl einzelner Zeichen, Symbole, Wörter, Abfolgen von Zeichen und/oder anderen Symbolen verbunden sind. Eingaben in das NN können Folgendes beinhalten: 1) Videosequenzen eines oder beider Augen während der Augenbewegungen oder 2) Blicknachverfolgungs-Koordinaten eines oder beider Augen relativ zu einer realen oder angezeigten virtuellen Tastatur oder Auswahlmatrix. Im Fall der vorherigen Konfiguration führt das NN die Funktionen des Nachverfolgens der Positionen eines oder beider Augen innerhalb von Videobildern zusätzlich zum Erkennen spezifischer Augenbewegungen, die mit einem Zeichen oder einem anderen Symbol verbunden sind, durch. Im letzteren Fall beinhaltet die Eingabe in das NN eine Reihe von Blickkoordinaten sowie relative Positionen einer Tastatur oder einer Auswahlmatrix.
Das Training des augenschreibenden NN kann 1) global (d. h. basierend auf Daten aus einer Gruppe von Augenschreibern), 2) individuell (d. h. basierend auf von dem Benutzer erzeugten Trainingsdaten) oder 3) eine Kombination beider Verfahren sein, in denen ein globales NN als Ausgangsrahmen für folgendes individuelles NN-Training verwendet werden kann. Das Training kann durch Augenschreiben von Zeichenfolgen durchgeführt werden, die dem System bekannt sind. So viele verschiedene Kombinationen von Zeichen, Paaren oder Sammlungen von Zeichen, Silben und Wörtern sollten idealerweise verwendet werden, um das NN zu trainieren. Das Augenschreiben eines kurzen Buches oder Artikels, der solche Kombinationen beinhaltet, ist im Allgemeinen geeignet.
Personen können sich in der Weise unterscheiden, in der sie Sakkaden ausführen, um das bzw. die Auge(n) zu verschiedenen Zeichen oder Symbolen zu leiten. Eine Person kann beispielsweise eine Augenbewegung nicht den ganzen Weg hin zur Mitte eines Zeichens oder Symbols erstrecken, das in der Nähe der Peripherie einer Auswahlmatrix angeordnet ist. Solange jedoch ein Benutzer eine ähnliche Augenbewegung beibehält, um ein solches Zeichen oder Symbol auszuwählen, kann das NN die Bewegung erkennen als dass sie das Zeichen, das Symbol oder eine Sammlung von Objekten, die sich in der Nähe der Peripherie befinden, auswählt.
Aufgrund des Körperbaus eines Benutzers, der Physiologie der Augenmuskeln und des kognitiven Verarbeitens können der Weg und die Geschwindigkeitsprofile, die an Augenbewegungen beteiligt sind, hin zu einer bestimmten Position bei verschiedenen Benutzern messbar verschieden sein. Analog dazu gehen verschiedene Personen mit unterschiedlichen Bewegungsbildern und werfen Basebälle mit unterschiedlichen Armbewegungsmustern. Verschiedene Benutzer können beim Augenschreiben von unterschiedlichen Zeichen- und Wortfolgen verschiedene Muster von „Augenbewegungsbild“ ausdrücken. Verschiedene Benutzer können ebenfalls ein unterschiedliches „Augenbewegungsbild“ während zielgerichteten sakkadischen Folgen ausdrücken im Vergleich mit sakkadischen Augenbewegungen, die dem einfachen Untersuchen der Umgebung des Benutzers dienen. Sowohl die Entfernungen und Richtungen (d. h. ein vollständiges Muster) von Augenbewegungen, die auf eine Zielposition gerichtet sind, können das Landeprofil in einer speziellen benutzerspezifischen Weise beeinflussen. Solche Unterschiede können durch das NN und/oder andere algorithmische Herangehensweisen berücksichtigt werden, um zu bestimmen, wann eine Auswahl getroffen wurde, und/oder den Grad der „Zielgerichtetheit“ einer bestimmten Augenbewegung zu bestimmen. Ein neuronales Netz oder eine algorithmische Herangehensweise, die auf eine Person trainiert oder kalibriert wird, ist im Allgemeinen robuster als eine Herangehensweise, die auf Bevölkerungsdurchschnitten beruht.
Die Fähigkeit, Augenbewegungssequenzen zu erzeugen und zu erkennen (d. h. nicht beschränkt zu sein auf Zeichen-für-Zeichen- oder Taste-für-Taste-Auswahlen) ist grundlegend für schnelles Augenschreiben. Schnelle manuelle Schreiber verwenden das sogenannte Muskelgedächtnis (das im Allgemeinen im Kleinhirn entstehen soll), um Fingerbewegungen zu steuern, um Reihen von Zeichen zusammenzufügen. Ein solches Schreiben wird (nach vielen Wiederholungen) mit einer reduzierten bewussten Anstrengung durchgeführt.
In ähnlicher Weise kann die Verwendung von erinnerungsgeleiteten Sakkaden eingesetzt werden, um gebräuchliche Zeichenfolgen während des Augenschreibens zusammenzufügen. Beispielsweise kann an dem Wort „das“ eine Abfolge von Augenbewegungen beteiligt sein, die nicht genau auf den drei Zeichen landen, die das Wort bilden. Solange jedoch die Augenbewegungen, die mit dem Bilden des Wortes „das“ verbunden sind, konsistent sind, können sie erkannt werden und anschließend die Verbindung mit dem Wort „das“ ergeben. Ähnliche Strategien können eingesetzt werden, um Silben, Wörter, Wortgruppen, Sätze oder sogar Begriffe, die miteinander verknüpft werden können, um Sätze zu bilden, zu klassifizieren.
Das neuronale Netz kann trainiert werden, um Augenbewegungen zu erkennen, die mit einzelnen Zeichen, Gruppen von Zeichen, Silben, Wörtern, Wortgruppen und/oder Sätzen verbunden sind. Solche identifizierten einzelnen Zeichen, Gruppen von Zeichen, Silben, Wörter, Wortgruppen und/oder Sätze können dann an zuvor erkannte und/oder gespeicherte Zeichenfolgen angekettet (d. h. angehängt) werden. Solche Folgen können dann einen Abschnitt eines geschriebenen Dokuments bilden und/oder einen Bestandteil oder eine Eingabe in andere Formen von Aktionen darstellen.
In zusätzlichen Ausführungsformen kann das Schreiben unter Verwendung des bzw. der Auge(n) gegebenenfalls das Einfügen von Leerzeichen, die in der Regel zwischen Wörter gesetzt werden, von Satzzeichen (z. B. Kommas, Punkten, Semikolons, Fragezeichen) und/oder anderen Elementen, die zum Bilden von Wortgruppen und Sätzen (z. B. Fragezeichen, runde Klammern, eckige Klammern) verwendet werden, aussparen. Solche Elemente belegen in anderen Schreibsystemen im Allgemeinen einen beträchtlichen Teil eines Auswahlmenüs (z. B. einer Tastatur) und/oder stören den Fluss des Schreibprozesses (d. h. fügen mentale Belastung zu) durch Hin- und Herschalten zwischen verschiedenen Auswahlmenüs und/oder Gestaltungen.
In beispielhaften Ausführungsformen können Algorithmen enthalten sein, um solche Wortabstände, Satzzeichen und andere grammatikalische Elemente einzufügen. Diese Algorithmen können modernen sogenannten „Rechtschreibprüfungen“ und „Grammatikprüfungen“ ähnlich sein, obwohl Augenschreibalgorithmen entwickelt werden können, um die Tatsache, dass Leerzeichen in der Regel nicht am Anfang zwischen Wörter gesetzt werden und/oder dass keine Satzzeichen vorliegen, besonders zu berücksichtigen. Sobald Funktionen in den Text eingefügt werden, die spezifisch für den schnellen Augenschreibprozess sind, kann das System anschließend Vorgänge ausführen, die den üblicheren Rechtschreib- und Grammatikprüfungen ähnlich sind.
In beispielhaften Ausführungsformen kann die maschinelle Korrektur von augengeschriebenen Sequenzen spezifischen Merkmalen des Augenschreibprozesses Rechnung tragen. Dies kann „Konfidenzfaktoren“ beinhalten, die mit einzelnen oder Gruppen von sakkadischen Augenbewegungen verbunden sind. Solche Konfidenzfaktoren erzeugen eine Bewertung der Sicherheit, in der ein bestimmtes Zeichen oder eine Zeichenfolge geschrieben wird, und kann eine Bewertung des Niveaus an „Zielgerichtetheit“ beinhalten. Diese Bewertungen können auf dem Grad der Ähnlichkeit von überwachte(n/r) Augenbewegung(en) verglichen mit historischen oder aufgezeichneten Augenbewegungen beim Schreiben bekannter Zeichenfolgen beruhen.
Das Augenschreiben kann auch maschinelle Korrekturalgorithmen mit alternativen Zeichen oder Zeichensätzen bereitstellen, die auf gemessenen Augenbewegungen bezüglich einer Tastatur- (oder einer anderen Auswahlmatrix-) Gestaltung beruhen. Wenn beispielsweise eine Augenbewegung zuerst auf den Buchstaben „t“ gerichtet schien; jedoch der Blick des Auges leicht nach links von der Zielposition des Buchstaben „t“ (auf einer üblichen QWERTY-Tastaturgestaltung) gerichtet ist, dann führt dies zu einer Möglichkeit, dass eigentlich der Buchstabe „r“ von dem Benutzer der Vorrichtung beabsichtigt wurde. Indem der Korrekturalgorithmus nicht nur mit einem „besten Schätzwert“ des augengeschriebenen Zeichens bereitgestellt wird, sondern mit einem oder mehreren alternativen Zeichen oder Zeichenfolgen und/oder Konfidenzfaktoren aufgrund von gemessenen Augenbewegungen, dann kann die Fehlerkorrektur das eine oder die mehreren alternativen Zeichen berücksichtigen.
In zusätzlichen Ausführungsformen kann das Schreiben unter Verwendung der Augen gegebenenfalls die Einbeziehung von Großschreibung verhindern. Die Großschreibung von Buchstaben kann einen beträchtlichen Teil eines Auswahlmenüs einnehmen und/oder den Fluss des Schreibprozesses stören, wenn man zwischen verschiedenen Zeichensätzen hin- und herschaltet. Algorithmen können einbezogen sein, um Großschreibung an geeigneten Orten (z. B. Satzanfängen, Eigennamen, identifizierte Akronyme) einzufügen.
In einigen Situationen kann die Eingabe von Zahlen gegebenenfalls unter Verwendung eines Menüs durchgeführt werden, das einer numerischen Tastatur ähnlich ist. Diese Herangehensweise kann effizienter sein, beispielsweise, wenn ein Rechner oder eine Tabellenkalkulation verwendet wird, um lange Reihen von Zahlen als numerische Ziffern einzugeben. Ähnlich kann die Auswahl eines oder mehrerer Elemente aus einer endlichen Liste von Elementen (z. B. einer Liste von Staaten, Städten, Ländern, Adressen, Monaten, Jahren, Farben, Hintergründe) effizienter gemacht werden durch Anzeigen von schaltbaren Menüauswahlen.
Während des schnellen und verallgemeinerten Schreibens von Text kann es jedoch gegebenenfalls effizienter sein, keine numerische Tastatur bereitzustellen, sondern lieber nach Bedarf gelegentlich auftretende Zahlen zu „schreiben“ (d. h. zu buchstabieren). Algorithmen für die Nachbearbeitung (post-typing) können einbezogen sein, um nach solchen numerischen Wörtern zu suchen und sie, wenn angebracht, in Zahlen umzuwandeln. Beispielsweise kann man die Sequenz „eins sieben sechs“ oder „siebzehn siebzig sechs“ in einem fertig geschriebenen Dokument als „1776“ erscheinen lassen.
In beispielhaften Ausführungsformen ist eine andere optionale Komponente, die von Augenschreibern verwendbar ist, die Fähigkeit, eine kurze „Pause“ am Ende eines jeden Worts oder Satzes einzufügen. Die Zweckmäßigkeit einer Pause dient nicht der Wahrnehmung oder des Verharrens auf einem bestimmten Zeichen einer Funktion. Die Pause kann eher sowohl als Signalgebungsmechanismus fungieren, um das Ende eines Worts, einer Wortgruppe oder eines Satzes anzuzeigen; und als einen kurzen Zeitraum, in dem der Augenschreiber seine/ihre Gedanken sammelt, um zum nächsten Wort in der Wortgruppe überzugehen. Erfahrungsgemäß ist dies ein natürliches und angenehmes Verfahren, um den Augenschreibeprozess in das richtige Tempo zu bringen.
Insgesamt kann das maschinelle Erkennen der Absicht der augengeschriebenen Zeichenfolgen so gestaltet sein, dass sie im Vergleich mit heutigen Grammatik- und Rechtschreibprüfungsalgorithmen sehr viel proaktiver ist. Das Erkennen der Absicht kann im Allgemeinen voraussetzen, dass Leerzeichen, Großschreibung und Zeichensetzung automatisch einzufügen sind. Das Formatieren von augengeschriebenem Inhalt kann die automatische Einfügung von Überschriften und Absätzen sowie die Umwandlung von Zahlen und anderen Symbolen, um zu einem Schreibstil zu passen, beinhalten. Wenn dann Wörter oder Wortgruppen unpassend erscheinen, können zusätzlich zu Korrekturen, die auf standardmäßigen grammatikalischen Regeln und Wörterbüchern beruhen, alternative Kombinationen aufgrund von Konfidenzniveaus für bestimmte Zeichen und Zeichenfolgen sowie Tastaturgestaltung berücksichtigt werden.
In zusätzlichen Ausführungsformen kann das Schreiben unter Verwendung der eigenen Augen gegebenenfalls jede Anzahl von „Abkürzungen“ beinhalten. Abkürzungen können das Augenschreiben von speziellen Zeichen oder von Zeichenfolgen beinhalten, die eine längere Sequenz von Zeichen, Wörtern, Sätzen oder Bildern darstellen. Abkürzungen können auch spezifische, identifizierbare Augenbewegungen (z. B. ein Schielmanöver, Wegsehen von der Anzeige in eine bestimmte Richtung, eine schnelle sakkadische Sequenz, die nicht mit der Zeichenauswahl verbunden ist) oder Bewegungen von Bereichen um das Auge herum (z. B. die Bewegung eines oder beider Augenlider, Zusammenkneifen, teilweises oder vollständiges Schließen der Augen) beinhalten.
Solche Abkürzungen können verwendet werden, um gängige Wörter oder Wortgruppen (z. B. den eigenen Namen, Grußformeln, Antworten auf häufig gestellte Fragen), Antworten auf gängige Fragen wie jenen auf einer Checkliste und/oder Bilder, die als Abschnitt eines Gesprächs einbezogen werden können, schnell einzusetzen. Abkürzungen (d. h. eine Augenauswahl von speziellen Symbolen) können auch verwendet werden, um Tastaturgestaltungen zu wechseln. Solch ein Menüwechsel kann in Situationen wie etwa numerischer Eingabe unter Verwendung einer numerischen Tastatur, der Eingabe eines Datums unter Verwendung einer Auswahlsequenz aus einer endlichen Anzahl von Elementen (z. B. Jahr, Monat, Tag) und ähnlichen Dateneingabesituationen angewendet werden. Jedoch verläuft, wie obenstehend erwähnt, der Prozess des Wechselns eines Menüs im Allgemeinen langsamer als andere, nicht unterbrochene, Augenschreibfunktionen. Somit kann das häufige Verschieben von Menüs verhindert werden, um optimale Augenschreibgeschwindigkeiten aufrecht zu erhalten.
In weiteren damit in Bezug stehenden Ausführungsformen kann ein Benutzer gegebenenfalls eine sogenannte „auto-fin“ oder automatische Ergänzung von Wörtern, Silben, Wortgruppen, Sätzen, Bildern und/oder jeder vorbestimmten Sequenz von Symbolen oder Funktionen (oder ähnlichen Arten der Dateneingabe) einbeziehen, um beim Erhöhen der Geschwindigkeit der Daten- und/oder Begriffseingabe behilflich zu sein. Jedoch tritt die Augensignalgebungsanzeige und die nachfolgende Auswahl einer oder mehrerer Auto-fill-Möglichkeiten, anders als moderne Auto-fill-Implementierungen, nur dann auf, wenn der Benutzer seinen/ihren Blick auf eine oder mehrere Auto-fill-Aktivierungspositionen auf der Anzeige bewegt. Nur nach dem Bewegen des Blicks hin zu einer solchen Position werden die Auswahlen angezeigt. Dies verhindert zahlreiche ablenkende (d. h. suchende, überprüfende) Augenbewegungen, die erforderlich sind, um zahlreiche Wortergänzungsmöglichkeiten während des Schreibprozesses zu betrachten, die ein gängiges Merkmal moderner (nicht durch den Blick geleiteter) Auto-fill-Implementierungen sind.
Ferner können eine oder mehrere angezeigte Auswahlmöglichkeiten auf die foveale Sicht des Benutzers begrenzt sein (d. h. unter Berücksichtigung der aktuellen Blickrichtung des Benutzers). Auf diese Weise sind keine weiteren suchenden Augenbewegungen erforderlich, um mögliche Auswahlen anzusehen. Eine Folge des Begrenzens angezeigter Auswahlen auf die foveale Sicht eines Benutzers kann darin bestehen, die Größe angezeigter Darstellungen und/oder die Anzahl von Auswahlmöglichkeiten zu begrenzen. Auswahlen können durch Folgen einer sich erweiternden Darstellung von Auswahlmöglichkeiten (hier an anderer Stelle beschrieben) vorgenommen werden, oder alternativ dazu durch Sakkadieren von einer Auswahl hin zu einem Aktivierungsziel.
Zusätzlich dazu können erfahrene Benutzer die optimalen Zeiten erlernen, um den Auto-fill-Mechanismus aufzurufen, wenn gewünschte Auswahlen wahrscheinlich verfügbar und eindeutig sind, insbesondere für gängige Wörter, Wortgruppen und/oder Dateneingabeelemente. Ferner können Auswahlen ganze Wortgruppen, vollständige Namen, Grußformeln, gängige Dateneingabeelemente und dergleichen beinhalten. Kombinationen dieser Strategien können die Geschwindigkeit des Augenschreibens stark erhöhen.
ERKENNEN DER ABSICHT UNTER VERWENDUNG REKURRENTER NEURONALER NETZE
Maschinenlerntechniken, die tiefe neuronale Netze beinhalten, sind besonders zweckmäßig zum Erkennen der Absicht von Augensignalen und anderen Augenbewegungen als auch zum Vorhersagen oder Projizieren (zeitlich zuvor) des Verlaufs von Augenbewegungen. Verfahren zum Projizieren und Erkennen der Absicht eines Benutzers einer Vorrichtung sind in „Systems and Methods for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects“ (Systeme und Verfahren für biomechanisch basierte Augensignale zum Interagieren mit realen und virtuellen Objekten), laufende Nummer der Anmeldung 14/708,234, eingereicht am 9. Mai 2015 beschrieben, deren gesamte Offenbarung hier durch Bezugnahme aufgenommen ist. Es werden Verfahren offenbart, in denen eine jüngere Historie von Augenbewegungen in einen Puffer (z. B. first-in, first-out) abgelegt wird und für Eingaben in ein neuronales Netz verwendet wird.
Eine alternative Ausführungsform beinhaltet die Verwendung von rekurrenten neuronalen Netzen. Rekurrente Netze sind eine Klasse von neuronalen Netzen, in denen Verschaltungen gebildet werden (manchmal beschrieben als „rückwärtsgerichtet“) derart, dass rekurrente Zyklen innerhalb von Verbindungen vorliegen. Diese Verschaltungen gestatten, dass eine Form von jüngerem „Gedächtnis“ innerhalb des Netzes selbst eingebunden wird. Solche Strukturen können den Bedarf daran beseitigen, dass eine explizite Historie von Augenbewegungen Eingabeknoten zugeführt wird (zuvor beschrieben). Vielmehr wird jede Augenbewegung gemessen und sequenziell an das Netz gespeist, wobei die Interaktionen und Gewichtungen der jüngeren Historie von Bewegungen durch Netzlernprozesse bestimmt werden.
Die jüngere Historie von Augenbewegungen ist besonders zweckmäßig beim Erkennen einer Absicht innerhalb des soeben beschriebenen Augenschreibprozesses. Am Erkennen einer Absicht während schneller Augenschreibsequenzen ist nicht nur eine zeichenweise Eingabeform beteiligt, sondern sie kann auch erkennbare Augenbewegungssequenzen beinhalten, die beim Eingeben von Inhalt mit Kombinationen aus zwei oder mehr Zeichen, ganzen Wörtern und/oder sogar vollständigen Wortgruppen verbunden sind. Zusätzlich können Bewegungen (gegebenenfalls einschließlich kleiner Pausen in den Augenbewegungen) erkannt werden, die mit Silben, Lücken zwischen Wörtern, Stellen, an denen normalerweise Zeichensetzung auftritt einschließlich jenen, die mit Kommas verbunden sind, und Satzenden verbunden sind. Somit können in beispielhaften Ausführungsformen Architekturen neuronaler Netze, die zum Erkennen von Absicht während des Augenschreibens verwendet werden, eine ausreichende Geschichte beinhalten, um erweiterte Wortgruppen und jegliche kurze Pausen (d. h. bis zu annähernd zwanzig (20) Sekunden) einzugliedern.
SCHALTFLÄCHEN UND STEUERUNGEN INNERHALB DER UMGEBUNG DES BENUTZERS DER VORRICHTUNG
In zusätzlichen beispielhaften Ausführungsformen können „virtuelle Schaltflächen“ oder physische Schaltflächen angesehen und auf jeder erkennbaren Oberfläche innerhalb des Sichtfelds des Benutzers der Vorrichtung „virtuell gedrückt“ oder aktiviert werden. „Virtuelle Schaltflächen“ können dieselben Funktionen ausführen wie die sich auf einer standardmäßigen Tastatur, Ziffernblock, Wandschalter und dergleichen befindlichen; oder sie können verwendet werden, um ergänzende Funktionen auszuführen wie jene, die mit einem Zielicon innerhalb der Augensignalsprache verbunden sind. Zusätzlich können Eingaben stufenlos sein, wie etwa ein „Schieberegler“, der als Eingabe für beispielsweise das Einstellen der Lautstärke von Lautsprechern verwendet wird. Ein Schlüsselelement virtueller Schaltfläche(n) und/oder Steuerungen beinhaltet die Fähigkeit, dass die Steueroberfläche bewegt werden kann oder sich der Benutzer der Vorrichtung bewegen kann (einschließlich bezüglich zur Bedienfläche). Das Verwenden von Bilderkennung der Bedienfläche und/oder der Position(en) virtueller Schaltflächen und anderer Steuerungen kann bezüglich zu einer solchen Fläche ortsfest bleiben.
Bedienflächen können von einer Umgebungskamera erkannt werden, zusammen mit virtuellen Schaltflächen, physischen Schaltflächen und stufenlosen Steuerungen, die bezüglich zu Bezugsflächenpositionen (z. B. Kanten, Änderungen der Farbe, Punkten, Muster) angeordnet sind. Die Aktivierung wird nur ausgeführt, wenn der Bereich der Schaltfläche(n) vom Benutzer der Vorrichtung angesehen wird, und durch virtuelles „Drücken“ oder „Schieben“ der virtuellen Schaltfläche/Steuerung auf der Fläche. Die Aktivierung wird unter Verwendung von Bildverarbeitungstechniken durch Erkennen bestimmt, wenn ein oder mehrere Finger auf die Fläche drücken (d. h. binäre Steuerung) oder auf ihr entlang gleiten (d. h. stufenlose Steuerung).
Ein Beispiel für eine komfortable „virtuelle Bedienfläche“ ist die Oberfläche der Haut auf einem Arm des Benutzers der Vorrichtung. Die Seiten des Arms, zusammen mit Handgelenk und Ellenbogen, stellen Bezugspositionen für Berühr- und Gleitaktionen durch Finger an der Hand des anderen Arms dar. Als ein Beispiel für solche Steuerungen könnte beispielsweise ein virtueller Druck auf eine Schaltfläche, die dem Handgelenk eines Benutzers am nächsten ist, verwendet werden, um die Vokalisierung neuerer Textnachrichten durch die Vorrichtungen (d. h. unter Verwendung von Sprachsynthese-Software) zu beginnen und zu beenden (in der Art von bistabilen Kippstufen). Eine virtuelle Schieberegelung im Mittelabschnitt des Arms kann zum Regeln der Sprachlautstärke verwendet werden. Eine virtuelle Schaltfläche, die näher am Ellbogen ist, kann dazu verwendet werden, innerhalb der Abfolge von Textnachrichten zu „springen“ oder „zurückzugehen“. Solche Aktionen können sogar dann durchgeführt werden, wenn sich der Arm, der die virtuellen Schaltflächenbewegungen beinhaltet, bewegt, sich der Benutzer der Vorrichtung bewegt, und/oder sich sowohl der Kopf und die Augen des Benutzers der Vorrichtung bewegen (z. B. ein vestibulookulärer Reflex).
Ein anderes Beispiel für eine „Bedienfläche“ (d. h. für das Kombinieren einer virtuellen Steuerung mit einem physischen Objekt oder einer Fläche) ist ein Whiteboard oder eine Fläche, die projizierte Bilder empfängt, die in der Regel in Konferenzräumen und Theatern zu finden sind. Die Bedienfläche (z. B. Whiteboard, Projektionsbildschirm) wird unter Verwendung einer Umgebungskamera identifiziert, wobei Bezugspositionen (z. B. Ränder des Whiteboards) bestimmt werden. Durch Anschauen und Verwendung eines oder mehrerer Finger zum Berühren oder Entlanggleiten (auf) der Steuerungsoberfläche können Eingaben erkannt werden, um Anwendungen zu steuern und andere Aktionen durchzuführen.
In zusätzlichen Ausführungsformen können Objekte oder Symbole (z. B. Zeichnungen, Zeichen, Grafiken) in der Steuerungs- oder „Aktivierungs“-Fläche enthalten sein. Beispielsweise kann jedes Symbol auf ein Whiteboard oder eine andere Fläche gezeichnet werden und ihm dann eine „Bedeutung“ oder zugehörige Aktion unter Verwendung der Augensignalsprache oder jedem anderen Eingabemittel zugeordnet werden. Der Buchstabe „W“ kann beispielsweise auf die Oberfläche gezeichnet werden und eine Reihe von Befehlen kann ausgeführt werden, die das aktuelle „Wetter“ anzeigen, sobald eine Aktivierung (z. B. Anschauen und Drücken mit irgendeinem Finger) des „W“ stattfindet. Alternativ dazu kann eine erkennbare gezeichnete Form (z. B. „W“) oder ein physisches Objekt mit einer Aktion (z. B. Anzeigen des aktuellen Wetters) vorbelegt werden.
Als ein weiteres Beispiel können farbige Punkte, Symbole oder Ausschnitte (untenstehend gemeinsam als Icon-Symbole bezeichnet) an Flächen wie etwa einem Arm des Benutzers der Vorrichtung befestigt oder geklebt (z. B. zeitweise) werden, beispielsweise unter Verwendung von Papier oder Kunststoff, die mit einem schwachen Klebstoff (d. h. „Stickers“) unterlegt sind. Verschiedenen Icon-Symbolen kann das Durchführen verschiedener Aufgaben zugeordnet werden und Icon-Symbole können irgendwo innerhalb des Sichtfelds des Trägers der Vorrichtung angeordnet sein. Dadurch kann ein Träger der Vorrichtung eine Umgebung erschaffen und individuell anpassen, die reich an Steuerungseingängen ist.
Die Aktion(en), die mit einer virtuellen Steuerung oder einem (physischen) Icon-Symbol verbunden sind, wie obenstehend beschrieben, können vorbelegte Symbole und/oder Bezugspunkte, während der Verwendung zugeordnete Symbole und/oder Bezugspunkte oder eine Kombination aus beidem beinhalten. Während der Zuordnung von Aktionen zu virtuellen oder realen Steuerungen kann auch der Zusammenhang berücksichtigt werden. Während der Durchsicht von Textnachrichten kann beispielsweise ein Schieberegler verwendet werden, um die Sprachlautstärke zu regeln, wie soeben beschrieben; wenn jedoch Fotos durchgesehen werden, könnte ein Schieberegler (auf der Bedienfläche an derselben Stelle) verwendet werden, um schnell kleine Ansichten von Vorschaubildern von Gruppen von Fotos zu überfliegen.
In zusätzlichen Ausführungsformen können die Steuerung oder die Aktivierung unter Verwendung einer Anzeige durchgeführt werden, einschließlich eines Fernanzeigemonitors (remote display monitor) und/oder einer Anzeige innerhalb eines Augmented-Reality-Headsets. Anders ausgedrückt, sobald ein mit einer Aktion verbundenes Objekt visuell identifiziert ist, kann die Aktion durch eine oder mehrere Sakkaden (oder andere Augenbewegungen) zu einem oder mehreren virtuellen Zielen auf der Ansicht hin eingeleitet werden. Abfolgen von Aktionen, die mit Objekten in der Umgebung verbunden sind, können schnell durchgeführt werden, insbesondere unter Verwendung mehrerer unterschiedlicher Aktivierungsziele (die verschiedene Aktionen bezeichnen können) innerhalb eines Augmented-Reality-Headsets.
KONTEXTSENSITIVE, DURCH BENACHRICHTIGUNGEN AUSGELÖSTE AUGENSIGNALAKTIVIERUNG
In am Körper tragbaren, mobilen und ortsfesten Computervorrichtungen besteht ein gängiges Verfahren der Benachrichtigung des Benutzers der Vorrichtung über eintreffende Informationen in der zeitweisen Überlagerung innerhalb einer Anzeige mit einem Vorschaubild, dem Titel, den ersten paar Worten einer Nachricht und/oder einem visuellen Hinweis. Diese werden im Allgemeinen an einer festen Position auf der Anzeigevorrichtung (z. B. der rechten oberen Ecke) dargestellt, die einem Benutzer vertraut wird. Benachrichtigungen können beispielsweise eine eintreffende Textnachricht, eine telefonische Nachricht, ein E-Mail, einen Hinweis, eine Weckerbenachrichtigung, ein Kalendereintrag, ein Aktualisierungsservice, eine wichtige Änderung im Datenstrom (z. B. Wetter, Börsenbericht, GPS-Position) und dergleichen beinhalten. Unter Verwendung der hier beschriebenen Systeme und Verfahren können solche Vorrichtungen das „Teilen“ eines Bereichs auf einer Anzeige mit zeitabhängiger Information zeitabhängig gestatten.
Solche Benachrichtigungen verursachen im Allgemeinen einen schnellen Blick (d. h. eine sakkadische Augenbewegung sowohl hin zu als auch weg von der Position der temporären Benachrichtigung) durch den Benutzer der Vorrichtung. Aus dem Blick kann sich der Wunsch ergeben, auf die Benachrichtigung zu reagieren. Die Augensignalsprache bietet die Gelegenheit, auf eine solche eintreffende Information in Reaktion auf eine solche temporäre Benachrichtigung durch Erlauben einer „Aktivierung“ effizient zu reagieren. Die Aktivierung wird durch eine Augenbewegung durchgeführt, die von der Position der temporären Benachrichtigung hin zu einem „Aktivierungs“-Ziel sakkadiert. Falls der Benutzer von der Benachrichtigungsposition hin zu einer Zielposition ohne Aktivierung sakkadiert (z. B. zu der ursprünglich bearbeiteten Aufgabe zurückkehrt) oder falls die Benachrichtigung vor jeder wesentlichen sakkadischen Bewegung verschwindet, findet keine Aktivierung statt.
Aktivierungen können „kontextsensitiv“ sein. Anders ausgedrückt wird bzw. werden abhängig vom Datentyp innerhalb der Benachrichtigung (eine) geeignete Softwarefunktion(en) gestartet. Die Aktivierung einer Benachrichtigung über den Empfang einer E-Mail beispielsweise verursacht das Starten und/oder Sichtbarwerden von Software zum Lesen und Durchsehen der E-Mail. Eine eintreffende Textnachricht verursacht das Starten und/oder Sichtbarwerden von Software zum Durchsehen und Beantworten von Textnachrichten. Die Aktivierung einer Benachrichtigung zu einem Kalendereintrag führt zur Anzeige von Einzelheiten zu dem Ereignis und der Möglichkeit, eine Reaktion betreffend die Teilnahme an dem Ereignis zu senden.
DYNAMISCHE STEUERUNG DER STRINGENZ DER AUSWAHL
Es gibt zahlreiche Bedingungen, unter denen die Fähigkeit eines Benutzers, Augensignalsprachkomponenten (z. B. Sakkade, langsame Augenfolgebewegungen) genau zu erzeugen, beeinträchtigt werden kann. In ähnlicher Weise gibt es eine Anzahl von Bedingungen, unter denen die Fähigkeit einer Vorrichtung, Augenbewegungen genau zu messen und zu identifizieren, beeinträchtigt werden kann. In einigen Fällen werden sowohl die Leistungen des Benutzers als auch die der Vorrichtung beeinträchtigt, wie etwa während des Fahrens auf einer holprigen Straße, beim Bus- oder Radfahren, dem Führen eines Boots, Skifahren, Laufen oder sogar beim einfachen Gehen.
Eine Hauptursache, weshalb die Genauigkeit der Sprachkomponentenidentifizierung unter diesen Bedingungen beeinträchtigt, ist die Erzeugung von Beschleunigungen und sich daraus ergebenden Kräften, die jedes Objekt bewegen können (wobei unter Verwendung der Newtonschen Gesetze die Kraft proportional zur Masse des Objekts ist) das komprimierbar ist, von einer komprimierbaren Fläche getragen wird oder frei ist, sich in mindestens einem Freiheitsgrad zu bewegen. Im Falle von auf ein oder beide Augen aufgebrachte Beschleunigungen weisen alle drei dieser Mechanismen das Potenzial auf, das Auge auf eine Weise zu bewegen, die sich außerhalb der von dem okulomotorischen System des Benutzers auferlegten physiologischen (einschließlich zielgerichteten) Steuerung befindet. Beschleunigungen im Bereich des Kopfes eines Benutzers können das Auge (insbesondere seiner flüssigkeitsgefüllten Bereiche) komprimieren, das Auge hinein oder heraus seiner Höhle stoßen und/oder das Auge veranlassen, sich innerhalb seiner Höhle zu drehen (vertikal und/oder horizontal). Obwohl diese Bewegungen im Allgemeinen geringfügig sind, können sie aufgrund der an der Blickabschätzung beteiligten Geometrie eine deutliche Auswirkung auf die Fähigkeit haben, zielgerichtete Augenbewegungen genau zu verfolgen.
Ähnlicherweise können Beschleunigungen, die auf Headwear oder andere Vorrichtungen aufgebracht werden, dazu führen, dass sich Abschnitte der Vorrichtung selbst verbiegen, an einem jeglichen oder allen Punkten komprimiert werden, an denen die Vorrichtung den Benutzer berührt (z. B. die Nase, der obere Abschnitt der Ohren), oder die Vorrichtung kann sogar rutschen, wodurch die relative(n) Position(en) des bzw. der Detektor(en) (z. B. eine oder mehrere Kameras), welche die Augenposition erfassen, verändert wird bzw. werden. Die Situation wird im Allgemeinen verschlechtert, wenn der zum Betrachten des bzw. der Auge(s/n) verwendete Detektor an einem vom Benutzer gehaltenen Mobiltelefon oder Tablet und/oder befestigt ist. Die Masse der Vorrichtung sowie die am Halten der Vorrichtung, die einen oder mehrere Detektoren enthält, beteiligte Hebelwirkung kann die Kräfte und nachfolgende Bewegungen der Vorrichtung bezüglich zu einem oder beiden Augen verstärken.
Andere Bedingungen, welche die Genauigkeit beim Durchführen von Augensignalsprachkomponenten beeinträchtigen können, beinhalten die Umgebungsbeleuchtung (z. B. innen im Gegensatz zu außen), die Pupillengröße und Reaktionsfähigkeit, die jeweils momentane Position der Augenwimpern und/oder anderen Hindernissen, und die allgemeine Position der Augenlider, die auch abhängig von den täglichen Aktivitäten (z. B. beim Aufwachen, zur Mitte des Tages innerhalb einer hellen Umgebung, spät in der Nacht) variieren kann.
In beispielhaften Ausführungsformen können die Stringenz beim Treffen von Auswahlen und andere Komponenten der Augensignalsprache auf dynamische Weise variiert werden, die von einer erwarteten Genauigkeit des Eye-Tracking abhängig ist. Zusätzlich zu von außen auferlegten Bedingungen, die von der Vorrichtung überwacht werden können, kann die Stringenz auch auf eine Weise variiert werden, die abhängig ist von der Erfahrung des Benutzers beim Verwenden der Vorrichtung, der historischen Genauigkeit des Benutzers (z. B. bestimmt von der Anzahl von „zurück“ oder anderen vom Benutzer durchgeführten korrigierenden Vorgängen), der Tageszeit (die auch auf einer historischen Abschätzung der Genauigkeit über einen typischen Tag hinweg beruhen kann) sowie jeglichen vom Benutzer spezifizierten Einstellungen (z. B. die unter Verwendung der Augensignalsprache ausgewählt wurden).
Beim Tragen von Headwear kann die Größenordnung und Häufigkeit von auf den Kopfbereich aufgebrachten Geschwindigkeiten unter Verwendung einer Anzahl von Verfahren geschätzt werden, beinhaltend ein oder mehrere in der Headwear eingebettete Beschleunigungsmesser, scharfe seitliche Bewegungen der Pupille und des Auges, die von der einen oder den mehreren Kameras detektiert wurden, die das bzw. die Auge(n) beobachten, und/oder insgesamt die Bewegung der Umgebung innerhalb von Bildern, die mit einer oder mehreren nach außen gerichteten Umgebungskameras aufgenommen wurden.
Das letztere Verfahren umfasst Vergleichen von Bildern, die von einer oder mehreren Umgebungskameras über einen Zeitraum erfasst wurden, um zu bestimmen, ob sich der Hintergrund innerhalb von Bildern translatorisch (gestattet eine kleine Menge an Drehbewegung innerhalb von Bildern) auf eine mit der Kopfbewegung übereinstimmende Weise verschiebt. Die Winkelgeschwindigkeit der Umgebungskamera (am Kopf des Benutzers der Vorrichtung befestigt) ist annähernd proportional zum Grad der translatorischen Bewegung eines Hintergrunds von einem Kamerabild zum nächsten (d. h. pro Zeiteinheit). Die Bewegung eines Hintergrunds innerhalb von Bildern kann von der Bewegung von einzelnen Objekten, die sich bezüglich des Benutzers der Vorrichtung umherbewegen können, mittels Bilderkennungstechniken getrennt werden.
Umgebungsbeleuchtung (und ihre Wirkung auf die Tracking-Genauigkeit) kann aus den gesamten Helligkeitsstufen innerhalb von Detektoren, die das Augen verfolgen, oder von einem oder mehreren innerhalb der Vorrichtung eingebetteten Umgebungslichtdetektoren (z. B. Fotodioden) geschätzt werden. Die Umgebungsbeleuchtung kann auch aufgrund von Bildern, die von einer oder mehreren Umgebungskameras erfasst wurden, geschätzt werden.
In beispielhaften Ausführungsformen ist eine Anzahl von Strategien verfügbar, um die Stringenz beim Treffen von Auswahlen zu ändern. Diese können einzeln oder gemeinsam eingesetzt werden. Sie können global, auf Teilmengen von Augensignal-Menüauswahlen oder auf einzelne Auswahlen angewendet werden.
In einem relativ einfachen Verfahren zum Regulieren der Stringenz der Auswahl ist die Steuerung des räumlichen Zielbereichs, über den eine Auswahl getroffen wird, beteiligt. In den meisten Fällen beinhaltet ein gut gestaltetes Zielobjekt einen zentralen Schwerpunkt (z. B. mit deutlichem Kontrast, Helligkeit, Farbe), um das Auge eines Benutzers zu einer optimalen (im Allgemeinen mittigen) Position innerhalb eines Zielobjekts zu führen. Wenn sich eine Augenbewegung innerhalb des räumlichen Zielbereichs für eine bestimmte Auswahl befindet, dann können Algorithmen berücksichtigen, ob die Bewegung ein zielgerichteter Bestandteil der Augensignalsprache ist.
Der räumliche Zielbereich kann von jeder Form sein, einschließlich kreisförmig, elliptisch, quadratisch oder rechteckig. Die Stringenz kann durch Steuern der Größe und/oder Form des räumlichen Zielbereichs gesteuert werden. Im Allgemeinen erhöht das Verringern der Größe des Zielbereichs die Stringenz der Zielauswahl, wodurch die Anzahl von unbeabsichtigten Aktivierungen bei zunehmender Unsicherheit beim Bestimmen präziser Blickpositionen abnimmt. Im Gegensatz dazu kann unter idealeren Augenbewegungs-Aufzeichnungsbedingungen das Erhöhen der Größe des Zielbereichs einem Benutzer gestatten, Abfolgen von Augensignalbewegungen schneller zu erzeugen, und auch die mentale Belastung verringern, da so ein reduzierter Bedarf besteht, präzise Augenbewegungen vorzunehmen.
Die Stringenz kann auch durch Steuern der Zeitbereiche detektierter Augenbewegungen reguliert werden. Beispielsweise kann zu Zeiten, in denen die Bedingungen für ein akkurates Eye-Tracking optimaler erscheinen, die vorhergesagte Landeposition einer ballistischen Sakkade und eine Bestimmung, dass die Sakkade innerhalb des Bereichs eines Aktivierungsziels landen wird, schneller vorgenommen werden. Dies erlaubt, dass nachfolgende Änderungen an Augensignalsprachelementen schneller vorgenommen werden können. Folglich kann ein Icon oder ein Objekt an der Zielposition geändert oder entfernt werden, wodurch ein Lückeneffekt eintritt. Zusätzliche Menüauswahlen wie jene, die während eines „Freilegungs“-Auswahlprozesses angezeigt werden, können nach kurzer oder keiner Verzögerung dargestellt werden. Zusätzlich kann die Länge, in der ein „Freilegungs“-Menü auf dem Bildschirm verfügbar bleibt, zu Zeiten, in denen genaueres Eye-Tracking verfügbar ist (d. h. ermöglicht durch genaueres Eye-Tracking) reduziert werden.
Wenn Unsicherheiten bei einer Maßnahme vorliegen, kann die Genauigkeit im Allgemeinen erhöht werden durch Vornehmen mehrerer Messungen und beispielsweise durch Mittelwertbildung dieser Messungen (solange das gemessene Element während der Messungszeit relativ stationär verbleibt). Solche statistischen Herangehensweisen können sogenannte „Stringenzkarten“ berücksichtigen, die im Einzelnen untenstehend beschrieben werden. Unter wenig idealen Aufnahmebedingungen kann es erforderlich sein, durch mehrere gemessene Augenpositionen (d. h. von einem Detektor gesammelte Bildfelder) beispielsweise das reale oder virtuelle Objekt (oder den Abschnitt eines Objekts), das von einem Benutzer angesehen wird, mit Sicherheit zu identifizieren. Diese Strategie gilt insbesondere in Situationen, in denen zwei oder mehr eng beanstandete Zielobjekte vorliegen.
In zusätzlichen beispielhaften Ausführungsformen können in Situationen von hoher Stringenz mehr Messungen während Augensignalauswahl- und Aktivierungsprozessen berücksichtigt werden. Im Gegensatz dazu können Bedingungen von geringer Stringenz gestatten, dass weniger Messungen ein vordefiniertes Konfidenzniveau erlangen, wodurch aufeinanderfolgende Augensignale schneller ausgeführt werden können. Zusätzlich zu den obenstehend beschriebenen Bedingungen, die zum Berechnen der Stringenz verwendet werden können, kann der Grad der Variation bei Messungen zu Zeiten, in denen erwartbar ist, dass die Augenposition im Wesentlichen stationär ist, verwendet werden, um einen Grad von „Rauschen“ in den Messungen zu schätzen. Wenn ein erhöhtes Rauschen vorliegt, kann die Stringenz erhöht werden, um die verminderte Sicherheit bei räumlichen Messungen zu kompensieren.
VERHINDERN VON UNABSICHTLICHEN AKTIVIERUNGEN (INADVERTENT ACTIVATIONS - IAs)
Obwohl sich die meisten Beschreibungen der Augensignalsprache auf Prozesse zum Auswählen und das Ausführen verschiedener Aktionen konzentrieren, ist auch dem Verhindern sogenannter unabsichtlicher Aktivierungen (inadvertent activations - IAs) Berücksichtigung zu schenken. IAs ergeben sich aus einer oder mehreren Augenbewegungen, die eine auszuführende Aktion verursachen, die von Seiten des Benutzers der Vorrichtung nicht beabsichtigt war. IAs können sich beispielsweise aus Augenbewegungen ergeben, die am Betrachten von Objekten aus der realen Welt beteiligt sind, welche sich mit Auswahlsequenzen überlappen und auch als solche interpretiert werden. Ein anderes Beispiel betrifft die Anzeige eines Objekts, das den Benutzer „anschreit“, wobei die Aufmerksamkeit des Benutzers eine ablenkende Augenbewegung erzeugt, die die Charakteristik einer gezielten Augenauswahl und/oder Aktivierungsabfolge nachahmt.
IAs können unter einigen Bedingungen (z. B. Spielen) einfach als lästig angesehen werden, aber in einigen Anwendungsfällen könnten IAs eine echte Gefahr darstellen mit der ausdrücklichen Notwendigkeit umgangen zu werden, beispielsweise eine IA, die die Projektion von Informationen in Bereichen einer Augmented-Reality-Anzeige aktiviert, kann das Betrachten der echten Welt verbergen. Dies hat das Potenzial, Aktivitäten zu stören oder sogar als gefährlich angesehen zu werden, beispielsweise beim Bedienen von Maschinen. Ähnlich kann eine IA die Erzeugung unerwarteter Töne ergeben, was einen Benutzer der Vorrichtung überraschen kann.
In beispielhaften Ausführungsformen können Strategien zum Verhindern von IAs als Hinzufügen von „Reibung“ zu dem Prozess des Durchführens von Auswahlen und Aktivierungen bezeichnet werden. Wie bereits beschrieben, können verschiedene Nutzungsfälle verschiedene Risiken darstellen und oder einen Verlust der Wirksamkeit auf die Folgen von IAs, und erfordern somit verschiedene Reibungsniveaus. Strategien zum Erhöhen oder Vermindern der Reibung können einzeln oder gemeinsam eingesetzt werden, um ein breites Spektrum von Reibungsniveaus zu erzeugen. Die Reibungsniveaus können für eine individuelle Auswahl und/oder Aktivierungsabfolgen voreingestellt sein, oder sie können dynamisch sein und sich aufgrund von Faktoren wie Augensignalsprachenkontext, Benutzererfahrung, eine jüngere Aufzeichnung von IAs, der Geschwindigkeit von jüngeren Augenbewegungen und dergleichen anpassen.
Wie gerade beschrieben, beinhaltet einer der einfachsten Wege, die Reibung von Augensignalen zu steuern, die Steuerung der Größe und Form von Zielbereichen für Augenbewegungen. Im Allgemeinen erhöht das Vermindern der Größe eines Zielbereichs die Reibung, was die Anzahl von IAs reduziert. Das Reduzieren der Zielgröße kann auf Kosten einer erfolglosen Vollendung einiger Auswahl- oder Aktivierungssequenzen durchgeführt werden aufgrund des „Verfehlens“ eines oder mehrerer Ziele durch Augenbewegungen. Dies wiederum kann Augensignalsprachsequenzen verlangsamen (und sie lästig werden) lassen. Somit kann zusätzlich zu den Umgebungsbedingungen (obenstehend beschrieben), welche die physische Tracking-Genauigkeit beeinträchtigen können, die Stringenz aufgrund der Anzahl von verfehlten Zielversuchen und nachfolgenden Neuversuchen (d. h. wiederholten erfolgreichen oder erfolglosen sakkadischen Bewegungen in der allgemeinen Richtung desselben Ziels) dynamisch geändert werden.
In zusätzlichen Ausführungsformen kann die Reibung, die zur Verhinderung von IAs aufgebracht wird, von einer genauen Analyse von Augenbewegungen abhängen. Das zielgerichtete Betrachten eines spezifischen Objekts an einer Position ist häufig von sogenannten korrektiven Sakkaden begleitet. Solche Sakkaden gestatten der Blickrichtung eines Beobachters, das Betrachten eines Objekts genauer ins Ziel zu nehmen. Korrektive Sakkaden zeigen eine Absicht an, ein Objekt zu betrachten, und können somit als „zielgerichtet“ interpretiert werden. Ihre Anwesenheit kann dazu verwendet werden, Reibung für eine Objektauswahl innerhalb eines Bereichs zu reduzieren.
Ähnlich unterschreiten sakkadische Augenbewegungen, die größere Entfernungen zurücklegen, häufig ihr Ziel, was korrektive Sakkaden in derselben Richtung erfordert, um sich auf eine Zielposition zu „konzentrieren“. Die Augensignalsprache kann diese Tendenz durch Extrapolieren der Trajektorie von Langstrecken-Sakkaden erkennen. Wenn eine Langstrecken-Sakkade auf ein Zielauswahlobjekt gerichtet erscheint, doch dies unterschreitet (häufig in einem Bereich von bis zu 20%), dann kann die Augensignalsprache das zu wählende Ziel berücksichtigen (d. h. Reibung reduzieren) und fortfahren, die mit der Auswahl verbundene Aktion durchzuführen. Gegebenenfalls kann das System auch bestätigen, dass sich keine möglichen Ziele zwischen der Landeposition der anfänglichen Sakkade und dem projizierten Ziel befinden, um zu bestätigen, dass die anfängliche Sakkade wahrscheinlich von einer oder mehreren korrektiven Sakkaden zu dem projizierten Ziel gefolgt wird.
Im Gegensatz dazu weisen kürzere Sakkaden eine Tendenz auf, beabsichtigte Landepositionen zu überschreiten. Ähnlich den Betrachtungen zu Langstrecken-Sakkaden kann die Augensignalsprache diese Tendenz berücksichtigen. Wenn eine Kurzstrecken-Sakkade detektiert wird und sich ein Auswahlziel innerhalb eines verkürzten Zielpfads befindet (reduziert um bis zu annähernd 20%), dann kann die Reibung reduziert werden durch Berücksichtigen des auszuwählenden Ziels und Fortfahren, die Aktion auszuführen, die mit der Auswahl verbunden ist.
Das Erkennen der Tendenz, ein Ziel aufgrund einer während einer Sakkade zurückgelegten Entfernung entweder zu unterschreiten oder zu überschreiten, kann während zielgerichteter Bewegungen, die dazu gestaltet sind, eine Absicht zu übermitteln, wie etwa Sakkaden, die hin zu Aktivierungszielen (z. B. „Gehe zu“ und „Freilegungs-“ Ziele) gerichtet sind, besonders zweckmäßig sein. Ferner, wie vorstehend beschrieben, sind Sakkaden ihrer Natur nach „ballistisch“ und gestatten das Vorhersagen der zurückgelegten Entfernung und von Landepositionen. Somit kann jede Tendenz längerer Sakkaden zum Unterschreiten und kürzerer Sakkaden zum Überschreiten auch als ein Bestandteil des schnelleren Erkennens einer Benutzerabsicht vorhergesagt werden.
In weiteren Ausführungsformen kann eine beabsichtigte Zielposition einer zielgerichteten Sakkade aufgrund der gemessenen (einschließlich der vorhergesagten) sakkadischen Landeposition und ob die Sakkade eine längere Entfernung zurückgelegt hat (z. B. >10°) berechnet werden. Wenn die Sakkade einen verlängerten Winkelabstand zurückgelegt hat (oder zurückzulegen vorsieht), dann können Auswahlziele, die sich in derselben Richtung (innerhalb eines vorbestimmten Bereichs von Richtungen) wie die gemessene Sakkade, aber über die sakkadische Landeposition hinaus (bis zu annähernd 20%) befinden, als „ausgewählt“ betrachtet werden. Eine solche Auswahl kann vor jeglichen korrektiven Sakkaden auftreten, die sich anschließend dem Ziel annähern (d. h. Zeit sparen), oder sogar, wenn die Blickrichtung des Benutzers niemals wirklich das beabsichtigte Ziel erreicht hat (d. h. gezieltes Steuern der Stringenz).
Ähnlich, wenn die Sakkade einen kurzen Winkelabstand zurückgelegt hat (oder zurückzulegen vorsieht) (z. B. <5°), dann können Auswahlziele, die sich in derselben Richtung (innerhalb eines vorbestimmten Bereichs von Richtungen) wie die gemessene Sakkade befinden, aber an denen die sakkadischen Augenbewegung vorbeigegangen ist (bis zu annähernd 20%), als „ausgewählt“ betrachtet werden. Wie soeben beschrieben, kann solch eine Auswahl vor jeglichen korrektiven Sakkaden auftreten, die sich dem Ziel annähern (d. h. Zeit sparen), oder sogar wenn die Blickrichtung das beabsichtigte Ziel niemals wirklich erreicht (d. h. gezieltes Steuern der Stringenz).
Solche Strategien können helfen, die Absicht eines Benutzers einer Vorrichtung aufgrund von gezielten Augenbewegungen genauer und schneller zu erkennen.
AUSWAHL DURCH VERFOLGEN SICH AUSDEHNENDER FUNKTIONEN
Die visuelle Auflösung wird häufig als eine Richtlinie zum Bestimmen der Funktionsgröße angezeigter Objekte (z. B. Text, Symbole, Zellen innerhalb einer Tabellenkalkulation) auf einem Bildschirm (z. B. Monitor, HMD, Tablet) verwendet. Die Blickauflösung (d. h. die Fähigkeit, eine Position aufgrund der Blickrichtung des Auges anzugeben) ist im Allgemeinen geringer als die visuelle Auflösung, oft in mindestens einer Größenordnung. Dies führt zu einem Bedarf nach spezifischen Strategien innerhalb der Augensignalsprache in Situationen, in denen eine oder mehrere Augensignal-Positionsauswahlen aus Funktionen oder Objekten vorgenommen werden müssen, die bemessen sind, sich innerhalb der visuellen Auflösung eines Benutzers zu befinden, aber geringer sind als eine Blickauflösung eines Benutzers. Diese Situation kann beispielsweise beim Bearbeiten von Zellen innerhalb einer Tabellenkalkulation, dem Einfügen von Objekten in eine 1-dimensionale Liste oder eine 2-dimensionale Anordnung von Icons oder dem Ersetzen eines Wort innerhalb einer Textzeichenkette auftreten.
Die Detektion und Verwendung von Augenbewegungen ist besonders wirkungsvoll in diesen beispielhaften Situationen, wenn sie mit anderen Eingabemodi wie jenen, an denen die Verwendung einer Tastatur oder eines Mikrofons beteiligt ist, kombiniert wird. Beispielsweise kann beim Eingeben von Werten in eine Tabellenkalkulation oder eine Liste die Effizienz der Dateneingabe stark verbessert werden, indem den Augen gestattet wird, Positionen innerhalb der Tabellenkalkulation oder der Liste anzugeben, während die Dateneingabe aus der koinzidenten Modalität (z. B. Schreiben oder Stimme) extrahiert wird.
In beispielhaften Ausführungsformen beinhaltet ein Verfahren zum Gestatten von Augensignalauswahlen in Situationen, in denen auswählbare Funktionen kleiner sind als die Blickauflösung das Ausdehnen oder progressive „Einzoomen“ des betrachteten Gebiets. Die Ausdehnung umfasst eine stufenweise Zunahme der Vergrößerung, die innerhalb einer Videosequenz so vorgenommen wird, dass Bereiche und Objekte im betrachteten Gebiet in Geschwindigkeiten vergrößert werden, die innerhalb der Fähigkeit einer Person liegen, einem spezifischen Objekt oder einem sich erweiternden Bereich zu folgen unter Verwendung von langsamen Augenfolgebewegungen, Abfolgen von kurzen verfolgenden sakkadischen Augenbewegungen oder einer Verbindung aus beidem. Anders ausgedrückt ist die Videoanzeige der Ausdehnungsgeschwindigkeit eines Gebiets derart begrenzt, dass sich Objekte oder Punkte in dem Gebiet in Radialgeschwindigkeiten bewegen, denen leicht mit Augenbewegungen zu folgen ist. Grundsätzlich wird dadurch der Bewegung von Objekten innerhalb des sich ausdehnenden Gebiets eine Grenze auf Geschwindigkeiten von weniger als annähernd 30°/Sekunde gesetzt.
Während der Zeit, in der die Ausdehnung oder Vergrößerung eines Gebiets vorgenommen wird, kann ein Objekt innerhalb des Gebiets von dem Benutzer verfolgt werden, um eine Auswahl des Objekts anzuzeigen. Die Auswahl kann vorgenommen werden, sobald ein Objekt für eine vorbestimmte Zeit oder Entfernung verfolgt wurde, oder die Auswahl kann vorgenommen werden bei Ausführen eines anderen Hinweises auf eine Absicht wie etwa durch einen Schalter, Tastendruck oder ein von dem Benutzer erzeugtes hörbares Signal (z. B. Stichwort, Wortgruppe, Klick).
Die 30A und 30B zeigen den Prozess des Auswählens einer spezifischen „Zelle“ innerhalb einer Tabellenkalkulation 700 unter Verwendung von Nachverfolgung während der Ausdehnung. Wie in 30A dargestellt, besteht die beispielhafte Tabellenkalkulation 700 aus einer großen Zahl von Elementen oder „Zellen“ 701, die (in diesem Fall) Dollarwerte enthalten. Die Größe der einzelnen Zellen innerhalb der Tabellenkalkulation 700 ist geringer als die Auflösung, in der ein Blick eines Benutzers innerhalb einer praktischen Zeitspanne (z. B. <1 Sekunde) gemessen werden kann. Eine Schätzung der Blickposition des Auges (dargestellt durch eine sphärische Scheibe 702a) liegt grob in dem Bereich, der zwei (2) Zellen nach unten und zwei (2) Zellen links von der oberen linken Ecke der Tabellenkalkulation 703 liegt. Die Identifizierung einer spezifischen Zelle zum Bearbeiten (oder zu anderen Zwecken) ist zu dieser Zeit nicht möglich.
Der Bereich um die Position des geschätzten Blicks des Auges 702a herum wird anschließend in einer Geschwindigkeit ausgedehnt, die die Nachverfolgung einzelner Objekte gestattet. 30B zeigt einen einzelnen Rahmen während des Ausdehnungsprozesses. Das vergrößerte Gebiet 704 enthält Elemente und Objekte innerhalb eines Abschnitts der ursprünglichen Tabellenkalkulation 700. In dieser Darstellung wird die allgemeine Richtung der Augenbewegungen, um eine spezifische Zelle innerhalb der Tabellenkalkulation nachzuverfolgen, mit einem Pfeil 705 angezeigt. Diese Nachverfolgung durch das Auge des Benutzers gestattet die Identifikation einer spezifischen Zelle innerhalb der Tabellenkalkulation 706a, die z. B. den Wert 5,98$ enthält. Sobald sie identifiziert ist, kann die Zelle von dem Benutzer anschließend wie gewünscht modifiziert werden (z. B. gelöscht, bearbeitet, kopiert, eingefügt).
Da sich Objekte und Funktionen innerhalb eines sich stufenweise ausdehnenden Gebiets von der Mitte der Ausdehnung weg bewegen, können sie beginnen, auf der Anzeige Entfernungen zurückzulegen, die eine maximale Geschwindigkeit zur Nachverfolgung überschreiten. Um diesen Zustand zu beherrschen, kann die Ausdehnungsgeschwindigkeit oder das „Zoomen“ als eine Funktion der Zeit variiert werden, gegebenenfalls auch andere Faktoren wie etwa die Funktionsgröße und ihre relative Position innerhalb des Gebiets sowie Benutzererfahrung und/oder -einstellungen. Beispielsweise kann durch Verlangsamen der Ausdehnungsgeschwindigkeit zu späteren Zeiten während eines Vergrößerungsprozesses die Geschwindigkeit von Objekten in der Nähe der Peripherie eines eingezoomten Bereichs darauf beschränkt werden, innerhalb von physiologischen Grenzen des Eye-Tracking zu liegen aufgrund von langsamer Nachverfolgung und/oder kurzen Abfolgen von Sakkaden.
In zusätzlichen beispielhaften Ausführungsformen kann die Geschwindigkeit der Ausdehnung in verschiedenen Richtungen ebenfalls variieren. Beispielsweise ist für die meisten Benutzer die Reichweite von Augenbewegungen auf der Horizontalachse größer als in der vertikalen Richtung. Somit kann die Ausdehnung eines Bereichs auf der Horizontalachse im Vergleich mit der vertikalen Richtung größer sein. Ähnliche Strategien können beim Ausdehnen von Bereichen nahe der Ränder oder Ecken eines angezeigten Gebiets oder eines Bereichs der fovealen Sicht eines Benutzers eingesetzt werden. Die Seite oder das Gebiet nahe eines Randes oder einer Ecke kann beispielsweise im Vergleich mit anderen Richtungen langsamer ausgedehnt werden, was zu einer erhöhten Anzeigezeit führt, in der der Benutzer eine Auswahl eines Objekts treffen kann, bevor das Objekt das anzeigbare Gebiet verlässt.
Zusätzlich zu den Geschwindigkeiten und dem Radialprofil der Ausdehnung ist eine andere Hauptvariable zum Lenken des Ausdehnungsprozesses ein Mittelpunkt der Ausdehnung. In beispielhaften Ausführungen kann die Mitte Folgendes sein:

• eine aktuelle Blickposition,
• ein laufender Mittelwert (oder eine andere statistische Herangehensweise) jüngerer Blickpositionen, oder
• ein vorher spezifiziertes Gebiet wie etwa ein während eines sogenannten „Freilegungs“-Vorgangs identifizierter Ort.

Ungeachtet des obenstehend beschriebenen Verfahrens zum Anzeigen eines Bereiches für die Ausdehnung kann der Kontext von Objekten auf der Anzeige auch verwendet werden, um eine Position als Zentrum der Ausdehnung anzupassen oder „fein einzustellen“. Solche Anpassungen können vorgenommen werden, um zu ermöglichen, dass vollständige Objekte (im Gegensatz zu Abschnitten von Objekten, die in der Mitte zum Zweck der Ausdehnung auseinandergestreckt wurden) von einer anfänglichen Blickrichtung des Benutzers aus als sich in verschiedenen Richtungen nach außen radial ausdehnend angezeigt werden können.
Eine Anpassung des Mittelpunkts für die Ausdehnung kann ebenfalls vorgenommen werden, um zu gestatten, dass jedem der sich ausdehnenden Objekte (gleich gut) durch radial auswärts gerichtete Augenbewegungen gefolgt werden kann. Die Anpassung kann Situationen verhindern, in denen es wahrscheinlicher oder schwieriger wäre, ein spezifisches Objekt auszuwählen, da es sich nicht bewegt (d. h. es befindet sich m Mittelpunkt), es innerhalb von einer Anzahl sich in der Nähe befindlicher auswählbarer Objekte zusammengedrängt ist oder sich am Anfang weiter von der Blickrichtung des Benutzers entfernt befindet.
Eine Anpassung des Mittelpunkts für die Ausdehnung kann leicht während des Prozesses zum Auswählen einer spezifischen Zelle innerhalb einer Tabellenkalkulation aus Zellen dargestellt werden. Durch das Anpassen des Mittelpunkts für die Ausdehnung zwischen Zellen der Tabellenkalkulation sowohl horizontal als auch vertikal (im Gegensatz zu innerhalb des Gebiets einer einzelnen Zelle) können dann die auswählbaren Zellen radial von der ungefähren Blickposition des Benutzers ausgedehnt werden. Als ein Beispiel kann eine Anpassung des Mittelpunkts für die Ausdehnung von der Blickposition des Benutzers 702a auf die nahe Schnittstelle horizontaler und vertikaler Zellgrenzen 702b innerhalb der Tabellenkalkulation 700 eingestellt werden, die als 30A gezeigt ist. Wie in 30B gezeigt, kann jede der Zellen 706a, 706b, 706c, 706d, die diese Schnittstelle 702b berühren (wie auch andere weiter entfernte Zellen) während des Ausdehnungsprozesses nachverfolgt und somit ausgewählt werden.
Die Fähigkeit, eine Auswahl durch Nachverfolgen eines Objekts innerhalb eines sich ausdehnenden Gebiets zu spezifizieren, ist ein Grundelement der Augensignalsprache. Die Strategie kann sogar in Situationen angewendet werden, die nicht als besonders kompatibel mit der Augensignalsprache konzipiert sind. Ein Benutzer kann beispielsweise beim Durchsuchen einer Seite im Internet (die ohne Berücksichtigung für die Augensignalgebung gestaltet wurde) den Wunsch nach Ausdehnung und/oder Auswahl innerhalb eines spezifischen Gebiets verspüren, wobei das Gebiet eine oder mehrere Auswahlen, Hyperlinks und/oder Dateneingabepunkte enthalten kann. Durch Verwenden von Augenbewegungen zum Nachverfolgen eines gewünschten Elements während des Ausdehnungsprozesses kann die gewünschte Auswahl, Hyperlink oder Dateneingabepunkt anschließend aktiviert werden.
Sobald eine Auswahl aus einem sich ausdehnenden Gebiet getroffen wurde, besteht eine Anzahl möglicher Rückmelde-Modalitäten (abhängig vom Kontext), um mit Benutzerinteraktionen fortzufahren:

• Die Anzeige kann sofort zu ihrer Form vor der Ausdehnung zurückgeführt werden und ein Hinweis (z. B. Änderung des Hintergrunds, Farbe, Helligkeit) kann gegebenenfalls enthalten sein, um das ausgewählte Element zu bezeichnen.
• Das ausgedehnte Gebiet kann solange ausgedehnt bleiben, bis eine Eingabe (z. B. eine Zelle innerhalb einer Tabellenkalkulation, Text) beendet wurde.
• Zusätzliches Bewegen, Ausdehnen und/oder auswählbare Objekte, die weitere Auswahlen (d. h. sogenannte Untermenü-Auswahlen) gestatten, können innerhalb des ausdehnbaren Bereichs eingefügt werden.
• Der Bildschirminhalt kann als Ergebnis der Auswahl zu einer separaten Anzeige umschalten.

AUGENAUSWAHLEN, ERWEITERT DURCH ÜBERLAGERTE MARKER
In weiteren beispielhaften Ausführungsformen können überlagerte Marker und hilfsweise Eingaben mit gemessenen Blickpositionen gekoppelt werden, um Benutzerauswahlen und/oder Aktivierungen effizient durchzuführen, um das Thema der Diskrepanz zwischen exquisiter visueller Auflösung und der relativ wesentlich geringeren Auflösung der Nachverfolgung von Blicken anzusprechen. Hilfsweise Eingaben können in der Form jeder Vorrichtung, die in der Lage ist, eine 1-von-N-Auswahl anzugeben, wie etwa eine Tastatur, ein Tastenfeld, eine Computermaus, ein Trackball, eins aus einem Satz Schlüsselwörter, die während einer Stimmerkennung identifiziert wurden, Schalter, Kopfnicken, Finger- oder Handgesten und dergleichen vorliegen.
Der Blick kann verwendet werden, um eine allgemeine Position des Interessenbereichs eines Benutzers innerhalb einer Anzeige zu spezifizieren. Die Fähigkeit, einen solchen Bereich unter Verwendung von Augenbewegungen zu spezifizieren, nutzt die Fähigkeit der Augen, eine solch allgemeine Position bei minimaler mentaler Belastung schnell (d. h. bei Winkelgeschwindigkeiten von bis zu 900°/Sek.) anzuzeigen. Wenn die allgemeine Position nur ein einziges auswählbares Element enthält, kann die Aktivierung unter Verwendung einer typischen Aktivierungssequenz innerhalb der Augensignalsprache (z. B. sogenannte „Los“- oder „Freilegungs“-sequenzen fortfahren. Wenn jedoch mehrere Auswahlen innerhalb eines Blickbereichs möglich sind, der die Auflösung des Gaze-Tracking überschreitet oder nahe daran ist, müssen zusätzliche Schritte von dem Benutzer unternommen werden, um eine spezifische Auswahl anzuzeigen. Beispiele, in denen diese Situation auftreten kann, beinhalten eine oder mehrere Zellen innerhalb einer Tabellenkalkulation, eine Position (z. B. zum Löschen oder zum Einsetzen) innerhalb eines Textkörpers, ein Raster von Vorschaubildern oder Icons, eine Anordnung von Wortauswahlen, eine Checkliste oder eine andere Reihe von Elementen, ein Aufklappmenü und dergleichen.
Der allgemeine Bereich eines Blicks auf einer Anzeige, die mehrere mögliche Auswahlen enthält, kann als „Kandidatenfixierungsgebiet“ (candidate fixation area - CFA) bezeichnet werden. Sobald der Benutzer ein solches CFA kurz fixiert, können Marker über alle möglichen Auswahlen innerhalb des CFA gelegt werden. Der Einfachheit halber werden Marker als „übergelagert“ bezeichnet; Marker können jedoch auch teilweise transparent gemacht werden, über den Hintergrund gelegt werden, aus Farben oder aus mit Objekten innerhalb des CFA kontrastierenden Lichtstärken bestehen, nur im Umriss gezeigt werden und/oder ähnliche Verfahren zum Anzeigen von Markern, ohne Objekte innerhalb des CFA vollständig zu verdunkeln.
Alternativ dazu kann jedes von dem Benutzer erzeugte Signal verwendet werden, um den Überlagerungsprozess einzuleiten. Beispiele für solche Signale beinhalten Drücken jeder Taste (z. B. der Leertaste) auf einer Tastatur, Vokalisieren eines Schlüsselworts, Drücken eines Schalters und dergleichen.
Beispiele für CFA überlagerte Marker beinhalten numerische Ziffern, Zeichen, spezielle Funktionen (dargestellt auf den meisten Tastaturen), Richtungspfeile, Symbole, Flecken aus ausgeprägten Farben, Töne darstellende Objekte und dergleichen. Die Auswahl eines spezifischen Elements innerhalb des CFA, gegebenenfalls kombiniert mit der Aktivierung eines nachfolgenden Ereignisses, wird durch Spezifizieren einer Auswahl aufgrund des überlagerten Markers, der über dem gewünschten Element liegt, durchgeführt. Wenn beispielsweise die überlagerten Marker numerische Ziffern beinhalten, dann zeigt das Schreiben der Ziffer (z. B. auf einer Tastatur oder einem numerischen Keypad), die eine gewünschte Auswahl überlagert, an, dass ein Auswahlprozess gewünscht ist und welches Element (d. h. unter der überlagerten Ziffer) gewünscht ist.
Alternativ dazu oder in Kombination damit können Auswahlen getroffen werden durch Anschlagen der Tasten, die überlagerten Zeichen oder Farben entsprechen, oder durch Vokalisieren eines Tons, der einem überlagerten Symbol oder Wort entspricht. In dem Fall, in dem Symbole Richtungen darstellen (z. B. links, rechts, oben links usw.) kann jede spezifische Taste (z. B. sogenannte „Pfeil“-Tasten) verwendet werden, oder jede Anzahl von Tasten kann zum Anzeigen einer gegebenen Richtung verwendet werden. Als ein Beispiel für den letzteren Fall, falls ein überlagertes Symbol eine Richtung nach oben rechts anzeigt, dann könnten Tasten auf einer standardmäßigen, sogenannten „QWERTY“-Tastatur, die zum Anzeigen einer obenrechts-Auswahl verwendet werden können, eine „P“- oder eine „O“-Taste (d. h. die im Bereich oben rechts angeordnet sind), sein.
31 zeigt ein Beispiel für ein 3x3-Raster 750 von neun Wortauswahlen, die beispielsweise verwendet werden können, um Zeichensatzmerkmale und fließendes Ausschneiden und Einfügen während der Entstehung eines Textdokuments zu steuern. In diesem beispielhaften Fall könnte das CFA-Raster 750 von neun Auswahlen routinemäßig in einem kleinen unauffälligen Bereich einer Anzeige verfügbar gemacht werden. Die Unsicherheit in der gemessenen Position der Blickrichtung, dargestellt als eine kreisförmige „Wolke“ 752 überschreitet die Größe eines einzelnen Auswahlelements (z. B. 751a) innerhalb dieses Rasters 750. Somit kann auf der Basis der Messung einer einzigen Augenbewegung keine Auswahl getroffen werden.
31B zeigt neun auswählbare Ziffern (z. B. 753a, 753b), die über das CFA-Raster 750 gelegt sind, das in 31A dargestellt ist. Markerziffern (z. B. 753a, 753b) sind in derselben Gestaltung angeordnet wie ein übliches numerisches Tastenfeld. In alternativen beispielhaften Ausführungsformen, in denen kein Tastenfeld oder keine Tastatur verfügbar sind, könnte die Ziffer gesprochen werden und anschließend unter Verwendung von im Fachgebiet wohlbekannten Stimmerkennungsverfahren erkannt werden. Die Auswahl der einen von neun Ziffern ergibt die auszuführende Aktion, die mit dem Wort unter der überlagerten Zahl verbunden ist. Beispielsweise, wenn unter Verwendung der in 31B dargestellten Tabelle eine „7“ angezeigt wäre 753b, dann würde das „Fettdruck“-Attribut 754b für anschließende Texteingabe ein- oder ausgeschaltet. In ähnlicher Weise, wenn eine „1“ angegeben wäre 753a, dann würde das System ein Zeichen oder ein Wort während der Texteingabe „löschen“ 754a.
31C zeigt einen alternativen Satz von Symbolen, die über das CFA-Raster 750 der 3x3 Auswahlen gelegt ist, das in 31A dargestellt ist. In diesem Fall sind Richtungspfeile (z. B. 755a) über mögliche Auswahlen gelegt. Eine individuelle Auswahl kann anschließend durch Drücken individueller Tasten vorgenommen werden, die mit Pfeilrichtungen verbunden sind, oder durch Drücken jeder Taste, die sich in der Richtung des Pfeils relativ zu einem Bezugspunkt auf der Tastatur oder einer anderen Dateneingabevorrichtung befindet. Wenn beispielsweise die Mitte einer standardmäßigen QWERTY-Tastatur als Bezug verwendet wird, dann kann eines der Zeichen „A“ oder „S“ verwendet werden, um eine weit links stehende Auswahl anzuzeigen, die mit der „Durchstreichen“- 756-Funktion innerhalb des CFA-Rasters verbunden ist, das in 31C dargestellt ist.
Sobald eine Auswahl getroffen wurde, kann man überlagerte Marker verschwinden lassen und/oder zusätzliche Einträge können dem ausgewählten Element unter Verwendung derselben Tastatur oder hilfsweisen Vorrichtung als Eingabe zugeführt werden. Beispielsweise können alphanumerische Zeichen in eine ausgewählte Zelle innerhalb einer Tabellenkalkulation als Teil eines Dateneingabeprozesses eingegeben werden. Überlagerte Marker können auch entfernt werden, nachdem sie für einen vorbestimmten Zeitraum (d. h. falls kein Auswahlprozess eingeleitet wurde) angezeigt wurden oder falls der Benutzer zu einem anderen Bereich auf der Anzeige blickt.
In zusätzlichen Ausführungsformen kann jedes überlagerte Symbol mit mehreren Auswahlen verbunden werden, entweder durch Wiederholen des Symbols an mehreren Positionen auf der Anzeige oder durch Überlagern eines (großen) Symbols über mehrere auswählbare Elemente. In diesem Fall können mehrere Aktionen durchgeführt werden (z. B. falls die auswählbaren Elemente Aktionen darstellen) oder eine Aktion kann auf mehrere Elemente angewendet werden. Augenauswahlen, die durch überlagerte Marker erweitert werden, können auch anschließend jede Anzahl von Malen wiederholt werden.
AUGENBEWEGUNGS-KALIBRIERUNG UNTER EINBEZIEHUNG VON BESTIMMUNGEN FÜR DIE AUGENDOMINANZ
Ein Hauptbestandteil der Kalibrierung ist die Ausbildung eines Abbildungsschemas (z. B. eine oder mehrere mathematische Funktionen, Nachschlagetabellen, Interpolationsstrategien) zum Umwandeln der Positionen einer oder mehrerer Funktionen (z. B. Pupille, Limbus corneae) eines oder beider Augen in Blickpositionen auf einer Anzeige (z. B. HMD, mobile Vorrichtung, Fernmonitor) oder innerhalb der Umgebung in der realen Welt des Benutzers der Vorrichtung. Kalibrierungsmodelle können auf anatomischen Modellen eines oder beider Augen beruhen zusätzlich zu bekannten oder gemessenen relativen Positionen von Beleuchtungsquellen, Bezugsobjektpositionen und/oder Kameras, die auf Headwear oder anderswo angeordnet sind. Parameter innerhalb solcher anatomischer Modelle können aufgrund von Bevölkerungsdurchschnitten, Schätzungen aufgrund bekannter Merkmale eines Benutzers der Vorrichtung (z. B. Alter, ethnischer Herkunft), gemessenen Merkmalen des Benutzers der Vorrichtung (z. B. während Kalibrierungsvorgängen) oder Kombinationen dieser Modelle zugeordnet werden.
In beispielhaften Ausführungsformen ist es in den meisten Aufzeichnungssituationen möglich, wenn beide Augen nachverfolgt werden, die Augendominanz in der Kalibrierung und Blick-Nachverfolgungs-Modelle zu berücksichtigen. Augendominanz ist die Neigung, die visuelle Eingabe von einem Auge zugunsten des anderen Auges zu verwenden. Bei annähernd 70% der Bevölkerung dominiert das rechte Auge, wobei ein Zusammenhang zwischen Augen- und Handdominanz besteht. In einigen Fällen (z. B. Kreuzdominanz von Augen und Hand zum Schießen oder Schlagen eines Baseballs) ist es möglich, die Augendominanz einer Person unter Verwendung von Augenklappen oder Lichtdiffusoren zu modifizieren. Bei annähernd 30% der Bevölkerung dominiert das linke Auge. Eine kleine Anzahl von Personen zeigt keinerlei Augendominanz.
Die extremste Form der Augendominanz tritt auf beim Schauen in extremen Winkeln, wobei der Nasenrücken die Sicht des Auges, das sich am weitesten vom betrachteten Bereich entfernt befindet, physisch blockieren kann. Bei den meisten Personen jedoch kann die Augendominanz wechseln, lange bevor solche Winkel erreicht werden. Im Falle einer Person, bei der üblicherweise das rechte Auge dominiert, kann die Dominanz zum linken Auge wechseln, wenn sie links von der Mitte des Sichtfelds schaut. Ähnlich können Personen, bei denen üblicherweise das linke Auge dominiert, im Bereich rechts der Mitte des Sichtfelds zum Schauen mit dem rechten Auge wechseln. Im Durchschnitt tritt ein Wechsel von normaler Dominanz zum gegenüberliegenden Auge annähernd 15° von der Mitte des Sichtfelds auf, obwohl personenabhängig große Unterschiede bestehen.
Falls die Augendominanz nicht berücksichtigt wird, dann können Objekte, die von dem Benutzer mental ausgewählt werden, falsch identifiziert werden, wenn die Blickrichtung aufgrund eines Vektors, der aus dem nicht dominanten Auge oder aus einer Position zwischen den Augen oder um beide Augen herum stammt, bestimmt wird. Solche Betrachtungen sind insbesondere wichtig für augennahe Anzeige(n), Beleuchtungsvorrichtung(en) und Detektor(en), die innerhalb von am Körper tragbaren Vorrichtungen zur Blick-Nachverfolgung (=Tracking) verwendet werden. Aktuell verfügbare Eye-Tracking-Systeme können einen (in einigen Fällen gewichteten) Durchschnitt der Ergebnisse von Messungen linker und rechter Augenmessungen verwenden. Diese Systeme berücksichtigen die räumliche Abhängigkeit (insbesondere in der horizontalen Achse) der Augendominanz nicht. Somit müssen sowohl die Kalibrierung und die anschließende Bestimmung von Blickpositionen die Augendominanz als eine Funktion der Blickposition berücksichtigen und die großen Unterschiede unter den Einzelpersonen für eine genaue (z. B. <2°) Blickbestimmung mit berücksichtigen.
In beispielhaften Ausführungsformen kann das kontinuierliche Tracking eines sich bewegenden Objekts in einem Muster für Folgendes verwendet werden: 1) Bestimmen von Parametern für das Abbildungsschema (obenstehend beschrieben), das während der Kalibrierung eingesetzt wird, und 2) Bestimmen der Position jeglicher Übergangszone(n), in denen die Dominanz von einem Auge zum anderen wechselt. Die folgenden aus einem Mittelpunkt, der er sich um eins oder mehrere aus einer großen Bandbreite aus Mustern wie etwa ein Kreis, Rechteck, eine Reihe Liniensegmente, einem Polygon, oder einem Polygon mit abgerundeten Ecken bewegt, können verwendet werden.
32 stellt das Tracking eines Mittelpunkts innerhalb des Musters eines „Unendlichkeitssymbols“ (auch bekannt als „Lemniskate“ und von einigen als „liegende 8“ bezeichnet) dar. Der Pfad der Lemniskate, dargestellt durch eine gestrichelte Linie 720 in 32, nutzt den Vorteil eines im Allgemeinen größeren Bereichs von Augenbewegungen, die in horizontaler Richtung verfügbar sind, indem mehr Punkte innerhalb der horizontalen weiter entfernten Bereiche der Anzeige 721 gesetzt werden. In diesem Beispiel wird der Benutzer der Vorrichtung angewiesen, dem mittleren Bereich einer sich bewegenden Scheibe 723, die einen hochkontrastierenden Mittelpunkt beinhaltet, zu folgen. Der Mittelpunkt hilft, die Aufmerksamkeit des Benutzers auf das genaue Zentrum der sich bewegenden Scheibe 723 zu lenken. Der Benutzer der Vorrichtung folgt (dargestellt durch den Pfeil 724) der Lemniskate 720 über eine oder mehrere Wiederholungen des Musters hindurch. Die Bewegungsgeschwindigkeit des Mittelpunkts kann eine vorbestimmte Konstante sein oder als eine Funktion der Zeit und/oder des Orts variieren, um beispielsweise langsamere Augenbewegungen in den weiter entfernten Bereichen der Anzeige 721 zu gestatten.
Eine Kurvenanpassung kann verwendet werden, um „optimale“ Parameter zwischen einer Abbildungsfunktion zu bestimmen, welche die gemessene Augenposition (z. B. die Mitte der Pupille oder des Limbus) auf die Position auf der Anzeige überträgt. Bei Abbildungsfunktionen kann es sich beispielsweise um lineare Ausdrücke mit einem eingeschränkten Drehbereich, polynomische Ausdrücke usw. handeln. Eine Kurvenanpassung unter Verwendung von Verfahren wie etwa dem Gradientenverfahren sind im Fachgebiet wohlbekannt.
Während der Kalibrierung verläuft das Eye-Tracking als eine Funktion der Zeit, wobei die Koordinaten des angezeigten Musters (x, y) wie folgt ausgedrückt werden können: $(x, y) = f (t)$
wobei f(t) ein Ausdruck ist, der das Tracking-Muster (z. B. Lemniskate, Kreis, Rechteck) definiert. Sehr ähnlich wie beim obenstehend beschriebenen Tracking eines Objekts innerhalb eines sich ausdehnenden Bereichs ist die Geschwindigkeit des Ziels derart beschränkt, dass dem Ziel unter Verwendung von langsamen Augenfolgebewegungen, einer Reihe kurzer nachverfolgender sakkadischer Augenbewegungen oder einer Kombination der beiden gefolgt wird.
Ungeachtet des Tracking-Musters und -Geschwindigkeit besteht eine Verzögerung zwischen der Zeit, in der ein Tracking-Ziel (723 in 32) angezeigt wird, und der Zeit, in der eine visuelle Reaktion des Benutzers der Vorrichtung registriert werden kann. Diese Verzögerung Δt beinhaltet nicht nur jegliche Hardware- und Software-Verzögerungen beim Erfassen der Augenpositionskoordinaten (x_i, y_i) aus Bildern, sondern beinhaltet auch „biologische“ Verzögerungen beim Übermitteln von auf der Netzhaut detektierten Signalen an den visuellen Cortex über den Sehnerv, die Wahrnehmungszeit des Benutzers der Vorrichtung, um visuelle Information zu verarbeiten, die Zeit, motorische Signale an die Muskeln zu senden, welche die bzw. das Auge(n) bewegen, und die Zeit der Muskeln, Kraft zu entwickeln und Augenbewegungen zu erzeugen, die anschließend detektiert werden können. Zielaugenpositionskoordinaten (x_t, y_t) können wie folgt ausgedrückt werden: $(x_{t}, y_{t}) = f (t - Δ t)$
Somit ist zusätzlich zu den zum Abbilden von Augenpositionsmessungen in Blickpositionen verwendeten optimalen Parametern die Systemverzögerung Δt zu Beginn unbekannt. In beispielhaften Ausführungsformen kann, um eine anfängliche Kurvenanpassung durchzuführen, Δt einem Anfangswert (z. B. 30 Millisekunden) zugeordnet werden, der auf einem Systemdurchschnitt beruht. Dies gestattet, dass eine Kurvenanpassung zwischen erfassten Augenpositionskoordinaten (x_i,y_i) und Anfangszielkoordinaten (x_t,y_t) durchgeführt wird. Falls gewünscht, können zugeordnete Augenpositionskoordinaten (x_i,y_i) über die Trackingmusteranzeige gelegt werden, wie in 32 dargestellt, wobei die Positionen beispielhaft zugeordneter Koordinaten durch mehrere X 722 dargestellt werden.
Durch Berechnen der Kreuzkovarianz zwischen dem angezeigten Zielmuster (x, y) und entsprechenden zugeordneten Koordinaten kann die Systemverzögerung Δt aus der (falls gewünscht, gemittelten) Spitze der Kreuzkovarianz gemessen werden. An diesem Punkt können zugeordnete Ausreißer-Blickpositionen (z. B. die größer sind als das Doppelte der Standardabweichung aller Messungen vom angezeigten Ziel) unberücksichtigt bleiben. Der Eliminierungsprozess berücksichtigt sowohl die Zeit (d. h. f(t-Δt)) und die Entfernung zwischen dem Ziel und den zugeordneten Blickkoordinaten. Ein Prozess des Wiederbestimmens der Parameter eines Optimums und Wiedererstellens der Systemverzögerung mit unberücksichtigten Ausreißern kann so häufig wie gewünscht wiederholt werden, um Ausreißer-Messungen zu eliminieren, die beispielsweise aufgrund von Lidschlägen, ungenauen Eye-Tracking-Messungen und/oder Unaufmerksamkeit seitens des Benutzers der Vorrichtung entstanden sind.
In beispielhaften Ausführungsformen kann der gerade beschriebene Prozess separat für das linke und das rechte Auge durchgeführt werden. Um zu gewährleisten, dass nur ein linkes oder ein rechtes Auge verwendet wird, kann die Anzeige des Ziels nur auf ein Auge zu einem Zeitpunkt projiziert werden, oder die Sicht des nicht auf das Ziel gerichteten Auges kann blockiert werden. Das Nettoergebnis ist ein Satz von Kalibrierungsparametern (und mehreren Δt), um das linke und das rechte Auge separat in Anzeigekoordinaten abzubilden.
Um eine genaue Kalibrierung zu gewährleisten, können Tracking-Muster so häufig wie gewünscht wiederholt werden, um zusätzliche Datenpunkte für die Kurvenanpassung zu erfassen. Die Wiederholung von Zielmustern kann von der Genauigkeit der Kurvenanpassung (z. B. wie mit einem Korrelationskoeffizienten gemessen) und/oder der Anzahl unberücksichtigter Ausreißer abhängen.
In zusätzlichen beispielhaften Ausführungsformen kann das Ziel anschließend gleichzeitig auf beide Augen projiziert werden. Wenn dies durchgeführt wird, kann eine Bestimmung vorgenommen werden, ob die Augenposition und die Kalibrierung für das linke Auge, oder die Augenposition und die Kalibrierung für das rechte Auge (auch unter Berücksichtigung von Δt) dem angezeigten Zielmuster besser entsprechen. Aufgrund solcher Vergleiche kann eine visuelle „Abbildung“ konstruiert werden, die die Augendominanz innerhalb verschiedener Bereiche einer Anzeige zeigt.
33 stellt ein Beispiel einer Abbildung der visuellen Dominanz dar, wobei die Position einer Blickprojektion durch das linke Auge, die besser zu seiner entsprechenden Position innerhalb des Zielmusters 730 passt, mit einem „L“ 732a dargestellt ist. Jede Blickprojektion durch das rechte Auge, die besser zu ihrer entsprechenden Zielposition 730 auf der Anzeige 731 passt, ist durch ein „R“ 732b dargestellt. In 33 gibt es drei (3) unterschiedliche Bereiche, in denen:

1. Messungen und Kalibrierungen des linken Auges Zielpositionen 734a genauer abbilden,
2. Messungen und Kalibrierungen des rechten Auges Zielpositionen 734c genauer abbilden, und
3. eine „Übergangszone“, in der die Augendominanz gemischt erscheint 734b.

Die Identifizierung solcher Augendominanzbereiche gestattet, dass Abbildungsvorgänge von der Position des Auges unabhängig sind. Falls eine Position eine Zone des linken Auges abbildet, dann kann eine Kalibrierung des linken Auges verwendet werden. Falls eine Position eine Zone des rechten Auges abbildet, dann kann eine Kalibrierung des rechten Auges verwendet werden. Obwohl in 33 nicht dargestellt, kann die vertikale Augenposition auch beim Bestimmen von verschiedenen Zonen berücksichtigt werden. Zusätzlich gibt es einige empirische Nachweise dafür, dass die Merkmale angesehener Objekte (z. B. Größe, Leuchtkraft) die Augendominanz beeinflussen können. In Situationen, in denen diese bekannt sind (z. B. wenn gesteuert) innerhalb einer Anzeige, können diese Anzeigemerkmale auch beim Bestimmen, ob eine Kalibrierung des linken oder des rechten Auges verwendet werden soll, berücksichtigt werden. Diese Berücksichtigungen können insbesondere beim Gestalten und Anzeigen von Aktivierungszielen wichtig sein, wie hier an anderer Stelle beschrieben.
Wie in 33 dargestellt, kann die Wahl eines Kalibrierungsprozesses des linken oder des rechten Auges innerhalb einer Übergangszone nicht sofort ersichtlich sein. In beispielhaften Ausführungsformen kann eine Anzahl von Strategien innerhalb von jeglichen Übergangszonen verwendet werden:

1. Wie in 33 dargestellt, kann eine horizontale Position (d. h. eine vertikale Linie 735) berechnet werden, die die Gesamtzahl von „L“-Darstellungen 733a zur Rechten der Linie und „R“-Darstellungen 733b zur Linken der Linie minimiert. Diese Position wird als eine Schwelle verwendet, um die Dominanz des linken Auges gegenüber der des rechten Auges zu unterscheiden.
2. Falls sich links- und rechtsseitige Auswahlmuster innerhalb der Übergangszone befinden, kann sowohl das links- und das rechtsseitige Abbilden berechnet werden. Falls eines davon zu einer Auswahl führt, kann die ausgewählte Aktion durchgeführt werden. Dieses Modell kann zu einer leichten Zunahme unbeabsichtigter Aktivierungen führen.
3. Eine Durchschnittsposition kann verwendet werden aufgrund von sowohl links- als auch rechtsseitigen Kalibrierungen.
4. Ein gewichteter Durchschnitt kann verwendet werden, wobei das Gewichten einer linksgegenüber einer rechtskalibrierten Position von der Verteilung von „L“- und „R“-Positionen während der Kalibrierung in den Bereichen, auf die durch linksseitige und rechtsseitige Abbildung gezeigt wird, abhängt.

BLICK-KALIBRIERUNG UNTER EINBEZIEHUNG DER VISUELLEN ACHSE EINES BENUTZERS
Es ist im Fachgebiet wohlbekannt, dass die sogenannte „optische Achse“ sich von der „visuellen Achse“ unterscheidet. Die optische Achse ist eine Linie, in der Licht durch die Mitte der Hornhaut, der Pupille und der Linse verläuft, um die Rückwand des Auges, das die Netzhaut enthält, ohne Krümmung zu erreichen. Da die Makula und die Fovea, an denen sich die Sehkraft (und anschließendes Erkennen) konzentrieren, um im Durchschnitt von 5° nasal von dieser optischen Achse verschoben sind, ist es wesentlich, die visuelle Achse von der optischen Achse einer Person für eine genaue Blick-Nachverfolgung zu unterscheiden.
Ein herkömmliches Verfahren zum Bestimmen der visuellen Achse beinhaltet das Ausrichten eines Stabs (wobei dieselben Prinzipien einfach durch Halten eines Bleistifts auf Armlänge dargestellt werden können) im Sichtfeld einer Person, die ein Auge geöffnet hat, sodass das hintere Ende des Stabs nicht gesehen werden kann, da es von der vorderen Seite des Stabs verborgen (radialsymmetrisch) ist. Wenn sie zielgerichtet in dieser Orientierung positioniert wird, zeigt die Mittelachse des Stabs entlang der visuellen Achse des Beobachters. Der Prozess kann für eine jegliche Anzahl von Richtungen wiederholt werden.
In beispielhaften Ausführungsformen beinhaltet ein anzeigebasiertes Verfahren, das einige derselben Prinzipien wie die soeben beschriebene herkömmliche, stab-basierte Technik zum Bestimmen einer visuellen Achse verwendet, das Ausrichten von Nahfeld- und Fernfeld-Scheiben (oder jeder anderen Form) in Bereichen des Sichtfelds. Ein Benutzer einer Vorrichtung wird angewiesen, Objekte auszurichten, so dass das Fernfeld-Objekt von dem Nahfeld-Objekt maximal verborgen wird. Obwohl dies kein wesentlicher Bestandteil dieser Technik ist, können den Nahfeld- und Fernfeld-Objekten verschiedene Farben zugeordnet werden. Der Benutzer der Vorrichtung kann dann angewiesen werden, einheitlich so viel von der Farbe des Fernfeld-Objekts wie möglich unter Verwendung des Nahfeld-Objekts zu „verstecken“ oder zu verbergen (in einer radialsymmetrischen Weise).
In einer Situation der Erweiterten Realität (augmented reality - AR), kann das Nahfeld-Objekt eine im Wesentlichen undurchsichtige auf die AR-Anzeige projizierte Scheibe oder andere Form sein. Das Fernfeld-Objekt kann ein auf einem Bildschirm (z. B. einer mobilen Vorrichtung, Tablet, Monitor) angezeigtes virtuelles Objekt oder ein reales Objekt sein. Im Fall von virtuellen Fernfeld-Objekten auf einer Anzeige kann entweder das AR-Nahfeld-Objekt oder das virtuelle Fernfeld-Objekt während des Ausrichtungsprozesses bewegt werden. Der Prozess kann dann an unterschiedlichen Positionen (d. h. Blickrichtungen) wiederholt werden, um zusätzliche Ausrichtungen für mehrere Messungen der visuellen Achse zu erzeugen.
Im Fall von realen Fernfeld-Objekten kann das Objekt absichtlich zu der Umgebung des Benutzers der Vorrichtung zur Kalibrierung hinzugefügt werden, oder das Objekt kann eine natürlich vorkommende Form oder ein Abschnitt eines Objekts sein, das in der Umgebung eines Benutzers der Vorrichtung erkannt werden kann. Beispiele für Ersteres beinhalten einfarbige Papierscheiben oder ein Muster, das von einer oder mehreren LED-Lichtquellen generiert wird, die mit Klebstoff an den Ecken eines Anzeigemonitors befestigt sind. Ein Beispiel für Letzteres sind die „L“-förmigen (Blenden-) Bereiche an den vier (4) Ecken der meisten Anzeigevorrichtungen, wobei die Form aufgrund von Bildern unter Verwendung einer nach außen zeigenden oder sogenannten „Umgebungs“-Kamera oder einer Datenbank mit Vorlagen solcher Formen bestimmt werden kann.
34 zeigt ein Beispiel, in dem die realen vier (4) Ecken 748a, 748b, 748c, 748d einer Anzeigevorrichtung wie etwa einem Mobiltelefon oder Tablet 741 als Werkzeug für die Ausrichtung der visuellen Achse verwendet werden. Die Struktur einer Ecke 740 der Anzeigevorrichtung 741 kann aus 1) einer Datenbank von Vorlagen aufgrund mechanischer Gestaltungen solcher Vorrichtungen, 2) Bildern, die unter Verwendung einer Umgebungskamera 746 und Optik 747 erfasst wurden, um die Umgebung des Benutzers der Vorrichtung zu visualisieren, oder 3) eine Kombination der zwei Quellen, wobei die Datenbank exakte Abmessungen von Objekten (oder Abschnitten von Objekten) bereitstellen kann, die innerhalb von Umgebungskamerabildern erkannt wurden.
Sobald die Form des Ausrichtungsobjekts oder des Abschnitts eines Objekts 740 bestimmt wurde, wird die Form als ein virtuelles Objekt 742 innerhalb der Augmented-Reality-Anzeige 743 wieder aufgebaut. Der Benutzer der Vorrichtung wird dann angewiesen, entweder die Anzeige 741 oder die Position seines/ihres Auge zu einer Position zu bewegen, an der sich das virtuelle Objekt 742 ausrichtet, um das Fernfeld Objekt 744 maximal zu verbergen. In dieser Kopf-/Augenposition 744 (d. h. relativ zu dem Fernfeld-Objekt 740) sind die Ränder des Nahfelds 742 und des Fernfelds 740 optimal ausgerichtet 745a, 745b, wie entlang der visuellen Achse des Auges 744 gesehen. Die Mitte des Fernfeld-Objekts und sein entsprechender Mittelpunkt im Nahfeld-Objekt 742 definieren eine Linie 749 im 3-dimensionalen Raum, die die Mitte der visuellen Achse innerhalb des Auges 744 des Benutzers der Vorrichtung schneidet.
In zusätzlichen Ausführungsformen kann der Benutzer der Vorrichtung weiter angewiesen werden, sich näher an und/oder weiter weg von dem Fernfeld-Objekt 740 zu bewegen, um das Fernfeld-Objekt 740 durch das Nahfeld-Objekt 742 gerade überdecken (d. h. in exakt derselben Größe erscheinen) zu lassen. Wenn die Dimensionen des Fernfeld-Objekts 740 bekannt sind (z. B. aufgrund einer Datenbank von Objekten), dann kann, da die Abmessungen des Nahfeld-Objekts 742 von der Vorrichtung gesteuert werden (und somit bekannt sind), der Abstand zwischen dem Fernfeld-Objekt 740 und der visuellen Mitte des Auges (d. h. den Schnittpunkten von 745a, 745b und 749) unter Verwendung von Trigonometrie berechnet werden. Der Abstand gestattet, dass ein einzelner Punkt entlang der Linie der optischen Achse 749 der Mitte des Sichtfelds für das ausgewählte Auge zugeordnet werden kann.
In weiteren Ausführungsformen kann der Ausrichtungsprozess der visuellen Achse unter Verwendung jeder der vier Ecken 748a, 748b, 748c, 748d (wobei die Anzeige virtueller Bezüge innerhalb des Headset um 90°, 180° und 270° gedreht wird) oder jeglicher Anzahl anderer Fernfeld-Bezugspositionen wiederholt werden. Die Schnittpunkte der visuellen Achsen, die von jeder dieser Maßnahme definiert werden, können verwendet werden, um die Position der visuellen Achse und/oder der visuellen Mitte für einen bestimmten Benutzer der Vorrichtung zu identifizieren (z. B. wenn das gerade beschriebene Verfahren zum Bestimmen des Abstands zur Mitte des Sichtfelds nicht verwendet wird) oder weiter (z. B. genauer) zu definieren.
In noch weiteren Ausführungsformen kann die Position eines oder mehrerer identifizierbarer Punkte am Auge des Benutzers der Vorrichtung (z. B. die Mitte der Pupille, die Mitte des Limbus, identifizierbare Blutgefäße auf der Lederhaut) relativ zur Mitte der neu bestimmten visuellen Achse bestimmt werden. Der Unterschied zwischen der visuellen Achse und solchen identifizierbaren Punkten kann anschließend als ein „Versatz der virtuellen Achse“ betrachtet werden. Dies gestattet der Vorrichtung, anschließend die visuelle Achse des Benutzers der Vorrichtung (d. h. wohin der Benutzer der Vorrichtung „sieht“) zu berechnen, allein aufgrund von Messungen des einen oder der mehreren identifizierbaren Punkte am Auge.
In zusätzlichen Ausführungsformen kann das Fernfeld-Objekt ein auf einem Bildschirm angezeigtes virtuelles Objekt (z. B. eine Scheibe, ein Polygon) sein. In diesem Fall kann zwischen der AR- oder MR (d. h. vermischte Realität - mixed reality)-Headwear und der Fernfeld-Anzeigevorrichtung Kommunikation verwendet werden, um die Anzeigemerkmale (z. B. Größe, Position) des virtuellen Fernfeld-Objekts zu steuern. Dieselbe Strategie wie in 34 abgebildet kann zum Bestimmen der visuellen Achse sowie des visuellen Zentrums einer Person verwendet werden. Während dieses Kalibrierungsprozesses können die Größe(n), Position(en), Orientierung(en) und andere Merkmale des virtuellen Fernfeld-Objekts gesteuert werden, um während des Ausrichtungsprozesses durch den Benutzer der Vorrichtung weiter behilflich zu sein.
In weiteren Ausführungsformen kann die visuelle Mitte für jedes Auge bestimmt werden durch Wiederholen des obenstehenden Prozesses durch Öffnen eines anfangs geschlossenen Auges und Schließen des Auges, das offen war. In Konfigurationen, in denen Videostreams auf jedes Auge separat projiziert werden, kann der Videostream auf einem Auge abgeschaltet werden oder stationär gehalten werden, während Bewertungen unter Verwendung des anderen Auges durchgeführt werden. Das Einschließen von Messungen der visuellen Achsen beider Augen in Blickberechnungen kann die Blickgenauigkeit erhöhen, insbesondere jene, an denen Vergenz beteiligt ist.
Der Prozess zum Messen visueller Achsen kann weiter wiederholt werden, wobei beide Augen offen sind. In diesem Fall können in einigen Blickrichtungen und in einigen Blickentfernungen Messungen einem dominanten Auge zugeordnet werden wie obenstehend beschrieben (wobei zwischen den Personen Unterschiede bestehen). In anderen Blickrichtungen (im Allgemeinen geradeaus schauend) und Entfernungen (im Allgemeinen vom Kopf weg) kann das sogenannte „Egozentrum“ bestimmt werden. Das Egozentrum ist eine Bezugsposition, üblicherweise in der Mitte zwischen beiden Augen angeordnet, von der aus Entfernungen und Richtungen mental wahrgenommen werden, wenn die Umgebung eines Beobachters betrachtet wird. In einigen Anwendungen (z. B. Ego-Shooter und andere Formen von Computerspielen, Fahrsimulation, Erziehung von Kleinkindern), kann die Kenntnis und die Verwendung des Egozentrums dabei helfen, eine virtuelle Umgebung realistischer zu gestalten. Messungen und/oder das Anzeigen von Entfernungen und Richtungen können anschließend bezüglich zu dem Egozentrum des Benutzers der Vorrichtung vorgenommen werden. Solche Messungen können die mentalen Prozesse, die an der Wahrnehmung des Benutzers der Vorrichtung beteiligt sind, genauer darstellen und/oder quantifizieren.
Im Falle von Virtual-Reality (VR)-Headsets und AR-Headsets, in denen sowohl Nah- und Fernfeld-Ausrichtungsobjekte innerhalb einer einzelnen Anzeige beinhaltet sind, müssen zusätzliche Betrachtungen angestellt werden, die von den exakten Modi der Bildprojizierung abhängen, um die soeben beschriebenen Verfahren zum Bestimmen der visuellen Achse eines Benutzers der Vorrichtung einzusetzen.
Im Falle von VR- oder AR-Headsets, die in der Lage sind, zu einem Zeitpunkt nur auf eine Ebene oder „Tiefe“ zu projizieren, kann dann durch Schalten der wahrgenommenen Tiefe in abwechselnde (oder jede Reihe von) projizierten Bildrahmen der Ausrichtungsprozess der visuellen Achse durchgeführt werden. Die Anzeige unterschiedlicher Bilder in rascher Folge ähnelt beispielsweise der Technik des „Interlacing“, die in veralteten Fernsehgeräten verwendet wird. Die Ausrichtung, ähnlich der in 34 gezeigten, wird mit einem Nahfeld-Objekt durchgeführt, das in einer Ebene angezeigt wird, und einem Fernfeld-Objekt, das innerhalb einem separaten (interlaced) Rahmen angezeigt wird.
Bei VR- und AR-Headsets, die ein sogenanntes „Lichtfeld“ verwenden, um Licht als einen Vektor von Punkten im Raum aus zu leiten, können sowohl Nah- und Fernfeld-Objekte innerhalb derselben Rahmen projiziert werden. In diesem Aufbau kann die Ausrichtung entweder das Bewegen des Nahfeld- oder Fernfeld-Objekts, sodass das entfernte Objekt maximal (und radial einheitlich) blockiert erscheint.
In zusätzlichen Ausführungsformen, wenn sowohl Nah- und Fernfeld-Objekte in virtueller Form vorliegen, dann kann jede Anzahl von Verfahren eingesetzt werden, um ein Objekt oder das andere (oder falls gewünscht, beide) während des Ausrichtungsprozesses zu bewegen. Dies kann in jeder aus einer Vielfalt von Arten durchgeführt werden:

• Wenn der Benutzer einer Vorrichtung sich in der Nähe einer Tastatur befindet, kann ein wiederholtes Drücken der Richtungspfeile (oder jedes anderen Satzes von Tasten) durchgeführt werden, um eine Bewegung nach links, nach rechts oder nach unten anzuzeigen.
• Berührungsempfindlichen Gebieten auf der Brillen- oder Headwear-Vorrichtung (oder jeder anderen berührungsempfindlichen Oberfläche wie etwa ein Tablet oder ein Mobiltelefon) können Bewegungsfunktionen (d. h. nach links, nach rechts, nach oben oder nach unten) zugeordnet werden.
• Der Benutzer der Vorrichtung kann ein Objekt unter Verwendung von Kopfbewegungen (d. h. Drehung, Neigung oder beides) „anstupsen“. Falls gewünscht, kann der Grad der Bewegung proportional zum Grad der Kopfbewegung sein (z. B. unter Verwendung eines Beschleunigungsmessers oder der Bewegung einer Umgebungskamera gemessen).
• Audiobefehle, wie Vokalisieren von „links“, „rechts“, „nach oben“, „nach unten“ können verwendet werden, um Nah- und Fernfeld-Objekte auszurichten.

In zusätzlichen Ausführungsformen kann die von jedem Befehl (d. h. links, rechts, nach oben oder nach unten) erzeugte virtuelle Bewegung dynamisch angepasst werden, um den Ausrichtungsprozess zu beschleunigen. Anfangsbefehle verursachen grobe Bewegungen von Nah- oder Fernfeld-Objekten. Wiederholte Bewegungen in dieselbe Richtung (z. B. „rechts“, „rechts“) beeinträchtigen die Größe der Bewegung nicht. Jede Bewegung in eine entgegengesetzte Richtung jedoch verursacht, dass sich die Größe der Bewegung (d. h. ein sogenanntes „Inkrement“) verkleinert (z. B. halbiert). Da der Benutzer der Vorrichtung in Richtung optimaler Ausrichtung konvergiert, gestatten die fortschreitend kleineren Inkremente eine genauere Steuerung. Diese Technik weist Ähnlichkeiten mit dem Verfahren der „sukzessiven Annäherung“ von analoger in digitale Konvertierung. Die Größe des Inkrements kann während der Kalibrierung in horizontalen und vertikalen Achsen separat getrackt und eingestellt werden.
HOCHAUFLÖSENDES RENDERING VON HOCHRELEVANTEN OBJEKTEN (HIGH-RELEVANCY OBJECTS - HROs)
Ein Verfahren, welches das Blick-Tracking mit Bildmaterial von höchster Auflösung verbindet, die in einen von einem Betrachter angeschauten mittleren Anzeigebereich projiziert wird, ist im Fachgebiet wohlbekannt. Die Bandbreite zum Erzeugen der gesamten Benutzeranzeige wird reduziert, indem gestattet wird, dass niedriger auflösendes Bildmaterial in Bereichen angezeigt wird, die nicht direkt vom Betrachter angesehen werden. In den meisten Implementierungen werden Bereiche innerhalb des peripheren Sichtfelds mit einer geringeren räumlichen Auflösung und/oder reduzierten Projektion kleinteiliger Details innerhalb angezeigter Objekte angezeigt. In einigen Implementierungen liegt eine mittelauflösende Übergangszone zwischen dem hochauflösenden mittigen betrachteten Bereich und den niedrigauflösenden Randbereichen einer Umgebung. Es wurden Bandbreiteneinsparungen von bis zu 80% umgesetzt.
Diese Technik wird im Fachgebiet allgemein als „fovealisiertes Rendering“, „fovealisiertes Bildmaterial“ oder „fovealisierte Grafiken“ bezeichnet. Der Begriff „fovealisiert“ entsteht als Ergebnis eines erzeugten Ausrichtens von Bildmaterial, zumindest in einiger Hinsicht, an der Physiologie des menschlichen visuellen Systems. Biologisch gesehen ist die Fovea ein kleiner Bereich der Netzhaut, an dem die Sehschärfe am höchsten ist. Obwohl die Fovea zum Detektieren von Bildmaterial nur innerhalb eines 2°-Bereichs des gesamten Sichtfelds verantwortlich ist, übermittelt annähernd die Hälfte der Nervenfasern im Sehnervbündel, welches Information an das Gehirn weiterleitet, Information von der Fovea.
In einer Reihe von Situationen kann ein Rendering einiger Objekte in der peripheren Sicht eines Benutzers mit geringer räumlicher Auflösung das visuelle Erlebnis und die Fähigkeiten eines Betrachters, Entscheidungen zu treffen, beeinträchtigen. In beispielhaften Ausführungsformen ist es vorteilhaft, hochrelevente Objekte (HROs) unter Verwendung von räumlich hochauflösenden Anzeigeverfahren wiederzugeben, insbesondere, wenn sie sich in der parafovealen, und sogar wenn sie sich in der peripheren Sicht eines Betrachters befinden. Durch ein gezieltes hochauflösendes Rendering eines oder mehrerer solcher Bereiche, die mit HROs verbunden sind, kann ein Großteil der gesamten Bandbreiteneinsparungen weiterhin umgesetzt werden, doch nicht auf Kosten des wirksamen Interagierens mit solchen Objekten.
Obwohl das parafoveale und das periphere visuelle System in einigen Aspekten der Bildverarbeitung (z. B. Erkennen von kleinen Einzelheiten, Farbunterscheidung) schwach sind, ist die Fähigkeit, räumliche Positionen (einschließlich Bewegungen) oder das Flimmern von Objekten zu bestimmen, besonders stark. Die Fähigkeit, Positionen in der parafovealen und peripheren Sicht zu bestimmen, ist gut belegt, beispielsweise bei Aktivitäten wie etwa dem Jonglieren und dem Vermeiden von sich nähernden Geschossen.
Es gibt eine Reihe von Bedingungen (z. B. innerhalb der virtuellen Realität, der erweiterten Realität, der vermischten Realität oder Fernanzeigesystemen), in denen insbesondere die Position von HROs in den Mensch-Maschine-Interaktionen wichtig ist. Beispielsweise kann sich ein Benutzer einer Vorrichtung während der Augensignalgebung an den allgemeinen Bereich eines Aktivierungsicons erinnern. Die exakte Position kann dann unter Verwendung von parafovealer oder peripherer Sicht (häufig bei Abwesenheit der Wahrnehmung von kleinteiligen Einzelheiten) detektiert werden. In den meisten Fällen fühlt es sich „angenehm“ an, eine sakkadische Augenbewegung unmittelbar zu solch einem Objekt oder Aktivierungsziel innerhalb einer parafovealen oder peripheren Sicht zumindest teilweise aufgrund der räumlichen Erinnerung (in der Positionen wiederum mit bestimmten Funktionen verbunden sein können) durchzuführen. Das Sakkadieren zu solchen Zielen ist ein Grundelement der Augensignalsprache.
In beispielhaften Ausführungsformen können solche HROs mit einer hohen Auflösung angezeigt werden. Falls sie anfänglich in einer niedrigeren Auflösung angezeigt werden, kann das Sakkadieren zu solchen HROs und ein anschließendes Wechseln zu einer höheren Auflösung (z. B. als Ergebnis dessen, dass sie innerhalb der neuen fovealen Sicht liegen) eine schnelle Änderung im Erscheinungsbild der HRO verursachen, was natürlich eine oder mehrere sondierende oder „überraschte“ Augenbewegungen auslöst, die zielgerichtete, mit der Augensignalsprache verbundene Bewegungen stören können. Das Aufrechterhalten einer hoch auflösenden Anzeige von HROs verhindert diese Situation.
Eine anschließende Anzeige von neu freigelegten zusätzlich auswählbaren Icons (oder anderen HROs) kann unter Verwendung einer hohen Auflösung innerhalb der neuen peripheren Sicht angezeigt werden. Die räumlichen Positionen dieser neuen Icons können mit sakkadischen Bewegungen erkannt werden, um jedes von ihnen direkt betrachten zu können. Unter Wiederholung derselben Strategie finden es insbesondere erfahrene Benutzer einer Vorrichtung besonders angenehm, unmittelbar zu einem spezifischen (d. h. vom Benutzer zielgerichtet ausgewählten) neu freigelegten Ziel innerhalb der parafovealen oder peripheren Sichtfelder zu sakkadieren. Diese eine oder mehreren sakkadischen Augenbewegungen können, falls gewünscht, eine jegliche Anzahl von Malen bei Abwesenheit der vollen Wahrnehmung innerhalb der fovealen Bereiche des bzw. der Augen des Benutzers durchgeführt werden.
In zusätzlichen Ausführungsformen kann die Einführung neuer potenzieller Zielobj ekte unter Verwendung eines oder mehrerer Verfahren zum Einführen eines oder mehrerer Objekte ohne die Aufmerksamkeit des Benutzers auf sich zu lenken (d. h. indem das bzw. die Objekt(e) „unsichtbar sichtbar“ gemacht werden), durchgeführt werden. Wie zuvor beschrieben, kann dies durchgeführt werden durch Einführen von Objekt(en) während eines oder mehrerer Zeiträume, in denen der Benutzer funktionell blind ist (z. B. während Lidschlägen und/oder einer oder mehrerer Sakkaden). Andere Strategien (einzeln oder gemeinsam verwendet) zum Einführen eines oder mehrerer „unsichtbar sichtbarer“ Objekte beinhalten das stufenweise Ändern der Objektauflösung, Einzelheiten, Farbgehalt, Helligkeit, Größe, Transparenz und/oder Kontrast im Vergleich mit dem Hintergrund. Einige Aspekte dieser Verfahren verwenden Prinzipien, die mit „Änderungsblindheit“ verbunden sind, wobei langsame Änderungen des Erscheinungsbilds eines Objekts oder eines Hintergrunds von einem Beobachter unbemerkt ablaufen.
In weiteren Ausführungsformen können potenzielle Objekte sorgfältig umherbewegt werden, ohne unbeabsichtigte Aufmerksamkeit des Benutzers auf sich zu lenken. Wie zuvor beschrieben, kann eine wesentliche Menge (z. B. bis zu 2°) an Objektbewegung nach einem Zeitraum von sakkadischer Blindheit toleriert werden. Dies ist als „Leereffekt“ bekannt, der vermutlich das Potenzial für eine Wahrnehmung von Bewegung unterdrückt, wenn eine Sakkade nicht optimal auf ihrer erwarteten Zielposition landet. Eine weitere Bewegung eines oder mehrerer potenzieller Zielobjekte kann dann in einer Weise eingeführt werden, die dazu konzipiert ist, keine sondierenden Augenbewegungen des Benutzers auf sich zu lenken oder ihn zu überraschen. Eine solche Bewegung kann langsam sein (unter Verwendung von Bestandteilen der „Änderungsblindheit“) und/oder in einer Weise konzipiert sein, keine Aufmerksamkeit in einer bestimmten Richtung aufgrund eines oder mehrerer Objekte, die eins oder mehr aus Folgendem sind: besonders hoch auflösend, hell, groß, detaillierte Merkmale aufweisend, blickdicht, Kontrastfarbe(n) oder ähnlichen visuellen Attributen, auf sich zu lenken. Ähnlicherweise können sondierende oder überraschte Augenbewegungen verhindert werden durch Gewährleisten, dass der zeitliche Ablauf von Objektbewegungen oder Änderungen visueller Attribute einheitlich sind, sodass ein oder mehrere Objekte nicht hervorstechen (d. h. Änderungen bei einem oder mehreren Objekten treten vor ähnlichen oder entsprechenden Änderungen bei anderen Objekten auf).
Zusätzliche Beispiele von HROs beinhalten beispielsweise Freund- oder Feind-Ziele in Egoshooter-Spielen, Objekte, die während des Geschichtenerzählens oder im Gespräch erörtert werden, sowie Symbole oder Bildmaterial (z. B. mathematische Operationen, Flussdiagramme, Komponententeile, Schaltpläne, wichtige Fakten) die bei Entscheidungen auf hoher Ebene Konzepte darstellen. Für einen Benutzer ist es zweckmäßig, sich der Anwesenheit solcher Objekte bewusst zu sein (und was diese Objekte darstellen könnten) ohne die Notwendigkeit, gleichzeitig alle Symbole und/oder Bildmaterial in einer fovealen Sicht aufrechtzuerhalten, oder dem Bedürfnis, solche Objekte in fovealen Sichten wiederholt zu überblicken, um sicherzustellen, dass sie im Kurzzeit- oder Arbeitsgedächtnis berücksichtigt werden.
In weiteren beispielhaften Ausführungsformen hilft die hochauflösende Wiederaufgabe von HROs nicht nur bei der Identifizierung, mentalen Verbindung(en) und der räumlichen Lokalisierung solcher nichtfovealen Objekte, sondern, falls es eine sakkadische (oder andere Form von Kopf- oder Augen-) Bewegung zu dem HRO gibt, dann verbleiben, wie soeben beschrieben, die Renderingeigenschaften des Bereichs des neuen Zentrums der Aufmerksamkeit größtenteils unverändert. Dies verhindert jeglichen Überraschungs- oder sondierenden Reflex (verbunden mit der Einführung neuer visueller Merkmale) und/oder das mentale Verarbeiten, das mit der Einführung neuer visueller Information verbunden ist (d. h. mittels des zuvor beschriebenen mentalen Prinzips, „vertraut“ zu sein). Statt dessen, falls sich Zeit genommen wird, das Objekt wahrzunehmen, dann wird das Objekt als unverändert wahrgenommen zu dem, was aufgrund von Erinnerung und der parafovealen oder peripheren Sicht des Betrachters vor einer Sakkade (und jeder Anzahl anschließender korrektiver Sakkaden) erwartet wurde.
Bei der Implementierung eines hochauflösenden Renderings von HROs besteht einige Flexibilität. Ein oder mehrere Modelle können sogar innerhalb desselben Bildes verwendet werden. Zum Beispiel: 1) Ein beliebig geformter Bereich, der die Objektform darstellt, kann hochauflösend gerendert werden, überlagert auf einen niedrigauflösenden Hintergrund. 2) Ein rechtwinkliger Bereich des gesamten Sichtfelds, das ein oder mehrere HROs beinhaltet, kann hochauflösend gerendert werden. 3) Ein kreisförmiger Bereich um ein oder mehrere Objekte herum kann hochauflösend gerendert werden. In jedem dieser Fälle kann der Grad des hochauflösenden Renderings (gegebenenfalls) eine Funktion der Entfernung von der aktuellen (d. h. fovealen) Sicht des Betrachters darstellen.
In einigen Situationen kann es wünschenswert sein, die Größe des hochauflösenden oder sogenannten „fovealen“ Bereichs der Anzeige zu verändern. Biologische Unterschiede in der Größe der Fovea einer Person, allgemein im Bereich von 1° bis 3°, können verwendet werden, um eine Größe eines mittleren, hochauflösenden Anzeigebereichs zuzuordnen. Es kann auch vorteilhaft sein, die Größe des hochauflösenden Bereichs während einiger Anwendungen oder Formen der Augeninteraktion anzupassen. Beispielsweise können diese Elemente (oder solche Elemente darstellende Symbole) während mentaler Prozesse, die erfordern, dass eine Anzahl verschiedener Elemente innerhalb des Arbeitsgedächtnisses einer Person berücksichtigt wird (z. B. beim anspruchsvollen Treffen von Entscheidungen) innerhalb einer erweiterten „fovealen“ oder hochauflösenden Sicht angezeigt werden. Im Gegensatz dazu kann während einer Spielanwendung, an der schnelle Bewegungen und/oder „Bedrohungs“-Objekte beteiligt sind, die aus verschiedenen Richtungen eintreffen, die „foveale“ oder hochauflösende Sicht größenmäßig reduziert werden, um eine größere zeitliche Auflösung (d. h. eine höhere Anzeigerahmenrate) und/oder ein höher auflösendes Rendering spezifischer Objekte (z. B. HROs) zu gestatten.
Wie obenstehend beschrieben, werden Begriffe wie etwa „fovealisiertes Rendering“ allgemein im Fachgebiet verwendet, um das Variieren der Anzeigeauflösung zu beschreiben. Obwohl die Fovea eine Struktur innerhalb der Netzhaut mit besonderen anatomischen Merkmalen ist, ist aus der Perspektive einer Human-Machine Interface (HMI) der physiologische (d. h. funktionelle) Bereich des fovealen Bereichs tatsächlich der für das Sehen und anschließende HMI relevanteste. Der Begriff „Wahrnehmungsfeldgröße“ (perceptive field size - PFS) wurde im Fachgebiet verwendet, um den während der Wahrnehmung verwendeten Bereich in und um die Fovea herum zu beschreiben.
Durch die Lichtintensität kann die PFS einer Person variieren. Somit kann in beispielhaften Ausführungsformen die Größe des betrachteten, hochauflösenden (d. h. sogenannten „fovealisierten“) Renderingbereichs als eine Funktion der die Netzhaut erreichenden Lichtmenge verschieden sein. Diese Lichtintensität kann aus der Kenntnis dessen bestimmt werden, was in stark kontrollierten visuellen Umgebungen wie etwa VR-Anzeigen angezeigt wird. Alternativ dazu oder zusätzlich kann Licht in der Nähe des Auges ein Maß darstellen unter Verwendung einer oder mehrerer Leuchtdioden, Fototransistoren oder anderen Lichtsensoren, insbesondere wenn AR- oder MR-Vorrichtungen verwendet werden. Spezifische Wellenlängenbereiche (siehe unten) können mittels eines oder mehrerer optischer Filter gewählt werden.
Insbesondere nimmt der PFS zu, wenn die die Netzhaut erreichende Lichtmenge abnimmt. Somit kann die Größe des Bereichs mit hochauflösendem Rendering vergrößert werden, um diese Veränderung unterzubringen. Im Gegensatz dazu nimmt der PFS ab, wenn die Lichtintensität zunimmt, wodurch die Größe des Bereichs mit hochauflösendem Rendering verringert werden kann. Physiologisch stimmt diese Veränderung mit der Vorstellung überein, dass eine Verschiebung bei der Sicht vorliegt, die in hoher Konzentration in mittleren Bereichen der Fovea Zapfen verwendet (die relativ weniger lichtempfindlich sind, aber Farbinformation kodieren), wenn reichlich Licht vorhanden ist, hin zu den lichtempfindlicheren Stäbchen, die mit erhöhter Dichte ausgedrückt sind, beim Fortbewegen von dem mittleren Bereich der Fovea.
Noch konkreter modulieren Wellenlängen von Licht im blauen und grünen Bereich des sichtbaren Spektrums (d. h. mit Wellenlängen im Bereich von annähernd 400 bis 550 Nanometern) die Größe des Wahrnehmungsfelds; wobei rotes Licht einen geringeren oder gar keinen Einfluss auf die Größe ausübt. Somit kann in beispielhaften Ausführungsformen ein hochauflösendes Rendering innerhalb des mittleren Sichtbereichs einer Anzeige aufgrund der Anwesenheit/Abwesenheit von Licht, insbesondere im blau-grünen Teil des sichtbaren Spektrums, gesteuert werden.
In weiteren Ausführungsformen können Änderungen beim Rendering eines mittleren Anzeigebereichs (d. h. aufgrund des PFS) auch die Zeit berücksichtigen, die erforderlich ist, dass sich das bzw. die Auge(n) an neue Beleuchtungsbedingungen anpassen können. Die Anpassung der Zapfen beginnt schnell, sie kann aber für eine vollständige Anpassung bis zu einige Minuten erfordern. Die Reaktionen der Stäbchen dauern sogar noch länger und erfordern bis zu 20-30 Minuten, um sich vollständig anzupassen. Somit können in beispielhaften Ausführungsformen Übergänge zum Anpassen an andere Lichtverhältnisse stufenweise (d. h. im Vergleich mit den hohen Bildraten einer Anzeige) und fortschreitend (z. B. um die grob exponentielle Form einer Lichtanpassung gegenüber einer Zeitkurve anzugleichen) durchgeführt werden, um dem zeitlichen Verlauf und der Größenordnung der visuellen Anpassung zu entsprechen.
Wie hier im Einzelnen an anderer Stelle beschrieben, neigen kürzere Sakkaden (z. B. <5°) dazu, beabsichtigte Zielpositionen zu unterschreiten und längere Sakkaden (z. B. <10°) neigen dazu, beabsichtigte Zielpositionen zu unterschreiten. In weiteren Ausführungsformen können diese Tendenzen gemeinsam mit Schätzungen von Trackingfehlern verwendet werden, um die Größe und Form (sogenannter „fovealer“) Bereiche, die hochauflösend auf Anzeigen um beabsichtigte Zielpositionen herum während Augenbewegungen gerendert werden, zu strukturieren.
Beispielsweise kann zusätzlich zu einem Bereich um eine erwartete sakkadische Ziellandeposition herum ein Zusatzbereich, der sich über das Zielgebiet in derselben Richtung wie die Sakkade hinaus erstreckt, in hoher Auflösung gerendert werden, wenn eine lange Sakkade detektiert wird. Diese Erstreckung kann vermuten lassen, dass in der Regel eine oder mehrere korrektive Sakkaden auftreten, um die (im Allgemeinen etwa 20°) Unterschreitung einer langen Sakkade auszugleichen. Das Rendern eines solchen Bereichs in hoher Auflösung, sobald eine lange Sakkade detektiert wird, gestattet dem Benutzer, ein hochauflösendes (sogenanntes „foveales“) Bild beim Landen und während jeglicher anschließenden korrektiven Sakkaden zu sehen. Dies verhindert (plötzliche, ablenkende) Änderungen der Auflösung in diesem Bereich, während der Benutzer sich fortschreitend auf die beabsichtigte Zielposition konzentriert.
Ähnlicherweise neigen kurze Sakkaden dazu, beabsichtigte Zielpositionen zu überschreiten. Somit kann in beispielhaften Ausführungsformen zusätzlich zum Rendern eines Ziellandungsgebiets in hoher Auflösung ein zusätzlicher Bereich zwischen den Start- und Landepositionen (angrenzend an die Landeposition) in hoher Auflösung gerendert werden, der die Neigung kürzerer Sakkaden zum Überschreiten berücksichtigt. Auf diese Weise wird das erneute Rendern eines oder mehrerer Bereiche in dem Gebiet minimiert, in dem eine oder mehrere korrektive Sakkaden im Allgemeinen die Blickposition zurück zu der beabsichtigten Landeposition (in der allgemeinen Richtung der ursprünglichen sakkadischen Startposition) richten.
In weiteren Ausführungsformen können die Größe und/oder Form eines Bereichs mit hoher Auflösung aufgrund von Augenbewegungszielpositionen eine Berücksichtigung des erwarteten Fehlergrads beim Bestimmen einer Blickposition oder einer vorhergesagten und/oder gemessenen Landeposition beinhalten. Ein Fehlergrad (oder im Gegensatz dazu, ein Hinweis auf Konfidenz) eine(r) Messung einer Blickposition kann geschätzt werden aufgrund einer Anzahl von Faktoren, beinhaltend

• eine gesamte Messung der Varianz bei Blickpositionen für einen bestimmten Benutzer und/oder während der letzten Benutzung (insbesondere, wenn identifiziert wird, dass ein Benutzer eine bekannte Objektposition betrachtet),
• Schwing- und andere mechanische Beschleunigungen (zuvor beschrieben), die innerhalb des Headsets und/oder dem Kopfbereich des Benutzers vorliegen können,
• Gleichmäßigkeit und/oder Intensität der Beleuchtung,
• ein Grad von weißem (z. B. sogenanntem „Schrot-“) Rauschen in Videobildern,
• das Vorliegen von Hindernissen (z. B. Augenwimpern), die Eye-Tracking-Messungen ungenau machen können,
• das Vorliegen zusätzlicher Bewegungen wie Tremor und/oder Schwingungen des Auges,
• das Auftreten eines Lidschlags, und
• eine Anzahl von Faktoren, die beim Identifizieren von Strukturen des Auges (z. B. dem Grad der Übereinstimmung mit einer Vorlage) durch eine oder mehrere algorithmische Herangehensweisen bestimmt wurden.

In beispielhaften Ausführungsformen kann die Größe und/oder Form eines in hoher Auflösung gerenderten Bereichs dynamisch aufgrund von Schätzungen eines erwarteten Fehlergrads bei Blickmessungen und/oder vorhergesagten (d. h. aufgrund der Geschwindigkeit) Landepositionen angepasst werden. Im Allgemeinen kann, wenn Fehlerschätzungen erhöht werden, die Größe des Bereichs mit einer hohen Auflösung vergrößert werden, um die erhöhte Unsicherheit der Blickposition mit aufzunehmen. Auf diese Weise besteht eine größere Sicherheit darin, dass der Benutzer tatsächlich ein hochauflösendes Rendering der Anzeige sieht.
Ähnlich kann aufgrund der Geschwindigkeit der letzten Bewegung(en) und/oder jeglichem vermuteten Rauschen bei Blickmessungen in einer bevorzugten Richtung (z. B. in der Nähe des Randes einer Anzeige), die Form eines Bereichs aufgrund der Richtung von offensichtlichen Bewegung(en), der Größe von Bewegung(en) und/oder dem Grad und der Verteilung von Rauschen angepasst werden. Wenn beispielsweise eine Messung von Rauschen und/oder Unsicherheit allgemein in der Nähe des Randes einer Anzeige zunimmt, dann kann die Form des hochauflösenden Bereichs in Richtung zum Rand der Anzeige erweitert werden, um das zunehmende Rauschen/Unsicherheit mit aufzunehmen.
In zusätzlichen beispielhaften Ausführungsformen beinhaltet ein alternatives oder zusätzliches Verfahren zum Reduzieren von Bandbreite innerhalb ausgewählter Anzeigebereiche (z. B. nicht HROs und/oder innerhalb einer fovealen Sicht) das Reduzieren des Farbgehalts solcher Bereiche. Die farbliche Erscheinung von Bildern wird häufig auf eine Anzahl verschiedener Arten beschrieben, einschließlich jener Verfahren, die die Verwendung von Begriffen wie etwa Schattierung, Ton, Farbigkeit, Chroma, Sättigung und Brillanz beinhalten; zusätzlich zu den Grundfarben rot, grün und blau (d. h. RGB)-Intensitäten. Das Reduzieren des Farbgehalts kann das Reduzieren der gesamten Breite (d. h. vom dunkelsten bis zum hellsten) einer oder mehrerer anzeigbarer Farben und/oder das Reduzieren der Auflösung (d. h. Reduzieren der Anzahl auswählbarer Intensitäten für eine bestimmte Farbe) beinhalten. Alternativ dazu kann innerhalb von Modellen, in denen Verhältnisse oder relative Intensitäten einer Farbe verglichen mit anderen berechnet (und übertragen) werden, die Breite und/oder die Auflösung solcher relativer Intensitäten reduziert werden. Durch Reduzieren der Farbskala und/oder -auflösung wird die Anzahl von Bits reduziert, die für das Darstellen jeder Farbe (innerhalb eines Pixels oder einer Gruppe von Pixeln) erforderlich ist, wodurch die Bandbreite reduziert wird, die für das Übertragen von solchem Bildmaterials erforderlich ist.
In vielerlei Hinsicht sind Ausführungsformen, die eine Reduzierung des Farbgehalts von nicht-fovealen Anzeigebereichen beinhalten, biomimetisch. Wie obenstehend erwähnt, können visuelle Systeme im Allgemeinen Objektdetails und Objektfarben innerhalb des peripheren Sichtfelds schlecht erkennen. Somit richtet sich ein Modell zum Reduzieren von Bandbreite durch Reduzieren des Farbgehalts und/oder Detail in parafovealen und/oder peripheren Bereichen an den Fähigkeiten zum Verarbeiten solcher Bilder durch das menschliche visuelle System aus.
In zusätzlichen Ausführungsformen kann die Relevanz eines Objekts auf verschiedene Weise bestimmt werden: 1) Im Fall einer typischen Softwareanwendung kann ein Anwendungsentwickler verschiedenen Objekten innerhalb jedes angezeigten Bildschirms eine Relevanz zuordnen. Menüauswahlen, an denen Augensignalgebung beteiligt ist, Bilder von Hauptfiguren beim Geschichtenerzählen, Überschriften und Seitenzahlen innerhalb eines Textkörpers, Hyperlinks und eintreffender Text sind Beispiele für Objekte, denen eine hohe Relevanz zugeordnet werden kann. 2) Aufgrund von Umgebungen, die jede Kombination aus realen und virtuellen Objekten umfassen, kann die Relevanz von bestimmten Objekten innerhalb der Umgebung aufgrund von Objektidentifizierung unter Verwendung von Bilderkennungstechniken, die im Fachgebiet wohlbekannt sind, algorithmisch bestimmt werden. Beispielsweise können alle Gesichter oder ein bestimmtes Gesicht mittels hoher Auflösung angezeigt werden. Ähnlich kann ein Icon, das einen Benutzer „warnt“ (d. h. visuell ruft oder anschreit) in hoher Auflösung angezeigt werden in der Erwartung, wenigstens einen visuellen Blick anzuziehen. 3) Eine maschinelle Erkennung spezifischer Aktivitäten, die von einem oder mehreren Objekten durchgeführt werden, kann einen Zustand hoher Relevanz auslösen. Wenn beispielsweise ein Gesicht innerhalb der Umgebung als ärgerlich identifiziert wird oder mit dem Prozess des Sprechens verbunden ist, dann kann seine Relevanz erhöht werden. 4) Neuronalnetz- und andere Formen von Ansätzen des maschinellen Lernens können verwendet werden, um Objekte zu bestimmen, die in der Regel für einen bestimmten Benutzer (z. B. durch wiederholte Auswahl) wichtig sind. Wenn sich ein Benutzer beispielsweise in der Regel zu bestimmten Tageszeiten die Baseballergebnisse ansieht, dann können Ansätze des maschinellen Lernens ergeben, dass diese Ergebnisse bei ihrer Aktualisierung in hoher Auflösung angezeigt werden.
In zusätzlichen Ausführungsformen kann die Relevanz durch jede Anzahl von Bedingungen moduliert werden, die bestimmten Objekten zugeordnet werden könnten. Sportergebnisse können beispielsweise relevant sein, wenn sie erstmals bekanntgegeben werden, aber mit der Zeit an Relevanz verlieren. Bildern, die bestimmte Sportarten betreffen, kann in bestimmten Jahreszeiten eine hohe Relevanz zugeordnet werden. Fahrplänen und/oder Durchsagen des öffentlichen Nahverkehrs könnte zu bestimmten Tageszeiten und/oder bestimmten Wochentagen eine erhöhte Relevanz zugeordnet werden. Kalendereinträge können für eine ausgewählte Zeit vor dem geplanten Ereignis relevant sein.
Objekten, die als nah an und/oder sich zu dem Benutzer hin bewegend angezeigt werden, kann eine erhöhte Relevanz zugeordnet werden. Objekten in einer bestimmten Richtung im Vergleich mit der momentanen Blickposition kann eine höhere Relevanz zugeordnet werden. Beispielsweise können beim Lesen unter Verwendung einer Sprache, in der Buchstaben/Symbole im Allgemeinen von links nach rechts und von oben nach unten angeordnet sind (z. B. Englisch, Französisch, Deutsch) Buchstaben und Wörter, die rechts von und/oder unter einer Blickposition angeordnet sind, in Erwartung des Blicks, der in der Reihenfolge geleitet wird, in der Text und/oder Objekte angesehen werden, mit erhöhter Auflösung angezeigt werden.
In einigen Fällen kann die absolute Position (d. h. relativ zu einer Anzeige) eine Determinante für die Relevanz sein. Potenzielle Ziele für eine zielgerichtete, erinnerungsgeleitete sakkadische Augenbewegung sind eine besonders zweckmäßige Klasse innerhalb dieser Kategorie. Innerhalb der Augensignalsprache können beispielsweise ein oder mehrere Aktivierungsziele und/oder auswählbare Objekte an der bzw. den selben Position(en) innerhalb einer gegebenen Anwendung oder über die meisten Anwendungen hinweg erscheinen. Als potenzielle Ziele können solche potenziellen HRO-Ziele mit verbesserter räumlicher und/oder Farbauflösung angezeigt werden.
Die Relevanz von Objekten kann abgestuft sein (d. h. innerhalb eines kontinuierlichen Spektrums einen Wert zugeordnet erhalten). Wenn eine große Anzahl von Objekten mit hoher Relevanz gleichzeitig anzuzeigen ist, dann können jene mit geringeren Relevanzwerten (doch immer noch innerhalb der Gruppe mit hoher Relevanz) zumindest zeitweise mit verringerter Auflösung angezeigt werden, um innerhalb einer verfügbaren Bandbreite zu bleiben.
Bandbreitenreduzierungen können synergistisch mit anderen Strategien verwendet werden, um Gesamtverarbeitungserfordernisse von einer oder mehreren Verarbeitungseinheiten und/oder Übertragungsvorrichtungen zu reduzieren, gemeinsam mit der sich ergebenden Kontrolle des Energieverbrauchs. Solche Strategien können zusätzlich unerwünschte Erwärmung reduzieren und die Batterielaufzeit während mobiler Anwendungen verlängern.
In Zeiten, in denen keine Anzeige erforderlich ist, wie etwa in Zeiträumen (hier an anderer Stelle beschrieben), in denen ein Benutzer funktional blind ist (z. B. während einer Lidschlagunterdrückung oder einer sakkadischen Unterdrückung), können Anzeigen (zeitweise) nicht aktualisiert werden und/oder einige Anzeige-/Verarbeitungskomponenten können sogar elektronisch ausgeschaltet werden. Während dieser Zeiten kann die Übertragung pausieren oder alternativ dazu kann die Übertragung von Anzeigeinformationen fortfahren stattzufinden in Erwartung von Bedürfnissen zu der Zeit, in der der Benutzer aus einem Zustand funktionaler Blindheit zur vollen Sehkraft zurückkehrt. Beispielsweise kann die Anzeige hochauflösender mittlerer (fovealer) Ansichten zeitweise unterbrochen werden, während im Allgemeinen statische (z. B. Hintergrund-) und/oder periphere Bereiche eines Anzeigebereichs während solcher Zeiten funktionaler Blindheit aktualisiert werden können. Solche Modelle können die verfügbare Zeit und Bandbreite maximal nutzbar machen.
EINBEZIEHUNG VON OBJEKTSALIENZ ZUM BESTIMMEN DES ZENTRUMS DER AUFMERKSAMKEIT EINES BENUTZERS
Physiologisch tritt einer der ersten Schritte bei der Verarbeitung visueller Information beim Menschen auf der Ebene der Ganglienzellen in der Netzhaut auf. Diese Zellen sind innerhalb von sogenannten „die Mitte umgebendes rezeptives Feld“-Mustern angeordnet, wo Neuronen feuern, wenn ein Unterschied besteht zwischen dem Licht, das auf Fotorezeptoren innerhalb eines mittleren Bereichs trifft, gegenüber einem ringförmigen umgebenden Bereich. Das Nettoergebnis dieser Anordnung ist die Detektion der Positionen von Rändern (d. h. räumliche Gradienten, die vorherbestimmte Niveaus überschreiten), die anschließend an das Gehirn übertragen werden.
Die Tatsache, dass das Gehirn vorrangig Ränder zum Identifizieren eines Objekts verwendet, ist der Beweis dafür, dass verschiedene Bereiche innerhalb des gesamten Körpers eines betrachteten Objekts unterschiedliche Grade visueller Aufmerksamkeit erhalten. Bereichen, in denen ein hoher Kontrast an Helligkeit und/oder Farbvariation besteht, erhalten im Allgemeinen die größte visuelle Aufmerksamkeit. Folglich ist die Konzentration eines Betrachters häufig auf solche Bereiche mit hohem Kontrast gerichtet, die nicht unbedingt die geometrische Mitte des Objekts darstellen. Dies hat zur Konstruktion und Verwendung sogenannter „Salienzkarten“ geführt, die empirisch Positionen identifizieren, die am häufigsten von einem Betrachter angesehen werden, bezogen auf ein(en) oder mehrere Merkmal(e) oder Bezugsposition(en) (z. B. die Objektmitte).
Die „Salienz“ eines Objekts (oder eines Abschnitts eines Objekts) wird nicht allein durch die physischen Merkmale des Objekts bestimmt. Die Salienz hängt von den (in manchen Fällen zeitlich veränderlichen) Interessen eines Benutzers ab. Beispielsweise werden Bereiche um die Augen herum innerhalb fast jeder Gesichtsform (menschlich oder tierisch) häufig als ein Bereich mit hoher Salienz angesehen. In einigen Fällen ist es einem Betrachter möglich zu „lernen“, die Salienz eines Objekts oder eines Teils bzw. von Teilen eines Objekts zu beeinflussen. Beispielsweise kann das wiederholte Betrachten eines Objekts, dass anfänglich eine Person überraschen kann (oder eine andere emotionale Reaktion hervorrufen kann), den Betrachter veranlassen schließlich zu lernen, die gesamte Salienz zu reduzieren, wenn das Objekt und dessen Merkmale vertrauter werden.
Als eine Folge der Salienz können einige Merkmale innerhalb eines Objekts häufiger als andere angesehen werden. Im Ergebnis dessen hat jede Form der „Mittelwertbildung“ oder anderer statistischer Mittel zum Bestimmen eines Blickfokus und/oder betrachteten Objekts aufgrund einer oder mehrerer Messungen solche bevorzugte Betrachtungsrichtungen/-Positionen zu berücksichtigen. In der Regel nimmt die Mittelwertbildung einer Reihe von räumlichen Messungen eine Form radialsymmetrischer (z. B. Gaussische) Verteilung von Fehlern bezüglich einer Bezugsposition an. Wenn es jedoch bevorzugte Betrachtungspositionen innerhalb eines oder mehrerer Objekte gibt, dann wird diese Annahme (d. h. radiale Symmetrie) im Allgemeinen nicht erfüllt, was zu dem Konzept einer sogenannten „Wahrscheinlichkeitsdichtefunktion“ (probability density function - PDF) zum statistischen Bearbeiten mehrerer Messungen führt.
In beispielhaften Ausführungen kann eine angenommene (aufgrund von beispielsweise kontrastreichen Bereichen eines Objekts) oder empirisch gemessene Salienzkarte verwendet werden, um eine mit einem bestimmten angezeigten Objekt verbundene PDF zu bestimmen. Sobald eine vorhergesagte oder gemessene PDF bestimmt ist, können mehrere Blickpositionsmessungen kombiniert werden (z. B. unter Verwendung von gewichteter Mittelwertbildung) auf eine Weise, welche die mit jedem Objekt verbundene individuelle PDF berücksichtigt. Gewichtungsfaktoren werden aufgrund räumlicher Verteilungen in der PDF berechnet.
Kombinierte (z. B. gewichtete Mittelwertbildungs-) Messungen von Blickpositionen stellen im Allgemeinen eine höhere Konfidenz und räumliche Genauigkeit bei Schätzungen der Benutzeraufmerksamkeit im Vergleich mit einzelnen Blickmessungen bereit. Solche Messungen sind zunehmend gangbar und hilfreich, da Kamerabildraten (d. h. entsprechend der maximalen Anzahl von Blickmessungen, die pro Zeiteinheit erfasst werden können) in modernen Eye-Tracking-Systemen zunehmen. Kombinierte Blickschätzungen sind besonders hilfreich, wenn sie verwendet werden, um zu bestimmen, ob die Benutzeraufmerksamkeit (z. B. sakkadisches Landen) innerhalb einer vorbestimmten Entfernung von der Mitte (oder jeder anderen Bezugsposition) eines bestimmten Objekt lokalisiert ist, wodurch sie auf eine Auswahl und/oder das Einleiten einer Aktion bezüglich des ausgewählten Objekts (und/oder anderer Parameter) hinweisen. Die Verwendung kombinierter Messungen, welche die Salienz und sich ergebende PDFs berücksichtigen, führt zu größerer Genauigkeit und Konsistenz beim Bestimmen von Objekten, die in der Augensignalsprache (und im Gegensatz dazu, einer Reduktion unbeabsichtigter Aktivierungen) betrachtet und/oder ausgewählt werden.
35 zeigt ein Beispiel für eine erwartete Salienzkarte für ein Objekt 760. Das beispielhafte Objekt besteht aus einem einfachen gleichschenkligen Dreieck 760. Mittelpunkte, in denen die Salienz als am höchsten angenommen wird, sind dort angeordnet, wo sich die Seiten des Dreiecks 760 schneiden, wobei in der in 35 dargestellten Salienzkarte der Grad der Salienz durch Graustufen 761a, 761b, 761c dargestellt ist (wobei die Bereiche der höchsten Salienz dunkel dargestellt sind). Die geometrische Mitte des Objekts (d. h. des gleichschenkligen Dreiecks) 760 ist durch ein Fadenkreuz 762 angegeben.
Die Salienzkarte 761a, 761b, 761c enthält gleiche Bereiche auf der linken wie auch der rechten Seite einer vertikalen Achse 763b, die als gestrichelte Linie durch die Objektmitte 762 gezeichnet ist. Somit können beim Bestimmen einer kombinierten horizontalen Blickposition Blickmessungen auf der horizontalen Achse gleichwertig gewichtet werden. Es gibt jedoch eine zunehmende Zahl von salienten Merkmalen 761b, 761c unterhalb im Vergleich mit oberhalb 761a einer horizontalen Achse 763a, die als gestrichelte Linie durch die Objektmitte 762 gezeichnet ist. Somit wäre zu erwarten, dass mehr Blickmessungen eines Beobachters unterhalb der geometrischen Mitte des Objekts 762 verglichen mit oberhalb derselben vorgenommen wurden.
In dem einfachen Fall, der in 35 gezeigt ist, gibt es zweimal so viele saliente Bereiche unterhalb der mittleren horizontalen Achse 762a verglichen mit oberhalb der Achse 763a. Die Wahrscheinlichkeit, dass ein Beobachter, der das Objekt betrachtet, anfänglich unterhalb der geometrischen Mitte 762 des Objekts zielen und/oder anschließend Objektmerkmale unterhalb der horizontalen Mittellinie 763a (einschließlich von Mikrosakkaden, Tremoren usw.) betrachten würde, wäre doppelt so groß. Somit wäre erwartbar, dass jede Messung oberhalb der horizontalen Achse 763a so gewichtet werden sollte, als ob doppelt so viele Beobachtungen oberhalb der Achse 763a vorgenommen worden wären verglichen mit unterhalb. Mit dieser Gewichtung und Annahme, dass alle anderen Fehlerquellen zufällig wären, konvergiert der sich ergebende gewichtete Mittelwert einer großen Anzahl von Blickmessungen zu der tatsächlichen geometrischen Mitte des Objekts 762.
AUGENSIGNALAUSWAHL VON BEREICHEN UND CLUSTERN
Ein Grundbestandteil, der in vielen HMI-Systemen auftritt, beinhaltet die Fähigkeit, Cluster oder Gruppen von Objekten zu identifizieren oder mit ihren zu interagieren. Beispiele für solche Objekte beinhalten Sammlungen von Dateien, Anwendungen, Bildern, Funktionen darstellende Icons, Namen, Adressen, Telefonnummern, Wörter innerhalb von Text, Hyperlinks, Videos, Audioaufzeichnungen, Flächen und dergleichen. In modernen Systemen handhaben typische bildschirmbasierte grafische Benutzeroberflächen (graphical user interface - GUI) das Gruppieren von Clustern, dass dem Benutzer gestattet wird, einen oder mehrere im Allgemeinen rechteckige Bereiche auf einem Bildschirm zu spezifizieren (z. B. unter Verwendung eines berührungsempfindlichen Bildschirms oder einer Computermaus), die Darstellungen von gewünschten Objekten innerhalb eines Clusters beinhalten. Operationen können dann beispielsweise an allen Objekten oder Funktionen innerhalb des Clusters gleichzeitig durchgeführt werden.
Eine Herausforderung während der Augensignalgebung entsteht aufgrund der den schnellen, sakkadischen Augenbewegungen inhärenten „Punkt-zu-Punkt“-Eigenschaft sowie der Tatsache, dass den Augen während jeder Bewegung sichtbare Elemente (d. h. Ziele) zum Landen bereitgestellt werden müssen. Dies erschwert es den Augenbewegungen eines Benutzers, einen spezifischen und willkürlich bemessenen Bereich ohne eine GUI-Strategie zu identifizieren, die die Physiologie von Augenbewegungen berücksichtigt.
In beispielhaften Ausführungsformen können Cluster von Objekten auf einer Anzeige durch Berücksichtigen einer identifizierbaren Abfolge sakkadischer Augenbewegungen ausgewählt werden. Alle Objekte innerhalb des von der sakkadischen Sequenz spezifizierten Gebiets werden als ein Teil der Auswahl umfasst. Mehrere Gebiete können nacheinander ausgewählt/angehängt werden, um jede Anzahl von Objekten innerhalb jeder Größe oder Form von Bereichen zu umfassen.
In der Augensignalsprache kann eine Ecke eines auswählbaren Bereichs durch eine sakkadische Augenbewegung der Position der Ecke bis zu einem „Gebietsauswahl“-Ziel spezifiziert werden. Im Allgemeinen ist das auszuwählende Gebiet rechtwinklig; jedoch sind alle anderen Auswahlformen möglich, beispielsweise beim Auswählen mehrerer Elemente aus einer im Wesentlichen 1-dimensionalen Liste von Elementen. Das „Gebietsauswahl“-Ziel ist mit keiner bestimmten Funktion, außer mit der Auswahl der Grenze eines Bereichs, verbunden.
Es können Varianten spezifischer Abfolgen von Augenbewegungen vorliegen, um ein Gebiet zu spezifizieren; jedoch beinhalten wesentliche Elemente solcher Augenbewegungsabfolgen Folgendes: 1) die Fähigkeit, die beiden (nicht aneinander angrenzenden) Ecken eines rechtwinkligen Gebiets unter Verwendung von zwei sakkadischen Augenbewegungen anzugeben, 2) die Fähigkeit, dem Cluster gegebenenfalls zusätzliche Gebiete durch zusätzliche Paare von Augenbewegungen hinzuzufügen, 3) die Fähigkeit eine unbeabsichtigte Auswahl eines oder mehrerer Bereiche zu korrigieren oder zu „vergessen“, und 4) die Fähigkeit, anschließend eine auswählbare Aktion an den Objekten (einschließlich von Funktionen, die von den Objekten dargestellt werden) innerhalb des einen oder der mehreren ausgewählten Bereiche durchzuführen.
Die Aktion des Auswählens eines „Gebietsauswahl-“ Ziels kann in einer sogenannten „Gehe zu“-Auswahlsequenz eingebettet sein (um die Anzahl von Aktivierungsbereichen zu minimieren). In vielen Anwendungen jedoch kann es benutzerfreundlicher und effizienter sein, das „Gebietsauswahl“-Ziel jederzeit (oder zumindest zu den meisten Zeiten) verfügbar zu haben. Zusätzlich kann es in Fällen, in denen große Gebiete einer Anzeige mit wenigen Objekten vorliegen können, hilfreich sein, diese mit graphischen Hinweisen wie etwa einem Liniennetz oder einer Punktmatrix zu überlagern oder in einen Hintergrund einzugliedern, um visuelle „Erholungsgebiete“ bereitzustellen, auf denen der Blick bei Abwesenheit anderer betrachtbarer Objekte landen kann.
Die 36A-36C stellen eine Reihe von Augenbewegungen 773a, 773b dar zum Auswählen mehrerer Personen aus einer Anordnung potenzieller Empfänger 771 von Textnachrichten oder E-Mail, die auf einer Anzeige 770 aufgeführt sind. In 36A kann eine Gruppe von Empfängern (Peter, Mary, Dave, C.J.) innerhalb eines Bereichs 775a auf der Anzeige 770 ausgewählt werden, indem zuerst eine sakkadische Augenbewegung (dargestellt als durchgehende Linie, die eine die Bewegungsrichtung darstellende Pfeilspitze 773a enthält) aus einer Ecke 772a des ausgewählten Bereichs 775a hin zu einem „Gebietsauswahl“-Ziel-Icon (in diesem Fall einem aus gestrichelten Linien bestehenden Quadrat mit einem zentralen Punkt der Aufmerksamkeit, 774a) durchgeführt wird. Der Benutzer kann dann jede Anzahl zusätzlicher Augenbewegungen durchführen (so lange keine Sakkade zu einem Aktivierungsziel 774b hin durchgeführt wird) um eine zweite Ecke 772b des Bereichs 775a, welche die gewünschten Elemente enthält, auszusuchen. Sobald sie durch den Benutzer gefunden ist, definiert eine Sakkade 773b aus der zweiten Ecke 772b von dem Bereich 775a hin zum Gebietsauswahlziel 774a den Bereich 775a mit den ausgewählten Namen.
An diesem Punkt würde eine Sakkade von dem Gebietsauswahlziel 774a hin zum Aktivierungsziel 774b eine Aktion einleiten (d. h. Senden von E-Mails an Empfänger) aufgrund der vier (4) Namen in dem ersten ausgewählten Bereich 775a. Wie jedoch in 36B dargestellt, falls ein anderer Bereich von Empfängernamen in die Aktion einzufügen ist, dann kann eine erste Ecke 772c des zweiten ausgewählten Bereichs 775b durch Sakkadieren 773c von der ausgewählten Ecke 772c hin zum Gebietsauswahlziel 774a spezifiziert werden. Ähnlich dem ersten ausgewählten Bereich 775a, kann der Benutzer dann jede Anzahl von sondierenden Augenbewegungen durchführen (solange keine Sakkade hin zu einem Aktivierungsziel 774b durchgeführt wird), um eine zweite Ecke 772d des zweiten Bereichs 775b, welche die ausgewählten Elemente enthält, auszusuchen. Sobald sie durch den Benutzer gefunden ist, definiert eine Sakkade 773d aus der zweiten Ecke 772d des Bereichs 775b hin zum Gebietsauswahlziel 774a den Bereich 775b mit den ausgewählten Namen (d. h. Art, Kris). Alternativ dazu kann die Reihenfolge, in der Eckenelemente 772a, 772b gewählt werden, umgekehrt werden.
Wenn keine weiteren Namen mehr zu der Liste hinzugefügt werden sollen, kann der Benutzer eine sakkadische Augenbewegung (dargestellt als eine gestrichelte Linie mit einer Pfeilspitze, 777) unmittelbar aus der zweiten Ecke 772d des ausgewählten Bereichs 775b hin zum Aktivierungsziel 774b durchführen, wodurch der zweite Satz von Namen an die Liste der E-Mail-Empfänger angehängt wird und eine Funktion innerhalb der Aktivierungssequenz durchgeführt wird (z. B. Senden der E-Mails). Alternativ dazu (obwohl aus der Sicht der gesamten Augenbewegung weniger effizient) würde nach dem Sakkadieren 773d zum Gebietsauswahlziel 774a eine anschließende Sakkade unmittelbar hin zum Aktivierungsziel 774b ähnlicherweise die ausgewählte Funktion auf die kombinierten ersten 775a und zweiten 775b Sätze von Empfängern anwenden.
36C stellt eine Reihe zusätzlicher Augenbewegungen dar, die verwendet werden können, um einen zusätzlichen Namen (Phil, 776) zur Liste der E-Mail-Empfänger hinzuzufügen). Eine Sakkade 773e kann von dem Gebietsauswahlziel 773 zum Sondieren solcher zusätzlicher Empfänger 771 durchgeführt werden. Sobald gefunden, hängt eine Sakkade 773f unmittelbar von der einzelnen Auswahl (Phil, 776) hin zum Aktivierungsziel 774b das einzelne Element an die akkumulierte Liste an und leitet die ausgewählte Aktion ein. In diesem Fall war es nicht notwendig, einen Bereich auf der Anzeige 770 zu definieren, da nur ein einzelnes Element ausgewählt wurde; ein gleichwertiges Ergebnis wäre jedoch erzielt worden, wenn ein Bereich, der ein einzelnes Element enthielte, unter Verwendung des Gebietsauswahlziels 774a ausgewählt worden wäre, gefolgt von einer Sakkade unmittelbar aus dem Gebietsauswahlziel 774 hin zum Aktivierungsziel 774b.
Es versteht sich, dass die verschiedenen Komponenten und Merkmale, die in den bestimmten Ausführungsformen beschrieben wurden, durch andere Ausführungsformen ergänzt, gelöscht und/oder ersetzt werden können, abhängig von der bezweckten Verwendung der Ausführungsformen.
Ferner kann die Beschreibung beim Beschreiben der repräsentativen Ausführungsformen das Verfahren und/oder den Prozess als eine bestimmte Schrittabfolge dargestellt haben. In dem Maße jedoch, in dem das Verfahren oder der Prozess nicht auf der bestimmten Reihenfolge hier dargelegter Schritte angewiesen ist, sollte das Verfahren oder der Prozess nicht auf die bestimmte beschriebene Schrittabfolge beschränkt sein. Wie es sich für einen Durchschnittsfachmann versteht, können andere Schrittabfolgen möglich sein. Somit sollte sich die bestimmte Reihenfolge der in der Beschreibung dargelegten Schritte nicht als Beschränkung der Ansprüche verstehen.
Während die Erfindung verschiedenen Modifikationen und alternativen Formen unterliegen kann, sind spezifische Bespiele dafür in den Zeichnungen gezeigt und hier im Einzelnen beschrieben. Es versteht sich jedoch, dass die Erfindung nicht auf die bestimmten offenbarten Formen oder Verfahren beschränkt ist, sondern vielmehr alle Modifikationen, Äquivalente und Alternativen abdeckt, die sich innerhalb des Umfangs der Ansprüche befinden.

Claims

Beansprucht wird:
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers einen Lidschlag durchführen; Bestätigen, mit dem Detektor, dass eine Augenbewegung eines oder beider Augen des Benutzers mit einer vorher festgelegten Post-Lidschlag-Dauer nach dem Lidschlag beginnt; Klassifizieren, mit dem Detektor, dass die Augenbewegung sakkadisch ist, auf Basis einer sakkadischen Geschwindigkeit eines oder beider Augen des Benutzers, die eine vorher festgelegte sakkadische Post-Lidschlag-Schwellenwertgeschwindigkeit übersteigt; und Durchführen einer Aktion, die mit der sakkadischen Augenbewegung verbunden ist.
Verfahren nach Anspruch 1, wobei die Post-Lidschlag-Dauer nach dem Lidschlag bis zu 200 Millisekunden beträgt.
Verfahren nach Anspruch 1, wobei die sakkadische Post-Lidschlag-Schwellenwertgeschwindigkeit 20°/Sekunde beträgt.
Verfahren nach Anspruch 1, wobei das Durchführen einer Aktion das Einbeziehen einer vorher festlegten Verzögerung beim Interpretieren einer Absicht der sakkadischen Augenbewegung umfasst.
Verfahren nach Anspruch 1, wobei das Durchführen einer Aktion das Einbeziehen einer vorher festlegten Verzögerung beim Durchführen einer Aktion auf Basis der sakkadischen Augenbewegung umfasst.
Verfahren nach Anspruch 1, wobei das Durchführen einer Aktion das Verzögern des Einführens eines virtuellen Objekts auf einer Anzeige um eine vorher festgelegte Zeit umfasst.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Anzeige zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein Objekt gerichtet sind; Identifizieren, mit dem Detektor, einer Sakkade eines oder beider Augen des Benutzers vom Objekt in Richtung eines Zielorts auf der Anzeige; zumindest teilweise auf Basis des Identifizierens der Sakkade, Bewegen, auf der Anzeige während der Sakkade, von Orten eines oder mehrerer angezeigter Objekte innerhalb einer vorher festgelegten Region rund um den Zielort auf der Anzeige; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand vom Zielort abgeschlossen ist; Ermitteln, mit dem Detektor, einer oder mehrerer Blickbewegungen, die einem der angezeigten Objekte folgen, wodurch ein verfolgtes Objekt identifiziert wird; und Durchführen einer Aktion, die mit einem oder mehreren Zielorten und dem verfolgten Objekt verbunden ist.
Verfahren nach Anspruch 7, wobei das Bewegen des Orts eines oder mehrerer angezeigter Objekte einen leeren Effekt produziert, bei dem die Bewegung vom Benutzer nicht wahrgenommen wird.
Verfahren nach Anspruch 7, wobei die eine oder mehreren Blickbewegungen eine Blickfolge, eine Sakkade, eine Vergenzbewegung oder eine Kombination von zwei Blickbewegungen umfasst, die eine oder mehrere Blickfolgen, Sakkaden oder Vergenzbewegungen beinhalten.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine erste Taste auf einer ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung einer zweiten Taste auf einer zweiten Tastatur; Bestätigen, mit dem Detektor, dass die erste Sakkade bis zu einem vorher festgelegten Abstand von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen einer Aktion, die einer oder beiden der ersten Taste und der zweiten Taste zugeordnet ist, ohne auf die Wahrnehmung der zweiten Taste durch den Benutzer zu warten.
Verfahren nach Anspruch 10, wobei die erste Tastatur eine virtuelle Tastatur, die auf eine Anzeige projiziert wird, oder eine echte Tastatur ist.
Verfahren nach Anspruch 10, wobei die zweite Tastatur eine virtuelle Tastatur, die auf eine Anzeige projiziert wird, oder eine echte Tastatur ist.
Verfahren nach Anspruch 10, wobei die Aktion das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, mit einer Reihe alphanumerischer Zeichen umfasst.
Verfahren nach Anspruch 13, wobei das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, ein Wort oder eine Zahl bildet.
Verfahren nach Anspruch 10, wobei die ersten und zweiten Tastaturen virtuelle Tastaturen sind, die auf einer Anzeige nebeneinander präsentiert werden.
Verfahren nach Anspruch 10, wobei die ersten und zweiten Tastaturen eine Vielzahl alphanumerischer Tasten beinhalten, die eine oder mehrere Zahlen, Buchstaben oder Sonderzeichen beinhalten.
Verfahren nach Anspruch 10, wobei die ersten und zweiten Tastaturen identische Layouts haben.
Verfahren nach Anspruch 10, wobei die ersten und zweiten Tastaturen voneinander unterschiedliche Layouts haben.
Verfahren nach Anspruch 10, wobei die Aktion das Hinzufügen eines alphanumerischen Symbols, das der ersten Taste zugeordnet ist, zu einem Feld auf einer Anzeige umfasst.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vermitteln, umfassend: Bereitstellen einer ersten Tastatur, die einen ersten Bereich beinhaltet, der eine Vielzahl von Tasten aufweist, und einer zweiten Tastatur, die einen zweiten Bereich beinhaltet, der eine Vielzahl von Tasten aufweist; Identifizieren, mit dem Detektor, wenn ein oder beide Augen des Benutzers auf den ersten Bereich der ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, wenn ein oder beide Augen des Benutzers auf eine erste Taste auf der ersten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung des zweiten Bereichs der zweiten Tastatur; Bestätigen, mit dem Detektor, dass die erste Sakkade innerhalb des zweiten Bereichs der zweiten Tastatur abgeschlossen ist; und Durchführen einer Aktion, die der ersten Taste zugeordnet ist, ohne auf die Wahrnehmung des zweiten Bereichs der zweiten Tastatur durch den Benutzer zu warten.
Verfahren nach Anspruch 20, femer umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine zweite Taste auf der zweiten Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer zweiten Sakkade eines oder beider Augen des Benutzers von der zweiten Taste in Richtung des ersten Bereichs der ersten Tastatur; Bestätigen, mit dem Detektor, dass die zweite Sakkade innerhalb des ersten Bereichs der ersten Tastatur abgeschlossen ist; und Durchführen einer Aktion, die der zweiten Taste zugeordnet ist, ohne auf die Wahrnehmung des ersten Bereichs der ersten Tastatur durch den Benutzer zu warten.
Verfahren nach Anspruch 21, wobei die Aktion das Ändern von Symbolen umfasst, die auf den Tasten der zweiten Tastatur zumindest teilweise auf Basis der ersten Taste präsentiert werden.
Verfahren nach Anspruch 22, wobei das Ändern der Symbole, die auf den Tasten der zweiten Tastatur präsentiert werden, das Weglassen der Symbole von den Tasten der zweiten Tastatur umfasst, die keinem Symbol zugeordnet werden können, das auf der ersten Taste präsentiert wird.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vermitteln, umfassend: Präsentieren auf einer Anzeige eines ersten Felds, das einen ersten Bereich beinhaltet, der eine Vielzahl von Symbolen aufweist, und eines zweiten Felds, das einen zweiten Bereich beinhaltet, der eine Vielzahl von Symbolen aufweist; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf den ersten Bereich des ersten Felds gerichtet sind; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein erstes Symbol im ersten Feld gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom ersten Symbol in Richtung des zweiten Bereichs des zweiten Symbols; Bestätigen, mit dem Detektor, dass die erste Sakkade innerhalb des zweiten Bereichs des zweiten Felds abgeschlossen ist; und nach Bestätigen, dass die erste Sakkade vom ersten Symbol zum zweiten Bereich abgeschlossen ist, Durchführen einer Aktion, die dem ersten Symbol zugeordnet ist, ohne auf die Wahrnehmung des zweiten Bereichs durch den Benutzer zu warten.
Verfahren nach Anspruch 24, wobei die Aktion sofort nach Bestätigen durchgeführt wird, dass die erste Sakkade vom ersten Symbol zum zweiten Bereich abgeschlossen ist, unabhängig von irgendeiner weiteren Aktion durch den Benutzer.
Verfahren nach Anspruch 24, femer umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein zweites Symbol im zweiten Feld gerichtet sind; Identifizieren, mit dem Detektor, einer zweiten Sakkade eines oder beider Augen des Benutzers vom zweiten Symbol in Richtung des ersten Bereichs des ersten Felds; Bestätigen, mit dem Detektor, dass die zweite Sakkade innerhalb des ersten Bereichs des ersten Felds abgeschlossen ist; und Durchführen einer Aktion, die dem zweiten Symbol zugeordnet ist, ohne auf die Wahrnehmung des ersten Bereichs durch den Benutzer zu warten.
Verfahren nach Anspruch 24, femer umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein zweites Symbol im zweiten Feld gerichtet sind; Identifizieren, mit dem Detektor, einer zweiten Sakkade eines oder beider Augen des Benutzers vom zweiten Symbol in Richtung eines dritten Bereichs eines dritten Felds, das auf der Anzeige präsentiert wird; Bestätigen, mit dem Detektor, dass die zweite Sakkade innerhalb des dritten Bereichs des dritten Felds abgeschlossen ist; und Durchführen einer Aktion, die dem zweiten Symbol zugeordnet ist, ohne auf die Wahrnehmung des dritten Bereichs durch den Benutzer zu warten.
Verfahren nach Anspruch 24, wobei die Vielzahl von Symbolen eine Vielzahl von Tasten umfasst, wobei jede Taste ein alphanumerisches Symbol beinhaltet.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Tastatur und eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine erste Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen einer Aktion, die einer oder beiden der ersten Taste und der zweiten Taste zugeordnet ist, ohne auf die Wahrnehmung der zweiten Taste durch den Benutzer zu warten.
Verfahren nach Anspruch 29, wobei die Tastatur eine virtuelle Tastatur, die auf eine Anzeige projiziert wird, oder eine echte Tastatur ist.
Verfahren nach Anspruch 29, wobei die zweite Taste ein Aktivierungsziel ist.
Verfahren nach Anspruch 29, wobei die Aktion das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, mit einer Reihe alphanumerischer Zeichen umfasst.
Verfahren nach Anspruch 32, wobei das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, ein Wort oder eine Zahl bildet.
Verfahren nach Anspruch 29, wobei die Sakkade eine gedächtnisgeleitete Sakkade ist.
Verfahren nach Anspruch 29, wobei die zweite Taste sich innerhalb einer parafovealen Sicht oder einer peripheren Sicht des Benutzers befindet.
Verfahren nach Anspruch 29, wobei die erste Taste sich innerhalb einer virtuellen Tastatur auf einer Anzeige befindet und die zweite Taste sich innerhalb eines Sichtfelds des Benutzers nicht auf der Anzeige befindet.
Verfahren nach Anspruch 29, wobei die Aktion sofort nach Bestätigen durchgeführt wird, dass die erste Sakkade von der ersten Taste bis zu einem vorher festgelegten Abstand vom Ort der zweiten Taste abgeschlossen ist, unabhängig von irgendeiner weiteren Aktion durch den Benutzer.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Tastatur und eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine erste Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Identifizieren, mit dem Detektor, einer oder mehrerer korrektiver Sakkaden von einem oder beiden Augen des Benutzers, femer gerichtet in Richtung der zweiten Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass mindestens eine der einen oder mehreren korrektiven Sakkaden bis zu einem vorher festgelegten Abstand von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen einer Aktion, die einer oder beiden der ersten Taste und der zweiten Taste zugeordnet ist, ohne auf die Wahrnehmung der zweiten Taste durch den Benutzer zu warten.
Verfahren nach Anspruch 38, wobei die Aktion sofort nach Bestätigen durchgeführt wird, dass die erste Sakkade von der ersten Taste bis zu einem vorher festgelegten Abstand vom Ort der zweiten Taste abgeschlossen ist, unabhängig von irgendeiner weiteren Aktion durch den Benutzer.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Tastatur und eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers innerhalb eines vorher festgelegten Abstands von einem Ort der ersten Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand von einem Ort der zweiten Taste abgeschlossen ist; und Durchführen einer Aktion, die einer oder beiden der ersten Taste und der zweiten Taste zugeordnet ist, ohne eine Anzeige zu ändern, um die Aufmerksamkeit des Benutzers nicht auf sich zu ziehen.
Verfahren nach Anspruch 40, wobei die Aktion durchgeführt wird, ohne auf die Wahrnehmung der zweiten Taste durch den Benutzer zu warten.
Verfahren nach Anspruch 40, wobei die Aktion das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, mit einer gespeicherten Reihe alphanumerischer Zeichen umfasst.
Verfahren nach Anspruch 42, wobei das Verketten eines alphanumerischen Zeichens, das der ersten Taste zugeordnet ist, ein Wort oder eine Zahl bildet.
Verfahren nach Anspruch 40, wobei die Tastatur auf die Anzeige projiziert wird.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Tastatur, einer Anzeige und eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen ersten Ort auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom ersten Ort in Richtung eines automatisch auszufüllenden Aktivierungsziels an einem automatisch auszufüllenden Aktivierungszielort auf der Anzeige; Darstellen, innerhalb einer vorher festgelegten Region rund um den automatisch auszufüllenden Aktivierungszielort auf der Anzeige, von einem oder mehreren Vervollständigungselementen eines Datensatzes; Durchführen einer Auswahl-Augenbewegung, um die Auswahl eines des einen oder der mehreren Vervollständigungselemente anzugeben, und dadurch ein ausgewähltes Vervollständigungselement zu identifizieren; und Anhängen des ausgewählten Vervollständigungselements an den Datensatz.
Verfahren nach Anspruch 45, wobei die Vervollständigungselemente ein Teil eines Worts, ein Teil eines Ausdrucks, ein Teil eines Satzes, eine Komponente einer Nummernfolge, ein Teil eines Bildes oder eine vorher festgelegte Folge alphanumerischer Zeichen oder Funktionen sind.
Verfahren nach Anspruch 45, wobei die vorher festgelegte Region rund um das automatisch auszufüllende Aktivierungsziel innerhalb einer fovealen Sicht des Benutzers ist.
Verfahren nach Anspruch 47, wobei die foveale Sicht des Benutzers innerhalb von 1° bis 3° von der Blickrichtung des Benutzers liegt.
Verfahren nach Anspruch 45, wobei das Darstellen eines oder mehrerer Vervollständigungselemente innerhalb der vorher festgelegten Region rund um den automatisch auszufüllenden Aktivierungszielort keine Suchbewegungen eines oder beider Augen des Benutzers produziert.
Verfahren nach Anspruch 45, wobei der Datensatz ein Teil eines Worts, ein Teil eines Satzes, eine Komponente einer Nummernfolge, ein Teil eines Bildes oder eine vorher festgelegte Folge alphanumerischer Zeichen oder Funktionen ist.
Verfahren nach Anspruch 45, wobei die Auswahl-Augenbewegung eine Sakkade vom automatisch auszufüllenden Aktivierungszielort in Richtung eines Auswahlaktivierungsziels oder das Verfolgen einer Bewegung eines des einen oder der mehreren Vervollständigungselemente durch eines oder beide Augen des Benutzers ist.
Verfahren nach Anspruch 45, wobei die Tastatur auf die Anzeige projiziert wird.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Tastatur und eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers innerhalb eines vorher festgelegten Abstands von einem Ort der ersten Taste auf der Tastatur gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers von der ersten Taste in Richtung einer zweiten Taste auf der Tastatur; Identifizieren, mit dem Detektor, einer oder mehrerer zusätzlicher Sakkaden eines oder beider Augen des Benutzers in Richtung einer oder mehrerer zusätzlicher Tasten auf der Tastatur; Identifizieren, mit der ersten Sakkade und der einen oder den mehreren zusätzlichen Sakkaden, eines Musters der Augenbewegungen; Klassifizieren, mithilfe des Musters der Augenbewegungen als Eingabe für ein neuronales Netzwerk, eines oder mehrerer alphanumerischer Zeichen; und Durchführen einer Aktion in Verbindung mit dem einen oder den mehreren alphanumerischen Zeichen.
Verfahren nach Anspruch 53, wobei das Durchführen einer Aktion das Verketten des einen oder der mehreren alphanumerischen Zeichen mit einer gespeicherten Reihe alphanumerischer Zeichen umfasst.
Verfahren nach Anspruch 54, femer umfassend das Durchführen einer Aktion in Verbindung mit dem einen oder den mehreren alphanumerischen Zeichen, die mit einer gespeicherten Reihe alphanumerischer Zeichen verkettet sind.
Verfahren nach Anspruch 53, wobei die Aktion ohne Ändern einer Anzeige durchgeführt wird, um die Aufmerksamkeit des Benutzers nicht auf sich zu ziehen.
Verfahren nach Anspruch 53, wobei das Durchführen einer Aktion das Bereitstellen einer akustischen Rückmeldung oder einer haptischen Rückmeldung für den Benutzer umfasst.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Anzeige zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen ersten Ort gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom ersten Ort in Richtung eines ersten Aktivierungsziels an einem ersten Aktivierungszielort auf der Anzeige; Entfernen des ersten Aktivierungsziels aus der Anzeige und Präsentieren eines zweiten Aktivierungsziels auf der Anzeige an einem zweiten Aktivierungszielort, der sich gegenüber dem ersten Aktivierungszielort unterscheidet; Identifizieren, mit dem Detektor, einer zweiten Sakkade eines oder beider Augen des Benutzers vom ersten Aktivierungszielort in Richtung eines zweiten Orts auf der Anzeige; Bestätigen, mit dem Detektor, dass die zweite Sakkade bis zu einem vorher festgelegten Abstand vom zweiten Ort abgeschlossen ist; Identifizieren, mit dem Detektor, einer dritten Sakkade eines oder beider Augen des Benutzers vom zweiten Ort in Richtung des zweiten Aktivierungszielorts auf der Anzeige; und Durchführen einer Aktion in Verbindung mit dem ersten Ort, dem ersten Aktivierungsziel, dem zweiten Ort und/der dem zweiten Aktivierungsziel.
Verfahren nach Anspruch 58, femer umfassend: Entfernen, mit der Anzeige, eines oder mehrerer Aktivierungsziele, die auf der Anzeige dargestellt sind; und Darstellen, mit der Anzeige, eines oder mehrerer zusätzlicher Aktivierungsziele auf der Anzeige an Orten, die sich von dem Ort des einen oder der mehreren Aktivierungsziele, die entfernt wurden, unterscheidet.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine betrachtete Position innerhalb einer Skala gerichtet sind; Identifizieren, mit dem Detektor, einer Sakkade eines oder beider Augen des Benutzers von der betrachteten Position innerhalb der Skala in Richtung eines Aktivierungsziels an einem Aktivierungszielort; Bestätigen, mit dem Detektor, dass die Sakkade innerhalb einer vorher festgelegten Entfernung vom Aktivierungszielort abgeschlossen ist; und Durchführen einer Aktion in Verbindung mit einem oder beiden der betrachteten Position innerhalb der Skala in Bezug auf einen Ort der Skala und dem Aktivierungsziel.
Verfahren nach Anspruch 60, wobei die Aktion durchgeführt wird, ohne auf die Wahrnehmung des Aktivierungsziels durch den Benutzer zu warten.
Verfahren nach Anspruch 60, wobei die Skala eine grafische Darstellung eines Lineals, einer Messuhr, eines Thermometers oder eines Nadelindikators ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu erkennen, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers innerhalb eines vorher festgelegten Abstands von einem Objekt an einem Objektort gerichtet sind; Identifizieren, mit dem Detektor, einer Sakkade eines oder beider Augen des Benutzers vom Objekt in Richtung eines Ziels an einem Zielort; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand vom Zielort abgeschlossen ist; und Durchführen einer Aktion, die dem Objekt, Objektort, Ziel und/oder Zielort zugeordnet ist, vor Wahrnehmung des Ziels, wobei die Aktion das Bereitstellen einer Benutzerrückmeldung umfasst, die keine visuelle Aufmerksamkeit des Benutzers wecken soll.
Verfahren nach Anspruch 63, wobei die Benutzerrückmeldung, die keine visuelle Aufmerksamkeit des Benutzers wecken soll, ein akustisches Signal, eine Temperatur, ein olfaktorisches Signal und/oder ein haptisches Signal ist.
Verfahren nach Anspruch 63, wobei eine Eigenschaft der Aktion eine Frequenz, eine Amplitude, einen wahrgenommenen Abstand, eine wahrgenommene Schallrichtung oder eine Modulation des akustischen Signals steuert.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und eines Betrachtungsgeräts zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein Objekt an einem Objektort gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom Objektort in Richtung eines ersten Ziels an einem ersten Zielort; während der ersten Sakkade, Ändern, mit dem Betrachtungsgerät, der Sicht des Benutzers des ersten Ziels, wodurch ein Lückeneffekt produziert wird, Identifizieren, mit dem Detektor, einer zweiten Sakkade eines oder beider Augen des Benutzers vom ersten Zielort in Richtung eines zweiten Ziels an einem zweiten Zielort; Bestätigen, mit dem Detektor, dass die zweite Sakkade innerhalb eines vorher festgelegten Abstands vom zweiten Zielort abgeschlossen ist; und Durchführen einer Aktion in Verbindung mit dem Objekt, dem Objektort, dem ersten Ziel, dem ersten Zielort, dem zweiten Ziel und/oder dem zweiten Zielort.
Verfahren nach Anspruch 66, wobei das erste Ziel ein physisches Ziel ist.
Verfahren nach Anspruch 66, wobei das Ändern der Sicht des Benutzers das Blockieren der Sicht des Benutzers des ersten Ziels umfasst.
Verfahren nach Anspruch 68, wobei das Blockieren des ersten Ziels das Ersetzen des ersten Ziels durch ein Bild umfasst, das einem Bild rund um das erste Ziel ähnlich oder eine Fortsetzung davon ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Anzeige und eines Detektors zu ermitteln, umfassend: Identifizieren, mit einer Szenenkamera, die vom Benutzer weg gerichtet ist, von Objekten, die sich innerhalb der Umgebung des Benutzers befinden; Ermitteln, mit einer Datenbank der Objektvorlagen, ob eines oder mehrere Objekte, die sich innerhalb der Umgebung des Benutzers befinden, Objekte von hoher Bedeutung sind; Empfangen, mithilfe einer Telekommunikationsvorrichtung, eines eingehenden Datensatzes, der für das Darstellen auf der Anzeige bestimmt ist; und Darstellen des eingehenden Datensatzes auf der Anzeige nur, wenn ermittelt wird, dass keine Objekte von hoher Bedeutung in der Umgebung des Benutzers vorhanden sind.
Verfahren nach Anspruch 70, wobei das Ermitteln von Objekten von hoher Bedeutung ferner umfasst: Aufnehmen, mit einer Szenenkamera, von einem oder mehreren Bildern der Umgebung des Benutzers; und Identifizieren, mit einer Datenbank der Objektvorlagen, der Objekte von hoher Bedeutung innerhalb von Szenenkamerabildern als eine Person, eine identifizierte Person, eine Person, die als sprechend identifiziert wird, eine Innenansicht eines Flugzeugs, eine Innenansicht einer Schule, einen Innenraum eines Automobils, eine Sicht einer oder mehrerer Steuerungen, die die Prioritätsaufmerksamkeit des Benutzers erfordern, und/oder eine Innenansicht eines Theaters.
Verfahren nach Anspruch 71, femer umfassend die Verwendung eines globalen Positionierungssystems, das eine oder mehrere Objekte von hoher Bedeutung auf Basis des Orts des Benutzers identifiziert.
Verfahren nach Anspruch 70, wobei der eingehende Datensatz unabhängig vom Vorhandensein von Objekten von hoher Bedeutung dargestellt wird, wenn der eingehende Datensatz als dringend betrachtet, als Ergebnis der Präferenz eines Benutzers erlaubt oder während einer Notsituation empfangen wird.
Verfahren nach Anspruch 70, wobei der eingehende Datensatz eine Reihe von Text, eine Reihe von Bildern, eine Reihe von Zahlen und/oder eine Kombination von Text, Bildern und Zahlen ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Anzeige, einer oder mehrerer Szenenkameras und eines Detektors zu ermitteln, umfassend: Identifizieren, mit der einen oder den mehreren Szenenkameras, die in Richtung einer Umgebung des Benutzers gerichtet sind, von betrachteten Objekten in der Umgebung des Benutzers; Empfangen, mithilfe einer Telekommunikationsvorrichtung, von einem oder mehreren eingehenden Datensätzen, die für das Darstellen auf der Anzeige gedacht sind; und Ermitteln, auf Basis von einer oder mehreren vorher festgelegten Benutzerpräferenzen, einer Auswahl und einer Zeitsteuerung von Datensätzen, die dem Benutzer auf der Anzeige dargestellt werden.
Verfahren zum Bestimmen der Absicht von zwei (2) Benutzern tragbarer Geräte zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Szenenkamera und eines Detektors, umfassend: Identifizieren, mit einer Szenenkamera, die mit einem ersten tragbaren Gerät gekoppelt ist, das einem Benutzer des ersten tragbaren Geräts zugeordnet ist, einer Region innerhalb einer oder mehrerer Szenenkamerabilder, die eines oder beide Augen eines Benutzers des zweiten tragbaren Geräts beinhaltet; Identifizieren, mithilfe von Bilderkennung, wenn eines oder beide Augen des Benutzers des zweiten tragbaren Geräts, innerhalb eines vorher festgelegten Winkelbereichs, in Richtung eines Benutzers des ersten tragbaren Geräts gerichtet sind; Bestätigen, dass eines oder beide Augen des Benutzers des zweiten tragbaren Geräts in Richtung des Benutzers des ersten tragbaren Geräts für eine vorher festgelegte Zeit gerichtet sind; und Ermöglichen der elektronischen Kommunikation zwischen dem ersten tragbaren Gerät, das dem Benutzer des ersten tragbaren Geräts zugeordnet ist, und einem zweiten tragbaren Gerät, das dem Benutzer des zweiten tragbaren Geräts zugeordnet ist.
Verfahren nach Anspruch 76, wobei die elektronische Kommunikation nur ermöglicht wird, wenn eines oder beide Augen des Benutzers des ersten tragbaren Geräts in Richtung einer Region eines oder beider Augen des Benutzers des zweiten tragbaren Geräts gerichtet sind.
Verfahren nach Anspruch 76, wobei die vorher festgelegte Zeit zwischen 0,5 und 10 Sekunden ist.
Verfahren zum Bestimmen der Absicht eines Benutzers eines tragbaren Geräts zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Szenenkamera und eines Detektors des tragbaren Geräts, das dem Benutzer des tragbaren Geräts zugeordnet ist, umfassend: Identifizieren, mit der Szenenkamera des tragbaren Geräts, einer Region innerhalb eines oder mehrerer Szenenkamerabilder, die eines oder beide Augen einer betrachteten Person beinhaltet; Identifizieren, mithilfe des Detektors und der Szenenkamera, dass ein Blick des Benutzers des tragbaren Geräts, innerhalb eines vorher festgelegten Winkelbereichs, in Richtung eines oder beider Augen der betrachteten Person gerichtet ist; Identifizieren, mithilfe von Bilderkennung, wenn eines oder beide Augen der betrachteten Person, innerhalb eines vorher festgelegten Winkelbereichs, in Richtung des Benutzers des tragbaren Geräts gerichtet sind; und Durchführen, mit dem tragbaren Gerät, einer Aktion.
Verfahren nach Anspruch 79, wobei die Aktion umfasst: Ermitteln, mit einer Datenbank individueller Vorlagen, der Identität der betrachteten Person auf Basis eines oder mehrerer Szenenbilder; und Anzeigen, mit einer Datenbank individueller Informationen, von Informationen bezüglich der betrachteten Einzelperson.
Verfahren zum Bestimmen der Absicht von zwei (2) Benutzern tragbarer Geräte zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Szenenkamera und eines oder mehrerer Beacons, umfassend: Identifizieren, mit einer Szenenkamera, die mit einem ersten tragbaren Gerät gekoppelt ist, das dem Benutzer des ersten tragbaren Geräts zugeordnet ist, einer Region innerhalb einer oder mehrerer Szenenkamerabilder, die ein oder mehrere Beacons von einem zweiten tragbaren Gerät beinhaltet, das einem Benutzer des zweiten tragbaren Geräts zugeordnet ist; Identifizieren, mit der Szenenkamera, einer Codeübertragung durch den einen oder die mehreren Beacons des zweiten tragbaren Geräts, das dem Benutzer des zweiten tragbaren Geräts zugeordnet ist; Bestätigen, mit einer Datenbank von Zugriffscodes, dass die Codeübertragung durch den Beacon den Zugriff auf eine Datenbank mit Informationen bezüglich des Benutzers des zweiten tragbaren Geräts erlaubt; und Ermöglichen einer elektronischen Kommunikation zwischen dem ersten tragbaren Gerät, das dem ersten Benutzer zugeordnet ist, und einer Datenbank, die Informationen bezüglich des Benutzer des zweiten tragbaren Geräts enthält.
Verfahren nach Anspruch 81, wobei die Datenbank, die Informationen bezüglich des Benutzers des zweiten tragbaren Geräts enthält, sich innerhalb eines zweiten tragbaren Geräts befindet, das dem Benutzer des zweiten tragbaren Geräts zugeordnet ist.
Verfahren nach Anspruch 81, femer umfassend das Ermöglichen der elektronischen Kommunikation zwischen dem zweiten tragbaren Gerät, das dem zweiten Benutzer zugeordnet ist, und einer zusätzlichen Datenbank, die Informationen bezüglich des Benutzers des ersten tragbaren Geräts enthält.
Verfahren für das Ermitteln der Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers sich auf eine Weise bewegen, die als eine absichtliche Augenbewegung ermittelt wird; Identifizieren, mithilfe einer Datenbank der Augenbewegungsvorlagen, einer Augenaktion, die dem absichtlichen Augensignal zugeordnet ist; Identifizieren, im Wesentlichen zur selben Zeit, einer Benutzereingabe, die durch ein Eingabegerät erzeugt wird, das nicht einem oder beiden Augen des Benutzers zugeordnet ist; Identifizieren einer Geräteaktion, die der Benutzereingabe zugeordnet ist, die durch das Eingabegerät erzeugt wird; und Durchführen, auf Basis einer Datenbank der Eingabehierarchien, einer Augenaktion, die dem absichtlichen Augensignal zugeordnet ist, oder einer Geräteaktion, die der Benutzereingabe zugeordnet ist.
Verfahren nach Anspruch 84, wobei das absichtliche Augensignal eine Sakkade, eine Reihe von Sakkaden, eine Vergenzbewegung, eine Vestibular-Okular-Bewegung oder eine Blickfolge umfasst.
Verfahren nach Anspruch 84, wobei das Eingabegerät eine Computermaus, ein Joystick, ein Stift, eine Tastatur, ein Touchscreen, ein Beschleunigungsmesser, ein Schalter, ein Mikrofon oder eine Kamera ist, die die Bewegung der Hand, des Kopfes, des Fingers des Beins und/oder des Arms des Benutzers erkennt.
Verfahren nach Anspruch 84, wobei, nach Durchführen der Augenaktion oder Geräteaktion, die jeweils andere Augenaktion oder Geräteaktion nach einer Verzögerung durchgeführt wird oder nie durchgeführt wird.
Verfahren nach Anspruch 87, femer umfassend das Durchführen einer Aktion, die anfänglich nicht durchgeführt wird, nur wenn ein Zweckmäßigkeitswert einen vorher festgelegten Schwellenwert übersteigt.
Verfahren für das Bewegen einer oder mehrerer Anzeigen zumindest teilweise basierend auf der Bewegung eines oder mehrerer Augen eines Benutzers mithilfe eines Detektors und eines Zeigegeräts, umfassend: Identifizieren eines Quellorts auf einer Quellanzeige eines Zeigers, wobei die Position des Zeigers zumindest teilweise durch ein Zeigegerät gesteuert wird; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen Zielort auf einer Zielanzeige gerichtet sind; Bestätigen, mit dem Zeigergerät, einer Bewegung des Zeigegeräts in eine Richtung, innerhalb eines vorher festgelegten Richtungsbereichs, in Richtung des Zielorts auf der Zielanzeige in Bezug auf einen Quellort auf der Quellanzeige; und Anzeigen des Zeigers an einem neuen Zeigerort auf der Zielanzeige innerhalb eines vorher festgelegten Abstands vom Zielort entfernt.
Verfahren nach Anspruch 89, wobei das Zeigegerät eine Maus, ein Joystick, ein Trackball oder ein digitaler Stift ist.
Verfahren nach Anspruch 89, femer umfassend das Verwenden des Zeigegeräts, um den Zeiger vom neuen Zeigerort näher zum Zielort zu richten.
Verfahren nach Anspruch 89, wobei die Quellanzeige und Zielanzeige am selben Gerät oder an unterschiedlichen Geräten sind.
Verfahren nach Anspruch 89, wobei der Zeiger ein sichtbarer Cursor, ein hervorgehobenes Objekt, eine Änderung beim Hintergrund oder ein Rand ist.
Verfahren nach Anspruch 89, wobei der neue Zeigerort in einer Richtung zwischen dem Zielort in Richtung des Quellorts des Zeigers ist.
Verfahren nach Anspruch 89, wobei der Zeiger so erstellt wird, dass er als langsamer werdend erscheint, wenn er sich dem neuen Zeigerort nähert.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Anzeige und eines Detektors zu ermitteln, umfassend: Anzeigen, auf einer Anzeige, eines Abschnitts einer Partitur; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen Betrachtungsort innerhalb des angezeigten Abschnitts der Partitur gerichtet sind; Identifizieren, mit einer Datenbank, die die Partitur beinhaltet, eines oder mehrerer Pausenorte innerhalb der Partitur; Bestätigen, mit dem Detektor, dass der Betrachtungsort innerhalb eines vorher festgelegten Abstands von mindestens einem der Pausenorte innerhalb der Partitur ist; und Anzeigen eines neuen Abschnitts der Partitur.
Verfahren nach Anspruch 96, wobei der angezeigte Abschnitt der Partitur eine einzelne Musikzeile, mehrere Musikzeilen oder eine Musikseite sind.
Verfahren nach Anspruch 96, wobei der vorher festgelegte Abstand von einer Rate der Wiedergabe der Partitur abhängt.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers beim Steuern eines Fahrzeugs zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors, einer Szenenkamera und einer Anzeige zu vermitteln, umfassend: Darstellen, auf der Anzeige, die mit der Szenenkamera operativ gekoppelt ist, von Videobildern der Umgebung des Fahrzeugs; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen Zielort innerhalb der Videobilder der Umgebung des Fahrzeugs auf der Anzeige gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom Zielort auf der Anzeige in Richtung eines Aktivierungsziels auf der Anzeige; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand von einem Ort des Aktivierungsziels abgeschlossen ist; und Veranlassen des Fahrzeugs, sich in Richtung eines Zielorts in der Umgebung des Fahrzeugs zu bewegen, der durch den Zielort auf der Anzeige dargestellt wird.
Verfahren nach Anspruch 99, wobei das Fahrzeug eine Drohne oder ein Automobil ist.
Verfahren nach Anspruch 99, wobei die Anzeige eine Komponente eines Augmented-Reality-Headsets, eines Virtual-Reality-Headsets, eines Mixed-Reality-Headsets, eines Tablet-Computers, eines Smartphones, einer Smartwatch, eines Laptop-Computers oder eines Desktop-Computers ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers beim Fahren eines Fahrzeugs zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein Objekt an einem Objektort gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom Objektort in Richtung eines Aktivierungsziels an einem Zielort auf einer Anzeige; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand vom Zielort abgeschlossen ist; Bestätigen, mit dem Detektor, dass eines oder beide Augen des Benutzers innerhalb einer vorher festgelegten Zeit, bis zu einem vorher festgelegten Richtungsbereich, in Richtung einer Richtung der Bewegung des Fahrzeugs gerichtet sind; und Durchführen einer Aktion, die mit dem Objekt und/oder dem Aktivierungsziel verbunden ist.
Verfahren nach Anspruch 102, wobei die vorher festgelegte Zeit in einem Bereich von 1 bis 3 Sekunden ist.
Verfahren nach Anspruch 102, wobei die Anzeige eine Konsolenanzeige, eine Head-up-Anzeige oder eine Augmented-Reality-Anzeige ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um den Speicher eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vergrößern, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers innerhalb eines vorher festgelegten Abstands von einem Ort eines Speicherobj ekts gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom Speicherobjektort in Richtung eines Speicheraktivierungsziels an einem Zielort; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand vom Zielort abgeschlossen ist; und Durchführen, mit einem Speichergerät, einer Speicherfunktion, die das Speichern eines Datensatzes umfasst, der dem Speicherort zugeordnet ist, an einem Ort innerhalb einer Vielzahl von Datensätzen, die einem Speicherdatensatzindex entsprechen, und Inkrementieren des Speicherdatensatzindex um eins (1).
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um den Speicher eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Anzeige zu vergrößern, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein Abrufobjekt an einem Abrufobjektort auf einer Anzeige gerichtet sind; Identifizieren, mit dem Detektor, einer ersten Sakkade eines oder beider Augen des Benutzers vom Abrufobjektort auf der Anzeige in Richtung eines Abrufaktivierungsziels an einem Zielort; Bestätigen, mit dem Detektor, dass die Sakkade bis zu einem vorher festgelegten Abstand vom Zielort abgeschlossen ist; und Durchführen, mit einem Speichergerät, einer Abruffunktion, die das Abrufen eines abgerufenen Datensatzes von einem Ort umfasst, der einem Abrufdatensatzindex innerhalb einer Vielzahl von Datensätzen entspricht.
Verfahren nach Anspruch 106, wobei die Abruffunktion ferner eines oder mehrere der folgenden umfasst: Anzeigen eines oder mehrerer Aspekte des abgerufenen Datensatzes am Abrufobj ektort auf der Anzeige; und Durchführen einer Aktion, die mit dem abgerufenen Datensatz verbunden ist.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um den Speicher eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu vergrößern, umfassend: Durchführen, wenn eine Sakkade von einem Objekt bis zu einem vorher festgelegten Abstand von einem Ort eines Speicheraktivierungsziels mithilfe des Detektors identifiziert wird, einer Speicherfunktion eines Datensatzes, der dem Objekt zugeordnet ist, an einem Ort innerhalb einer Vielzahl von Datensätzen, der einem Speicherdatensatzindex entspricht und Inkrementieren des Speicherdatensatzindex um eins (1); Durchführen, wenn eine Sakkade von einem Objekt bis zu einem vorher festgelegten Abstand von einem Ort eines Abrufaktivierungsziels mithilfe des Detektors identifiziert wird, einer Abruffunktion eines Datensatzes, der dem Objekt zugeordnet ist, an einem Ort innerhalb einer Vielzahl von Datensätzen, der einem Abrufdatensatzindex entspricht; Auswählen, wenn eine Sakkade zu einem Aktivierungsziel nach oben mithilfe eines Detektors identifiziert wird, eines Abrufdatensatzindex durch Inkrementieren des Abrufdatensatzindex um eins (1); Auswählen, wenn eine Sakkade zu einem Aktivierungsziel nach unten mithilfe eines Detektors identifiziert wird, eines Abrufdatensatzindex durch Dekrementieren des Abrufdatensatzindex um eins (1); und Durchführen, wenn eine Sakkade von einem Objekt bis zu einem vorher festgelegten Abstand von einem Ort eines Löschaktivierungsziels mithilfe des Detektors identifiziert wird, einer Löschfunktion, die das Löschen des Objekts am Ort innerhalb einer Vielzahl von Datensätzen, die einem Abrufdatensatzindex entsprechen, und/oder das Verringern des Speicherdatensatzindex um eins (1) umfasst.
Verfahren für das Bereitstellen einer Benutzeroberfläche für das Verbessern der Dokumentsicherheit zumindest teilweise auf Basis eines oder beider Augen eines Benutzers mithilfe einer oder mehrerer Augenkameras, die auf eines oder beide Augen des Benutzers gerichtet sind, und einer Szenenkamera, die auf die Umgebung des Benutzers gerichtet ist, umfassend: Aufnehmen, mithilfe der einen oder mehreren Augenkameras, eines oder mehrerer Bilder eines oder beider Augen des Benutzers; Ermitteln, durch Vergleichen des einen oder der mehreren Bilder eines oder beider Augen des Benutzers mit einer Datenbank der Augenvorlagen mit bekannter Identität, einer Identität des Benutzers; Identifizieren, mithilfe der Szenenkamera, eines Dokuments, das von einem oder beiden Augen des Benutzers betrachtet wird; Bestätigen, mithilfe der einen oder mehreren Augenkameras, dass eines oder beide Augen des Benutzers in Richtung des Dokuments gerichtet sind; und elektronisches Bestätigen des Dokuments, um anzugeben, dass der identifizierte Benutzer das Dokument betrachtet hat.
Verfahren nach Anspruch 109, wobei die Datenbank der Augenvorlagen mit bekannter Identität bekannte Iriscodes umfasst.
Verfahren nach Anspruch 109, femer umfassend: Aufnehmen, mithilfe der Szenenkamera, von einem oder mehreren Identitätsmerkmalen des Dokuments; Ermitteln, durch Vergleichen des einen oder der mehreren Identitätsmerkmale des Dokuments mit einer Datenbank bekannter Dokumentmerkmalvorlagen, eines identifizierten Dokuments; und Durchführen einer Aktion auf Basis des identifizierten Benutzers und/oder des identifizierten Dokuments.
Verfahren nach Anspruch 111, wobei die bekannte Dokumentmerkmalvorlage einen Inhalt des Dokuments, einen Strichcode, einen QR-Code und/oder eine erkannte Signatur umfasst.
Verfahren nach Anspruch 109, wobei das elektronische Bestätigen des Dokuments das Hinzufügen eines Bildes einer Signatur des identifizierten Benutzers, eines Strichcodes, eines QR-Codes, eines elektronischen Etiketts und/oder einer elektronischen Signatur umfasst.
Verfahren nach Anspruch 109, ferner umfassend das Anhängen eines Zeitpunkts der Betrachtung, eines Datums der Betrachtung und/oder eines geografischen Orts der Betrachtung des Dokuments.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe einer Anzeige, eines Kopfbewegungsdetektors und eines Augenbewegungsdetektors zu ermitteln, umfassend: Anzeigen, auf einer Anzeige, einer Vielzahl angezeigter Objekte; Identifizieren, mit dem Augenpositionsdetektor, wenn eines oder beide Augen des Benutzers in Richtung der Vielzahl angezeigter Objekte gerichtet sind, wodurch ein betrachtetes Objekt identifiziert wird; Identifizieren, mit dem Kopfbewegungsdetektor, einer Kopfbewegung durch den Benutzer in eine erste Richtung; Bestätigen, mit dem Augenbewegungsdetektor, einer Augenbewegung eines oder beider Augen des Benutzers; Klassifizieren, ob die Augenbewegung vestibular-okular ist, basierend darauf, ob die Augenbewegung den Benutzer veranlasst, das Betrachten des betrachteten Objekts während der Kopfbewegung fortzusetzen; und Ermitteln, dass die Augenbewegung nicht vestibular-okular ist, und nachfolgendes Bewegen der Vielzahl von angezeigten Objekten auf der Anzeige in die erste Richtung.
Verfahren nach Anspruch 115, wobei das Bewegen der Vielzahl von angezeigten Objekten auf der Anzeige während Zeiträumen durchgeführt wird, wenn der Benutzer funktionell blind ist.
Verfahren nach Anspruch 116, wobei der Benutzer während Zeiträumen der sakkadischen Unterdrückung oder Lidschlagunterdrückung funktionell blind ist.
Verfahren nach Anspruch 116, femer umfassend das Identifizieren einer Sakkade oder eines Lidschlags eines oder beider Augen des Benutzers, und wobei die Vielzahl von angezeigten Objekten auf der Anzeige nur während einer identifizierten Sakkade oder eines identifizierten Lidschlags bewegt wird.
Verfahren nach Anspruch 115, wobei das Identifizieren, mit dem Kopfbewegungsdetektor, einer Kopfbewegung durch den Benutzer in eine erste Richtung das Identifizieren einer Geschwindigkeit der Kopfbewegung in die erste Richtung umfasst, und wobei die Vielzahl von angezeigten Objekten auf der Anzeige in die erste Richtung im Wesentlichen mit der ersten Geschwindigkeit bewegt wird.
Verfahren für das Bereitstellen einer Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Szenenkamera zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen ersten betrachteten Ort innerhalb einer Umgebung des Benutzers gerichtet sind; Identifizieren, mit der Szenenkamera, eines ersten betrachteten Objekts am ersten betrachteten Ort innerhalb der Umgebung des Benutzers; Identifizieren, mithilfe einer Datenbank der Objektvorlagen, des ersten betrachteten Objekts, wodurch ein erstes identifiziertes betrachtetes Objekt erstellt wird; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers eine Augenbewegung in Richtung eines zweiten betrachteten Orts innerhalb der Umgebung des Benutzers durchführen; Identifizieren, mit der Szenenkamera, eines zweiten betrachteten Objekts am zweiten betrachteten Ort innerhalb der Umgebung des Benutzers; Identifizieren, mithilfe einer Datenbank der Objektvorlagen, des zweiten betrachteten Objekts, wodurch ein zweites identifiziertes betrachtetes Objekt erstellt wird; Bestätigen, mithilfe einer Datenbank der aktivierbaren Objekte, dass das zweite identifizierte betrachtete Objekt einem Aktivierungsziel entspricht; und Durchführen einer Aktion in Verbindung mit dem ersten identifizierten betrachteten Objekt, dem ersten betrachteten Ort, dem zweiten identifizierten betrachteten Objekt und/oder dem zweiten betrachteten Ort.
Verfahren nach Anspruch 120, wobei die Augenbewegung in Richtung eines zweiten betrachteten Orts eine Sakkade, eine Blickfolge oder eine Kombination aus Sakkaden und Blickfolgen ist.
Verfahren nach Anspruch 120, wobei das zweite betrachtete Objekt dasselbe wie das erste betrachtete Objekt, in einigem Abstand angezeigt, ist.
Verfahren für das Bereitstellen einer Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors, einer Szenenkamera und einer Anzeige zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen betrachteten Ort innerhalb einer Umgebung des Benutzers gerichtet sind; Identifizieren, mit der Szenenkamera, eines betrachteten Objekts am betrachteten Ort innerhalb der Umgebung des Benutzers; Identifizieren, mithilfe einer Datenbank der Objektvorlagen, des betrachteten Objekts, wodurch ein identifiziertes betrachtetes Objekt erstellt wird; Identifizieren, mit einem Detektor, wenn eines oder beide Augen des Benutzers eine oder mehrere Augenbewegungen vom identifizierten betrachteten Objekt in Richtung eines oder mehrerer Aktivierungsziele auf der Anzeige durchführen; Bestätigen, mit dem Detektor, dass eine oder mehrere Augenbewegungen bis zu einem vorher festgelegten Abstand von einem des einen oder der mehreren Aktivierungsziele abgeschlossen sind, wodurch ein ausgewähltes Aktivierungsziel erstellt wird; und Durchführen einer Aktion, die mit dem ersten identifizierten betrachteten Objekt und/oder dem ausgewählten Aktivierungsziel verbunden ist.
Verfahren nach Anspruch 123, wobei die Anzeige eine Augmented-Reality-Anzeige, eine Mixed-Reality-Anzeige oder ein Anzeigemonitor ist.
Verfahren nach Anspruch 123, wobei die eine oder mehreren Augenbewegungen in Richtung eines ausgewählten Aktivierungsziels eine Sakkade, eine Blickfolge oder eine Kombination aus Sakkaden und Blickfolgen sind.
Verfahren für das Anpassen der Erkennung der Signalisierung der Absicht eines Benutzers innerhalb einer grafischen Benutzeroberfläche, umfassend eine elektronische Anzeige, die einen Detektor verwendet, basierend zumindest teilweise auf dem kognitiven Zustand, dem physiologischen Zustand oder der Augenbewegungshistorie eines Benutzers, das Verfahren umfassend: Beobachten des kognitiven Zustands, des neurologischen Zustands, des physiologischen Zustands und/oder der Augenbewegungshistorie eines Benutzers; Identifizieren, mithilfe des Detektors, mindestens eines bekannten Augensignals, das durch eine Augenbewegung angegeben wird, um die Benutzerabsicht zu kommunizieren, die durch eine vorher festgelegte Bewegung eines oder beider Augen des Benutzers durchgeführt wird; und Anpassen der Toleranz für die Erkennung des mindestens einen bekannten Signals basierend auf dem kognitiven Zustand, dem physiologischen Zustand und/oder dem Augenbewegungsverhalten des Benutzers vor oder während mindestens eines bekannten Signals.
Verfahren nach Anspruch 126, wobei der physiologische Zustand eine Ermüdung, eine erhöhte oder verringerte Aufmerksamkeit, erhöhten Stress und/oder Vorhandensein von Medikamenten im Benutzer angibt.
Verfahren nach Anspruch 127, wobei der physiologische Zustand durch die Augenbewegung, die Herzfrequenz, die Herzfrequenzschwankung, das EKG und/oder die galvanische Hautreaktion des Benutzers ermittelt wird.
Verfahren nach Anspruch 126, wobei das Anpassen der Toleranz der Erkennung des Signals zumindest auf Basis der Umgebungsbeleuchtung in der Umgebung des Benutzers und/oder eine Art von Aufgabe geändert wird, für die die Signalisierung der Absicht angewandt werden soll.
Verfahren nach Anspruch 126, wobei das Anpassen der Toleranz für die Erkennung des Signals zumindest teilweise auf Basis einer Zeit seit einem Lidschlag eines oder beider Augen des Benutzers, einer Zeit seit einer Sakkade eines oder beider Augen des Benutzers, einer Zeit seit einer korrigierenden Sakkade eines oder beider Augen des Benutzers und/oder einer Zeit seit einer Augendynamik, die eine funktionelle Blindheit des Benutzers veranlasste, geändert wird.
Verfahren nach Anspruch 126, wobei das Augensignal mindestens ein Lidschlag, eine Sakkade, eine Mikrosakkade, eine korrigierende Sakkade, eine Anti-Sakkade, ein Tremor, ein Abschweifen und/oder eine Blickfolge eines oder beider Augen des Benutzers ist.
Verfahren nach Anspruch 126, wobei die Absicht des Benutzers mindestens das Auswählen eines Menüpunkts, das Treffen einer Entscheidung und/oder das Initiieren einer Aktion umfasst.
Verfahren nach Anspruch 126, wobei das Anpassen der Toleranz für die Erkennung eines Signals auf einer antizipierten oder gemessenen Amplitude einer Sakkade eines oder beider Augen des Benutzers basiert.
Verfahren nach Anspruch 133, wobei das Anpassen der Toleranz dem Unter- oder Überschreiten eines statischen oder beweglichen Ziels Rechnung trägt.
Verfahren nach Anspruch 126, wobei das Anpassen der Toleranz für die Erkennung eines Signals auf antizipierter oder gemessener Verfolgung einer Blickfolge eines oder beider Augen des Benutzers basiert, die einem beweglichen Objekt folgt.
Verfahren für das Anpassen der Reaktion auf eine Erkennung der Signalisierung der Absicht eines Benutzers innerhalb einer grafischen Benutzeroberfläche, umfassend eine elektronische Anzeige, die einen Detektor verwendet, basierend zumindest teilweise auf dem kognitiven Zustand, dem physiologischen Zustand oder der Augenbewegungshistorie eines Benutzers, umfassend: Beobachten des kognitiven Zustands, des neurologischen Zustands, des physiologischen Zustands und/oder der Augenbewegungshistorie eines Benutzers; Identifizieren mindestens eines bekannten Augensignals, um die Benutzerabsicht zu kommunizieren, wobei das Augensignal eine vorher festgelegte Bewegung eines oder beider Augen des Benutzers, eine Pupillenerweiterung eines oder beider Augen des Benutzers und/oder eine Pupillenzusammenziehung eines oder beider Augen des Benutzers umfasst; Erkennen des mindestens einen bekannten Augensignals basierend zumindest auf dem kognitiven Zustand, dem physiologischen Zustand und/oder dem Augenbewegungsverhalten des Benutzers vor oder während mindestens eines bekannten Signals; und Anpassen einer Reaktion auf das mindestens eine bekannte Augensignal durch Ändern der Zeitsteuerung der Reaktion, der Auswahl der Grafiken, die als Teil der Reaktion präsentiert werden sollen, des Übergangs der grafischen Elemente, die als Teil der Reaktion dargestellt werden, der Zeitsteuerung irgendeines Teils der Reaktion und/oder der Aktion, die als Teil der Reaktion ergriffen wird.
Verfahren nach Anspruch 136, wobei ein Augensignal, das funktionelle Blindheit angibt, eine Reaktion produziert, die die Position, die Zeitsteuerung und/oder die Dynamik des grafischen Bildmaterials anpasst, die als Teil der Reaktion präsentiert werden.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Headsets und eines Detektors zu ermitteln, umfassend: Ermitteln, mit dem Headset, von Bewegungen in einer Region des Kopfes des Benutzers; Ermitteln, auf Basis einer Amplitude und/oder einer Frequenz der Bewegungen des Kopfes des Benutzers, eines Augenbewegungsstringenzbereichs; Bestätigen, mit dem Detektor, dass eine oder mehrere Augenbewegungen eines oder beider Augen des Benutzers mit einer oder mehreren einer Vorlage der Augensignalbewegungen innerhalb eines Augenbewegungsstringenzbereichs übereinstimmen; und Durchführen einer Aktion in Verbindung mit der einen oder den mehreren Augenbewegungen.
Verfahren nach Anspruch 138, wobei die Bewegungen des Kopfes des Benutzers mithilfe einer Ausgabe von einem Beschleunigungsmesser, der am Headset getragen wird, Änderungen beim Hintergrund innerhalb der Bilder, die von einer Szenenkamera aufgenommen werden, die am Headset montiert ist, und/oder Änderungen bei der Position eines oder beider Augen des Benutzers innerhalb von Bildern, die vom Augenbewegungsdetektor aufgenommen werden, der am Headset montiert ist, ermittelt werden.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Headsets zu ermitteln, umfassend: Ermitteln, mit dem Headset, der Umgebungsbeleuchtung in einer Region des Kopfes des Benutzers; Ermitteln, auf Basis einer Amplitude und/oder Änderungen bei der Umgebungsbeleuchtung, eines Augenbewegungsstringenzbereichs; Bestätigen, dem einem Augenbewegungsdetektor, der am Headset montiert ist, dass eine oder mehrere Augenbewegungen eines oder beider Augen des Benutzers mit einer oder mehreren einer Vorlage der Augensignalbewegungen innerhalb eines Augenbewegungsstringenzbereichs übereinstimmen; und Durchführen einer Aktion in Verbindung mit der einen oder den mehreren Augenbewegungen.
Verfahren nach Anspruch 140, wobei die Umgebungsbeleuchtung auf Basis eines Lichtsensors, der am Headset getragen wird, Änderungen bei den Lichtpegeln in den Bildern, die von einer Szenenkamera aufgenommen wurden, die am Headset montiert ist, und/oder Änderungen von Lichtpegeln in Bildern, die vom Augenbewegungsdetektor aufgenommen wurden, der am Headset montiert ist, ermittelt wird.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Anzeige zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf ein anfänglich betrachtetes Objekt auf der Anzeige an einem anfänglich betrachteten Objektort gerichtet sind; Ermitteln, mithilfe einer Datenbank bevorzugter Vergrößerungszentren für Objekte, die auf der Anzeige dargestellt werden, eines bevorzugten Orts auf der Anzeige eines Zentrums für die Vergrößerung aller Objekte auf der Anzeige, die sich innerhalb eines vorher festgelegten Abstands vom anfänglich betrachteten Objektort befinden; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers einem verfolgten Objekt während der Vergrößerung aller Objekte auf der Anzeige folgen, die sich innerhalb des vorher festgelegten Abstands vom anfänglich betrachteten Objektort befinden; Bestätigen, mit dem Detektor, dass dem verfolgten Objekt während der Vergrößerung für einen vorher festgelegten Abstand oder eine vorher festgelegte Zeit gefolgt wird, wodurch ein ausgewähltes Objekt identifiziert wird; und Durchführen einer Aktion in Verbindung mit dem ausgewählten Objekt.
Verfahren nach Anspruch 142, wobei das Folgen des verfolgten Objekts mithilfe einer Blickfolge eines oder beider Augen des Benutzers, einer Reihe von Sakkaden eines oder beider Augen des Benutzers oder einer Kombination von Blickfolgen und Sakkaden eines oder beider Augen des Benutzers durchgeführt wird.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors, einer Anzeige und einer Tastatur zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine Region auf der Anzeige gerichtet sind, die eine Vielzahl von auswählbaren Zielen enthält; Überlagern, auf der Anzeige, einer Vielzahl von Tastatursymbolen, wobei jedes der Tastatursymbole einem oder mehreren auswählbaren Zielen zugeordnet ist; Bestätigen, mit der Tastatur, dass der Benutzer eine Taste auf der Tastatur auswählt, die einem der Tastatursymbole entspricht, die einem oder mehreren auswählbaren Zielen zugeordnet sind, wodurch eines oder mehrere ausgewählte Ziele identifiziert werden; und Durchführen einer Aktion in Verbindung mit dem einen oder den mehreren Zielen.
Verfahren nach Anspruch 144, wobei die Aktion femer das Entfernen der Vielzahl von überlagerten Tastatursymbolen von der Anzeige umfasst.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors, einer Anzeige und eines Mikrofons zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf eine Region auf der Anzeige gerichtet sind, die eine Vielzahl von auswählbaren Zielen enthält; Überlagern, auf der Anzeige, einer Vielzahl von Symbolen, wobei jedes der Symbole einem oder mehreren auswählbaren Zielen zugeordnet ist; Bestätigen, mit dem Mikrofon und einer Datenbank der Tonvorlagen, dass der Benutzer einen Ton produziert, der einem der Symbole entspricht, die einem oder mehreren der auswählbaren Ziele zugeordnet sind, wobei eines oder mehrere ausgewählte Ziele identifiziert werden; und Durchführen einer Aktion in Verbindung mit dem einen oder den mehreren Zielen.
Verfahren für das Ermitteln der Blickrichtung, um die Absicht eines Benutzers zu vermitteln, mithilfe eines Detektors und einer Anzeige, umfassend: Identifizieren, mit dem Detektor, eines Blickorts des rechten Auges des Benutzers beim Betrachten eines Zielobjekts auf der Anzeige an einem Zielobjektort; Identifizieren, mit dem Detektor, eines Blickorts des linken Auges des Benutzers beim Betrachten eines Zielobjekts auf der Anzeige; Ermitteln, ob der Blickort des linken Auges oder der Blickort des rechten Auges näher beim Zielobjektort ist; und Zuweisen, auf Basis darauf, die Blickrichtung welches Auges näher beim Ort des Zielobjekts ist, einer Augendominanz für einen Bereich der Orte innerhalb eines vorher festgelegten Bereichs rund um den Zielobjektort.
Verfahren nach Anspruch 147, femer umfassend das Wiederholen der Identifizierungs-, Ermittlungs- und Zuweisungsschritte mithilfe einer Sequenz einer Vielzahl von Zielobjekten an verschiedenen Orten auf der Anzeige, und Zuweisen, zumindest teilweise auf Basis des Überwiegens der Augendominanzuweisungen für die verschiedenen Orte auf der Anzeige, einer räumlichen Augendominanzkarte für Regionen der Anzeige.
Verfahren zum Ermitteln der Blickrichtung, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung des Auges des Benutzers mithilfe eines Detektors und einer Anzeige zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn das Auge des Benutzers auf ein erstes Objekt gerichtet ist, das in einem ersten Objektabstand erscheint; Identifizieren, mit dem Detektor, wenn das Auge des Benutzers auf ein zweites Objekt auf der Anzeige gerichtet ist, das in einem zweiten Objektabstand erscheint, der sich vom ersten Objektabstand unterscheidet; Ändern, mithilfe der Anzeige, der Position und/oder der Größe des zweiten Objekts auf der Anzeige; Bestätigen, dass das erste Objekt und das zweite Objekt maximal überlappend erscheinen, wenn sie durch das Auge des Benutzers betrachtet werden; und Ermitteln, auf Basis eines Orts des ersten Objekts und eines Orts des zweiten Objekts, einer visuellen Achse des Auges des Benutzers.
Verfahren nach Anspruch 149, wobei das erste Objekt ein virtuelles Objekt auf der Anzeige oder ein physisches Objekt ist.
Verfahren nach Anspruch 149, wobei die Anzeige eine Augmented-Reality-Anzeige, eine Virtual-Reality-Anzeige oder ein Mixed-Reality-Anzeige ist.
Verfahren nach Anspruch 149, wobei die visuelle Achse für ein linkes Auge und/oder ein rechtes Auge des Benutzers berechnet wird.
Verfahren nach Anspruch 149, wobei das Ändern der Position und/oder Größe des zweiten Objekts auf der Anzeige mithilfe einer Tastatur, eines Touchscreens, von Kopfbewegungen und/oder mündlichen Befehlen des Benutzers durchgeführt wird.
Verfahren für das Anzeigen von Bildern auf einer Anzeige innerhalb einer Übertragungsbandbreite zumindest teilweise basierend auf einer Blickrichtung eines oder beider Augen eines Gerätebenutzers mithilfe eines Detektors und einer Anzeige, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf Basis des Blickorts, einer fovealen Betrachtungsregion auf der Anzeige innerhalb eines Sichtfelds des Benutzers; Identifizieren, auf Basis einer Datenbank der betrachtbaren Objekte, angezeigter Objekte, die Objekte von hoher Relevanz für den Gerätebenutzer sind, und Wiedergeben, mithilfe der Anzeige, von Objekten, die innerhalb der fovealen Sicht und/oder Objekte von hoher Relevanz sind, mit hoher Auflösung im Vergleich zu den restlichen Objekten im Sichtfeld des Benutzers.
Verfahren nach Anspruch 154, femer umfassend das Wiedergeben, mithilfe der Anzeige, von Objekten, die sowohl außerhalb der fovealen Sicht als auch Objekte von geringer Relevanz sind, mit geringer Auflösung in Bezug auf die Objekte, die mit hoher Auflösung wiedergegeben werden, um Bandbreite des eines oder der mehreren Prozessoren zu sparen, die die Objekte auf der Anzeige wiedergeben.
Verfahren für das Anzeigen von Bildern auf einer Anzeige innerhalb einer Übertragungsbandbreite zumindest teilweise basierend auf einer Blickrichtung eines oder beider Augen eines Gerätebenutzers mithilfe eines Detektors und einer Anzeige, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf Basis des Blickorts, einer fovealen Betrachtungsregion auf der Anzeige innerhalb eines vorher festgelegten Bereichs rund um den Blickort; Identifizieren, auf Basis des Sichtfelds des Benutzers außerhalb der fovealen Betrachtungsregion, einer nicht fovealen Betrachtungsregion auf der Anzeige; und Wiedergeben, mithilfe der Anzeige, von Objekten in der nicht fovealen Region mit verringertem Farbgehalt.
Verfahren nach Anspruch 156, wobei die Objekte in der nicht fovealen Region mit verringerter Auflösung wiedergegeben werden.
Verfahren nach Anspruch 156, wobei die Objekte in der nicht fovealen Region mit verringertem Farbgehalt wiedergegeben werden, um Bandbreite des einen oder der mehreren Prozessoren zu sparen, die die Objekte auf der Anzeige wiedergeben.
Verfahren für das Anzeigen von Bildern auf einer Anzeige innerhalb einer vorher festgelegten Übertragungsbandbreite zumindest teilweise basierend auf einer Blickrichtung eines oder beider Augen eines Benutzers mithilfe eines Blickdetektors und einer Anzeige, umfassend: Identifizieren, mit dem Blickdetektor, wenn eines oder beide Augen des Benutzers auf einen Blickort auf der Anzeige gerichtet sind; Identifizieren, auf Basis des Blickorts, einer Betrachtungsregion mit hoher Auflösung auf der Anzeige innerhalb eines Sichtfelds des Benutzers; Wiedergeben, mithilfe der Anzeige, von Objekten in der Betrachtungsregion mit hoher Auflösung auf der Anzeige mit höherer Auflösung im Vergleich zu restlichen Objekten auf der Anzeige innerhalb des Sichtfelds des Benutzers außerhalb der Betrachtungsregion mit hoher Auflösung; und Ändern, auf Basis einer Menge des Lichts, das eines oder beide Augen des Benutzers erreicht, einer Größe oder Form der Betrachtungsregion mit hoher Auflösung auf der Anzeige.
Verfahren nach Anspruch 159, wobei die Menge des Lichts, das eines oder beide Augen des Benutzers erreicht, mithilfe eines Lichtdetektors gemessen wird.
Verfahren nach Anspruch 160, wobei der Lichtdetektor eine Fotodiode oder ein Fototransistor ist.
Verfahren nach Anspruch 160, wobei die Menge des Lichts, das eines oder beide Augen des Benutzers erreicht, auf einen blau-grünen Teil eines sichtbaren Spektrums beschränkt ist.
Verfahren nach Anspruch 162, wobei der blau-grüne Teil eines sichtbaren Spektrums im Bereich von 400 bis 550 Nanometern ist.
Verfahren nach Anspruch 159, wobei die Menge des Lichts, das eines oder beide Augen des Benutzers erreicht, aus einer Menge des Lichts ermittelt wird, das von der Anzeige abgestrahlt wird.
Verfahren nach Anspruch 164, wobei die Menge des Lichts, das von der Anzeige abgestrahlt wird, auf einen Bereich der Wellenlängen von 400 bis 550 Nanometer beschränkt ist.
Verfahren nach Anspruch 159, wobei die Größe der Betrachtungsregion mit hoher Auflösung auf der Anzeige verringert wird, wenn die Menge des Lichts, das eines oder beide Augen des Benutzers erreicht, verringert wird.
Verfahren für das Messen des Blicks der Augen, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors zu ermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen ersten Betrachtungsort in Bezug auf den Referenzort eines Objekts gerichtet sind; Ermitteln, mithilfe einer Ausgeprägtheitskarte, die dem Objekt zugeordnet ist, eines ersten Gewichtsfaktors auf Basis des ersten Betrachtungsorts in Bezug auf den Referenzort des Objekts; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen zweiten Betrachtungsort in Bezug auf den Referenzort des Objekts gerichtet sind; Ermitteln, mithilfe der Ausgeprägtheitskarte, die dem Objekt zugeordnet ist, eines zweiten Gewichtsfaktors auf Basis des zweiten Betrachtungsorts in Bezug auf den Referenzort des Objekts; und Ermitteln eines gewichteten Durchschnittsbetrachtungsorts auf Basis des ersten Betrachtungsorts multipliziert mit dem ersten Gewichtsfaktor, und des zweiten Betrachtungsorts mit dem zweiten Gewichtsfaktor.
Verfahren nach Anspruch 167, femer umfassend das erneute Ermitteln des gewichteten Durchschnittsbetrachtungsorts durch Einbeziehen eines oder mehrerer zusätzlicher Betrachtungsorte in Bezug auf den Referenzort des Objekts und zugeordnete Gewichtsfaktoren.
Verfahren für das Bereitstellen einer grafischen Benutzeroberfläche, um die Absicht eines Benutzers zumindest teilweise auf Basis der Bewegung eines oder beider Augen des Benutzers mithilfe eines Detektors und einer Anzeige zu vermitteln, umfassend: Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen ersten Ort auf der Anzeige gerichtet sind; Bestätigen, mit dem Detektor, dass eine erste Sakkade eines oder beider Augen des Benutzers vom ersten Ort in Richtung eines Bereichsauswahlziels bis zu einem vorher festgelegten Abstand von einem Ort des Bereichsauswahlziels abgeschlossen ist; Identifizieren, mit dem Detektor, wenn eines oder beide Augen des Benutzers auf einen zweiten Ort auf der Anzeige gerichtet sind; Bestätigen, mit dem Detektor, dass eine zweite Sakkade eines oder beider Augen des Benutzers vom zweiten Ort in Richtung eines Aktivierungsziels bis zu einem vorher festgelegten Abstand von einem Ort des Aktivierungsziels abgeschlossen ist; Identifizieren, auf Basis von Objekten, die auf die Anzeige projiziert werden, aller Objekte, die durch eine rechtwinklige Region gebunden sind, die Ecken am ersten Ort und am zweiten Ort aufweist; und Durchführen einer Aktion in Verbindung mit dem Aktivierungsziel bei allen Objekten auf der Anzeige, die durch die rechtwinklige Region gebunden sind, die Ecken am ersten Ort und am zweiten Ort aufweist.
System umfassend eine Verarbeitungseinheit für das Durchführen jedwedes der vorstehenden Verfahren.
System nach Anspruch 170, ferner umfassend einen Detektor und/oder eine Anzeige, die mit der Prozessoreinheit operativ gekoppelt sind, um jedwedes der vorstehenden Verfahren durchzuführen.