DE102022117756A1

DE102022117756A1 - Anweisen eines virtuellen agenten basierend auf dem blinkverhalten eines benutzers

Info

Publication number: DE102022117756A1
Application number: DE102022117756.4A
Authority: DE
Inventors: Mu Qiao; Mark Drummond; Bo MORGAN; Dan Feng
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2021-07-26
Filing date: 2022-07-15
Publication date: 2023-01-26
Also published as: CN115686190A; GB202209562D0; US11822716B2; US20230026511A1; US20240045501A1; GB2609308B; GB2609308A

Abstract

Gemäß verschiedenen Implementierungen wird ein Verfahren auf einer elektronischen Vorrichtung mit einem oder mehreren Prozessoren, einem nicht-transitorischen Speicher und einer Anzeige durchgeführt. Das Verfahren schließt das Anzeigen eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, auf der Anzeige ein. Das erste Ansichtsfrustrum schließt einen Benutzeravatar ein, der einem Benutzer zugeordnet ist, und der Benutzeravatar schließt eine visuelle Darstellung eines oder mehrerer Augen ein. Das Verfahren schließt während des Anzeigens des virtuellen Agenten, der dem ersten Ansichtsfrustrum zugeordnet ist, Erhalten von Augenverfolgungsdaten ein, die ein Augenverhalten angeben, das einem Auge des Benutzers zugeordnet ist, Aktualisieren der visuellen Darstellung von einem oder mehreren Augen basierend auf dem Augenverhalten und Anweisen des virtuellen Agenten, eine Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft die Anzeige eines virtuellen Agenten und insbesondere das Steuern des virtuellen Agenten basierend auf dem Augenverhalten eines Benutzers.
HINTERGRUND
In verschiedenen Situationen zeigt eine Vorrichtung einen virtuellen Agenten an, und ein Benutzer der Vorrichtung interagiert mit dem virtuellen Agenten, indem er eine Benutzereingabe an die Vorrichtung bereitstellt. Die Benutzerinteraktion ist jedoch oft mühsam, wie wenn sich eine Hand des Benutzers über eine Umgebung in Richtung eines virtuellen Agenten bewegt, um den virtuellen Agenten auszuwählen oder zu manipulieren. Dementsprechend kann die Benutzerinteraktion zu Unannehmlichkeiten für den Benutzer führen, was dazu führt, dass die Vorrichtung ungenaue Benutzereingaben empfängt und das Benutzererlebnis sich als Ganzes verschlechtert. Darüber hinaus fehlt der Vorrichtung ein Mechanismus, um dem Benutzer das intuitive Interagieren mit dem virtuellen Agenten zu ermöglichen.
KURZDARSTELLUNG
Gemäß einigen Ausführungsformen wird ein Verfahren auf einer elektronischen Vorrichtung mit einem oder mehreren Prozessoren, einem nicht-transitorischen Speicher und einer Anzeige durchgeführt. Das Verfahren schließt das Anzeigen eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, auf der Anzeige ein. Das erste Ansichtsfrustrum schließt einen Benutzeravatar ein, der einem Benutzer zugeordnet ist, und der Benutzeravatar schließt eine visuelle Darstellung eines oder mehrerer Augen ein. Das Verfahren schließt während des Anzeigens des virtuellen Agenten, der dem ersten Ansichtsfrustrum zugeordnet ist, Erhalten von Augenverfolgungsdaten, die ein Augenverhalten angeben, das einem Auge des Benutzers zugeordnet ist, Aktualisieren der visuellen Darstellung des einen oder der mehreren Augen basierend auf dem Augenverhalten und Anweisen des virtuellen Agenten, eine Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen, ein. Gemäß einigen Implementierungen schließt eine elektronische Vorrichtung einen oder mehrere Prozessoren, einen nicht-transitorischen Speicher und eine Anzeige ein. Das eine oder die mehreren Programme sind im nicht-transitorischen Speicher gespeichert und konfiguriert, um durch den einen oder die mehreren Prozessoren ausgeführt zu werden, und das eine oder die mehreren Programme schließen Anweisungen zum Durchführen oder Bewirken der Durchführung der Operationen nach einem der hier beschriebenen Verfahren ein. Gemäß einigen Implementierungen sind in einem nicht-transitorischen computerlesbaren Speichermedium Anweisungen gespeichert, die, wenn sie durch einen oder mehrere Prozessoren einer elektronischen Vorrichtung ausgeführt werden, bewirken, dass die Vorrichtung die Operationen nach einem der hier beschriebenen Verfahren durchführt oder deren Durchführung bewirkt. Gemäß einigen Implementierungen schließt eine elektronische Vorrichtung ein Mittel zum Durchführen oder Bewirken der Durchführung der Operationen nach einem der hierin beschriebenen Verfahren ein. Gemäß einigen Implementierungen schließt eine Informationsverarbeitungseinrichtung zum Gebrauch in einer elektronischen Vorrichtung ein Mittel zum Durchführen oder Bewirken der Durchführung der Operationen nach einem der hierin beschriebenen Verfahren ein.
Figurenliste
Für ein besseres Verständnis der verschiedenen beschriebenen Implementierungen sollte auf die nachfolgende Beschreibung in Verbindung mit den folgenden Zeichnungen Bezug genommen werden, in denen sich gleiche Bezugszeichen über die Figuren hinweg auf entsprechende Teile beziehen.

1 ist ein Blockdiagramm eines Beispiels einer tragbaren Multifunktionsvorrichtung gemäß einigen Implementierungen.
Die 2A-2U sind Beispiele zum Anweisen eines virtuellen Agenten, verschiedene Aktionen basierend auf dem jeweiligen Augenverhalten eines Benutzers gemäß einigen Implementierungen durchzuführen.
3 ist ein Beispiel eines Flussdiagramms eines Verfahrens zum Anweisen eines virtuellen Agenten, verschiedene Aktionen basierend auf Augenverhalten eines Benutzers gemäß einigen Implementierungen durchzuführen.

BESCHREIBUNG VON IMPLEMENTIERUNGEN
In verschiedenen Situationen zeigt eine Vorrichtung einen virtuellen Agenten an, und ein Benutzer der Vorrichtung interagiert mit dem virtuellen Agenten, indem er eine Benutzereingabe an die Vorrichtung bereitstellt. Zum Beispiel schließt die Vorrichtung einen Extremitäten-Tracker ein, der die Bewegung einer Hand des Benutzers verfolgt, und die Vorrichtung manipuliert die Anzeige des virtuellen Agenten basierend auf der Verfolgung. Die Benutzerinteraktion ist jedoch oft mühsam, wie etwa, wenn sich die Hand des Benutzers durch eine Umgebung in Richtung des virtuellen Agenten bewegt. Dementsprechend kann die Benutzerinteraktion zu physischen oder anderweitigen Unannehmlichkeiten für den Benutzer, wie Ermüdung der Hand des Benutzers, führen. Die Unannehmlichkeiten für den Benutzer führen oft dazu, dass der Benutzer ungenaue (z. B. unbeabsichtigte) Eingaben an die Vorrichtung bereitstellt, was zu einer Manipulation (oder deren Fehlen) des virtuellen Agenten führt, die die Absichten des Benutzers nicht widerspiegelt.
Im Gegensatz dazu schließen verschiedene hierin offenbarte Implementierungen Verfahren, Systeme und elektronische Vorrichtungen ein, um einen virtuellen Agenten anzuweisen, eine Aktion basierend auf dem Augenverhalten eines Benutzers (z. B. Augenbewegung) und Szeneninformationen durchzuführen. Zu diesem Zweck kann eine elektronische Vorrichtung einen Augen-Tracker einschließen, der Augenverfolgungsdaten erhält, die das Augenverhalten des Benutzers angeben. Zum Beispiel gibt das Augenverhalten eine Fokusposition oder ein Augenmuster an, wie z. B. eine Sakkaden- oder Mikrosakkadenbewegung. Als ein Beispiel bestimmt eine elektronische Vorrichtung, dass eine Fokusposition (z. B. ein Blick) eines Benutzers auf ein bestimmtes Objekt gerichtet ist, und als Reaktion darauf weist die elektronische Vorrichtung einen virtuellen Agenten an, sich in Richtung des bestimmten Objekts zu bewegen, oder weist den virtuellen Agenten an, seinen eigenen Blick zu dem bestimmten Objekt zu bewegen. Die Maßnahme kann das Ändern eines Aussehens eines oder mehrerer virtueller Augen des virtuellen Agenten, Bewegen des Körpers oder Kopfes des virtuellen Agenten, Emittieren eines Tons aus dem virtuellen Agenten usw. einschließen. Zum Beispiel schließt das Augenverhalten eine Änderung von einer ersten Fokusposition in eine zweite Fokusposition ein. Dementsprechend weist die elektronische Vorrichtung virtuelle Augen des virtuellen Agenten zu einer Änderung zu einer Fokusposition an, die kleiner als ein Schwellenabstand von der zweiten Fokusposition ist. Beispiele für die Szeneninformationen schließen einen Umgebungstyp (z. B. virtuelle Realitätsumgebung (virtual reality environment, VR-Umgebung), erweiterte Realitätsumgebung (augmented reality environment, AR-Umgebung), vermischte Realitätsumgebung (mixed-reality-Umgebung, MR-Umgebung), Szenenambiente (z. B. ein dunkler und geräuscharmer Raum), Informationen zu Objekten innerhalb der Szene, Szenenstandort (z. B. im Freien gegenüber Innenräumen) und/oder dergleichen ein.
BESCHREIBUNG
Es wird nun ausführlich auf Implementierungen Bezug genommen, von denen Beispiele in den beigefügten Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche, spezifische Details dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Implementierungen bereitzustellen. Es ist jedoch für den Fachmann ersichtlich, dass die verschiedenen beschriebenen Implementierungen ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen wurden hinlänglich bekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um Gesichtspunkte der Implementierungen nicht unnötig zu verunklaren.
Es versteht sich auch, dass, wenngleich die Begriffe „erste/erster/erstes“, „zweite/zweiter/zweites“ usw. in einigen Fällen hierin verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe beschränkt werden sollen. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erster Kontakt als zweiter Kontakt bezeichnet werden, und auf ähnliche Weise könnte ein zweiter Kontakt als erster Kontakt bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Implementierungen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber es handelt sich dabei nicht um denselben Kontakt, sofern aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht.
Die in der Beschreibung der verschiedenen hierin beschriebenen Implementierungen verwendete Terminologie dient lediglich der Beschreibung bestimmter Implementierungen und soll nicht einschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Implementierungen und den beigefügten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“, „eines“ und „der“, „die“, „das“ auch die Pluralformen einschließen, sofern aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht. Es versteht sich auch, dass der Begriff „und/oder“, so wie er hierin verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden, aufgeführten Elemente bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „einschließen“, „einschließend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, die Gegenwart von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber die Gegenwart oder das Hinzufügen von einem oder mehreren Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Wie hierin verwendet, wird der Begriff „wenn“ optional derart ausgelegt, dass er je nach Kontext „während“ oder „bei“ oder „als Reaktion auf ein Bestimmen“ oder „als Reaktion auf ein Erfassen“ bedeutet. Gleichermaßen wird der Ausdruck „wenn bestimmt wird“ oder „wenn [eine angegebene Bedingung oder ein angegebenes Ereignis] erfasst wird“ optional derart ausgelegt, dass er je nach Kontext „bei einem Bestimmen“ oder „als Reaktion auf ein Bestimmen“ oder „bei einem Erfassen [der angegebenen Bedingung oder des angegebenen Ereignisses]“ oder „als Reaktion auf ein Erfassen [der angegebenen Bedingung oder des angegebenen Ereignisses]“ bedeutet.
Eine physische Umgebung bezieht sich auf eine physische Welt, die Menschen ohne die Hilfe von elektronischen Systemen wahrnehmen und/oder darin interagieren können. Die physische Umgebung kann physische Merkmale, wie eine physische Oberfläche oder ein physisches Objekt, einschließen. Zum Beispiel entspricht die physische Umgebung einem physischen Park, der physische Bäume, physische Gebäude und physische Personen einschließt. Menschen können die physische Umgebung direkt wahrnehmen und/oder mit ihr interagieren, wie durch Sehen, Berühren, Hören, Schmecken und Riechen. Im Gegensatz dazu nimmt eine Umgebung der Cross-Reality (XR) auf eine ganz oder teilweise simulierte Umgebung Bezug, die Menschen über ein elektronisches System wahrnehmen und/oder mit der sie über eine elektronische Vorrichtung interagieren. Zum Beispiel kann die XR-Umgebung Inhalte erweiterter Realität (Augmented Reality, AR), vermischter Realität (MR), virtueller Realität und/oder dergleichen einschließen. Mit einem XR-System wird eine Teilmenge der physischen Bewegungen einer Person oder deren Repräsentation verfolgt, und als Reaktion darauf werden eine oder mehrere Eigenschaften eines oder mehrerer virtueller Objekte, die in der XR-Umgebung simuliert werden, so angepasst, dass sie mit mindestens einem physikalischen Gesetz übereinstimmen. Zum Beispiel kann ein XR-System die eine Kopfbewegung erfassen und als Reaktion darauf den der Person dargestellten graphischen Inhalt und ein akustisches Feld auf eine Weise anpassen, die dem ähnelt, wie solche Ansichten und Geräusche sich in einer physischen Umgebung verändern würden. Als weiteres Beispiel kann das XR-System eine Bewegung der elektronischen Vorrichtung erfassen, welche die XR-Umgebung darstellt (z. B. ein Mobiltelefon, ein Tablet, ein Laptop oder dergleichen), und als Reaktion darauf einen grafischen Inhalt und ein akustisches Feld, die der Person dargestellt werden, auf ähnliche Weise anpassen, wie sich solche Ansichten und Geräusche in einer physischen Umgebung ändern würden. In einigen Situationen (z. B. aus Gründen der Zugänglichkeit) kann das XR-System die Eigenschaft(en) des grafischen Inhalts in der XR-Umgebung als Reaktion auf Repräsentationen physischer Bewegungen (z. B. Sprachbefehle) anpassen.
Es gibt viele unterschiedliche Arten von elektronischen Systemen, die einer Person ermöglichen, verschiedene XR-Umgebungen wahrzunehmen und/oder mit diesen zu interagieren. Beispiele sind am Kopf tragbare Systeme, projektionsbasierte Systeme, Heads-Up-Displays (HUDs), Fahrzeugwindschutzscheiben mit integrierter Anzeigefunktion, Fenster mit integrierter Anzeigefunktion, Displays, die als Linsen ausgebildet sind, die dazu bestimmt sind, auf den Augen einer Person platziert zu werden (z. B. ähnlich Kontaktlinsen), Kopfhörer/Ohrhörer, Lautsprecheranordnungen, Eingabesysteme (z. B. am Körper tragbare oder als Handgeräte ausgeführte Controller mit oder ohne haptische Rückmeldung), Smartphones, Tablets und Desktop-/Laptop-Computer. Ein am Kopf tragbares System kann einen oder mehrere Lautsprecher und ein integriertes opakes Display aufweisen. Alternativ kann ein am Kopf tragbares System konfiguriert sein, um ein externes opakes Display (z. B. ein Smartphone) aufzunehmen. Das am Kopf tragbare System kann einen oder mehrere bildgebende Sensoren enthalten, um Bilder oder Videoaufnahmen der physischen Umgebung zu erfassen, und/oder eines oder mehrere Mikrofone, um Audioaufnahmen der physischen Umgebung zu erfassen. Anstelle eines opaken Displays kann ein am Kopf tragbares System ein transparentes oder transluzentes Display aufweisen. Das transparente oder transluzente Display kann ein Medium aufweisen, durch das Licht, das für Bilder repräsentativ ist, auf die Augen einer Person gerichtet wird. Die Anzeige kann eine digitale Lichtprojektion, OLEDs, LEDs, uLEDs, Flüssigkristalle auf Silicium, eine Laserscanning-Lichtquelle oder eine beliebige Kombination dieser Technologien nutzen. Das Medium kann ein Lichtwellenleiter, ein Hologrammmedium, ein optischer Kombinierer, ein optischer Reflektor oder eine Kombination davon sein. In einigen Implementierungen kann das transparente oder transluzente Display konfiguriert sein, um selektiv opak zu werden. Projektionsbasierte Systeme können eine retinale Projektionstechnologie einsetzen, die grafische Bilder auf die Netzhaut einer Person projiziert. Projektionssysteme können auch so konfiguriert sein, dass sie virtuelle Objekte in die physische Umgebung projizieren, zum Beispiel als Hologramm oder auf einer physischen Oberfläche.
1 ist ein Blockdiagramm eines Beispiels einer tragbaren Multifunktionsvorrichtung 100 (hierin der Kürze halber manchmal auch als die „elektronische Vorrichtung 100“ bezeichnet) gemäß einigen Implementierungen. Die elektronische Vorrichtung 100 schließt einen Speicher 102 (z. B. einen oder mehrere nicht-transitorische computerlesbare Speichermedien), eine Speichersteuerung 122, eine oder mehrere Verarbeitungseinheiten (CPUs) 120, eine Peripheriegeräteschnittstelle 118, ein Eingabe-/Ausgabe-Subsystem (E/A-Subsystem) 106, ein Anzeigesystem 112, eine inertiale Messeinheit (IME) 130, einen oder mehrere Bildsensoren 143 (z. B. eine Kamera), einen oder mehrere Kontaktintensitätssensoren 165, einen oder mehrere Audiosensoren 113 (z. B. ein Mikrofon), einen oder mehrere Augenverfolgungssensoren 164 (die z. B. in einer am Kopf tragbaren Vorrichtung (Head-Mountable Device (HMD) enthalten ist), einen Extremitätenverfolgungssensor 150 und eine oder mehrere andere Eingabe- oder Steuervorrichtung(en) 116 ein. In einigen Implementierungen entspricht die elektronische Vorrichtung 100 einem von einem Mobiltelefon, einem Tablet, einem Laptop, einer am Körper tragbaren Rechenvorrichtung, einer am Kopf tragbaren Vorrichtung (HMD), einem am Kopf tragbaren Gehäuse (z. B. gleitet die elektronische Vorrichtung 100 in ein am Kopf tragbares Gehäuse oder wird anderweitig daran befestigt) oder dergleichen. In einigen Implementierungen ist das am Kopf befestigbare Gehäuse derart gebildet, dass es eine Aufnahme zum Aufnehmen einer elektronischen Vorrichtung 100 mit einer Anzeige bildet.
In einigen Ausführungsformen sind die Peripheriegeräteschnittstelle 118, die eine oder die mehreren Verarbeitungseinheiten 120 und die Speichersteuerung 122 optional auf einem einzelnen Chip, wie einem Chip 103, implementiert. In einigen anderen Implementierungen sind sie optional auf separaten Chips implementiert.
Das E/A-Subsystem 106 koppelt Eingabe-/Ausgabeperipherievorrichtungen an die elektronischen Vorrichtung 100, wie das Anzeigesystem 112 und die anderen Eingabe- oder Steuervorrichtungen 116, mit der Peripherievorrichtungsschnittstelle 118. Das E/A-Subsystem 106 schließt optional eine Anzeigesteuerung 156, eine Bildsensorsteuerung 158, eine Intensitätssensorsteuerung 159, eine Audiosteuerung 157, eine Augenverfolgungssteuerung 160, eine oder mehrere Eingabesteuerungen 152 für andere Eingabe- oder Steuervorrichtungen, eine IME-Steuerung 132, eine Extremitätenverfolgungssteuerung 180 und ein Datenschutzsubsystem 170 ein. Die eine oder mehreren Eingabesteuerungen 152 empfangen/senden elektrische Signale von den/an die anderen Eingabe- oder Steuervorrichtungen 116. Die anderen Eingabe- oder Steuervorrichtungen 116 schließen wahlweise physische Tasten (z. B. Drucktasten, Wipptasten usw.), Drehsteuerungen, Schiebeschalter, Joysticks, Klickräder und dergleichen ein. In einigen alternativen Implementierungen sind die eine oder die mehreren Eingabesteuerungen 152 optional mit einem (oder keinem) von Folgendem gekoppelt: einer Tastatur, einer Infrarotschnittstelle, einem Universal-Serial-Bus-Anschluss (USB-Anschluss), einer an einem Finger tragbaren Vorrichtung und/oder einer Zeigevorrichtung, wie einer Maus. Die eine oder die mehreren Tasten schließen optional eine Drucktaste ein. In einigen Implementierungen schließt die anderen Eingabe- oder Steuervorrichtungen 116 ein Positionssystem (z. B. GPS) ein, das Informationen über den Standort und/oder die Ausrichtung der elektronischen Vorrichtung 100 bezogen auf ein bestimmtes Objekt erhält. In einigen Implementierungen schließen die anderen Eingabe- oder Steuervorrichtungen 116 einen Tiefensensor und/oder einen Flugzeitsensor ein, der Tiefeninformationen erhält, die ein physisches Objekt in einer physischen Umgebung kennzeichnen. In einigen Implementierungen schließen die anderen Eingabe- oder Steuervorrichtungen 116 einen Umgebungslichtsensor ein, der Umgebungslicht von einer physischen Umgebung erfasst und entsprechende Umgebungslichtdaten ausgibt.
Das Anzeigesystem 112 stellt eine Eingabeschnittstelle und eine Ausgabeschnittstelle zwischen der elektronischen Vorrichtung 100 und einem Benutzer bereit. Die Anzeigesteuerung 156 empfängt und/oder sendet elektrische Signale von dem/an das Anzeigesystem 112. Das Anzeigesystem 112 zeigt dem Benutzer visuelle Ausgaben an. Die visuelle Ausgabe schließt optional Grafiken, Text, Symbole, Video und jede beliebige Kombination davon ein (hierin manchmal als „computergenerierter Inhalt“ bezeichnet). In einigen Implementierungen entsprechen einige oder alle der visuellen Ausgaben Benutzerschnittstellenobjekten. Wie hierin verwendet, bezieht sich der Begriff „Affordanz“ auf ein benutzerinteraktives Objekt der grafischen Benutzerschnittstelle (z. B. ein Objekt der grafischen Benutzerschnittstelle, das konfiguriert ist, um auf Eingaben zu reagieren, die auf das Objekt der grafischen Benutzerschnittstelle gerichtet sind). Beispiele für benutzerinteraktive Objekte der grafischen Benutzerschnittstelle schließen ohne Einschränkung eine Schaltfläche, einen Schieber, ein Symbol, ein auswählbares Menüelement, einen Schalter, einen Hyperlink oder eine andere Benutzerschnittstellensteuerung ein.
Das Anzeigesystem 112 kann eine berührungsempfindliche Oberfläche, einen Sensor oder einen Satz von Sensoren aufweisen, der Eingaben von einem Benutzer basierend auf haptischem und/oder Tastkontakt annimmt. Das Anzeigesystem 112 und die Anzeigesteuerung 156 (zusammen mit allen zugeordneten Modulen und/oder Anweisungssätzen in dem Speicher 102) erfassen einen Kontakt (und jede Bewegung oder ein Abbrechen des Kontakts) auf dem Anzeigesystem 112 und wandeln den erfassten Kontakt in eine Interaktion mit Benutzerschnittstellenobjekten (z. B. einem oder mehreren Softkeys, Symbolen, Webseiten oder Bildern), die auf dem Anzeigesystem 112 angezeigt werden, um. In einer beispielhaften Implementierung entspricht ein Kontaktpunkt zwischen dem berührungsempfindlichen Anzeigesystem 112 und dem Benutzer einem Finger des Benutzers oder einer an einem Finger tragbare Vorrichtung.
Das Anzeigesystem 112 verwendet optional LCD-Technologie (Liquid Crystal Display Technology, Flüssigkristallanzeigetechnologie), LPD-Technologie (Light Emitting Polymer Display, Technologie einer Licht emittierenden Polymeranzeige) oder LED-Technologie (Light Emitting Diode, Leuchtdiodentechnologie), wenngleich in anderen Implementierungen andere Anzeigetechnologien verwendet werden. Das Anzeigesystem 112 und die Anzeigesteuerung 156 erfassen optional einen Kontakt und jede Bewegung oder ein Abbrechen davon unter Verwendung einer Vielzahl bereits bekannter oder zu einem späteren Zeitpunkt entwickelter Berührungserfassungstechnologien, einschließlich, aber ohne darauf beschränkt zu sein, kapazitiver, resistiver und Infrarottechnologien und Technologien akustischer Oberflächenwellen, sowie anderer Näherungssensoranordnungen oder anderer Elemente zum Bestimmen von einem oder mehreren Kontaktpunkten mit dem Anzeigesystem 112.
Der Benutzer stellt optional einen Kontakt mit dem Anzeigesystem 112 her, indem er ein geeignetes Objekt oder einen Fortsatz, wie einen Eingabestift, eine an einem Finger tragbaren Vorrichtung, einen Finger usw., verwendet. In einigen Implementierungen ist die Benutzerschnittstelle dazu ausgelegt, mit fingerbasierten Kontakten und Gesten zu arbeiten, die aufgrund der größeren Kontaktfläche eines Fingers auf dem Touchscreen weniger genau als eine Eingabe mit einem Eingabestift sein können. In einigen Implementierungen übersetzt die elektronische Vorrichtung 100 die grobe, auf Fingern basierende Eingabe in eine präzise Position Zeiger-/Cursor-Position oder in einen Befehl zum Durchführen der vom Benutzer gewünschten Aktionen.
Die Audioschaltung empfängt außerdem elektrische Signale, die durch die Audiosensoren 113 (z. B. ein Mikrofon) aus Schallwellen umgewandelt werden. Die Audioschaltung wandelt die elektrischen Signale in Audiodaten um und überträgt die Audiodaten zur Verarbeitung an die Peripheriegeräteschnittstelle 118. Audiodaten werden optional durch die Peripheriegeräteschnittstelle 118 aus dem Speicher 102 und/oder der HF-Schaltung abgerufen und/oder an diese übertragen. In einigen Implementierungen schließt die Audioschaltung außerdem einen Kopfhöreranschluss ein. Der Kopfhöreranschluss stellt eine Schnittstelle zwischen der Audioschaltung und entfernbaren Eingabe/Ausgabe-Peripheriegeräten, wie einem Nur-Ausgabe-Kopfhörer oder einem Kopfhörersatz mit sowohl Ausgabe (z. B. einem Kopfhörer für ein oder beide Ohren) als auch Eingabe (z. B. ein Mikrofon), bereit.
Die inertiale Messeinheit (IME) 130 schließt Beschleunigungsmesser, Gyroskope und/oder Magnetometer ein, um verschiedene Kräfte, Winkelgeschwindigkeiten und/oder Magnetfeldinformationen in Bezug auf die elektronische Vorrichtung 100 messen. Dementsprechend erfasst die IMU 130 gemäß verschiedenen Implementierungen eine oder mehrere Positionsänderungseingaben der elektronischen Vorrichtung 100, wie dass die elektronische Vorrichtung 100 geschüttelt, gedreht, in eine bestimmte Richtung bewegt wird, und/oder dergleichen.
Der/die Bildsensor(en) 143 nehmen Standbilder und/oder Video auf. In einigen Implementierungen befindet sich ein Bildsensor 143 auf der Rückseite der elektronischen Vorrichtung 100 gegenüber einem Touchscreen auf der Vorderseite der elektronischen Vorrichtung 100, sodass der Touchscreen für eine Verwendung als Bildsucher für eine Stand- und/oder Videobilderfassung befähigt ist. In einigen Implementierungen befindet sich ein weiterer Bildsensor 143 auf der Vorderseite der elektronischen Vorrichtung 100, sodass das Bild des Benutzers (z. B. für Selfies, für Videokonferenzen, während der Benutzer die anderen Teilnehmer der Videokonferenz auf dem Touchscreen sieht, usw.) erhalten wird. In einigen Implementierungen sind der/die Bildsensor(en) innerhalb einer HMD integriert. Beispielsweise geben der eine oder mehreren Bildsensoren 143 Bilddaten aus, die ein physisches Objekt (z. B. einen physischen Agenten) in einer physischen Umgebung darstellen.
Die Kontaktintensitätssensoren 165 erfassen die Intensität von Kontakten auf der elektronischen Vorrichtung 100 (z. B. eine Berührungseingabe auf einer berührungsempfindlichen Oberfläche der elektronischen Vorrichtung 100). Die Kontaktintensitätssensoren 165 sind mit der Intensitätssensorsteuerung 159 in dem E/A-Subsystem 106 gekoppelt. Der/die Kontaktintensitätssensor(en) 165 schließen optional einen oder mehrere piezoresistive Dehnungsmesser, kapazitive Kraftsensoren, elektrische Kraftsensoren, piezoelektrische Kraftsensoren, optische Kraftsensoren, kapazitive berührungsempfindliche Oberflächen oder andere Intensitätssensoren (z. B. Sensoren, die zum Messen der Kraft (oder des Drucks) eines Kontakts auf einer berührungsempfindlichen Oberfläche verwendet werden) ein. Der/die Kontaktintensitätssensor(en) 165 empfangen Kontaktintensitätsinformationen (z. B. Druckinformationen oder einen Stellvertreter für Druckinformationen) aus der physischen Umgebung. In einigen Implementierungen ist mindestens ein Kontaktintensitätssensor 165 zusammen mit oder in der Nähe einer berührungsempfindlichen Oberfläche der elektronischen Vorrichtung 100 angeordnet. In einigen Implementierungen befindet sich mindestens ein Kontaktintensitätssensor 165 an der Seite der elektronischen Vorrichtung 100.
Der eine oder die mehreren Augenverfolgungssensoren 164 erfassen den Blick eines Benutzers der elektronischen Vorrichtung 100 und generieren Augenverfolgungsdaten, die die Blickposition des Benutzers angeben. In verschiedenen Implementierungen schließen die Augenverfolgungsdaten Daten ein, die einen Fixationspunkt (z. B. Blickpunkt) des Benutzers auf einem Anzeigefeld, wie einem Anzeigefeld innerhalb einer am Kopf befestigbaren Vorrichtung (HMD), einem am Kopf befestigbaren Gehäuse oder innerhalb einer Blickfeldanzeige, angeben.
Der Extremitätenverfolgungssensor 150 erhält Verfolgungsdaten von Extremitäten, die eine Position einer Extremität eines Benutzers angeben. Beispielsweise entspricht in einigen Implementierungen der Extremitätenverfolgungssensor 150 einem Handverfolgungssensor, der Handverfolgungsdaten erhält, die eine Position einer Hand oder eines Fingers eines Benutzers in einem bestimmten Objekts angeben. In einigen Implementierungen verwendet der Extremitätenverfolgungssensor 150 Computervisionstechniken, um die Haltung der Extremität basierend auf Kamerabildern zu schätzen.
In verschiedenen Implementierungen schließt die elektronische Vorrichtung 100 ein Datenschutzsubsystem 170 ein, das einen oder mehrere Datenschutzeinstellungsfilter einschließt, die Benutzerinformationen, wie Benutzerinformationen, die in den einem Benutzer zugeordneten Extremitätenverfolgungsdaten, Blickdaten und/oder Körperpositionsdaten eingeschlossen sind, zugeordnet sind. In einigen Implementierungen verhindert und/oder begrenzt das Datenschutzsubsystem 170 selektiv, dass die elektronische Vorrichtung 100 oder Abschnitte davon die Benutzerinformationen erhalten und/oder übertragen. Zu diesem Zweck empfängt das Datenschutzsubsystem 170 Benutzerpräferenzen und/oder Auswahlen vom Benutzer als Reaktion darauf, dass der Benutzer hierzu aufgefordert wird. In einigen Implementierungen verhindert das Datenschutzsubsystem 170, dass die elektronische Vorrichtung 100 die Benutzerinformationen erhält und/oder überträgt, sofern nicht und bis das Datenschutzsubsystem 170 eine informationsgestützte Einwilligung vom Benutzer erhält. In einigen Implementierungen anonymisiert (z. B. verschlüsselt oder verdeckt) das Datenschutzsubsystem 170 bestimmte Typen von Benutzerinformationen. Beispielsweise empfängt das Datenschutzsubsystem 170 Benutzereingaben, die angeben, welche Arten von Benutzerinformationen das Datenschutzsubsystem 170 anonymisiert. Als weiteres Beispiel anonymisiert das Datenschutzsubsystem 170 bestimmte Arten von Benutzerinformationen, die wahrscheinlich sensible und/oder identifizierende Informationen einschließen, unabhängig von einer Benutzerangabe (z. B. automatisch).
Die 2A-2U sind Beispiele zum Anweisen eines virtuellen Agenten, verschiedene Aktionen basierend auf dem jeweiligen Augenverhalten eines Benutzers gemäß einigen Implementierungen durchzuführen. Wie in 2A veranschaulicht, schließt eine physische Umgebung 200 eine erste physische Wand 201, eine zweite physische Wand 202 und eine physische Anrichte 204 ein. Die lange Kante (die Länge) der physischen Anrichte 204 verläuft im Wesentlichen parallel zu der zweiten physischen Wand 202, und die kurze Kante (die Breite) der physischen Anrichte 204 verläuft im Wesentlichen parallel zu der ersten physischen Wand 201.
Die physische Umgebung 200 schließt ferner einen Benutzer 50 ein, der eine elektronische Vorrichtung 210 hält. Die elektronische Vorrichtung 210 schließt eine Anzeige 212 ein, die einem betrachtbaren Bereich 214 der physischen Umgebung 200 zugeordnet ist. Der betrachtbare Bereich 214 schließt einen Abschnitt der ersten physischen Wand 201, einen Abschnitt der zweiten physischen Wand 202 und die physische Anrichte 204 ein. In einigen Implementierungen entspricht die elektronische Vorrichtung 210 einer mobilen elektronischen Vorrichtung wie einem Smartphone, einer Smartwatch, einem Tablet oder dergleichen. Der Benutzer 50 schließt ein Auge 52 ein, wobei das andere Auge des Benutzers 50 in 2A nicht veranschaulicht ist.
In einigen Implementierungen entspricht die elektronische Vorrichtung 210 einer am Kopf tragbaren Vorrichtung (HMD), die eine integrierte Anzeige (z. B. eine eingebaute Anzeige) einschließt. In einigen Implementierungen schließt die elektronische Vorrichtung 210 ein am Kopf tragbares Gehäuse ein. In verschiedenen Implementierungen schließt das am Kopf tragbare Gehäuse einen Befestigungsbereich ein, an dem eine andere Vorrichtung mit einer Anzeige befestigt werden kann. In verschiedenen Implementierungen ist das am Kopf tragbare Gehäuse dazu geformt, eine Anschlussbuchse zum Aufnehmen einer anderen Vorrichtung, die eine Anzeige (z. B. die elektronische Vorrichtung 210) einschließt, zu bilden. Zum Beispiel gleitet/schnappt die elektronische Vorrichtung 210 in einigen Implementierungen in das am Kopf tragbare Gehäuse ein oder ist auf andere Weise daran befestigt.
In einigen Implementierungen schließt die elektronische Vorrichtung 210 einen Bildsensor, wie eine Szenenkamera, ein. Der Bildsensor kann Bilddaten erfassen, die die physische Umgebung 200 charakterisieren. Die Bilddaten können einem Bild oder einer Sequenz von Bildern (z. B. einem Videostream) entsprechen. Die elektronische Vorrichtung 210 kann ein Compositing-System enthalten, das die Bilddaten mit computergeneriertem Inhalt (z. B. dem in 2D veranschaulichten virtuellen Baseball 222 und dem virtuellen Agenten 224) zusammensetzt. Zu diesem Zweck schließt in einigen Implementierungen die elektronische Vorrichtung 210 ein Renderingsystem (z. B. eine Grafikverarbeitungseinheit (graphic processing unit, GPU) ein, die ein Objekt zum Generieren von entsprechendem computergenerierten Inhalt rendert.
In einigen Implementierungen schließt die elektronische Vorrichtung 210 eine Durchsichtanzeige ein. Die Durchsichtanzeige lässt das Umgebungslicht von der physischen Umgebung 200 durch die Durchsichtanzeige hindurch, und die Darstellung der physischen Umgebung ist abhängig vom Umgebungslicht. In einigen Implementierungen ist die Durchsichtanzeige eine additive Anzeige, die optische Durchsicht der physischen Oberfläche ermöglicht, wie z. B. eine optische HMD (OHMD). Zum Beispiel ist die Durchsichtanzeige in der Lage, im Gegensatz zu reinem Zusammensetzen unter Verwendung der Bilddaten projizierte Bilder von der Anzeige weg zu reflektieren, während sie es einem Benutzer ermöglicht, durch die Anzeige hindurchzusehen.
Wie in 2B veranschaulicht, schließt in einigen Implementierungen die elektronische Vorrichtung 210 einen Augen-Tracker 214 ein. Der Augen-Tracker 214 erhält Augenverfolgungsdaten, die auf das Augenverhalten hinweisen, das dem Auge 52 des Benutzers 50 zugeordnet ist. Zum Beispiel gibt das Augenverhalten eines oder mehrere von einer Sichtlinie, Fokus (z. B. Blick-) Position, Augenbewegung usw. an. Wie zum Beispiel in 2B veranschaulicht, bestimmt der Augen-Tracker 214 basierend auf den Augenverfolgungsdaten eine erste Benutzersichtlinie 54a. Wie in 2C veranschaulicht, schneidet die erste Benutzersichtlinie 54a die erste physische Wand 201 in einer ersten Fokusposition 56a. Mit anderen Worten wird das Auge 52 des Benutzers 50 auf einen Punkt oder Abschnitt der ersten physischen Wand 201 fokussiert.
Wie in 2D veranschaulicht, arbeitet in einigen Implementierungen die elektronische Vorrichtung 210 entsprechend einer Betriebsumgebung 220, wie einer vorstehend beschriebenen XR-Umgebung. Zu diesem Zweck erhält die elektronische Vorrichtung 210 in einigen Implementierungen über einen Bildsensor Bilddaten, die physische Umgebung 200 charakterisieren. Der Bildsensor kann ein Sichtfeld aufweisen, das ungefähr dem betrachtbaren Bereich 214 der Anzeige 212 entspricht. Dementsprechend schließen die Bilddaten jeweilige Darstellungen der physischen Merkmale der physischen Umgebung 200 ein. Somit schließt die Betriebsumgebung 220 jeweilige Darstellungen der ersten physischen Wand 201, der zweiten physischen Wand 202 und der physischen Anrichte 204 ein. Darüber hinaus schließt die Betriebsumgebung 220 verschiedene computergenerierte Inhalte, einschließlich eines virtuellen Baseballs 222, der auf der physischen Anrichte 204 liegt, eines virtuellen Hundes 224 und eines Benutzeravatars 230 ein. In einigen Implementierungen stellt die elektronische Vorrichtung 210 die Bilddaten mit dem computergenerierten Inhalt zusammen, um die Betriebsumgebung 220 zu generieren. In einigen Implementierungen zeigt die elektronische Vorrichtung 210 auf der Anzeige 212 die jeweiligen Darstellungen der physischen Merkmale an und zeigt ferner den virtuellen Baseball 222 und den virtuellen Hund 224 an.
Der Benutzeravatar 230 ist dem Benutzer 50 zugeordnet (z. B. stellt ihn visuell dar). Dementsprechend schließt der Benutzeravatar 230 eine visuelle Darstellung eines Auges 232 ein, das das Auge 52 des Benutzers 50 darstellen kann. In einigen Implementierungen bestimmt die elektronische Vorrichtung 210 basierend auf der ersten Benutzersichtlinie 54a, die dem Benutzer 50 zugeordnet ist, eine erste Avatarsichtlinie 234a, die dem Benutzeravatar 230 zugeordnet ist. Zum Beispiel schneidet, wie in 2D veranschaulicht, die erste Avatarsichtlinie 234a einen ersten Punkt 236a der ersten physischen Wand 201, der ungefähr der ersten Fokusposition 56a entspricht, die dem Auge 52 des Benutzers 50 zugeordnet ist.
In einigen Implementierungen nimmt die elektronische Vorrichtung 210 an einer Kopräsenzsitzung mit einer anderen elektronischen Vorrichtung teil, wodurch die elektronische Vorrichtung 210 und die andere elektronische Vorrichtung gleichzeitig entsprechend der Betriebsumgebung 220 arbeiten können. Dementsprechend kann die andere elektronische Vorrichtung den Benutzeravatar 230 anzeigen, und die elektronische Vorrichtung 210 kann einen Benutzeravatar anzeigen, der einen Benutzer der anderen elektronischen Vorrichtung darstellt.
Der virtuelle Hund 224 schließt ein virtuelles Auge 226 ein, das einem ersten Ansichtsfrustrum 228a zugeordnet ist. Insbesondere schließt das erste Ansichtsfrustrum 228a den Benutzeravatar 230 ein. Mit anderen Worten konzentriert sich der virtuelle Hund 224 auf einen Bereich der Betriebsumgebung 220, der den Benutzeravatar 230 einschließt, wodurch der virtuelle Hund 224 auf ein Augenverhalten des Benutzeravatars 230 reagiert. Die elektronische Vorrichtung 210 bestimmt das Augenverhalten des Benutzeravatars 230 basierend auf einem entsprechenden verfolgten Augenverhalten des Auges 52 des Benutzers 50.
Wie in 2E veranschaulicht, verfolgt der Augen-Tracker 214 das Auge 52 des Benutzers 50 und bestimmt eine Änderung von der ersten Benutzersichtlinie 54a zu einer zweiten Benutzersichtlinie 54b. Die zweite Benutzersichtlinie 54b schneidet eine zweite Fokusposition 56b der physischen Umgebung 200, die einem Punkt entspricht, der oberhalb und rechts der physischen Anrichte 204 liegt.
Basierend auf der Änderung der zweiten Fokusposition 56b aktualisiert die elektronische Vorrichtung 210 die visuelle Darstellung des Auges 232 des Benutzeravatars 230, wie in 2F veranschaulicht. Die visuelle Darstellung des Auges 232 ändert sich nämlich von der ersten Avatarsichtlinie 234a zu einer zweiten Avatarsichtlinie 234b, die ungefähr der zweiten Benutzersichtlinie 54b entspricht. Insbesondere schneidet die zweite Avatarsichtlinie 234b einen zweiten Punkt 236b auf dem virtuellen Hund 224. Mit anderen Worten ist der Fokus des Benutzeravatars 230 auf den virtuellen Hund 224 gerichtet.
In einigen Implementierungen aktiviert die elektronische Vorrichtung 224 basierend auf dem Fokus des Benutzeravatars 230, der auf den virtuellen Hund 224 gerichtet ist, den virtuellen Hund 224 (ermöglicht es z. B. dem virtuellen Hund 224, eine Aktion durchzuführen). In einigen Implementierungen ändert die elektronische Vorrichtung 210, wie in den 2F und 2G veranschaulicht, das Aussehen des virtuellen Hundes 224 von durchgehenden Begrenzungslinien zu gepunkteten Begrenzungslinien, um die Aktivierung anzugeben. Die Änderung des Aussehens des virtuellen Hundes 224 auf der Anzeige 212 stellt dem Benutzer 50 eine Rückmeldung bereit, dass der virtuelle Hund 224 aktiviert wurde, wodurch die Wahrscheinlichkeit abnimmt, dass der Benutzer 50 nachfolgende Eingaben bereitstellt, die versuchen, den virtuellen Hund 224 zu aktivieren, und dadurch die Ressourcennutzung durch die elektronische Vorrichtung 210 reduziert.
Wie in 2H veranschaulicht, verfolgt der Augentracker 214 das Auge 52 des Benutzers 50 und bestimmt eine Änderung von der zweiten Benutzersichtlinie 54b zu einer dritten Benutzersichtlinie 54c. Die dritte Benutzersichtlinie 54c schneidet eine dritte Fokusposition 56c der physischen Umgebung 200. Die dritte Fokusposition 56c entspricht einem Punkt auf der Oberseite der physischen Anrichte 204.
Basierend auf der Änderung der dritten Fokusposition 56c aktualisiert die elektronische Vorrichtung 210 die visuelle Darstellung des Auges 232 des Benutzeravatars 230, wie in 21 veranschaulicht. Die visuelle Darstellung des Auges 232 ändert sich nämlich von der zweiten Avatarsichtlinie 234b zu einer dritten Avatarsichtlinie 234c, die ungefähr der dritten Benutzersichtlinie 54c entspricht. Insbesondere schneidet die dritte Avatarsichtlinie 234c einen dritten Punkt 236c, der auf dem virtuellen Baseball 222 liegt. Mit anderen Worten ist der Fokus des Benutzeravatars 230 auf den virtuellen Baseball 222 gerichtet.
Wie in 2J veranschaulicht, verfolgt der Augen-Tracker 214 das Auge 52 des Benutzers 50 und bestimmt eine Änderung von der dritten Benutzersichtlinie 54c zu der zweiten Benutzersichtlinie 54b, die dem zweiten Fokuspunkt 56b zugeordnet ist. Zum Beispiel entspricht das Augenverhalten des Benutzers 50 einer Sakkade, die von der Position des virtuellen Hundes 224 (veranschaulicht in 2E) ausgeht, sich zu der Position der physischen Anrichte 204 (veranschaulicht in 2H) und zurück zu der Position des virtuellen Hundes 224 (veranschaulicht in 2J) bewegt. Basierend auf der Änderung zu der zweiten Fokusposition 56b aktualisiert die elektronische Vorrichtung 210 die visuelle Darstellung des Auges 232 des Benutzeravatars 230 zurück zu der zweiten Avatarsichtlinie 234b, die dem zweiten Punkt 236b zugeordnet ist, der dem virtuellen Hund 224 entspricht, wie in 2K veranschaulicht.
Gemäß verschiedenen Implementierungen weist die elektronische Vorrichtung 210 basierend auf einem Augenverhalten des Benutzeravatars 230 den virtuellen Hund 224 an, eine oder mehrere Aktionen durchzuführen. Zum Beispiel weist die elektronische Vorrichtung 210 den virtuellen Agenten 224 basierend auf der Bewegung der visuellen Darstellung des Auges 232 von dem virtuellen Hund 224 zu dem virtuellen Baseball 222 und zurück zu dem virtuellen Hund 224, an, ein Aussehen des virtuellen Auges 226 zu ändern. Als ein Beispiel weist die elektronische Vorrichtung 210, wie in 2L veranschaulicht, den virtuellen Hund 224 an, das virtuelle Auge 226 von dem ersten Ansichtsfrustrum 228a zu einem zweiten Ansichtsfrustrum 228b zu ändern. Zu diesem Zweck wählt die elektronische Vorrichtung 210 in einigen Implementierungen das zweite Ansichtsfrustrum 228b aus, um den virtuellen Baseball 222 einzuschließen, da der Benutzeravatar 230 zuvor auf den virtuellen Baseball 222 fokussiert war. Mit anderen Worten weist die elektronische Vorrichtung 210 den virtuellen Hund 224 an, sein Blickziel zu ändern, sodass es in etwa dem vorherigen Blick des Benutzeravatars 230 entspricht.
Wie in 2M veranschaulicht, verfolgt der Augen-Tracker 214 das Auge 52 des Benutzers 50 und bestimmt eine Änderung von der zweiten Benutzersichtlinie 54b zu der ersten Benutzersichtlinie 54a, die dem ersten Fokuspunkt 56a zugeordnet ist. Basierend auf der Änderung der ersten Fokusposition 56a aktualisiert die elektronische Vorrichtung 210 die visuelle Darstellung des Auges 232 des Benutzeravatars 230 zu der ersten Avatarsichtlinie 234a, die dem zweiten Punkt 236a zugeordnet ist, wie in 2N veranschaulicht. Da sich der Fokus des Benutzers 50 von dem virtuellen Baseball 224 weg bewegt hat (z. B. für mindestens eine Schwellenzeitdauer), weist die elektronische Vorrichtung 210 den virtuellen Hund 224 darüber hinaus an, sich vom zweiten Ansichtsfrustrum 228b zum ersten Ansichtsfrustrum 228a zu ändern, wie in 2N veranschaulicht. Das erste Ansichtsfrustrum 228a schließt den Benutzeravatar 230 ein, und somit kann der virtuelle Hund 224 den Benutzeravatar 230 betrachten und auf weitere Anweisungen von dem Benutzeravatar 230 warten.
Gemäß verschiedenen Implementierungen weist die elektronische Vorrichtung 210 den virtuellen Hund 224 an, eine oder mehrere Aktionen basierend auf einem oder mehreren jeweiligen Dauerschwellenwerten, die einer Fokusposition zugeordnet sind, durchzuführen. Beispiele für die Verwendung von Dauerschwellenwerten sind in den 20-2U veranschaulicht. Wie in 20 veranschaulicht, verfolgt der Augen-Tracker 214 das Auge 52 des Benutzers 50 und bestimmt eine Änderung von der ersten Benutzersichtlinie 54a zu der dritten Benutzersichtlinie 54c, die dem dritten Fokuspunkt 56c auf der Oberfläche der physischen Anrichte 204 zugeordnet ist. Basierend auf der Änderung der dritten Fokusposition 56c aktualisiert die elektronische Vorrichtung 210 die visuelle Darstellung des Auges 232 des Benutzeravatars 230 von der ersten Avatarsichtlinie 234a zu der dritten Avatarsichtlinie 234c, wie in 2P veranschaulicht. Die dritte Avatarsichtlinie 234c ist dem dritten Punkt 236c zugeordnet, der sich auf dem virtuellen Baseball 222 befindet.
Wie in 2Q veranschaulicht, weist die elektronische Vorrichtung 210 basierend auf der Änderung des dritten Punktes 236c den virtuellen Hund 224 zum Aktualisieren des virtuellen Auges 226 an, sich vom ersten Ansichtsfrustrum 228a zum zweiten Ansichtsfrustrum 228b zu ändern, wie unter Bezugnahme auf die 2K und 2L beschrieben.
In einigen Implementierungen bestimmt die elektronische Vorrichtung 210, dass das Auge 232 des Benutzeravatars 230 den Fokus auf dem dritten Punkt 236c (auf dem virtuellen Baseball 222) für mindestens eine erste Schwellendauer aufrecht erhält. Basierend auf der Erfüllung der ersten Schwellendauer weist die elektronische Vorrichtung 210 den virtuellen Hund 224 an, sich in Richtung des virtuellen Baseballs 222 zu bewegen, wie durch eine erste Bewegungslinie 240 in 2R angezeigt. 2S veranschaulicht den Abschluss der Bewegung des virtuellen Hundes 224 zu dem virtuellen Baseball 222.
Darüber hinaus bestimmt die elektronische Vorrichtung 210 in einigen Implementierungen, dass das Auge 232 des Benutzeravatars 230 den Fokus auf dem dritten Punkt 236c (auf dem virtuellen Baseball 222) für mindestens eine zweite Schwellendauer, die größer als die erste Schwellendauer ist, aufrecht erhält. Zum Beispiel beträgt die erste Schwellendauer zwei Sekunden ab dem Zeitpunkt, an dem das Auge 232 des Benutzeravatars 230 anfänglich den virtuellen Baseball 222 fokussiert, während die zweite Schwellendauer vier Sekunden ab dem Zeitpunkt beträgt, wenn das Auge 232 des Benutzeravatars 230 anfänglich den virtuellen Baseball 222 fokussiert. Basierend auf der Erfüllung der zweiten Schwellendauer weist die elektronische Vorrichtung 210 den virtuellen Hund 224 an, den virtuellen Baseball 222 zu dem Benutzeravatar 230 zu bringen, wie durch eine zweite Bewegungslinie 242 in 2T angegeben. 2U veranschaulicht den Abschluss der Bewegung des virtuellen Hundes 224 und des virtuellen Baseballs 222 zu dem Benutzeravatar 230. Darüber hinaus weist die elektronische Vorrichtung 210 den virtuellen Hund 224 ferner an, das virtuelle Auge 226 von der Zuordnung zum zweiten Ansichtsfrustrum 228b zur Zuordnung zu einem dritten Ansichtsfrustrum 228c zu ändern. Das dritte Ansichtsfrustrum 228c schließt das Auge 232 des Benutzeravatars 230 ein, wodurch der virtuelle Hund 224 weitere Weisung von dem (Auge 232 des) Benutzeravatar(s) 230 empfängt.
3 ist ein Beispiel eines Flussdiagramms eines Verfahrens 300, einen virtuellen Agenten anzuweisen, verschiedene Aktionen basierend auf Augenverhalten eines Benutzers gemäß einigen Implementierungen durchzuführen. In verschiedenen Implementierungen werden das Verfahren 300 oder Abschnitte davon durch eine elektronische Vorrichtung (z. B. die elektronische Vorrichtung 210) durchgeführt. In verschiedenen Implementierungen werden das Verfahren 300 oder Abschnitte davon von einer mobilen Vorrichtung, wie einem Smartphone, Tablet oder einer tragbaren Vorrichtung, durchgeführt. In verschiedenen Implementierungen werden das Verfahren 300 oder Abschnitte davon von einer am Kopf tragbaren Vorrichtung (HMD), die eine Anzeige einschließt, durchgeführt. In einigen Implementierungen wird das Verfahren 300 durch Verarbeitungslogik, einschließlich Hardware, Firmware, Software oder einer Kombination davon, durchgeführt. In einigen Implementierungen wird das Verfahren 300 durch einen Prozessor durchgeführt, der einen Code ausführt, der in einem nicht-transitorischen computerlesbaren Medium (z. B. einem Speicher) gespeichert ist.
Wie in Block 302 dargestellt, schließt das Verfahren 300 das Anzeigen eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, auf der Anzeige ein. Beispiele für einen virtuellen Agenten schließen verschiedene computergenerierte Entitäten, wie eine Person, ein Tier, einen Humanoiden, einen Roboter, einen Androiden, eine anthropomorphe Entität und/oder dergleichen ein. Wie durch Block 304 dargestellt, schließt das erste Ansichtsfrustrum einen Benutzeravatar ein, der einem Benutzer zugeordnet ist. Der Benutzeravatar kann eine grafische Darstellung des Benutzers bereitstellen. Zum Beispiel entspricht unter Bezugnahme auf die 2C und 2D der virtuelle Agent dem virtuellen Hund 224, der ein erstes Ansichtsfrustrum 228a aufweist, das den Benutzeravatar 230 einschließt, der dem Benutzer 50 zugeordnet ist. Der Benutzeravatar schließt eine visuelle Darstellung eines oder mehrerer Augen ein, wie die visuelle Darstellung des Auges 232 des in 2D veranschaulichten Benutzeravatars 230. Die visuelle Darstellung eines oder mehrerer Augen kann computergenerierten Augen (z. B. generischen Augen eines Individuums) entsprechen, oder kann den tatsächlichen Augen des Benutzers entsprechen, die dem Benutzeravatar überlagert sind. Zum Beispiel erfasst eine elektronische Vorrichtung ein Bild eines Auges eines Benutzers, identifiziert (z. B. über Computer Vision) das Auge innerhalb des Bildes und überlagert das Auge dem Benutzeravatar.
Wie durch Block 306 dargestellt, schließt das Verfahren 300 das Erhalten von Augenverfolgungsdaten ein, die ein Augenverhalten anzeigen, das einem Auge des Benutzers zugeordnet ist. Das Augenverhalten kann eine aktuelle Fokusposition angeben, wie wohin der Benutzer innerhalb einer physischen Umgebung blickt oder fokussiert. Zum Beispiel bestimmt der Augen-Tracker 214 unter Bezugnahme auf 2C basierend auf den Augenverfolgungsdaten, dass das Auge 52 des Benutzers 50 auf die erste Fokusposition 56a fokussiert, die sich an der ersten physischen Wand 201 befindet.
Als weiteres Beispiel schließt das Augenverhalten, wie durch Block 308 dargestellt, eine Bewegung des Auges des Benutzers von einer ersten Fokusposition in eine zweite Fokusposition ein. Zum Beispiel bestimmt der Augen-Tracker unter Bezugnahme auf die 2C und 2E, dass sich das Auge 52 von der ersten Fokusposition 56a in die zweite Fokusposition 56b bewegt. Wie durch Block 310 dargestellt, schließt die Bewegung in einigen Implementierungen eine Sakkade, wie unter Bezugnahme auf die 2E, 2H und 2J beschrieben, ein. Die Sakkade kann sich zwischen der ersten Fokusposition und der zweiten Fokusposition bewegen, wie von einem Ursprungspunkt zu einem interessierenden Objekt und zurück zum Ursprungspunkt. Zum Beispiel wird ein Blick des Auges zunächst auf den Boden gerichtet, bewegt sich zu einem virtuellen Hund und bewegt sich dann zurück zum Boden. Weitere Beispiele für Augenbewegungen schließen reibungslose Verfolgung, Vergenz und vestibulo-okulare Bewegungen ein.
Wie durch Block 312 dargestellt, schließt das Verfahren 300 das Aktualisieren der visuellen Darstellung eines oder mehrerer Augen basierend auf dem Augenverhalten ein. Zum Beispiel ändert die elektronische Vorrichtung 210 unter Bezugnahme auf die 2D und 2F die visuelle Darstellung des Auges 232 von der Ausrichtung auf den ersten Punkt 236a zu dem zweiten Punkt 236b, basierend auf einer entsprechenden Bewegung des Auges 52 des Benutzers 50 (veranschaulicht in den 2C und 2E).
Wie durch Block 314 dargestellt, schließt das Verfahren 300 in einigen Implementierungen das Bestimmen, basierend auf den Augenverfolgungsdaten, dass das Augenverhalten eine Aktivierungsanforderung angibt und das Aktivieren des virtuellen Agenten als Reaktion auf das Bestimmen, dass das Augenverhalten die Aktivierungsanforderung angibt, ein. Nach dem Aktivieren kann der virtuelle Agent angewiesen werden, eine Aktion durchzuführen. In einigen Implementierungen entspricht die Aktivierungsanforderung einem Avatar, der auf einen virtuellen Agenten fokussiert. Zum Beispiel aktiviert unter Bezugnahme auf die 2F und 2G als Reaktion auf das Bestimmen, dass sich die zweite Fokusposition 236b auf dem virtuellen Hund 224 befindet, die elektronische Vorrichtung 210 den virtuellen Hund 224. In einigen Implementierungen entspricht die Aktivierungsanforderung dem Fokussieren auf einen virtuellen Agenten für mindestens eine Schwellenzeitdauer.
Wie durch Block 316 dargestellt, schließt das Verfahren 300 das Anweisen des virtuellen Agenten ein, eine erste Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen. Zum Beispiel schließt die erste Aktion eine Änderung der Kopfposition des virtuellen Agenten ein, wie wenn der virtuelle Agent seinen Kopf in Richtung eines Benutzeravatars bewegt. Als weiteres Beispiel schließt die erste Aktion ein, dass der virtuelle Agent einen hörbaren Ton emittiert, wie ein Bellen des virtuellen Hundes. In einigen Implementierungen schließt eine elektronische Vorrichtung, die das Verfahren 300 durchführt, einen oder mehrere Umgebungssensoren ein, die Umgebungsdaten ausgeben, und das Verfahren 300 schließt das Bestimmen der Szeneninformationen basierend auf den Umgebungsdaten ein. Beispiele für den einen oder die mehreren Umgebungssensoren schließen einen Bildsensor, einen Tiefensensor, einen simultanen Lokalisierungs- und Kartierungssensor (Simultaneous Localization and Mapping-Sensor, SLAM-Sensor), einen Sensor für visuelle Trägheits-Odometrie (Visual Inertial Odometry, VIO), einen Sensor für ein globales Positionsbestimmungssystem (Global Positioning System, GPS) usw. ein.
In einigen Implementierungen entspricht die erste Aktion einem ersten Aktionstyp, wenn die Szeneninformationen einen ersten Umgebungstyp angeben, und die erste Aktion entspricht einem zweiten Aktionstyp, wenn die Szeneninformationen einen zweiten Umgebungstyp angeben, der sich von dem ersten Umgebungstyp unterscheidet. Der zweite Aktionstyp unterscheidet sich von dem ersten Aktionstyp. Beispiele für den Umgebungstyp schließen eine virtuelle Realitätsumgebung (VR-Umgebung), eine erweiterte Realitätsumgebung (AR-Umgebung), eine vermischte Realitätsmgebung (MR-Umgebung) usw. ein. Andere Beispiele von Szeneninformationen schließen ein Szenenambiente (z. B. ein dunkler und geräuscharmer Raum), Informationen zu Objekten, die sich innerhalb der Szene befinden, den Szenenstandort (z. B. im Freien gegenüber Innenräumen) und/oder dergleichen ein. Darüber hinaus können die Szeneninformationen eine Karte (z. B. ein Netz) angeben, die eine Vielzahl von physischen Objekten und Oberflächen angibt, wie sie basierend auf SLAM-Daten, Punktwolkendaten usw. bestimmt werden. Als ein Beispiel, wenn die Szeneninformationen eine ruhige Umgebung angeben, weist die elektronische Vorrichtung den virtuellen Agenten an, die Lautstärke aller Geräusche, die der virtuelle Agent produziert (z. B. emittiert), zu begrenzen. Als weiteres Beispiel weist die elektronische Vorrichtung, wenn die Szeneninformationen angeben, dass ein physisches Objekt einen geraden Pfad zwischen dem virtuellen Agenten und einer den Augen des Benutzers zugeordneten Fokusposition blockiert, den virtuellen Agenten an, sich entlang einer Bahn zu bewegen, die das physische Objekt umgeht, um die Fokusposition zu erreichen.
Wie durch Block 318 dargestellt, schließt in einigen Implementierungen die erste Aktion das Ändern eines Aussehens des einen oder der mehreren virtuellen Augen ein. Wie durch Block 320 dargestellt, schließt in einigen Implementierungen das Ändern des Aussehens des einen oder der mehreren virtuellen Augen das Ändern des einen oder der mehreren virtuellen Augen von dem ersten Ansichtsfrustrum zu einem zweiten Ansichtsfrustrum ein. Zum Beispiel weist die elektronische Vorrichtung 210 unter Bezugnahme auf die 2H-2L den virtuellen Hund 224 an, das virtuelle Auge 226 von der Zuordnung von dem ersten Ansichtsfrustrum 228a zur Zuordnung zu dem zweiten Ansichtsfrustrum 228b (einschließlich des virtuellen Baseballs 222) zu ändern, basierend darauf, dass das Auge 52 des Benutzers 50 den Fokus zwischen dem virtuellen Hund 224 und dem virtuellen Baseball 222 ändert. Als weiteres Beispiel schließt das Ändern eines Aussehens des einen oder der mehreren virtuellen Augen das Ändern der Farbe eines oder mehrerer virtueller Augen, das Vergrößern eines oder mehrerer virtueller Augen, Verkleinern eines oder mehrerer virtueller Augen usw. ein. Beispielsweise weist eine elektronische Vorrichtung, basierend auf Szeneninformationen, die angeben, dass ein virtueller Hund sich im Freien befindet, und basierend darauf, dass ein Auge eines Benutzers sich zu einem Ball bewegt, den virtuellen Hund an, seine Augen zu vergrößern, um anzuzeigen, dass er aufgeregt ist, mit dem Ball im Freien zu spielen.
Wie durch Block 322 dargestellt, schließt in einigen Implementierungen die erste Aktion eine Bewegung des virtuellen Agenten von einer ersten Position innerhalb einer Betriebsumgebung zu einer zweiten Position innerhalb der Betriebsumgebung ein. In einigen Implementierungen basiert die Bewegung des virtuellen Agenten auf dem Erkennen, dass das Auge des Benutzers den Fokus für mindestens eine Schwellendauer auf eine bestimmte Fokusposition aufrecht erhält. Als ein Beispiel weist die elektronische Vorrichtung 210, basierend auf dem Bestimmen, dass das Auge 232 des Benutzeravatars 230 den Fokus für mindestens eine erste Schwellenzeitdauer auf den dritten Punkt 236c (auf dem virtuellen Baseball 222) aufrecht erhält, den virtuellen Hund 224 an, sich in Richtung des virtuellen Baseballs 222 zu bewegen, wie durch die erste Bewegungslinie 240 in 2R angezeigt. In Weiterführung dieses Beispiels bestimmt die elektronische Vorrichtung 210, dass das Auge 232 des Benutzeravatars 230 den Fokus für mindestens eine zweite Schwellenzeitdauer, die länger als die erste Schwellendauer ist, auf den dritten Punkt 236c (auf dem virtuellen Baseball 222) aufrecht erhält. Basierend auf der zweiten Schwellendauer weist die elektronische Vorrichtung 210 den virtuellen Hund 224 an, den virtuellen Baseball 222 zu dem Benutzeravatar 230 zu bringen, wie durch die zweite Bewegungslinie 242 in 2T angegeben. Dementsprechend kann basierend auf dem Aufrechterhalten des Fokus auf/in einem bestimmten Punkt oder Bereich für unterschiedliche Zeitspannen eine elektronische Vorrichtung einen virtuellen Agenten anweisen, unterschiedliche entsprechende Aktionen durchzuführen.
Die vorliegende Offenbarung beschreibt verschiedene Merkmale, von denen kein einzelnes allein für die hierin beschriebenen Vorteile verantwortlich ist. Es versteht sich, dass verschiedene hierin beschriebene Merkmale kombiniert, modifiziert oder weggelassen werden können, wie es für einen Fachmann ersichtlich ist. Andere Kombinationen und Unterkombinationen als die spezifisch hierin beschriebenen sind für einen Fachmann ersichtlich und sollen einen Teil dieser Offenbarung bilden. Verschiedene Verfahren sind hierin in Verbindung mit verschiedenen Flussdiagrammschritten und/oder -phasen beschrieben. Es versteht sich, dass in vielen Fällen bestimmte Schritte und/oder Phasen derart miteinander kombiniert werden können, dass mehrere Schritte und/oder Phasen, die in den Flussdiagrammen gezeigt sind, in einem einzigen Schritt und/oder einer einzigen Phase durchgeführt werden können. Außerdem können bestimmte Schritte und/oder Phasen in zusätzliche Unterkomponenten unterteilt werden, die separat durchzuführen sind. In einigen Fällen kann die Reihenfolge der Schritte und/oder Phasen neu angeordnet werden und können bestimmte Schritte und/oder Phasen vollständig weggelassen werden. Außerdem sind die hierin beschriebenen Verfahren als offen zu verstehen, sodass auch Schritte und/oder Phasen zusätzlich zu den hierin gezeigten und beschriebenen durchgeführt werden können.
Einige oder alle der hierin beschriebenen Verfahren und Aufgaben können durch ein Computersystem durchgeführt und vollständig automatisiert werden. Das Computersystem kann in einigen Fällen mehrere unterschiedliche Computer oder Rechenvorrichtungen (z. B. physische Server, Arbeitsstationen, Speicherarrays usw.) einschließen, die über ein Netzwerk kommunizieren und zusammenarbeiten, um die beschriebenen Funktionen durchzuführen. Jede solche Rechenvorrichtung schließt in der Regel einen Prozessor (oder mehrere Prozessoren) ein, der Programmanweisungen oder Module ausführt, die in einem Speicher oder einem anderen nicht-transitorischen computerlesbaren Speichermedium oder einer anderen Vorrichtung gespeichert sind. Die verschiedenen hierin offenbarten Funktionen können in solchen Programmanweisungen implementiert sein, wenngleich einige oder alle der offenbarten Funktionen alternativ in anwendungsspezifischen Schaltungen (z. B. ASICs oder FPGAs oder GP-GPUs) des Computersystems implementiert sein können. Wenn das Computersystem mehrere Rechenvorrichtungen einschließt, können diese Vorrichtungen gemeinsam angeordnet sein oder nicht gemeinsam angeordnet sein. Die Ergebnisse der offenbarten Verfahren und Aufgaben können dauerhaft gespeichert werden, indem physische Speichervorrichtungen, wie Festkörperspeicherchips und/oder Magnetplatten, in einen anderen Zustand umgewandelt werden.
Verschiedene hierin definierte Prozesse ziehen die Möglichkeit in Betracht, persönliche Informationen eines Benutzers zu erhalten und zu nutzen. Zum Beispiel können solche persönlichen Informationen genutzt werden, um einen verbesserten Datenschutzbildschirm auf einer elektronischen Vorrichtung bereitzustellen. Insoweit als solche persönlichen Informationen gesammelt werden, sollten solche Informationen jedoch mit der informationsgestützten Einwilligung des Benutzers erhalten werden. Wie hierin beschrieben, sollte der Benutzer Kenntnis und Kontrolle über die Verwendung seiner persönlichen Informationen haben.
Persönliche Informationen werden von geeigneten Parteien nur zu rechtmäßigen und angemessenen Zwecken genutzt. Die Parteien, die solche Informationen nutzen, halten Datenschutzrichtlinien und -praktiken ein, die mindestens geeigneten Gesetzen und Vorschriften entsprechen. Außerdem müssen solche Richtlinien gut etabliert, für Benutzer zugänglich und als mit behördlichen/industriellen Standards übereinstimmend oder über diese hinausgehend anerkannt sein. Darüber hinaus unterlassen diese Parteien die Verbreitung, den Verkauf oder ein anderweitiges Teilen solcher Informationen außerhalb angemessener und rechtmäßiger Zwecke.
Benutzer können jedoch den Grad beschränken, in dem solche Parteien auf persönliche Informationen zugreifen oder solche anderweitig erhalten können. Zum Beispiel können Einstellungen oder andere Präferenzen derart angepasst werden, dass Benutzer entscheiden können, ob auf ihre persönlichen Informationen durch verschiedene Entitäten zugegriffen werden kann. Wenngleich einige hierin definierte Merkmale im Zusammenhang mit der Verwendung persönlicher Informationen beschrieben sind, können des Weiteren verschiedene Gesichtspunkte dieser Merkmale implementiert werden, ohne dass solche Informationen verwendet werden müssen. Wenn zum Beispiel Benutzerpräferenzen, Kontonamen und/oder ein Ortsverlauf erfasst werden, können diese Informationen verborgen oder anderweitig verallgemeinert werden, sodass die Informationen den jeweiligen Benutzer nicht identifizieren.
Die Offenbarung soll nicht auf die hierin gezeigten Implementierungen beschränkt sein. Verschiedene Modifikationen an den in dieser Offenbarung beschriebenen Implementierungen können für den Fachmann ohne Weiteres ersichtlich sein, und die hierin definierten allgemeinen Prinzipien können auf andere Implementierungen angewendet werden, ohne vom Wesen oder Schutzumfang dieser Offenbarung abzuweichen. Die hierin bereitgestellten Lehren der Erfindung können auf andere Verfahren und Systeme angewendet werden und sind nicht auf die oben beschriebenen Verfahren und Systeme beschränkt, und Elemente und Aktionen der verschiedenen oben beschriebenen Implementierungen können kombiniert werden, um weitere Implementierungen bereitzustellen. Dementsprechend können die hierin beschriebenen neuartigen Verfahren und Systeme in einer Vielfalt anderer Formen implementiert werden; außerdem können verschiedene Weglassungen, Ersetzungen und Änderungen der Form der hierin beschriebenen Verfahren und Systeme vorgenommen werden, ohne vom Wesen der Offenbarung abzuweichen. Die beigefügten Ansprüche und ihre Äquivalente sollen solche Formen oder Modifikationen abdecken, die in den Schutzumfang und Geist der Offenbarung fallen.

Claims

Verfahren, umfassend: auf einer elektronischen Vorrichtung, die einen oder mehrere Prozessoren, einen nicht-transitorischen Speicher und eine Anzeige einschließt: während des Anzeigens, auf der Anzeige, eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, wobei das erste Ansichtsfrustrum einen Benutzeravatar einschließt, der einem Benutzer zugeordnet ist, und der Benutzeravatar eine visuelle Darstellung eines oder mehrerer Augen einschließt: Erhalten von Augenverfolgungsdaten, die ein Augenverhalten angeben, das einem Auge des Benutzers zugeordnet ist; Aktualisieren der visuellen Darstellung eines oder mehrerer Augen basierend auf dem Augenverhalten; und Anweisen des virtuellen Agenten, eine erste Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen.
Verfahren nach Anspruch 1, wobei das Augenverhalten eine Bewegung des Auges des Benutzers von einer ersten Fokusposition in eine zweite Fokusposition einschließt.
Verfahren nach Anspruch 2, wobei die Bewegung eine Sakkade einschließt.
Verfahren nach Anspruch 3, wobei die Sakkade auf ein Objekt von Interesse gerichtet ist.
Verfahren nach Anspruch 2, wobei das Anweisen des virtuellen Agenten, die erste Aktion durchzuführen, als Reaktion auf das Erkennen der Bewegung des Auges erfolgt, wobei das Verfahren ferner umfasst: Erkennen, dass das Auge des Benutzers den Fokus auf der zweiten Position für mindestens eine Schwellendauer aufrecht erhält; und als Reaktion auf das Erkennen, dass das Auge des Benutzers den Fokus für mindestens die Schwellendauer aufrecht erhält, Anweisen des virtuellen Agenten, eine zweite Aktion durchzuführen, die sich von der ersten Aktion unterscheidet.
Verfahren nach einem der Ansprüche 1-5, wobei der virtuelle Agent ein oder mehrere virtuelle Augen einschließt, und wobei die erste Aktion das Ändern eines Aussehens des einen oder der mehreren virtuellen Augen basierend auf dem Augenverhalten einschließt.
Verfahren nach Anspruch 6, wobei das Ändern des Aussehens des einen oder der mehreren virtuellen Augen eine Bewegung des einen oder der mehreren virtuellen Augen basierend auf einer Bewegung des Auges des Benutzers einschließt, wobei nach der Bewegung des einen oder der mehreren virtuellen Augen der virtuelle Agent einem zweiten Ansichtsfrustrum zugeordnet ist, das sich von dem ersten Ansichtsfrustrum unterscheidet.
Verfahren nach Anspruch 6, wobei das Augenverhalten eine Änderung von einer ersten Fokusposition in eine zweite Fokusposition einschließt, wobei die erste Aktion das Ändern des einen oder der mehreren virtuellen Augen von einer dritten Fokusposition in eine vierte Fokusposition einschließt und wobei die vierte Fokusposition einen Näherungsschwellenwert in Bezug auf die zweite Fokusposition erfüllt.
Verfahren nach einem der Ansprüche 1-8, wobei die erste Aktion eine Bewegung des virtuellen Agenten von einer ersten Position innerhalb einer Betriebsumgebung in eine zweite Position innerhalb der Betriebsumgebung einschließt.
Verfahren nach einem der Ansprüche 1-9, wobei die erste Aktion eine Änderung der Kopfposition des virtuellen Agenten einschließt.
Verfahren nach einem der Ansprüche 1-10, wobei die erste Aktion das Emittieren eines hörbaren Tons durch den virtuellen Agenten einschließt.
Verfahren nach einem der Ansprüche 1-11, wobei: die erste Aktion einem ersten Aktionstyp entspricht, wenn die Szeneninformationen einen ersten Umgebungstyp angeben; und die erste Aktion einem zweiten Aktionstyp entspricht, wenn die Szeneninformationen einen zweiten Umgebungstyp angeben, der sich von dem ersten Umgebungstyp unterscheidet, wobei sich der zweite Aktionstyp von dem ersten Aktionstyp unterscheidet.
Verfahren nach einem der Ansprüche 1-12, ferner umfassend: Bestimmen, basierend auf den Augenverfolgungsdaten, dass das Augenverhalten eine Aktivierungsanforderung angibt; und Aktivieren des virtuellen Agenten als Reaktion auf das Bestimmen, dass das Augenverhalten die Aktivierungsanforderung angibt.
Nicht-transitorisches, computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die bei Ausführung durch eine elektronische Vorrichtung, die eine Anzeige einschließt, die elektronische Vorrichtung veranlassen, während des Anzeigens, auf der Anzeige, eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, wobei das erste Ansichtsfrustrum einen Benutzeravatar einschließt, der einem Benutzer zugeordnet ist, und der Benutzeravatar eine visuelle Darstellung eines oder mehrerer Augen einschließt: zum Erhalten von Augenverfolgungsdaten, die ein Augenverhalten angeben, das einem Auge des Benutzers zugeordnet ist; Aktualisieren der visuellen Darstellung eines oder mehrerer Augen basierend auf dem Augenverhalten; und Anweisen des virtuellen Agenten, eine erste Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen.
Elektronische Vorrichtung, umfassend: einen oder mehrere Prozessoren; nicht-transitorischen Speicher; eine Anzeige; und ein oder mehrere Programme, die in dem nicht-transitorischen Speicher gespeichert sind und bei Ausführung durch einen oder mehrere Prozessoren folgende Funktionen der elektronischen Vorrichtung bewirken: während des Anzeigens, auf der Anzeige, eines virtuellen Agenten, der einem ersten Ansichtsfrustrum zugeordnet ist, wobei das erste Ansichtsfrustrum einen Benutzeravatar einschließt, der einem Benutzer zugeordnet ist, und der Benutzeravatar eine visuelle Darstellung eines oder mehrerer Augen einschließt: Erhalten von Augenverfolgungsdaten, die ein Augenverhalten angeben, das einem Auge des Benutzers zugeordnet ist; Aktualisieren der visuellen Darstellung eines oder mehrerer Augen basierend auf dem Augenverhalten; und Anweisen des virtuellen Agenten, eine erste Aktion basierend auf den der elektronischen Vorrichtung zugeordneten Aktualisierungs- und Szeneninformationen durchzuführen.