DE102022210008A1 - Verfahren und vorrichtungen zur augenerkennung - Google Patents

Verfahren und vorrichtungen zur augenerkennung Download PDF

Info

Publication number
DE102022210008A1
DE102022210008A1 DE102022210008.5A DE102022210008A DE102022210008A1 DE 102022210008 A1 DE102022210008 A1 DE 102022210008A1 DE 102022210008 A DE102022210008 A DE 102022210008A DE 102022210008 A1 DE102022210008 A1 DE 102022210008A1
Authority
DE
Germany
Prior art keywords
electrodes
electrode
examples
user
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022210008.5A
Other languages
English (en)
Inventor
Erdrin Azemi
Ali Moin
Christoph H. Krah
Joseph Cheng
Kaan E. Dogrusoz
Mohammad YEKE YAZDANDOOST
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE102022210008A1 publication Critical patent/DE102022210008A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system

Abstract

Es wird eine am Kopf tragbare Vorrichtung mit einer Vielzahl von Elektroden, die konfiguriert ist, um optische Ereignisse wie die Bewegung eines oder mehrerer Augen oder gröbere Augengesten zu erkennen, offenbart. In einigen Beispielen können die eine oder die mehreren Elektroden mit dielektrischen Elastomermaterialien gekoppelt sein, deren Form verändert werden kann, um den Kontakt zwischen einem Benutzer der am Kopf getragenen Vorrichtung und der einen oder den mehreren Elektroden zu variieren, um einen ausreichenden Kontakt und eine ausreichende Elektrodensignalqualität zu gewährleisten. In einigen Beispielen können die eine oder die mehreren Elektroden mit Drucksensoren und Steuerungsschaltlogik gekoppelt sein, um den ausgeübten Druck zu überwachen und anzupassen. In einigen Beispielen können die optischen Ereignisse als Auslöser für den Betrieb der Vorrichtung verwendet werden, einschließlich des Übergangs zwischen den Betriebsmodi der Stromversorgung. In einigen Beispielen können die Auslöser die Erfassungsfähigkeiten der am Kopf tragbaren Vorrichtung mit höherer Auflösung aufrufen. In einigen Beispielen können die Elektroden als On-Head-Detektor verwendet werden, um die Vorrichtung aufzuwecken und/oder zu entsperren.

Description

  • OUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht den Nutzen der US-Patentanmeldung Nr. 17/448.873, die am 24. September 2021 eingereicht wurde und deren Inhalt hierin durch Bezugnahme in vollem Umfang für alle Zwecke aufgenommen wird.
  • HINTERGRUND DER OFFENBARUNG
  • Einige Vorrichtungen stellen Augenverfolgungssysteme bereit, um die Interaktion zwischen Mensch und Computer zu ermöglichen. Bei einigen Verwendungen kann eine Vorrichtung die Augenbewegung eines Benutzers erfassen und die Bewegung als intuitive Eingabe für die Bedienung und den Aufruf von Merkmalen der Vorrichtung verwenden, was eine schnellere und effizientere Interaktion ermöglicht. Vorrichtungen, die Unstimmigkeiten bei der Interaktion zwischen einem Benutzer und einer Vorrichtung verringern, sind wünschenswert
  • KURZDARSTELLUNG DER OFFENBARUNG
  • Einige Beispiele der Offenbarung beziehen sich auf eine am Kopf tragbare Vorrichtung mit einer Vielzahl von Elektroden, die konfiguriert ist, um optische Ereignisse wie die Bewegung eines oder mehrerer Augen oder gröbere Augengesten zu erkennen. In einigen Beispielen können die eine oder die mehreren Elektroden mit dielektrischen Elastomermaterialien gekoppelt sein, deren Form verändert werden kann, um den Kontakt zwischen einem Benutzer der am Kopf getragenen Vorrichtung und der einen oder den mehreren Elektroden zu variieren, um einen ausreichenden Kontakt und eine ausreichende Elektrodensignalqualität zu gewährleisten. In einigen Beispielen können die eine oder die mehreren Elektroden mit Drucksensoren und Steuerungsschaltlogik gekoppelt sein, um den ausgeübten Druck zu überwachen und anzupassen. In einigen Beispielen können die optischen Ereignisse als Auslöser für den Betrieb der Vorrichtung verwendet werden, einschließlich des Übergangs zwischen den Betriebsmodi der Stromversorgung. In einigen Beispielen können die Auslöser die Erfassungsfähigkeiten der am Kopf getragenen Vorrichtung mit höherer Auflösung aufrufen. In einigen Beispielen können die Elektroden als On-Head-Detektor verwendet werden, um die Vorrichtung aufzuwecken und/oder zu entsperren.
  • Figurenliste
    • 1 veranschaulicht ein symbolisches Hardware-Diagramm eines Systems zum Erkennen von Augenereignissen gemäß einigen Ausführungsformen der Offenbarung.
    • 2 veranschaulicht ein funktionales Blockdiagramm eines Systems zum Erkennen von Augenereignissen gemäß einigen Ausführungsformen der Offenbarung.
    • 3 veranschaulicht eine Vielzahl von Elektroden an Stellen rund um das Gesicht und den Kopf eines Benutzers zum Erkennen von Augenereignissen gemäß Beispielen der Offenbarung.
    • 4 veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem Pogo-Pin-Element zum Verbessern der Kopplung zwischen der Elektrode und dem Gewebe gemäß Beispielen der Offenbarung.
    • 5A veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem oder mehreren Elementen in einem inaktiven Zustand, die jedoch aktiviert werden können, um die Kopplung zwischen den Elektroden und dem Gewebe gemäß Beispielen der Offenbarung zu verbessern.
    • 5B veranschaulicht die beispielhafte Elektrodenkonfiguration von 5A mit einem oder mehreren Elementen in einem aktivierten Zustand, um die Kopplung zwischen den Elektroden und dem Gewebe gemäß Beispielen der Offenbarung zu verbessern.
    • 6A veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem oder mehreren Elementen in einem inaktiven Zustand, die jedoch aktiviert werden können, um die Kopplung zwischen den Elektroden und dem Gewebe zu verbessern, und zusätzlich einen Drucksensor, der mit den Elektroden gemäß Beispielen der Offenbarung zusammen angeordnet ist.
    • 6B veranschaulicht die beispielhafte Elektroden- und Drucksensorkonfiguration von 6A in einem aktivierten Zustand, um die Kopplung zwischen den Elektroden und dem Gewebe gemäß Beispielen der Offenbarung zu verbessern.
    • 6C veranschaulicht ein Rückkopplungssteuersystem zum Regeln der Druckmenge, welche die Elektroden auf das Gewebe ausüben, gemäß einigen Beispielen der Offenbarung.
    • 7 veranschaulicht eine beispielhafte Signalverarbeitung von Elektrodensignalen gemäß einigen Ausführungsformen der Offenbarung.
    • 8 veranschaulicht beispielhafte Elektroden und ein analoges Front-End zur Verarbeitung von Elektrodensignalen gemäß einigen Ausführungsformen der Offenbarung.
    • 9 zeigt Beispiele von Sensordaten, die einer am Kopf getragenen Vorrichtung gemäß einigen Ausführungsbeispielen der Offenbarung zugeordnet sind.
    • 10 veranschaulicht ein Verfahren zur Augenverfolgung mit reduziertem Stromverbrauch gemäß einigen Beispielen der Offenbarung.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung von Beispielen wird Bezug auf die beigefügten Zeichnungen genommen, die einen Teil hiervon bilden, und in denen in veranschaulichender Weise spezifische Beispiele gezeigt werden, die umgesetzt werden können. Es ist zu verstehen, dass andere Beispiele verwendet werden und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der offenbarten Beispiele abzuweichen.
  • Im Zuge der Weiterentwicklung der Computer-Eingabetechnologie haben verschiedene Fortschritte bei Eingabevorrichtungen es Benutzern ermöglicht, effizienter mit Computersystemen zu interagieren. Am Kopf tragbare Vorrichtungen mit Elementen, die zum Erkennen von Augenbewegungen konfiguriert sind, sind ein Beispiel für eine Innovation, welche die Geschwindigkeit, Effizienz und Einfachheit, mit der Benutzer mit einem oder mehreren Computersystemen interagieren können, weiter verbessern kann. In einigen Ausführungsformen kann der Blick eines Benutzers erkannt werden, um Funktionen der Vorrichtung nahtlos aufzurufen. Während die Hände des Benutzers anderweitig beschäftigt sind, können zum Beispiel eines oder mehrere Augenereignisse (z. B. Blinzeln, Scharfstellen der Augen und/oder die Bewegung des (Augen-)Blicks) überwacht werden, um die Vorrichtung aufzuwecken und/oder zu entsperren. Die Blickabschätzung kann auch zur Erkennung von Augengesten und zur Bereitstellung von Eingaben für verschiedene Benutzerschnittstellen verwendet werden, wie zur Auswahl oder zum Wechsel zwischen Einstellungen und zur Bereitstellung von Eingabekürzeln. Zusätzlich oder alternativ kann der Fokus und/oder die Bewegung des Blicks als Auslöser dienen, um die Vorrichtung und/oder die Systeme von einem Betriebsmodus mit geringerem Stromverbrauch in einen Betriebsmodus mit höherem Stromverbrauch zu versetzen, um den Rechenaufwand zu reduzieren und die Batterielebensdauer der Vorrichtung zu verlängern. Wie hierin erwähnt, kann ein Augenereignis eines oder mehrere von Blinzeln, Fixierungen und/oder Sakkaden der Augen umfassen. Es versteht sich ferner, dass Augenereignisse eine Abfolge von einem oder mehreren Augenereignissen umfassen können (z. B. eine Abfolge von einem oder mehreren von Blinzeln, Fixierungen und/oder Sakkaden in einer beliebigen Kombination). Andere Verwendungsfälle für die Erkennung von Augenereignissen schließen die Erkennung von Vorrichtungen am Kopf (z. B. Erfassen, dass die Vorrichtung am Kopf eines Benutzers getragen wird und Einschalten der Vorrichtung), Zugänglichkeit für Behinderte und Augengesundheit ein.
  • In einigen Ausführungsformen kann eine am Kopf tragbare Vorrichtung Elektroden umfassen, die konfiguriert sind, um elektrische Impulse zu überwachen, die einem Augenereignis entsprechen. Zum Beispiel können Elektroden, die mit dielektrischen Elastomermaterialien (DE) gekoppelt sind, um Körperteile herum angeordnet werden, unter anderem in Kontakt mit und/oder oberhalb der Nase, hinter und/oder um die Ohren herum, an den Schläfen und/oder an jeder anderen Stelle, die sich zum Erkennen und Wahrnehmen von elektrischen Impulsen eignet, die einem oder mehreren Augenereignissen oder anderen gehirnbezogenen Ereignissen und neuronalen Aktivitäten zugeordnet sind.
  • 1 veranschaulicht ein symbolisches Hardware-Diagramm des Systems 100 zum Erkennen von Augenereignissen gemäß einigen Ausführungsformen der Offenbarung. In einigen Ausführungsformen kann das System 100 eine tragbare Vorrichtung 102 einschließen, die eine tragbare Vorrichtung wie eine Brille, eine Schutzbrille, ein Visier, eine Maske, ein Helm oder eine andere am Kopf tragbare Vorrichtung sein kann. In einigen Ausführungsformen kann die Vorrichtung 102 kommunikativ mit der Vorrichtung 104 gekoppelt sein, bei der es sich um ein Smartphone, einen Tablet-Computer, einen Laptop, eine Zusatzvorrichtung, die mit einer anderen Vorrichtung kommuniziert, eine tragbare Host-Vorrichtung usw. handeln kann. In einigen Ausführungsformen kann die Vorrichtung 102 zusätzlich oder alternativ mit einer oder mehreren Vorrichtungen 106 kommunikativ gekoppelt sein, bei denen es sich um Zubehörvorrichtungen wie einen Stiftscanner, Handheld-Touch-Controller, Handschuhe usw. handeln kann. In einigen Ausführungsformen kann das System 100 nur eine einzige Vorrichtung 102 (und optionale Zusatzvorrichtungen 106) umfassen, wobei die Funktionalität der Vorrichtung 104 in der Vorrichtung 102 eingeschlossen ist.
  • In einigen Ausführungsformen können eine Vielzahl von Elektroden und zugeordnete Schaltlogik (nicht dargestellt) an oder in der Vorrichtung 102 angeordnet sein, so dass die Elektroden, wenn die Vorrichtung am Kopf eines Benutzers getragen wird, mit ausgewählten Bereichen des Kopfes des Benutzers um die Augen, die Nase, die Schläfen und/oder die Ohren in Kontakt kommen. Spannungsdifferenzen zwischen den Elektroden können gemessen werden, um elektrische Impulse zu erkennen, die einem oder mehreren Augenereignissen zugeordnet sind, wie zum Beispiel die Bewegung des Blicks eines Benutzers (die Stelle, auf welche die Augen des Benutzers gerichtet sind). Ist der Blick des Benutzers mit einem bestimmten Bereich oder Objekt innerhalb einer computergenerierten Umgebung oder der physischen Umgebung korreliert oder mit einer bestimmten Benutzeroberflächen-Affordanz innerhalb der computergenerierten Umgebung korreliert, können besondere Vorgänge initiiert werden. In verschiedenen Ausführungsformen kann die computergenerierte Umgebung auf einer Anzeige oder einer Oberfläche innerhalb der Vorrichtung 102 (z. B. auf einer Brille oder einer am Kopf getragenen Vorrichtung) oder der Vorrichtung 104 (z. B. auf einer Anzeige einer Computervorrichtung) präsentiert werden.
  • 2 veranschaulicht ein funktionales Blockdiagramm des Systems 200 zum Erkennen von Augenereignissen gemäß einigen Ausführungsformen der Offenbarung. In einigen Ausführungsformen kann das System 200 zumindest teilweise in eine tragbare Vorrichtung 202 integriert sein, das eine tragbare Vorrichtung wie eine Brille, eine Schutzbrille, ein Visier, eine Maske, ein Helm oder eine andere am Kopf tragbare Vorrichtung sein kann. Eine Vielzahl von Elektroden 208 kann auf der Vorrichtung 202 angeordnet sein, um elektrische Impulse zu erkennen, die einem oder mehreren Augenereignissen zugeordnet sind. Diese elektrischen Impulse können durch Messen der Spannungsdifferenzen zwischen den Elektroden mit Hilfe von Empfängern 216 erkannt und über einen Analog-Digital-Wandler (ADC) 220 in digitale Signale umgewandelt werden. In einigen Ausführungsformen kann eine Vielzahl von Elastomeren 210 an den Elektroden 208 angebracht sein, um den Elektroden zu helfen, einen besseren Kontakt mit der Haut eines Benutzers herzustellen. In einem Beispiel können Treiber 212 Stimulationsspannungen (z. B. Gleichstrom, Wechselstrom und/oder eine Kombination davon) an die Elastomere 210 anlegen, die bewirken können, dass sich die Elastomere als Reaktion auf die angelegten elektrischen Felder verformen und die Elektroden 208 veranlassen, einen erhöhten Druck auf die Haut des Benutzers auszuüben. In einigen Ausführungsformen können Drucksensoren 214 in der Nähe der Elektroden 208 eingesetzt werden, um den auf die Haut des Benutzers ausgeübten Druck zu erkennen. Die elektrischen Signale der Drucksensoren 214 können von Empfängern 218 empfangen und über den ADC 222 in digitale Signale umgewandelt werden. Der Controller 226 kann mit einem oder mehreren ADC 220 und 222 gekoppelt werden, um die digitalisierten Signale von den Elektroden 208 und den Drucksensoren 214 zu empfangen und/oder zu verarbeiten. Die aus den Drucksensoren 214 empfangenen Druckinformationen können vom Controller 226 verarbeitet werden, um aktualisierte Spannungen zu bestimmen, die von den Treibern 212 angelegt werden. Auf diese Weise kann eine Rückkopplungsschleife geschaffen werden, um den richtigen Druck der Elektroden 208 an dem Benutzer aufrechtzuerhalten.
  • In einigen Ausführungsformen können die Treiber 212, die Empfänger 216 und 218, die ADC 220 und 222 und der Controller 226 ein analoges Front-End (AFE) 224 für die Elastomere 210, die Elektroden 208 und die Drucksensoren 214 bilden und teilweise oder vollständig in ein einziges Gehäuse (z. B. in einer integrierten Schaltung und/oder ein System-on-Chip) integriert werden. Die in Bezug auf die Front-End-Schaltungen beschriebenen Ausführungsformen sind jedoch lediglich beispielhaft und in keiner Weise einschränkend. Zum Beispiel erfordern die oben beschriebenen Komponenten nicht unbedingt ein einziges Gehäuse. In einigen Ausführungsformen kann der Controller 226 mit einem oder mehreren drahtlosen Kommunikationsmodulen 228 (z. B. einem Bluetooth-Low-Energy-Funkmodul oder einem Zigbee-Modul) gekoppelt sein, die konfiguriert sind, um die Übertragung und/oder den Empfang von Signalen erleichtern. Die Kommunikationsmodule 228 können zusätzlich mit einer oder mehreren Antennen 230 und einer oder mehreren Stromquellen wie einer Batterie 290 gekoppelt sein. In einigen Ausführungsformen können die oben beschriebenen Komponenten teilweise oder vollständig in ein einziges Gehäuse integriert sein (z. B. in einer integrierten Schaltung und/oder einem System-on-Chip).
  • In einigen Ausführungsformen kann die Vorrichtung 202 kommunikativ mit der Vorrichtung 204 gekoppelt sein, bei der es sich um ein Smartphone, einen Tablet-Computer, einen Laptop, eine Zusatzvorrichtung in Kommunikation mit einer anderen Vorrichtung, eine tragbare Host-Vorrichtung usw. handeln kann, die von der Vorrichtung 202 getrennt sind. In anderen Ausführungsformen kann die Funktion der Vorrichtung 204, wie in 2 gezeigt, in einer einzigen Vorrichtung 202 eingeschlossen sein. Die Kommunikationsschaltungen 232 in der Vorrichtung 204 können optional Schaltlogik zur Kommunikation mit elektronischen Vorrichtungen wie der Vorrichtung 202, mit Netzwerken wie dem Internet, Intranet, einem kabelgebundenen Netzwerk und/oder einem drahtlosen Netzwerk, zellularen Netzwerken und drahtlosen lokalen Netzwerken (LANs) einschließen. Die Kommunikationsschaltlogik 232 kann optional auch Schaltlogik für die Kommunikation mittels Nahfeldkommunikation (NFC) und/oder Kurzstreckenkommunikation, wie zum Beispiel Bluetooth®, einschließen.
  • Die Vorrichtung 204 kann optional verschiedene Sensoren 234 (z. B. Handverfolgungssensoren, Standortsensoren, Bildsensoren, berührungsempfindliche Oberflächen, Bewegungs- und/oder Orientierungssensoren, Augenverfolgungssensoren, Mikrofone oder andere Audiosensoren usw.), eine oder mehrere Komponenten zur Anzeigenerzeugung wie die Anzeige 236, einen oder mehrere Prozessoren 238, einen oder mehrere Speicher 240, Eingabevorrichtungen 242 und andere Komponenten einschließen. Einer oder mehrere in 2 nicht gezeigte Kommunikationsbusse können optional für die Kommunikation zwischen den oben genannten Komponenten innerhalb der Vorrichtung 204 verwendet werden.
  • Die Prozessoren 238 können optional einen oder mehrere Mehrzweckprozessoren, einen oder mehrere Grafikprozessoren und/oder einen oder mehrere digitale Signalprozessoren (DSP) einschließen. In einigen Ausführungsformen kann der Speicher 240 ein nicht-transitorisches, computerlesbares Speicherungsmedium sein (z. B. Flash-Speicher, Direktzugriffsspeicher oder ein anderer flüchtiger oder nichtflüchtiger Arbeits- oder Datenspeicher), das computerlesbare Anweisungen speichert, die konfiguriert sind, um von den Prozessoren 238 ausgeführt werden können, um die hierin beschriebenen Techniken, Prozesse und/oder Verfahren durchzuführen. In einigen Ausführungsformen kann der Speicher 240 ein nicht-transitorisches, computerlesbares Speicherungsmedium einschließen. Ein nichtflüchtiges computerlesbares Speicherungsmedium kann jedes Medium sein (z. B. mit Ausnahme eines Signals), das greifbar computerausführbare Anweisungen zur Verwendung durch das Anweisungsausführsystem, die Anweisungsausführeinrichtung oder die Anweisungsausführvorrichtung oder in Verbindung damit enthalten oder speichern kann. Das nicht-transitorische computerlesbare Speicherungsmedium kann magnetische, optische und/oder Halbleiterspeicherungen einschließen, ist jedoch nicht auf diese beschränkt. Beispiele einer solchen Speicherung schließen magnetische Platten, optische Platten basierend auf CD-, DVD- oder Blu-ray-Technologien sowie persistenten Solid-State-Speicher, wie Flash, Solid-State-Laufwerke und dergleichen, ein.
  • Die Anzeige 236 kann optional eine einzelne Anzeige einschließen (z. B. eine Flüssigkristallanzeige (LCD), eine organische Leuchtdiode (OLED) oder andere Arten von Anzeigen). In einigen Ausführungsformen kann die Anzeige 236 mehrere Anzeigen einschließen. In einigen Ausführungsformen kann die Anzeige 236 eine Anzeige mit einer berührungsempfindlichen Oberfläche (z. B. einen Touchscreen), einen Projektor, einen holografischen Projektor, einen Netzhautprojektor usw. einschließen.
  • In einigen Ausführungsformen können die Sensoren 234 eine berührungsempfindliche Oberfläche einschließen, die konfiguriert ist, um Benutzereingaben (Berührungs- und/oder Näherungseingaben), wie z. B. Tipp- und Wischeingaben oder andere Gesten, zu empfangen. In einigen Ausführungsformen können die Anzeige 236 und die berührungsempfindliche Oberfläche zusammen eine berührungsempfindliche Anzeige bilden (z. B. einen in die Vorrichtung 204 integrierten oder außerhalb der Vorrichtung 204 befindlichen Touchscreen, der mit der Vorrichtung 204 kommuniziert). Die Vorrichtung 204 kann optional auch Eingaben von einer oder mehreren anderen Eingabevorrichtungen 242 als einer berührungsempfindlichen Oberfläche einschließen und empfangen, z. B. einer physischen Tastatur, einer Maus, einem Stift und/oder einem Joystick (oder jeder anderen geeigneten Eingabevorrichtung).
  • Zu den Sensoren 234 können auch Bildsensoren gehören, die optional einen oder mehrere Bildsensoren für sichtbares Licht, wie CCD-Sensoren (Charged Coupled Device) und/oder CMOS-Sensoren (Complementary Metal-Oxide-Semiconductor), einschließen können, mit denen Bilder von physischen Objekten aus der realen Umgebung erhalten werden können. Die Bildsensoren können optional einen oder mehrere Infrarot- (IR) oder Nahinfrarot- (NIR) Sensoren, wie zum Beispiel einen passiven oder aktiven IR- oder NIR-Sensor, zum Erkennen von Infrarot- oder Nahinfrarotlicht aus der realen Umgebung einschließen. Ein aktiver IR-Sensor kann zum Beispiel einen IR-Sender einschließen, der Infrarotlicht in die reale Umgebung aussendet. Die Bildsensoren können optional eine oder mehrere Kameras einschließen, die konfiguriert sind, um die Bewegung von physischen Objekten in der realen Umgebung aufzunehmen. Die Bildsensoren können optional einen oder mehrere Tiefensensoren einschließen, die konfiguriert sind, um den Abstand physischer Objekte von der Vorrichtung 204 zu erkennen. In einigen Ausführungsformen können Informationen von einem oder mehreren Tiefensensoren der Vorrichtung ermöglichen, Objekte in der realen Umgebung zu identifizieren und von anderen Objekten in der realen Umgebung zu unterscheiden. In einigen Ausführungsformen können ein oder mehrere Tiefensensoren der Vorrichtung ermöglichen, die Textur und/oder Topografie von Objekten in der realen Umgebung zu bestimmen.
  • In einigen Ausführungsformen kann die Vorrichtung 204 CCD-Sensoren, Ereigniskameras und Tiefensensoren in Kombination verwenden, um die physische Umgebung um die Vorrichtung herum zu erkennen. In einigen Ausführungsformen schließen ein oder mehrere Bildsensoren 206 einen ersten Bildsensor und einen zweiten Bildsensor ein. Der erste Bildsensor und der zweite Bildsensor können zusammenarbeiten und können optional konfiguriert sein, um unterschiedliche Informationen über physische Objekte in der realen Umgebung aufzunehmen. In einigen Ausführungsformen kann der erste Bildsensor ein Bildsensor für sichtbares Licht und der zweite Bildsensor kann ein Tiefensensor sein. In einigen Ausführungsformen kann die Vorrichtung 204 Bildsensoren verwenden, um die Position und Ausrichtung der Vorrichtung 204 und/oder der Anzeige 236 in der realen Umgebung zu erkennen. So kann die Vorrichtung 204 zum Beispiel Bildsensoren verwenden, um die Position und Ausrichtung der Anzeige 236 relativ zu einem oder mehreren festen Objekten in der realen Umgebung zu verfolgen. In einigen Ausführungsformen können Sensoren wie Kameras (z. B. Bildsensoren) verwendet werden, um Bilder der realen Umgebung aufzunehmen. Die Bilder können von Verarbeitungsschaltlogik (einem oder mehreren der Prozessoren 238) verarbeitet werden, um Lichtquellen zu lokalisieren und zu messen. In einigen Ausführungsformen kann das Licht anhand der Reflexionen und/oder Schatten, die von Lichtquellen in der Umgebung geworfen werden, bestimmt werden. In einigen Ausführungsformen wird Deep Learning (z. B. überwachtes Lernen) oder andere künstliche Intelligenz oder maschinelles Lernen verwendet, um die Beleuchtungseigenschaften basierend auf dem bzw. den Eingangsbildern zu schätzen.
  • In einigen Ausführungsformen können die Sensoren 234 optional Handverfolgungssensoren und/oder Augenverfolgungssensoren einschließen. Handverfolgungssensoren können konfiguriert sein, um die Position/Lage der Hände und/oder Finger eines Benutzers und/oder Bewegungen der Hände und/oder Finger des Benutzers in Bezug auf die computergenerierte Umgebung, relativ zur Anzeige 236 und/oder relativ zu einem anderen Koordinatensystem zu verfolgen. Die Sensoren für die Augenverfolgung (anders als die Elektroden 208, die auch für die Augenverfolgung verwendet werden können) können konfiguriert sein, um die Position und Bewegung des Blicks eines Benutzers (Augen, Gesicht oder Kopf, allgemeiner) in Bezug auf die reale oder computergenerierte Umgebung und/oder in Bezug auf die Anzeige 236 zu verfolgen. Der Blick des Benutzers kann eine Richtung einschließen, in welche die Augen gerichtet sind, und optional eine Überschneidung mit einem bestimmten Punkt oder einer Region des Raums und/oder eine Überschneidung mit einem bestimmten Objekt. In einigen Ausführungsformen können die Handverfolgungssensoren und/oder die Augenverfolgungssensoren zusammen mit der Anzeige 236 implementiert werden (z. B. in derselben Vorrichtung). In einigen Ausführungsformen können die Handverfolgungssensoren und/oder die Augenverfolgungssensoren getrennt von der Anzeige 236 implementiert werden (z. B. in einer anderen Vorrichtung).
  • In einigen Ausführungsformen können die Handverfolgungssensoren Bildsensoren verwenden (z. B. eine oder mehrere IR-Kameras, 3D-Kameras, Tiefenkameras usw.), die dreidimensionale Informationen aus der realen Welt einschließlich einer oder mehrerer Hände aufnehmen. In einigen Beispielen können die Hände mit ausreichender Auflösung aufgelöst werden, um Finger und ihre jeweiligen Positionen zu unterscheiden. In einigen Ausführungsformen sind ein oder mehrere Bildsensoren relativ zu dem Benutzer positioniert, um ein Sichtfeld der Bildsensoren und einen Interaktionsraum zu definieren, in dem Finger/Handposition, Ausrichtung und/oder Bewegung, die von den Bildsensoren aufgenommen werden, als Eingaben verwendet werden (z. B., um eine ruhende Hand des Benutzers oder andere Hände von anderen Personen in der realen Umgebung zu unterscheiden). Die Verfolgung der Finger/Hände für Eingaben (z. B. Gesten) kann insofern vorteilhaft sein, als sie ein Eingabemittel bereitstellt, bei dem der Benutzer die Eingabevorrichtung nicht berühren oder halten braucht, und die Verwendung von Bildsensoren ermöglicht die Verfolgung, ohne dass der Benutzer einen Beacon oder Sensor usw. an den Händen/Fingern tragen braucht.
  • In einigen Ausführungsformen können die Augenverfolgungssensoren eine oder mehrere Augenverfolgungskameras (z. B. IR-Kameras) und/oder Beleuchtungsquellen (z. B. IR-Lichtquellen/LEDs) einschließen, die Licht in Richtung der Augen des Benutzers aussenden. Augenverfolgungskameras können auf die Augen eines Benutzers gerichtet sein, um reflektiertes IR-Licht aus den Lichtquellen direkt oder indirekt aus den Augen zu empfangen. In einigen Ausführungsformen werden beide Augen separat durch jeweilige Augenverfolgungskameras und Beleuchtungsquellen verfolgt, und ein Blick kann aus dem Verfolgen beider Augen bestimmt werden. In einigen Ausführungsformen wird ein Auge (z. B. ein dominantes Auge) durch eine jeweilige Augenverfolgungskamera/Beleuchtungsquelle verfolgt.
  • Die Vorrichtung 204 kann optional Mikrofone oder andere Audiosensoren einschließen. Die Vorrichtung 204 kann Mikrofone verwenden, um Geräusche des Benutzers und/oder der realen Umgebung des Benutzers zu erkennen. In einigen Ausführungsformen können die Mikrofone ein Array von Mikrofonen einschließen, die optional zusammenarbeiten (z. B. zur Identifizierung von Umgebungsgeräuschen oder zur Lokalisierung der Schallquelle im Raum der realen Umgebung). In einigen Ausführungsformen können Audio- und/oder Spracheingaben verwendet werden, um mit der Benutzerschnittstelle oder der computergenerierten Umgebung zu interagieren, die mit einem oder mehreren Audiosensoren (z. B. Mikrofonen) aufgenommen werden, wie von dem Benutzer der elektronischen Vorrichtung gestattet.
  • Vorrichtung 204 kann optional Standortsensoren einschließen, die konfiguriert sind, um den Standort der Vorrichtung 204 und/oder der Anzeige 236 zu erkennen. Standortsensoren 204 können optional einen GPS-Empfänger einschließen, der Daten von einem oder mehreren Satelliten empfängt und der Vorrichtung 204 ermöglicht, die absolute Position der Vorrichtung in der physischen Welt zu bestimmen. Die Vorrichtung 204 kann auch optional Bewegungs- und/oder Orientierungssensoren einschließen, die konfiguriert sind, um die Orientierung und/oder Bewegung der Vorrichtung 204 und/oder der Anzeige 236 zu erkennen. Zum Beispiel kann die Vorrichtung 204 Orientierungssensoren verwenden, um Änderungen der Position und/oder Ausrichtung der Vorrichtung 204 und/oder der Anzeige 236 (z. B. in Bezug auf physische Objekte in der realen Umgebung) zu verfolgen. Orientierungssensoren können optional ein oder mehrere Gyroskope, ein oder mehrere Beschleunigungsmesser und/oder eine oder mehrere Trägheitsmesseinheiten (IMU) einschließen.
  • Die Vorrichtung 204 oder das System 200 können eine Vielfalt von Anwendungen unterstützen, die in der computergenerierten Umgebung angezeigt werden können, wie eine oder mehrere der folgenden: eine Zeichenanwendung, eine Präsentationsanwendung, eine Textverarbeitungsanwendung, eine Website-Erstellungsanwendung, eine Diskettengewährungsanwendung, eine Tabellenkalkulationsanwendung, eine Spieleanwendung, eine Telefonanwendung, eine Videokonferenzanwendung, eine E-Mail-Anwendung, eine Instant-Messaging-Anwendung, eine Workout-Unterstützungsanwendung, eine Foto-/Videoverwaltungsanwendung, eine Digitalkameraanwendung, eine digitale Videokameraanwendung, eine Web-Browsing-Anwendung, eine digitale Musikabspielanwendung, eine Fernsehkanal-Browsing-Anwendung und/oder eine digitale Videoabspielanwendung.
  • Eine computergenerierte Umgebung kann mit einer oder beiden der Vorrichtungen 202 und 204 angezeigt werden, einschließlich der Verwendung einer oder mehrerer Anzeigeerzeugungskomponenten. Die computergenerierte Umgebung kann optional verschiedene grafische Benutzeroberflächen („GUI“) und/oder Benutzerschnittstellenobjekte einschließen. Wie hierin beschrieben, kann eine computergenerierte Umgebung, die verschiedene GUI einschließt, mit der Vorrichtung 202 oder der Vorrichtung 204 angezeigt werden, einschließlich einer oder mehrerer Anzeigeerzeugungskomponenten. Die computergenerierte Umgebung kann eine oder mehrere GUI einschließen, die einer Anwendung zugeordnet sind. Zum Beispiel kann eine computergenerierte Umgebung ein Menü oder auswählbare Optionen anzeigen, um den Start oder die Anzeige von Benutzeroberflächen für Anwendungen in der computergenerierten Umgebung zu veranlassen. Ebenso kann die computergenerierte Umgebung ein Menü oder auswählbare Optionen anzeigen, um Vorgänge in Bezug auf Anwendungen durchzuführen, die in der computergenerierten Umgebung ausgeführt werden.
  • Es versteht sich, dass die Architektur von 2 eine Beispielarchitektur ist und dass die Vorrichtung 202 und die Vorrichtung 204 nicht auf die Komponenten und die Konfiguration von 2 beschränkt sind. Zum Beispiel können die Vorrichtungen 202 und 204 weniger, zusätzliche oder andere Komponenten in denselben oder anderen Konfigurationen einschließen.
  • 3 veranschaulicht eine Vielzahl von Elektroden 304 an Stellen rund um das Gesicht und den Kopf eines Benutzers zum Erkennen von Augenereignissen gemäß Beispielen der Offenbarung. Obwohl in 3 nicht dargestellt, können die Elektroden 304 in Strukturen wie Brillen in einem repräsentativen Beispiel eingeformt, mit diesen gekoppelt oder anderweitig auf ihnen angeordnet sein, und sie können in dem Gehäuse unterschiedlicher Arten von am Kopf befestigten Vorrichtungen, wie einer Schutzbrille, Brille, einer Maske, einem Helm oder einem Visier in anderen Beispielen eingeformt, mit diesen gekoppelt oder anderweitig auf ihnen angeordnet sein. In verschiedenen Beispielen können die Strukturen oder Vorrichtungen einen Formfaktor aufweisen, der es ermöglicht, dass die Struktur oder die Vorrichtung teilweise oder ganz auf dem Gesicht eines Benutzers aufliegt. In einigen Beispielen kann die Struktur oder Vorrichtung eine oder mehrere transparente oder größtenteils transparente Linsen 306 umfassen. In einigen Beispielen können die Linsen 306 aus geeigneten Materialien bestehen, die zur Optimierung der Haltbarkeit, der Sichtbarkeit, zur Verringerung von Blendung und/oder zur Projektion oder Anzeige von Bildern/Videos (z. B. zur Anzeige einer Benutzeroberfläche und entsprechender Elemente) ausgewählt werden. In einigen Ausführungsformen können ein oder mehrere Materialien teilweise oder vollständig auf der Oberfläche einer oder mehrerer Flächen der Linsen 306 angeordnet sein, um die oben genannten optischen und/oder mechanischen Qualitäten zu erzielen.
  • In einigen Ausführungsformen können die Elektroden 304 als Sensoren fungieren, die konfiguriert sind, um physiologische Signale aufzunehmen, die einem oder mehreren Augenereignissen zugeordnet sind. Die Verwendung von Elektroden 304 kann beispielsweise eine kostengünstigere Implementierung für die Durchführung von Augenverfolgung im Vergleich zu kamerabasierten Systemen bereitstellen. Die Elektroden 304 können eine lineare oder nahezu lineare Beziehung zwischen dem Blickwinkel eines Auges und der Amplitude eines Ausgabesignals aufweisen. Durch die Anordnung einer Vielzahl von Elektroden in unterschiedlichen Positionen um das Auge herum können die Elektroden 304 Informationen über die Richtung, Bewegung und/oder Fixierung des Auges zur weiteren Verarbeitung extrahieren. In einigen Ausführungsformen können die Elektroden als Elektrookulografiesensoren (EOG) konfiguriert sein, um Messangaben der elektrischen Aktivität der Augen zu ermöglichen. Insbesondere können EOG-Sensoren Spannungsunterschiede zwischen der Hornhaut und der Netzhaut eines Auges erkennen und EOG-Signale erkennen. EOG-Sensoren können beispielsweise konfiguriert sein, um Hinweise auf den Dipol bereitzustellen, der zwischen der Hornhaut und der Netzhaut eines Auges gebildet wird. Zusätzlich oder alternativ können die Elektroden als Elektroenzephalografie (EEG)-Sensoren konfiguriert sein, die EEG-Signale aufnehmen und Messangaben der elektrischen Aktivität des Gehirns eines Benutzers bereitstellen. Zusätzlich oder alternativ können die Elektroden als Elektromyografie (EMG)-Sensoren konfiguriert sein, die EMG-Signale aufnehmen und Messangaben der elektrischen Aktivität von Muskeln und/oder Gewebe bereitstellen, die dem Auge zugeordnet sind. Alle diese Arten von Sensoren können verwendet werden, um die Absicht des Trägers der Vorrichtung 300 aufzunehmen und zu interpretieren.
  • Hier werden vor allem Ausführungsformen mit Sensoren beschrieben, die für die Erkennung von EOG-Signalen konfiguriert sind (z. B. als EOG-Sensoren bezeichnet), die hauptsächlich hierin beschrieben sind; es wird jedoch darauf hingewiesen, dass diese Beschreibung lediglich beispielhaft und in keiner Weise einschränkend ist. Zum Beispiel können EEG-Signale, EMG-Signale, eine Kombination davon und/oder jedes geeignete physiologische elektrische Signal, das einem oder mehreren Augenereignissen zugeordnet ist, in Verbindung mit und/oder anstelle eines oder mehrerer EOG-Sensoren verwendet werden, wo dies angemessen ist. In ähnlicher Weise können Ausführungsformen, die EEG- und/oder EMG-Sensoren beschreiben, gegebenenfalls durch EOG-Sensoren ergänzt und/oder ersetzt werden.
  • In einigen Ausführungsformen können die Elektroden 304 innerhalb oder auf der Oberfläche einer Struktur oder des Gehäuses einer Vorrichtung oder in einer Kombination davon platziert werden. Zum Beispiel können die Elektroden 304 so platziert sein, dass beim Tragen der Struktur oder der Vorrichtung ein wesentlicher Kontakt zwischen den Elektroden und einem oder mehreren Abschnitten des Kopfes des Benutzers, vorzugsweise mit der freigelegten Haut, hergestellt wird. In verschiedenen Beispielen kann die Elektrode 304a konfiguriert sein, um mit der Stirn des Benutzers in Kontakt zu treten, die Elektroden 304b und 304c können konfiguriert sein, um mit gegenüberliegenden Seiten des Nasenrückens eines Benutzers in Kontakt zu treten, die Elektroden 304d und 304k können konfiguriert sein, um mit und/oder um die Ohren herum in Kontakt zu treten, Elektroden 304c und 304f können konfiguriert sein, um in Kontakt um die Schläfen des Benutzers zu treten, Elektroden 304g und 304 h können konfiguriert sein, um in Kontakt um die Wangen des Benutzers herum zu treten, und Elektroden 304i und 304j können konfiguriert sein, um in Kontakt um die Augenbrauen des Benutzers herum zu treten.
  • In einigen Ausführungsformen kann die Anzahl der Elektroden 304 größer und/oder kleiner sein als gezeigt. Die Vorrichtung 300 kann zum Beispiel zwei Elektroden umfassen, die, wenn sie gemessen werden, der Vorrichtung Angaben zu einem oder mehreren Augenereignissen bereitstellen. Zusätzlich oder alternativ kann eine größere Anzahl von Elektroden als in 3 gezeigt eingeführt werden, um zusätzliche Informationen über Augenbewegungen bereitzustellen.
  • Es versteht sich, dass die Offenbarung zur Lage, Form und Funktion der Elektroden in keiner Weise einschränkend ist. In einigen Ausführungsformen können die Elektroden an unterschiedlichen Positionen, Flächen der Struktur oder des Gehäuses angeordnet sein und jede gewünschte Form und/oder Größe annehmen. Zum Beispiel kann die Lage der Elektroden basierend auf dem relativen Abstand zwischen einer oder mehreren Elektroden (z. B. Referenzelektroden) ausgewählt werden. In einigen Ausführungsformen kann eine Referenzelektrode in einem ausreichenden Abstand von einer oder mehreren anderen Elektroden (z. B. gemessenen Elektroden) angeordnet werden, um die Größe der Differenzsignale zwischen der Referenz und der einen oder mehreren Elektroden zu erhöhen. Dies kann die Elektrode 304-a einschließen, die eine Referenz bereitstellt, die in Bezug auf weitere Elektroden symmetrisch ist (z. B. können die Elektrode 304b und die Elektrode 304c auf gegenüberliegenden Flächen eines Nasenrückens angeordnet sein, so dass sie für EOG-Erfassungskonfigurationen symmetrisch in Bezug auf die Elektrode 304a angeordnet sind). Zusätzlich oder alternativ können eine oder mehrere Referenzelektroden dynamisch ausgewählt werden, während die Vorrichtung 300 betrieben wird, um geeignete Erfassungsmodalitäten optischer Ereignisse zu konfigurieren (z. B. EOG, EMG und/oder EEG). Zusätzlich oder alternativ können die Elektrode 304d und/oder die Elektrode 304k (z. B. für die EEG-Erfassung) als Referenzelektroden konfiguriert werden, so dass sich die Referenzelektrode(n) ausreichend weit von zusätzlichen gemessenen Elektroden (z. B. Elektrode 304b und 304c) befinden, um die Größe eines Differenzsignals zwischen einer Referenz und einer beliebigen der Elektroden 304 zu erhöhen. Zum Beispiel kann eine erste Referenzelektrode mit einem ersten Eingang eines Differenzverstärkers verbunden sein, während eine Messungselektrode mit einem zweiten Eingang des Differenzverstärkers verbunden ist. Gleichzeitig kann eine zweite Referenzelektrode mit einem Stimulationssignal verbunden werden. Der Stimulus kann ausgewählt werden, um die Wirkung von unerwünschtem Gleichtaktrauschen, das auf dem Differenzsignal zwischen der ersten Referenzelektrode und der gemessenen Elektrode aufgrund der Fehlanpassung der internen und externen Komponenten im Signalweg auftritt, abzuschwächen. Zusätzlich oder alternativ kann der Stimulus ausgewählt werden, um die Wirkung unerwünschten Rauschens auf das Erfassen und den Betrieb der Vorrichtung auf andere Weise abzuschwächen. In einigen Ausführungsformen kann das Ansteuern der zweiten Referenzelektrode (z. B. mit einer Technik zum Antreiben des rechten Schenkels) die Unterdrückung von Gleichtaktrauschen verbessern. Zum Beispiel kann Umgebungsrauschen bei 60 Hz von der Vorrichtung 300 gemessen werden, und ein in der Vorrichtung 300 eingeschlossener Controller kann Schaltlogik umfassen, die konfiguriert ist, um die zweite Referenzelektrode mit einem Impuls anzusteuern, der dem Reduzieren des 6o-Hz-Rauschens zugeordnet ist. In einigen Ausführungsformen kann die Referenzelektrode konfiguriert sein, um eines oder mehrere Signale (Breitbandrauschen, Schmalbandsignale usw.) zu beseitigen. Es versteht sich, dass jede Elektrode zum Fungieren als Referenzelektrode konfiguriert sein kann. In einigen Ausführungsformen kann zum Beispiel ein Multiplexer Eingaben von einigen oder allen Elektroden empfangen und programmierbar eine der empfangenen Eingaben als Referenzelektrode auswählen. In einigen Ausführungsformen kann die Referenzelektrode zwischen unterschiedlichen Elektrodenstellen wechseln, und jedes Mal, wenn die Referenzelektrode zu einer anderen Stelle gewechselt wird, kann ein Satz von Elektrodenmessungen erhalten werden. Diese mehreren Sätze von Elektrodenmessungen können in Kombination oder getrennt verwendet werden, um die Signalqualität und -genauigkeit zu optimieren und Daten für die Blickbestimmung des Auges zu erhalten.
  • In einigen Ausführungsformen können die Elektroden 304 „trockene“ Elektroden sein (z. B. ohne leitendes Gel), die eine diskrete, kostengünstige und praktische Lösung für das Erfassen von EOG-Signalen bereitstellen. Herkömmliche nasse Elektroden benutzen eines oder mehrere Materialien, welche die Erkennung physiologischer Signale verbessern; die Materialien (z. B. elektrolytische Gele) können jedoch unangenehm und außerhalb klinischer Anwendungen ungeeignet sein und sind kostenaufwändiger als trockene Elektroden. Dementsprechend können die Elektroden 304, wenn implementiert, in einigen Vorrichtungen aus einem Material oder einer Kombination geeigneter Materialien gebildet sein, um Tragbarkeit, Wiederverwendbarkeit, Sauberkeit und Komfort zu gewährleisten und gleichzeitig die Kosten zu reduzieren. In einigen Ausführungsformen können die Elektroden 304 aus einem oder mehreren geeigneten leitenden Materialien wie Stahl, Kupfer, Kohlenstoff, Aluminium, Kupfer, Gold, Silber, Blech, Zinn und/oder Titan gebildet werden. Die Elektroden können auch eine Beschichtung (z. B. Schaum, Pulver, Film usw.) umfassen, die auf einer oder mehreren Oberflächen der Elektroden angeordnet ist. Die den Elektroden zugeordneten Materialien können entsprechend ausgewählt werden, um die Signalqualität und die Impedanz zwischen der Haut und den Elektroden zu optimieren.
  • Beim Erfassen von EOG-Signalen oder anderen physiologischen Signalen kann ein ausreichender Kontakt zwischen den Elektroden und dem Gewebe (z. B. der Epidermis) eines Benutzers von entscheidender Bedeutung sein, um die Signalqualität und -integrität zu verbessern und eine vorhersagbare Impedanz zu erhalten, die der Antriebs- und/oder Erfassungsschaltlogik einer Vorrichtung präsentiert wird. Die Anforderungen an den Kontakt können jedoch Schwierigkeiten bereiten, wenn es darum geht, eine Vorrichtung zu entwerfen, die sich an die unterschiedlichen physischen und physiologischen Merkmale eines Benutzers und an die vom Benutzer eingeführte Bewegung anpassen lässt (z. B. wenn der Benutzer die Vorrichtung absichtlich oder unabsichtlich ändert). Der menschliche Kopf kann zum Beispiel eine sehr variable Kontaktoberfläche mit Konturen und variablen Oberflächenbedingungen (einschließlich Haare, Öl, Narbengewebe, Schweiß usw.) bereitstellen. Darüber hinaus ist der Kopf eines Benutzers häufig in Bewegung und kann dazu führen, dass sich eine Vorrichtung bewegt, was die Integrität des Elektrodenkontakts beeinträchtigen kann. Folglich können Lösungen für tragbare Vorrichtungen - insbesondere für Blickwinkel- und/oder -erkennungsanwendungen - durch das Einschließen eines Mechanismus profitieren, der einen variablen Druck zwischen Elektroden und menschlichem Gewebe ausübt.
  • Daher können in einigen Ausführungsformen Elektroden mit Elementen gekoppelt werden, die konfiguriert sind, um den Kontakt zwischen den Elektroden und dem Gewebe des Benutzers zu verbessern. In einigen Ausführungsformen können diese Elemente Druck auf eine Elektrode ausüben, um die Elektrode zu drücken, zu ziehen und/oder zu verformen, um eine Kontaktkraft auf einer oder mehreren Oberflächen der Elektrode vor, während und/oder nach elektrischen Messungen bereitzustellen. Die angewandte Kraft kann die Gewebe des Benutzers (z. B. die Epidermis) und die Elektroden mechanisch und elektrisch besser koppeln und so die elektrischen Messungen optimieren. In einigen Ausführungsformen kann die Kontaktkraft über ein mechanisches Element ausgeübt werden.
  • 4 veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem Pogo-Pin-Element zum Verbessern der Kopplung zwischen der Elektrode und dem Gewebe gemäß Beispielen der Offenbarung. In einigen Ausführungsformen kann die Vorrichtung 400 konfiguriert sein, um eines oder mehrere EOG-Signale zu messen. Wie oben beschrieben, kann es vorteilhaft sein, einen konsistenten Kontakt zwischen einer Elektrode 404 und dem Gewebe 414 bereitzustellen, so dass die Vorrichtung 400 zuverlässig Messungen von elektrischen Impulsen erhalten kann, die einem Benutzer der Vorrichtung zugeordnet sind, z. B. durch Bereitstellen eines Stimulus und/oder Messens eines Signals über die Elektrode. In einigen Ausführungsformen kann die Vorrichtung eines oder mehrere Elemente umfassen, wie z. B. einen Pogo-Pin 410, der mit der Elektrode gekoppelt sein kann, um den Kontakt zwischen einer oder mehreren Oberflächen der Elektrode und dem Gewebe zu verbessern. In einigen Ausführungsformen können der Pogo-Pin 410 und/oder die Elektrode 404 in einem Gehäuse 412 innerhalb der Vorrichtung gehalten werden und in Bezug auf das Gehäuse federvorgespannt sein. In einigen Ausführungsformen kann das Gewebe 414 der Haut (z. B. der Epidermis) eines Benutzers der Elektroden entsprechen. In einigen Ausführungsformen kann die Elektrode 404 teilweise oder vollständig auf der Oberfläche der Vorrichtung montiert sein. Wenn das Gewebe in Kontakt mit der Elektrode gebracht wird, kann der Pogo-Pin zusammengedrückt werden, wodurch eine Kraft auf die Elektrode in Richtung des Gewebes ausgeübt und die Qualität des mechanischen und/oder elektrischen Kontakts verbessert wird.
  • 5A veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem oder mehreren Elementen in einem inaktiven Zustand, der jedoch aktiviert werden können, um die Kopplung zwischen den Elektroden 504 und dem Gewebe 514 gemäß Beispielen der Offenbarung zu verbessern. 5A veranschaulicht eine beispielhafte Vorrichtung 500, die ein Gehäuse 508, zwei Elektroden 504A und 504B, die in oder auf dem Vorrichtungsgehäuse ausgebildet sind (obwohl auch andere Elektroden in oder auf der Vorrichtung vorhanden sein können), und eines oder mehrere Elastomere (elastische Polymer-)Materialien 516 (z. B. ein dielektrisches Elastomermaterial) umfasst. In einigen Beispielen kann das Elastomer 516 zwischen den Elektroden 504A und 504B eingebettet sein. In einigen Beispielen kann die Vorrichtung 500 Schaltlogik 518 zum Ansteuern der Elektroden 504A und 504B einschließen. Das Ansteuern der Elektroden 504 kann die Form des Elastomers 516 verändern und bewirken, dass sich die Elektroden dem Gewebe 514 (z. B. der Epidermis) eines Benutzers anpassen und mit diesem in Kontakt treten. Obwohl in 5A nicht gezeigt, können die Elektroden 504 und das Elastomer 516 auch in anderen geeigneten Konfigurationen angeordnet werden. Zum Beispiel können die Elektroden 504A und 504B in einem gewissen Abstand voneinander in derselben Ebene oder nahezu in derselben Ebene angeordnet sein. Das Elastomer 516 kann in einer anderen Ebene als die Elektroden angeordnet sein, so dass ein elektrisches Feld (z. B. verursacht durch unterschiedliche Spannungen, die an die Elektroden 504A und 504B angelegt werden) die Form des Elastomers verändern kann, in einigen Fällen sogar dann, wenn Abschnitte der Oberflächen des Elastomers in Bezug auf Abschnitte der Elektroden entkoppelt sind. In einigen Ausführungsformen kann das Elastomer 516 aus einem elektroaktiven Material gebildet sein, einschließlich, jedoch nicht beschränkt auf, dielektrische Elastomere. Dielektrische Elastomere können als Reaktion auf ein angelegtes elektrisches Feld eine Druckspannung erzeugen und in einem EOG-Erfassungssystem zahlreiche Vorteile bereitstellen, insbesondere wenn sie in Konstruktionen eingebaut werden, die robuste, leichte und komfortable Lösungen erfordern. Dielektrische Elastomere können bei Vorhandensein eines angelegten elektrischen Feldes eine hohe Flexibilität/Verformung zeigen, kehren jedoch bei Abwesenheit oder Verringerung des elektrischen Feldes in ihre Ausgangsform zurück. Dielektrische Elastomere schließen Acrylate, Silikone, Polyurethane, Fluroelastomere, Ethylen-Propylen-Kautschuke und/oder jedes andere geeignete Material ein, das in Reaktion auf elektrische Felder eine starke und reversible Verformung durchlaufen kann. Die hierin genannten dielektrischen Elastomere werden verwendet, um eine Familie von geeigneten elektroaktiven Materialien zu beschreiben; es versteht sich jedoch, dass solche Beschreibungen und Ausführungsformen hierin nur beispielhaft und in keiner Weise einschränkend sind.
  • 5B veranschaulicht die beispielhafte Elektrodenkonfiguration von 5A mit einem oder mehreren Elementen in einem aktivierten Zustand, um die Kopplung zwischen den Elektroden 504 und dem Gewebe 514 gemäß Beispielen der Offenbarung zu verbessern. In 5B legt die Schaltlogik 518 (z. B. eine Quelle) eine Spannung oder einen Strom an eine erste Elektrode 504A und eine zweite Elektrode 504B an. Als Reaktion auf das Anlegen von Spannung und/oder Strom wird zwischen der ersten Elektrode 504A und der zweiten Elektrode 504B ein elektrisches Feld geschaffen. Als Reaktion auf dieses angelegte elektrische Feld bewirkt der daraus resultierende elektrostatische Druck und die mechanische Kompression, dass das zwischen der ersten Elektrode 504A und der zweiten Elektrode 504B befindliche Elastomer 516 eine Verformung durchläuft (im Vergleich zu 5A, die vor Verformung ist), bei der sich das Elastomer in der Dicke zusammenzieht und in der Fläche ausdehnt. Da die erste Elektrode 504A und die zweite Elektrode 504B mit dem Elastomer 516 gekoppelt sind, führt das Erhöhen der Oberfläche des Elastomers dazu, dass sich die Elektroden verformen oder „ausbeulen“ und aus dem Vorrichtungsgehäuse 508 herausragen, was zu einer erhöhten Kraft oder einem erhöhten Druck führt, der von den Elektroden auf das Gewebe 514 ausgeübt wird. In einigen Ausführungsformen ist das Elastomer 516 als planarer oder nahezu planarer Film konfiguriert, der über die Abmessungen einer zum Film parallelen Ebene hinausragen kann. In einigen Ausführungsformen kann das Elastomer 516 als eine Vielzahl von Schichten aus dielektrischen Elastomermaterialien implementiert sein. Eine Vielzahl von Schichten aus dielektrischen Elastomeren ermöglicht das Herstellen komplexer Formen, die sich anpassen, um einen besseren Kontakt zu ermöglichen und/oder die Kontaktfläche der Elektrode mit dem Gewebe zu erhöhen. Die Anzahl der Schichten hängt von der Stelle der Elektroden um Bereiche des Gesichts ab, in denen es größere Variationen zwischen Benutzern gibt (z. B. Wangenknochen, Augenbrauen usw.).
  • 6A veranschaulicht eine beispielhafte Elektrodenkonfiguration mit einem oder mehreren Elementen in einem inaktiven Zustand, die jedoch aktiviert werden können, um die Kopplung zwischen den Elektroden 604 und dem Gewebe 614 zu verbessern, und zusätzlich einen Drucksensor 622, der gemäß den Beispielen der Offenbarung gemeinsam mit den Elektroden angeordnet ist. 6A ist ähnlich wie 5A und 5B, mit Ausnahme der Hinzufügung des Drucksensors 622 und der zugeordneten Elektronik. In einigen Ausführungsformen kann jedes Elektrodenpaar der Vorrichtung 600 mit einem oder mehreren zugehörigen Drucksensoren 622 gekoppelt sein. Die Drucksensoren 622 können mit der Oberfläche gekoppelt und/oder in die Elektroden 604A und/oder 604B integriert sein und können den Controller 620 mit Signalen und/oder Daten versorgen, die der von den Elektroden auf das Gewebe 614 ausgeübten Kraft zugeordnet sind. In einigen Ausführungsformen kann jede Elektrode der Vorrichtung 600 mit einem oder mehreren jeweiligen Drucksensoren gekoppelt sein (z. B. eine Elektrode oder ein Elektrodengitter). Tragbare Vorrichtungen, wie zum Beispiel am Kopf tragbare Vorrichtungen, die einen oder mehrere Drucksensoren einschließen, können daher den von den Elektroden 604 ausgeübten Druck abmildern und die Notwendigkeit, einerseits den Kontakt zwischen den Elektroden und dem Gewebe 614 herzustellen und aufrechtzuerhalten, andererseits den Komfort des Benutzers, in Einklang bringen.
  • 6B veranschaulicht die beispielhafte Elektroden- und Drucksensorkonfiguration von 6A in einem aktivierten Zustand zum Verbessern der Kopplung zwischen den Elektroden 604 und dem Gewebe 614 gemäß den Beispielen der Offenbarung. Im Beispiel aus 6B legt Schaltlogik (z. B. eine Quelle) im Controller 620 eine Spannung oder einen Strom an die erste Elektrode 604A und die zweite Elektrode 604B an. Als Reaktion auf das Anlegen von Spannung und/oder Strom wird ein elektrisches Feld zwischen der ersten Elektrode 604A und der zweiten Elektrode 604B geschaffen. Als Reaktion auf dieses angelegte elektrische Feld bewirkt der daraus resultierende elektrostatische Druck und die mechanische Kompression, dass das zwischen der ersten Elektrode 604A und der zweiten Elektrode 604B befindliche Elastomer 616 eine Verformung durchläuft (im Vergleich zu 6A, die vor Verformung ist), wobei sich das Elastomer in der Dicke zusammenzieht und in der Fläche ausdehnt. Da die erste Elektrode 604A und die zweite Elektrode 604B mit dem Elastomer 616 gekoppelt sind, führt das Erhöhen der Oberfläche des Elastomers dazu, dass sich die Elektroden biegen oder „ausbeulen“ und aus dem Vorrichtungsgehäuse 608 herausragen. Die Elektroden 604 und/oder das Elastomer 616 treten mit dem Gewebe 614 in Kontakt, das dem Gewebe eines Benutzers, zum Beispiel der Epidermis, entsprechen kann.
  • Da der Drucksensor 622 zusammen mit den Elektroden 604 angeordnet ist, kann der Drucksensor den von den Elektroden auf das Gewebe ausgeübten Druck erkennen, wenn die Elektroden mit dem Gewebe 614 in Kontakt treten. Die Vorrichtung 600 kann Steuerschaltlogik innerhalb des Controllers 620 einschließen, der mit dem Drucksensor 622 gekoppelt ist, um Drucklesungen vom Drucksensor aufzunehmen und zu verarbeiten. In einigen Beispielen kann der Drucksensor 622 vielmehr selektiv überwacht als kontinuierlich überwacht werden. Zum Beispiel können Nasen-/Ohrelektroden das Vorhandensein von Gehirnsignalen oder anderen Signalen erkennen, die auf die Aktivität des Benutzers hinweisen (z. B. durch Erkennen von EEG- und/oder EOG-Signalen). Wenn eine Benutzeraktivität erkannt wird, können andere Elektroden (z. B. um den Augenbereich) aktiviert werden, und auch die Drucksensorschaltlogik kann aktiviert werden. Wenn die Druckerfassung aktiviert ist, kann der Drucksensor 622 den Controller 620 mit Signalen und/oder Daten versorgen, die der von den Elektroden 604 auf das Gewebe 614 ausgeübten Kraft zugeordnet sind. In einigen Ausführungsformen kann jede Elektrode der Vorrichtung 600 mit einem oder mehreren jeweiligen Drucksensoren gekoppelt sein (z. B. eine Elektrode oder ein Elektrodengitter).
  • 6C veranschaulicht ein Rückkopplungssteuersystem 648 zum Regeln des Drucks, den die Elektroden 604 auf das Gewebe 614 ausüben, gemäß einigen Beispielen der Offenbarung. Das Rückkopplungssteuersystem 648 kann gewährleisten, dass die Elektroden 604 einen ausreichenden Druck auf das Gewebe 614 ausüben, um genaue Elektrodensignale zu erhalten, und gleichzeitig die relativen Grenzen des ausgeübten Drucks aufrechthalten, um zu gewährleisten, dass ein Benutzer keiner übermäßigen mechanischen Kraft ausgesetzt ist, während die Vorrichtung versucht, den Kontakt zu optimieren. In einigen Ausführungsformen können relevante Drucksensordaten als Teil eines geschlossenen Rückkopplungssteuersystems 648 verwendet werden, das der Vorrichtung 600 zugeordnet ist. Das Rückkopplungssteuersystem 648 kann Drucksensor(en) 622, Komparator 652, Treiberschaltung 654 und Elastomer 616 einschließen. In der Ausführungsform aus 6B kann der tatsächliche Druck 660, der zwischen den Elektroden 604 und dem Gewebe 614 ausgeübt wird, durch den/die Drucksensor(en) 622 erkannt werden. Drucksignale 650 aus Drucksensor 622 können zum Komparator 652 zurückgeführt werden, der die Differenz zwischen einem gewünschten Druck Po und dem tatsächlichen Druck 660 bestimmen und ein Differenzsignal 656 erzeugen kann. Der gewünschte Druck Po kann ein vorbestimmtes Druckniveau sein, von dem erwartet wird, dass es eine Elektrodensignalqualität bereitstellt, die für eine genaue Bestimmung des Blickwinkels ausreicht. Das Differenzsignal 656 kann der Treiberschaltung 654 zugeführt werden, die Spannungssignale 658 an den Elektroden 604 erzeugen kann, die ihrerseits eine Änderung der Verformung des Elastomers 616 und eine Änderung des tatsächlichen Drucks 660 bewirken können. Wenn das Differenzsignal 656 angibt, dass der tatsächliche Druck 660 kleiner ist als der gewünschte Druck Po, kann die Treiberschaltung 654 die an die Elektroden 604 angelegten Spannungen 658 modifizieren, um das Elastomer 616 weiter zu biegen oder zu verformen und den tatsächlichen Druck 660 zu erhöhen. Nach einer oder mehreren Iterationen kann das Rückkopplungssteuersystem 648 den tatsächlichen Druck 660 erhöhen, bis er einen erreichten Druck P erreicht, der ungefähr dem gewünschten Druck Po entspricht. Wenn jedoch das Differenzsignal 656 angibt, dass der tatsächliche Druck 660 größer ist als der gewünschte Druck Po, kann die Treiberschaltung 654 die an die Elektroden 604 angelegten Spannungen 658 modifizieren, um die Biegung oder Verformung des Elastomers 616 zu verringern und den tatsächlichen Druck 660 zu reduzieren, bis er den gewünschten Druck Po erreicht. Das Rückkopplungssteuersystem 648 kann auch gewährleisten, dass der tatsächliche Druck 660 nicht groß genug ist, um den Benutzer einer übermäßigen mechanischen Kraft auszusetzen, während die Vorrichtung versucht, den Kontakt zu optimieren. In einigen Ausführungsformen können die dem Rückkopplungssystem der geschlossenen Schleife zugeordneten Steueralgorithmen lokal ausgeführt werden. Zusätzlich oder alternativ können die Steueralgorithmen teilweise oder vollständig von einer Vorrichtung ausgeführt werden, die kommunikativ mit der Vorrichtung 600 gekoppelt ist (z. B. unter Verwendung eines drahtlosen Kommunikationskanals). Zusätzlich oder alternativ können Druckdaten in Verbindung mit und/oder anstelle von anderen Charakteristika überwacht werden, die für die EOG-Erfassung relevant sind, einschließlich, jedoch nicht beschränkt auf, die Impedanz eines oder mehrerer Abschnitte der Erfassungsschaltlogik, das Signal-Rausch-Verhältnis der empfangenen Signale, und Daten, die der Bewegung der Vorrichtung und/oder ihrer Bestandteile zugeordnet sind.
  • Zum Beispiel kann anstelle des Drucksensors/der Drucksensoren 622 die Impedanz des Kontakts zwischen den Elektroden 604 und der Haut/dem Gewebe 614 geschätzt werden, und der an das dielektrische Polymer 616 angelegte Strom (z. B. ein Stromsignal) kann nach Bedarf geändert werden, bis eine ausreichende Impedanz erreicht ist. Impedanzmessungen können über Schaltungen erhalten werden, die auch für die Schnittstelle mit den Elektroden verwendet werden. Zum Beispiel kann die Vorrichtung 600 eine oder mehrere Stromquellen umfassen, die konfiguriert sind, um den Körper eines Benutzers mit Strom zu versorgen. Die über die Elektroden 604 gemessenen Spannungen und Ströme können zum Berechnen einer Impedanz verwendet werden, die dem Erfassen der EOG-Signale zugeordnet ist. Insbesondere kann die Impedanz die Qualität des Kontakts zwischen dem Gewebe 614 und den Elektroden 604 angeben.
  • Wenn ein ausreichender Elektrodenkontakt mit dem Gewebe des Benutzers hergestellt ist, um genaue Elektrodensignale zu erzeugen, können Elektrodendaten gesammelt und verarbeitet werden, um eine Blickerkennung und Augenverfolgung durchzuführen. Blickerkennung und Augenverfolgung können als Benutzereingaben benutzt werden, um verschiedene Funktionen auszulösen. Zusätzlich oder alternativ können andere Auslöser für den Übergang zwischen den Betriebsmodi implementiert werden. Der Auslöser kann zum Beispiel ein Augenereignis sein, das die Erkennung des Blicks eines Benutzers umfasst. Insbesondere kann das Augenereignis die Fixierung auf einen vorbestimmten Bereich umfassen, einschließlich, jedoch nicht beschränkt auf, die Ecken des Blickfelds des Benutzers, hier als „heiße Ecke“ bezeichnet. Die heiße Ecke kann basierend auf den absoluten und/oder relativen Abmessungen der Vorrichtung konfiguriert sein. Um Abweichungen bei den physischen Merkmalen potenzieller Benutzer zu berücksichtigen, kann die heiße Ecke zum Beispiel dem Erkennen der Blickfixierung an einer Stelle auf oder in einer Linse entsprechen (z. B. entsprechend einer Ecke der Linse 306 von 3). Zusätzlich oder alternativ können die heißen Ecken teilweise oder vollständig basierend auf einer Bestimmung des relativen Augenwinkels des Benutzers bestimmt werden. In einigen Ausführungsformen kann ein erstes Augenereignis (z. B. der Blick auf eine heiße Ecke) mit einer ersten Auflösung erkannt werden, und nach dem Erkennen des Augenereignisses (z. B. nach einer Schwellenzeit) können eines oder mehrere weitere Augenereignisse mit einer höheren Auflösung erkannt werden. Diese Ausführungsform kann es dem System ermöglichen, breite, allgemeine Augenereignisse aufzunehmen und als Reaktion auf eine Bedingung (z. B. eine Schwellenzeit, eine Abfolge von einer oder mehreren Fixierungen an einer oder mehreren Stellen und/oder Erkennen eines oder mehrerer Blinzeln) feinere und genauere Veränderungen aufzunehmen, die einem oder mehreren Augenereignissen zugeordnet sind.
  • In einigen Ausführungsformen kann eine Vielzahl von Elektroden konfiguriert sein, um EOG-Signale zu erkennen, wobei die Signale der Bewegung des Auges zugeordnet sind, die in einem definierten Koordinatensystem abgebildet werden können. In einigen Ausführungsformen können die Elektroden konfiguriert sein, um eine zweidimensionale Koordinatenkarte zur Interpretation der Augenbewegung herzustellen. In einigen Beispielen kann sich die zweidimensionale Koordinatenkarte auf die Drehung des Auges beziehen (z. B. in Richtung der koronalen Ebene, die den Kopf eines Benutzers zwei teilt). Zum Beispiel können die Augen eines Benutzers, der geradeaus blickt, einer Ausgangsposition entsprechen, wie einem Vektor, der sich orthogonal (z. B. in Z-Richtung) zu einer imaginären koronalen Ebene (z. B. einer zweidimensionalen X-Y-Ebene) erstreckt, die den Kopf des Benutzers zweiteilt. In einigen Ausführungsformen können die Elektroden eine lineare oder nahezu lineare Beziehung zwischen der Drehung des Auges (z. B. vertikale und horizontale Drehung oder eine Kombination davon) und der von den Elektroden ausgegebenen Spannung bereitstellen. Dementsprechend kann eine beispielhafte Vorrichtung eine oder mehrere Spannungen von den Elektroden erkennen und eine wahrgenommene Drehung des Auges in verarbeitete Signale umrechnen (z. B. Signale, die eine vertikale und horizontale Drehung oder eine Kombination davon angeben). In einigen Ausführungsformen kann die Drehung des Auges weg von der Ausgangsposition unter Verwendung des einen oder der mehreren verarbeiteten Signale berechnet werden, und es kann ein Vektor berechnet werden, welcher der Augenbewegung entspricht. In einigen Beispielen kann der Vektor auf die imaginäre koronale Ebene projiziert werden, um die vertikale und/oder horizontale Bewegung des Auges besser mit der vertikalen und/oder horizontalen Navigation einer Benutzerschnittstelle zu korrelieren.
  • Ein beispielhafter Anwendungsfall für das oben beschriebene Verhalten kann das Entsperren der Vorrichtung 600 eines Benutzers als Reaktion auf ein Augenereignis sein. Das Entsperren der Vorrichtung 600 kann einschließen, dass dem Benutzer Zugriff auf eine oder mehrere Funktionen und/oder Betriebsmodi der Vorrichtung bereitgestellt wird. Zum Beispiel kann die Vorrichtung 600 in einem Energiesparmodus gehalten werden, selbst wenn diese am Kopf eines Benutzers getragen wird, bis das Augenereignis erkannt wird.
  • Als Reaktion auf das Erkennen, dass die Vorrichtung 600 vom Benutzer getragen wird, kann die Vorrichtung optional Funktionen einer oder mehrerer Komponenten aktivieren, um die Erkennung eines Augenereignisses zu verbessern, aber der Zustand der Vorrichtung kann aus Sicht des Benutzers weitgehend oder vollständig unverändert erscheinen. In diesem Betriebsmodus kann die Vorrichtungsfunktionalität teilweise aktiviert werden. Nach dem optionalen Eintreten in den aktivierteren Modus kann der Benutzer optional aufgefordert werden, seinen Blick in Richtung einer Position zu richten. Der Blick und/oder die Bewegung des Benutzers kann in einigen Ausführungsformen einem Augenereignis entsprechen, das eine Bewegung der Augen von einer ersten Richtung zu einer zweiten Richtung umfasst (z. B. eine Bewegung der Augen von einem linken Abschnitt des Bildschirms zu einem rechten Abschnitt des Bildschirms). Es versteht sich, dass das beschriebene Augenereignis nicht einschränkend ist und jeder geeigneten Bewegung entsprechen kann, einschließlich, jedoch nicht beschränkt auf, eine lineare - oder überwiegend lineare - Bewegung der Augen (z. B. vertikal, horizontal, diagonal) oder eine Bewegung der Augen auf einem gekrümmten und/oder unregelmäßigen Pfad.
  • In einigen Ausführungsformen kann die Vorrichtung 600 konfiguriert sein, um Augenereignisse unter Verwendung einer minimalen Anzahl von Elektroden (z. B. zwei Elektroden) zu erkennen. Zum Beispiel kann die Vorrichtung 600 zwei Elektroden umfassen, die konfiguriert sind, um eines oder mehrere Augenereignisse zu erkennen. In einigen Ausführungsformen können auch nur zwei Elektroden zum Erkennen von Aufweckbedingungen implementiert werden. Die hierin beschriebenen Aufweckbedingungen können in mehreren Kombinationen kombiniert werden. Wie hierin beschrieben, können die Aufweckbedingungen das Erkennen von EOG- und/oder EEG-Signalen einschließen, die dem Platzieren der Vorrichtung 600 am Kopf des Benutzers entsprechen. Die Aufweckbedingungen können auch zusätzlich oder alternativ das Erkennen einer gerichteten Augenbewegung einschließen, wie z. B. einer unidirektionalen Augenbewegung. In einigen Ausführungsformen können die Aufweckbedingungen ein Augenereignis einschließen, das der Fixierung des Blicks des Benutzers auf eine heiße Ecke zugeordnet ist. Zum Beispiel kann eine Vorrichtung mit mindestens drei Elektroden konfiguriert sein, um Augenereignisse zu erkennen, die Fixierungen in bestimmten Augenwinkeln entsprechen, und so EOG-Sensordaten an die Vorrichtung 600 bereitstellen, die optional als Aufweckbedingung verwendet werden können.
  • 7 veranschaulicht eine beispielhafte Signalverarbeitung von Elektrodensignalen gemäß einigen Ausführungsformen der Offenbarung. In einigen Ausführungsformen können die Elektrodensignale 766 direkten Messungen der Elektroden entsprechen. Die Spannungen, die den Elektrodensignalen 766 entsprechen, können von der am Kopf tragbaren Vorrichtung weiterverarbeitet werden, wie zum Beispiel in AFE 224 der Vorrichtung 202 aus 2, und/oder von einem zugeordneten Rechensystem, das optional eine separate Vorrichtung sein kann, wie z. B. in der Vorrichtung 204 aus 2. Zum Beispiel können die Signale einen oder mehrere Filter durchlaufen. In einigen Ausführungsformen können die Filter einen oder mehrere Hochpassfilter 762, einen oder mehrere Bandpassfilter (nicht gezeigt) und/oder einen oder mehrere Tiefpassfilter 764 einschließen. Die Filter können konfiguriert sein, um ein Rauschen zu dämpfen, Signal drift abzuschwächen, Aliasing zu verhindern usw. Eines oder mehrere maschinelle Lernalgorithmen können zusätzlich oder alternativ konfiguriert werden, um die empfangenen Elektrodensignale 766 zu verarbeiten. Zum Beispiel kann ein Modell 768, das auf einem gefalteten neuronalen Netzwerk (CNN) basiert, auf Daten angewendet werden, die den Signalen 766 entsprechen, um die Kennzeichnungen der horizontalen und/oder visuellen Winkel, der Blinzelereignisse und/oder der Blickfixierung zu verbessern und ein aktualisiertes Modell 770 zu erzeugen. Die Vorrichtung und/oder das zugeordnete Rechensystem können konfiguriert sein, um Funktionen, Verfahren und/oder Prozesse aufzurufen, die der Vorrichtung und/oder dem System zugeordnet sind, einschließlich des Übergangs zwischen Betriebsmodi, der Aktivierung von Spracherkennungssoftware usw.
  • 8 veranschaulicht beispielhafte Elektroden 804 und ein analoges Front-End 872 zur Verarbeitung von Elektrodensignalen gemäß einigen Ausführungsformen der Offenbarung. Die aktive Elektrode 804-A und die Referenzelektrode 804-B können mit den in 8 gezeigten beispielhaften Schaltungselementen modelliert sein. In einigen Beispielen können diese Elektroden 804 eine Signalamplitude von 50 uV bis 3,5 mV, einen Frequenzgehalt von 0-40 Hz und einen Elektroden-Gleichstrom-Offset von bis zu +/-1 V aufweisen (was vom Elektrodenmaterial und Hautkontakt abhängen kann). In einigen Ausführungsformen kann eine Vorrichtung Front-End-Schaltlogik 872 einschließen, um Signale aus diesen Elektroden aufzubereiten und abzutasten. Zum Beispiel kann die Vorrichtungsschaltlogik einen oder mehrere Verstärker 874 (z. B. Programmable Gain Amplifier) einschließen. Die Eingänge eines jeweiligen Verstärkers können mit einer aktiven Elektrode und einer Referenzelektrode verbunden sein, wie in 8 gezeigt, um eine Differenzspannung am Verstärkerausgang zu erhalten, wobei der Ausgang der relativen Spannungsdifferenz entspricht, die von der aktiven Elektrode erkannt wird und Augenereignissen zugeordnet ist. Der Ausgang des Verstärkers 874 kann ferner mit einem oder mehreren variablen Analog-Digital-Wandlern (ADC) 876 gekoppelt sein, die zur Quantisierung von Signalen mit einer oder mehreren Auflösungen konfigurierbar sein können. Ein Controller 878 kann mit dem einen oder den mehreren ADC 876 gekoppelt sein, um die digitalisierten Signale zu empfangen und/oder zu verarbeiten.
  • In einigen Ausführungsformen kann das analoge Front-End 872 eines oder mehrere Elemente zum Messen der Impedanz einschließen. Zum Beispiel kann das analoge Front-End eine oder mehrere Stromquellen einschließen, die konfiguriert sind, um das Gewebe eines Benutzers zu stimulieren. Die als Reaktion darauf gemessenen Spannungen (z. B. durch die eine oder mehreren Elektroden der Vorrichtung) können dann in Verbindung mit dem bekannten Strom zum Berechnen der Impedanz verwendet werden. In einigen Ausführungsformen kann die gemessene Impedanz von einem in der Vorrichtung eingeschlossenen Controller verwendet werden, um ein oder mehrere dielektrische Elastomere zu konfigurieren (z. B., um den Druck zwischen einer oder mehreren Elektroden und Geweben eines Benutzers zu erhöhen und/oder zu verringern). Der erhöhte Druck hilft dabei, eine bessere Signalqualität zu erreichen, indem er die Impedanz zwischen Elektrode und Haut so weit verringert, dass der Benutzerkomfort nicht beeinträchtigt wird.
  • Die analoge Front-End-Schaltlogik kann in einigen Ausführungsformen im Hinblick auf bestimmte Spezifikationen konfiguriert sein. Zum Beispiel können die von dem einen oder den mehreren Verstärkern empfangenen Signale einen Bereich von 50 µV bis 3,5 mV überspannen, der einen Frequenzgehalt von 0-40 Hz umfasst, jedoch nicht darauf beschränkt ist. Zusätzlich oder alternativ kann der Gleichtakt-Eingangsbereich der Verstärker +/-1 V einschließen und die Eingangsimpedanz kann 1 GΩ überschreiten.
  • 9 zeigt Beispiele von EOG-Sensordaten, die einer am Kopf tragbaren Vorrichtung gemäß einigen Beispielen der Offenlegung zugeordnet sind. In einigen Ausführungsformen kann eine Vorrichtung eine Vielzahl von Elektroden umfassen, die konfiguriert ist, um eine Bewegung der Augen zu erkennen. In einigen Ausführungsformen können die Elektroden angeordnet sein, um EOG-Signale aufzunehmen. Wie hierin beschrieben, ist die Elektrodenkonfiguration in keiner Weise eingeschränkt, vorausgesetzt, dass die von den Elektroden aufgenommenen Signale Augenereignissen zugeordnet sind. Zum Beispiel können die von den Elektroden ausgegebenen EOG-Signale dem Blinzeln eines Benutzers entsprechen. Zusätzlich oder alternativ kann die Stärke des Blinzelns von der am Kopf tragbaren Vorrichtung erfasst und erkannt werden. In einigen Ausführungsformen können eine oder mehrere Elektroden angeordnet sein, um mit dem Gewebe oberhalb und/oder unterhalb der Augen eines Benutzers in Kontakt zu treten. Zusätzlich oder alternativ können eine oder mehrere Elektroden angeordnet sein, um mit dem Gewebe lateral und/oder medial zu den Augen in Kontakt zu treten. In einigen Ausführungsformen können die Elektroden angeordnet sein, um mit dem Nasenrücken des Benutzers (z. B. entsprechend den Elektroden 304b und/oder 304c in 3), mit der Stirn des Benutzers (z. B. entsprechend der Elektrode 304a) und/oder mit Bereichen um und hinter den Ohren des Benutzers (z. B. entsprechend 304d und 304k) in Kontakt zu treten.
  • In einigen Ausführungsformen kann eine Elektrode, die in Kontakt mit der Stirn des Benutzers steht, als Referenzspannung konfiguriert werden, um eine Vielzahl von Differenzspannungen zu berechnen, die den Blick und/oder die Bewegung der Augen angibt. Zum Beispiel können die Signale 932 und 934 den Differenzspannungen zwischen der Referenzelektrode auf der Stirn des Benutzers (z. B. entsprechend der Elektrode 304a) und den Elektroden rechts und links des Nasenrückens des Benutzers (z. B. entsprechend den Elektroden 304b und 304c) entsprechen. Die Signale 936 und 938 können den Differenzspannungen zwischen der Referenzelektrode und den Elektroden hinter/um das rechte und linke Ohr des Benutzers entsprechen (z. B. entsprechend den Elektroden 304d und 304k).
  • In einigen Ausführungsformen können die in 9 gezeigten Signale mehreren Augenereignissen entsprechen. Zum Beispiel können die Signale 932, 934, 936 und 938 während des Zeitraums 940 dem Blinzeln eines Benutzers entsprechen. Wie zuvor beschrieben, kann auch die Stärke des Blinzelns erkannt werden. Blinzeln kann dazu verwendet werden, Funktionen der Vorrichtung durchzuführen, wie z. B. das Bestätigen und/oder Auswählen eines Elements einer Benutzeroberfläche, die der am Kopf tragbaren Vorrichtung zugeordnet ist. Die von den Elektroden bereitgestellten EOG-Signale können in einigen Ausführungsformen der Drehung des Auges in eine oder mehrere Richtungen entsprechen. Zum Beispiel können Ereignisse, die der Bewegung der Augen zugeordnet sind, horizontalen und/oder vertikalen Blickwinkeln entsprechen und während des Zeitraums 942 erkannt werden. Während des Zeitraums 942 zeigen die Signale 932, 934, 936 und 938 eine abwärts gerichtete Neigung, was einer Änderung des Blickwinkels der Augen entsprechen kann, einschließlich einer Verlagerung des Blicks des Benutzers nach oben. In einigen Ausführungsformen können die EOG-Signale auch den Zustand des Benutzerblicks aufnehmen. Der Zeitraum 944 kann dem Aufrechterhalten eines bestimmten Blickwinkels durch den Benutzer entsprechen (z. B. dem Blickwinkel, der während des Zeitraums 942 hergestellt wurde). Nachfolgende Änderungen der Blickwinkel können zusätzlich erkannt werden, wie im Zeitraum 946 gezeigt, der einer Verlagerung des Blicks des Benutzers nach rechts entsprechen kann. In einigen Ausführungsformen können sich die Plateaus oder Beinahe-Plateaus der Signale 932, 934, 936 und 938 erhöhen und/oder absenken, wenn sich der Blickwinkel des Benutzers ändert. In ähnlicher Weise kann in einigen Ausführungsformen die Größe der Signale 932, 934, 936 und 938 für jeden Benutzer und mit der Stärke der Ereignisse variieren (z. B. basierend auf der Stärke eines Blinzelns).
  • 10 veranschaulicht ein Verfahren zur Augenverfolgung mit reduziertem Stromverbrauch gemäß einigen Beispielen der Offenbarung. Der Stromverbrauch von Vorrichtungen kann besonders kritisch sein, wenn die integrierten Stromquellen begrenzt sind, wie z. B. bei tragbaren Vorrichtungen mit begrenzten Stromquellen (z. B. Batterien). Darüber hinaus kann die beim Betrieb der Elektronik entstehende Wärme zu einem erhöhten Unbehagen bei tragbaren Vorrichtungen führen; daher kann das Reduzieren des Stromverbrauchs der Vorrichtung eine wichtige Überlegung bei der Konstruktion von Vorrichtungen und/oder Systemen sein. In einigen Ausführungsformen können Signale, die von Elektroden mit ausreichendem Kontakt aufgenommen werden, aufgenommen und konfiguriert sein, um die Betriebsmodi der Vorrichtung zu variieren. Wie oben beschrieben, können die Elektroden angeordnet und konfiguriert sein, um in Kontakt mit einer oder mehreren von Schläfen, Nase, Wangen, Augenbrauen, hinter den Ohren usw. zu treten. In einigen Ausführungsformen kann eine Untergruppe der Elektroden der Vorrichtung (z. B. Elektroden in Kontakt mit der Nase und/oder einem oder mehreren Ohren des Benutzers) konfiguriert sein, um Signale aufzunehmen, die der Gehirnaktivität des Benutzers entsprechen. Zum Beispiel können elektrische Impulse erkannt werden, die der Bewegung der Augen und/oder der Muskeln im Gesicht des Benutzers entsprechen. Zusätzlich oder alternativ kann die der Bewegung der Augen und/oder Muskeln zugeordnete Gehirnaktivität erkannt werden. In einigen Ausführungsformen kann die Vorrichtung, bis die Gehirnaktivität erfasst wird (z. B. EEG-Signale werden erkannt), in einem Energiesparmodus arbeiten, wie in Block 1080 gezeigt. Der Energiesparmodus kann das Abschalten einiger oder aller Komponenten und/oder Schaltlogik innerhalb und/oder in Verbindung mit der am Kopf tragbaren Vorrichtung umfassen. In einigen Ausführungsformen können einige oder alle Komponenten und/oder Schaltlogik in einem Schlafmodus konfiguriert sein (z. B. Energieeinsparung). In einigen Ausführungsformen kann der Energiesparmodus das Konfigurieren einiger oder aller Komponenten und/oder Schaltlogik, die der am Kopf tragbaren Vorrichtung zugeordnet sind, umfassen, um Abfrageregister, Kommunikationskanäle oder andere Rechen- und Erfassungsschaltlogik mit einer niedrigeren Rate und/oder Auflösung zu betreiben. In einigen Ausführungsformen kann die Vorrichtung im Energiesparmodus arbeiten, bis eine andere elektrische Aktivität im Zusammenhang mit einem oder mehreren Augenereignissen erkannt wird, und die erkannte elektrische Aktivität kann in ein Energieniveau quantifiziert werden (z. B. durch Integrieren der elektrischen Aktivität über die Zeit), wie in Block 1082 gezeigt. Während des Arbeitens im Energiesparmodus kann Energie gespart werden, bis ein Auslöser empfangen wird (z. B. das Erkennen von Gehirnaktivität und/oder Augenereignissen), wodurch die Lebensdauer der Vorrichtung optimiert und überflüssige Berechnungen, Kalkulationen und/oder Messungen neben denen, die dem Erkennen des Auslösers zugeordnet sind, minimiert werden. In einigen Ausführungsformen kann das berechnete Energieniveau mit einem Schwellenenergieniveau verglichen werden, wie in Block 1082 gezeigt. Wenn das berechnete Energieniveau den Schwellenwert überschreitet, kann dies auslösen, dass die Vorrichtung in einen Modus mit höherer Leistung eintritt.
  • Nach dem Erkennen des Auslösers kann der Betriebsmodus von einem Modus mit niedrigerer zu einem Modus mit höherer Leistung übergehen, wie in Block 1084 gezeigt. Zum Beispiel können einer oder mehrere Analog-Digital-Wandler (ADC) konfiguriert sein, um von einer ersten Auflösung in einem Zustand niedrigerer Leistung (Block 1080) zu einer zweiten Auflösung in einem Zustand höherer Leistung (Block 1084) überzugehen, wobei die zweite Auflösung feiner ist als die erste. In einigen Beispielen kann der Auslöser auch dem Aktivieren der Stimulation, Messung und/oder Konfiguration einer oder mehrerer Elektroden der Vorrichtung zugeordnet sein. In einigen Ausführungsformen können eine oder mehrere Elektroden als Reaktion auf den Auslöser von einem Ruhemodus (d. h. mit niedrigerer Leistung) in einen Modus mit höherer Leistung übergehen, in dem die eine oder mehreren Elektroden erfasst, abgefragt und/oder erkannt werden können. Zusätzlich oder alternativ können Drucksensoren 622, die mit den Elektroden gekoppelt und/oder in diese eingebettet sind, in ähnlicher Weise als Reaktion auf den Auslöser konfiguriert werden. In einigen Ausführungsformen kann eine grobe elektrodenbasierte Augenverfolgung, wie in Block 1086 gezeigt, benutzt werden, bis eine feinere Auflösung der Augenverfolgung benötigt wird, was von der Funktion, die durch die Augenverfolgung durchgeführt wird, und/oder der Anwendung oder der Benutzeroberfläche, die präsentiert wird, abhängen kann. In Situationen, in denen eine feinere Auflösung der Augenverfolgung erforderlich ist, kann eine kamerabasierte Augenverfolgung benutzt werden, wie in Block 1088 gezeigt.
  • Daher sind gemäß dem Vorstehenden einige Beispiele der Offenbarung auf eine Vorrichtung zum Erkennen der Augenbewegung gerichtet, die Erfassungsschaltlogik umfasst, die konfiguriert ist, um ein physiologisches Signal zu erfassen, wobei die Erfassungsschaltlogik eine Vielzahl von Elektroden und eines oder mehrere Elastomermaterialien einschließt, die mit einem jeweiligen Paar von Elektroden der Vielzahl von Elektroden gekoppelt ist, wobei das jeweilige Paar von Elektroden konfiguriert ist, um ein Signal zu empfangen, das dem Ändern einer Form des einen oder der mehreren Elastomermaterialien und des jeweiligen Paars von Elektroden zugeordnet ist, um den Kontakt zwischen mindestens einem des jeweiligen Paars von Elektroden und Gewebe eines Benutzers zu verbessern. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfassen in einigen Beispielen das eine oder die mehreren Elastomermaterialien dielektrische Elastomermaterialien. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst die Vorrichtung in einigen Beispielen ferner einen oder mehrere Drucksensoren, die mit mindestens einer Elektrode in dem jeweiligen Elektrodenpaar gekoppelt sind, und Steuerschaltlogik, die mit dem einen oder den mehreren Drucksensoren und der Erfassungsschaltlogik gekoppelt ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele wird in einigen Beispielen das dem Ändern der Form des einen oder der mehreren Elastomermaterialien zugeordnete Signal basierend auf einem ersten Kriterium geändert. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst das erste Kriterium in einigen Beispielen das Erfüllen eines Schwellenwerts für das Signal-Rausch-Verhältnis, das dem physiologischen Signal zugeordnet ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst das erste Kriterium in einigen Beispielen das Erfüllen eines Schwellenwerts für die von dem einen oder den mehreren Drucksensoren erkannte Kraft. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele wird in einigen Beispielen das dem Ändern der Form des einen oder der mehreren Elastomermaterialien zugeordnete Signal basierend auf der dem physiologischen Signal zugeordneten Impedanz modifiziert. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst die Vorrichtung in einigen Beispielen ferner eine oder mehrere Stromquellen, die konfiguriert sind, um dem jeweiligen Elektrodenpaar über die Gewebe eines Benutzers der Vorrichtung einen Strom zuzuführen. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele ist in einigen Beispielen das physiologische Signal ein Differenzsignal zwischen zwei jeweiligen Elektrodenpaaren der Vielzahl von Elektroden, wobei ein erstes jeweiliges Elektrodenpaar der Vielzahl von Elektroden als Referenzelektrode konfiguriert ist und ein zweites jeweiliges Elektrodenpaar der Vielzahl von Elektroden als aktive Elektrode konfiguriert ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst die Vorrichtung in einigen Beispielen ferner Schaltlogik, die konfiguriert ist, um ein die Vorrichtung beeinträchtigendes Rauschen zu erkennen, und eine dritte jeweilige Elektrode der Vielzahl von Elektroden, die konfiguriert ist, um einem Benutzer der Vorrichtung ein Stimulussignal zuzuführen, wobei das Stimulussignal dem Reduzieren des erkannten Rauschens zugeordnet ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst die Vorrichtung in einigen Beispielen ferner einen oder mehrere Verstärker, die mit dem jeweiligen Elektrodenpaar gekoppelt sind, einen oder mehrere Analog-Digital-Wandler, wobei eine Auflösung eines jeweiligen Analog-Digital-Wandlers des einen oder der mehreren Analog-Digital-Wandler variabel ist, und Kommunikationsschaltlogik, die kommunikativ mit der Verarbeitungsschaltlogik gekoppelt und konfiguriert ist, um dem physiologischen Signal zugeordnete Daten zu übertragen. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele ist in einigen Beispielen das physiologische Signal einem oder mehreren Augenereignissen zugeordnet. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele schließt die Vielzahl der Elektroden in einigen Beispielen einen oder mehrere Elektrookulografie (EOG)-Sensoren ein.
  • Einige Beispiele der Offenbarung richten sich an ein Verfahren zum Erkennen einer Augenbewegung, umfassend das Koppeln eines oder mehrerer Elastomermaterialien mit einem jeweiligen Elektrodenpaar einer Vielzahl von Elektrodenpaaren, das Inkontaktbringen des jeweiligen Elektrodenpaar und des einen oder der mehreren Elastomermaterialien mit Gewebe, das einem Auge eines Benutzers zugeordnet ist, das Empfangen eines Signals an dem j eweiligen Elektrodenpaar, das Ändern einer Form des einen oder der mehreren Elastomermaterialien und des gekoppelten jeweiligen Elektrodenpaars basierend auf dem empfangenen Signal, um den Kontakt zwischen dem jeweiligen Paar von Elektroden und dem Gewebe des Benutzers zu verbessern und das Erfassen des physiologischen Signals aus dem jeweiligen Elektrodenpaar, wobei das physiologische Signal der Augenbewegung zugeordnet ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfassen in einigen Beispielen das eine oder die mehreren Elastomermaterialien dielektrische Elastomermaterialien. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele umfasst das Verfahren in einigen Beispielen ferner das Ändern der Form des einen oder der mehreren Elastomermaterialien und des gekoppelten jeweiligen Elektrodenpaars basierend auf ersten Kriterien. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele schließt das erste Kriterium in einigen Beispielen eine Kraft ein, die von dem jeweiligen Elektrodenpaar auf das Gewebe des Benutzers ausgeübt wird. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele schließt das erste Kriterium in einigen Beispielen einen Schwellenwert für das Signal-Rausch-Verhältnis ein, das dem physiologischen Signal zugeordnet ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele schließt das erste Kriterium in einigen Beispielen eine Schwellenimpedanz ein, die dem physiologischen Signal zugeordnet ist. Alternativ oder zusätzlich zu einem oder mehreren der obigen Beispiele schließt in einigen Beispielen das jeweilige Elektrodenpaar einen oder mehrere Elektrookulografie (EOG)-Sensoren ein.
  • Einige Beispiele der Offenbarung beziehen sich auf eine Vorrichtung zum Erkennen der Augenbewegung, umfassend Erfassungsschaltlogik, die konfiguriert ist, um ein physiologisches Signal aus einer Vielzahl von Elektroden zu erfassen, wobei das physiologische Signal der Augenbewegung zugeordnet ist, und einen Prozessor, der kommunikativ mit der Erfassungsschaltlogik gekoppelt und programmiert ist, um gemäß dem physiologischen Signal, das ein erstes Kriterium erfüllt, das ein erstes Niveau der Augenbewegung angibt, die Erfassungsschaltlogik in einem ersten Leistungsniveau-Betriebsmodus zu betreiben, und gemäß dem physiologischen Signal, das ein zweites Kriterium erfüllt, das ein zweites Niveau der Augenbewegung angibt, die Erfassungsschaltlogik in einem zweiten Leistungsniveau-Betriebsmodus zu betreiben, wobei sich der zweite Betriebsmodus vom ersten unterscheidet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst in einigen Beispielen der erste Leistungsmodus das Betreiben des einen oder der mehreren Analog-Digital-Wandler mit einer ersten Auflösung, und der zweite Leistungsmodus umfasst das Betreiben des einen oder der mehreren Analog-Digital-Wandler mit einer zweiten Auflösung, wobei die zweite Auflösung höher ist als die erste. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst in einigen Beispielen das erste Kriterium den Vergleich eines Energieniveaus des physiologischen Signals mit einem Schwellenwert der Energiemenge. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele ist in einigen Beispielen das erste Kriterium einem Blinzeln zugeordnet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele ist in einigen Beispielen das erste Kriterium einer Blickfixierung zugeordnet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele schließt das erste Kriterium in einigen Beispielen eine Bestimmung über die Erfassungsschaltlogik ein, dass ein Benutzer der Vorrichtung die Vorrichtung trägt. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst das physiologische Signal in einigen Beispielen ein Elektrookulografie (EOG)-Signal. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele ist der Prozessor in einigen Beispielen ferner programmiert, um während des Betreibens der Erfassungsschaltlogik in dem zweiten Leistungsniveau-Betriebsmodus gemäß dem physiologischen Signal, das ein drittes Kriterium erfüllt, die Erfassungsschaltlogik und die Verarbeitungsschaltlogik in einem dritten Betriebsmodus zu betreiben, wobei sich der dritte Betriebsmodus vom ersten und zweiten Betriebsmodus unterscheidet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst die Vorrichtung in einigen Beispielen ferner eine oder mehrere Kameras, die konfiguriert sind, um Augenereignisse zu erkennen, und das Betreiben im dritten Betriebsmodus umfasst ferner das Verwenden der einen oder mehreren Kameras zum Sammeln von dem physiologischen Signal zugeordneten Informationen.
  • Einige Beispiele der Offenbarung beziehen sich auf ein Verfahren zum Erkennen einer Augenbewegung, umfassend das Erfassen eines physiologischen Signals aus einer Vielzahl von Elektroden, wobei das physiologische Signal der Augenbewegung zugeordnet ist, wobei gemäß dem physiologischen Signal, das ein erstes Kriterium erfüllt, das ein erstes Niveau der Augenbewegung angibt, zum Betreiben der Erfassungsschaltlogik in einem ersten Leistungsniveau-Betriebsmodus betreibt, und gemäß dem physiologischen Signal, das ein zweites Kriterium erfüllt, das ein zweites Niveau der Augenbewegung angibt, zum Betreiben der Erfassungsschaltlogik in einem zweiten Leistungsniveau-Betriebsmodus, wobei sich der zweite Betriebsmodus vom ersten unterscheidet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst in einigen Beispielen der erste Leistungsmodus das Betreiben des einen oder der mehreren Analog-Digital-Wandler mit einer ersten Auflösung, und der zweite Leistungsmodus umfasst das Betreiben des einen oder der mehreren Analog-Digital-Wandler mit einer zweiten Auflösung, wobei die zweite Auflösung höher ist als die erste. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst in einigen Beispielen das erste Kriterium den Vergleich eines Energieniveaus des physiologischen Signals mit einem Schwellenwert der Energiemenge. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele ist in einigen Beispielen das erste Kriterium einem Blinzeln zugeordnet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele ist in einigen Beispielen das erste Kriterium einer Blickfixierung zugeordnet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele schließt das erste Kriterium in einigen Beispielen ein Bestimmen ein, dass ein Benutzer der Vorrichtung die Vorrichtung trägt. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst das physiologische Signal in einigen Beispielen ein Elektrookulografie (EOG)- oder ein Elektroenzephalografie (EEG)-Signal. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst das Verfahren ferner während des Betreibens der Erfassungsschaltlogik in dem zweiten Leistungsniveau-Betriebsmodus gemäß dem physiologischen Signal, das ein drittes Kriterium erfüllt, das Betrieben der Erfassungsschaltlogik und der Verarbeitungsschaltlogik in einem dritten Betriebsmodus, wobei sich der dritte Betriebsmodus vom ersten und zweiten Betriebsmodus unterscheidet. Alternativ oder zusätzlich zu einem oder mehreren der oben offenbarten Beispiele umfasst in einigen Beispielen, die im dritten Betriebsmodus betrieben werden, ferner das Verwenden der einen oder mehreren Kameras zum Sammeln von dem physiologischen Signal zugeordneten Informationen.
  • Obwohl Beispiele dieser Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen vollständig beschrieben wurden, ist zu beachten, dass vielfältige Änderungen und Modifikationen für den Fachmann ersichtlich sind. Solche Änderungen und Modifikationen sind als innerhalb des Umfangs der Beispiele dieser Offenbarung, wie sie durch die beigefügten Ansprüche definiert sind, eingeschlossen zu verstehen.

Claims (15)

  1. Vorrichtung zum Erkennen von Augenbewegung, umfassend: Erfassungsschaltlogik, die dazu konfiguriert ist, ein physiologisches Signal zu erfassen, wobei die Erfassungsschaltlogik eine Vielzahl von Elektroden einschließt; und ein oder mehrere Elastomermaterialien, die mit einem jeweiligen Elektrodenpaar der Vielzahl von Elektroden gekoppelt sind; wobei das jeweilige Elektrodenpaar zum Empfangen eines Signals konfiguriert ist, das dem Ändern einer Form des einen oder der mehreren Elastomermaterialien und des jeweiligen Elektrodenpaares zugeordnet ist, um den Kontakt zwischen mindestens einem des jeweiligen Elektrodenpaares und des Gewebes eines Benutzers zu verbessern.
  2. Vorrichtung nach Anspruch 1, wobei das eine oder die mehreren Elastomermaterialien dielektrische Elastomermaterialien umfassen.
  3. Vorrichtung nach Anspruch 1, ferner umfassend: einen oder mehrere Drucksensoren, die mit mindestens einer Elektrode in dem jeweiligen Elektrodenpaar gekoppelt sind; und eine Steuerschaltlogik, die mit dem einen oder den mehreren Drucksensoren und der Erfassungsschaltlogik gekoppelt ist.
  4. Vorrichtung nach Anspruch 3, wobei das Signal, das dem Ändern der Form des einen oder der mehreren Elastomermaterialien zugeordnet ist, basierend auf einem ersten Kriterium modifiziert wird.
  5. Vorrichtung nach Anspruch 4, wobei das erste Kriterium das Erreichen eines Schwellenwerts für ein Signal-Rausch-Verhältnis, das dem physiologischen Signal zugeordnet ist, umfasst.
  6. Vorrichtung nach Anspruch 1, wobei das Signal, das dem Ändern der Form des einen oder der mehreren Elastomermaterialien zugeordnet ist, basierend auf einer dem physiologischen Signal zugeordneten Impedanz modifiziert wird.
  7. Vorrichtung nach Anspruch 1, wobei das physiologische Signal ein Differenzsignal zwischen zwei jeweiligen Elektrodenpaaren der Vielzahl von Elektroden ist, wobei: ein erstes jeweiliges Elektrodenpaar der Vielzahl von Elektroden als Referenzelektrode konfiguriert ist, und ein zweites jeweiliges Elektrodenpaar der Vielzahl von Elektroden als eine aktive Elektrode konfiguriert ist.
  8. Vorrichtung nach Anspruch 1, ferner umfassend: Verarbeitungsschaltlogik; einen oder mehrere Verstärker, die mit dem jeweiligen Elektrodenpaar gekoppelt sind; einen oder mehrere Analog-Digital-Wandler, wobei eine Auflösung eines jeweiligen Analog-Digital-Wandlers des einen oder der mehreren Analog-Digital-Wandler variabel ist; und Kommunikationsschaltlogik, die kommunikativ mit der Verarbeitungsschaltlogik gekoppelt und dazu konfiguriert ist, Daten zu übertragen, die dem physiologischen Signal zugeordnet sind.
  9. Vorrichtung nach Anspruch 1, wobei das physiologische Signal einem oder mehreren Augenereignissen zugeordnet ist.
  10. Vorrichtung nach Anspruch 1, wobei die Vielzahl von Elektroden einen oder mehrere Elektrookulographie-(EOG)-Sensoren einschließen.
  11. Verfahren zum Erkennen von Augenbewegung, umfassend: Koppeln eines oder mehrerer Elastomermaterialien mit einem jeweiligen Elektrodenpaar einer Vielzahl von Elektrodenpaaren; Inkontaktbringen des jeweiligen Elektrodenpaares und des einen oder der mehreren Elastomermaterialien mit Gewebe, das einem Auge eines Benutzers zugeordnet ist; Empfangen eines physiologischen Signals an dem jeweiligen Elektrodenpaar; Ändern einer Form des einen oder der mehreren Elastomermaterialien und des gekoppelten jeweiligen Elektrodenpaares basierend auf dem empfangenen physiologischen Signal, um den Kontakt zwischen dem jeweiligen Elektrodenpaar und dem Gewebe des Benutzers zu verbessern; und Erfassen des physiologischen Signals von dem jeweiligen Elektrodenpaar, wobei das physiologische Signal der Augenbewegung zugeordnet ist.
  12. Verfahren nach Anspruch 11, wobei das eine oder die mehreren Elastomermaterialien dielektrische Elastomermaterialien umfassen.
  13. Verfahren nach Anspruch 11, ferner umfassend: Ändern der Form des einen oder der mehreren Elastomermaterialien und des gekoppelten jeweiligen Elektrodenpaares basierend auf ersten Kriterien.
  14. Verfahren nach Anspruch 13, wobei das erste Kriterium einen Schwellenwert für ein Signal-Rausch-Verhältnis einschließt, das dem physiologischen Signal zugeordnet ist.
  15. Verfahren nach Anspruch 11, wobei das jeweilige Elektrodenpaar einen oder mehrere Elektrookulographie-(EOG)-Sensoren einschließt.
DE102022210008.5A 2021-09-24 2022-09-22 Verfahren und vorrichtungen zur augenerkennung Pending DE102022210008A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/448,873 2021-09-24
US17/448,873 US11874958B2 (en) 2021-09-24 2021-09-24 Eye detection methods and devices

Publications (1)

Publication Number Publication Date
DE102022210008A1 true DE102022210008A1 (de) 2023-03-30

Family

ID=85477412

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022210008.5A Pending DE102022210008A1 (de) 2021-09-24 2022-09-22 Verfahren und vorrichtungen zur augenerkennung

Country Status (3)

Country Link
US (1) US11874958B2 (de)
CN (1) CN115844427A (de)
DE (1) DE102022210008A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7435774B2 (ja) * 2020-06-24 2024-02-21 日本電信電話株式会社 情報入力装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988632B2 (ja) * 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
EP1799105B1 (de) * 2004-09-03 2008-10-29 Canadian Space Agency System und verfahren zur messung der geistigen arbeitsbelastung auf grundlage rascher augenbewegungen
US7463926B1 (en) * 2005-06-24 2008-12-09 Pacesetter, Inc. Automatic signal amplitude measurement system in the setting of abnormal rhythms
US8357101B2 (en) * 2008-05-20 2013-01-22 Panasonic Corporation Electro-oculography apparatus, imaging apparatus, electro-oculography method, program, and integrated circuit
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP6019559B2 (ja) 2011-10-12 2016-11-02 ソニー株式会社 Ｐｓｇ検査装置
US9968297B2 (en) 2012-06-14 2018-05-15 Medibotics Llc EEG glasses (electroencephalographic eyewear)
US9665171B1 (en) * 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9483117B2 (en) * 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
US20150335288A1 (en) 2013-06-06 2015-11-26 Tricord Holdings, Llc Modular physiologic monitoring systems, kits, and methods
US10076279B2 (en) * 2013-10-22 2018-09-18 Neba Health, Llc System and method for a compact EEG headset
US9664902B1 (en) 2014-02-05 2017-05-30 Google Inc. On-head detection for wearable computing device
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP6426589B2 (ja) * 2015-11-27 2018-11-21 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US11589758B2 (en) * 2016-01-25 2023-02-28 Fitbit, Inc. Calibration of pulse-transit-time to blood pressure model using multiple physiological sensors and various methods for blood pressure variation
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US11331045B1 (en) * 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
KR20180055660A (ko) 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법
US10757328B2 (en) * 2016-12-23 2020-08-25 Microsoft Technology Licensing, Llc Eye tracking using video information and electrooculography information
US10802585B2 (en) * 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
KR102306111B1 (ko) 2019-08-05 2021-09-28 인하대학교 산학협력단 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
US11307659B2 (en) * 2019-09-18 2022-04-19 Apple Inc. Low-power eye tracking system
US11307655B2 (en) * 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
US11659266B2 (en) * 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement

Also Published As

Publication number Publication date
US11874958B2 (en) 2024-01-16
CN115844427A (zh) 2023-03-28
US20230102507A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US10980466B2 (en) Brain computer interface (BCI) apparatus and method of generating control signal by BCI apparatus
CN110520824B (zh) 多模式眼睛跟踪
DE102014019651B4 (de) Elektronische Vorrichtung und Anzeigesteuerverfahren
US11144124B2 (en) Electronic device and control method thereof
US20200201434A1 (en) Bioresponsive virtual reality system and method of operating the same
DE102014019631A1 (de) Elektronische Vorrichtung und Beschaffungssteuerverfahren
US10775887B2 (en) Neuro-adaptive body sensing for user states framework (NABSUS)
EP2600219A2 (de) Gedankenaktivierte Freisprechsteuerung von Systemen mit mehreren Freiheitsgraden
Bang et al. New computer interface combining gaze tracking and brainwave measurements
KR102057705B1 (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
CN112764532A (zh) 基于脑电眼电结合的键鼠控制系统及控制方法
KR20120060978A (ko) 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
CN111728608A (zh) 基于增强现实的脑电信号分析方法、装置、介质及设备
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
Li et al. Optical gaze tracking with spatially-sparse single-pixel detectors
Vijayprasath et al. Experimental explorations on EOG signal processing for realtime applications in labview
DE102022210008A1 (de) Verfahren und vorrichtungen zur augenerkennung
Păsărică et al. Remote control of an autonomous robotic platform based on eye tracking
Shatilov et al. Emerging natural user interfaces in mobile computing: A bottoms-up survey
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
Samadi et al. EEG signal processing for eye tracking
Clark et al. Interfacing with Robots without the use of Touch or Speech
Ahmed et al. A survey on human eye-gaze tracking (EGT) system “a comparative study”
US20240134449A1 (en) Eye detection methods and devices
Knopp A multi-modal device for application in microsleep detection

Legal Events

Date Code Title Description
R012 Request for examination validly filed