ES2929891T3 - Dispositivos portátiles con seguimiento ocular - Google Patents

Dispositivos portátiles con seguimiento ocular Download PDF

Info

Publication number
ES2929891T3
ES2929891T3 ES16779265T ES16779265T ES2929891T3 ES 2929891 T3 ES2929891 T3 ES 2929891T3 ES 16779265 T ES16779265 T ES 16779265T ES 16779265 T ES16779265 T ES 16779265T ES 2929891 T3 ES2929891 T3 ES 2929891T3
Authority
ES
Spain
Prior art keywords
user
screen
portable device
gaze
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16779265T
Other languages
English (en)
Inventor
Simon Gustafsson
Henrik Björk
Fredrik Lindh
Anders Olsson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2929891T3 publication Critical patent/ES2929891T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0977—Reflective elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)

Abstract

Se divulga un método para panoramizar contenido en una pantalla de un dispositivo portátil. El método puede incluir determinar, a través de un dispositivo de seguimiento ocular, la dirección de la mirada de un usuario. El método también puede incluir determinar, a través de un sistema de detección de movimiento, la dirección de la cabeza del usuario. El método puede incluir además, basándose al menos en parte en que la dirección de la mirada y la dirección de la cabeza sean ambas consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil sea panorámico en la dirección particular. El método puede incluir adicionalmente determinar durante la panorámica del contenido, a través del dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutral. Además, el método puede incluir, basándose al menos en parte en la dirección de la mirada del usuario que regresa a la posición neutral, hacer que el contenido mostrado en la pantalla deje de desplazarse. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Dispositivos portátiles con seguimiento ocular
Referencia cruzada a solicitudes relacionadas
Esta solicitud reivindica prioridad a la solicitud provisional de patente de Estados Unidos número 62/329.719, presentada el 29 de abril de 2016, titulada “WEARABLE DEVICE COMPRISING A DISPLAY AND IMAGE SENSOR” , así como a la solicitud provisional de patente de Estados Unidos número 62/232.268, presentada el 24 de septiembre de 2015, titulada “WEARABLE DEVICE COMPRISING A DISPLAY AND IMAGE SENSOR” .
Breve descripción de la invención
En una realización, se proporciona un método para el barrido de contenidos en una pantalla de un dispositivo portátil según la reivindicación 1.
En otra realización, se proporciona un medio legible por máquina no transitorio que tiene instrucciones almacenadas en el mismo para el barrido de contenidos en una pantalla de un dispositivo portátil según la reivindicación 7.
En otra realización, se proporciona un sistema para el barrido de contenidos en una pantalla de un dispositivo portátil según la reivindicación 12.
Breve descripción de los dibujos
La presente invención se describe junto con las figuras adjuntas:
la Fig. 1 muestra un dispositivo portátil ilustrativo de la invención que tiene un dispositivo visualización y un dispositivo de seguimiento ocular;
la Fig. 2 muestra una salida de sensor de perfil ilustrativo de varias realizaciones de la invención;
la Fig. 3A muestra el agrupamiento de píxeles horizontal y vertical utilizado en varias realizaciones de la invención; la Fig. 3B ilustra una posible realización del método de la invención para determinar la dirección de la mirada;
la Fig. 4 muestra una realización de la invención, donde se aplica un espejo frío a una lente de casco;
la Fig. 5 muestra una posible realización del método de la invención para el barrido de una pantalla de realidad virtual;
la Fig. 6 muestra un ejemplo que no forma parte de la invención para mapear dispositivos de entrada a objetos virtuales;
la Fig. 7A muestra una realización del sistema de la invención para matrices de sensores/iluminadores dispuestos sobre y/o en una lente de un dispositivo portátil;
la Fig. 7B muestra una vista detallada de una realización de la invención, donde las fibras ópticas están dispuestas dentro de ranuras en una lente de visión primaria;
la Fig. 7C muestra una vista de perfil de un punto de terminación de la fibra óptica de la Fig. 7B;
la Fig. 8 es un diagrama de bloques de un sistema informático ilustrativo que puede utilizarse en al menos alguna parte de los aparatos o sistemas de la presente invención, o implementar al menos alguna parte de los métodos de la presente invención;
la Fig. 9 es una vista de un dispositivo de visualización de la invención en el que se produce una modificación de la imagen en respuesta al punto de mirada de un usuario;
la Fig. 10A es un diagrama de cómo la calidad de la imagen puede variar continuamente dentro de un área de imagen modificada;
la Fig. 10B es un diagrama de cómo puede variar la calidad de la imagen en etapas dentro de un área de imagen modificada;
la Fig. 11 es una vista de un dispositivo de visualización de la invención en el que se produce la modificación de la imagen en respuesta a un cambio detectado en el punto de mirada de un usuario; y
la Fig. 12 es un diagrama de flujo de un ejemplo que no forma parte de la invención para modificar una imagen basándose en el punto de mirada de un usuario.
En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.
Descripción detallada de la invención
La descripción que sigue proporciona únicamente realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que pueden describirse realizaciones individuales como un procedimiento que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
La presente invención se refiere, de forma general, a un dispositivo portátil que incluye una pantalla y un sensor de imagen, el dispositivo portátil utiliza información obtenida a través del sensor de imagen para alterar la información en la pantalla. En particular, la presente invención se refiere a sistemas y métodos para utilizar información relacionada con un ojo para alterar información en una pantalla.
Los dispositivos portátiles que contienen pantallas se conocen bien, de forma típica, se utilizan en sistemas de Realidad Virtual (RV) y Realidad Aumentada (RA). En estos sistemas, las pantallas se utilizan para proporcionar a un usuario una experiencia que simula una realidad distinta en el caso de RV, o una realidad mejorada en el caso de RA.
En algunos casos, el dispositivo portátil no requiere contener una pantalla de ningún tipo. Por ejemplo, un sistema descrito por la US-9.041.787 no requiere una pantalla.
En algunas realizaciones, puede incorporarse el uso de dispositivos de seguimiento ocular y similares con estos dispositivos portátiles para mejorar su rendimiento. Por ejemplo, la publicación de solicitud de patente número US-2015/0062322 describe un dispositivo de seguimiento ocular portátil.
Se describe una aplicación de seguimiento ocular en un dispositivo de realidad virtual en Using an Eye-Tracking System to Improve Camera Motions and Depth-of-Field Blur Effects in Virtual Environments, Hillaire y col., 2008, Virtual Reality Conference, donde el seguimiento ocular se utiliza para determinar el punto de enfoque del usuario en una realización virtual. El punto de enfoque se utiliza a continuación cuando se representa el entorno virtual para mejorar la sensación del usuario cuando navega por el entorno virtual. El documento US2015138079 A1 describe un método para provocar un desplazamiento en una pantalla basándose en una entrada de la mirada. Es posible combinar la información de la mirada y la información de la posición de la cabeza para proporcionar una determinación más exacta del objetivo previsto por el usuario. El desplazamiento puede terminar cuando la mirada se aleja del área sobre la que el usuario había mirado inicialmente para comenzar el desplazamiento.
Las realizaciones de la presente invención buscan proporcionar soluciones mejoradas para el seguimiento ocular en dispositivos portátiles, y usos mejorados de información de seguimiento ocular en RV, RA u otros entornos. Estas mejoras pueden tener que ver con soluciones de hardware para su uso en dispositivos portátiles, así como soluciones de software para su uso con dispositivos iguales o similares.
Por lo tanto, un objeto de al menos algunas realizaciones de la presente invención es proporcionar sistemas portátiles de seguimiento ocular mejorados. Este y otros objetivos de las realizaciones de la presente invención serán evidentes a partir de la especificación y de las reivindicaciones junto con las figuras adjuntas.
Se dispondrán diversas realizaciones y aspectos de la presente invención utilizando títulos en la presente memoria para facilitar una comprensión más fácil de la presente invención.
Según un aspecto de la presente invención, se proporciona un dispositivo portátil que incluye al menos una pantalla y un aparato de seguimiento ocular. La información del aparato de seguimiento ocular puede ser utilizada por un dispositivo informático asociado (por ejemplo, ordenador, tablet, dispositivo móvil u otro dispositivo activado por procesador) para influir en, o alterar, elementos mostrados en la pantalla.
En algunas realizaciones, el aparato de seguimiento ocular incluye al menos un sensor de imagen y al menos una fuente de iluminación. En algunas realizaciones el aparato de seguimiento ocular puede incluir dos sensores de imagen y dos fuentes de iluminación. Es posible cualquier número de sensores de imagen y fuentes de iluminación dependiendo de la realización, y puede haber o no un número equivalente de sensores de imagen y de fuentes de iluminación. Las fuentes de iluminación proyectan iluminación sobre el ojo u ojos de un portador del dispositivo portátil, y el sensor de imagen captura una o más imágenes del ojo u ojos del usuario. Dependiendo de la localización del reflejo de la iluminación en el ojo, puede determinarse una dirección de la mirada del usuario. A modo de ejemplo, se describe en la publicación de solicitud de patente número US-2015/0061996 un sistema adecuado para determinar la dirección de la mirada de un usuario con un aparato de seguimiento ocular portátil.
Una unidad informática u otro dispositivo de procesamiento asociado puede conectarse de forma directa o inalámbrica al aparato de seguimiento ocular y a la pantalla. La unidad informática, u otro dispositivo de procesamiento, realiza cálculos basados en información procedente del aparato de seguimiento ocular y controla la información u otro contenido mostrado en la pantalla, potencialmente después de tener en cuenta los cálculos para modificar la información u otro contenido mostrado en la pantalla.
La Fig. 1 muestra un diagrama de bloques de un casco 100 de RV típico con seguimiento de la mirada de varias realizaciones de la invención. Distintas realizaciones de la invención pueden tener una cantidad menor o mayor de componentes, y pueden situarse/configurarse de forma variable, como se explica en la presente memoria. El casco 100 puede incluir un dispositivo 110 de visualización, un dispositivo 120 de seguimiento ocular que incluye iluminador(es) 123 y sensor(es) 126 de imagen/luz. Los iluminadores 123 y sensores 126 de imagen/luz pueden incluir lentes dedicadas. El procesador 130 puede proporcionar control computacional/operativo para los componentes. En algunas realizaciones, el casco 100 puede incluir también un subsistema 140 de detección de movimiento/desplazamiento para detectar el movimiento del casco 100. Un bus de comunicación, no mostrado, puede proporcionar comunicación por cable y/o inalámbrica con un dispositivo informático asociado.
Sensor de perfil
En algunas realizaciones, puede utilizarse un sensor de perfil para determinar la dirección de la mirada de un usuario. En estas realizaciones, puede proporcionarse un dispositivo portátil que incluye al menos un sensor de perfil dirigido hacia al menos uno de los ojos de un usuario. Un ejemplo de un sensor de perfil adecuado es el fabricado por Hammamatsu con el número de modelo S9132. Un sensor de perfil actúa resumiendo los valores de todos los píxeles en una fila y/o en una columna a un solo valor, como comprenderá un experto en la técnica.
Además, puede proporcionarse al menos un emisor de luz infrarroja y dirigirse hacia al menos uno de los ojos del usuario. De este modo, un puede utilizarse sensor de perfil para determinar la localización de un reflejo de la luz infrarroja de la córnea del usuario, por lo demás denominado “destello” . Por lo tanto, puede hacerse un seguimiento rudimentario de la mirada analizando la localización del destello en la córnea del usuario, como comprenderá fácilmente un experto en la técnica. En una mejora adicional, pueden utilizarse dos o más sensores de perfil. Esto ofrece varias ventajas.
En primer lugar, si se utiliza más de un sensor de perfil bidimensional, puede ser posible determinar el centro de la córnea del ojo de un usuario en tres dimensiones, después de determinar el radio de la córnea y las posiciones de destellos en tres dimensiones, a diferencia de dos dimensiones.
En segundo lugar, disponer al menos dos sensores de perfil de modo que los destellos resultantes no se superpongan permite una detección más precisa del destello. Por ejemplo, consideremos un caso con dos destellos causados por los iluminadores A y B. Si se obtienen imágenes con un sensor de perfil unidimensional alineado en la misma dirección que los destellos, el sensor registraría únicamente una sola respuesta causada por ambos destellos, por lo que sería difícil o imposible determinar si el destello es causado por el iluminador A, el iluminador B o ambos. Por lo tanto, es ventajoso alinear los iluminadores y los sensores de perfil de modo que los destellos no se superpongan en ninguna lectura de ningún sensor de perfil.
De forma alternativa, los iluminadores pueden modularse para asegurar que solo un iluminador se encienda en un momento dado. Puede diseñarse un sensor de perfil en tal disposición para funcionar a una velocidad de muestreo muy rápida, permitiendo obtener muchas muestras, y capturando un destello de únicamente un iluminador en cada muestra dentro de un periodo de tiempo corto para asegurar únicamente movimiento ocular mínimo entre las muestras.
En tercer lugar, pueden utilizarse múltiples sensores de perfil unidimensionales. Para que tal sistema funcione con precisión, cada sensor debe situarse y rotarse uno en relación con el otro. De este modo, la dimensión única para cada sensor podría alternarse entre estar en configuración horizontal y vertical, aunque la diferencia de orientación relativa no necesita limitarse a 90 grados. Además, puede ser deseable en estas disposiciones añadir una lente de forma cilíndrica a cada sensor de perfil de una dimensión.
En algunas realizaciones, el sensor de perfil puede emitir la suma de todas las filas y/o la suma de todas las columnas de la matriz de píxeles del sensor a un dispositivo de procesamiento. Puede encontrarse un reflejo de luz infrarroja del iluminador infrarrojo en la córnea de un usuario, conocido como destello, utilizando una técnica conocida como detección de picos. La detección de picos puede realizarse tanto en la suma de las filas como en la suma de las columnas. La Fig. 2 ilustra esta técnica en una salida de la suma de filas o columnas, en donde el eje x representa los píxeles del sensor de perfil, y el eje y representa la magnitud, con un ejemplo de un pico resaltado.
En una mejora opcional, para facilitar el seguimiento ocular de alta velocidad, donde se conozca una posición de destello calculada previamente - solo debe analizarse un subconjunto de píxeles para un pico. Por ejemplo, solo pueden analizarse 10-20 píxeles cercanos a la posición conocida anterior de destello.
Una vez conocida la posición del destello, puede determinarse la dirección de la mirada utilizando, por ejemplo, un modelo polinómico de destello a punto de mirada:
7
mirada v = c x +c ">
3 2 y+c 3 xy + c4 x"+cr, y"+C6
mirada = c7 x cBy c 2 '?
9 xy+€ i0 x c1:ly^+c 12
en donde miradax y miraday son las posiciones X e y del punto de mirada, x e y son las posiciones x e y del destello, y c1... c12 son parámetros de modelo calibrados.
En algunas realizaciones, puede proporcionarse más de un iluminador en combinación con el sensor de perfil. Estos iluminadores pueden activarse o modularse selectivamente, y el dispositivo de procesamiento puede determinar qué iluminador activar en función de métricas derivadas de datos de imágenes capturadas. De forma alternativa, los iluminadores pueden encenderse en una secuencia predefinida asegurando que solo se encienda un iluminador en un momento dado.
En otra realización, el dispositivo portátil puede contener además al menos un sensor de imagen del tipo de sensor de área convencional. Este sensor convencional también puede dirigirse a al menos uno de los ojos del usuario. El sensor convencional puede capturar imágenes del ojo de un usuario y el sistema puede realizar el seguimiento ocular tradicional por Reflejo Corneal de Centro de Pupila (PCCR). El PCCR es un método muy conocido y fácilmente comprendido para determinar la mirada de un usuario. Puede encontrarse más información sobre este método en muchas partes, incluyendo Guestrin, E.D., Eizenman, E., “ General Theory of remote gaze estimation using the pupil center and corneal reflections” , Biomedical Engineering, IEEE Transactions, vol. 53, n.° 6, págs. 1124, 1133, junio de 2006.
Combinando un sensor de perfil, activado para generar la suma de todas las columnas y/o la suma de todas las filas, con un sensor de imagen convencional, el sistema puede realizar el seguimiento de destello utilizando el sensor de perfil, y el seguimiento de PCCR utilizando el sensor convencional. Debido a la información adicional proporcionada por el sensor de perfil, el sensor convencional solo necesita funcionar a 0,5 a 10,0 Hz. Por lo tanto, el sistema puede lograr un consumo de baja potencia, baja latencia y una velocidad de imagen (o muestreo) alta.
Un sensor de perfil que rastrea el destello proporcionará datos de mirada suficientes siempre que el sensor permanezca fijo con respecto a la cara del usuario, mientras que las imágenes del sensor de imagen convencional permiten compensar el deslizamiento cuando el sensor se mueve con respecto a la cara. Sin embargo, en general, los movimientos oculares son sustancialmente más rápidos que cualquier deslizamiento potencial de un dispositivo portátil en la cabeza del usuario. Por lo tanto, interesa encontrar un modo de rastrear únicamente la posición del destello a baja potencia y baja latencia. Esto puede permitir la “foveated rendering” en cascos de RV, en donde una solución de seguimiento ocular de potencia relativamente baja puede permitir ahorros sustanciales en el consumo general de energía del sistema de RV, dado que los requisitos de potencia de producción de gráficos pueden reducirse significativamente.
Por ejemplo, es posible configurar el sensor en un modo donde pasa por dos o más iluminadores, teniendo un único iluminador encendido por exposición al sensor. Por ejemplo, el sensor se estar configurado para que funcione en un ciclo, donde un primer iluminador se ilumina durante una primera exposición del sensor, calculándose posteriormente la suma en al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible y la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible (y se detecta una posición de destello). A continuación, se enciende un segundo iluminador durante una segunda exposición del sensor y, después, se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible y la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible. A continuación, el sensor captura una imagen convencional de al menos una subparte del área sensible del sensor mientras se enciende al menos uno de los iluminadores.
En una aplicación alternativa, el sensor puede configurarse para funcionar en un ciclo, en donde un primer iluminador se enciende durante una primera exposición del sensor y, después, se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible. En segundo lugar, el primer iluminador se enciende durante una segunda exposición del sensor y se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible. A continuación, el sensor captura una imagen convencional de al menos una subparte del área sensible del sensor mientras se enciende al menos uno de los iluminadores.
Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, puede incluir clavijas de salida para sincronizar la exposición de uno o múltiples iluminadores con la exposición del sensor.
Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, también puede soportar la conexión encadenada, permitiendo, por lo tanto, que dos o más sensores se conecten a una unidad de procesamiento a través del mismo bus de datos, por ejemplo, una interfaz MIPI CSI-2.
Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero activado también para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, puede incluir además medios para detectar la distancia a un objeto en su campo de visión. Esto puede hacerse mediante el análisis de “tiempo de vuelo” .
Para compensar los datos del perfil de luz ambiental y/o los datos de imágenes convencionales, puede muestrearse un sensor de imagen periódicamente sin iluminación activa, es decir, sin tener encendido ninguno de los iluminadores.
El sensor de imagen puede utilizarse también para identificar al usuario para el inicio de sesión, seguridad y/u otros motivos, a través del reconocimiento del iris.
También puede diseñarse un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, de modo que cada píxel pueda incluirse únicamente en la suma de columnas o en la suma de líneas cuando el sensor funciona en modo de perfil. Por ejemplo, los elementos de píxel pueden disponerse en un patrón cuadriculado donde únicamente uno de cada dos píxeles pueda sumar se en un perfil de fila y los otros píxeles puedan sumarse en un perfil de columna.
Una aplicación alternativa del sensor de imagen es que el área sensible se divida en un patrón de cuadrícula, donde uno de cada dos píxeles se lee en filas y uno de cada dos píxeles se lee en columnas, teniendo esencialmente un convertidor AD junto a cada fila, y un convertidor AD junto a cada columna. Esto significa que la imagen convencional para este sensor sería dos imágenes a mitad de resolución del sensor, una leída verticalmente y otra leída horizontalmente. Esto añade complejidad computacional para el seguimiento ocular tradicional mediante PCCR. La Fig. 3 muestra tal configuración en un ejemplo, así como otras descritas anteriormente, donde un sensor de imagen de área que emula a un sensor de perfil mediante sus píxeles individuales, un sensor de perfil bidimensional y/o dos sensores de perfil unidimensional orientados ortogonalmente, pueden emplearse de modo que uno de cada dos píxeles de una de cada dos filas (marcada con 'X') se utilice para la adquisición de datos horizontales de destello/imagen (agrupaciones horizontales 1-5), y uno de cada dos píxeles de una de cada dos columnas (también marcada con 'X') se utilice para la adquisición de datos vertical de destello/imagen (agrupaciones verticales 1-5).
El beneficio sería que el sensor pudiera estar diseñado de un modo tal que soporte la agrupación de píxeles horizontales para la imagen leída desde cada línea y la agrupación de píxeles verticales para la imagen leída desde cada columna, facilitando por tanto una detección de destellos de baja potencia. Por ejemplo, el sensor podría estar diseñado para sumar los valores de 8-16 elementos de píxel o aún más en un valor, lo que significa que podría funcionar como un sensor de perfil que soporta una funcionalidad de subventanas, lo que puede facilitar la supresión de señales irrelevantes y un ruido más bajo.
Un sensor activado para funcionar como sensor de perfil, con o sin soporte para subventanas, puede incluir lógicos de HW para detectar el centro del destello, reduciendo de este modo aún más el consumo de energía y de la cantidad de datos necesarios para su envío a una unidad externa de procesamiento. En el caso de que el sensor soporte subventanas, el sensor puede cambiar la posición de la subventana, después de la detección del centro de destello, para asegurar que la siguiente imagen de perfil incluya el destello.
Una aplicación alternativa de un rastreador ocular que soporta tanto el seguimiento ocular tradicional por PCCR como el seguimiento de destello, para permitir el seguimiento ocular de baja potencia con latencia y velocidades de datos que soportan “foveated rendering” , es tener un sensor regular para la obtención de imágenes del ojo, pero incluye un lógico de HW para la detección del centro del destello cuando el sensor funciona en un modo de subventana determinado predefinido. Esto solo puede ser posible, por ejemplo, con una subventana de 24x24 píxeles, 32x32 píxeles, 48x24 píxeles, o alguna otra resolución apropiada.
En algunas realizaciones, se pueden emplear pantallas de diodos orgánicos emisores de luz (OLED). Las pantallas OLED son normalmente transparentes, con un espejo situado detrás de las mismas para asegurar que toda la luz se envíe hacia afuera, hacia el observador. Para fines de seguimiento ocular, puede situarse un espejo frío detrás de una pantalla OLED que refleja esencialmente toda la luz visible procedente de la pantalla hacia el ojo del usuario, pero que deja pasar la luz del NIR. De este modo, puede situarse un sensor de seguimiento ocular que detecta luz del NIR detrás de la pantalla, mirando a través de ella, hacia el observador, proporcionando de este modo un ángulo de visión ventajoso hacia el ojo del usuario.
En cascos de RV es común, además, utilizar lentes de Fresnel para hacer que la pantalla aparezca a una distancia mayor del usuario de la que realmente está. El inconveniente de tener una lente como esta es que distorsiona la imagen de la pantalla y de igual modo distorsiona la imagen del ojo tal como se ve desde un sensor de seguimiento ocular que mira a través de la lente. Por lo tanto, puede ser preferible compensar esta distorsión en los algoritmos de seguimiento ocular.
Un efecto adicional de la lente de Fresnel es que puede causar defectos circulares en la imagen del ojo, como se observa desde el sensor de seguimiento ocular. El patrón es similar al efecto de distorsión de las olas en el agua cuando se lanza una piedra pequeña y se trata de mirar algo debajo de la superficie. Por lo tanto, puede ser preferible calibrar un sensor de seguimiento ocular que mira a un ojo a través de una lente de Fresnel para asegurar que las imágenes del sensor se ajusten para compensar los defectos de la lente de Fresnel, antes de que los algoritmos de visión artificial intenten detectar diferentes características del ojo o destellos.
Puede diseñarse un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, para soportar subventanas. Esto es común en sensores de imagen convencionales, pero permitiendo subventanas cuando estas funcionen en modo de perfil, pueden eliminarse gran parte de los reflejos potencialmente disruptivos o de las fuentes de luz en el campo de visión procedentes del sensor antes de que los elementos de píxel se sumen hasta un perfil de fila y/o un perfil de columna, asegurando por tanto, una mayor precisión en la determinación de la posición de destellos y permitiendo el recentrado de la subventana para la muestra posterior.
La Fig. 3B muestra un diagrama de bloques de métodos 300 posibles descritos anteriormente para determinar la dirección de la mirada de un usuario. En el bloque 310, uno o más ojos se iluminan con uno o más de los iluminadores disponibles. En el bloque 320, se obtienen imágenes de uno o más ojos a través de uno o más de los sensores disponibles (sensores de perfil y/o sensores de imagen de área). Los bloques 310 y 320 pueden repetirse según sea necesario. En el bloque 330, como se ha descrito anteriormente, la cantidad de sensores y/o qué parte de los mismos puede estar limitada a enfocarse en una subventana de píxeles/resolución probables donde probablemente sea necesaria la obtención de imágenes para determinar la localización de la mirada. Los bloques 310, 320 y 330 pueden repetirse según sea necesario. En el bloque 340 puede determinarse la dirección de la mirada, y los bloques 310, 320, 330 y 340 pueden repetirse según sea necesario para volver a determinar continuamente el cambio de dirección de la mirada y/o subventanas según sea necesario.
Espejo caliente
En una realización, como se muestra en la Fig. 4 , se proporciona una lente 400 en un dispositivo portátil, tal como un casco de realidad virtual. La lente 400 se posiciona de modo que un portador del dispositivo puede ver una pantalla 110 a través de la lente 400. Fijado sobre la lente 400 hay un recubrimiento o película 410 de espejo caliente, y fijados sobre la película 410 del espejo caliente hay múltiples iluminadores 420. La película 410 tiene una parte 430 recortada hacia el centro de la lente 400 para permitir que una cámara de seguimiento ocular se vea a través de la lente 400.
El recubrimiento o película 410 de espejo caliente puede aplicarse directamente sobre la lente 400, o para facilitar la fabricación, el recubrimiento o película 410 de espejo caliente también puede estar en forma de una pieza separada que no funciona como una lente. Además, y también para facilitar la fabricación, puede situarse una pieza separada de vidrio o plástico sobre el espejo caliente, y pueden fijarse los iluminadores 420 a esta pieza separada.
Los iluminadores 420 pueden emitir luz infrarroja hacia afuera hacia el ojo de un portador 440 y, después, ser reflejada por el ojo del usuario de vuelta hacia la lente 400. La película 410 tiene las propiedades de un espejo caliente, en otras palabras, la película 410 permite que pase la luz en el espectro visible mientras impide que pase la luz en el espectro infrarrojo. De esta modo, la luz visible emitida por una pantalla 110 detrás de la lente 400 puede pasar al ojo del usuario, al tiempo que se impide que pase la mayor parte de la luz infrarroja.
Un sensor de imagen situado detrás de la lente, y que mira a través de la parte 430 de recorte, captura imágenes del ojo del usuario que contienen reflejos de la luz infrarroja emitida por los iluminadores 420; un dispositivo de procesamiento conectado al sensor de imagen analiza posteriormente esas imágenes para determinar una dirección de la mirada del usuario basándose en los reflejos de la luz infrarroja.
Aunque esta realización se ha descrito con referencia a múltiples iluminadores infrarrojos 420, es posible que la invención funcione adecuadamente con solo un iluminador.
Los iluminadores 420 pueden aplicarse a la película 410 de múltiples formas, primero simplemente con adhesivo o, de forma alternativa, una posible aplicación es imprimiendo componentes electrónicos directamente sobre la película 410. Además, los iluminadores 420 tendrán que tener líneas de comunicación aplicadas a la película 410 de modo que los iluminadores puedan recibir energía para encenderse y apagarse.
En una realización, el dispositivo portátil incluye dos lentes 400 con una película asociada 410 e iluminadores 420. La película 410 puede aplicarse a la lente con adhesivo o alguna otra sustancia semipermanente. En un sistema con dos lentes, la luz puede reflejarse desde la piel de un usuario hacia las lentes, por lo cual las lentes tienen un efecto de guía de onda y canalizan la luz lejos del dispositivo portátil. La presencia del espejo caliente 410 actúa para disminuir la aparición de esta luz.
En una realización, los iluminadores 420 pueden estar situado en el lado de la lente 400 (o piezas adicionales como se ha descrito anteriormente). La iluminación procedente de los iluminadores 420 puede viajar después a través de la lente 400 para que se emita delante de los ojos del usuario. Este guiado de la luz se produce en un área de la lente donde se ha aplicado el espejo caliente 410, para impedir que la iluminación se emita hacia la pantalla 110.
En otra adición a la presente invención, puede añadirse un espejo caliente 410 en ángulo delante de la pantalla 110, y el sensor de imagen puede estar dispuesto para ver el espejo caliente. A continuación, la lente 400 se sitúa delante del ojo de un usuario con iluminadores 420 situados adyacentes al mismo. Los iluminadores 420 iluminan el ojo del usuario, y debido a que la lente 400 tiene una película o recubrimiento de espejo caliente, como se ha descrito anteriormente, se reduce la iluminación difusa procedente de los iluminadores 420. Un recorte en la película o recubrimiento del espejo caliente permite que el sensor de imagen pueda capturar imágenes del ojo del usuario a través del espejo caliente en ángulo.
Algoritmos
En varias realizaciones, se utilizan algoritmos para determinar, a partir de una imagen que contiene un ojo y reflejos de luz infrarroja procedentes de dicho ojo, una dirección de la mirada del ojo. Una unidad de procesamiento realiza cálculos en función de algoritmos que utilizan imágenes capturadas para determinar la dirección de la mirada.
Los algoritmos utilizados en los dispositivos portátiles descritos en la presente memoria son sustancialmente similares a los algoritmos utilizados en unidades de seguimiento ocular existentes remotas. Como tal, el experto en la técnica entenderá bien el enfoque fundamental para determinar una dirección de la mirada.
Sin embargo, a continuación, se describen varias mejoras.
Posición de la pupila
Una etapa para determinar una dirección de la mirada en un dispositivo de seguimiento ocular consiste en estimar la posición y el tamaño de la pupila. En algunas realizaciones, puede utilizarse el siguiente método para estimar el tamaño y/o la posición de la pupila.
En una imagen capturada, se analizan las localizaciones de las reflexiones de la luz infrarroja emitida por los iluminadores para determinar su localización con respecto a una imagen capturada previamente. A continuación, se utilizan los desplazamientos de los reflejos, en combinación con la posición de la pupila de una imagen capturada previamente, para determinar la posición de la pupila en la imagen actual.
Lente de fresnel
Cuando una lente de Fresnel está presente en un dispositivo portátil, una imagen capturada por el sensor de imagen de seguimiento ocular a través de la lente de Fresnel contiene, de forma típica, círculos concéntricos como los presentes en la lente de Fresnel. Estos círculos concéntricos pueden ser determinados erróneamente como bordes de pupila por la unidad de procesamiento cuando se intenta determinar la detección de mirada, por lo tanto es necesario retirar rápidamente y con precisión estos círculos concéntricos.
En algunas realizaciones, estos círculos concéntricos se eliminan de una imagen capturada utilizando erosión. La erosión es un concepto de procesamiento de imágenes que sería bien entendido por un experto en la técnica. Utilizando la erosión, se pasa un kernel pequeño, por ejemplo, de 3x3 o 5x5 píxeles, sobre la imagen capturada píxel a píxel. Para cada píxel, el valor de intensidad se sustituye por el píxel más oscuro cerca del píxel, en donde el tamaño de proximidad es definedo por el kernel. Dado que la pupila en una imagen capturada es oscura, los círculos concéntricos claros en la imagen capturada se sustituyen por la pupila oscura.
Luz de enmascaramiento
Otra realización permite el uso de hardware o software para realizar operaciones matemáticas a lo largo de líneas a través de un sensor de imagen bidimensional para proporcionar una salida similar a la de un sensor de perfil. Las líneas pueden ser, de forma típica, las filas y columnas de ese sensor, pero no necesariamente se limitan a estas orientaciones. Esto permitiría otras operaciones además de solo calcular la media y/o suma de todos los valores de píxeles en una línea, así como hacer posible enmascarar la contribución de luz de partes de la imagen que se sabe que no contienen ningún destello. La contribución de la luz de enmascaramiento de las partes de la imagen que no contienen ningún destello aumenta la relación señal a ruido y, por lo tanto, ayuda a detectar el destello permitiendo examinar el perfil de intensidad de una respuesta de perfil. En realizaciones ilustrativas, el área a enmascarar puede ser todo fuera de la córnea, y la salida más reciente de los algoritmos de seguimiento ocular podría utilizarse para dar un área aproximada a enmascarar.
La simulación de un sensor de perfil bidimensional mediante el uso de un sensor de imagen tradicional reduce la carga computacional requerida para el seguimiento ocular y, por lo tanto, el consumo de potencia. Sin embargo, la velocidad de imagen queda limitada a la velocidad de imagen de los sensores de formación de imágenes bidimensionales.
Es posible enmascarar la contribución de luz de partes de la imagen que no contengan ningún destello incluso cuando se usa un sensor de perfil real.
Un método para enmascarar la luz de partes de la imagen que se sabe no contienen ningún destello es utilizando uno o varios iluminadores cuya luz puede controlarse espacialmente (tal como una matriz OLED de infrarrojos detrás de una lente, cualquier disposición con un proyector DLP o LCOS, o una multitud de otras soluciones fácilmente entendidas por un experto en la técnica).
Otra modo de enmascarar la luz de las partes de la imagen conocidas por no contener ningún destello es mediante el uso de elementos que bloquean las partes de la luz antes de entrar en el sensor de perfil. Esos elementos de bloqueo podrían estar basados en LCD, basados en mecánica o basados en una multitud de otras soluciones fácilmente comprendidas por un experto en la técnica.
Simulación de un sensor de perfil utilizando un sensor de imagen tradicional
Es posible utilizar un sensor de imagen tradicional que incluya una matriz de píxeles para simular un sensor de perfil, como se ha explicado anteriormente. Para lograr esto, el hardware o software puede realizar operaciones matemáticas (tales como calcular el nivel de intensidad promedio a lo largo de una línea en el sensor o la suma de todos los niveles de intensidad a lo largo de una línea en el sensor) para proporcionar una salida similar a la de un sensor de perfil. De forma típica, esto equivaldría a producir filas o columnas del sensor tradicional. Sin embargo, es posible generar cualquier configuración de píxeles, por ejemplo, una línea diagonal. Utilizando este sistema simulado, es posible realizar más operaciones que solo la media tradicional y la suma de todos los valores de píxeles en una línea, tal como el enmascaramiento, como se ha descrito anteriormente. Además, sería posible enmascarar la luz detectada desde áreas de una imagen capturada (píxeles en el sensor de imagen) conocida por no contener ningún destello. Realizando esta función de enmascaramiento, puede aumentarse la relación de señal a ruido. Un ejemplo de un área a enmascarar es el área fuera de la córnea de un usuario, ya que esta área no puede contribuir con un destello.
Puede enmascararse la luz de las áreas de una imagen que no contribuyen a un destello utilizando un sensor de perfil tradicional. Otras opciones para enmascarar la luz incluyen el uso de iluminadores cuya luz pueda controlarse espacialmente, tales como una matriz OLED infrarroja detrás de una lente, cualquier disposición con un proyector DLP o LCOS, o cualquier otra solución fácilmente comprendida por un experto en la técnica. Otra opción es bloquear la luz procedente de las áreas no contribuyentes impidiendo que llegue al sensor, esto puede lograrse mediante una solución mecánica, una solución de LCD o cualquier otra solución comprendida por un experto en la técnica. Una solución de LCD mecánica puede incluir situar una LCD transparente delante de un sensor de perfil.
Rastreador ocular sincronizado con la pantalla
Para determinadas aplicaciones de seguimiento ocular es útil sincronizar el dispositivo de seguimiento ocular con la pantalla, especialmente en un dispositivo portátil. Según este aspecto de las realizaciones de la presente invención, se proporciona un dispositivo portátil con una pantalla, al menos una cámara y al menos un iluminador. Las cámaras e iluminadores forman un dispositivo de seguimiento ocular. La o las cámaras y/o el o los iluminadores pueden sincronizarse con la pantalla. La sincronización puede caracterizarse como sincronizar la velocidad estroboscópica de la cámara con la sincronización vertical de la pantalla.
Además, es deseable sincronizar el dispositivo de seguimiento ocular con uno o más dispositivos de posición. Por ejemplo, el dispositivo de seguimiento ocular puede sincronizarse con una unidad de medición inercial o similar, o con un dispositivo de posición de sala que utiliza luz infrarroja u otra luz no visible. Valve® ha propuesto dicho sistema con el nombre “ Lighthouse” . Un experto en la técnica entenderá fácilmente cómo puede funcionar tal sincronización.
Rastreador ocular extraíble
Según otro aspecto de las realizaciones de la presente invención, se proporciona un rastreador ocular extraíble donde el rastreador ocular puede insertarse en un dispositivo portátil. El rastreador ocular puede integrarse con otro dispositivo, como un teléfono, tablet, reloj, pantalla o similares.
El rastreador ocular puede incluir al menos una cámara y al menos un iluminador, y su función primaria puede ser el seguimiento de la mirada de un usuario con respecto al dispositivo en el que hay integrado, por ejemplo, un teléfono, tablet o reloj. Como función secundaria, el dispositivo en el que se integra a veces el rastreador ocular, puede insertarse en un dispositivo portátil. El dispositivo puede proporcionar entonces funcionalidad al dispositivo portátil tal como una pantalla, y el rastreador ocular puede utilizarse para determinar la dirección de la mirada del portador del dispositivo portátil. El método de funcionamiento del rastreador ocular puede ser cualquier método tradicional o cualquier método descrito en la presente memoria.
Autenticación de sonrisa
Según un aspecto de la presente invención, un sensor de imagen en un dispositivo portátil utilizado para el seguimiento ocular puede utilizarse también para capturar imágenes de un área alrededor de los ojos de un usuario. Por ejemplo, estas imágenes pueden analizarse para determinar si un usuario está sonriendo, y si esa sonrisa es genuina o falsa. Las características de las áreas alrededor de los ojos de un usuario pueden utilizarse para determinar si una sonrisa es falsa o genuina. Véase, por ejemplo, Littlewort-Ford, Gwen, Marian Stewart Bartlett, y Javier R. Movellan, “ ¿Are your eyes smiling? Detecting Genuine Smiles with Support Vector Machines and Gabor Wavelets,” Proceedings of the 8th Joint Symposium on Neural Computation, 2001.
Según realizaciones de la presente invención, un sensor de imagen utilizado para el seguimiento ocular captura al menos una parte del área alrededor de los ojos cuando captura imágenes de los ojos, estas imágenes pueden analizarse posteriormente utilizando algoritmos de detección de sonrisa conocidos u otros algoritmos para determinar si la sonrisa de un usuario u otra característica facial es falsa o genuina.
Calibración basada en la identificación del iris
Según realizaciones de la presente invención, un sensor de imagen utilizado para seguimiento ocular captura además información relacionada con el iris de un usuario. Esta información del iris puede utilizarse para determinar la identidad del usuario para la entrada en un sistema conectado al rastreador ocular.
Por ejemplo, según algunas realizaciones de la presente invención, se proporciona un dispositivo portátil en donde se proporciona al menos un sensor de imagen y al menos un iluminador infrarrojo. El sensor de imagen e iluminador se orientan hacia un ojo u ojos de un usuario que lleva puesto el dispositivo. Opcionalmente, el dispositivo contiene además una pantalla, tal como una pantalla de realidad virtual en un casco portátil.
El sensor de imagen captura imágenes del iris del usuario y pasa dichas imágenes a un dispositivo de procesamiento, el dispositivo de procesamiento puede estar situado en el dispositivo portátil o puede estar situado lejos del dispositivo de procesamiento, en cuyo caso la comunicación puede llevarse a cabo mediante medios por cable o inalámbricos como comprenderá el experto en la técnica.
El reconocimiento del iris es una técnica conocida y utiliza técnicas de reconocimiento de patrones matemáticos para identificar de modo único un patrón en un iris, o ambos, de un usuario para la identificación o autenticación del usuario. En su forma más básica, el reconocimiento del iris incluye las etapas de (1) localización - calcular los límites interiores y exteriores del iris; (2) normalización - normalizar los datos capturados para que sean coherentes; (3) extracción de características - formar de un vector de características extraídas de las imágenes capturadas; y (3) concordancia - clasificar el vector de características mediante técnicas de umbralización.
Se han propuesto muchos algoritmos que permiten el reconocimiento del iris, véase, por ejemplo, Daugman J. G., High Confidence Visual Recognition of Persons by a Test of Statistical Independence, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.: 15, N.° 1 I, 1993, págs. 1148- 1161.
Basándose en las imágenes del iris del usuario, la unidad de procesamiento conectada (por cable o de forma inalámbrica) con el dispositivo portátil, puede utilizar la identificación del usuario para influir en su función. Por ejemplo, cuando se utiliza un rastreador ocular, la unidad de procesamiento puede cargar un perfil de calibración que proporciona información específica a un usuario con respecto a una desviación entre su posición de mirada calculada y su posición de mirada real. A modo de otro ejemplo, la identificación puede utilizarse para autenticar al usuario como autorizado para accionar el dispositivo portátil, u accionar la unidad de procesamiento conectada al mismo.
Compensación de la torsión ocular
Según otro aspecto de las reivindicaciones de la presente invención, es posible seguir la torsión ocular. A modo de explicación, el ojo humano está unido a los músculos de modo que el ojo, además de moverse a la izquierda/derecha y hacia arriba/abajo, puede rotar de modo que la parte superior del iris puede rotar más cerca de la nariz al tiempo que la parte inferior del iris rota alejándose de la nariz. También es posible la rotación opuesta. Este tipo de rotación se conoce, de forma general, como torsión ocular.
Cuando un ser humano gira ligeramente la cabeza hacia el lado, la mayoría de los seres humanos giran automáticamente los ojos ligeramente en la dirección opuesta, manteniendo los ojos cerca del nivel con el horizonte. Este efecto solo se produce durante rotaciones pequeñas, ya que no es posible rotar el ojo un gran número de grados de este modo.
Este fenómeno introduce una fuente adicional de errores en los sistemas de seguimiento ocular para todas las personas cuya fóvea no esté perfectamente centrada a lo largo del eje óptico del ojo.
La presente invención puede seguir la torsión ocular observando el iris y/u otras características del globo ocular y/o utilizando información de procedente del rastreador ocular. Esto puede proporcionar al rastreador ocular una mejor estimación de la posición de la fóvea y, por lo tanto, proporcionaría una mejor estimación de la mirada del sujeto con seguimiento ocular cuando inclina la cabeza.
Curvatura de la córnea
Según una realización de las realizaciones de la presente invención, el al menos un sensor de imagen captura imágenes del ojo de un usuario. La unidad informática utiliza esta información para determinar la forma de la córnea de un usuario. Dependiendo de la posición y orientación de los reflejos procedentes de una fuente de luz infrarroja, puede medirse la curvatura de una córnea. En algunas personas, su córnea tiene una curvatura anormal. Esto puede denominarse astigmatismo.
Con el uso de información obtenida de un sensor de imagen y de fuentes de luz infrarroja, puede modelizarse la curvatura de la córnea y, por lo tanto, puede identificarse a un usuario con una córnea con forma anormal. Con la determinación de la forma de la córnea, pueden tomarse medidas correctivas, tales como la prescripción de una lente adecuada.
Reducción del consumo de energía y de la energía de procesamiento
En algunas realizaciones, para reducir aún más el consumo de energía de un dispositivo portátil que puede incluir una pantalla de realidad virtual u otro sistema de visualización, un dispositivo de seguimiento ocular puede rastrear solo directamente la posición de la mirada de un primer ojo del usuario. A continuación, puede determinarse la posición de la mirada del segundo ojo del usuario mediante una predicción basada, al menos en parte, en la posición de la mirada determinada directamente para el primer ojo.
Esto puede lograrse asumiendo que el segundo ojo está aproximadamente en el mismo nivel horizontal del primer ojo, como es biológicamente típico en los seres humanos. De este modo es posible ahorrar la energía que de otro modo utilizaría un dispositivo de seguimiento ocular adicional (que incluye iluminadores, sensores de imagen y/o energía de procesamiento). En algunas realizaciones pueden utilizarse las posiciones de mirada determinadas y predichas combinadas de ambos ojos para determinar una región para “foveated rendering” en una pantalla del dispositivo portátil, proporcionando un ahorro de energía adicional debido al aumento de la eficiencia en la reproducción de vídeo.
En algunas realizaciones, un software particular, como el de juegos y/u otras aplicaciones gráficas de alto nivel, puede solicitar datos de mirada del dispositivo de seguimiento ocular para informar a la aplicación de cómo interactuar posiblemente con el usuario en el futuro, cuánta información gráfica proporcionar a una unidad de procesamiento de gráficos y/o para otro propósito. Si bien en otras realizaciones toda la información de dirección de la mirada puede pasarse a dichas aplicaciones, permitir que las aplicaciones individuales soliciten dicha información, y proporcionar dicha información únicamente previa petición, puede dar lugar a un ahorro de energía y de procesamiento.
Barrido y centrado de realidad virtual
Según la presente invención, se proporcionan soluciones para facilitar la capacidad de un usuario para hacer un barrido, y después de eso centrar una pantalla de realidad virtual u otro sistema de visualización en un dispositivo portátil por el usuario. De forma típica, debido a que una pantalla de realidad virtual es infinita en cualquier dirección (es decir, un usuario que mira hacia la derecha en una pantalla virtual eventualmente girará 360 grados para ver la escena original), el barrido puede volverse incómodo para el usuario debido a que solo puede girar su cabeza hasta que sea incómodo para el usuario continuar girando su cabeza.
Para aliviar este problema, los sistemas descritos en la presente memoria pueden permitir que un usuario realice un barrido en la pantalla de realidad virtual girando la cabeza y moviendo su localización de mirada hacia una dirección determinada en la que se hará el barrido, pero permitiendo que la escena visualizada vuelva a centrarse alrededor de un punto cuando se determine que, mientras la cabeza del usuario sigue girada, la dirección de la mirada del usuario se ha centrado de nuevo en la escena (es decir, su localización de la mirada ya no está realizando un barrido).
En algunas realizaciones, el recentrado de la dirección de la mirada debe producirse durante al menos un período de tiempo predefinido para asegurar que el usuario realmente haya finalizado el barrido de su vista. Por ejemplo, la mirada del usuario debe volver a una región relativamente central de la vista actual. En algunas realizaciones el usuario puede fijar el tamaño, forma y posición de la región. En algunas realizaciones, la región puede ser visible de distintas formas, potencialmente según lo establecido por el usuario (es decir, puede superponerse una indicación ligeramente coloreada de la región sobre otro contenido en la pantalla). En algunas realizaciones puede proporcionarse una indicación (es decir, un indicio audible o visual) al usuario para confirmar que la vista de pantalla virtual se ha recentrado, y puede mover nuevamente su posición de la cabeza a una posición frontal, central y neutra. El sistema puede permitir este recentrado de la cabeza del usuario sin hacer que la pantalla vuelva a realizar el barrido en la dirección opuesta al barrido original.
De forma similar, si la dirección de la mirada de un usuario también está en la misma dirección que su movimiento de cabeza, o dentro de una dirección angular determinada/predefinida mutua, la velocidad de barrido puede iniciarse y/o aumentar en situaciones donde la cabeza del usuario permanezca recta (es decir, donde el barrido se detenga y/o disminuya su velocidad), pero su dirección de la mirada indica que se desea un barrido (es decir, al mover la dirección de la mirada hacia los bordes de la vista periférica). Además, la velocidad de extracción podría depender de, y/o ser directamente proporcional a, la magnitud del movimiento de la cabeza del usuario. Eso significa que los movimientos grandes o repentinos de la cabeza del usuario podrían aumentar rápidamente la velocidad de barrido, mientras que los movimientos pequeños o lentos de la cabeza del usuario podrían aumentar lentamente la velocidad de barrido.
Por lo tanto, según realizaciones de la invención, se proporcionan sistemas y métodos para el barrido (y recentrado) de contenido en una pantalla de un dispositivo portátil. Como se muestra en la Fig. 5 , los sistemas descritos en la presente memoria ejecutan un método 500 que incluye en el bloque 510, determinar, por medio de un dispositivo de seguimiento ocular, una dirección de la mirada de un usuario de un dispositivo portátil. El método incluye también en el bloque 520, determinar, mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario del dispositivo portátil. El sistema de detección de movimiento puede incluir cualquier dispositivo interno/integrado o externo/remoto para determinar la posición de la cabeza del usuario. El sistema de detección de movimiento puede determinar la posición de la cabeza a través de cualquier medio conocido actualmente, o conocido posteriormente, en la técnica.
El método puede incluir también, en el bloque 530, basado al menos en parte en la dirección de la mirada y en la dirección de la cabeza ambas que son consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil se barra en la dirección particular. El método incluye, en el bloque 540, determinar, durante el barrido del contenido, con el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra. El método incluye también, basado al menos en parte, en la dirección de la mirada del usuario que vuelve a la posición neutra, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.
Además, la dirección de la cabeza del usuario que supere una determinada dirección angular desde una dirección neutra/hacia delante también puede ser la dirección/velocidad de barrido. De forma general, la velocidad de barrido puede basarse en la dirección de la mirada y en la dirección de la cabeza. El usuario puede proporcionar una entrada adicional para ordenar al sistema que detenga el barrido. Además, en algunas realizaciones, el sistema puede proporcionar una indicación visual y/o audible al usuario de que el barrido se ha detenido, y el usuario puede mover la cabeza de vuelta a la dirección hacia adelante/neutra sin preocuparse de que ocurra el barrido en la dirección inversa (como se muestra en el bloque 550).
Mapeo de realidad virtual de dispositivos de entrada
En otros ejemplos que no forman parte de la presente invención, la detección de la mirada puede permitir el mapeo de las acciones del dispositivo de entrada sobre la superficie de un objeto virtual en una pantalla de realidad virtual. Por ejemplo, si hay situada una esfera virtual en el espacio virtual, el dispositivo de seguimiento ocular puede determinar que en algún punto la dirección de la mirada del usuario es hacia la esfera. Después de recibir una entrada secundaria, o el vencimiento de un período de tiempo predefinido, los dispositivos de entrada asociados pueden tener sus controles mapeados al objeto virtual.
La entrada secundaria podría incluir una entrada de contacto de un dispositivo de entrada tradicional, tal como un teclado, un panel táctil (u otro dispositivo táctil), un ratón o una trackball; o también podría incluir una entrada sin contacto, tal como un comando de voz o una entrada de la mirada. Más específicamente, una entrada de contacto puede tener una entrada direccional en la superficie sensible al tacto que controla el mapeo en la esfera virtual a una posición designada por el usuario; en donde la entrada de dirección significa un gesto táctil; y la entrada de contacto puede ser también una señal de presión recibida desde un dispositivo sensible a la presión asociado a la superficie sensible al tacto; por último, pero no menos importante, la entrada de contacto puede combinarse con el tacto de presión y el gesto táctil. Una entrada de proximidad puede ser también posible cuando la entrada táctil de proximidad se recibe desde un dispositivo táctil asociado a un sensor de proximidad sin contacto físico con la superficie táctil.
El control de mapeo de un dispositivo de entrada al objeto puede adoptar muchas formas. Por ejemplo, si un ratón es el dispositivo de entrada que se mapea, la entrada del ratón puede determinar una rotación del objeto en el espacio virtual, o puede hacer que un indicador visual, como un puntero, en el objeto, se mueva alrededor del objeto virtual. Esto puede permitir que el usuario ejecute acciones complejas utilizando el objeto virtual.
En otro ejemplo, puede haber presente en la pantalla de realidad virtual un panel de control virtual que tenga muchas entradas virtuales, tales como interruptores y botones. Al determinar que la dirección de la mirada del usuario se dirige al panel de control virtual, y que ha pasado un período predefinido de tiempo o que se ha recibido una entrada secundaria, pueden mapearse los controles de un teclado o ratón al panel de control. Esto puede permitir que las teclas del teclado se mapeen del modo correspondiente al panel de control o el movimiento del ratón para hacer que un indicador visual o puntero (es decir, una representación visual de la mano del usuario) se mueva a través del panel de control para seleccionar o activar diversas entradas virtuales en el mismo.
En algunos ejemplos que no forman parte de la invención, una parte predefinida del panel de control virtual (u otro objeto virtual) puede ser el área en que debe estar la dirección de la mirada del usuario para activar el mapeo de control (en vez de que la dirección de la mirada del usuario esté situada en cualquier parte del panel de control). En algunas realizaciones, la parte predefinida puede indicarse visualmente y/o etiquetarse en la pantalla virtual.
Por lo tanto, en algunos ejemplos que no forman parte de la invención, pueden proporcionarse sistemas que realizan los métodos tratados en la presente memoria. En un ejemplo mostrado en la Fig. 6 , un método 600 para mapear un dispositivo de entrada a un objeto virtual en el espacio virtual visualizado en un dispositivo de visualización puede incluir, en el bloque 610, determinar, a través de un dispositivo de seguimiento ocular, una dirección de la mirada de un usuario.
El método puede incluir también, en el bloque 620, basado al menos en parte en la dirección de la mirada dirigida a un objeto virtual en el espacio virtual mostrado en un dispositivo de visualización, modificar una acción que deban tomar uno o más procesadores en respuesta a recibir una primera entrada desde un dispositivo de entrada. Esto puede ocurrir también en respuesta a la dirección de la mirada dirigida al objeto virtual durante al menos un período de tiempo predefinido, o mientras se recibe una entrada secundaria. También puede notificarse al usuario mediante una indicación visible/audible de que se ha modificado la acción potencial.
La modificación de la acción puede incluir modificar la acción de una acción normal a tomar como respuesta a la recepción de la primera entrada a una acción especializada en el espacio virtual asociado al objeto virtual. La acción especializada en el espacio virtual asociada al objeto virtual puede provocar que la primera entrada gire el objeto virtual y/o provocar que la primera entrada mueva el objeto virtual. En estas u otras realizaciones, la acción especializada en el espacio virtual asociado al objeto virtual puede hacer que la primera entrada mueva un objeto secundario sobre la superficie del objeto virtual. El objeto secundario puede moverse en una dirección que corresponde a una dirección asociada a la primera entrada, y puede ser un puntero u otro marcador de localización virtual.
El método puede incluir también a continuación, en respuesta a la recepción de la entrada del dispositivo de entrada, en el bloque 630, hacer que la acción se produzca en el bloque 640, en donde la acción correlaciona la primera entrada con una interacción con el objeto virtual.
En respuesta a una entrada de un usuario, quizá una entrada terciaria u otra entrada, después de transcurrido un determinado período de tiempo, o porque su mirada se ha alejado del objeto virtual en cuestión, puede detenerse el mapeo de la entrada al objeto virtual, como se muestra en el bloque 650.
Simplemente a modo de ejemplo, los dispositivos de entrada que podrían mapearse incluyen un dispositivo táctil, una pantalla táctil, un dispositivo sensible a la presión, un ratón, una trackball, un joystick, un controlador portátil, un lápiz, un teclado, un dispositivo de entrada de voz y/o cualquier otro dispositivo de entrada descrito en la presente memoria o conocido en la técnica.
En algunos ejemplos que no forman parte de la invención, puede ampliarse o desampliarse el efecto aparente de un dispositivo de entrada mapeado a un objeto virtual como se describe en la presente memoria, como percibirá el usuario durante el funcionamiento. Simplemente a modo de ejemplo, en una realización en donde un usuario gira una representación virtual de un planeta, una entrada de movimiento muy pequeña de un ratón mapeada a dicho objeto virtual puede provocar un gran grado de giro del planeta virtual. Por el contrario, cuando un usuario gira una representación virtual de una molécula, una entrada muy grande de un ratón que se mapea a dicho objeto virtual puede provocar únicamente un pequeño grado de giro de la molécula virtual. La cantidad de ampliación o desampliación puede depender de otra entrada establecida por el usuario, o puede programarse previamente en la aplicación particular. La ampliación o desampliación también puede ser variable dependiendo de diversas variables establecidas de programas y usuarios.
Áreas predichas de sacudidas oculares de interés en una pantalla
En algunas realizaciones, pueden detectarse y utilizarse las sacudidas oculares de un usuario para estimar o determinar dónde se encontrará la dirección de la mirada del usuario una vez completada la sacudida ocular. Además, pueden analizarse las sacudidas oculares para distintos usuarios individuales, y almacenarse la información relacionada con los mismos, para predecir cambios futuros en la dirección de la mirada para un usuario particular al producirse las sacudidas oculares de esta modo (es decir, las sacudidas oculares de velocidades distintas para usuarios distintos dan lugar a distintos cambios angulares en la dirección de la mirada).
Además, las regiones u objetos de interés destacados conocidos pueden informar también de cualquier algoritmo de predicción de la probabilidad de que la dirección de la mirada de un usuario se encuentre eventualmente en la misma una vez completada una sacudida ocular en la dirección de la región u objeto. También pueden analizarse los patrones de dirección de la mirada de un usuario, que incluyen los períodos de tiempo durante los que la dirección de la mirada de un usuario está en una región u objeto determinado, para determinar si tales regiones u objetos son particularmente destacados cuando se muestran en el futuro.
Por tanto, la información anterior con respecto a las sacudidas oculares del usuario y los cambios de la dirección de la mirada sea en la dirección de regiones u objetos destacados conocidos o desconocidos, puede utilizarse para aplicar el “foveated rendering” . Por ejemplo, si va a mostrarse una región u objeto destacado conocido en la pantalla virtual, y en el momento de visualizar la región u objeto hay una sacudida ocular del usuario hacia la región u objeto, la región u objeto puede representarse con mayor calidad antes de que la dirección de la mirada del usuario llegue a la misma.
Incluso cuando se desconoce la notoriedad de una región u objeto cuando se muestra, o cuando no se muestra ninguna región u objeto particularmente destacado, puede determinarse o estimarse un cambio angular en la dirección de la mirada, y la correspondiente región de visualización resultante probable, detectando que se está producido una sacudida ocular. La cantidad determinada o estimada de cambio angular en la dirección de la mirada puede ser particular para el usuario sobre la base de los datos de sacudidas oculares registradas anteriormente, o pueden ser datos por defecto aplicables a todos los usuarios, quizá antes de que estén disponibles los datos registrados para un usuario particular.
En algunas realizaciones, si la información de sacudidas oculares no permite la determinación precisa de la dirección de la mirada probable del usuario, pueden representarse con mayor calidad múltiples regiones u objetos destacados conocidos situados en las direcciones de mirada más probables. En algunas realizaciones, el aumento en la calidad de representación para cada región u objeto puede ser proporcional a la probabilidad de que la dirección de la mirada del usuario pueda eventualmente estar en la misma. Por ejemplo, si dos regiones tienen la misma probabilidad de ser el área de mirada resultante de la sacudida ocular de un usuario, la calidad de representación para ambas regiones puede aumentarse de modo similar. Sin embargo, si una región es el área de mirada resultante más probable, puede mejorarse su calidad de representación en un grado mayor que el área de mirada resultante menos probable.
El modo en que la imagen visualizada en el dispositivo 110 de visualización puede modificarse mediante el dispositivo de procesamiento de gráficos puede variar dependiendo de la realización, pero no obstante, la forma en que se visualiza la imagen puede estar prevista para aumentar la calidad de imagen de las partes de la imagen en que se orienta la mirada de un usuario, o la mirada enfocada, con respecto a aquellas partes de la imagen a las que no se dirige la mirada del usuario ni la mirada enfocada. De este modo se maximiza el uso de los recursos disponibles del dispositivo de procesamiento de gráficos, y/u otros recursos del sistema, para suministrar calidad de imagen donde sea más importante en el dispositivo 110 de visualización. Para demostrarlo, la Fig. 9 ilustra un dispositivo 110 de visualización que muestra el punto 910 de mirada de un usuario y un área 920 alrededor del punto 910 de mirada de un usuario en el que las realizaciones de la invención pueden aumentar la calidad de la imagen con respecto al área restante 930 del dispositivo 110 de visualización. Por lo tanto, en varias realizaciones de la invención, la calidad de la imagen producida a través del dispositivo 110 de visualización puede aumentarse en el área 920 con respecto al área restante 930.
Cuando se describe en la presente memoria la “ modificación” de una imagen presentada en el dispositivo 110 de visualización, debe entenderse que lo que se pretende es que una imagen posterior visualizada en el dispositivo 110 de visualización sea distinta de una imagen anterior visualizada en el dispositivo 110 de visualización. Por lo tanto, el dispositivo de procesamiento de gráficos y el dispositivo 110 de visualización, u otros dispositivos descritos en la presente memoria, “ modifican” una imagen haciendo que se muestre una primera imagen y, después, se muestre una segunda imagen que sea distinta a la primera imagen. Se entenderá también que cualquier otro cambio de una imagen descrita en la presente memoria, por ejemplo, aumentar o disminuir la calidad de la imagen, significa que una imagen posterior es distinta de una imagen anterior. Obsérvese que un cambio o modificación de una imagen puede incluir cambiar o modificar únicamente una parte de la imagen. De este modo, algunas partes de una imagen anterior pueden ser iguales a una imagen posterior, mientras que otras partes pueden ser distintas. En otras situaciones, la totalidad de una imagen anterior puede ser distinta de una imagen posterior. Debe entenderse que la modificación de un área o de la totalidad de una imagen no necesariamente significa que se cambia cada parte finita del área o la totalidad (por ejemplo, cada píxel), sino más bien que el área o la totalidad puede cambiarse de algún modo potencialmente consistente, predefinido u ordenado (por ejemplo, se cambia la calidad de la imagen).
Aumentar la calidad de la imagen puede incluir aumentar la calidad de una cualquiera o más de la lista no exclusiva de características gráficas que sigue, además de otras características posibles conocidas en la técnica:
- Resolución: El número de píxeles distintos que pueden visualizarse en una o más dimensiones. Por ejemplo, “ 1024 x 768” significa 1024 píxeles visualizados en altura y 768 píxeles visualizados en anchura.
- Sombreado: Variación del color y brillo de los objetos gráficos dependiendo de la iluminación artificial proyectada por las fuentes de luz emuladas por el dispositivo 130 de procesamiento de gráficos.
- Mapeo de textura: El mapeo de imágenes gráficas o “texturas” sobre objetos gráficos para proporcionar a los objetos una apariencia particular. La resolución de las texturas influye en la calidad del objeto gráfico al que se aplican.
- Mapeo de protuberancias: Simulación de protuberancias a pequeña escala y gradientes rugosos en las superficies de objetos gráficos.
- Medio de niebla/participante: La atenuación de la luz cuando pasa a través de una atmósfera o aire no claro.
- Sombras: Emulación de la obstrucción de la luz.
- Sombras suaves: Variación en la sombra y oscuridad causada por fuentes de luz parcialmente oscurecidas. - Reflejo: Representaciones de superficies reflectantes de alto brillo o de espejo.
- Transparencia/opacidad (óptica o gráfica): Transmisión nítida de luz a través de objetos sólidos.
- Translucencia: Transmisión de luz muy dispersa a través de objetos sólidos.
- Refracción: Desvío de la luz asociada a la transparencia.
- Difracción: Desvío, dispersión e interferencia de la luz que pasa por un objeto o abertura que interrumpe el rayo de luz.
- Iluminación indirecta: Superficies iluminadas por la luz reflejada desde otras superficies, en lugar de directamente desde una fuente de luz (también conocida como iluminación global).
- Cáustica (forma de iluminación indirecta): Reflejo de la luz de un objeto brillante, o enfoque de luz a través de un objeto transparente, para producir detalles brillantes sobre otro objeto.
- Anti-solapamiento: Proceso de mezclar el borde de un objeto mostrado para reducir la aparición de un exceso de nitidez o de líneas aserradas. De forma típica, se utiliza un algoritmo que muestrea colores alrededor del borde del objeto mostrado para mezclar el borde con sus alrededores.
- Velocidad de imagen: Para una imagen animada, el número de fotogramas individuales mostrados durante un período de tiempo determinado para crear movimiento en la imagen.
- 3D: Características visuales y temporales de una imagen que hacen que la imagen parezca ser tridimensional a un observador.
El tamaño y la forma del área de la imagen que puede modificarse para aparecer en mayor calidad pueden variar dependiendo de la realización. Simplemente a modo de ejemplo, la forma del área puede ser circular, ovalada, cuadrada, rectangular o poligonal. En algunas realizaciones, la calidad de la imagen dentro del área puede aumentarse uniformemente. En otras realizaciones, el aumento en la calidad de la imagen puede ser mayor en el centro del área (es decir, próximo al punto de mirada) y disminuir hacia los bordes del área (es decir, distal al punto de mirada), quizá para que coincida con la calidad de la imagen que rodea el área. Para demostrarlo, la Fig. 10A muestra cómo la calidad de la imagen puede disminuir de modo continuo lineal o no lineal desde el centro de un área de mirada hacia afuera, mientras que la Fig. 10B muestra cómo la calidad de la imagen puede disminuir de modo gradual desde el centro de un área de mirada hacia afuera.
En algunas realizaciones, la modificación de la imagen visualizada en el dispositivo 110 de visualización puede producirse en respuesta a la detección de un cambio en el punto de mirada. Esto puede ocurrir de diversas formas, describiéndose a continuación algunas de ellas.
En algunas realizaciones, puede modificarse toda la imagen durante el período de cambio en el punto de mirada del usuario y, una vez que cesa el cambio en el punto de mirada del usuario, puede modificarse bien el área alrededor del punto de mirada final del usuario o bien el resto de la imagen (partes de la imagen no alrededor del punto de mirada final). Simplemente a modo de ejemplo, en una realización, la calidad de toda la imagen puede aumentarse durante el movimiento de la mirada del usuario (a veces denominado sacudida ocular), pero el aumento de la calidad solo puede mantenerse en un área alrededor del punto de mirada final del usuario una vez finalizada la sacudida ocular (es decir, la calidad del resto de la imagen puede disminuirse al completarse la sacudida ocular). En una realización diferente, la calidad de toda la imagen puede disminuirse durante una sacudida ocular, pero la disminución de la calidad puede ser solo en áreas sostenidas, aparte de alrededor del punto de mirada final del usuario, una vez finalizada la sacudida ocular (es decir, la calidad del área de la imagen alrededor del punto de mirada final del usuario puede aumentarse una vez finalizada la sacudida ocular).
De forma adicional, también puede modificarse el uso de otros recursos del sistema, que incluyen, por ejemplo, procesador/ordenador y recursos relacionados, durante una sacudida ocular de un usuario. Por ejemplo, las operaciones no gráficas pueden complementarse con los recursos del procesador/ordenador y del dispositivo de procesamiento de gráficos, durante una sacudida ocular. Más específicamente, durante una sacudida ocular, los cálculos no gráficos necesarios para otras operaciones del sistema pueden hacerse con mayor velocidad o eficiencia porque los recursos adicionales asociados con el procesador/ordenador y el dispositivo de procesamiento de gráficos están disponibles para tales operaciones.
En algunos ejemplos, modificar la imagen visualizada en el dispositivo 110 de visualización puede incluir modificar una parte de la imagen en un área alrededor de un punto de mirada anticipado del usuario, aumentando potencialmente la calidad del mismo. El punto de mirada anticipado puede determinarse basándose en el cambio en el punto de mirada del usuario. Para determinar el punto de mirada anticipado de un usuario, el dispositivo de seguimiento ocular y/u otro procesador (es decir, el ordenador o el procesador de la consola de juegos) pueden determinar una velocidad del cambio en el punto de mirada del usuario en un dispositivo de visualización y determinar el punto de mirada anticipado basado, al menos en parte, en esta velocidad del cambio.
La velocidad de cambio del punto de mirada del usuario, denominada también velocidad o rapidez de una sacudida ocular por el usuario depende directamente del cambio total en el punto de mirada del usuario (denominado con frecuencia, amplitud de la sacudida ocular). Por lo tanto, a medida que aumenta la amplitud prevista de la sacudida ocular del usuario, también aumenta la velocidad de la sacudida ocular. Aun cuando la sacudida ocular de un usuario humano puede ser de hasta 900°/segundo en humanos, para sacudidas oculares inferiores a, o aproximadamente de, 60°, la velocidad de una sacudida ocular es, por lo general, lineal y directamente dependiente de la amplitud de la sacudida ocular. Por ejemplo, una amplitud de 10° se asocia con una velocidad de 300°/segundo y una amplitud de 30° se asocia cona una velocidad de 500°/segundo. Para sacudidas oculares superiores a 60°, la velocidad pico comienza a estabilizarse en torno a la velocidad máxima alcanzable por el ojo (900°/segundo). Como respuesta a un estímulo inesperado, una sacudida ocular necesita normalmente unos 200 milisegundos (ms) para iniciarse y dura de aproximadamente 20 a aproximadamente 200 ms. Basándose en estas relaciones entre la velocidad y amplitud de la sacudida ocular, las realizaciones de la invención pueden determinar puntos de mirada anticipados basándose en la velocidad de la sacudida ocular. Diversas realizaciones de la invención también pueden emplear otros modelos predeterminados de relaciones matemáticas entre la velocidad y amplitud de la sacudida ocular para determinar un punto de mirada anticipado.
En algunas realizaciones, la parte de la imagen modificada alrededor del punto de mirada anticipado también puede incluir la parte de la imagen alrededor del punto de mirada original (es decir, el punto de mirada desde el que se inició la sacudida ocular del usuario). Si bien la forma de la parte de la imagen modificada puede ser cualquiera de las formas descritas anteriormente, en algunas realizaciones, puede ser un triángulo o una forma trapezoidal que tiene una anchura progresivamente mayor perpendicular a una dirección de la sacudida ocular como se muestra en la Fig. 11.
En la Fig. 11 se muestra el dispositivo 110 de visualización, y se muestra en el mismo un punto 1110 de mirada inicial del usuario. Antes de cualquier cambio en el punto 1110 de mirada inicial, las realizaciones de la invención pueden proporcionar un aumento de la calidad de los gráficos en el área 1120. Cuando un dispositivo de seguimiento ocular detecta un sacudida ocular de usuario, representado por la flecha 1130, el tamaño y la forma del área 1120 pueden cambiar para adaptarse tanto al punto 1110 de mirada inicial como al punto 1140 de mirada anticipado. El área cambiada 1150, si bien es triangular y/o trapezoidal en esta realización, puede conformarse y dimensionarse de manera diferente en otras realizaciones. Simplemente a modo de ejemplo, también puede incluirse todo el lado del dispositivo 110 de visualización desde el punto de mirada inicial hasta los bordes de la pantalla en dirección de la sacudida ocular en el área cambiada 1150 para tener en cuenta más posibilidades sobre dónde puede terminar el punto de mirada de un usuario. En otras realizaciones, puede proporcionarse un área cambiada 1150 circular, ovalada o cuadrada. En otras realizaciones adicionales, el área cambiada 1150 puede incluir áreas separadas y distintas alrededor del punto 1110 de mirada inicial y el punto 1140 de mirada anticipado.
En algunas realizaciones, el tamaño o la forma del área alrededor del punto de mirada para la que se modifica una imagen (o que permanece sin modificar respecto a una calidad aumentada en diversas realizaciones), es dinámico. Esto puede ocurrir dependiendo, al menos en parte, de varios factores, que incluyen la localización actual del punto de mirada con respecto a la imagen o al dispositivo de visualización. Simplemente a modo de ejemplo, si un usuario mueve su punto de mirada hacia una parte determinada de la pantalla, una parte predefinida de la pantalla puede modificarse mediante un aumento de calidad en la misma (por ejemplo, teniendo una parte de esquina de la pantalla un mapa de un área virtual en un videojuego). En algunas realizaciones, si se detecta un número suficiente de sacudidas oculares del usuario que tengan una o más características predefinidas en un período de tiempo predefinido, la totalidad de la pantalla puede modificarse para representarse con mayor calidad.
En otra realización de la invención, se proporciona un medio legible por ordenador no transitorio con instrucciones en el mismo para presentar gráficos en el dispositivo 110 de visualización. Las instrucciones pueden ser ejecutables por uno o más procesadores para al menos mostrar una imagen en el dispositivo 110 de visualización. Las instrucciones pueden también ser ejecutables para recibir información del dispositivo de seguimiento ocular indicativa de al menos uno de un punto de mirada de un usuario en el dispositivo 110 de visualización o de un cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. Las instrucciones pueden ser ejecutables además para hacer que el dispositivo de procesamiento de gráficos modifique la imagen visualizada en el dispositivo 110 de visualización basándose, al menos en parte, en el punto de mirada del usuario en el dispositivo 110 de visualización, o en el cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. Por lo tanto, también se proporciona un medio legible por ordenador no transitorio capaz de aplicar cualquiera de las características descritas en la presente memoria en relación con otras realizaciones.
En otro ejemplo que no forma parte de la invención, se proporciona un método 1200 para presentar gráficos en el dispositivo 110 de visualización, como se muestra en la Fig. 12. En la etapa 1210, el método 1200 puede incluir mostrar una imagen en el dispositivo 110 de visualización. En la etapa 1220, el método 1200 puede incluir también recibir información del dispositivo de seguimiento ocular indicativa de al menos uno de un punto de mirada de un usuario en el dispositivo 110 de visualización, o de un cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. En la etapa 1230, el método 1200 puede incluir además hacer que el dispositivo de procesamiento de gráficos modifique la imagen visualizada en el dispositivo 110 de visualización basándose, al menos en parte, en el punto de mirada del usuario en el dispositivo 110 de visualización, o en el cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. La etapa 1230 puede incluir, en la etapa 1233, aumentar la calidad de la imagen en un área alrededor del punto de mirada del usuario con respecto al exterior del área. La etapa 1230 también puede incluir, en la etapa 1236, reducir la calidad de la imagen fuera de un área alrededor del punto de mirada del usuario, con respecto al interior del área. Por lo tanto, también se proporciona un método para implementar cualquiera de las características descritas en la presente memoria en relación con otras realizaciones.
En algunos ejemplos que no forman parte de la invención, los sistemas y métodos descritos en la presente memoria pueden ser alternados por un usuario, posiblemente para tener en cuenta múltiples observadores adicionales del dispositivo 110 de visualización que estén presentes. En otros ejemplos que no forman parte de la invención, los sistemas y métodos descritos en la presente memoria pueden encenderse automáticamente cuando solo un usuario esté viendo el dispositivo 110 de visualización (detectado por el dispositivo de seguimiento ocular) y apagarse cuando más de un usuario esté viendo el dispositivo 110 de visualización (detectado por el dispositivo de seguimiento ocular). De forma adicional, en algunas realizaciones, los sistemas y métodos descritos en la presente memoria pueden permitir la reducción de la calidad de representación de un dispositivo 110 de visualización completo cuando no se detectan observadores, ahorrando de este modo recursos del sistema y consumo de energía cuando el dispositivo 110 de visualización no es el foco principal de ningún observador.
En otros ejemplos que no forman parte de la invención, los sistemas y métodos descritos en la presente memoria pueden permitir modificar múltiples partes de una imagen en el dispositivo 110 de visualización para tener en cuenta múltiples observadores detectados por el dispositivo de seguimiento ocular. Por ejemplo, si dos usuarios distintos se enfocan en diferentes partes del dispositivo 110 de visualización, las dos áreas distintas de la imagen enfocada pueden representarse con mayor calidad para proporcionar una mejor visualización para cada observador.
En otros ejemplos adicionales que no forman parte de la invención, los datos asociados con una imagen pueden informar a los sistemas y métodos descritos en la presente memoria para permitir la predicción de qué áreas de una imagen pueda probablemente enfocar el usuario a continuación. Estos datos pueden complementar datos proporcionados por el dispositivo de seguimiento ocular para permitir un ajuste más rápido y fluido de la calidad de la imagen en áreas en que probablemente se centre un usuario. Por ejemplo, durante la visualización de un evento deportivo, puede presentarse una entrevista imagen a imagen con un entrenador o jugador en una esquina de la imagen. Los metadatos asociados a la alimentación de imágenes pueden informar a los sistemas y métodos descritos en la presente memoria de la importancia probable y, por lo tanto, del interés del observador y del centro de atención probable, en la subparte de la imagen.
Ajuste de trayectoria de proyectiles en realidad virtual
En realizaciones de realidad virtual, cuando los objetos virtuales se lanzan o de cualquier otro modo se arrojan por la acción del usuario, existe un problema por el cual el usuario no puede estimar fácilmente el peso del objeto y, por lo tanto, hasta dónde el objeto, ahora un proyectil, volará cuando se lance. Dado que las distancias precisas pueden ser necesarias para hacer que la interacción virtual sea utilizable o exitosa, la detección de mirada puede servir para ayudar a aumentar la colocación precisa del lugar del blanco deseado para el proyectil.
En algunas realizaciones, los dispositivos de seguimiento ocular pueden utilizarse para determinar la dirección de la mirada de un usuario que lanza un objeto virtual y permitir que la localización de la dirección de la mirada en una pantalla virtual se utilice para determinar o ayudar a determinar el destino previsto del proyectil. En algunas realizaciones, la localización exacta de la mirada en la pantalla virtual puede utilizarse como blanco previsto del usuario.
En otras realizaciones, la localización de la mirada en la pantalla virtual puede simplemente informar al proceso del software del blanco previsto, y esto puede afectar, en un grado variable dependiendo del algoritmo, al blanco calculado para un proyectil. Por lo tanto, si bien el algoritmo puede calcular un blanco inicial y depender de factores tales como la velocidad del lanzamiento u otro movimiento que inició el lanzamiento del proyectil y el peso asignado virtualmente del objeto puede utilizarse la dirección de la mirada, en grados variables, según asigne el algoritmo, para modificar el blanco inicial calculado.
Matriz distribuida multicámaras sobre/en lentes de rv
En los dispositivos portátiles de realidad virtual tradicional, o en otros dispositivos, puede ser difícil situar sensores de imagen y cámaras asociados a un dispositivo de seguimiento ocular de modo que puedan obtener una buena imagen, pero sin interferir con la lente de visión del sistema de visualización en el mismo. Para resolver este problema, una solución proporcionada por diversas realizaciones de la invención es disponer una o más matrices de cámaras/imágenes/sensores de luz en miniatura (así como iluminadores como se describe en la presente memoria) sobre o en las lentes directamente frente a los ojos del usuario. Debido a que las cámaras son muy pequeñas (p. ej., 1 mm3) y están muy cerca de los ojos del usuario, estas parecerán ser esencialmente invisibles para el usuario, ya que no están dentro de la distancia focal activa del usuario. Como se muestra en la Fig. 7A, delante de un dispositivo 110 de visualización de un sistema dado, puede haber presente una lente 710 de visión/primaria y puede haber presente también una matriz de cámaras/iluminadores 720 sobre o en la lente 710. Las cámaras/iluminadores 720 se muestran más grandes que a escala con fines de demostración en esta figura. La Fig. 7A se describirá más abajo con más detalle.
Aun cuando cada cámara de un conjunto solo puede tener una resolución limitada, cuando las imágenes de todas las cámaras se combinan y reconstruyen mediante un dispositivo de procesamiento asociado, pueden obtenerse imágenes estándar. Además, dado que se utiliza un conjunto, puede obtenerse información adicional de profundidad de la imagen con respecto al uso de una sola cámara o sensor de imagen que observa el o los ojos.
Verificación de presencia de usuario y de obstrucción para un funcionamiento seguro de fuente de luz
El dispositivo de consumo debe satisfacer diversas normas de seguridad con respecto a las fuentes de luz y láser cerca de los ojos de un usuario. Cuanto más cerca esté el usuario de la fuente de luz/láser del dispositivo de consumo, menor será la magnitud de iluminación permitida para satisfacer las diversas normas.
En algunas realizaciones, los dispositivos de la presente memoria pueden incluir mecanismos de seguridad dispuestos para proteger al usuario y verificar que se cumplan las normas. En una realización, los dispositivos de seguimiento ocular de la presente memoria pueden determinar si un usuario está presente delante del dispositivo a través de sensores de imagen y reaccionar en consecuencia.
Si no hay ningún usuario presente, los niveles de iluminación de la pantalla y/o de los iluminadores de seguimiento ocular se bajan para que sean seguros a cualquier distancia. Debido a que no hay ningún usuario presente, la pantalla y/o los iluminadores se iluminarán a un nivel seguro para cualquier condición que surja. Sin embargo, si se determina que un usuario está presente, puede calcularse la distancia desde cualquier subsistema de visualización y/o seguimiento ocular, tales como los iluminadores, y puede restaurarse la iluminación máxima de los mismos permitida por el por el sistema. En algunas realizaciones, si un dispositivo de seguimiento ocular determina que el usuario no está presente, puede desactivarse un dispositivo de visualización para ahorrar energía.
En algunas realizaciones, los sistemas de la presente memoria pueden también ser capaces de determinar si está obstruido algún iluminador, ya sea por detección directa de la obstrucción mediante un sensor de imagen, o por falta de detección por un sensor de imagen de luz procedente de un iluminador particular. Si se determina que un iluminador u otro dispositivo emisor de luz, tal como una pantalla, está obstruido, dichos dispositivos productores de luz pueden atenuarse o desactivarse completamente para ahorrar energía.
Reducción de la visibilidad de dispositivos de iluminación y sensores de imagen en dispositivos de rv
En algunas realizaciones, para disponer dispositivos de iluminación y sensores de imagen de la invención en la posición más ventajosa, los iluminadores y sensores de imagen soportados por circuito impreso flexible (FPC) pueden hundirse en las lentes de realidad virtual o en otros dispositivos de visualización, tal vez en localizaciones como las mostradas en la Fig. 7A. Los LED u otros iluminadores, así como sensores de imagen, pueden estar situados en FPC muy delgados y posteriormente orientarse para minimizar el perfil visible de los mismos.
Simplemente como ejemplo, los iluminadores y sensores de imagen pueden montarse en FPC de modo que el iluminador o sensor de imagen se monte orientado hacia el usuario, pero solo el perfil del FPC (es decir, el espesor del FPC) es visto directamente por un usuario del dispositivo. En algunas realizaciones, el FPC puede unirse al iluminador o sensor de imagen de modo que se acople a más de un lado del iluminador/sensor. De este modo, puede mejorarse la captura de luz hacia, o dirigida desde, el iluminador/sensor.
En estas y otras realizaciones puede utilizarse también otro método para minimizar la apariencia de iluminadores en un dispositivo de visualización de realidad virtual u otro. En estas realizaciones, las fibras ópticas pueden incorporarse a ranuras en el lado delantero (usuario) de la lente de visión del dispositivo. La Fig. 7b muestra tal ranura 730 y la fibra óptica 740 depositada en la superficie de la lente 710. Las fibras ópticas pueden distribuirse de forma numerosa a través del lado delantero de la lente para generar la iluminación necesaria para el seguimiento ocular. Los LED u otras fuentes de iluminación, tales como diodos luminiscentes, pueden acoplarse al extremo de las fibras ópticas en el borde o lejos de la lente.
Cualquier vacío en las ranuras en donde se sitúan las fibras ópticas puede rellenarse con una sustancia 750 tal como pegamento u otro adhesivo para mantener la posición de la fibra, y para minimizar la refracción en la misma. La sustancia puede tener el mismo o similar índice de refracción que la propia lente para minimizar la distorsión visible de la lente para el usuario.
Como se muestra en la Fig. 7C, una superficie 760 en ángulo y/o reflejada dentro de la lente 710 en el punto de terminación 745 de la fibra óptica 740 puede guiar la luz desde el extremo de la fibra óptica hacia el ojo. Para minimizar aún más la luz potencialmente dispersa de la fibra óptica dentro de la lente, también puede disponerse un material 770 absorbente de luz cerca del punto de terminación de la fibra óptica, quizá detrás de la superficie en ángulo. Puede aplicarse también un material 780 de conformación de haces tal como epoxi, silicona o una sustancia similar a la lente cerca del punto de terminación para ayudar a dirigir la luz hacia la localización adecuada en el ojo del usuario.
Sistema informático ilustrativo
Lo anterior es un diagrama de bloques que ilustra un sistema 800 informático ilustrativo, como se muestra en la Fig.
8 , en el que puede aplicarse cualquiera de las realizaciones de la presente invención. Este ejemplo ilustra un sistema 800 informático tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los sistemas y métodos descritos anteriormente.
Se muestra un sistema 800 informático que incluye elementos de hardware que pueden acoplarse eléctricamente a través de un bus 890. Los elementos de hardware pueden incluir una o más unidades centrales 810 de procesamiento, uno o más dispositivos 820 de entrada (por ejemplo, dispositivo de seguimiento ocular, integrado o no con otro dispositivo; un ratón; un teclado; un panel táctil; un micrófono; controlador de mano; etc.), y uno o más dispositivos de salida 830 (por ejemplo, un dispositivo de visualización, un dispositivo portátil con una pantalla, una impresora, etc.). El sistema 800 informático también puede incluir uno o más dispositivos 840 de almacenamiento. A modo de ejemplo, los dispositivos 840 de almacenamiento pueden ser unidades de disco transitorias y/o no transitorias, dispositivos de almacenamiento ópticos, dispositivos de almacenamiento en estado sólido tales como memoria de acceso aleatorio “ RAM” y/o una memoria de solo lectura “ ROM” , que pueden ser programables, actualizables por flash y/o similares.
El sistema 800 informático puede incluir de forma adicional un lector 850 de medios de almacenamiento legibles por ordenador, un sistema 860 de comunicaciones (p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación infrarroja, un dispositivo Bluetooth , un dispositivo de comunicación celular, etc.) y una memoria funcional 880, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunas realizaciones, el sistema 800 informático puede incluir también una unidad 870 de aceleración del procesamiento, que puede incluir un procesador de señales digitales, un procesador de propósito especial y/o similares.
El lector 850 de medios de almacenamiento legibles por ordenador además puede conectarse a un medio de almacenamiento legible por ordenador (y, opcionalmente, en combinación con el/los dispositivo(s) 840 de almacenamiento) que representan de manera integral dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de forma temporal y/o más permanente información legible por ordenador. El sistema 860 de comunicaciones puede permitir que los datos se intercambien con una red, sistema, ordenador y/u otro componente descrito anteriormente.
El sistema 800 informático puede incluir también elementos de software, que se muestran actualmente situados dentro de una memoria 880 de trabajo, que incluye un sistema operativo 884 y/u otro código 878. Debe apreciarse que las realizaciones alternativas del sistema 800 informático pueden tener numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema 800 informático puede incluir un código 878 para aplicar alguna o todas las funciones de los diversos elementos de la arquitectura como se describe en la presente memoria. Por ejemplo, software almacenado en, y/o ejecutado por, un sistema informático tal como el sistema 800, puede proporcionar las funciones de los métodos y sistemas descritos anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.
Ahora, la invención se ha descrito en detalle con fines de claridad y comprensión. Sin embargo, se apreciará que pueden hacerse determinados cambios y modificaciones dentro del ámbito de las reivindicaciones adjuntas.

Claims (22)

  1. REIVINDICACIONES
    i. Un método (500) para el barrido de contenido en una pantalla de un dispositivo portátil, en donde el método comprende:
    determinar (510), mediante un dispositivo de seguimiento ocular del dispositivo portátil, una dirección de la mirada de un usuario de un dispositivo portátil;
    determinar (520), mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario del dispositivo portátil;
    en función, al menos en parte, de la dirección de la mirada y de la dirección de la cabeza, siendo ambas consistentes con una dirección particular, hacer (530) que el contenido mostrado en una pantalla del dispositivo portátil sea barrido en la dirección particular;
    determinar (540) durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra mientras la dirección de la cabeza del usuario permanece girada en la dirección particular; y
    en función, al menos en parte, de la dirección de la mirada del usuario que vuelve a la posición neutra mientras la dirección de la cabeza del usuario permanece girada
    en una dirección particular, hacer que el contenido mostrado en la pantalla del dispositivo portátil deje de ser barrido.
  2. 2. El método (500) para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 1, en donde el sistema de detección de movimiento se selecciona de un grupo que consiste en:
    un sistema de detección de movimiento a distancia del dispositivo portátil; y
    un sistema de detección de movimiento integrado en el dispositivo portátil.
  3. 3. El método (500) para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 1, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil sea barrido se basa, además, al menos en parte, en:
    la dirección de la cabeza del usuario que excede una determinada distancia angular respecto a una dirección de avance, en donde la distancia angular determinada se basa al menos en parte en:
    una dirección angular de la dirección de la cabeza.
  4. 4. El método (500) para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 1, en donde:
    una velocidad de barrido se basa, al menos en parte, en la dirección de la mirada o se basa, al menos en parte, en la dirección de la cabeza.
  5. 5. El método (500) para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 1, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido se basa, además, al menos en parte, en:
    la dirección de la mirada del usuario que vuelve a la posición neutra durante al menos un periodo de tiempo predefinido, o una entrada adicional del usuario que se recibe.
  6. 6. El método (500) para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 1, en donde el método comprende, además:
    hacer que se proporcione al usuario una indicación de que el barrido se ha detenido, o en donde el método comprende, además:
    determinar, después de que se haya detenido el barrido del contenido, que la dirección de la cabeza del usuario vuelve a ser hacia delante; y
    detener el barrido del contenido mostrado en la pantalla durante el retorno de la dirección de la cabeza a la dirección de avance.
  7. 7. Un medio legible por máquina no transitorio que tiene instrucciones almacenadas en el mismo para el barrido (500) de contenido en una pantalla de un dispositivo portátil, en donde las instrucciones son ejecutables por uno o más procesadores para al menos:
    determinar (510), mediante un dispositivo de seguimiento ocular del dispositivo portátil, una dirección de la mirada de un usuario de un dispositivo portátil;
    determinar (520), mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario del dispositivo portátil;
    en función, al menos en parte, de la dirección de la mirada y de la dirección de la cabeza, siendo ambas consistentes con una dirección particular, hacer (530) que el contenido mostrado en una pantalla del dispositivo portátil sea barrido en la dirección particular;
    determinar (540) durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra mientras la dirección de la cabeza del usuario permanece girada en la dirección particular; y
    en función, al menos en parte, de la dirección de la mirada del usuario que vuelve a la posición neutra mientras la dirección de la cabeza del usuario permanece girada
    en una dirección particular, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.
  8. 8. El medio legible por máquina no transitorio según la reivindicación 7, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil sea barrido se basa, además, al menos en parte, en:
    la dirección de la cabeza del usuario que excede una distancia angular determinada con respecto a la dirección de avance.
  9. 9. El medio legible por máquina no transitorio según la reivindicación 7, en donde:
    una velocidad de barrido se basa, al menos en parte, en la dirección de la mirada.
  10. 10. El medio legible por máquina no transitorio según la reivindicación 7, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido se basa, además, al menos en parte, en:
    la dirección de la mirada del usuario que vuelve a la posición neutra durante al menos un periodo de tiempo predefinido.
  11. 11. El medio legible por máquina no transitorio según la reivindicación 7, en donde las instrucciones son, además, ejecutables por uno o más procesadores para al menos:
    determinar, después de que se haya detenido el barrido del contenido, que la dirección de la cabeza del usuario vuelve a ser hacia delante; y
    detener el barrido del contenido mostrado en la pantalla durante el retorno de la dirección de la cabeza a la dirección de avance.
  12. 12. Un sistema para el barrido (500) de contenido en una pantalla de un dispositivo portátil, en donde el sistema comprende:
    un dispositivo de seguimiento ocular para determinar (510) la dirección de la mirada de un usuario de un dispositivo portátil, estando el dispositivo de seguimiento ocular en el dispositivo portátil; un sistema de detección de movimiento para determinar (520) una dirección de la cabeza del usuario del dispositivo portátil; y
    uno o más procesadores configurados para al menos:
    en función, al menos en parte, de la dirección de la mirada y de la dirección de la cabeza, siendo ambas consistentes con una dirección particular, hacer (530) que el contenido mostrado en una pantalla del dispositivo portátil sea barrido en la dirección particular; determinar (540) durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra mientras la dirección de la cabeza del usuario permanece girada en la dirección particular; y en función, al menos en parte, de la dirección de la mirada del usuario que vuelve a la posición neutra mientras la dirección de la cabeza del usuario permanece girada en la dirección particular, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.
  13. 13. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil sea barrido se basa, además, al menos en parte, en:
    la dirección de la cabeza del usuario que excede una distancia angular determinada con respecto a la dirección de avance.
  14. 14. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde:
    una velocidad de barrido se basa, al menos en parte, en la dirección de la mirada.
  15. 15. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido se basa, además, al menos en parte, en:
    la dirección de la mirada del usuario que vuelve a la posición neutra durante al menos un periodo de tiempo predefinido.
  16. 16. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde los uno o más procesadores están configurados, además, para al menos:
    determinar, después de que se haya detenido el barrido del contenido, que la dirección de la cabeza del usuario vuelve a ser hacia delante; y
    detener el barrido del contenido mostrado en la pantalla durante el retorno de la dirección de la cabeza a la dirección de avance.
  17. 17. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde el sistema de detección de movimiento se selecciona de un grupo que consiste en:
    un sistema de detección de movimiento a distancia del dispositivo portátil; y
    un sistema de detección de movimiento integrado en el dispositivo portátil.
  18. 18. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 13, en donde la distancia angular determinada se basa, al menos en parte, en:
    una dirección angular de la dirección de la cabeza.
  19. 19. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde:
    una velocidad de barrido se basa, al menos en parte, en la dirección de la cabeza.
  20. 20. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido se basa, además, al menos en parte, en:
    una entrada adicional del usuario que se recibe.
  21. 21. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde los uno o más procesadores están configurados, además, para al menos comprender, además: hacer que se proporcione al usuario una indicación de que el barrido se ha detenido.
  22. 22. El sistema para el barrido de contenido en una pantalla de un dispositivo portátil según la reivindicación 12, en donde el dispositivo de seguimiento ocular comprende un sensor de perfil.
ES16779265T 2015-09-24 2016-09-26 Dispositivos portátiles con seguimiento ocular Active ES2929891T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562232268P 2015-09-24 2015-09-24
US201662329719P 2016-04-29 2016-04-29
PCT/US2016/053783 WO2017053972A1 (en) 2015-09-24 2016-09-26 Eye-tracking enabled wearable devices

Publications (1)

Publication Number Publication Date
ES2929891T3 true ES2929891T3 (es) 2022-12-02

Family

ID=57104206

Family Applications (2)

Application Number Title Priority Date Filing Date
ES16778168T Active ES2882158T3 (es) 2015-09-24 2016-09-26 Dispositivos portátiles con seguimiento ocular
ES16779265T Active ES2929891T3 (es) 2015-09-24 2016-09-26 Dispositivos portátiles con seguimiento ocular

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES16778168T Active ES2882158T3 (es) 2015-09-24 2016-09-26 Dispositivos portátiles con seguimiento ocular

Country Status (6)

Country Link
US (10) US10467470B2 (es)
EP (4) EP3353630B1 (es)
KR (4) KR20180057693A (es)
CN (7) CN114035685A (es)
ES (2) ES2882158T3 (es)
WO (4) WO2017053972A1 (es)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10434415B1 (en) * 2012-07-30 2019-10-08 Yaacov Barki Method of modifying locations
US10678897B2 (en) 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
CN107995979B (zh) * 2015-04-16 2021-12-07 托比股份公司 用于对用户进行认证的系统、方法和机器可读介质
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10552676B2 (en) * 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US9978183B2 (en) * 2015-09-18 2018-05-22 Fove, Inc. Video system, video generating method, video distribution method, video generating program, and video distribution program
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
EP3335070B1 (en) * 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10110935B2 (en) * 2016-01-29 2018-10-23 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
EP3449337B1 (en) 2016-04-29 2023-01-04 Tobii AB Eye-tracking enabled wearable devices
US10152122B2 (en) * 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
JP6858007B2 (ja) * 2016-11-28 2021-04-14 キヤノン株式会社 画像処理システム、画像処理方法
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
US10761602B1 (en) 2017-03-14 2020-09-01 Facebook Technologies, Llc Full field retinal imaging system for characterization of eye trackers
US10649524B2 (en) 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
CN107085680B (zh) * 2017-04-18 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种操作终端的方法及装置
WO2018204980A1 (en) * 2017-05-11 2018-11-15 Yao Chang Yi Three dimensional tracking systems
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
WO2019018365A1 (en) * 2017-07-17 2019-01-24 Tobii Ab CLOTHING DEVICES FOR EYE FOLLOW-UP
US10990996B1 (en) * 2017-08-03 2021-04-27 Intuit, Inc. Predicting application conversion using eye tracking
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11307656B2 (en) * 2017-09-15 2022-04-19 Trustees Of Dartmouth College View-through sensors and apparatuses for tracking eye movement, and methods and software therefor
US10928895B2 (en) * 2017-09-21 2021-02-23 Tobii Ab Systems and methods for interacting with a computing device using gaze information
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
JP7160044B2 (ja) * 2017-10-19 2022-10-25 ソニーグループ株式会社 電子機器
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
CN107958478B (zh) * 2017-12-15 2022-05-03 歌尔光学科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN111670453B (zh) * 2017-12-19 2024-03-29 诺基亚技术有限公司 依赖于注视的凹状渲染装置、方法、计算机程序和系统
CN109951616A (zh) * 2017-12-21 2019-06-28 艾迪普（北京）文化科技股份有限公司 一种虚拟场景中电视墙媒体的接入、播放及控制方法
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
US10699663B2 (en) 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11435577B2 (en) * 2018-04-25 2022-09-06 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
WO2020016969A1 (ja) * 2018-07-18 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
WO2020016970A1 (ja) * 2018-07-18 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US11347056B2 (en) 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10719127B1 (en) * 2018-08-29 2020-07-21 Rockwell Collins, Inc. Extended life display by utilizing eye tracking
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
WO2020061042A1 (en) * 2018-09-17 2020-03-26 Facebook Technologies, Llc Eye tracking using reverse-biased light-emitting diode devices
US11697257B2 (en) 2018-09-25 2023-07-11 Metamaterial Inc. Method for mounting functional elements in a lens
EP3670162A1 (en) 2018-12-20 2020-06-24 Interglass Technology AG Method for mounting functional elements in a lens and device therefor
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
CN109410285B (zh) 2018-11-06 2021-06-08 北京七鑫易维信息技术有限公司 一种校准方法、装置、终端设备及存储介质
EP3656285B1 (en) * 2018-11-15 2023-04-19 Tobii AB Method and device for calibrating an eye tracker
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
SE543066C2 (en) * 2019-01-31 2020-09-29 Tobii Ab Head-worn device and lens for eye-tracking applications that includes an absorptive layer
SE542964C2 (en) * 2019-01-31 2020-09-22 Tobii Ab Lens for eye-tracking comprising an electrical component and a head-worn device with such a lens
CN109963143A (zh) * 2019-02-01 2019-07-02 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
SE543121C2 (en) * 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
CN111142637B (zh) * 2019-02-27 2021-06-01 广东小天才科技有限公司 一种可穿戴设备的散热方法及可穿戴设备
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11366321B1 (en) 2019-04-23 2022-06-21 Apple Inc. Predictive dimming of optical passthrough displays
CN110070624B (zh) * 2019-04-26 2020-05-08 厦门大学 一种基于vr结合眼动跟踪的城市风貌特征识别的方法
US11435820B1 (en) * 2019-05-16 2022-09-06 Facebook Technologies, Llc Gaze detection pipeline in an artificial reality system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
CN112114657B (zh) * 2019-06-21 2023-10-17 北京七鑫易维科技有限公司 一种注视点信息采集方法及系统
CN110554355A (zh) * 2019-08-01 2019-12-10 航天科工防御技术研究试验中心 一种目标定位系统及方法
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
CN110458104B (zh) * 2019-08-12 2021-12-07 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN110488494B (zh) 2019-08-30 2023-08-15 京东方科技集团股份有限公司 一种近眼显示装置、增强现实设备以及虚拟现实设备
CN110677927A (zh) * 2019-09-24 2020-01-10 北京地平线机器人技术研发有限公司 可穿戴设备自动连接的方法和装置、存储介质、电子设备
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11410331B2 (en) * 2019-10-03 2022-08-09 Facebook Technologies, Llc Systems and methods for video communication using a virtual camera
US11054659B2 (en) * 2019-11-07 2021-07-06 Htc Corporation Head mounted display apparatus and distance measurement device thereof
CN111128068B (zh) * 2019-11-28 2022-10-21 武汉天马微电子有限公司 一种显示装置和显示面板的驱动显示方法
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
TWI711841B (zh) * 2019-12-10 2020-12-01 廣達電腦股份有限公司 消除圈紋效應的方法及裝置
JP7246390B2 (ja) * 2019-12-19 2023-03-27 グーグル エルエルシー ウェアラブルコンピューティングデバイスを用いた表示デバイスの直接操作
US20210275015A1 (en) * 2019-12-22 2021-09-09 Dovi Yellin Enhanced oculomotor testing device and method using an add-on structure for a mobile device
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
US11244660B2 (en) 2020-03-13 2022-02-08 Apple Inc. Recovery from eye-tracking loss in foveated displays
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
CN114616511A (zh) 2020-09-03 2022-06-10 海思智财控股有限公司 改善双眼视觉的系统与方法
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
US11232594B1 (en) * 2020-10-23 2022-01-25 Tobii Ab Iterative point indexing
CN114523886B (zh) * 2020-10-30 2023-03-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统
CN112528107A (zh) * 2020-12-07 2021-03-19 支付宝(杭州)信息技术有限公司 内容数据的展示方法、装置和服务器
SE2051433A1 (en) * 2020-12-08 2022-06-09 Tobii Ab Method and system for glint classification
KR20220087081A (ko) * 2020-12-17 2022-06-24 삼성전자주식회사 집적 게이즈 추적기 및 그 작동 방법
CN114690403A (zh) * 2020-12-28 2022-07-01 财团法人工业技术研究院 头戴式眼动追踪系统
KR102483010B1 (ko) * 2021-01-29 2022-12-30 원텍 주식회사 안구미세운동 측정장치
DE102021202704A1 (de) 2021-03-19 2022-09-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person und Fahrzeug
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN115867881A (zh) * 2021-05-27 2023-03-28 京东方科技集团股份有限公司 显示装置、可穿戴显示设备及注视点的位置的确定方法
CN113325953B (zh) * 2021-05-27 2024-02-02 京东方科技集团股份有限公司 显示设备及注视点的定位方法
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data
EP4209865A1 (en) * 2022-01-05 2023-07-12 IDUN Technologies AG Apparatus and method for determining an intent of a user
WO2023163799A1 (en) * 2022-02-23 2023-08-31 Qualcomm Incorporated Foveated sensing
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US7752535B2 (en) 1999-06-01 2010-07-06 Yodlec.com, Inc. Categorization of summarized information
US6424410B1 (en) 1999-08-27 2002-07-23 Maui Innovative Peripherals, Inc. 3D navigation system using complementary head-mounted and stationary infrared beam detection units
US6675001B2 (en) 2000-02-08 2004-01-06 Rosetta Laboratories Pty Ltd. Two-dimensional tuning system for computer-controlled radio equipment
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
FR2828396B1 (fr) * 2001-08-12 2004-05-07 Samuel Henri Bucourt Dispositif de mesure des aberrations d'un systeme de type oeil
US7380938B2 (en) 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP4684561B2 (ja) * 2004-02-13 2011-05-18 凸版印刷株式会社 半導体メモリ
US8386928B1 (en) * 2004-03-18 2013-02-26 Adobe Systems Incorporated Method and system for automatically captioning actions in a recorded electronic demonstration
RU2395228C2 (ru) * 2004-04-01 2010-07-27 Уилльям С. ТОРЧ Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
KR100704622B1 (ko) * 2004-09-24 2007-04-10 삼성전자주식회사 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
US7952535B2 (en) 2005-02-20 2011-05-31 Mediatek Singapore Pte Ltd Electronic visual jockey file
GB0508045D0 (en) 2005-04-21 2005-05-25 Univ Newcastle Apparatus and method for monitoring the position of an object
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
EP1968006B1 (en) * 2005-12-27 2020-03-25 Panasonic Intellectual Property Corporation of America Image processing apparatus
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5072553B2 (ja) * 2007-11-29 2012-11-14 浜松ホトニクス株式会社 眼球運動計測装置
JP5363043B2 (ja) 2008-07-11 2013-12-11 浜松ホトニクス株式会社 眼球運動計測装置
CN102112943A (zh) * 2008-08-07 2011-06-29 皇家飞利浦电子股份有限公司 确定用户头部运动/注视关系的方法和系统以及交互式显示系统
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
JP2010146661A (ja) * 2008-12-19 2010-07-01 Sony Ericsson Mobilecommunications Japan Inc 端末装置及びコンテンツデータ処理方法
US8398239B2 (en) 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8912023B2 (en) 2009-04-08 2014-12-16 Ledengin, Inc. Method and system for forming LED light emitters
DE102009002354B4 (de) 2009-04-14 2017-09-21 Zf Friedrichshafen Ag Doppelkupplungsgetriebe
US9071834B2 (en) 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
CN101901610B (zh) * 2009-05-25 2012-08-29 鸿富锦精密工业（深圳）有限公司 互动式影像调整系统及方法
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
ES2746378T3 (es) * 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101743948B1 (ko) * 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9285840B2 (en) 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US9248309B2 (en) 2011-02-04 2016-02-02 Johnson & Johnson Vision Care, Inc. Light therapy system including spectacle frames and contact lenses
JP5261520B2 (ja) * 2011-03-08 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム及び、それに用いる制御方法
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
CN102841725A (zh) * 2011-06-21 2012-12-26 鸿富锦精密工业（深圳）有限公司 电子装置及其屏幕信息调整方法
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013033842A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8971570B1 (en) 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US9952663B2 (en) 2012-05-10 2018-04-24 Umoove Services Ltd. Method for gesture-based operation control
JP5689850B2 (ja) 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
CN103543822A (zh) * 2012-07-11 2014-01-29 罗震威 一种利用面部识别来控制屏幕文字及图像显示方向的方法
CN102830797B (zh) * 2012-07-26 2015-11-25 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
FI125445B (fi) * 2012-09-12 2015-10-15 Trividi Oy Katseenohjausjärjestely
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
KR20150091373A (ko) * 2012-11-30 2015-08-10 에실러에떼르나쇼날(꽁빠니제네랄돕띠끄) 프레넬 렌즈 및 광학 디바이스
US9039180B2 (en) * 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9665171B1 (en) * 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
EP2790126B1 (en) 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
JP6070833B2 (ja) * 2013-05-08 2017-02-01 富士通株式会社 入力装置及び入力プログラム
US9737209B2 (en) 2013-05-15 2017-08-22 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
JP6048673B2 (ja) * 2013-05-22 2016-12-21 パナソニックＩｐマネジメント株式会社 多焦点レンズを有するビューア、および、ビューアの焦点距離変更方法
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10173129B2 (en) * 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103359642B (zh) * 2013-07-29 2015-06-24 中联重科股份有限公司 一种塔机作业监控系统、方法和塔机
WO2015019542A1 (ja) * 2013-08-08 2015-02-12 パナソニックＩｐマネジメント株式会社 視野算出装置および視野算出方法
DE102013013698A1 (de) 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
JP6366240B2 (ja) * 2013-08-21 2018-08-01 株式会社Ｗｈｅｒｅ 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム
WO2015034560A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
CN103530799B (zh) * 2013-10-22 2017-07-11 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
CN104814712A (zh) * 2013-11-07 2015-08-05 南京三维视嘉科技发展有限公司 三维内窥镜及三维成像方法
US9383816B2 (en) * 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US20150143293A1 (en) 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP2015099574A (ja) * 2013-11-20 2015-05-28 株式会社東芝 認識装置、認識方法、認識プログラム及び端末装置
CN103713737B (zh) * 2013-12-12 2017-01-11 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
EP3100096A1 (en) 2014-01-31 2016-12-07 Mack, Corey Augmented reality eyewear and methods for using same
CN103886307B (zh) * 2014-04-15 2017-07-07 王东强 一种视线跟踪及疲劳预警方法
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9490119B2 (en) 2014-05-21 2016-11-08 Palo Alto Research Center Incorporated Fabrication of thin-film devices using selective area epitaxy
US10409361B2 (en) 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
CN104133550B (zh) * 2014-06-27 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
US10007333B2 (en) * 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160191576A1 (en) 2014-12-31 2016-06-30 Smart Technologies Ulc Method for conducting a collaborative event and system employing same
CN204408543U (zh) * 2015-02-06 2015-06-17 武汉也琪工业设计有限公司 一种3d实景的虚拟现实模拟显示设备
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US9726896B2 (en) 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
CN106547352A (zh) * 2016-10-18 2017-03-29 小派科技（上海）有限责任公司 一种虚拟现实画面的显示方法、头戴显示设备及其系统
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
CA3078895A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. Virtual reticle for augmented reality systems
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Also Published As

Publication number Publication date
CN108700932A (zh) 2018-10-23
WO2017053972A1 (en) 2017-03-30
US20170090564A1 (en) 2017-03-30
US20180307905A1 (en) 2018-10-25
KR102121134B1 (ko) 2020-06-09
CN108700932B (zh) 2021-05-28
KR20180057669A (ko) 2018-05-30
US11073908B2 (en) 2021-07-27
US9830513B2 (en) 2017-11-28
EP3353633A1 (en) 2018-08-01
CN115167723A (zh) 2022-10-11
US10380419B2 (en) 2019-08-13
US10216994B2 (en) 2019-02-26
CN108700934B (zh) 2022-07-26
CN108700934A (zh) 2018-10-23
US10607075B2 (en) 2020-03-31
US9958941B2 (en) 2018-05-01
US20190050644A1 (en) 2019-02-14
EP3353632B1 (en) 2022-10-05
CN114020156B (zh) 2024-06-21
CN108700933A (zh) 2018-10-23
WO2017053974A1 (en) 2017-03-30
US20170091549A1 (en) 2017-03-30
US20170090563A1 (en) 2017-03-30
EP3353632A1 (en) 2018-08-01
US20180349698A1 (en) 2018-12-06
KR20180057668A (ko) 2018-05-30
EP3353630B1 (en) 2021-05-26
US20220147141A1 (en) 2022-05-12
CN108700933B (zh) 2021-11-30
EP3353631A1 (en) 2018-08-01
WO2017053971A1 (en) 2017-03-30
CN108604116A (zh) 2018-09-28
CN114020156A (zh) 2022-02-08
ES2882158T3 (es) 2021-12-01
US9977960B2 (en) 2018-05-22
US10467470B2 (en) 2019-11-05
US10635169B2 (en) 2020-04-28
US20180225511A1 (en) 2018-08-09
KR20180057672A (ko) 2018-05-30
KR20180057693A (ko) 2018-05-30
EP3353630A1 (en) 2018-08-01
CN114035685A (zh) 2022-02-11
US20200192475A1 (en) 2020-06-18
WO2017053966A1 (en) 2017-03-30
US20170090562A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
ES2929891T3 (es) Dispositivos portátiles con seguimiento ocular
ES2939165T3 (es) Dispositivos portátiles con seguimiento ocular
US10565446B2 (en) Eye-tracking enabled wearable devices
WO2019018365A1 (en) CLOTHING DEVICES FOR EYE FOLLOW-UP