ES2922136T3 - Determinación de la apertura ocular con un dispositivo de seguimiento ocular - Google Patents

Determinación de la apertura ocular con un dispositivo de seguimiento ocular Download PDF

Info

Publication number
ES2922136T3
ES2922136T3 ES18707481T ES18707481T ES2922136T3 ES 2922136 T3 ES2922136 T3 ES 2922136T3 ES 18707481 T ES18707481 T ES 18707481T ES 18707481 T ES18707481 T ES 18707481T ES 2922136 T3 ES2922136 T3 ES 2922136T3
Authority
ES
Spain
Prior art keywords
eye
user
tracking device
sum
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18707481T
Other languages
English (en)
Inventor
Mark Ryan
Torbjörn Sundberg
Pravin Rana
Yimu Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2922136T3 publication Critical patent/ES2922136T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0083—Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Se revela un método para determinar la apertura ocular con un dispositivo de seguimiento ocular. El método puede incluir determinar, para píxeles de un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer período en que un ojo de un usuario está abierto, una primera suma de intensidad de los píxeles. El método también puede incluir determinar, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, una segunda suma de intensidad de los píxeles. El método puede incluir además determinar, durante un tercer período de tiempo, una tercera suma de intensidad de los píxeles. El método puede incluir además determinar que en la tercera suma excede una cuarta suma de la primera suma más una cantidad umbral, que el ojo del usuario está cerrado, la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre el Primera suma y la segunda suma. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Determinación de la apertura ocular con un dispositivo de seguimiento ocular
Breve descripción de la invención
En un ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un sistema para ajustar la posición de una lente en un dispositivo portátil. El sistema puede incluir un dispositivo portátil y uno o más procesadores. El dispositivo portátil puede incluir una pantalla, al menos una lente dispuesta de manera móvil frente a la pantalla y un dispositivo de seguimiento ocular que incluye al menos un iluminador y al menos un sensor de imagen. El uno o más procesadores pueden configurarse para recibir datos del dispositivo de seguimiento ocular y determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El uno o más procesadores también pueden configurarse para determinar una distancia entre la primera posición y la segunda posición, y si la distancia es mayor que un primer valor, hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima.
En otro ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un método para ajustar la posición de una lente en un dispositivo portátil. El método puede incluir la recepción de datos desde un dispositivo de seguimiento ocular en un dispositivo portátil que incluye una pantalla y al menos una lente dispuesta de manera móvil frente a la pantalla. El método también puede incluir la recepción de datos desde el dispositivo de seguimiento ocular. El método puede incluir además determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El método puede incluir de forma adicional determinar una distancia entre la primera posición y la segunda posición. Además, el método puede incluir, si la distancia es mayor que un primer valor o menor que un segundo valor, hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima.
En otro ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un medio legible por máquina no transitorio. El medio legible por máquina no transitorio puede tener instrucciones almacenadas en el mismo para ajustar una posición de una lente en un dispositivo portátil. Las instrucciones pueden ser ejecutables por uno o más procesadores para realizar un método. El método puede incluir la recepción de datos desde un dispositivo de seguimiento ocular en un dispositivo portátil que incluye una pantalla y al menos una lente dispuesta de manera móvil frente a la pantalla. El método también puede incluir la recepción de datos desde el dispositivo de seguimiento ocular. El método puede incluir además determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El método puede incluir de forma adicional determinar una distancia entre la primera posición y la segunda posición. Además, el método puede incluir, si la distancia es mayor que un primer valor o menor que un segundo valor, hacer que al menos una lente se mueva hasta que la distancia sea menor que el primer valor y mayor que el segundo valor.
Según la invención reivindicada, se proporciona un método para determinar la apertura ocular con un dispositivo de seguimiento ocular. El método incluye determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer período de tiempo cuando el ojo de un usuario está abierto, una primera suma de intensidad de los píxeles. El método también incluye determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen del dispositivo de seguimiento ocular, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, una segunda suma de intensidad de los píxeles. El método incluye además determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen del dispositivo de seguimiento ocular, durante un tercer período de tiempo, una tercera suma de intensidad de los píxeles. El método también incluye determinar, con un procesador, que en el caso de que la tercera suma exceda una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario se cierra, en donde la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma. La invención se define en la reivindicación independiente 1 con las reivindicaciones 2-4 que definen realizaciones preferidas de la misma.
Se describen sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estos sistemas y métodos pueden incluir la activación de una pluralidad de iluminadores de un dispositivo de seguimiento ocular, en donde la pluralidad de iluminadores se dirige hacia un ojo de un usuario. Los sistemas y métodos también pueden incluir determinar, con un sensor de imagen de un dispositivo de seguimiento ocular, cuántos reflejos de iluminadores activados están presentes en el ojo del usuario. Los sistemas y métodos pueden incluir además determinar, con al menos un procesador, basándose en la presencia de menos de un primer número predefinido de reflejos, que el ojo del usuario está cerrado.
En otros ejemplos, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estos ejemplos pueden incluir recibir, en uno o más procesadores, una imagen de un ojo de un usuario desde un sensor de imagen de un dispositivo de seguimiento ocular. Los ejemplos también pueden incluir determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila. Los ejemplos pueden incluir además determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila. Los ejemplos pueden incluir de forma adicional determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado. Además, los ejemplos pueden incluir determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
Breve descripción de los dibujos
Junto con las figuras adjuntas se describen realizaciones de la presente invención y ejemplos de la presente descripción:
La Fig. 1 es un gráfico que muestra los datos usados en una determinación de la apertura ocular según una realización;
la Fig. 1A muestra una imagen del ojo de un usuario que tiene destellos indicativos de reflejos de iluminadores activos, en donde los destellos están espaciados de manera sustancialmente regular y circular alrededor de la pupila del usuario;
la Fig.2 es un gráfico que muestra los datos usados en una determinación de la apertura ocular según una realización;
las Figs. 3-7 son imágenes en un ojo y diversos puntos de medición en el mismo que son relevantes para un método para determinar la apertura ocular según un ejemplo;
la Fig. 8 muestra dos guías visuales que representan la posición de un sensor de imagen y el ojo del usuario con respecto al mismo, y que pueden presentarse en algunos ejemplos para ayudar a un usuario a posicionar un dispositivo de seguimiento ocular o un dispositivo portátil que incluye un dispositivo de seguimiento ocular;
la Fig. 9 muestra un dispositivo portátil de un ejemplo capaz de detectar la posición de las lentes en el mismo, y al menos ayudar al usuario a ajustar las mismas;
la Fig. 10 muestra un diagrama de bloques de un ejemplo para detectar y ajustar la posición de las lentes de un dispositivo portátil; y
la Fig. 11 es un diagrama de bloques de un sistema informático especializado capaz de usarse en al menos alguna porción de los aparatos o sistemas de la presente descripción, o implementar al menos alguna porción de los métodos de la presente invención.
En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.
Descripción detallada de la invención
La descripción que sigue proporciona únicamente realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. La invención y las realizaciones preferidas de la misma se exponen en las reivindicaciones adjuntas.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia de análisis de cualquier detalle con respecto a cualquier realización en el presente documento será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en el presente documento.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que pueden describirse realizaciones individuales como un procedimiento que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” incluye, pero sin limitación, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y diversos otros medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención y los ejemplos de la descripción pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
Generalmente, la presente descripción se refiere a sistemas y métodos para el seguimiento ocular y el uso de los mismos, en particular, a sistemas y métodos para el seguimiento ocular en un dispositivo portátil. Los dispositivos portátiles han cobrado prominencia en los últimos años, dichos dispositivos contienen típicamente al menos una pantalla y se usan comúnmente en aplicaciones de Virtual Reality (realidad virtual - VR) o Augmented Reality (realidad aumentada - AR).
El seguimiento ocular es el proceso para determinar la dirección de la mirada de una persona. Típicamente, esto se hace usando un dispositivo de seguimiento ocular basado en un sensor de imagen, en donde un iluminador proyecta luz infrarroja en el ojo de un usuario, y el sensor de imagen captura una imagen que contiene un reflejo de la luz infrarroja del ojo. A partir de la ubicación del reflejo sobre el ojo, se puede determinar la dirección de la mirada del ojo. Los dispositivos de seguimiento ocular tienen diversas configuraciones de sensores de imagen, iluminadores y estructuras de procesamiento, como comprenderá fácilmente un experto en la técnica.
El empleo de la tecnología de seguimiento ocular en un dispositivo portátil puede tener determinadas ventajas. Por ejemplo, puede permitir una interacción más natural en un entorno de realidad virtual o aumentada.
En un ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un dispositivo portátil para llevar en la cabeza de un usuario. El dispositivo portátil puede incluir al menos una pantalla y un dispositivo de seguimiento ocular. El dispositivo de seguimiento ocular puede incluir, por ejemplo, al menos un sensor de imagen y al menos un iluminador infrarrojo, como se ha analizado anteriormente. El sensor de imagen puede ser cualquier sensor de imagen convencional de complimentary metal-oxide semiconductor (semiconductor complementario de óxido metálico - CMOS) o charge-coupled device (dispositivo de carga acoplada - CCD) que contenga una pluralidad de píxeles, como entenderá fácilmente un experto en la técnica.
El dispositivo de seguimiento ocular puede disponerse dentro del dispositivo portátil para estar muy cerca del ojo de un usuario cuando el usuario lleva puesto el dispositivo portátil. Una unidad de procesamiento puede acoplarse operativamente con el uno o más sensores de imagen y el uno o más iluminadores, para procesar imágenes capturadas por el sensor de imagen para determinar la dirección de la mirada.
Como se ha analizado, en algunas realizaciones, el iluminador infrarrojo puede proyectar iluminación infrarroja hacia el ojo del usuario, y el sensor de imagen captura una imagen del área ocular del usuario. El sensor y/o el procesador determinan una suma de intensidad recibida de todos los píxeles de la imagen capturada (en donde los valores más altos/intensidad son característicos de los ojos cerrados), lo que da como resultado una suma total X. Esto se repite para cada imagen capturada por el sensor de imagen. Se muestra un ejemplo de tal monitorización repetida en el gráfico de la Fig. 1, que muestra la suma de la intensidad (eje Y) frente al tiempo (eje X). Esto permite una determinación binaria de la apertura ocular, es decir, cerrado (0) o abierto (1), en los valores más altos y más bajos del eje Y, pero también permite una determinación más analógica de diversos estados de apertura entre cerrado y abierto, es decir, abierto un cuarto, medio abierto, abierto tres cuartos y todas las permutaciones intermedias.
En el ejemplo de la Fig. 1, el valor de X varía con el tiempo, teniendo tres picos distintos. Estos picos representan aumentos en la suma de la intensidad de los píxeles del sensor de imagen que han cambiado desde un momento anterior (los valles de la Fig. 1), lo que tiene lugar cuando un usuario cierra el párpado (p. ej., parpadea). Estos picos se pueden determinar por la unidad de procesamiento y, por lo tanto, se puede confiar en ellos para proporcionar una indicación a otra aplicación de que el usuario está parpadeando.
Los datos Y en la Fig. 1 son un valor de referencia, que se puede ajustar según diversas realizaciones, y puede ser diferente para cada usuario individual. Un método para ajustar el valor de referencia Y es determinar un tipo de valor filtrado de paso bajo (por ejemplo, un valor de filtro de media móvil) para las imágenes de los ojos de un usuario en particular cuando están abiertos.
Los datos Z en la Fig. 1 son un umbral en el que se cree que el ojo sustancialmente cerrado, que se compara con el valor de X para determinar si el usuario está realizando un parpadeo. Si X supera el umbral Z, entonces se puede determinar que el ojo del usuario está realizando un movimiento de cierre hasta que el valor de X vuelve por debajo del umbral Z. En algunas realizaciones, el umbral Z también se puede ajustar basándose en los datos recopilados durante el funcionamiento de los métodos descritos en el presente documento.
A continuación, en una realización, la suma de píxeles X puede analizarse usando las siguientes fórmulas para determinar si un usuario está parpadeando:
X = suma actual de píxeles;
Y = valor de referencia;
A = amplitud de parpadeo;
f = fracción de umbral de parpadeo (en algunas realizaciones, entre aproximadamente 1/8 y aproximadamente 1/2); Si X >= Y f * A entonces C = 0;
Si X < Y f * A entonces C = 1; y
en donde C = 0 es un ojo cerrado, C = 1 es un ojo abierto.
Para simplificar:
Z = Y f * A;
si X >= Z entonces el ojo está cerrado; y
si X < Z entonces el ojo está abierto.
A se actualiza con un filtro de media móvil del valor de X solo durante los tiempos en los que C = 0 (el ojo está cerrado).
Y se actualiza con un filtro de media móvil del valor de X solo durante los tiempos en los que C = 1 (el ojo está abierto). Para ser más específicos, el valor de Y se actualizará basándose en la imagen capturada de al menos uno de los ojos del usuario que indica que el ojo está abierto. El valor de Y se establece en un valor predeterminado por defecto al comienzo de la inicialización del sistema o en otro momento. Y el valor de Y se establece para que se actualice basándose en cada marco de imagen capturado del ojo u ojos del usuario o se establece para que se actualice según una secuencia de tiempo predeterminada y basándose en la imagen capturada del ojo u ojos del usuario en un momento específico en el tiempo. Preferiblemente, el valor de Y se establece en un valor específico cuando se detecta un patrón de destello predeterminado, apropiado para el número de iluminadores que provocan destellos potenciales. El patrón de destellos predeterminado indica que el número de destellos alcanza un valor umbral predeterminado y la forma de los destellos es sustancialmente circular y las ubicaciones de los destellos están en una región predefinida (p. ej., los destellos están cerca de la pupila). La distancia entre los destellos adyacentes también puede ser sustancialmente idéntica. Y los destellos pueden estar alineados en dos lados de la pupila respectivamente en un patrón de tipo circular). Véase la Fig. 1A para obtener ejemplos de las características anteriores.
La Fig. 2 muestra los resultados de estos cálculos sobre los datos de ejemplo de la Fig. 1, en donde el eje Y representa la apertura ocular (1 = abierto, 0 = cerrado) y el eje X representa el tiempo. Al normalizar el valor de referencia Y basándose en los valores de X durante las condiciones de ojo abierto (C = 1), las realizaciones del presente documento pueden tener en cuenta las perturbaciones en la monitorización, como el movimiento de la cabeza, durante la cual la suma de píxeles X varía debido a factores externos, tal como la luz ambiental, el movimiento en la posición del dispositivo portátil, etc.
En otro ejemplo, en lugar de usar la suma de píxeles X para determinar si un ojo está abierto o cerrado, se pueden analizar características más particulares de los reflejos de la iluminación infrarroja. Por ejemplo, en un sistema en donde una pluralidad de iluminadores infrarrojos se dirige hacia el ojo de un usuario, tal como un sistema de seguimiento ocular, se puede analizar una imagen capturada del ojo para determinar si hay algún reflejo en el ojo de los iluminadores infrarrojos. Si es así, la cantidad, ubicación, etc. de los reflejos puede usarse para deducir que un ojo está abierto o cerrado.
Por ejemplo, considérese un caso en donde ocho iluminadores dispuestos en un círculo se dirigen hacia el ojo de un usuario. Si una imagen del ojo revela destellos provocados por los ocho iluminadores presentes, se puede decidir que el ojo del usuario está abierto. Si la imagen no revela destellos, se puede decidir que el ojo del usuario está cerrado. Si la imagen revela entre 1 y 7 destellos provocados por los iluminadores, se puede decidir que el ojo del usuario está en proceso de abrirse o cerrarse. Dependiendo del ejemplo, estas condiciones intermedias que se producen durante la apertura o el cierre pueden clasificarse como un estado abierto o cerrado para hacer que los datos sean binarios con fines analíticos
En algunos ejemplos, también se proporciona un método para determinar la apertura de un ojo que puede adaptarse a ojos de diferentes formas y tamaños, y personas cuyos ojos, cuando están abiertos, pueden no estar tan abiertos como los de otros usuarios. Estos métodos pueden basarse en el hecho de que durante un parpadeo, independientemente de las características normales de apertura ocular de la persona, la mayor parte de la pupila puede quedar oculta por el párpado. Por el contrario, cuando un usuario tiene los ojos entrecerrados de forma natural o está entrecerrando los ojos, a pesar de que la posición general de los párpados parece similar a un parpadeo en movimiento, la mayor parte de su pupila no ocultará.
Con respecto a estos ejemplos, puede ser relevante diversa información, como se describirá a continuación con referencia a la Fig. 3 :
psuperior = el punto en donde el párpado superior está más abierto;
pinferior = el punto en donde el párpado inferior está más abierto;
Cpupila = el centro de la pupila; y
rpupila = el radio de la pupila.
Esta información puede recopilarse usando un sensor de imagen de un dispositivo de seguimiento ocular y se puede usar para estimar la distancia entre los párpados de un usuario. A su vez, para adaptarse a ojos que son naturalmente más entrecerrados, se puede seguir la apertura máxima a lo largo del tiempo, y se pueden emplear los métodos descritos en el presente documento para determinar si el ojo está abierto o cerrado en relación con dicha apertura máxima.
La información anterior también puede usarse para determinar una estimación de la fracción visible de una pupila. Con referencia a la Fig. 4 , un método puede estimar cuánto es visible una pupila, aproximando el párpado con una línea horizontal:
Figure imgf000006_0001
el áreainferior se calcula de la misma manera a partir de pinferior.
Con referencia a las Figs. 5-8, mediante el seguimiento de la fracción máxima del área visible de la pupila (f visib i e.máx ) para un usuario, la apertura ocular se puede calcular como:
Apertura = f visible /f visible.máx' ; y
f visibie = área visibie /área pupiia .
Como alternativa, en una determinación binaria de la apertura ocular, puede ser ventajoso determinar si el centro de la pupila está ubicado entre d superior y d mfemr .
Una vez que se determina la apertura, o el grado de apertura del ojo de un usuario, la información puede usarse por aplicaciones capaces de visualizarse en el dispositivo portátil u otras aplicaciones. Por ejemplo, en una aplicación que muestra un avatar (una representación informática de una persona), el ojo u ojos del avatar pueden actualizarse para reflejar la condición en la vida real del ojo u ojos del usuario. La aplicación puede ejecutarse en un dispositivo portátil local que contiene el dispositivo de seguimiento ocular o en un dispositivo portátil remoto en comunicación con el dispositivo portátil del usuario.
En otros ejemplos, puede iniciarse una acción específica por un procesador u otro dispositivo tras una determinación de que los ojos del usuario están abiertos, cerrados o en algún estado entre los dos. Por ejemplo, el dispositivo de seguimiento ocular puede encenderse a un estado de mayor potencia y/o más activo/preparado si se detecta que los ojos del usuario están abiertos. Si se detecta que los ojos del usuario están cerrados, el dispositivo de seguimiento ocular puede apagarse o pasar a un estado de potencia más baja y/o menos activo/preparado. Cualquier otro recurso, dispositivo de entrada, dispositivo de salida u otro dispositivo acoplado con el procesador que gestiona el dispositivo de seguimiento ocular (o dentro del dispositivo de seguimiento) también se puede operar de manera similar basándose en la determinación de la apertura ocular a través de cualquiera de los métodos descritos en el presente documento.
Según la invención, se proporcionan métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estas realizaciones incluyen determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer período de tiempo cuando el ojo de un usuario está abierto, una primera suma de intensidad de los píxeles. En algunas realizaciones, la primera suma puede ser una media móvil de la intensidad de los píxeles del sensor de imagen. Las realizaciones incluyen determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen del dispositivo de seguimiento ocular, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, una segunda suma de intensidad de los píxeles. Las realizaciones incluyen además determinar, para todos los píxeles de una imagen del área ocular de un usuario capturada usando un sensor de imagen del dispositivo de seguimiento ocular, durante un tercer período de tiempo, una tercera suma de intensidad de los píxeles. Las realizaciones incluyen de forma adicional determinar, con un procesador, que en el caso de que la tercera suma exceda una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario se cierra, en donde la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma. La fracción umbral puede estar entre aproximadamente 1/8 y aproximadamente 1/2.
En algunas realizaciones, los métodos también pueden incluir activar un iluminador del dispositivo de seguimiento ocular durante cada uno del primer período de tiempo, el segundo período de tiempo y el tercer período de tiempo. Además, en diversos ejemplos, el primer período de tiempo puede ser dinámico y preceder al tercer período de tiempo.
En otros ejemplos, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estos ejemplos pueden incluir la activación de una pluralidad de iluminadores de un dispositivo de seguimiento ocular, en donde la pluralidad de iluminadores se dirige hacia un ojo de un usuario. Los ejemplos también pueden incluir determinar, con un sensor de imagen de un dispositivo de seguimiento ocular, cuántos reflejos de iluminadores activados están presentes en el ojo del usuario. Los ejemplos pueden incluir además determinar, con al menos un procesador, basándose en la presencia de menos de un primer número predefinido de reflejos, que el ojo del usuario está cerrado. En algunos ejemplos, el primer número predefinido puede ser uno. En diversos ejemplos, el primer número predefinido puede seleccionarse de un grupo que consiste en todos los números enteros entre cero y un número total de la pluralidad de iluminadores. En diversos ejemplos, los métodos y sistemas también pueden incluir determinar, con el al menos un procesador, basándose en que el número de reflejos sea mayor que cero, pero menor que el número total de la pluralidad de iluminadores, que el ojo del usuario está en un proceso de apertura o cierre.
En otros ejemplos, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estos ejemplos pueden incluir recibir, en uno o más procesadores, una imagen de un ojo de un usuario desde un sensor de imagen de un dispositivo de seguimiento ocular. Los ejemplos también pueden incluir determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila. Los ejemplos pueden incluir además determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila. Los ejemplos pueden incluir de forma adicional determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado. Además, los ejemplos pueden incluir determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
Por lo tanto, en algunos ejemplos, cuando el área total de la pupila que no está oculta es mayor que el resto de la pupila, el ojo del usuario está abierto. En estos u otros ejemplos, cuando el área total de la pupila que no está oculta es menor que el resto de la pupila, el ojo del usuario está cerrado.
En algunos ejemplos, los sistemas y métodos pueden incluir además determinar, con el uno o más procesadores, basándose en la imagen del ojo, que el centro de la pupila está oculto por cualquiera de los párpados, y determinar, con el uno o más procesadores, basándose en que el centro de la pupila está oculto por el párpado, que el ojo del usuario está cerrado. En estos u otros ejemplos, los sistemas y métodos pueden incluir además determinar, con el uno o más procesadores, basándose en la imagen del ojo, una apertura máxima a lo largo del tiempo entre cualquiera de los párpados y determinar, con el uno o más procesadores, si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo. Determinar si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo puede incluir determinar, basándose en la imagen del ojo, que la apertura del ojo es menor que una proporción predefinida de la apertura máxima a lo largo del tiempo.
En los anteriores u otros ejemplos, también puede proporcionarse un sistema y un método para instruir a un usuario para que coloque apropiadamente un dispositivo portátil sobre su cabeza, en donde dicho dispositivo portátil contiene un dispositivo de seguimiento ocular. El dispositivo portátil puede tener la forma de un auricular VR o AR que tiene al menos una pantalla. El dispositivo portátil puede incluir un dispositivo de seguimiento ocular que tiene al menos un sensor de imagen y al menos un iluminador infrarrojo, en donde el sensor de imagen puede disponerse para poder capturar e imagen de al menos una porción del ojo de un portador, y el iluminador infrarrojo puede disponerse para proyectar iluminación infrarroja sobre el ojo de un portador.
Según dichos ejemplos, un procesador ejecuta una aplicación, lo que hace que los elementos se muestren en la pantalla del dispositivo portátil. Estos elementos pueden ser guías gráficas para un usuario que lleva puesto el dispositivo portátil, para ayudar al usuario a colocar el dispositivo portátil sobre la cabeza del usuario de manera que se permita el seguimiento ocular funcional por parte del dispositivo de seguimiento ocular.
Como se muestra en la Fig. 8 , estas guías gráficas pueden tener la forma de una primera guía gráfica 810 y una segunda guía gráfica 820. La primera guía gráfica 810 puede representar una aproximación de una lente incorporada en un sensor de imagen en el dispositivo de seguimiento ocular, y la segunda guía gráfica 820 puede representar una aproximación del ojo del usuario según se detecta por el dispositivo de seguimiento ocular.
En la práctica, cuando la segunda guía gráfica 820 se superpone a la primera guía gráfica 810, proporciona al usuario una representación visual de la ubicación de su ojo u ojos en relación con la lente de un sensor de imagen que forma imágenes de sus ojos.
Para que el seguimiento ocular funcione correctamente, es ventajoso que el ojo u ojos del usuario estén situados lo más cerca posible del centro de la lente. A medida que el usuario reposiciona o mueve el dispositivo portátil, la posición de su ojo u ojos con respecto a la lente cambiará y, por lo tanto, también cambiará la segunda guía gráfica 820 con respecto a la primera guía gráfica 810.
Cualquiera de las guías gráficas 810, 820 o ambas pueden cambiar de color para indicar la idoneidad de la posición actual del ojo u ojos del usuario para el seguimiento ocular. Por ejemplo, el color verde puede usarse para indicar una posición muy correlacionada, mientras que el color rojo puede indicar una posición inadecuadamente correlacionada. Pueden usarse otros colores, por ejemplo naranja, para indicar una posición adecuadamente correlacionada (es decir, no perfectamente correlacionada, pero suficiente para un seguimiento ocular útil).
En algunos ejemplos, también se puede colocar texto sobre la pantalla para instruir al usuario sobre cómo reposicionar el dispositivo portátil. O el texto puede adaptarse en respuesta a la posición determinada actualmente del ojo u ojos del usuario.
La posición del dispositivo portátil puede ajustarse moviendo toda la unidad, o las dos lentes pueden ajustarse una con respecto a la otra. Esto puede realizarse por medios mecánicos, tales como girar una perilla conectada a un engranaje para deslizar mecánicamente las dos lentes para acercarlas o alejarlas, o a través de medios electrónicos que controlan un motor o similar.
En algunos ejemplos, la posición de las lentes del dispositivo portátil en relación con los ojos del usuario puede determinarse a partir de procesos automatizados descritos a continuación y posteriormente optimizados por el usuario con asistencia/instrucción de los procesos automatizados. En algunos de estos ejemplos, los procesos automatizados también pueden incluso optimizar automáticamente la posición después de determinar la posición de la lente en relación con los ojos del usuario.
Un sistema de este tipo puede incluir un dispositivo portátil y uno o más procesadores. El sistema y/o el usuario pueden realizar diversos métodos y/o ejecutar diversos métodos almacenados en medios legibles por máquina. En algunos ejemplos, uno, más o todos los procesadores estarán dispuestos dentro del dispositivo portátil. En estos ejemplos, uno, más o todos los procesadores estarán dispuestos dentro del dispositivo de seguimiento ocular del dispositivo portátil. En algunos ejemplos, uno, más o todos los procesadores estarán dispuestos dentro de un dispositivo informático independiente pero acoplado de manera comunicativa (por ejemplo, un dispositivo móvil, una tableta, un ordenador portátil, un dispositivo informático de escritorio o un dispositivo informático remoto/en la nube).
El dispositivo portátil puede incluir una pantalla, al menos una lente dispuesta de manera móvil frente a la pantalla y un dispositivo de seguimiento ocular que incluye al menos un iluminador y al menos un sensor de imagen. La pantalla puede ser una pantalla LCD y/o LED típica de los auriculares VR, módulos de pantalla tales como pantallas de escaneo retinal y/o proyectores retinales, y las lentes pueden ser Fresnel y/u otras lentes destinadas a ayudar al dispositivo portátil a proporcionar un efecto inmersivo tritridimensional para el usuario que ve la pantalla. En algunas realizaciones, pueden combinarse múltiples lentes Fresnel u otras lentes en serie en una pila de lentes y emplearse en lugar de una sola lente. Aunque la distancia entre la pantalla y las lentes puede ser fija en muchas realizaciones, la distancia entre las lentes y los ojos del usuario puede ajustarse en el dispositivo portátil. La optimización de esta distancia puede mejorar la presentación de la pantalla al usuario de manera que se proporcione al usuario un efecto inmersivo tridimensional mejorado.
El dispositivo de seguimiento ocular puede ser uno conocido en la técnica capaz de determinar diversos datos relacionados con los ojos de un usuario, incluyendo datos indicativos de la dirección de la mirada, así como la ubicación del ojo, o alguna porción del mismo, en relación con los sensores de imagen del dispositivo de seguimiento ocular (o algún otro componente cuya posición es fija con respecto a los sensores de imagen).
El uno o más procesadores pueden configurarse para recibir datos del dispositivo de seguimiento ocular y determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. Como se ha descrito anteriormente, los datos del dispositivo de seguimiento ocular pueden evaluarse por los procesadores para determinar la primera posición de un ojo del usuario. Sin embargo, en otros ejemplos, el dispositivo de seguimiento ocular puede determinar la primera posición del ojo del usuario e informarla directamente al procesador.
En algunos ejemplos, los datos del dispositivo de seguimiento ocular pueden ser datos representativos de un único punto en el tiempo durante el cual el sensor de imagen del dispositivo de seguimiento ocular captura un único marco de imagen. En otros ejemplos, los datos del dispositivo de seguimiento ocular pueden ser datos representativos de múltiples marcos de imagen consecutivos, mientras que en otros ejemplos, pueden tomarse múltiples marcos de imagen a intervalos diferentes o constantes a lo largo del tiempo. En cualquiera de los escenarios anteriores, los datos pueden usarse para determinar la ubicación del ojo del usuario. Los ejemplos que usan múltiples imágenes para llegar a datos medios/promedio pueden ser ventajosos para garantizar que se tengan en cuenta las pequeñas fluctuaciones debidas a fluctuaciones/errores en las mediciones del dispositivo de seguimiento ocular, pequeños movimientos del dispositivo portátil en relación con el ojo del usuario durante un uso normal y/o etc.
La primera posición puede ser cualquier posición situada constantemente en un ojo de un usuario. Simplemente a modo de ejemplo, la primera posición puede representar la ubicación de una pupila de un ojo del usuario. En otro ejemplo, la primera posición puede representar una ubicación de una región esférica de la córnea de un ojo del usuario. También puede usarse cualquier otra ubicación característica consistente en el ojo de un usuario como la ubicación de la primera posición.
La primera y segunda posiciones pueden tener uno cualquiera o más de tres componentes axiales. Solo a modo de ejemplo, cualquier posición puede tener una posición en el eje X, una posición en el eje Y y una posición en el eje Z. En algunos ejemplos, los ejes X e Y pueden ser coplanares a la pantalla (y las lentes dispuestas frente a la pantalla), mientras que el eje Z puede ser perpendicular a los ejes X e Y (es decir, hacia y desde el usuario mientras ve la pantalla; también conocida como la dirección de descanso de la lente).
En cualquier caso, la primera posición del ojo del usuario puede determinarse con respecto a una segunda posición fija. La posición fija puede ubicarse en cualquier punto consistente en el espacio y puede ser, por ejemplo, la posición de cualquier componente analizado en el presente documento, o cualquier posición fija en relación con dichos componentes. En algunos ejemplos, la segunda posición puede fijarse en algún lugar entre dos lentes del dispositivo portátil. En algunos auriculares de realidad aumentada u otros tipos de auriculares sin pantalla, se puede emplear una guía de luz o una guía de ondas para emitir pantallas de vídeo al usuario. En estos ejemplos, la segunda posición puede ser una posición fija en algún punto de una guía de luz o guía de ondas, o múltiples guías de luz o guías de ondas relativas (posiblemente intermedias) configuradas para emitir proyecciones de vídeo a uno o ambos ojos del usuario.
El uno o más procesadores también pueden configurarse para determinar una distancia entre la primera posición y la segunda posición. Debido a que la primera posición se determina en relación con la segunda posición, la distancia se puede determinar mediante el procesador y/o el dispositivo de seguimiento ocular. Como se ha indicado anteriormente, tanto la primera como la segunda posición pueden tener los ejes X, Y y Z y, por lo tanto, se puede determinar que la distancia entre las dos posiciones tenga vectores en cada una de estas direcciones.
Una vez que se determina la distancia, se compara con uno o más valores umbral. Los valores umbral pueden representar una distancia mínima para el posicionamiento óptimo de la lente con respecto a los ojos del usuario, una distancia máxima para el posicionamiento óptimo de la lente con respecto a los ojos del usuario, o ambas. En cualquier ejemplo dado, todos o algunos de los vectores direccionales de la distancia descritos anteriormente (es decir, los ejes x, y y/o z) pueden compararse con todos o algunos de los vectores direccionales de un valor de umbral (es decir, los ejes x, y y/o z). Por lo tanto, solamente a modo de ejemplo, solo el vector del eje z de la distancia puede compararse con el vector del eje z de un valor o valores umbral para determinar si la lente está demasiado lejos o demasiado cerca del ojo del usuario. En otros ejemplos, también se tendrán en cuenta los ejes x y/o y.
De forma adicional, en algunos ejemplos se pueden emplear múltiples umbrales. Por ejemplo, un umbral de límite alto puede representar una distancia máxima para la cual los métodos del presente documento definen una posición óptima de la lente en relación con el ojo del usuario, mientras que un umbral de límite bajo puede representar una distancia mínima para la cual los métodos del presente documento definen una posición óptima de la lente en relación con el ojo del usuario.
En algunos ejemplos, los valores umbral pueden ser dinámicos y cambiar a lo largo del tiempo basándose en otras variables. Solamente a modo de ejemplo, los procesadores pueden ser informados de, o ser capaces de analizar, el contenido que se proporciona al usuario en la pantalla y determinar que un valor o valores umbral diferentes son óptimos durante ese tiempo (por ejemplo, posiblemente diferentes umbrales representativos de diferentes distancias de descanso necesarias para determinado contenido), las características visuales (es decir, el brillo, el contraste, el cambio del porcentaje de píxeles de la pantalla, etc.), la presencia de anteojos (es decir, gafas) y/u otros factores pueden provocar un cambio de los valores umbral.
Por ejemplo, si la distancia es mayor que un primer valor, los métodos de diversos ejemplos pueden hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima. Esta información puede presentarse de forma audible, visual o táctil. En diversos ejemplos: El método puede hacer que se presente contenido en la pantalla que informa al usuario que las lentes están demasiado cerca o demasiado lejos del ojo del usuario. El contenido también puede informar al usuario sobre cómo hacer que la lente se reposicione manualmente a la luz del mismo. Por ejemplo, el dispositivo portátil del usuario puede tener un control para mover mecánica o electromecánicamente la lente como se describe. El contenido mostrado podrá instruir al usuario sobre la ubicación y particularidades de dicho control. En algunos ejemplos, se puede presentar información audible al usuario a través de un altavoz, etc. En algunos ejemplos, se puede presentar al usuario una retroalimentación táctil, tal vez mediante una operación intermitente/pulsada de un sistema de movimiento electromecánico automático que puede reposicionar la lente sin entrada manual del usuario.
Por lo tanto, en algunos ejemplos, puede proporcionarse un sistema de movimiento electromecánico para reposicionar automáticamente la lente con respecto a los ojos del usuario basándose en la determinación de la distancia realizada anteriormente (y posteriormente en comparación con los valores umbral). Este reposicionamiento automático puede producirse al finalizar la comparación de la distancia determinada con el uno o más umbrales. Al igual que con la determinación de la distancia y la comparación con los umbrales, este proceso puede repetirse automáticamente a lo largo del tiempo y/o bajo la dirección del usuario (mediante instrucciones del usuario a los procesadores, etc.). En algunos ejemplos, los sistemas de movimiento electromecánico automáticos también pueden estar presentes para acercar o alejar entre sí cada una de las dos lentes en el dispositivo portátil, potencialmente en la dirección del eje x (es decir, de izquierda a derecha con respecto al usuario). Dichos sistemas de movimiento automáticos pueden emplearse para implementar otros ejemplos de la descripción, tales como los analizados anteriormente, para tener en cuenta los cambios necesarios en la distancia entre ojos o entre pupilas.
La Fig. 9 muestra un dispositivo portátil 900 que tiene los componentes descritos anteriormente. El dispositivo portátil 900 incluye una pantalla 905 (algunos ejemplos pueden tener una pantalla separada para cada ojo), dos lentes 910 y un dispositivo 915 de seguimiento ocular. Cada porción del dispositivo 915 de seguimiento ocular puede tener al menos un iluminador 920 y al menos un sensor 925 de imagen. El procesador 930 puede recibir datos de, y emitir instrucciones a, los componentes del dispositivo 900 como se ha descrito anteriormente.
Un primer sistema 935 de movimiento electromecánico puede proporcionar un medio para que las lentes 910 se muevan una con respecto a la otra, mientras que un segundo sistema 940 de movimiento electromecánico puede proporcionar un medio para que las lentes 910 se muevan con respecto a los ojos del usuario (no se muestra, pero estaría presente en el lado izquierdo del dispositivo 900 durante el uso). En algunos ejemplos, ambos sistemas 935, 940 de movimiento solo pueden manipularse manualmente por el usuario (es decir, a través de una perilla, etc.). También se muestran los ejes 945 de orientación en las direcciones X, Y y Z, como se ha analizado anteriormente.
La Fig. 10 es un diagrama de bloques de un método 1000 como se describe para ajustar la ubicación de lentes en un dispositivo portátil. En el bloque 1010 se determina o se identifica de otro modo una posición de referencia, quizás como predefinida. En el bloque 1020 se reciben datos del dispositivo de seguimiento ocular.
En el bloque 1030 se determina una posición del ojo a partir de los datos. En el bloque 1040 se determina la distancia desde la posición de referencia hasta la posición del ojo. En el bloque 1050, la distancia se compara con un valor umbral.
En el bloque 1060, si la distancia está dentro del valor umbral, entonces el método 1000 finaliza en el bloque 1080. Si la distancia no está dentro del valor umbral en el bloque 1060, entonces se proporciona orientación de movimiento al usuario en el bloque 1070, o los sistemas de movimiento se activan automáticamente en el bloque 1075 para llevar la distancia dentro del umbral. El método 1000 puede repetirse cada vez que se restablece el sistema, entre la ejecución de la aplicación en el dispositivo portátil, o en intervalos regulares o irregulares, para garantizar una distancia óptima de la lente.
La Fig. 11 es un diagrama de bloques que ilustra un sistema informático especializado 1100 en el que pueden implementarse realizaciones de la presente invención y ejemplos de la presente descripción. Este ejemplo ilustra un sistema informático especializado 1100 que puede usarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de pantalla 905, dispositivos 915 de seguimiento ocular, procesadores 930, sistemas 935, 940 de movimiento y/u otros componentes de la invención tales como los analizados anteriormente. Por ejemplo, diversas funciones de los procesadores 930 pueden controlarse por el sistema informático especializado 1100, incluyendo, simplemente a modo de ejemplo, determinar distancias desde las características del ojo hasta un punto de referencia, comparar distancias con umbrales predefinidos, etc.
Se muestra un sistema informático especializado 1100 que comprende elementos de hardware que pueden estar acoplados eléctricamente a través de un bus 1190. Los elementos de hardware pueden incluir una o más unidades centrales de procesamiento 1110, uno o más dispositivos 1120 de entrada (p. ej., un ratón, un teclado, un panel táctil, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 1130 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema informático especializado 1100 también puede incluir uno o más dispositivo 1140 de almacenamiento. A modo de ejemplo, el uno o más dispositivos 1140 de almacenamiento pueden ser unidades de disco, dispositivos ópticos de almacenamiento, un dispositivo de almacenamiento en estado sólido tal como una memoria de acceso aleatorio (“ RAM” ) y/o una memoria de solo lectura (“ ROM” ), que pueden ser programables, actualizables por memoria flash y/o similares.
El sistema informático especializado 1100 puede incluir de forma adicional un lector 1150 de medios de almacenamiento legibles por ordenador, un sistema 1160 de comunicaciones (p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación infrarroja, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria funcional 1180, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunas realizaciones, el sistema informático especializado 1100 puede incluir también una unidad 1170 de aceleración de procesamiento, que puede incluir un procesador de señales digitales, un procesador especial y/o procesadores similares.
El lector 1150 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con uno o más dispositivos 1140 de almacenamiento) de manera exhaustiva dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 1160 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema informático especializado 1100 también puede comprender elementos de software, que se muestran situados actualmente dentro de una memoria funcional 1180, que incluye un sistema operativo 1184 y/u otro código 1188. Debe apreciarse que los ejemplos alternativos del sistema informático especializado 1100 pueden admitir numerosas variaciones con respecto a los descritos anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema informático especializado 1100 puede incluir un código 1188 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura como se ha descrito en el presente documento. Por ejemplo, un software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema informático especializado 1100, puede proporcionar las funciones de la pantalla 905, los dispositivos 915 de seguimiento ocular, los sistemas 935, 940 de movimiento, los procesadores 930 y/u otros componentes de la invención tales como los analizados anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.

Claims (1)

  1. REIVINDICACIONES
    Un método para determinar la apertura ocular con un dispositivo de seguimiento ocular, en donde el método comprende:
    capturar, durante un primer período de tiempo cuando un ojo del usuario está abierto, una primera imagen de una área ocular de un usuario, usando un sensor de imagen del dispositivo de seguimiento ocular;
    determinar, para todos los píxeles de la primera imagen del área ocular, una primera suma de intensidad de los píxeles;
    capturar, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, una segunda imagen del área ocular de un usuario, usando el sensor de imagen del dispositivo de seguimiento ocular
    determinar, para todos los píxeles de la segunda imagen del área ocular, una segunda suma de intensidad de los píxeles;
    capturar, durante un tercer período de tiempo, una tercera imagen del área ocular del usuario, usando el sensor de imagen del dispositivo de seguimiento ocular;
    determinar, para todos los píxeles de la tercera imagen del área ocular, una tercera suma de intensidad de los píxeles; y
    determinar, con un procesador, que en el caso de que la tercera suma exceda una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario se cierra, en donde la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma
    El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde el método comprende además:
    activar un iluminador del dispositivo de seguimiento ocular durante cada uno del primer período de tiempo, el segundo período de tiempo y el tercer período de tiempo.
    El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde:
    la fracción umbral está entre 1/8 y 1/2.
    El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 3, en donde:
    la primera suma es un promedio móvil de la intensidad de los píxeles del sensor de imagen.
ES18707481T 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular Active ES2922136T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762464235P 2017-02-27 2017-02-27
PCT/US2018/017612 WO2018156366A1 (en) 2017-02-27 2018-02-09 Determining eye openness with an eye tracking device

Publications (1)

Publication Number Publication Date
ES2922136T3 true ES2922136T3 (es) 2022-09-08

Family

ID=61283321

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18707481T Active ES2922136T3 (es) 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular

Country Status (5)

Country Link
US (3) US10642028B2 (es)
EP (3) EP3641624B1 (es)
CN (2) CN110352033B (es)
ES (1) ES2922136T3 (es)
WO (1) WO2018156366A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110352033B (zh) 2017-02-27 2023-04-28 托比股份公司 用眼睛追踪装置确定眼睛睁开度
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
AU2019231572A1 (en) * 2018-03-09 2020-10-01 Children’S Hospital & Research Center At Oakland Method of detecting and/or predicting seizures
CN113785258A (zh) * 2019-03-22 2021-12-10 惠普发展公司，有限责任合伙企业 检测眼睛测量
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
WO2021247435A1 (en) 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CN116033864A (zh) 2020-07-15 2023-04-28 奇跃公司 使用非球形角膜模型的眼睛跟踪
CN112401887B (zh) * 2020-11-10 2023-12-12 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN115670368A (zh) * 2021-07-23 2023-02-03 京东方科技集团股份有限公司 一种成像调整装置及方法、可穿戴设备、存储介质
SE2250299A1 (en) * 2022-03-04 2023-09-05 Tobii Ab Eye openness

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US6702809B1 (en) * 1989-02-06 2004-03-09 Visx, Inc. System for detecting, measuring and compensating for lateral movements of a target
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6299307B1 (en) 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
AUPP048097A0 (en) 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US6322216B1 (en) * 1999-10-07 2001-11-27 Visx, Inc Two camera off-axis eye tracker for laser eye surgery
JP3769442B2 (ja) * 2000-02-15 2006-04-26 ナイルス株式会社 眼の状態検出装置
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP2004329879A (ja) * 2003-02-07 2004-11-25 Nippon Syst Design Kk 眼球検査装置及び眼球検査方法
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP4899059B2 (ja) * 2007-03-30 2012-03-21 国立大学法人静岡大学 眠気検知装置
CA2736609C (en) * 2008-02-14 2016-09-20 Iristrac, Llc System and method for animal identification using iris images
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9025830B2 (en) 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US10620457B2 (en) * 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法
US20160140390A1 (en) 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10401625B2 (en) * 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
CN110352033B (zh) 2017-02-27 2023-04-28 托比股份公司 用眼睛追踪装置确定眼睛睁开度

Also Published As

Publication number Publication date
EP4016489A1 (en) 2022-06-22
US20180246320A1 (en) 2018-08-30
EP3641624B1 (en) 2022-06-01
US20200026068A1 (en) 2020-01-23
US10642028B2 (en) 2020-05-05
US10852531B2 (en) 2020-12-01
CN116687336A (zh) 2023-09-05
CN110352033B (zh) 2023-04-28
US20180247119A1 (en) 2018-08-30
WO2018156366A1 (en) 2018-08-30
CN110352033A (zh) 2019-10-18
EP4014835A1 (en) 2022-06-22
EP3641624A1 (en) 2020-04-29
US10394019B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
ES2922136T3 (es) Determinación de la apertura ocular con un dispositivo de seguimiento ocular
US20220147141A1 (en) Eye-tracking enabled wearable devices
US10565446B2 (en) Eye-tracking enabled wearable devices
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
ES2906311T3 (es) Manipulación gráfica basada en la mirada y en la sacudida ocular
CN113382230B (zh) 头戴显示设备和头戴显示系统
CN113382228B (zh) 头戴显示设备和头戴显示系统