ES2909057T3 - Seguimiento ocular que utiliza la posición del centro del globo ocular - Google Patents

Seguimiento ocular que utiliza la posición del centro del globo ocular Download PDF

Info

Publication number
ES2909057T3
ES2909057T3 ES18193093T ES18193093T ES2909057T3 ES 2909057 T3 ES2909057 T3 ES 2909057T3 ES 18193093 T ES18193093 T ES 18193093T ES 18193093 T ES18193093 T ES 18193093T ES 2909057 T3 ES2909057 T3 ES 2909057T3
Authority
ES
Spain
Prior art keywords
center
eye
pupil
estimated
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18193093T
Other languages
English (en)
Inventor
Simon Johansson
Mark Ryan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2909057T3 publication Critical patent/ES2909057T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

Un método implementado por ordenador que comprende: obtener un radio estimado (r) desde un centro del globo ocular hasta un centro de la pupila en un ojo; determinar una posición estimada (e) del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo; obtener una imagen del ojo capturada por medio del sensor de imágenes; identificar una posición de una representación del centro de la pupila en el ojo en la imagen obtenida; determinar una posición estimada (p') del centro de la pupila basándose en la posición estimada (e) del centro del globo ocular, el radio estimado (r) y la posición identificada de la representación del centro de la pupila en la imagen obtenida, en donde determinar la posición estimada (p') del centro de la pupila se caracteriza por: determinar una esfera (se) del globo ocular que tiene un centro en la posición estimada (e) del centro del globo ocular y que tiene un radio del radio estimado (r); determinar, basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, un rayo (Rp) de la pupila a lo largo del cual se coloca el centro de la pupila; y determinar la posición estimada (p') del centro de la pupila como una intersección entre la esfera (se) del globo ocular y el rayo (Rp) de la pupila.

Description

DESCRIPCIÓN
Seguimiento ocular que utiliza la posición del centro del globo ocular
La siguiente descripción solo proporciona realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas. Se entiende que pueden hacerse varios cambios en la función y disposición de los elementos sin alejarse del espíritu y alcance de la invención tal como se expone en la presente memoria.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
También, cabe señalar que las realizaciones individuales pueden describirse como un proceso que se ilustra como un diagrama de flujo, un diagrama de flujo, un diagrama de flujo de datos, un diagrama de estructura o un diagrama en bloque. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” o similar incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o portar una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementa en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
La presente descripción se refiere en general al campo de seguimiento ocular. En particular, la presente descripción se refiere a sistemas y métodos para utilizar en la generación de datos de seguimiento de mirada que indican una dirección del ojo y/o dirección de mirada de un ojo.
En la técnica, se conocen varios sistemas diferentes de seguimiento ocular. Tales sistemas pueden emplearse, por ejemplo, para identificar una ubicación en una pantalla a la que un usuario está mirando y/o la dirección de mirada del usuario. Algunos sistemas de seguimiento ocular capturan imágenes de al menos uno de los ojos de un usuario y, a continuación, emplean procesamiento de imágenes para extraer características clave del ojo, tales como un centro de la pupila junto con reflejos (reflexiones corneales) desde los iluminadores que iluminan el ojo. Las características extraídas pueden emplearse, a continuación, para determinar dónde en la pantalla está mirando el usuario, la dirección del ojo del usuario y/o la dirección de mirada del usuario.
Un método conocido de seguimiento ocular incluye el uso de luz infrarroja y un sensor de imágenes. La luz infrarroja se dirige hacia la pupila de un usuario y la reflexión de la luz se captura por un sensor de imágenes. Mediante el análisis del punto de reflexión, puede calcularse la dirección de mirada del usuario. Un sistema de este tipo se describe en el documento US-7.572.008 (que se incorpora en la presente descripción como referencia en su totalidad).
También se han descrito previamente dispositivos de seguimiento ocular portátiles o ponibles. Un sistema de seguimiento ocular de este tipo se describe en el documento US-9.041.787 (que se incorpora en la presente descripción como referencia en su totalidad). Se describe un dispositivo de seguimiento ocular ponible que utiliza iluminadores y sensores de imágenes para determinar la dirección de mirada.
El documento WO2016/088418 se refiere a un dispositivo de procesamiento de información que está provisto de una unidad de detección para detectar una imagen de reflexión corneal que corresponde a la luz emitida desde una fuente de luz y reflejada por la córnea a partir de imágenes capturadas en las que se captura un ojo irradiado con luz de la fuente de luz. La unidad de detección estima una posición del centro del globo ocular sobre la base de una pluralidad de imágenes capturadas en serie temporal, estima una posición del centro corneal sobre la base de la posición estimada del centro del globo ocular, estima una posición candidata de una imagen de reflexión corneal sobre la base de la posición del centro corneal estimada, y detecta la imagen de reflexión corneal de las imágenes capturadas sobre la base de la posición candidata estimada de la imagen de reflexión corneal.
El documento EP2467053 se refiere a un método para determinar automáticamente un ángulo de estrabismo de los ojos de un individuo realizando una prueba de reflexión en dichos ojos, que comprende las etapas de: - dirigir al menos un primer haz de luz sobre dichos ojos del individuo; - hacer que el individuo enfoque sus ojos; -utilizar al menos un dispositivo de formación de imágenes para: medir el haz de luz reflejado desde los ojos para establecer qué ojo está fijando, y realizar una prueba de reflexión en ambos ojos para estimar el ángulo de estrabismo, en donde -la prueba de reflexión se lleva a cabo aplicando al menos dos fuentes de luz en diferentes posiciones conocidas y midiendo las reflexiones corneales de dichas fuentes de luz en ambos ojos monitorizando dichas reflexiones corneales por un dispositivo o dispositivos de formación de imágenes; -las dichas reflexiones corneales se utilizan para derivar coordenadas del centro corneal para ambos ojos individualmente; -para ambos ojos individualmente se estiman las coordenadas del centro de la pupila; -las coordenadas del centro corneal y las coordenadas del centro de la pupila de ambos ojos se utilizan para estimar el ángulo de estrabismo. Para el ojo que está fijando, se calcula un ángulo kappa que representa un ángulo entre el eje óptico de los ojos a través del centro corneal y el centro de la pupila, y el eje visual a través del centro corneal y la fóvea del ojo, y el ángulo kappa se utiliza, a continuación, para determinar el ángulo de estrabismo.
El documento US-2010013949 se refiere a una unidad de estimación de la postura de la cabeza que estima, a partir de una imagen de la cara de una persona fotografiada por una cámara, una postura de la cabeza de la persona en un sistema de coordenadas de cámara. Una unidad de establecimiento de candidato de posición central del globo ocular del sistema de coordenadas de cabeza establece candidatos de una posición central del globo ocular en un sistema de coordenadas de cabeza basándose en las coordenadas de característica de globo ocular de dos puntos expresadas en el sistema de coordenadas de cabeza. Una unidad de cálculo de la posición central del globo ocular de sistema de coordenadas de cámara calcula una posición central del globo ocular en el sistema de coordenadas de cámara basándose en la postura de la cabeza que resulta de la estimación de la unidad de estimación de la postura de la cabeza, los candidatos de la posición central del globo ocular establecidos por la unidad de establecimiento de candidato de posición central del globo ocular de sistema de coordenadas de cabeza, y una posición central de la pupila detectada a partir de la imagen de la cara. Una unidad de estimación de parámetros de globo ocular estima una posición central de globo ocular (O) y un radio de globo ocular (r) en el sistema de coordenadas de cabeza basándose en la posición central del globo ocular en el sistema de coordenadas de cámara.
En aplicaciones de seguimiento ocular para dispositivos de seguimiento ocular portátiles o ponibles, tales como en dispositivos de realidad virtual (RV) y dispositivos de realidad aumentada (RA), donde se utilizan dispositivos montados en la cabeza que incluyen un sistema de seguimiento ocular que determina una dirección del ojo y/o dirección de mirada basándose en un centro de la pupila y reflejos desde los iluminadores que iluminan los ojos de un usuario, pueden surgir situaciones donde los ojos de un usuario se dirigen en relación con los iluminadores de tal forma que pueden identificarse ninguno o muy pocos reflejos para el seguimiento ocular, o el reflejo o reflejos identificados son difíciles de emparejar con el respectivo iluminador del reflejo. En tales situaciones, será difícil o imposible determinar la dirección del ojo y/o la dirección de mirada y/o la dirección del ojo o al menos no con la fiabilidad deseable.
Sería deseable proporcionar una tecnología de seguimiento ocular para tener en cuenta tales situaciones donde no hubiera ninguno o con muy pocos reflejos identificados para el seguimiento ocular o cuando el reflejo o reflejos identificados son difíciles de correlacionar con los rayos de iluminación.
Un objeto de la presente descripción es abordar al menos uno de los problemas descritos anteriormente.
Según un primer aspecto, se proporciona un método que comprende obtener un radio estimado desde un centro del globo ocular hasta un centro de la pupila en un ojo, y determinar una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo. Además, se obtiene una imagen del ojo capturada por medio del sensor de imágenes y se determina una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Finalmente, se determina una posición estimada del centro de la pupila basándose en la posición estimada del centro del globo ocular, el radio estimado y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
En algunas situaciones, un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo no proporciona resultados fiables. Esto puede causarse por una dirección del ojo actual u otros factores temporales que afectan a la posibilidad de que el método proporcione resultados fiables de dirección del ojo y/o dirección de mirada. Para algunas aplicaciones del seguimiento ocular, puede utilizarse otro método basado en una posición estimada del centro del globo ocular en lugar del método primario para determinar una dirección del ojo en tales situaciones. Más específicamente, tales métodos que utilizan una posición estimada del centro del globo ocular pueden utilizarse en aplicaciones de seguimiento ocular donde puede aproximarse que la posición del centro del globo ocular sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. La aproximación será válida al menos durante algún periodo de tiempo.
La posición estimada del centro del globo ocular puede determinarse en una situación donde es posible determinar la misma con la fiabilidad requerida. La posición estimada del centro del globo ocular puede determinarse, por ejemplo, basándose en el método primario para determinar el seguimiento ocular y/o el seguimiento de la mirada. Sin embargo, se apreciará que puede utilizarse cualquier otro método siempre que se pueda determinar una posición estimada del centro del globo ocular con la fiabilidad requerida.
Cuando se ha determinado la posición estimada del centro del globo ocular, esta estimación puede utilizarse, a continuación, para situaciones en las que no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario. Se obtiene una imagen del ojo capturada por medio del sensor de imágenes y se determina una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se obtiene un radio estimado desde un centro del globo ocular hasta un centro de la pupila de un ojo. El radio estimado es una aproximación de la distancia desde el centro del globo ocular hasta el centro de la pupila de un ojo humano. Ya que se conoce la posición estimada del centro del globo ocular en relación con el sensor de imágenes, y se conoce el radio estimado desde centro del globo ocular hasta el centro de la pupila, estos pueden combinarse con la representación identificada del centro de la pupila en la imagen capturada por el sensor de imágenes para determinar una posición estimada del centro de la pupila.
La posición determinada del centro de la pupila es la posición real del centro de la pupila en relación con el sensor de imágenes.
El sensor de imágenes puede ser cualquier tipo de sensor de imágenes que consiste en un circuito integrado que contiene una matriz de sensores de píxeles, conteniendo cada píxel un fotodetector y un amplificador activo. El sensor de imágenes es capaz de convertir la luz a señales digitales. En realidad, como un ejemplo, podría ser:
• Sensor de imágenes infrarrojo o sensor de imágenes de IR
• Sensor RGB
• Sensor RGBW
• Sensor RGB o RGBW con filtro de IR
Los mecanismos obturadores de los sensores de imagen pueden ser o bien un obturador rotativo o bien un obturador global.
En realizaciones, el radio estimado se selecciona primero como la aproximación de la distancia desde el centro del globo ocular hasta el centro de la pupila de un ojo humano. Cuando se recuperan datos adicionales con respecto a los ojos de un usuario actual, el radio estimado puede actualizarse.
En realizaciones implementadas en un sistema donde un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo se basa en determinar un centro de la pupila en el ojo y reflejos (reflexiones corneales) en el ojo desde uno o más iluminadores que iluminan el ojo, un ejemplo de una situación donde un método primario no proporciona resultados fiables, es cuando se vuelve grande un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación desde el uno o más iluminadores, por ejemplo, cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En una situación de este tipo, pueden surgir dificultades para identificar cualquier reflejo o al menos un número suficiente de reflejos en el ojo y, en particular, en una córnea del ojo, o que un reflejo identificado o reflejos identificados no pueden asociarse a un iluminador correspondiente del uno o más iluminadores. En una situación de este tipo, puede no ser posible determinar con la fiabilidad requerida una dirección del ojo y/o dirección de mirada del ojo basándose en el reflejo o reflejos identificados utilizando el método primario.
Un ejemplo de una aplicación de seguimiento ocular puede utilizarse donde otro método basado en una posición estimada del centro del globo ocular en lugar del método primario para determinar una dirección del ojo en situaciones donde el método primario falla son los dispositivos ponibles, tales como dispositivos para RV y RA, donde uno o más sensores de imágenes se colocan sobre o en el dispositivo ponible y, por lo tanto, no se moverán en relación con los ojos cuando el usuario se mueva siempre que el usuario lleve puesto el dispositivo. En una aplicación de este tipo, una posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo, independientemente de la dirección del ojo y la posición de la cabeza.
Para dispositivos ponibles, tales como dispositivos para RV y RA, con un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo que se basa en determinar un centro de la pupila de y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, puede determinarse, por ejemplo, una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo para una situación, por ejemplo, donde se identifican un número suficiente de reflejos en el ojo, y el reflejo o reflejos identificados pueden asociarse al iluminador o iluminadores correspondientes, de tal forma que es posible determinar la posición estimada del centro del globo ocular con la fiabilidad requerida. Para una situación donde el método primario no puede identificar ningún reflejo o al menos no un número suficiente de reflejos en el ojo, o donde un reflejo identificado o reflejos identificados no pueden asociarse a un iluminador correspondiente del uno o más iluminadores, puede utilizarse un método basado en la posición estimada del centro del globo ocular para determinar una dirección del ojo y/o una dirección de mirada.
Una vez que se ha determinado la posición estimada del centro de la pupila, según algunas realizaciones, se determina una dirección del ojo estimada basándose en un vector desde la posición estimada del centro del globo ocular hasta la posición estimada del centro de la pupila.
Además, según algunas realizaciones, se determina una dirección de mirada estimada basándose en la dirección del ojo estimada.
Según algunas realizaciones, se obtiene una distancia estimada desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila y una distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea. El radio estimado desde el centro del globo ocular hasta el centro de la pupila es, entonces, igual a la suma de la distancia estimada desde el centro de la esfera de la córnea hasta el centro de la pupila y la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea.
Típicamente, la córnea del ojo es aproximadamente esférica en una región central de la córnea ubicada alrededor de la pupila, pero se desvía más de la forma esférica más lejos del centro de la córnea. Por lo tanto, la región central de la córnea puede denominarse como una región esférica, mientras que la región de la córnea fuera de la región esférica puede denominarse región no esférica. El centro de la esfera de la córnea se define como una posición en el centro de una esfera imaginaria de la que forma parte la región esférica de la córnea.
La distancia estimada desde el centro de la esfera de la córnea hasta el centro de la pupila, también conocida como profundidad de la pupila, puede ser una aproximación constante o puede actualizarse dinámicamente.
Por ejemplo, en realizaciones implementadas en un sistema que utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en la determinación de un centro de la pupila en el ojo y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, se determina una posición del centro de la esfera de la córnea para una situación donde hay un número suficiente de reflejos en el ojo, y el reflejo o reflejos identificados pueden asociarse al iluminador correspondiente del uno o más iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea. A partir de esto, puede determinarse la distancia desde el centro de la córnea hasta el centro de la pupila.
La distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea puede ser una aproximación constante o puede actualizarse dinámicamente.
Según algunas realizaciones, la posición estimada del centro de la pupila se determina basándose en la posición estimada del centro del globo ocular, el radio estimado desde el centro del globo ocular hasta el centro de la pupila en el ojo y la posición identificada de la representación del centro de la pupila en la imagen obtenida definiendo primero una esfera del globo ocular que tiene un centro en la posición estimada del centro del globo ocular. La esfera de globo ocular tiene además un radio del radio estimado. Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, se determina un rayo de la pupila a lo largo del cual se coloca el centro de la pupila. El rayo de la pupila es una proyección en el espacio tridimensional desde el sensor de imágenes de la posición identificada de la representación del centro de la pupila en la imagen obtenida. La posición estimada del centro de la pupila se determina, a continuación, como una intersección entre la esfera del globo ocular y el rayo de la pupila.
Según algunas realizaciones, se determina la posición estimada del centro de la pupila utilizando un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
En estas realizaciones, se tiene en cuenta la refracción en la córnea, es decir, el centro de la pupila no se colocará en el rayo de la pupila que es una proyección lineal en el espacio tridimensional, sino que el rayo de la pupila se refractará en la córnea del ojo.
Según algunas realizaciones, se obtiene una distancia estimada desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila en el ojo. A continuación se determina una posición estimada del centro de la esfera de la córnea como la distancia estimada obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición del centro de la pupila estimada en la dirección hacia la posición estimada del centro del globo ocular, es decir, comenzando en la posición estimada del centro de la pupila y moviendo, en la dirección desde el centro de la pupila hacia la posición estimada del centro del globo ocular, la distancia estimada obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila.
Según algunas realizaciones, la posición estimada del centro de la esfera de la córnea puede utilizarse para predecir posiciones de uno o más reflejos en el ojo.
En las realizaciones implementadas en un sistema que utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en la determinación de un centro de la pupila en el ojo y los reflejos en el ojo de uno o más iluminadores que iluminan el ojo, la posición estimada del centro de la esfera de la córnea puede utilizarse para predecir posiciones de uno o más reflejos antes de que el método primario haya determinado la posición del centro de la esfera de la córnea. La predicción puede utilizarse, a continuación, para asociar cada uno del uno o más reflejos a un iluminador correspondiente del uno o más iluminadores. Esto es útil incluso para una situación donde haya un número suficiente de reflejos en el ojo para que sea posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea basándose en el método primario.
Según algunas realizaciones, la posición estimada del centro del globo ocular se determina determinando una posición del centro de la esfera de la córnea se determina basándose en una o más posiciones de reflejo en el ojo. Además, se determina una posición del centro de la pupila y se obtiene una distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea. La posición estimada del centro del globo ocular se determina, a continuación, como la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea a partir de la posición del centro de la esfera de la córnea en una dirección desde la posición del centro de la pupila hasta la posición del centro de la esfera de la córnea, es decir, comenzando en la posición del centro de la esfera de la córnea determinada y moviendo, en la dirección desde la posición determinada del centro de la pupila hasta la posición determinada del centro de la esfera de la córnea, la distancia estimada obtenida desde el centro del globo ocular hasta el centro de la esfera de la córnea.
En realizaciones implementadas en un sistema donde un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo se basa en determinar un centro de la pupila y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, la posición estimada del centro del globo ocular puede determinarse en una situación donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente del uno o más iluminadores, de tal forma que sea posible determinar la posición del centro de la esfera de la córnea y la dirección del ojo con la fiabilidad requerida. La posición del centro de la esfera determinada se utiliza, a continuación, junto con la dirección del ojo y la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea para determinar la posición estimada del centro del globo ocular. La posición estimada del centro del globo ocular puede utilizarse, a continuación, para situaciones cuando no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario. Dichas situaciones son, por ejemplo, cuando se vuelve grande un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación del uno o más iluminadores, por ejemplo, cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En tales situaciones, puede resultar difícil identificar un número suficiente de reflejos identificados en el ojo y/o asociar los reflejos identificados a un iluminador correspondiente del uno o más iluminadores para determinar con la fiabilidad requerida una dirección del ojo y/o una dirección de mirada del ojo utilizando el método primario.
Según un segundo aspecto, se proporciona un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para obtener un radio estimado desde un centro del globo ocular hasta un centro de la pupila de un ojo, y determinar una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo. El sistema de circuitos está configurado además para obtener una imagen del ojo capturada por medio del sensor de imágenes y determinar una posición de una representación del centro de la pupila en el ojo en la imagen obtenida se determina. El sistema de circuitos está configurado además para determinar una posición estimada del centro de la pupila basándose en la posición estimada del centro del globo ocular, el radio estimado y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
El sistema del segundo aspecto, o el sistema de circuitos comprendido en un sistema de este tipo, puede configurarse, por ejemplo, para realizar cualquiera de las realizaciones del primer aspecto.
Además, las realizaciones del sistema según el segundo aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del sistema según el primer aspecto.
Según las realizaciones, el sistema de seguimiento ocular comprende, además, el sensor de imágenes para capturar imágenes del ojo.
Según las realizaciones, el sensor de imágenes se dispone en un dispositivo ponible.
En los dispositivos ponibles, tales como dispositivos para RV y RA, donde uno o más sensores de imágenes se colocan en el dispositivo ponible y, por lo tanto, no se moverán en relación con el ojo cuando el usuario se mueva siempre que el usuario lleve puesto el dispositivo, y la posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. Por lo tanto, puede utilizarse otro método basado en una posición estimada del centro del globo ocular en lugar del primario para determinar una dirección del ojo en situaciones donde un método primario para determinar la dirección del ojo y/o la dirección de mirada no es capaz de producir resultados fiables.
Según las realizaciones, el sistema de circuitos se dispone en un dispositivo diferente del dispositivo ponible.
Según las realizaciones, el sistema de circuitos se dispone en el dispositivo ponible.
Según un tercer aspecto, se proporciona uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando se ejecutan por un sistema informático que implementa el procesamiento de datos de los ojos/mirada, hacen que el sistema informático realice un método. El método puede ser, por ejemplo, el método según el segundo aspecto.
Las realizaciones del uno o más medios de almacenamiento legibles por ordenador según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto.
El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.
Cabe señalar que las realizaciones de la invención se refieren a todas las combinaciones posibles de características mencionadas en las reivindicaciones.
A continuación, se describirán realizaciones ilustrativas con referencia a las figuras adjuntas:
Fig. 1 muestra una vista de un sistema de seguimiento ocular, en el que pueden implementarse realizaciones; Fig. 2 muestra una imagen de ejemplo de un ojo;
Fig. 3 es una vista en sección transversal de un ojo;
Fig. 4a muestra una vista de partes seleccionadas de un dispositivo montado en la cabeza;
Fig. 4b muestra una vista lateral de partes seleccionadas de un dispositivo montado en la cabeza;
Fig. 4c muestra una vista en despiece de partes seleccionadas de un dispositivo montado en la cabeza;
Fig. 5a muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones;
Fig. 5b muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones;
Fig. 6 muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones; Figs. 7-9 son diagramas de flujo de métodos según las realizaciones; y
Fig. 10 es un diagrama en bloque de un sistema informático especializado capaz de utilizarse en al menos alguna porción de los aparatos o sistemas de la presente invención, o implementar al menos alguna porción de los métodos de la presente invención.
Todas las figuras son esquemáticas y, generalmente, solo muestran partes que son necesarias para dilucidar las realizaciones respectivas, mientras que otras partes pueden omitirse o simplemente sugerirse.
Fig. 1 muestra una vista simplificada de un sistema 100 de seguimiento ocular (que también puede denominarse sistema de seguimiento de mirada) en el que pueden implementarse realizaciones de la invención. El sistema 100 comprende los iluminadores 111 y 112 para iluminar los ojos de un usuario y un sensor 113 de luz para capturar imágenes de los ojos del usuario. Los iluminadores 111 y 112 pueden ser, por ejemplo, diodos emisores de luz que emiten luz en la banda de frecuencias del infrarrojo o en la banda de frecuencias del infrarrojo cercano. El sensor 113 de luz puede ser, por ejemplo, un sensor de imágenes, tal como un sensor de imágenes de semiconductor de óxido metálico complementario (CMOS) o un sensor de imágenes con dispositivo de carga acoplada (CCD).
Un primer iluminador 111 se dispone de manera coaxial con el (o cerca del) sensor 113 de luz para que el sensor 113 de luz pueda capturar imágenes de pupila brillantes de los ojos del usuario. Debido a la disposición coaxial del primer iluminador 111 y del sensor 113 de luz, la luz reflejada procedente de la retina de un ojo vuelve a través de la pupila al sensor 113 de luz, de modo que la pupila aparece como más brillante que el iris que la rodea en imágenes donde el primer iluminador 111 ilumina el ojo. Un segundo iluminador 112 se dispone de forma no coaxial con el (o más alejado del) sensor 113 de luz para capturar imágenes de pupila oscuras. Debido a la disposición no coaxial del segundo iluminador 112 y del sensor 113 de luz, la luz reflejada procedente de la retina de un ojo no llega al sensor 113 de luz, y la pupila parece más oscura que el iris que la rodea en imágenes donde el segundo iluminador 112 ilumina el ojo. Los iluminadores 111 y 112 pueden por ejemplo turnarse para iluminar el ojo, de manera que cada segunda imagen sea una imagen de la pupila brillante y cada segunda imagen sea una imagen de la pupila oscura.
El sistema 100 de seguimiento ocular comprende también el sistema 120 de circuitos (que incluye, por ejemplo, uno o más procesadores) para procesar las imágenes capturadas por el sensor 113 de luz. El sistema 120 de circuitos puede conectarse, por ejemplo, al sensor 113 de luz y a los iluminadores 111 y 112 a través de una conexión por cable o inalámbrica y coubicarse con el sensor 113 de luz y los iluminadores 111 y 112 o ubicarse a una distancia, p. ej., en un dispositivo diferente. En otro ejemplo, el sistema 120 de circuitos en forma de uno o más procesadores puede proporcionarse en una o más capas apiladas debajo de la superficie fotosensible del sensor 113 de luz.
Fig. 2 muestra un ejemplo de una imagen de un ojo 200 capturada por el sensor 113 de luz. El sistema 120 de circuitos puede emplear por ejemplo procesamiento de imágenes (tal como procesamiento de imágenes digitales) para extraer características en la imagen. El sistema 120 de circuitos puede emplear, por ejemplo, un seguimiento ocular por reflexión entre la córnea y el centro de la pupila (pupil center cornea reflection, PCCR) para determinar dónde está mirando el ojo 200. En el seguimiento ocular PCCR, el procesador 120 estima la posición del centro de la pupila 210 y la posición del centro de un reflejo 220 en el ojo 200. El reflejo 220 es causado por el reflejo de la luz procedente de uno de los iluminadores 111 y 112. El procesador 120 calcula dónde está el usuario en el espacio utilizando el reflejo 220 y dónde está apuntando el ojo 200 del usuario utilizando la pupila 210. Puesto que de forma típica existe un desplazamiento entre el centro óptico del ojo 200 y la fóvea, el procesador 120 realiza la calibración del desvío de la fóvea para poder determinar dónde está mirando el usuario. Las direcciones de mirada obtenidas del ojo izquierdo y del ojo derecho pueden combinarse entonces para formar una dirección de mirada estimada combinada (o dirección de visión).
En el sistema de seguimiento ocular descrito con referencia a la Figura 1, los iluminadores 111 y 112 se disponen en un módulo 110 de seguimiento ocular. Esta disposición solo sirve como ejemplo. Se apreciará que pueden emplearse, más o menos, cualquier número de iluminadores y sensores de luz para el seguimiento ocular, y que tales iluminadores y sensores de luz pueden distribuirse de muchas formas distintas en relación con pantallas observadas por el usuario. Se apreciará que el esquema de seguimiento ocular descrito en la presente descripción puede emplearse, por ejemplo, para el seguimiento del ojo ponible (tal como en gafas de realidad virtual (RV) o gafas de realidad aumentada (RA).
Fig. 3 muestra una sección transversal de diferentes partes de un ojo 300. Una córnea 310 tiene una región central 311 que, en general, es cercana a esférica, y una región exterior 312 que no es esférica y, por lo tanto, más difícil de modelar. La región central 311 (que también se denomina en la presente memoria la región esférica de la córnea 310) se extiende desde un centro 313 de la superficie de la córnea hasta un borde 314 de la región esférica 311. El centro 313 de la superficie de la córnea es una posición en la región esférica 311 de la córnea 310 donde una línea virtual 340 que se extiende desde un centro 330 del globo ocular a través de un centro 350 de la pupila interseca la región esférica 311 de la córnea 310. Una región exterior 312 de la córnea 310 se extiende desde el borde 314 de la región esférica 311 de la córnea 310 hasta el borde 315 de la córnea 310. La región exterior 312 también se denomina en la presente memoria la región no esférica de la córnea 310. Un centro 360 de la esfera de la córnea es una posición en el centro de una esfera imaginaria 370 de la córnea de la que forma parte la región esférica 311. La Figura 3 también muestra la esclerótica 320 del ojo 300.
En un sistema de seguimiento ocular, se determina una dirección del ojo o una dirección de mirada actual del ojo 300 determinando la posición de los reflejos y utilizando la geometría del ojo. En este proceso se determinan la posición actual del centro 360 de la esfera de la córnea y la posición actual del centro 350 de la pupila.
Cada una de las Figuras 4a-c muestra una vista separada de partes seleccionadas de un dispositivo montado en la cabeza en forma de un dispositivo 400 de realidad virtual (RV) (gafas de RV) que incluye un sistema de seguimiento ocular en el que pueden implementarse realizaciones.
Fig. 4a muestra una vista de partes seleccionadas de un dispositivo montado en la cabeza en forma de las gafas 400 de RV que incluyen un sistema de seguimiento ocular en el que pueden implementarse realizaciones. Además de las gafas 400 de RV, se muestran los ojos 402 y una cabeza 404 de un usuario. La porción de RV de las gafas 400 de RV mostradas comprende dos pantallas 410 de RV y dos lentes 412, una pantalla 410 de RV y una lente 412 para cada ojo 402. Las pantallas 410 de RV se colocan delante de los ojos 412 y las lentes 414 se colocan entre los ojos 412 y las pantallas 410 de RV. La porción de seguimiento ocular de las gafas 400 de RV comprende dos espejos calientes 420 y dos cámaras 422. Para capturar imágenes de los ojos 412 para su uso en el seguimiento ocular, los espejos calientes 420 se disponen entre las pantallas 410 de RV y las lentes 414. Además, los iluminadores (no mostrados) se disponen sobre o en las gafas 400 de RV de tal forma que los rayos de iluminación se dirigen hacia los ojos 402. Las reflexiones de los ojos 402 de los rayos de iluminación hacia los espejos calientes 420 se reflejarán hacia las cámaras 422 en las que se detectan los rayos de iluminación para producir una imagen del ojo. Por ejemplo, los espejos calientes 420 pueden ser de un tipo de tal forma que reflejarán la luz en la banda de frecuencias del infrarrojo, pero serán transparentes para la luz en la banda de frecuencias visibles. Los iluminadores (no mostrados) utilizados podrían producir, a continuación, rayos de iluminación en la banda de frecuencias del infrarrojo y las cámaras 422 incluirán sensores de imágenes capaces de detectar luz en la banda de frecuencias del infrarrojo.
Fig. 4b muestra una vista lateral de partes seleccionadas de las gafas 400 de RV. Los rayos de iluminación desde los iluminadores (no mostrados) hacia el ojo 402 se reflejarán de vuelta y pasarán a través de la lente 412 hacia el espejo caliente 420 y se reflejarán hacia la cámara 422 en la que se detectan los rayos de iluminación para producir una imagen del ojo.
Fig. 4c muestra una vista en despiece de partes seleccionadas de las gafas 400 de RV. Se muestran partes seleccionadas para un ojo que incluyen una cubierta 424 de iluminador, iluminadores en forma de diodos 426 emisores de luz (LED), la cámara 422 que incluye un sensor de imágenes, la lente 412, una copa de lente o tubo 414 de lente, el espejo caliente 420, la pantalla 410 de RV y una placa electrónica 416. La Figura 4c muestra una disposición de ejemplo de los iluminadores en forma de los LED 426, donde los LED se disponen a lo largo de la periferia de la lente 412 para producir un patrón cuando se ilumina el ojo 402. Los rayos de iluminación de los LED 426 reflejados desde el ojo y el espejo caliente se detectan en la cámara 422 para producir una imagen del ojo. Las reflexiones en el ojo (córnea) se denominan reflejos y, utilizando la posición de los reflejos, se utilizan la geometría del ojo y la geometría de la configuración de las gafas 400 de RV para determinar una dirección del ojo o una dirección de mirada actual.
Los dispositivos montados en la cabeza, tales como en gafas de RV o gafas de realidad aumentada RA, pueden mejorarse incluyendo el seguimiento ocular ponible utilizando iluminadores y uno o más sensores de luz dispuestos en el dispositivo montado en la cabeza para determinar la dirección del ojo y/o la dirección de mirada basándose en la estimación de una posición del centro de la pupila y una posición del centro de uno o más reflejos en el ojo desde los iluminadores. Un problema que puede surgir en tales dispositivos es que cuando el usuario observa un punto cercano al borde de una pantalla, los reflejos tienden atenuarse en la córnea de forma que se vuelve difícil determinar la dirección del ojo y/o la dirección de mirada del usuario basándose en la identificación de los reflejos.
Sin embargo, incluso si los reflejos no pueden identificarse y utilizarse para la determinación de la dirección del ojo y/o la dirección de mirada, aún puede ser posible identificar la posición del centro de la pupila (posición del centro de la pupila).
A continuación, se describirá un método para determinar la dirección del ojo y la dirección de mirada en relación con la Fig. 5a y la Fig. 5b.
El método se implementa en un dispositivo ponible, tal como gafas de RV o gafas de RA, donde los iluminadores y los sensores de imágenes se disponen sobre o en el dispositivo ponible y, por lo tanto, no se moverá en relación con el ojo cuando el usuario se mueva, siempre que el usuario lleve puesto el dispositivo. En una aplicación de este tipo, una posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. El dispositivo ponible utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en determinar un centro de la pupila en el ojo y los reflejos en el ojo desde los iluminadores que detectó el ojo por medio de los sensores de imágenes. Un ejemplo de tal sistema se describe en relación con las Figuras 4a-c.
En situaciones donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente del uno o más iluminadores, para que sea posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo basándose en el método primario, se utilizará el método primario para determinar la dirección del ojo y/o la dirección de mirada.
En situaciones donde no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario, se utiliza un método secundario para determinar la dirección del ojo y/o la dirección de mirada. El método secundario hace uso de una posición estimada del centro del globo ocular y una posición estimada del centro de la pupila para determinar la dirección del ojo y/o la dirección de mirada.
La posición estimada del centro del globo ocular utilizada en el método secundario se determina en una situación donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
Las situaciones donde se utiliza el método secundario son, por ejemplo, cuando un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación desde los iluminadores se vuelve grande, p. ej., cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En tales situaciones pueden surgir dificultades para identificar cualquier reflejo o al menos un número suficiente de reflejos en el ojo y, en particular, en la córnea del ojo, o que un reflejo identificado o los reflejos identificados no puedan asociarse a un iluminador correspondiente de los iluminadores. En una situación de este tipo, puede no ser posible determinar con la fiabilidad requerida una dirección del ojo y/o dirección de mirada del ojo basándose en el reflejo o reflejos identificados utilizando el método primario.
Situaciones donde se utiliza el método primario son donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
La posición estimada del centro del globo ocular puede ser válida solo durante un período de tiempo y puede actualizarse, a continuación, en momentos/situaciones cuando se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
La Figura 5a muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes del método para determinar la dirección del ojo y la dirección de mirada donde la posición de un centro del globo ocular se estima basándose en el método primario para determinar la dirección del ojo y/o la dirección de mirada. Se muestran una posición p del centro de la pupila, una posición c del centro de la esfera de la córnea, una esfera sc de la córnea, una posición estimada e del centro del globo ocular, una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea, una dirección g del ojo y una cámara 510 que comprende un sensor de imágenes.
En relación con la Figura 5a, se describe una situación, el ángulo entre la dirección g del ojo y uno o más rayos de iluminación desde iluminadores (no mostrados) es de tal forma que se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, para que sea posible determinar con la fiabilidad requerida la posición c del centro de la esfera de la córnea y la dirección g del ojo utilizando el método primario.
El método primario se utiliza para determinar la posición c de la esfera de la córnea basándose en los reflejos en el ojo como se identifican en una imagen capturada por la cámara 510. Además, la posición del centro de la pupila se determina basándose en una representación de la posición del centro de la pupila identificada en la imagen capturada por la cámara 510.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea se obtiene como una aproximación utilizada generalmente para un ojo humano.
La dirección g del ojo se estima utilizando la posición c de esfera de la córnea determinada y la posición p del centro de la pupila. En otras palabras, la dirección del ojo g es la dirección desde la posición c del centro de la esfera de la córnea hasta la posición p del centro de la pupila.
La posición estimada e del centro del globo ocular puede encontrarse, a continuación, basándose en los resultados del método primario como el punto en el eje de la dirección del ojo la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea detrás del centro c de la esfera de la córnea.
Ya que la cámara 510 se dispone sobre o en el dispositivo ponible y se conoce la geometría de la configuración del dispositivo ponible, se conoce la posición estimada e del centro del globo ocular en relación con la cámara.
La Figura 5b muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes del método para determinar la dirección del ojo y la dirección de mirada, donde se determina la dirección del ojo y/o la dirección de mirada basándose en la posición estimada del centro del globo ocular utilizando el método secundario. Se muestran una posición estimada p' del centro de la pupila, una posición estimada c' del centro de la esfera de la córnea, una esfera se del globo ocular, una posición estimada e del centro del globo ocular, un radio estimado r desde el centro del globo ocular hasta el centro de la pupila, una distancia estimada d desde el centro del globo ocular hasta el centro de la córnea, una distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila, una dirección g' del ojo estimada, un rayo Rp de imagen y una cámara 510 que comprende un sensor de imágenes.
En relación con la Figura 5b, se describe una situación, el ángulo entre la dirección g' del ojo y uno o más rayos de iluminación desde iluminadores (no mostrados) es de tal forma que no se identifican un número suficiente de reflejos en el ojo y/o los reflejos identificados no pueden asociarse a un iluminador correspondiente de los iluminadores, para que sea posible determinar con la fiabilidad requerida la posición c del centro de la esfera de la córnea y la dirección g del ojo utilizando el método primario.
La posición estimada e del centro del globo ocular en el ojo en relación con la cámara 510 se ha obtenido como se describe en relación con la Figura 5a.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y la distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila se obtienen como aproximaciones utilizadas generalmente para un ojo humano.
La distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila se selecciona primero como una aproximación de la distancia desde el centro de la esfera de la córnea hasta el centro de la pupila de un ojo humano. Cuando se recuperan datos adicionales con respecto a los ojos de un usuario actual, puede actualizarse la distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila.
La esfera se del globo ocular se define como una esfera con un centro en la posición estimada e del centro del globo ocular con un radio r que es la suma de la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y la distancia estimada d p desde el centro de la esfera de la córnea hasta el centro de la pupila.
Se captura una imagen del ojo por medio de la cámara 510 y en la imagen se identifica una posición de una representación del centro de la pupila en el ojo.
Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, se determina el rayo Rp de la pupila, que es una proyección en el espacio tridimensional, a lo largo del cual se coloca el centro de la pupila. La posición estimada p' del centro de la pupila se encuentra como una intersección entre la esfera se del globo ocular y el rayo Rp de la pupila.
Se determina una dirección estimada g' del ojo basándose en un vector desde la posición estimada e del centro del globo ocular hasta la posición estimada p' del centro de la pupila, y puede determinarse, a continuación, una dirección estimada de la mirada basándose en la dirección estimada g' del ojo.
Cabe señalar que, aunque el rayo Rp de la pupila se representa como una línea recta en la Figura 5b, la configuración del dispositivo ponible en el que se implementa el método normalmente es de tal forma que se disponen una lente y un espejo caliente entre el ojo y la cámara 510. Por lo tanto, la proyección de las representaciones identificadas en una imagen capturada por la cámara, tal como la proyección de la representación identificada del centro de la pupila, en el espacio tridimensional necesita tomar la geometría conocida de la configuración y las propiedades ópticas conocidas para identificar la proyección. Tal proyección no sería, entonces, una línea recta.
Además, también debe observarse que el uso de la intersección entre el rayo Rp de la pupila y la esfera se del globo ocular es solo una aproximación. Para determinar con mayor precisión una posición estimada p' del centro de la pupila, un método iterativo que tiene en cuenta la refracción en la córnea del ojo desde la superficie de la córnea hasta el centro de la pupila.
Como alternativa a determinar una dirección estimada del ojo y dirección estimada de mirada, puede determinarse una posición estimada c' del centro de la esfera de la córnea utilizando la posición estimada p' determinada del centro de la pupila y la distancia estimada dp obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila. La posición estimada c' del centro de la esfera de la córnea se determina moviendo la distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición estimada p' del centro de la pupila en la dirección hacia la posición estimada e del centro del globo ocular.
La posición estimada c' del centro de la esfera de la córnea puede utilizarse para predecir posiciones de reflejo en el ojo. La predicción se basa además en el conocimiento de la geometría de la configuración de los iluminadores y las cámaras.
Fig. 6 muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes de un método para determinar una posición estimada c" mejorada del centro de la córnea. Se muestran una cámara 610 que comprende un sensor de imágenes, un iluminador 620, un rayo Rg de reflejo, un vector 7g desde la cámara que es la fuente del rayo Rg de reflejo, una normal ñs de la superficie de la córnea, un punto de reflexión Prefl, un ángulo v entre la normal rfs de la superficie de la córnea en el punto de reflexión Prefl, un vector 7g desde la cámara que es la fuente del rayo Rg de reflejos, la posición estimada c" mejorada del centro de la esfera de la córnea, una esfera sc de la córnea, un radio estimado rc de la córnea desde el centro de la esfera de la córnea hasta una superficie de la esfera de la córnea, una posición estimada e del centro del globo ocular, una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y una esfera sed de globo ocular a córnea.
En relación con la Figura 6, se describe una situación donde se identifica un reflejo en una imagen del ojo y el reflejo identificado puede asociarse a un iluminador correspondiente de los iluminadores.
Usualmente, una posición c del centro de la córnea se estima utilizando dos o más reflejos (reflexiones corneales) en la parte esférica de la superficie de la córnea. Si solo hay un reflejo que puede utilizarse, debido a la posición de la córnea en relación con la cámara y los iluminadores o debido a que se ocultan algunos iluminadores por la geometría facial del usuario, podemos hacer uso de una posición estimada e del centro del globo ocular, p. ej., determinada tal como se describe en relación con la Figura 5a, para determinar una posición estimada c" mejorada del centro de la córnea. La posición estimada c" mejorada del centro de la córnea será más precisa que la posición estimada c' del centro de la córnea como se describe en relación con la Figura 5b.
En los casos donde muchos de los reflejos utilizados para colocar la posición c del centro de la córnea están cerca del borde de la córnea, donde la suposición esférica es inapropiada, la posición estimada c" mejorada del centro de la córnea (estimada utilizando el reflejo más cercano a “ la parte superior” de la córnea esférica) también puede ser más precisa que la posición c del centro de la córnea determinada por un método, tal como el método primario descrito en relación con la Figura 5a.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea es una aproximación utilizada generalmente para un ojo humano.
Para calcular la posición estimada c" mejorada del centro de la córnea, puede seguirse, por ejemplo, el proceso de a continuación:
1. Colocar una esfera sed de globo ocular a córnea alrededor de la posición estimada e del centro del globo ocular con un radio de la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea, la posición c" mejorada del centro de la esfera de la córnea estará en la superficie de esta esfera sed de globo ocular a córnea.
2. Proyectar la posición del reflejo identificado en la imagen al rayo Rg de reflejo en el espacio tridimensional. La superficie de la esfera sc de la córnea intersecará este rayo Rg de reflejo en el punto Prefl de reflexión. La esfera sc de la córnea se centra alrededor del centro estimado c" mejorado de la esfera de la córnea con un radio igual al radio estimado rc de la córnea. El radio rc de la córnea utilizado es el mismo que se utiliza para el posicionamiento de la córnea en otras partes del método de seguimiento ocular.
3. El ángulo v entre la normal de la superficie de la córnea en el punto Prefl de reflexión y el vector 7g desde la cámara que es la fuente del rayo Rg de reflejos y el punto Prefl de reflexión es el mismo que el ángulo entre la normal 7Ts de la superficie de la córnea en el punto Prefl de reflexión y el vector entre el punto Prefl de reflexión y el iluminador 620 que está emitiendo la luz que causó la reflexión.
4. Para un radio rc de esfera de la córnea, un iluminador 620 y un rayo Rg de reflejo dados, un solucionador iterativo puede encontrar la distancia a lo largo de Rg donde se minimiza la distancia desde el centro de la córnea resultante (dada la restricción de ángulo de reflexión en 3) hasta la superficie de sed. Esa distancia proporciona el punto Prefl de reflexión que a su vez proporciona la posición estimada c" mejorada del centro de la córnea, como se describe en la Figura 6.
Fig. 7 muestra un método según una realización. El método comprende obtener 710 un radio estimado r desde un centro del globo ocular hasta un centro de la pupila en un ojo. El método comprende además determinar 720 una posición estimada e del centro del globo ocular en el ojo en relación con un sensor de imágenes de cámara para capturar imágenes del ojo, obtener 730 una imagen del ojo capturada por medio del sensor de imágenes de cámara, e identificar 740 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se determina 750 una posición estimada p' del centro de la pupila basándose en la posición estimada e del centro del globo ocular, el radio estimado r y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
Fig. 8 muestra un método según otra realización similar a la realización descrita en relación con la Figura 7. Se obtiene 810 una distancia estimada dp desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila, y se obtiene 815 una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea. Un radio r estimado es igual a la suma de la distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila y la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea.
Se determina 820 una posición c del centro de la esfera de la córnea basándose en una o más posiciones de reflejo en el ojo, se determina 825 una posición p de centro de la pupila, y se determina 830 una posición estimada e del centro del globo ocular en relación con un sensor de imágenes como la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea desde la posición c del centro de la esfera de la córnea en una dirección desde la posición p del centro de la pupila hasta la posición c del centro de la esfera de la córnea. Se obtiene 835 una imagen del ojo capturada por medio del sensor de imágenes, y se identifica 840 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Además, se determina 845 una esfera se del globo ocular que tiene un centro en la posición estimada e del centro del globo ocular y que tiene un radio del radio estimado r. Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, se determina 850 un rayo Rp de la pupila a lo largo del cual se coloca el centro de la pupila y se determina 855 la posición estimada p' del centro de la pupila como una intersección entre la esfera se del globo ocular y el rayo Rp de la pupila. Basándose en un vector desde la posición estimada e del centro del globo ocular hasta la posición estimada p' del centro de la pupila, se determina 860 una dirección estimada g' del ojo y, basándose en la dirección estimada g' del ojo, se determina 865 una dirección de mirada estimada.
La determinación 855 de la posición estimada p' del centro de la pupila puede comprender utilizar un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
Fig. 9 muestra un método adicional según una realización. El método comprende obtener 910 un radio estimado r desde un centro del globo ocular hasta un centro de la pupila en un ojo. El método comprende además determinar 920 una posición estimada e del centro del globo ocular en el ojo en relación con un sensor de imágenes de cámara para capturar imágenes del ojo, obtener 930 una imagen del ojo capturada por medio del sensor de imágenes de cámara e identificar 940 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se determina 950 una posición estimada p' del centro de la pupila basándose en la posición estimada e del centro del globo ocular, el radio estimado r y la posición identificada de la representación del centro de la pupila en la imagen obtenida. Se obtiene 960 una primera distancia estimada dp desde un centro de esfera de la córnea en el ojo hasta el centro de la pupila, y se determina 970 una posición estimada c' del centro de la esfera de la córnea como la primera distancia estimada dp desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición estimada p' del centro de la pupila en la dirección hacia la posición estimada e del centro del globo ocular. A continuación, se predicen 980 las posiciones de uno o más reflejos en el ojo basándose en la posición estimada c' del centro de la esfera de la córnea.
Fig. 10 es un diagrama en bloque que ilustra un sistema 1000 informático especializado en el que pueden implementarse realizaciones de la presente invención. Este ejemplo ilustra un sistema informático 1000 especializado tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los componentes descritos en la presente memoria.
El sistema informático 1000 especializado se muestra comprendiendo elementos de hardware que pueden acoplarse eléctricamente a través de un bus 1090. Los elementos de hardware pueden incluir una o más unidades 1010 de procesamiento central, uno o más dispositivos 1020 de entrada (p. ej., un ratón, un teclado, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 1030 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema informático 1000 especializado también puede incluir uno o más dispositivos 1040 de almacenamiento. A modo de ejemplo, el/los dispositivo/s 1040 de almacenamiento pueden ser unidades de disco, dispositivos de almacenamiento óptico, un dispositivo de almacenamiento en estado sólido tal como una memoria de acceso aleatorio (“ RAM” ) y/o una memoria de solo lectura (“ ROM” ), que pueden ser programables, actualizables por memoria flash y/o similares.
El sistema informático 1000 especializado puede incluir de forma adicional un lector 1050 de medios de almacenamiento legibles por ordenador, un sistema 1060 de comunicaciones (p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación de infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria 1080 de trabajo, que puede incluir dispositivos RAM y ROM como los descritos anteriormente. En algunas realizaciones, el sistema informático 1000 especializado puede incluir también una unidad 1070 de aceleración de procesamiento, que puede incluir un procesador de señales digitales, un procesador de fin especial y/o similares.
El lector 1050 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con el/los dispositivo/s 1040 de almacenamiento) de manera exhaustiva dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 1060 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema 1000 informático especializado puede comprender además elementos de software, que se muestran actualmente ubicados dentro de una memoria 1080 de trabajo, que incluye un sistema operativo 1084 y/u otro código 1088. Debe apreciarse que realizaciones alternativas del sistema 1000 informático especializado pueden tener numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema 1000 informático especializado puede incluir código 1088 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura como se describe en la presente memoria. Por ejemplo, software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema 1000 informático especializado, puede proporcionar las funciones de los componentes de la invención, tales como las descritas anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han descrito anteriormente con mayor detalle.
El experto en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones preferidas descritas anteriormente. Por el contrario, son posibles varias modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, el experto en la técnica es consciente de que los métodos de seguimiento ocular/de mirada descritos en la presente memoria pueden realizarse mediante muchos otros sistemas de seguimiento ocular/de mirada distintos al sistema 100 de seguimiento ocular/de mirada mostrado en la Figura 100, por ejemplo, utilizando múltiples iluminadores y múltiples sensores de imágenes como se muestra, p. ej., en las Figuras 4ac.
De forma adicional, los expertos en la técnica pueden entender y efectuar variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un” o “una” no excluye una pluralidad. La división de tareas entre unidades funcionales a las que se hace referencia en la presente descripción no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en las reivindicaciones o en las realizaciones descritas en la presente memoria, a menos que se describa explícitamente que se requiere un cierto orden. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims (14)

REIVINDICACIONES
1. Un método implementado por ordenador que comprende:
obtener un radio estimado (r) desde un centro del globo ocular hasta un centro de la pupila en un ojo;
determinar una posición estimada (e) del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo;
obtener una imagen del ojo capturada por medio del sensor de imágenes;
identificar una posición de una representación del centro de la pupila en el ojo en la imagen obtenida;
determinar una posición estimada (p') del centro de la pupila basándose en la posición estimada (e) del centro del globo ocular, el radio estimado (r) y la posición identificada de la representación del centro de la pupila en la imagen obtenida,
en donde determinar la posición estimada (p') del centro de la pupila se caracteriza por: determinar una esfera (se) del globo ocular que tiene un centro en la posición estimada (e) del centro del globo ocular y que tiene un radio del radio estimado (r);
determinar, basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, un rayo (Rp) de la pupila a lo largo del cual se coloca el centro de la pupila; y determinar la posición estimada (p') del centro de la pupila como una intersección entre la esfera (se) del globo ocular y el rayo (Rp) de la pupila.
2. El método de la reivindicación 1, que comprende además:
determinar una dirección estimada (g') del ojo basándose en un vector desde la posición estimada (e) del centro del globo ocular hasta la posición estimada (p') del centro de la pupila.
3. El método de la reivindicación 2, que comprende además:
determinar una dirección de mirada estimada basándose en la dirección estimada (g') del ojo.
4. El método de la reivindicación 1, en donde obtener un radio estimado (r) comprende:
obtener una distancia estimada (dp) desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila; y
obtener una distancia estimada (d) desde el centro del globo ocular hasta el centro de la esfera de la córnea,
en donde el radio estimado (r) es igual a la suma de la distancia estimada (dp) desde el centro de la esfera de la córnea hasta el centro de la pupila y la segunda distancia estimada (d) desde el centro del globo ocular hasta el centro de la esfera de la córnea.
5. El método de la reivindicación 1, que comprende además:
determinar la posición estimada (p') del centro de la pupila utilizando un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
6. El método de la reivindicación 1, que comprende además:
obtener una distancia estimada (dp) desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila; y
determinar una posición estimada (c') del centro de la esfera de la córnea como la distancia estimada (dp) desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición estimada (p') del centro de la pupila en la dirección hacia la posición estimada (e) del centro del globo ocular.
7. El método de la reivindicación 6, que comprende además:
predecir posiciones de uno o más reflejos en el ojo basándose en la posición estimada (c') del centro de la esfera de la córnea.
8. El método de la reivindicación 1, en donde determinar una posición estimada (e) del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo comprende:
determinar una posición del centro (c) de la esfera de la córnea basándose en una o más posiciones de reflejo en el ojo;
determinar una posición (p) del centro de la pupila;
obtener una distancia estimada (d) desde el centro del globo ocular hasta el centro de la esfera de la córnea; y
determinar una posición estimada (e) del centro del globo ocular como la distancia estimada (d) desde el centro del globo ocular hasta el centro de la esfera de la córnea a partir de la posición (c) del centro de la esfera de la córnea en una dirección desde la posición (p) del centro de la pupila hasta la posición (c) del centro de la esfera de la córnea.
9. Un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para realizar el método de una de las reivindicaciones 1 -8.
10. El sistema de seguimiento ocular de la reivindicación 9, que comprende además el sensor de imágenes para capturar imágenes del ojo.
11. El sistema de seguimiento ocular de la reivindicación 10, en donde el sensor de imágenes se dispone en un dispositivo ponible.
12. El sistema de seguimiento ocular de la reivindicación 11, en donde el sistema de circuitos se dispone en un dispositivo diferente del dispositivo ponible.
13. El sistema de seguimiento ocular de la reivindicación 11, en donde el sistema de circuitos se dispone en el dispositivo ponible.
14. Uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando se ejecutan por un sistema informático que implementa el procesamiento de datos de ojos/mirada, causan que el sistema informático realice un método, comprendiendo el método:
obtener un radio estimado (r) desde un centro del globo ocular hasta un centro de la pupila en un ojo;
determinar una posición estimada (e) del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo;
obtener una imagen del ojo capturada por medio del sensor de imágenes;
identificar una posición de una representación del centro de la pupila en el ojo en la imagen obtenida;
determinar una posición estimada (p') del centro de la pupila basándose en la posición estimada (e) del centro del globo ocular, el radio estimado (r) y la posición identificada de la representación del centro de la pupila en la imagen obtenida;
en donde determinar la posición estimada (p') del centro de la pupila se caracteriza por:
determinar una esfera (se) del globo ocular que tiene un centro en la posición estimada (e) del centro del globo ocular y que tiene un radio del radio estimado (r);
determinar, basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, un rayo (Rp) de la pupila a lo largo del cual se coloca el centro de la pupila; y
determinar la posición estimada (p') del centro de la pupila como una intersección entre la esfera (se) del globo ocular y el rayo (Rp) de la pupila.
ES18193093T 2017-09-08 2018-09-07 Seguimiento ocular que utiliza la posición del centro del globo ocular Active ES2909057T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201762556086P 2017-09-08 2017-09-08

Publications (1)

Publication Number Publication Date
ES2909057T3 true ES2909057T3 (es) 2022-05-05

Family

ID=63528551

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18193093T Active ES2909057T3 (es) 2017-09-08 2018-09-07 Seguimiento ocular que utiliza la posición del centro del globo ocular

Country Status (4)

Country Link
US (1) US11129530B2 (es)
EP (2) EP3453316B1 (es)
CN (2) CN113729611B (es)
ES (1) ES2909057T3 (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP7198023B2 (ja) * 2018-09-27 2022-12-28 株式会社アイシン 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
CN109947253B (zh) * 2019-03-25 2020-06-19 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN111752383B (zh) * 2019-03-29 2024-09-27 托比股份公司 更新角膜模型
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的系统和技术
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
SE543455C2 (en) * 2019-06-28 2021-02-23 Tobii Ab Method and system for 3d cornea position estimation
EP3994510A4 (en) 2019-07-05 2023-08-02 Magic Leap, Inc. EYE TRACKING LATENCY IMPROVEMENTS
CN110363133B (zh) 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
SE543354C2 (en) * 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
CN114078278A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 注视点定位方法与装置、电子设备和存储介质
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
CN113192132B (zh) * 2021-03-18 2022-07-29 魔珐(上海)信息科技有限公司 眼神捕捉方法及装置、存储介质、终端
CN113729616B (zh) * 2021-09-01 2022-10-14 中国科学院上海微系统与信息技术研究所 一种瞳孔中心位置数据的确定方法、装置及存储介质
CN114360043B (zh) * 2022-03-18 2022-06-17 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
JP4692526B2 (ja) * 2006-07-18 2011-06-01 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP2008136789A (ja) 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
NL2003372C2 (en) * 2009-08-20 2011-02-22 Univ Delft Tech Apparatus and method for automatically determining a strabismus angle.
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
JP6577454B2 (ja) * 2013-03-18 2019-09-18 ミラメトリックス インコーポレイテッド 軸上視線追跡システム及び方法
CN104113680B (zh) * 2013-04-19 2019-06-28 北京三星通信技术研究有限公司 视线跟踪系统及方法
JP6676522B2 (ja) * 2013-06-17 2020-04-08 ニューヨーク ユニバーシティ 対象における眼球運動を追跡するためのデバイスの作動方法、および当該デバイスによって追跡された眼球運動のデータの中枢神経系病変を位置特定するための使用方法
EP3041400A1 (en) 2013-09-03 2016-07-13 Tobii AB Portable eye tracking device
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
JP2016106668A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN106168853B (zh) * 2016-06-23 2019-10-01 中国科学技术大学 一种自由空间头戴式视线跟踪系统
CN106774863B (zh) * 2016-12-03 2020-07-07 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法

Also Published As

Publication number Publication date
US11129530B2 (en) 2021-09-28
CN113729611B (zh) 2024-04-16
EP3453316B1 (en) 2022-02-23
CN109471523A (zh) 2019-03-15
CN113729611A (zh) 2021-12-03
CN109471523B (zh) 2021-09-28
US20190076015A1 (en) 2019-03-14
EP3453316A1 (en) 2019-03-13
EP4011274A1 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
ES2909057T3 (es) Seguimiento ocular que utiliza la posición del centro del globo ocular
ES2887976T3 (es) Compensación del radio de la pupila
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
ES2936093T3 (es) Fiabilidad de los datos de seguimiento de la mirada para el ojo izquierdo y derecho
ES2327633T3 (es) Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo.
ES2553441T3 (es) Detección de estrabismo
US10698482B2 (en) Gaze tracking using non-circular lights
US9092671B2 (en) Visual line detection device and visual line detection method
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US11243607B2 (en) Method and system for glint/reflection identification
CN108354585B (zh) 用于检测角膜顶点的用计算机实现的方法
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
JP2008513168A (ja) 視線方向を非接触で特定する為の装置及び方法
ES2916408T3 (es) Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
WO2015083524A1 (ja) 計測装置及び計測方法
JP5626039B2 (ja) 視線検出装置及び視線検出方法
US20200187774A1 (en) Method and system for controlling illuminators
ES2939003T3 (es) Método y sistema para estimación de posición 3D de la córnea
JP5601179B2 (ja) 視線検出装置及び視線検出方法
JP6360752B2 (ja) 照明撮像装置
US10288879B1 (en) Method and system for glint/reflection identification
ES2921299T3 (es) Método y sistema para la identificación de reflejos/reflexiones
KR101780669B1 (ko) 단일 카메라를 이용한 양안 촬영 장치
ES2926953T3 (es) Entrenar un modelo de seguimiento ocular