ES2912160T3 - Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores - Google Patents

Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores Download PDF

Info

Publication number
ES2912160T3
ES2912160T3 ES18191778T ES18191778T ES2912160T3 ES 2912160 T3 ES2912160 T3 ES 2912160T3 ES 18191778 T ES18191778 T ES 18191778T ES 18191778 T ES18191778 T ES 18191778T ES 2912160 T3 ES2912160 T3 ES 2912160T3
Authority
ES
Spain
Prior art keywords
user
display
gaze
eye
tracking device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18191778T
Other languages
English (en)
Inventor
Farshid Bagherpour
Mårten Skogö
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2912160T3 publication Critical patent/ES2912160T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un sistema (100) para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores, comprendiendo el sistema: un primer visualizador (120A); un primer dispositivo (130A) de seguimiento de ojos configurado para determinar una dirección de mirada de un usuario mientras el usuario está mirando el primer visualizador (120A); un segundo visualizador (120B); un segundo dispositivo (130B) de seguimiento de ojos configurado para determinar la dirección de mirada del usuario mientras el usuario está mirando el segundo visualizador (120B); y un procesador (110) configurado para: determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en una dirección del segundo visualizador (120B); y en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B), el sistema se caracteriza por que el procesador está configurado además para: desactivar el primer dispositivo (130A) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y activar el segundo dispositivo (130B) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.

Description

DESCRIPCIÓN
Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores
Antecedentes
US2012233059A1 se describe una gestión de visualización basada en la monitorización de la atención de un usuario en relación con uno o más monitores de visualización, tal como la monitorización de la posición de la mirada de un usuario en relación con uno o más monitores. Las unidades de seguimiento de mirada captan la dirección de la mirada del usuario y calculan qué pantalla o qué parte de la pantalla está viendo el usuario en ese momento. Si una de las unidades de seguimiento de mirada detecta que el usuario está apartando los ojos de un monitor, la aplicación de gestión de visualización comienza a gestionar en respuesta al menos una parte del monitor de visualización. La aplicación de gestión de visualización puede grabar datos que se estén mostrando en el monitor mientras la mirada del usuario está apartada del monitor. La grabación se detiene cuando la mirada del usuario vuelve al monitor. La aplicación de gestión de visualización puede proporcionar un informe al usuario que incluya eventos que hayan ocurrido durante el período de tiempo en el que la mirada del usuario estaba apartada del monitor.
US20120218398A1 se describe un método para detectar y aplicar una dirección de mirada vertical de una cara dentro de una imagen digital.
Se selecciona una acción adicional en función de la dirección aproximada determinada de la mirada de ojos vertical. La técnica puede incluir determinar que el al menos uno de los ojos está mirando a una pantalla de visualización particular de múltiples pantallas de visualización, incluido concluir que la dirección aproximada determinada de la mirada de ojos se encuentra dentro de un intervalo direccional de la pantalla de visualización particular. Cuando se determina que la dirección aproximada determinada de la mirada vertical no se encuentra dentro de un intervalo direccional de un dispositivo digital, la acción adicional puede incluir una rutina de ahorro de energía del dispositivo digital. Cuando se determina que la dirección aproximada determinada de la mirada vertical se encuentra dentro de un intervalo direccional de un dispositivo digital, entonces la acción adicional puede incluir una rutina de encendido del dispositivo digital.
Breve descripción de la invención
En una realización, se proporciona un sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores. El sistema puede incluir un primer visualizador, un primer dispositivo de seguimiento de ojos configurado para determinar la dirección de mirada de un usuario mientras el usuario está mirando el primer visualizador, un segundo visualizador, un segundo dispositivo de seguimiento de ojos configurado para determinar la dirección de mirada del usuario mientras el usuario está mirando al segundo visualizador, y un procesador configurado para: determinar que la mirada del usuario se ha apartado del primer visualizador en una dirección del segundo visualizador; y, en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador en la dirección del segundo visualizador, el sistema se caracteriza por que el procesador está configurado además para: desactivar el primer dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y activar el segundo dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
En otra realización, se proporciona un método para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores. El método puede incluir determinar la dirección de mirada de un usuario con un primer dispositivo de seguimiento de ojos mientras el usuario está mirando un primer visualizador. El método también puede incluir determinar la dirección de mirada del usuario con un segundo dispositivo de seguimiento de ojos mientras el usuario está mirando un segundo visualizador. El método puede incluir además determinar que la mirada del usuario se ha apartado del primer visualizador en una dirección del segundo visualizador. El método puede incluir de forma adicional, en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador en la dirección del segundo visualizador, desactivar el primer dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario, y activar el segundo dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
En otra realización, se proporciona un medio legible por máquina no transitorio. El medio legible por máquina no transitorio tiene instrucciones almacenadas en el mismo para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores, en donde las instrucciones son ejecutables por uno o más procesadores para al menos: determinar la dirección de mirada de un usuario con un primer dispositivo de seguimiento de ojos mientras el usuario está mirando un primer visualizador; determinar la dirección de mirada del usuario con un segundo dispositivo de seguimiento de ojos mientras el usuario está mirando un segundo visualizador; determinar que la mirada del usuario se ha apartado del primer visualizador en una dirección del segundo visualizador; en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador en la dirección del segundo visualizador: desactivar el primer dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y activar el segundo dispositivo de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
Breve descripción de los dibujos
Junto con las figuras adjuntas se describen realizaciones de la presente invención:
la Fig. 1 es una vista representativa de un sistema de la invención para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores;
la Fig. 2 es una vista representativa de una parte del sistema de la Fig. 1, que también muestra el intervalo eficaz de un dispositivo de seguimiento de ojos asociado a un visualizador;
la Fig. 3 es un diagrama de flujo de un método de la invención para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores;
la Fig. 4 es un diagrama de flujo de otro método de la invención para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores;
la Fig. 5 es un diagrama de flujo de un método de la invención para realizar un proceso de traspaso entre dos dispositivos de seguimiento de ojos; y
la Fig. 6 es un diagrama de bloques de un sistema informático ilustrativo que puede utilizarse en al menos alguna parte de los aparatos o sistemas de la presente invención o implementar al menos alguna parte de los métodos de la presente invención.
En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.
Descripción detallada de la invención
La descripción que sigue proporciona únicamente realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia de análisis de cualquier detalle con respecto a una realización en la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria. Esto significa que se entiende que la ausencia del detalle en el análisis de una realización es una versión específicamente contemplada de la realización, que no tiene el detalle.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto normal en la técnica entenderá que las realizaciones pueden ponerse en práctica sin ningún detalle específico. De forma adicional, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama de bloques para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que pueden describirse realizaciones individuales como un procedimiento que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementa en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
La Fig. 1 muestra un sistema 100 que tiene un procesador 110 y una pluralidad de dispositivos 120 de visualización. Aunque en esta realización el procesador 110 es un ordenador personal de sobremesa que tiene cuatro visualizadores LCD/LED 120, otras realizaciones de la invención pueden incluir cualquier disposición de múltiples visualizadores asociada a una variedad de dispositivos informáticos/de procesamiento, cada uno de los cuales puede tener uno o más procesadores configurados para implementar realizaciones de la invención. Por ejemplo, pueden aplicarse realizaciones de la invención a disposiciones de múltiples visualizadores en ordenadores portátiles y de sobremesa, a dispositivos informáticos de tableta, a asistentes de datos personales, a teléfonos inteligentes y a otros dispositivos móviles de usuario. En algunas realizaciones, cada pantalla puede estar asociada a distintos procesadores que están en comunicación entre sí. Por ejemplo, un visualizador puede ser parte de, y estar controlado por, un dispositivo informático de tableta, mientras que otro visualizador puede ser parte de, y estar controlado por, un ordenador portátil. Los procesadores de cada dispositivo pueden estar en comunicación para coordinar la implementación de ciertas realizaciones descritas en la presente memoria. Toda otra disposición de los anteriores componentes es también posible en diversas realizaciones de la invención.
En la realización mostrada en la Fig. 1, el sistema 100 incluye cuatro visualizadores 120, pero en otras realizaciones, puede haber presentes un menor o un mayor número de dispositivos 120 de visualización. El sistema 100 también incluye cuatro dispositivos 130 de seguimiento de ojos, donde cada dispositivo 130 de seguimiento de ojos está asociado a un dispositivo 120 de visualización diferente (es decir, un dispositivo 130A de seguimiento de ojos está asociado a un dispositivo 120A de visualización; un dispositivo 130B de seguimiento de ojos está asociado a un dispositivo 120B de visualización; etc.). Los dispositivos 120 de visualización y los dispositivos 130 de seguimiento de ojos están en comunicación con el procesador 110 a través de medios de comunicación, o bien cableados, o bien inalámbricos. El procesador 110 puede ejecutar sistemas operativos y otros paquetes de software que sean capaces de controlar el contenido visualizado en unos dispositivos 120 de visualización, así como en comunicación con unos dispositivos 130 de seguimiento de ojos para determinar la ubicación de mirada de un usuario con los mismos. El procesador 110 puede, por lo tanto, ser capaz de determinar una dirección de mirada de un usuario del sistema 100, y también hacerlo con respecto al contenido visualizado en unos dispositivos 120 de visualización tras la calibración de cada dispositivo 130 de seguimiento de ojos. En algunas realizaciones, cualquiera o todos los dispositivos 130 de seguimiento de ojos pueden ser capaces de determinar una dirección de mirada de un usuario sin ayuda del procesador 110, y después de ello informar al procesador 110 de la dirección de mirada del usuario.
Aunque todos los dispositivos 120 de visualización y todos los dispositivos 130 de seguimiento de ojos se muestran en el mismo plano en la Fig. 1, en la práctica cada dispositivo 120 de visualización y el dispositivo 130 de seguimiento de ojos asociado pueden girarse alrededor del eje Z (p. ej., unos dispositivos 120A, 120C de visualización y unos dispositivos 130A, 130C de seguimiento de ojos) o alrededor del eje X (p. ej., un dispositivo 120D de visualización y un dispositivo 130D de seguimiento de ojos) de manera que se encuentren más directamente de frente a un usuario que está principalmente de frente a un dispositivo 120B de visualización y a un dispositivo 130B de seguimiento de ojos (es decir, el dispositivo de visualización central).
Cada dispositivo 130 de seguimiento de ojos puede ser capaz únicamente de seguir con precisión y de manera sistemática la mirada de un usuario solo cuando la mirada del usuario esté dirigida generalmente hacia ese dispositivo 130 de seguimiento de ojos y al dispositivo 120 de visualización asociado ese dispositivo 130 de seguimiento de ojos particular. En otras palabras, aunque un dispositivo 130 de seguimiento de ojos particular pueda ser capaz de determinar la dirección de mirada de un usuario cuando la dirección de mirada del usuario está dirigida hacia un área eficaz de un dispositivo 120 de visualización asociado, la capacidad del dispositivo 130 de seguimiento de ojos para determinar que la dirección de mirada se ha apartado del área eficaz puede verse afectada o no ser posible a medida que la dirección de mirada del usuario se sitúe cada vez más lejos del mismo. El área eficaz de un dispositivo 120 de visualización, tal y como se denomina en la presente memoria, es aquella parte del dispositivo 120 de visualización que es capaz de visualizar imágenes dinámicas de manera eficaz. En otras palabras, el bisel 121 u otra parte/bastidor no dinámico de un dispositivo 120 de visualización no forma parte del área eficaz de un dispositivo 120 de visualización.
En muchas realizaciones, cada dispositivo 130 de seguimiento de ojos puede ser capaz de determinar cuándo una mirada de un usuario está dirigida hacia el área eficaz de un dispositivo 120 de visualización asociado, así como a cierta distancia de cada borde del área eficaz del dispositivo 120 de visualización asociado. A efectos explicativos, la Fig. 2 solo muestra los dispositivos 120A, 120B de visualización de la Fig. 1 junto con los dispositivos 120A, 120B de seguimiento de ojos asociados. También se muestra el intervalo fiable 135 en el que la dirección de mirada del usuario, cuando esté generalmente dirigida hacia el dispositivo 120A de visualización, es determinada de manera fiable por el dispositivo 130A de seguimiento de ojos. Por lo tanto, el intervalo fiable 135 del seguimiento de ojos se extiende más allá del área eficaz del dispositivo 120A de visualización, y, en este ejemplo, se extiende incluso hasta el área eficaz del dispositivo 120B de visualización. El dispositivo 130B de seguimiento de ojos también puede tener un intervalo fiable similar, que se extiende así incluso hasta el área eficaz del dispositivo 120A de visualización, así como se superpone al intervalo fiable del dispositivo 130A de seguimiento de ojos. En algunas realizaciones, cualquiera o todos los dispositivos 130 de seguimiento de ojos pueden ser capaces de determinar una dirección de mirada de un usuario sin ayuda del procesador 110, y después de ello informar al procesador 110 de la dirección de mirada del usuario.
Así, cada dispositivo 130 de seguimiento de ojos puede determinar la dirección de mirada de un usuario cuando está mirando un dispositivo 120 de visualización asociado (y/o un área eficaz del mismo), así como la dirección de mirada del usuario cuando no está mirando un dispositivo 120 de visualización asociado (y/o un área eficaz del mismo). Sin embargo, la capacidad de cada dispositivo 130 de seguimiento de ojos para determinar la dirección de mirada de un usuario cuando no está mirando un dispositivo 120 de visualización asociado puede disminuir a medida que la mirada del usuario es dirigida desde el dispositivo de visualización asociado. A cierta distancia de un dispositivo 120 de visualización dado, un dispositivo 130 de seguimiento de ojos asociado al dispositivo 120 de visualización dado puede no ser capaz de determinar una dirección de mirada del usuario porque los ojos del usuario no están suficientemente en el intervalo de, o dirigidos hacia, unos sensores de imagen, unos iluminadores y/u otros componentes comúnmente utilizados para implementar el funcionamiento de muchos dispositivos 130 de seguimiento de ojos.
Los ojos de un usuario pueden no estar suficientemente en el intervalo de un dispositivo 130 de seguimiento de ojos particular cuando se dan una cualquiera o más de una pluralidad de condiciones. Simplemente a modo de ejemplo, si no se detecta que uno de los ojos del usuario está mirando dentro de un recuadro de seguimiento del dispositivo 130 de seguimiento de ojos particular, puede que los ojos del usuario no estén suficientemente en el intervalo del dispositivo de seguimiento de ojos particular. El recuadro de seguimiento de un dispositivo 130 de seguimiento de ojos se define como el área o el volumen en el que el dispositivo 130 de seguimiento de ojos puede ser capaz de detectar y determinar la mirada de un usuario o ser capaz de identificar al menos alguna parte del usuario (es decir, un ojo, una cabeza, etc.). En otro ejemplo, si transcurre un tiempo predeterminado sin que ambos ojos del usuario sean detectados por un dispositivo 130 de seguimiento de ojos, los ojos del usuario pueden no estar suficientemente en el intervalo. En otras realizaciones más, el área dimensionada que incluye o incluyó los ojos del usuario o la cabeza del usuario, o alguna parte del mismo, que no se detectan dentro del recuadro de seguimiento de un dispositivo 130 de seguimiento de ojos durante un período de tiempo predeterminado puede indicar que los ojos del usuario no están suficientemente en el intervalo de un dispositivo 130 de seguimiento de ojos particular. En algunas realizaciones, una combinación de tales factores puede dar como resultado que los ojos del usuario no estén suficientemente en el intervalo.
Volviendo a la Fig. 1, en algunas realizaciones, tras el inicio del uso del sistema 100, o al menos la inicialización de procesos de detección de mirada, el procesador 110 puede configurarse para determinar, sondeando a cada dispositivo 130 de seguimiento de ojos, el dispositivo 120 de visualización que el usuario está mirando en ese momento. Simplemente a modo de ejemplo, si un usuario está mirando un dispositivo 120 de visualización particular, el dispositivo 130 de seguimiento de ojos asociado al mismo puede ser capaz de determinar sistemáticamente una dirección de mirada del usuario con respecto al mismo durante al menos un período de tiempo predeterminado. Asimismo, si el usuario no está mirando un dispositivo 120 de visualización dado, los dispositivos 130 de seguimiento de ojos pueden no ser capaces de detectar ambos ojos del usuario o pueden tan solo ser capaces de determinar la dirección de mirada del usuario intermitentemente. Tras determinar qué dispositivo 120 de visualización está mirando el usuario, el procesador 100 puede mantener el estado activo del dispositivo 130 de seguimiento de ojos asociado a ese dispositivo 120 de visualización, pero desactivar los dispositivos 130 de seguimiento de ojos asociados a otros dispositivos 120 de visualización.
Un dispositivo 130 de seguimiento de ojos “activo” o “activado” puede ser cualquier dispositivo 130 de seguimiento de ojos que en ese momento esté completamente encendido y/o esté intentando activamente detectar y/o determinar la dirección de mirada de un usuario (quizás con ayuda del procesador 110). Un dispositivo 130 de seguimiento de ojos “ inactivo” o “desactivado” puede ser cualquier dispositivo de seguimiento de ojos que en ese momento no esté completamente encendido y/o no esté intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
En algunas realizaciones, la intensidad de iluminación de los iluminadores en un dispositivo 130 de seguimiento de ojos desactivado puede reducirse en comparación con un dispositivo 130 de seguimiento de ojos activo. Adicional o alternativamente, la frecuencia a la que tales iluminadores se activan en un dispositivo 130 de seguimiento de ojos desactivado también puede reducirse en comparación con un dispositivo 130 de seguimiento de ojos activo. En algunas realizaciones, un sensor de imágenes de un dispositivo 130 de seguimiento de ojos desactivado también puede funcionar a una frecuencia menor (frecuencia de trama) en comparación con un dispositivo 130 de seguimiento de ojos activo. Por ejemplo, una frecuencia de trama de un sensor de imágenes en un dispositivo 130 de seguimiento de ojos inactivo puede disminuir hasta un 50 % o menos de la de un dispositivo 130 de seguimiento de ojos activo. En algunas realizaciones, los dispositivos 130 de seguimiento de ojos desactivados pueden reducir el número de píxeles utilizados en comparación con los dispositivos 130 de seguimiento de ojos activos. Por ejemplo, puede disminuirse el tamaño del área de formación de imágenes, o puede emplearse la agrupación de píxeles (determinación agregada de filas/columnas de píxeles en un sensor de imagen). En algunas realizaciones, los parámetros de formación de imágenes y de iluminación pueden ajustarse a lo largo del tiempo, especialmente si el sistema está intentando “encontrar” los ojos del usuario con uno o más de los dispositivos 130 de seguimiento de ojos.
A modo de ejemplo ilustrativo, si el usuario está mirando el dispositivo 120B de visualización, el dispositivo 130B de seguimiento de ojos puede ser capaz de determinar sistemáticamente una dirección de mirada del usuario, pero los dispositivos 130A, 130C de seguimiento de ojos solo pueden detectar la presencia de un ojo, o de ningún ojo, y por lo tanto son incapaces de determinar la dirección de mirada general del usuario (donde la dirección de mirada general del usuario es la dirección de mirada combinada y/o que se interseca de ambos ojos del usuario). Alternativamente, los dispositivos 130A, 130C de seguimiento de ojos pueden ser capaces de detectar la dirección de mirada del usuario, pero no lo hacen tan sistemáticamente. En el mismo ejemplo, cuando la mirada del usuario permanece dirigida hacia el dispositivo 120B de visualización en un caso en el que la mirada del usuario está en transición entre distintos seguidores de ojos, el dispositivo 130D de seguimiento de ojos puede no ser capaz de detectar ningún ojo del usuario, o puede no ser capaz de determinar sistemáticamente una dirección de mirada del usuario.
Alternativamente, en otras realizaciones, el procesador 110 puede hacer que un dispositivo 120 de visualización particular muestre contenido que haga que el usuario mire el dispositivo 120 de visualización particular. Por ejemplo, en un dispositivo 120B de visualización puede mostrarse un patrón de calibración, lo que haría que el usuario dirigiese su mirada hacia el mismo. Al, o antes de, determinarse que la mirada del usuario se detecta dentro del recuadro de seguimiento del dispositivo 130B de seguimiento de ojos asociado, el dispositivo 130B de seguimiento de ojos asociado puede permanecer activo, mientras que otros dispositivos 130A, 130C y 130D de seguimiento de ojos pueden desactivarse o permanecer desactivados.
El procesador 110 está configurado para determinar que la mirada del usuario se ha apartado de un primer visualizador 120 en una dirección de un segundo visualizador 120 y, en respuesta al mismo, desactivar un primer dispositivo 130 de seguimiento de ojos y activar un segundo dispositivo 130 de seguimiento de ojos. De esta manera, en el sistema 100 solo puede estar activo un dispositivo 130 de seguimiento de ojos cada vez, lo que reduce el consumo de energía del sistema 100 debido a la desactivación de los dispositivos 130 de seguimiento de ojos que no están en uso inmediato, así como reduce los requisitos de procesamiento necesarios para controlar y procesar los datos procedentes de los dispositivos 130 de seguimiento de ojos inactivos. Sin embargo, en muchas realizaciones, múltiples dispositivos 130 de seguimiento de ojos pueden estar activos en un momento dado para facilitar un proceso de traspaso entre dos dispositivos 130 de seguimiento de ojos a medida que la situación de la mirada del usuario se mueve de un visualizador 120 a otro.
A continuación se analizarán las maneras en las que el procesador 110, u otros componentes del sistema 100, pueden determinar que la mirada de un usuario se ha movido de un primer visualizador 120 en una dirección de un segundo visualizador 120.
En algunas realizaciones, el movimiento de la mirada de un usuario entre unos dispositivos 120 de visualización que están a al menos aproximadamente el mismo nivel horizontal (p. ej., los dispositivos 120A, 120B y 120C de visualización) puede detectarse basándose en un dispositivo 130 de seguimiento de ojos asociado que solo puede detectar un ojo del usuario durante al menos un umbral predeterminado de tiempo. Esto puede indicar que un usuario ha girado su cabeza y/o mirada, de manera que solo el segundo ojo del usuario todavía esté en el intervalo útil de un dispositivo 130 de seguimiento de ojos particular y que el primer ojo no esté en el intervalo útil del dispositivo 130 de seguimiento de ojos particular. Esto probablemente significa que el primer ojo (así como el segundo ojo) está en el intervalo del dispositivo 130 de seguimiento de ojos asociado a un dispositivo 120 de visualización al que ahora se está dirigiendo la mirada del usuario. La dirección en la que se ha desplazado la dirección de mirada justo antes de que un dispositivo de un dispositivo 130 de seguimiento de ojos detecte tan solo un ojo del usuario (es decir, que la dirección de mirada se movió a la izquierda o a la derecha del dispositivo 120 de visualización asociado) también puede informar al procesador 110 de que la dirección de mirada del usuario se ha desplazado a otro dispositivo 120 de visualización.
En algunas realizaciones, el procesador 110 puede configurarse para determinar las posiciones, los tamaños y/o las direcciones relativas de unos dispositivos 120 de visualización disponibles y luego correlacionarse con la información recibida de un dispositivo 130 de seguimiento de ojos activo para determinar cuándo se está desplazando la mirada de un usuario en la dirección de los dispositivos 120 de visualización cercanos que no están asociados al dispositivo 130 de seguimiento de ojos que está activo en ese momento. Haciendo referencia nuevamente a la Fig. 2 , el dispositivo 130A de seguimiento de ojos puede ser capaz de determinar más directamente, basándose en la posición, el tamaño y/o la información de dirección de los dispositivos 120 de visualización disponibles, que la mirada del usuario se ha movido desde el dispositivo 120A de visualización hasta el dispositivo 120B de visualización, puesto que la dirección de mirada del usuario puede al menos atravesar una parte del dispositivo 120B de visualización, cuyo tamaño y/o cuya posición es conocido/a, gracias al intervalo eficaz del dispositivo 130A de seguimiento de ojos. En algunas realizaciones, la distancia entre el punto de mirada del usuario y unas coordenadas predeterminadas (basadas en la situación de los visualizadores 120 y de los dispositivos 130 de seguimiento de ojos) o el movimiento de la posición absoluta de la cabeza o los ojos del usuario puede ser indicativa de que el punto de mirada del usuario se ha desplazado lo suficiente como para justificar encender los dispositivos 130 de seguimiento de ojos activos.
Al igual que en el caso del anteriormente descrito método de identificación cuando solo un segundo ojo es detectable por un dispositivo 130 de seguimiento de ojos, el sentido de movimiento de la dirección de mirada de un usuario antes del cambio detectado de qué visualizador está mirando el usuario en ese momento también puede informar al procesador 110 del rumbo/destino probable de la dirección de mirada del usuario. De forma adicional, en algunos casos, el procesador 110 puede ser capaz de detectar, al menos momentáneamente, cuando un solo ojo de cada usuario es detectado únicamente por cada uno de los dos dispositivos 130 de seguimiento de ojos y, por lo tanto, de saber cuándo está pasando la mirada del usuario de un dispositivo 120 de visualización a otro. En algunas realizaciones, los dispositivos 130 de seguimiento de ojos pueden comunicarse más directamente entre sí y de este modo implementar los métodos descritos en la presente memoria, con o sin la ayuda del procesador 110. Dicha comunicación podría producirse a través de un medio de comunicación cableado o inalámbrico, tal y como se conoce en la técnica.
La información sobre la posición, el tamaño y/o la dirección de los dispositivos 120 de visualización disponibles puede determinarse de varias maneras. En algunas realizaciones, el sistema operativo o un configurador de procesador gráfico (p. ej., el Panel de Control de NVIDIA™ o el Centro de Control de AMD™ Catalyst) del procesador 110, cuando ha sido informado previamente de tal información por el usuario o por otro proceso más automatizado, puede proporcionar tal información a petición de un paquete de software, subrutina, etc. que está implementando los sistemas/métodos descritos en la presente memoria. Los datos de situación que especifican la posición, el tamaño y/o la dirección pueden incluir un conjunto de datos de situación que proporciona datos dimensionales sobre la colocación y el tamaño de cada dispositivo 120 de visualización.
En algunas realizaciones, la posición, el tamaño y/o la dirección de los dispositivos 120 de visualización disponibles puede determinarse más directamente mediante un proceso de configuración realizado con los dispositivos 120 de visualización y los dispositivos 130 de seguimiento de ojos. En estas realizaciones, el procesador 110 puede hacer que cada uno de los dispositivos 120 de visualización presente contenido de visualización que tenga distintos puntos de interés cerca de sus extremos (es decir, los lados y las esquinas). El procesador 110 puede dirigir al usuario a través de unas instrucciones en pantalla para dirigir su mirada a cada uno de los puntos de interés y el usuario uno o más dispositivos de seguimiento de ojos para determinar la dirección de mirada del usuario. Esta información se puede guardar, creándose así datos de ubicación comparables a los que se pueden obtener a través de otros métodos descritos en la presente memoria.
En cualquiera de las realizaciones descritas, el procesador 110 también puede ser informado de que un usuario está trasladando su mirada a un dispositivo 120 de visualización diferente basándose en una determinación de que la mirada del usuario estaba situada dentro de una cierta proximidad a un borde de un área eficaz del primer visualizador dentro de un cierto tiempo antes de detectarse un ojo del usuario, pero no otro ojo del usuario, con un dispositivo 130 de seguimiento de ojos particular, o dentro de un cierto tiempo de haberse recibido de otro modo indicaciones adicionales de que la mirada del usuario se ha desplazado hasta un dispositivo 120 de visualización diferente.
En algunas realizaciones, el procesador 110 también puede configurarse para intercalar la frecuencia de funcionamiento de múltiples dispositivos 130 de seguimiento de ojos durante la transición de la dirección de mirada del usuario entre los dispositivos 120 de visualización asociados a los dispositivos 130 de seguimiento de ojos. Simplemente a modo de ejemplo, si el procesador 110 recibe cualquier indicación de que puede que la dirección de mirada del usuario esté moviéndose hacia un dispositivo 120 de visualización distinto del dispositivo 120 de visualización que está activo en ese momento, la frecuencia de funcionamiento del primer dispositivo 130 de seguimiento de ojos puede cambiarse de una primera frecuencia (p. ej., 60 Hz) a una segunda frecuencia (p. ej., 30 Hz), y el segundo dispositivo 130 de seguimiento de ojos puede activarse y establecerse para hacer funcionar de manera intercalada con el primer dispositivo 130 de seguimiento de ojos. Por ejemplo, el segundo dispositivo 130 de seguimiento de ojos puede activarse a 30 Hz, e intercalar funcionamiento con el primer dispositivo 130 de seguimiento de ojos, que también está funcionando a 30 Hz.
Por lo tanto, una serie de condiciones pueden ser indicativas, por sí solas o en combinación, de si la dirección de mirada de un usuario se ha desplazado hasta otro dispositivo 120 de visualización desde el dispositivo de visualización asociado al dispositivo 130 de seguimiento de ojos que está activo en ese momento. En realizaciones en las que un dispositivo 130 de seguimiento de ojos es desactivado tras la activación de otro dispositivo 130 de seguimiento de ojos, la desactivación puede producirse en varios momentos posibles. Simplemente a modo de ejemplo, la desactivación de un primer dispositivo 130 de seguimiento de ojos y la activación de un segundo dispositivo 130 de seguimiento de ojos pueden producirse al menos cuando el segundo dispositivo 130 de seguimiento de ojos detecta ambos ojos del usuario. En algunas realizaciones, la desactivación del primer dispositivo 130 de seguimiento de ojos y la activación del segundo dispositivo 130 de seguimiento de ojos pueden producirse cuando al menos el segundo dispositivo 130 de seguimiento de ojos determina satisfactoriamente la dirección de mirada del usuario en relación con el segundo visualizador 120 (es decir, al detectarse ambos ojos del usuario dentro de un recuadro de seguimiento asociado al segundo visualizador 120 y/o a un dispositivo 130 de seguimiento de ojos asociado al segundo visualizador 120.
En otras realizaciones, la desactivación del primer dispositivo 130 de seguimiento de ojos puede producirse cuando la dirección de mirada del usuario sale de un área eficaz del primer dispositivo 120 de visualización. Sin embargo, en otras realizaciones, el procesador puede estar configurado para, además, determinar una distancia entre un área eficaz del primer visualizador 120 y un área eficaz del segundo visualizador 120 y desactivar el primer dispositivo 130 de seguimiento de ojos cuando la dirección de mirada del usuario cruza un límite predeterminado dentro de la distancia entre el área eficaz del primer visualizador 120 y el área eficaz del segundo visualizador 120. De esta manera, se puede maximizar el rendimiento de cada dispositivo 130 de seguimiento de ojos, cuando está activo.
En algunas realizaciones, la desactivación del primer dispositivo 130 de seguimiento de ojos puede producirse cuando la dirección de mirada del usuario entre dentro de un área eficaz del segundo visualizador 120. En estas realizaciones, la activación del segundo dispositivo 130 de seguimiento de ojos también puede producirse cuando la dirección de mirada del usuario entre dentro del área eficaz del segundo visualizador 120.
En otras realizaciones, la desactivación del primer dispositivo 130 de seguimiento de ojos puede producirse cuando la dirección de mirada del usuario salga de un área eficaz del primer visualizador 120. En estas realizaciones, la activación del segundo dispositivo 130 de seguimiento de ojos también puede producirse cuando la dirección de mirada del usuario salga del área eficaz del primer visualizador 120.
En otras realizaciones, la desactivación del primer dispositivo 130 de seguimiento de ojos puede producirse cuando la dirección de mirada del usuario llegue a una cierta distancia de un área eficaz del primer visualizador 120. En estas realizaciones, la activación del segundo dispositivo 130 de seguimiento de ojos puede producirse cuando la dirección de mirada del usuario llegue a una distancia particular de un área eficaz del segundo visualizador 120. La cierta distancia y la distancia particular pueden o no representar una situación o un límite común.
En algunas realizaciones, unos sistemas de la invención pueden incluir menos visualizadores 120 que los dispositivos 130 de seguimiento de ojos (o viceversa). En realizaciones que tengan menos visualizadores 120 que los dispositivos 130 de seguimiento de ojos, pueden emplearse dispositivos 130 de seguimiento de ojos que no estén asociados a un visualizador 120 para determinar cuando la dirección de mirada de un usuario se aparta de un recuadro de seguimiento asociado a parejas visualizador 120 / dispositivo 130 de seguimiento de ojos. Esto puede permitir que tales sistemas determinen el punto de mirada de un usuario con respecto a elementos que no estén en los visualizadores 120. En realizaciones que tienen menos dispositivos 130 de seguimiento de ojos que los visualizadores 120, los dispositivos 130 de seguimiento de ojos pueden disponerse de manera que sus recuadros de seguimiento proporcionen cobertura del punto de mirada del usuario en la totalidad o en alguna parte del área eficaz de todos los visualizadores 120 presentes.
Pasando ahora a la Fig. 3 , se muestra un diagrama de bloques de un método 300 de la invención para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores. En un bloque 310, un procesador 110 puede determinar, para un estado inicial de un sistema 100, como se ha descrito anteriormente, qué dispositivos 130 de seguimiento de ojos deben estar activos y qué dispositivos 130 de seguimiento de ojos deben estar inactivos.
En un bloque 320, mientras un primer dispositivo 130 de seguimiento de ojos asociado a un primer visualizador 120 está activo, el procesador 110 puede determinar la dirección de mirada del usuario. En un bloque 330, el procesador 110 puede determinar, a través del primer dispositivo 130 de seguimiento de ojos y/o a través de otra información disponible, tal como datos de situación sobre los visualizadores 120, si la dirección de mirada del usuario se ha movido hacia un segundo visualizador 120. Si no lo ha hecho, el método 300 continúa monitorizando la dirección de mirada del usuario en torno al primer visualizador 120 en el bloque 320.
Sin embargo, si en el bloque 330 el procesador 110 ha determinado que la dirección de mirada del usuario se ha movido hacia un segundo visualizador 120, en un bloque 340, el procesador 110 puede desactivar el primer dispositivo 130 de seguimiento de ojos. En un bloque 350, el procesador 110 puede activar un segundo dispositivo 130 de seguimiento de ojos asociado a un segundo visualizador 120 en torno al cual está situada ahora la dirección de mirada del usuario. El método 300 vuelve entonces al bloque 320 y se monitoriza la dirección de mirada del usuario en torno al segundo visualizador 120, mientras que en el bloque 330 se espera un cambio, es decir, a qué visualizador 120 dirigirá su mirada el usuario.
En la Fig. 4 se muestra un método 400 más detallado de la invención. En un bloque 410 se puede recibir información sobre la posición, el tamaño, la orientación y/o la dirección de dispositivos 120 de visualización disponibles, tal y como se describió anteriormente. De forma adicional, también se puede recibir información sobre la posición y/o la dirección de dispositivos 130 de seguimiento de ojos disponibles.
En un bloque 420 se determina el estado de cada dispositivo 130 de seguimiento de ojos, lo cual incluye determinar, tal y como se ha explicado anteriormente, qué dispositivo 130 de seguimiento de ojos debe estar en modo activo (es decir, el dispositivo 130 de seguimiento de ojos que puede determinar mejor la dirección de mirada del usuario en comparación con otros dispositivos 130 de seguimiento de ojos disponibles) y cuál debe estar en modo desactivado. En un bloque 430, el dispositivo 130 de seguimiento de ojos apropiado se activa en respuesta a la determinación del estado, y todos los demás seguidores de ojos se ponen en modo desactivado.
En un bloque 440 se determina si es necesario realizar un traspaso del dispositivo 130 de seguimiento de ojos activo a un dispositivo 130 de seguimiento de ojos desactivado. Esto puede ocurrir por cualquiera de las razones expuestas anteriormente, incluyendo, por ejemplo, si la posición de mirada está o ha estado cerca del borde de un visualizador 120, si ambos ojos del usuario no pueden ser detectados por el dispositivo 130 de seguimiento de ojos activo y/o basándose en un historial de movimiento de la posición de mirada del usuario.
En un bloque 450 se puede producir la fase de transición entre un primer dispositivo 130 de seguimiento de ojos que está activo en ese momento y un segundo dispositivo 130 de seguimiento de ojos que se va a activar, tal y como se explicará más adelante con mayor detalle con respecto a la Fig. 5. Para terminar el proceso, en un bloque 460 se desactiva el primer dispositivo 130 de seguimiento de ojos y se activa el segundo dispositivo 130 de seguimiento de ojos. Los bloques 450 y 460 pueden entonces repetirse al producirse una nueva determinación de que se necesita otro traspaso a un dispositivo 130 de seguimiento de ojos distinto del segundo dispositivo 130 de seguimiento de ojos.
La fase de transición del bloque 450 se describe con mayor detalle con referencia a la Fig. 5. En un bloque 510, la frecuencia de funcionamiento del primer dispositivo 130 de seguimiento de ojos, el cual está activo en ese momento, se reduce a la mitad de su frecuencia de funcionamiento normal. La frecuencia de funcionamiento del segundo dispositivo 130 de seguimiento de ojos, el cual está desactivado en ese momento, se aumenta hasta la mitad de su frecuencia de funcionamiento normal. Las frecuencias de funcionamiento de los dos dispositivos 130 de seguimiento de ojos pueden intercalarse para que, en cualquier momento dado en el tiempo, solo pueda ser capaz de funcionar uno de los dos dispositivos 130 de seguimiento de ojos. En un bloque 520, los datos de calibración se pasan entre los dos dispositivos de seguimiento de ojos para garantizar un funcionamiento sistemático y preciso para el usuario al finalizar la transición. En un bloque 530, el segundo dispositivo 130 de seguimiento de ojos finaliza el proceso de recuperación de obtener una dirección de mirada fiable una vez que se detectan ambos ojos del usuario. El proceso vuelve entonces al método 400 en el bloque 460.
La Fig. 6 es un diagrama de bloques que ilustra un sistema 600 informático especializado en el que pueden implementarse realizaciones de la presente invención. Este ejemplo ilustra un sistema informático especializado 600 tal como el que puede usarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones del procesador 110, de los visualizadores 120, de los dispositivos 130 de seguimiento de ojos y/o de otros componentes de la invención tales como los analizados anteriormente. Por ejemplo, varias funciones de los dispositivos 130 de seguimiento de ojos pueden ser controladas por el sistema informático especializado 600, incluyendo, simplemente a modo de ejemplo, la activación o la desactivación, la determinación de la dirección de mirada, etc.
El sistema informático especializado 600 se muestra comprendiendo elementos de hardware que pueden estar acoplados eléctricamente a través de un bus 690. Los elementos de hardware pueden incluir una o más unidades 610 de procesamiento central, uno o más dispositivos 620 de entrada (p. ej., un ratón, un teclado, etc.) y uno o más dispositivos 630 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema informático especializado 600 también puede incluir uno o más dispositivo 640 de almacenamiento. A modo de ejemplo, el dispositivo o los dispositivos 640 de almacenamiento pueden ser unidades de disco, dispositivos de almacenamiento óptico o dispositivos de almacenamiento en estado sólido tales como una memoria de acceso aleatorio (RAM) y/o una memoria de solo lectura (ROM), que pueden ser programables, actualizables por memoria flash y/o similares.
El sistema informático especializado 600 puede incluir de forma adicional un lector 650 de medios de almacenamiento legibles por ordenador, un sistema 660 de comunicaciones (p. ej., un módem, una tarjeta de red [inalámbrica o por cable], un dispositivo de comunicación infrarroja, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria funcional 680, que puede incluir dispositivos RAM y ROM, tal y como se ha descrito anteriormente. En algunas realizaciones, el sistema informático especializado 600 puede incluir también una unidad 670 de aceleración de procesamiento, que puede incluir un procesador de señales digitales, un procesador especial y/o procesadores similares.
El lector 650 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con el dispositivo o los dispositivos 640 de almacenamiento) de manera exhaustiva dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 660 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema informático especializado 600 también puede comprender elementos de software, que se muestran situados en ese momento dentro de una memoria funcional 680, que incluye un sistema operativo 684 y/u otro código 688. Debe apreciarse que las realizaciones alternativas del sistema informático especializado 600 pueden admitir numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema informático especializado 600 puede incluir un código 688 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura tal y como se ha descrito en la presente memoria. Por ejemplo, un software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema informático especializado 600, puede proporcionar las funciones del procesador 110, los visualizadores 120, los dispositivos 130 de seguimiento de ojos y/o otros componentes de la invención tales como los explicados anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han descrito anteriormente con mayor detalle.
Ahora, la invención se ha descrito en detalle con fines de claridad y comprensión. Sin embargo, se apreciará que pueden hacerse determinados cambios y modificaciones dentro del ámbito de las reivindicaciones adjuntas.

Claims (1)

  1. REIVINDICACIONES
    Un sistema (100) para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores, comprendiendo el sistema:
    un primer visualizador (120A);
    un primer dispositivo (130A) de seguimiento de ojos configurado para determinar una dirección de mirada de un usuario mientras el usuario está mirando el primer visualizador (120A);
    un segundo visualizador (120B);
    un segundo dispositivo (130B) de seguimiento de ojos configurado para determinar la dirección de mirada del usuario mientras el usuario está mirando el segundo visualizador (120B); y un procesador (110) configurado para:
    determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en una dirección del segundo visualizador (120B); y
    en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B), el sistema se caracteriza por que el procesador está configurado además para:
    desactivar el primer dispositivo (130A) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y
    activar el segundo dispositivo (130B) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
    El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 1, en donde:
    el procesador está configurado además para:
    determinar si ejecuta un traspaso del segundo dispositivo (130B) de seguimiento de ojos al primer dispositivo (130A) de seguimiento de ojos:
    cuando la dirección de mirada del usuario está o ha estado cerca de un borde del primer visualizador (120A) o de un borde del segundo visualizador (120B);
    cuando ambos ojos del usuario no pueden ser detectados por el segundo dispositivo (130B) de seguimiento de ojos; y/o
    en función de un historial de movimiento de la posición de mirada del usuario; y
    ejecutar un traspaso activando el primer dispositivo (130A) de seguimiento de ojos y desactivando el segundo dispositivo (130B) de seguimiento de ojos.
    El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 1 o 2, en donde:
    el procesador está configurado además para determinar la posición, el tamaño y/o la dirección del segundo visualizador (120B) y del primer visualizador (120A),
    en donde, preferiblemente, determinar la posición, el tamaño y/o la dirección del segundo visualizador (120B) y del primer visualizador (120A) comprende:
    - recibir la posición, el tamaño y/o la dirección del segundo visualizador (120B) y del primer visualizador (120A) del usuario; o
    - un proceso automatizado a petición de un paquete de software o subrutina que implementa dicho sistema; o
    - el procesador hace que cada uno de los dispositivos (120A, 120B) de visualización presente contenido de visualización que tenga distintos puntos de interés cerca de sus extremos, dirigiendo el procesador al usuario a través de unas instrucciones en pantalla para dirigir su mirada a cada uno de los puntos de interés, y usa uno o más dispositivos de seguimiento de ojos para determinar la dirección de mirada del usuario,
    en donde los datos de situación que especifican dicha posición, tamaño y/o dirección pueden incluir un conjunto de datos de situación que proporciona datos dimensionales sobre la colocación y el tamaño de los dispositivos del primer y segundo visualizador (120B).
    El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de cualquiera de las reivindicación 1 a 3, en donde:
    determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B) comprende detectar un ojo del usuario, pero no otro ojo del usuario, con el primer dispositivo (130A) de seguimiento de ojos,
    en donde, preferiblemente, determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B) comprende además:
    determinar que la mirada del usuario estaba situada dentro de una cierta proximidad de un borde de un área eficaz del primer visualizador (120A) dentro de un cierto tiempo antes de detectarse un ojo del usuario, pero no otro ojo del usuario, con el primer dispositivo (130A) de seguimiento de ojos, en donde un área eficaz de un dispositivo de visualización es esa parte del dispositivo de visualización que es capaz de mostrar eficazmente imágenes dinámicas,
    y/o
    detectar solo un ojo del usuario, pero no otro ojo del usuario, con el segundo dispositivo (130B) de seguimiento de ojos.
    5. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 4, en donde:
    el procesador está configurado además para, al menos al detectarse un ojo del usuario, pero no otro ojo del usuario, con el primer dispositivo (130A) de seguimiento de ojos, y detectarse un ojo del usuario, pero no otro ojo del usuario, con el segundo dispositivo (130B) de seguimiento de ojos, reducir una frecuencia de funcionamiento del primer dispositivo (130A) de seguimiento de ojos desde una primera frecuencia hasta una segunda frecuencia, en donde la segunda frecuencia es la mitad de la primera frecuencia, y en donde activar el segundo dispositivo (130B) de seguimiento de ojos comprende hacer funcionar el segundo dispositivo (130B) de seguimiento de ojos de manera que una frecuencia de funcionamiento del segundo dispositivo (130B) de seguimiento de ojos sea la segunda frecuencia,
    estando, preferiblemente, el procesador configurado además para, al menos al detectarse un ojo del usuario, pero no otro ojo del usuario, con el primer dispositivo (130A) de seguimiento de ojos, y al detectarse un ojo del usuario, pero no otro ojo del usuario, con el segundo dispositivo (130B) de seguimiento de ojos, intercalar la frecuencia de funcionamiento del primer dispositivo (130A) de seguimiento de ojos con la frecuencia de funcionamiento del segundo dispositivo (130B) de seguimiento de ojos de manera que, en cualquier momento dado en el tiempo, solo pueda hacerse funcionar uno de los dos dispositivos de seguimiento de ojos.
    6. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 5, en donde:
    la desactivación del primer dispositivo (130A) de seguimiento de ojos y la activación del segundo dispositivo (130B) de seguimiento de ojos se produce cuando al menos el segundo dispositivo (130B) de seguimiento de ojos detecta ambos ojos del usuario y, preferiblemente, determina satisfactoriamente la dirección de mirada del usuario con respecto al segundo visualizador (120B).
    7. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de cualesquiera reivindicaciones 1 a 6, en donde:
    la desactivación del primer dispositivo (130A) de seguimiento de ojos se produce al abandonar la dirección de mirada del usuario un área eficaz del primer visualizador (120A).
    8. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 3 o de cualquiera de las reivindicaciones 4 a 7 cuando depende de la reivindicación 3, en donde:
    el procesador está configurado además para determinar una distancia entre un área eficaz del primer visualizador (120A) y un área eficaz del segundo visualizador (120B); y la desactivación del primer dispositivo (130A) de seguimiento de ojos se produce cuando la dirección de mirada del usuario cruza un límite predeterminado dentro de la distancia entre el área eficaz del primer visualizador (120A) y el área eficaz del segundo visualizador (120B).
    9. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de cualquiera de las reivindicación 1 a 8, en donde:
    la desactivación del primer dispositivo (130A) de seguimiento de ojos se produce cuando la dirección de la mirada del usuario:
    entra en un área eficaz del segundo visualizador (120B),
    y/o
    llega a una cierta distancia de un área eficaz del primer visualizador (120A),
    y/o
    sale de un área eficaz del primer visualizador (120A).
    10. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 3 o de cualquiera de las reivindicaciones 4 a 9 cuando depende de la reivindicación 3, en donde:
    el procesador está configurado además para determinar una distancia entre el primer visualizador (120A) y el segundo visualizador (120B); y
    la activación del segundo dispositivo (130B) de seguimiento de ojos se produce cuando la dirección de mirada del usuario cruza un límite predeterminado dentro de la distancia entre el primer visualizador (120A) y el segundo visualizador (120B).
    11. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de cualquiera de las reivindicaciones 1 a 10, en donde:
    la activación del segundo dispositivo (130B) de seguimiento de ojos se produce cuando la dirección de mirada del usuario:
    entra en un área eficaz del segundo visualizador (120B),
    y/o
    llega a una cierta distancia de un área eficaz del primer visualizador (120A).
    12. El sistema para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores de la reivindicación 3 o de cualquiera de las reivindicaciones 4 a 11 cuando depende de la reivindicación 3, en donde el sistema comprende además:
    un tercer visualizador (120C);
    un tercer dispositivo de seguimiento de ojos configurado para determinar la dirección de mirada del usuario mientras el usuario está mirando el tercer visualizador (120C); y
    el procesador está configurado además para:
    determinar una dirección del tercer visualizador (120C) con respecto al primer visualizador (120A) o al segundo visualizador (120B);
    determinar que la mirada del usuario se ha apartado del primer visualizador (120A) o del segundo visualizador (120B) en la dirección del tercer visualizador (120C); y en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador (120A) o del segundo visualizador (120B) en la dirección del tercer visualizador (120C):
    desactivar el primer dispositivo (130A) de seguimiento de ojos o el segundo dispositivo (130B) de seguimiento de ojos; y activar el tercer dispositivo de seguimiento de ojos.
    13. Un método para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores, comprendiendo el método:
    determinar la dirección de mirada de un usuario con un primer dispositivo (130A) de seguimiento de ojos mientras el usuario está mirando un primer visualizador (120A);
    determinar la dirección de mirada del usuario con un segundo dispositivo (130B) de seguimiento de ojos mientras el usuario está mirando un segundo visualizador (120B);
    determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en una dirección del segundo visualizador (120B);
    en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B), el método se caracteriza por comprender los pasos adicionales de:
    desactivar el primer dispositivo (130A) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y activar el segundo dispositivo (130B) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
    14. Un medio legible por máquina no transitorio que tiene instrucciones almacenadas en el mismo para seguir una mirada de un usuario a través de una disposición de múltiples visualizadores, en donde las instrucciones son ejecutables por uno o más procesadores para al menos:
    determinar la dirección de mirada de un usuario con un primer dispositivo (130A) de seguimiento de ojos mientras el usuario está mirando un primer visualizador (120A);
    determinar la dirección de mirada del usuario con un segundo dispositivo (130B) de seguimiento de ojos mientras el usuario está mirando un segundo visualizador (120B);
    determinar que la mirada del usuario se ha apartado del primer visualizador (120A) en una dirección del segundo visualizador (120B);
    en respuesta a la determinación de que la mirada del usuario se ha apartado del primer visualizador (120A) en la dirección del segundo visualizador (120B), las instrucciones se caracterizan por comprender los pasos adicionales de:
    desactivar el primer dispositivo (130A) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos desactivado no está completamente encendido y/o no está intentando activamente detectar y/o determinar la dirección de mirada de un usuario; y activar el segundo dispositivo (130B) de seguimiento de ojos, en donde un dispositivo de seguimiento de ojos activado está completamente encendido y/o está intentando activamente detectar y/o determinar la dirección de mirada de un usuario.
ES18191778T 2017-08-31 2018-08-30 Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores Active ES2912160T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/692,646 US10585277B2 (en) 2017-08-31 2017-08-31 Systems and methods for tracking a gaze of a user across a multi-display arrangement

Publications (1)

Publication Number Publication Date
ES2912160T3 true ES2912160T3 (es) 2022-05-24

Family

ID=63452419

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18191778T Active ES2912160T3 (es) 2017-08-31 2018-08-30 Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores

Country Status (4)

Country Link
US (1) US10585277B2 (es)
EP (1) EP3451126B1 (es)
CN (1) CN109426350A (es)
ES (1) ES2912160T3 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585277B2 (en) 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
US10671161B2 (en) * 2018-08-08 2020-06-02 Dell Products L.P. Multi display eye tracking
US10852819B2 (en) * 2019-01-11 2020-12-01 Dell Products, L.P. Systems and methods for eye-gaze tracking (EGT) handoff
KR102441455B1 (ko) * 2020-05-08 2022-09-07 한국과학기술원 시각적 IoT 서비스를 위한 강화학습 및 효과도 기반 동적 미디어 선택을 위한 전자 장치 및 그의 동작 방법
US11656688B2 (en) * 2020-12-03 2023-05-23 Dell Products L.P. System and method for gesture enablement and information provisioning
CN112817550B (zh) * 2021-02-07 2023-08-22 联想(北京)有限公司 一种数据处理方法及装置
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11836328B1 (en) 2022-10-18 2023-12-05 Dean Olliphant System to translate a cursor between multiple displays

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232962B2 (en) 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
CN100426837C (zh) * 2005-05-10 2008-10-15 北京中星微电子有限公司 一种监控摄像方法及装置
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
KR101351487B1 (ko) * 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US9058053B2 (en) * 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
JP6105953B2 (ja) * 2013-01-25 2017-03-29 京セラ株式会社 電子機器、視線入力プログラムおよび視線入力方法
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
US20150346814A1 (en) * 2014-05-30 2015-12-03 Vaibhav Thukral Gaze tracking for one or more users
EP3040809B1 (en) 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
US10452134B2 (en) * 2015-06-25 2019-10-22 Intel Corporation Automated peripheral device handoff based on eye tracking
CN105704547A (zh) * 2016-03-28 2016-06-22 苏州乐聚堂电子科技有限公司 智能电视系统
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US10585277B2 (en) 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement

Also Published As

Publication number Publication date
US10585277B2 (en) 2020-03-10
EP3451126B1 (en) 2022-03-30
US20190064513A1 (en) 2019-02-28
CN109426350A (zh) 2019-03-05
EP3451126A1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
ES2912160T3 (es) Sistemas y métodos para seguir la mirada de un usuario en una disposición de múltiples visualizadores
KR102433269B1 (ko) 플렉서블 디스플레이 장치 및 디스플레이 제어 방법
US20210390892A1 (en) Circuit for detecting crack in display and electronic device including same
KR102564267B1 (ko) 전자 장치 및 그 동작 방법
US10733931B2 (en) Electronic device having display
KR102439245B1 (ko) 전자 장치 및 그 제어 방법
ES2807234T3 (es) Dispositivo electrónico y procedimiento de realización de comunicación híbrida con dispositivo electrónico externo
KR102570777B1 (ko) 복수의 터치 디스플레이들을 포함하는 전자 장치 및 이의 상태 전환 방법
EP4246503A2 (en) Electronic device having display
US20160140887A1 (en) Wearable electronic device
KR20170087635A (ko) 전자 장치의 센서 배치 구조
US10531751B2 (en) Intelligent picture frame, and method for switching an image acquistion device therein
KR102254671B1 (ko) 디스플레이의 위치에 따라 데이터 전송 순서를 결정할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US11393418B2 (en) Method, device and system for data transmission, and display device
US8884988B1 (en) Portable device displaying an augmented reality image and method of controlling therefor
US20160041804A1 (en) Electronic Apparatus
US20120050135A1 (en) Method and apparatus for configuring a plurality of displays into a single large surface display
US20200021023A1 (en) Antenna module, display device, antenna driving method, control program, and recording medium
US9361059B2 (en) Architecture for seamless integrated display system
US20180191436A1 (en) Power efficient visible light communication
US10503977B2 (en) Displaying augmented images via paired devices
WO2018004115A1 (ko) 전자 장치 및 그의 동작 방법
KR102517167B1 (ko) 전자 장치 및 그 제어 방법
US20070121020A1 (en) Information processing device and control method for information processing device
US10475397B2 (en) Systems and methods for determining whether to present content using electronic paper display