ES2761198T3

ES2761198T3 - Sistema de interacción con la mirada

Info

Publication number: ES2761198T3
Application number: ES12812924T
Authority: ES
Inventors: Markus Cederlund; Robert Gavelin; Anders Vennström; Anders Kaplan; Anders Olsson; Mårten Skogö
Original assignee: Tobii Technology AB
Current assignee: Tobii Technology AB
Priority date: 2012-01-04
Filing date: 2012-12-17
Publication date: 2020-05-19
Anticipated expiration: 2032-12-17
Also published as: US20180335838A1; WO2013102551A1; US11573631B2; US20200174561A1; KR20140117469A; CN107368191B; CA2860381A1; US10013053B2; US10324528B2; CN107368191A; EP2801009B1; EP2801009A1; US20210255700A1; US20130169560A1; CN104145232B; CN104145232A

Abstract

Módulo (136, 200, 260, 280) de control para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, en el que dicho módulo de control está configurado para: adquirir una entrada de usuario desde medios (150, 205, 265, 305, 405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil, y comprobar (S530) si dicha entrada de usuario corresponde a un gesto relativo predefinido, y esperar entrada de usuario adicional si dicha entrada de usuario no corresponde a un gesto relativo predefinido; adquirir señales de datos de mirada desde un módulo (40, 140, 235, 325, 425) de seguimiento de mirada; determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil; determinar (S560) un área (180) de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; y ejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden el ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.

Description

DESCRIPCIÓN

Sistema de interacción con la mirada

Campo de la invención

La invención se refiere, en general, a sistemas y métodos implementados por ordenador para usar la detección de movimientos oculares en relación con interfaces gráficas de usuario interactivas. En particular, la presente invención se refiere a sistemas y métodos para ayudar a un usuario cuando interacciona con una interfaz gráfica de usuario combinando una entrada de base ocular con una entrada basada en gestos y órdenes de usuario basadas en gestos.

Antecedentes

La interacción entre seres humanos y ordenadores se ha visto revolucionada por la introducción de la interfaz gráfica de usuario (GUI, por sus siglas en inglés). De este modo, se proporcionó un medio eficiente para presentar información a un usuario con un ancho de banda que superaba inmensamente cualquier canal anterior. Con los años, la velocidad a la que puede presentarse la información ha aumentado adicionalmente a través de pantallas a color, elementos de visualización ampliados, objetos gráficos inteligentes (por ejemplo, ventanas emergentes), pestañas de ventanas, menús, barras de herramientas, etc. Durante este tiempo, sin embargo, los dispositivos de entrada han permanecido esencialmente sin cambios, es decir, el teclado y el dispositivo señalador (por ejemplo, el ratón, la bola de seguimiento o el panel táctil). En los últimos años, se han introducido dispositivos de escritura a mano (por ejemplo, en forma de lápiz o bolígrafo gráfico). No obstante, aunque el ancho de banda de salida se ha multiplicado varias veces, el ancho de banda de entrada no ha cambiado sustancialmente. Por consiguiente, se ha desarrollado una grave asimetría en el ancho de banda de comunicación en la interacción entre seres humanos y ordenadores.

Para disminuir esta asimetría de ancho de banda, así como para mejorar y facilitar la interacción del usuario, se han realizado varios intentos para usar el seguimiento ocular para tales fines. Al implementar un dispositivo de seguimiento ocular, por ejemplo en un ordenador portátil, las posibilidades de interacción entre el usuario y las diferentes aplicaciones de software que se ejecutan en el ordenador pueden mejorarse significativamente.

Por tanto, una idea interesante para mejorar y facilitar la interacción del usuario y para eliminar la asimetría del ancho de banda es usar en su lugar el seguimiento de la mirada o como complemento de la entrada del ratón. Normalmente, el cursor se coloca en la pantalla de acuerdo con el punto de mirada calculado del usuario. Se han desarrollado varias técnicas diferentes para seleccionar y activar un objeto de destino en estos sistemas. En un ejemplo, el sistema activa un objeto tras detectar que el usuario fija su mirada en un cierto objeto durante un cierto periodo de tiempo. Otro enfoque es detectar la activación de un objeto cuando el ojo del usuario parpadea.

Sin embargo, existen problemas asociados con estas soluciones que usan el seguimiento ocular. Por ejemplo, los seres humanos usan sus ojos en acciones perceptivas en lugar de controlar. Por tanto, puede ser estresante usar con cuidado los movimientos oculares para interaccionar con un ordenador, por ejemplo, para activar y seleccionar un objeto presentado en el elemento de visualización del ordenador. También puede ser difícil controlar el parpadeo o la mirada fija para interaccionar con los objetos presentados en un elemento de visualización.

Por tanto, en la técnica existe la necesidad de técnicas mejoradas que permitan la interacción del usuario con un ordenador dotado de un dispositivo de seguimiento ocular que permita al usuario controlar, seleccionar y activar objetos y partes de objetos presentados en un elemento de visualización del ordenador usando su ojos de una manera más intuitiva y natural. Además, en la técnica también existe la necesidad de técnicas que aprovechen de manera más eficiente el potencial del uso del seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador.

Uno de tales intentos se presenta en el documento US 2005/0243054 A1 concedido a Bayer et al. en el que se da a conocer una tecnología para seleccionar y activar un objeto de destino usando una combinación de la mirada y pulsaciones de teclas. Más específicamente, un usuario mira un objeto de destino, por ejemplo, un botón en una interfaz gráfica de usuario y luego pulsa una tecla de selección del teclado. Una vez que se pulsa la tecla de selección, se determina el objeto de destino más probable usando razonamiento de probabilidad. El objeto de destino determinado se resalta y el usuario puede seleccionarlo pulsando la tecla de selección de nuevo. Si el objeto resaltado no es el objeto de destino, el usuario puede seleccionar otro objeto de destino usando teclas adicionales para navegar hasta objeto de destino pretendido.

Sin embargo, esta tecnología se limita a la selección y activación de objetos basándose en una combinación de la mirada y dos pulsaciones secuenciales de una tecla de selección dedicada.

En el documento US 6.204.828 B1 concedido a Amir et al., se da a conocer un sistema accionado por ordenador para ayudar a un usuario a posicionar un cursor integrando la mirada y la entrada manual del operador. Un aparato de seguimiento de mirada monitoriza la orientación de los ojos del usuario mientras el usuario ve una pantalla. Al mismo tiempo, el ordenador monitoriza un dispositivo de entrada, tal como un ratón, para la activación mecánica por parte del operador. Cuando el ordenador detecta la activación mecánica del dispositivo de entrada, determina una posición de visualización del cursor inicial dentro de un área de mirada actual. Luego, el cursor se visualiza en la pantalla en la posición de visualización inicial y, a continuación, el cursor se sitúa manualmente de acuerdo con el manejo del dispositivo de entrada por parte del usuario, independientemente de la mirada.

Se encuentran ejemplos adicionales de técnica anterior, por ejemplo, en:

“Combining gaze with manual interaction to extend pysical reach.”, Proceedings of 1 st International Workshop on Pervasive Eye Tracking & Movile Eyebased Interaction, 18 de septiembre de 2011, que da a conocer un método para extender el alcance físico usando la mirada y la interacción manual;

“Designing gaze-supported multimodal interactions for the exploration of large image collections”, NG-CA, 26 de mayo de 2011, que da a conocer la interacción con un elemento de visualización remoto usando la mirada y un dispositivo de tacto e inclinación (touch-and-tilt);

el documento US2009/273562 que da a conocer la reconfiguración del área de contenido en un elemento de visualización usando la mirada y la entrada recibida desde un usuario;

el documento US2011/029918 que da a conocer la navegación digital usando la información de mirada y de gestos de un usuario;

“Eye tracker system for use with head mounted displays”, Systems, Man, And Cybernetics, 1998, que da a conocer un sistema de seguimiento ocular para su uso con elementos de visualización montados en la cabeza;

el documento US2009/0251407 que da a conocer sistemas y métodos que comprenden un componente de anillo configurado para detectar, por ejemplo, movimiento y gestos, facilitando de ese modo la interacción con un dispositivo;

el documento US2006/0047386 que da a conocer una interfaz táctil basada en gestos para un vehículo a motor; y “Manual and gaze input cascaded (MAGIC) pointing”, Shumin Zhai et al., 15-20 de mayo de 1999, que da a conocer la mirada y la entrada manual para facilitar la interacción con un sistema informático, en el que la idea clave de señalar con MAGIC es usar la mirada para redefinir dinámicamente la posición “inicial” de un cursor señalador para que esté en las proximidades de un objeto de destino, lo que era presumiblemente lo que el usuario estaba mirando, reduciendo así efectivamente la amplitud de movimiento del cursor necesaria para la selección del objeto de destino. Una vez que se ha redefinido la posición del cursor, sólo es necesario que el usuario realice un pequeño movimiento hasta, y haga clic en, el objeto de destino con un dispositivo de entrada manual normal, por ejemplo con un panel táctil.

Por consiguiente, en la técnica sigue existiendo la necesidad de una técnica mejorada que aproveche de manera más eficiente el potencial del uso del seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador y, en particular, la interacción del usuario con interfaces gráficas de usuario.

Sumario

Un objeto de la presente invención es proporcionar métodos, dispositivos y sistemas mejorados para asistir a un usuario cuando interacciona con una interfaz gráfica de usuario mediante la combinación de entrada basada en la mirada con órdenes de usuario basadas en gestos.

Otro objeto de la presente invención es proporcionar métodos, dispositivos y sistemas para una interacción fácil de usar e intuitiva con interfaces gráficas de usuario.

Un objeto particular de la presente invención es ofrecer una solución para una interacción similar a la de pantalla táctil usando la entrada de la mirada y entrada basada en gestos como complemento de las interacciones de pantalla táctil con un dispositivo informático que tiene una pantalla táctil.

En el contexto de la presente invención, el término “GUI” (graphical user interface, interfaz gráfica de usuario) se refiere a una interfaz de usuario basada en gráficos con fotografías o imágenes y palabras (incluidos, por ejemplo, signos y figuras) en un elemento de visualización que incorpora, por ejemplo, ventanas móviles e iconos.

Además, en el contexto de la presente invención, los términos “objeto” o “parte de objeto” se refieren a un objeto gráfico interactivo u objeto GUI tal como una ventana, un icono, un botón, una barra de desplazamiento, un hipervínculo u objetos no interactivos tales como una imagen, texto o una palabra en un texto que el usuario desea seleccionar o activar.

En el contexto de la presente invención, el término “panel táctil” (touchpad) (o el término “panel de seguimiento” (trackpad)) se refiere a un sensor de superficie para detectar la posición y el movimiento de uno o varios dedos y/o uno o varios otros objetos destinados a señalar, dibujar o hacer gestos, tales como por ejemplo un lápiz.

Estos y otros objetos de la presente invención se logran mediante un sistema que tiene las características definidas en las reivindicaciones independientes. Las reivindicaciones dependientes caracterizan realizaciones de la invención.

Según un aspecto de la presente invención, se proporciona un módulo de control para su implementación, por ejemplo, en un dispositivo informático o dispositivo de mano o una unidad de transmisión/recepción inalámbrica (WTRU, por sus siglas en inglés) para manejar y generar órdenes de control basadas en gestos para ejecutar una acción del usuario basándose en estas órdenes. El módulo de control está configurado tal como se define en la reivindicación 1.

Según otro aspecto de la presente invención, se proporciona un método para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla táctil asociada con un dispositivo informático, tal como se define en la reivindicación 3.

Según un aspecto adicional de la presente invención, se proporciona un dispositivo portátil de mano tal como se expone en la reivindicación 7, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.

En realizaciones de la presente invención, el dispositivo de mano puede ser un teléfono celular, un teléfono inteligente, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono (phoblet/phablet), un ordenador portátil o un dispositivo similar.

Según un aspecto adicional de la presente invención, se proporciona una unidad de transmisión/recepción inalámbrica, WTRU, tal como se expone en la reivindicación 4, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.

El término “unidad de transmisión/recepción inalámbrica (WTRU)” incluye pero no se limita a un equipo de usuario (UE), una estación móvil, una unidad de abonado fija o móvil, un teléfono celular, un teléfono inteligente, un asistente digital personal (PDA), un ordenador o cualquier otro tipo de dispositivo que pueda funcionar en un entorno inalámbrico, tal como una red de área local inalámbrica (WLAN) o un sistema de comunicación móvil inalámbrico (por ejemplo, un sistema global de tercera generación (3G) para comunicación móvil y sistemas para comunicación móvil incluyendo células de evolución a largo plazo (LTE).

Según otro aspecto de la presente invención, se proporciona un sistema para la interacción del usuario con un área de presentación de información tal como se expone en la reivindicación 5, incluyendo el sistema una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control tal como se define en la reivindicación 1.

Según aún otro aspecto de la presente invención, se proporciona un dispositivo informático asociado con una presentación de información tal como se expone en la reivindicación 6, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.

Según realizaciones de la presente invención, el dispositivo informático puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador o dispositivo en un vehículo, o un dispositivo de mano como un teléfono celular, teléfono inteligente o dispositivo similar, reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono.

Según realizaciones de la presente invención, un módulo de entrada está configurado para interpretar señales que representan al menos un gesto generado por el usuario para proporcionar al menos una orden de control basada en gestos que refleja el gesto de un usuario. Según realizaciones de la presente invención, el módulo de entrada está dispuesto en el módulo de control.

En realizaciones de la presente invención, el módulo de entrada está configurado para interpretar las señales que representan al menos un gesto generado por el usuario usando señales de entrada de mirada y/o un conjunto predeterminado de posibles órdenes de control basadas en gestos, correspondiendo cada posible orden de control a un gesto de usuario particular con relación a los medios de entrada.

Según algunas realizaciones de la presente invención, el módulo de seguimiento de mirada y los medios de entrada de usuario se implementan en un dispositivo dotado de pantalla táctil tal como un iPad o dispositivo similar. La pantalla táctil funciona tanto como área de presentación de información como dispositivo de entrada para la entrada de gestos de usuario. Se incluye un módulo de control en el dispositivo dotado de pantalla táctil y está configurado para determinar un área de punto de mirada en el área de presentación de información, es decir, la pantalla táctil, donde se localiza el punto de mirada del usuario basándose en las señales de datos de mirada y para ejecutar al menos una acción de usuario que manipula una vista presentada en la pantalla táctil basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Los gestos de usuario se introducen a través de la pantalla táctil. Según esta realización, los gestos de usuario, o los movimientos de los dedos sobre la pantalla táctil, son relativos al punto de mirada, lo que implica un uso más sencillo y ergonómico de los dispositivos dotados de pantalla táctil. Por ejemplo, el usuario puede sostener el dispositivo con ambas manos e interaccionar con interfaces gráficas de usuario en la pantalla táctil usando la mirada y el movimiento de los pulgares, en el que todas las acciones y activaciones del usuario tienen el punto de mirada del usuario como punto de partida.

Hay un gran número de gestos en combinación con el punto de mirada que dan como resultado una acción que pueden concebirse. A continuación, se describen algunos ejemplos:

• La selección de un objeto o parte de objeto se realiza según la presente invención mirando ese objeto o parte de objeto y presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo y liberando la presión aplicada por el dedo para seleccionar ese objeto o parte de objeto;

• Según otro ejemplo no cubierto por las reivindicaciones, la selección de un objeto o parte de objeto puede realizarse mirando ese objeto o parte de objeto, presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo, usando otro dedo (por ejemplo, el otro pulgar) para pulsar y seleccionar ese objeto o parte de objeto. Además, puede usarse una doble pulsación para una “acción de doble clic” y un movimiento rápido hacia abajo para un “clic con el botón derecho”.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se mueve un dedo (por ejemplo, uno de los pulgares) en un movimiento circular, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento en el sentido horario realiza una orden de “acercar” y un movimiento en el sentido antihorario realiza una orden de “alejar” o viceversa.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y en relación con esto manteniendo quieto un dedo (por ejemplo, uno de los pulgares) mientras se mueve otro dedo (por ejemplo, el otro pulgar) hacia arriba o hacia abajo, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento hacia arriba realiza una orden de “acercar” y un movimiento hacia abajo realiza una orden de “alejar” o viceversa.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se pulsa dos veces en la pantalla táctil con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada doble pulsación alterna entre diferentes niveles de zoom.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos horizontales opuestos, es posible hacer zoom en ese objeto o parte de objeto.

• Mirando un objeto con zoom y en relación con esto manteniendo un dedo (por ejemplo, un pulgar) todavía sobre la pantalla táctil mientras se mueve otro dedo (por ejemplo, el otro pulgar) en un movimiento circular, es posible hacer zoom en ese objeto o parte de objeto.

• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y en relación con esto manteniendo un dedo (por ejemplo, uno de los pulgares) todavía sobre la pantalla táctil mientras se desliza otro dedo (por ejemplo, el otro pulgar), es posible deslizar o arrastrar la vista presentada por el área de presentación de información.

• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), puede activarse una función de desplazamiento automático para que el área de presentación se deslice de manera continua desde uno de los bordes de la pantalla hacia el centro mientras el punto de mirada está cerca del borde del área de presentación de información, hasta que se recibe una segunda entrada de usuario.

• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), el área de presentación se desliza instantáneamente de acuerdo con el punto de mirada (por ejemplo, se usa el punto de mirada para indicar el centro de donde debe deslizarse el área de presentación de información).

• Mirando un objeto o una parte de objeto rotatorio presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos verticales opuestos, es posible rotar ese objeto o parte de objeto.

Antes de realizar el gesto con dos dedos, puede usarse uno de los dedos para ajustar de manera precisa el punto de acción. Por ejemplo, puede mostrarse un símbolo de retroalimentación de usuario tal como un “dedo virtual” en el punto de mirada cuando el usuario toca la pantalla táctil. El primer dedo puede usarse para deslizarse y ajustar el punto de acción con relación al punto original. Cuando el usuario toca la pantalla con el segundo dedo, se fija el punto de acción y se usa el segundo dedo para “hacer clic” en el punto de acción o para realizar gestos con dos dedos como los ejemplos de rotación, arrastre y zoom anteriores.

Otros objetos y ventajas de la presente invención se comentarán a continuación por medio de realizaciones a modo de ejemplo.

Estas y otras características, aspectos y ventajas de la invención se entenderán más completamente cuando se consideren con respecto a la siguiente descripción detallada, las reivindicaciones adjuntas y los dibujos adjuntos. Breve descripción de los dibujos

Los dibujos no están necesariamente trazados a escala e ilustran en general, a modo de ejemplo, pero sin limitación, diversas realizaciones de la presente invención. Así, las formas de realización ejemplificativas de la invención se ilustran a modo de ejemplo y no a modo de limitación en las figuras de los dibujos adjuntos en los que referencias similares indican elementos similares. Cabe señalar que las referencias a “una” o “una sola” realización en esta discusión no son necesariamente a la misma realización, y tales referencias significan al menos una.

La figura 1 muestra una imagen de visión general de un usuario que controla un aparato informático en el que se implementa la presente invención;

la figura 2 es un diagrama de bloques que ilustra una realización de una disposición según la presente invención; la figura 3 es un diagrama de bloques que ilustra otra realización de una disposición según la presente invención; la figura 4 ilustra un gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 5 ilustra otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 6 ilustra un gesto a modo de ejemplo adicional que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 7 ilustra aún otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 8 ilustra un gesto a modo de ejemplo adicional que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 9 ilustra otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 10 ilustra aún otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;

la figura 11a muestra una imagen de visión general de un dispositivo dotado de pantalla táctil en el que se implementa una realización de la presente invención;

la figura 11b muestra una imagen de visión general de un dispositivo dotado de paneles táctiles en la parte posterior; la figura 12 es un diagrama de bloques que ilustra la realización según la presente invención mostrada en la figura 11a;

la figura 13a es una vista esquemática de un

módulo de control según una realización de la presente la figura 13b es una vista esquemática de un

módulo de control según otra realización de la presente la figura 13c es una vista esquemática de u

módulo de control según otra realización de la presente la figura 14 es una vista esquemática de una unidad de transmisión/recepción inalámbrica, WTRU, según una

realización de la presente invención;

la figura 15a es una vista esquemática de una realización de un dispositivo informático o dispositivo de mano según

una realización de la presente invención;

la figura 15b es una vista esquemática de otra realización de un dispositivo informático o dispositivo portátil según la

presente invención;

la figura 16 es un diagrama de flujo esquemático que ilustra las etapas de una realización de un método según una

realización de la presente invención;

la figura 17 es un diagrama de flujo esquemático que ilustra las etapas de otro ejemplo; y

la figura 18 es un diagrama de flujo esquemático que ilustra las etapas de otro ejemplo.

La figura 19 es un diagrama de flujo esquemático que ilustra las etapas de otro método de ejemplo útil para la

comprensión de la presente invención;

la figura 20 es un diagrama de bloques que ilustra una realización adicional de una disposición según la presente

invención;

la figura 21 es una ilustración esquemática de aún otra implementación de la presente invención.

la figura 22 es una ilustración esquemática de una implementación adicional no cubierta por las reivindicaciones; y

la figura 23 es una ilustración esquemática de un ejemplo adicional.

Descripción detallada de la invención

Tal como se usa en el presente documento, el término “módulo” se refiere a un circuito integrado específico de

aplicación (ASIC), un circuito electrónico, un procesador (compartido, dedicado o grupal) y una memoria que

ejecutan uno o más programas de software, un circuito lógico combinatorio, u otros componentes adecuados que

proporcionen la funcionalidad descrita. El término “módulo” se refiere además a una forma específica de software

necesaria para poner en práctica los métodos descritos en el presente documento y particularmente las funciones

descritas en relación con cada “módulo” específico. Se cree que la forma particular de software estará determinada

principalmente por la arquitectura de sistema particular empleada en el sistema y por las metodologías particulares

empleadas por el sistema según la presente invención.

Lo siguiente es una descripción de realizaciones a modo de ejemplo según la presente invención. Esta descripción

no debe tomarse en sentido limitativo, sino que se realiza simplemente con el propósito de describir los principios

generales de la invención. Debe entenderse que pueden usarse otras realizaciones y pueden realizarse cambios

estructurales y lógicos sin apartarse del alcance de la presente invención.

Con referencia en primer lugar a las figuras 1, 2, 3 y 20, se describirán realizaciones de un sistema informático

según los principios de la presente invención. La figura 1 muestra una realización de un sistema informático con

control integrado de mirada y manual según la presente invención. El usuario 110 puede controlar el sistema 10

informático basándose al menos en parte en una señal de seguimiento ocular DOJO, que describió el punto de

observación x, y del usuario en un área de presentación de información o elemento 20 de visualización y basándose

en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del

usuario, generándose órdenes de control basadas en gestos a través de los medios 50 de entrada de usuario, tales

como un panel 51 táctil.

En el contexto de la presente divulgación, el término “panel táctil” (o el término “panel de seguimiento”) se refiere a

un dispositivo señalador que presenta un sensor táctil, una superficie especializada que puede traducir el

movimiento y la posición de los dedos de un usuario en una posición relativa en una pantalla (área de presentación

de información). Los paneles táctiles son una característica común de los ordenadores portátiles y también se usan

como sustituto de un ratón cuando el espacio en el escritorio es escaso. Debido a que varían en tamaño, también

pueden encontrarse en asistentes digitales personales (PDA) y en algunos reproductores multimedia portátiles. Los paneles táctiles inalámbricos también están disponibles como accesorios separados. Los paneles táctiles funcionan de una de varias maneras, incluida la detección capacitiva y la detección de conductancia. La tecnología más común usada hoy en día implica detectar el efecto de tierra virtual capacitivo de un dedo, o la capacitancia entre sensores. Mientras que los paneles táctiles, como las pantallas táctiles, pueden detectar la posición absoluta, la resolución está limitada por su tamaño. Para su uso común como dispositivo señalador, el movimiento de arrastre de un dedo se traduce en un movimiento relativo, más preciso del cursor en la pantalla, análogo al manejo de un ratón que se levanta y vuelve a colocarse sobre una superficie. Los botones de hardware equivalentes a los botones izquierdo y derecho de un ratón convencional se colocan por debajo, por arriba o junto al panel táctil. Los ultraportátiles a veces emplean este último como una manera de ahorrar espacio. Algunos paneles táctiles y el software de controlador del dispositivo asociado pueden interpretar la pulsación del panel como un clic, y una pulsación seguida de un movimiento señalador continuo (un “clic y medio”) puede indicar arrastre. Los paneles táctiles permiten hacer clic y arrastrar incorporando una funcionalidad de botón en la superficie del panel táctil. Para seleccionar, se presiona sobre el panel táctil en lugar de un botón físico. Para arrastrar, en lugar de realizar la técnica de “hacer clic y medio”, se presiona hacia abajo mientras se está sobre el objeto, se arrastra sin liberar la presión y se suelta cuando se ha terminado. Los controladores de panel táctil también pueden permitir el uso de varios dedos para facilitar los otros botones del ratón (comúnmente pulsando con dos dedos para el botón central). Algunos paneles táctiles tienen “puntos calientes”, ubicaciones en el panel táctil usadas para la funcionalidad más allá de un ratón. Por ejemplo, en ciertos paneles táctiles, mover el dedo a lo largo de un borde del panel táctil actuará como una barra de desplazamiento, controlando la barra de desplazamiento y desplazando la ventana que tiene el interés en vertical o en horizontal. Apple usa el arrastre con dos dedos para desplazarse por sus paneles de seguimiento. Además, algunos controladores de panel táctil admiten zonas de pulsación, regiones en las que una pulsación ejecutará una función, por ejemplo, pausar un reproductor multimedia o iniciar una aplicación. Todas estas funciones se implementan en el software de controlador del dispositivo del panel táctil y pueden deshabilitarse. Los paneles táctiles se usan principalmente en ordenadores portátiles autónomos y no requieren una superficie plana cerca de la máquina. El panel táctil está cerca del teclado, y solo se requieren movimientos de los dedos muy cortos para mover el cursor por la pantalla; aunque es ventajoso, esto también hace posible que el pulgar de un usuario mueva el cursor del ratón accidentalmente mientras teclea. La funcionalidad del panel táctil está disponible para ordenadores de escritorio en teclados con paneles táctiles incorporados.

Los ejemplos de paneles táctiles incluyen paneles táctiles unidimensionales usados como la interfaz de control principal para la navegación del menú en reproductores de música portátiles iPod Classic de segunda generación y posteriores, en los que se denominan “ruedas de clic”, ya que sólo detectan movimiento a lo largo de un eje, que se envuelve como una rueda. En otra implementación de paneles táctiles, la línea de productos Microsoft Zune de segunda generación (Zune 80/120 y Zune 4/8) usa el tacto para el Zune Pad. La serie PowerBook 500 de Apple fue su primer ordenador portátil que portaba un dispositivo de este tipo, al que Apple se refiere como “panel de seguimiento” (trackpad). Los ordenadores portátiles más recientes de Apple presentan paneles de seguimiento que pueden detectar hasta cinco dedos simultáneamente, proporcionando más opciones de entrada, como la capacidad de abrir el menú contextual al pulsar con dos dedos. A finales de 2008, las revisiones de Apple de MacBook y MacBook Pro incorporaron un diseño de panel táctil “Tactile Touchpad” con funcionalidad de botón incorporada en la superficie de seguimiento.

La presente divulgación proporciona una solución que permite a un usuario de un sistema informático sin una pantalla táctil tradicional interaccionar con interfaces gráficas de usuario de manera similar a una pantalla táctil usando una combinación de entrada basada en la mirada y órdenes de usuario basadas en gestos. Además, la presente invención ofrece una solución para la interacción similar a pantalla táctil usando entrada de mirada y entrada basada en gestos como complemento o alternativa a las interacciones de pantalla táctil con un dispositivo informático que tiene una pantalla táctil.

Por tanto, el elemento 20 de visualización puede ser cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes. Por ejemplo, el elemento 20 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD, por sus siglas en inglés) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD, por sus siglas en inglés).

El ordenador 30 puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador en un vehículo o un dispositivo portátil como un teléfono celular, un reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos y otros dispositivos similares. La presente invención también puede implementarse en un “entorno inteligente” en el que, por ejemplo, los objetos presentados en múltiples elementos de visualización pueden seleccionarse y activarse.

Para producir la señal de seguimiento de mirada D^ojo, una unidad 40 de seguimiento de mirada está incluida en el elemento 20 de visualización, o está asociada con el elemento 20 de visualización. En la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante.

El programa de software o las instrucciones implementadas por software asociadas con el módulo 40 de seguimiento de mirada pueden incluirse dentro del módulo 40 de seguimiento de mirada. El ejemplo específico que se muestra en las figuras 2, 3 y 20 ilustra el software asociado implementado en un módulo de seguimiento de mirada, que puede incluirse únicamente en el ordenador 30, en el módulo 40 de seguimiento de mirada, o en una combinación de los dos, dependiendo de la aplicación particular.

El sistema 10 informático comprende un dispositivo 30 informático, un módulo 40 de seguimiento de mirada, un elemento 20 de visualización, un módulo 36, 36’ de control y medios 50, 50’ de entrada de usuario tal como se muestra en las figuras 2, 3 y 20. El dispositivo 30 informático comprende varios otros componentes además de los ilustrados en las figuras 2 y 20, pero estos componentes se omiten de las figuras 2, 3 y 20 con fines ilustrativos. Los medios 50, 50’ de entrada de usuario comprenden elementos que son sensibles a la presión, el contacto físico, gestos u otro control manual por parte del usuario, por ejemplo, un panel 51 táctil. Además, los medios 50, 50’ de dispositivo de entrada también pueden incluir un teclado de ordenador, un ratón, una “bola de seguimiento” o puede usarse cualquier otro dispositivo, por ejemplo, un sensor IR, medios de entrada activados por voz o un dispositivo de detección de gestos corporales o entrada basada en proximidad. Sin embargo, en las realizaciones específicas mostradas en las figuras 2, 3 y 20, se incluye un panel 51 táctil en el dispositivo 50, 50’ de entrada de usuario.

Un módulo 32 de entrada, que puede ser un módulo de software incluido únicamente en un módulo 36’ de control o en los medios 50 de entrada de usuario o como un módulo independientes del módulo de control y los medios 50’ de entrada, está configurado para recibir señales desde el panel 51 táctil que reflejan los gestos de un usuario. Además, el módulo 32 de entrada también está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar.

Si el módulo 32 de entrada se incluye en los medios 50 de entrada, se proporcionan órdenes de control basadas en gestos al módulo 36 de control, véase la figura 2. En las realizaciones de la presente invención, el módulo 36’ de control incluye el módulo 32 de entrada basado en datos de gestos de los medios 50’ de entrada de usuario, véase la figura 3.

El módulo 36, 36’ de control está configurado además para adquirir señales de datos de mirada desde el módulo 40 de seguimiento de mirada. Además, el módulo 36, 36’ de control está configurado para determinar un área 120 de punto de mirada en el área 20 de presentación de información en la que se ubica el punto de mirada del usuario basándose en las señales de datos de mirada. El área 120 de punto de mirada es preferiblemente, tal como se ilustra en la figura 1, un área local alrededor de un punto de mirada del usuario.

Además, el módulo 36, 36’ de control está configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 20 de presentación de información gráfica basándose en el área de punto de mirada determinada y la al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. El módulo 36, 36’ de control puede estar integrado en el dispositivo 30 informático o puede estar asociado o acoplado al dispositivo 30 informático.

Por tanto, la presente divulgación permite que un usuario interaccione con un dispositivo 30 informático a la manera de una pantalla táctil, por ejemplo manipular objetos presentados en el área 20 de presentación de información, usando la mirada y gestos, por ejemplo moviendo al menos un dedo sobre un panel 51 táctil.

Preferiblemente, cuando el usuario toca el panel 51 táctil, la ubicación del punto de mirada inicial se indica mediante una retroalimentación visual, tal como una cruz o un signo similar. Esta ubicación inicial puede ajustarse moviendo el dedo sobre el panel 51 táctil. Después de eso, el usuario puede, de manera similar a una pantalla táctil, interaccionar con el área 20 de presentación de información usando diferentes gestos y la mirada. En el ejemplo que incluye un panel táctil, los gestos son movimientos de los dedos en relación con el panel 51 táctil y cada gesto está asociado con o corresponde a una orden de usuario basada en un gesto particular que da como resultado una acción de usuario.

A continuación, se analizará un número no exhaustivo de ejemplos de acciones de usuario que pueden ejecutarse usando una combinación de gestos y la mirada con respecto a las figuras 4-10:

• Mirando, por ejemplo, un objeto presentado en el área 20 de presentación de información y en relación con esto, tocando el panel táctil o presionando hacia abajo y sosteniendo un dedo 60 (véase la figura 4) sobre el panel 51 táctil durante un periodo de y ms, se resalta ese objeto. Si el dedo 60 se mantiene presionado durante un segundo periodo de z ms, puede visualizarse una casilla de información que presenta información referente a ese objeto. En la figura 4, este gesto se ilustra en relación con un panel 51 táctil. • Mirando, por ejemplo, un objeto presentado en el área 20 de presentación de información y en relación con esto pulsando en el panel 51 táctil usando un dedo 71, puede iniciarse una acción principal. Por ejemplo, puede abrirse e iniciarse una aplicación mirando un icono que representa la aplicación y pulsando sobre el panel 51 táctil con un dedo. En la figura 5, este gesto se ilustra en relación con un panel 51 táctil.

• El usuario puede deslizar o arrastrar la vista presentada por el área 20 de presentación de información mirando en algún lugar en el área 20 de presentación de información y, en relación con esto, deslizando su dedo 81 sobre el panel 51 táctil. Una acción similar para deslizar un objeto por el área 20 de presentación de información puede lograrse mirando el objeto y, en relación con esto, deslizando el dedo 81 por el panel 51 táctil. Este gesto se ilustra en la figura 6 en relación con el panel 51 táctil. Por supuesto, este gesto puede ejecutarse por medio de más de un dedo, por ejemplo, usando dos dedos.

• El usuario puede seleccionar un objeto para acciones adicionales mirando el objeto y, en relación con esto, deslizando su dedo 91 sobre el panel 51 táctil en una dirección específica. Este gesto se ilustra en la figura 7 en relación con el panel 51 táctil. Por supuesto, este gesto puede ejecutarse por medio de más de un dedo, por ejemplo, usando dos dedos.

• Mirando un objeto o una parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, pellizcando con dos de sus dedos 101 y 102, es posible alejar ese objeto o parte de objeto. Este gesto se ilustra en la figura 8 en relación con el panel 51 táctil. De manera similar, mirando un objeto o parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, separando los dedos 101 y 102, es posible expandir o acercar ese objeto o parte de objeto.

• Mirando un objeto o parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, rotando con dos de sus dedos 111 y 112, es posible rotar ese objeto o parte de objeto. Este gesto se ilustra en la figura 9 en relación con el panel 51 táctil.

• Mirando un borde o parte del marco del área 20 de presentación de información o en un área en las proximidades del borde o marco y, en relación con esto, deslizando su dedo o dedos 124 sobre el panel 51 táctil en una dirección que si se realiza en el punto de mirada habría sido desde el borde hacia el centro del área de presentación de información, puede aparecer un menú desde el borde.

• Mirando un control deslizante, por ejemplo, un control de volumen, el dedo puede moverse hacia arriba/abajo (o hacia la izquierda/derecha para un control horizontal) para ajustar el valor del control deslizante. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.

• Mirando un control de casilla de verificación mientras se hace un “gesto de verificación” (tal como una “V”) en el panel táctil, la casilla de verificación puede marcarse o desmarcarse. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.

• Mirando un objeto o una parte de objeto en el que hay varias opciones disponibles, por ejemplo “copiar” o “renombrar”, las diferentes opciones pueden visualizarse en lados diferentes del objeto después de que haya transcurrido un tiempo de permanencia de enfoque preestablecido o después de que se haya proporcionado la entrada de usuario apropiada. Luego se hace un gesto para elegir la acción. Por ejemplo, deslice rápidamente hacia la izquierda para copiar y deslice rápidamente hacia la derecha para renombrar. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.

Al pulsar el dedo con más fuerza sobre el panel táctil, es decir, aumentar la presión de un dedo que toca el panel táctil, puede iniciarse un modo deslizante. Por ejemplo, mirando un objeto, tocando el panel táctil, aumentando la presión sobre el panel táctil y moviendo el dedo o dedos sobre la pantalla táctil, el objeto puede moverse o arrastrarse por el área de presentación de información. Cuando el usuario retira el dedo del panel 51 táctil, la sesión similar a pantalla táctil finaliza. Después de eso, el usuario puede iniciar una nueva sesión similar a pantalla táctil mirando el área 20 de presentación de información y colocando el dedo sobre el panel 51 táctil.

Tal como se mencionó, las acciones iniciadas por gestos y la mirada comentadas anteriormente son sólo a modo de ejemplo y hay un gran número de gestos adicionales en combinación con el punto de mirada que dan como resultado una acción que pueden concebirse. Con los medios de entrada adecuados, muchos de estos gestos pueden detectarse en un panel táctil, en un área predefinida de una pantalla táctil, en el aire sin tocar físicamente los medios de entrada, o mediante un medio de entrada que se lleva puesto en un dedo o una mano del usuario. A continuación, se describen algunos ejemplos adicionales:

• Según otro ejemplo no cubierto por las reivindicaciones, de un objeto o parte de objeto puede realizarse mirando ese objeto o parte de objeto, presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo, usando otro dedo (por ejemplo, el otro pulgar) para seleccionar ese objeto o parte de objeto. Además, puede usarse una doble pulsación para una “acción de doble clic” y un movimiento rápido hacia abajo para un “clic de botón derecho”.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y en relación con esto manteniendo quieto un dedo (por ejemplo, uno de los pulgares) mientras se mueve otro dedo (por ejemplo, el otro pulgar) hacia arriba y hacia abajo, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento hacia arriba realiza una orden de “acercar” y un movimiento hacia abajo realiza una orden de “alejar” o viceversa.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y mientras se presiona con fuerza sobre un panel táctil sensible a la presión con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada presión fuerte alterna entre diferentes niveles de zoom.

• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se pulsa dos veces sobre un panel táctil con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada pulsación doble alterna entre diferentes niveles de zoom.

• Mirando un objeto con zoom y en relación con esto sosteniendo un dedo (por ejemplo, un pulgar) todavía sobre la pantalla táctil mientras se mueve otro dedo (por ejemplo, el otro pulgar) en un movimiento circular, es posible hacer zoom en ese objeto o parte de objeto.

• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), puede activarse una función de desplazamiento automático de modo que el área de presentación se deslice de manera continua desde uno de los bordes de la pantalla hacia el centro mientras el punto de mirada está cerca del borde del área de presentación de información, hasta que se recibe una segunda entrada de usuario.

Antes de realizar el gesto con dos dedos, puede usarse uno de los dedos para ajustar con precisión el punto de acción. Por ejemplo, puede mostrarse un símbolo de retroalimentación del usuario como un “dedo virtual” en el punto de mirada cuando el usuario toca la pantalla táctil. El primer dedo puede usarse para deslizarse y ajustar el punto de acción con relación al punto original. Cuando el usuario toca la pantalla con el segundo dedo, se fija el punto de acción y se usa el segundo dedo para “hacer clic” en el punto de acción o para realizar gestos con dos dedos como los ejemplos de rotación, arrastre y zoom anteriores.

En los ejemplos de la presente divulgación, la sesión similar a pantalla táctil puede mantenerse a pesar de que el usuario haya retirado el dedo o los dedos del panel táctil si, por ejemplo, se mantiene pulsado o presionado una tecla o un botón específico o dedicado. De este modo, es posible que el usuario realice acciones que requieren múltiples pulsaciones en el panel táctil. Por ejemplo, un objeto puede moverse o arrastrarse por toda el área de presentación de información mediante múltiples movimientos de arrastre sobre el panel táctil.

Con referencia ahora a las figuras 11a, 11b y 12, se comentarán ejemplos adicionales. La figura 11a muestra una realización de un sistema con control integrado de mirada y manual según la presente invención. Esta realización del sistema se implementa en un dispositivo 100 con una pantalla 151 táctil tal como un iPad o dispositivo similar. El usuario puede controlar el dispositivo 100 basándose al menos en parte en señales de seguimiento de mirada que describen el punto de observación x, y del usuario sobre la pantalla 151 táctil y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de los medios 150 de entrada de usuario, que incluyen la pantalla 151 táctil.

La presente invención proporciona una solución que permite que un usuario de un dispositivo 100 con una pantalla 151 táctil interaccione con interfaces gráficas de usuario usando la mirada como entrada directa y órdenes de usuario basadas en gestos como entrada relativa. De este modo, es posible, por ejemplo, sostener el dispositivo 100 con ambas manos e interaccionar con una interfaz 180 gráfica de usuario presentada en la pantalla táctil con la mirada y los pulgares 161 y 162 tal como se muestra en la figura 11a.

En una realización alternativa no cubierta por las reivindicaciones, uno o más paneles 168 táctiles pueden estar dispuestos en la parte posterior del dispositivo 100’, es decir, en el lado del dispositivo que el usuario normalmente no mira durante el uso. Esta realización se ilustra en la figura 11b. De este modo, un usuario puede controlar el dispositivo, al menos en parte, basándose en señales de seguimiento de mirada que describen el punto de observación x, y del usuario en el área de presentación de información y basándose en gestos generados por el usuario, es decir, un movimiento de al menos un dedo sobre el uno o más paneles 168 táctiles en la parte posterior del dispositivo 100’, generándose órdenes de control basadas en gestos interpretadas por el módulo de control. Para producir la señal de seguimiento de mirada, se incluye un módulo 140 de seguimiento de mirada en el dispositivo 100, 100’. Un seguidor de la mirada adecuado se describe en la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante. El programa de software o las instrucciones implementadas por software asociadas con el módulo 140 de seguimiento de mirada pueden incluirse dentro del módulo 140 de seguimiento de mirada.

El dispositivo 100 comprende un módulo 140 de seguimiento de mirada, medios 150 de entrada de usuario que incluyen la pantalla 151 táctil y un módulo 132 de entrada, y un módulo 136 de control tal como se muestra en la figura 12. El dispositivo 100 comprende varios otros componentes además de los ilustrados en la figura 12 pero estos componentes se omiten de la figura 12 con fines ilustrativos.

El módulo 132 de entrada, que puede ser un módulo de software incluido únicamente en un módulo de control o en los medios 150 de entrada de usuario, está configurado para recibir señales desde la pantalla 151 táctil que reflejan los gestos de un usuario. Además, el módulo 132 de entrada también está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar. El módulo 136 de control está configurado para adquirir señales de datos de mirada desde el módulo 140 de seguimiento de mirada y órdenes de control basadas en gestos desde el módulo 132 de entrada. Además, el módulo 136 de control está configurado para determinar un área 180 de punto de mirada en el área de presentación de información, es decir la pantalla 151 táctil, en la que está ubicado el punto de mirada del usuario basándose en las señales de datos de mirada. El área 180 de punto de mirada es preferiblemente, tal como se ilustra en la figura 1, un área local alrededor de un punto de mirada del usuario.

Además, el módulo 136 de control está configurado para ejecutar al menos una acción de usuario que manipula una vista presentada sobre la pantalla 151 táctil basándose en el área de punto de mirada determinada y la al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.

En una posible realización adicional, cuando el usuario toca la pantalla 151 táctil, la ubicación del punto de mirada inicial se indica mediante una retroalimentación visual, tal como una cruz o un signo similar. Esta ubicación inicial puede ajustarse moviendo el dedo sobre la pantalla 151 táctil, por ejemplo, usando un pulgar 161 o 162. Después de eso, el usuario puede interaccionar con la pantalla 151 táctil usando diferentes gestos y la mirada, en el que la mirada es el indicador directo del interés del usuario y los gestos son relativos a la pantalla 151 táctil. En la realización que incluye una pantalla táctil, los gestos son movimientos de los dedos con relación a la pantalla 151 táctil y cada gesto está asociado con o corresponde a una orden de usuario basada en un gesto particular que da como resultado una acción de usuario.

Con referencia ahora a las figuras 13a, 13b y 13c, se describirán módulos de control para generar órdenes basadas en gestos durante la interacción del usuario con un área 201 de presentación de información, por ejemplo, asociada con una WTRU (descrita a continuación con referencia a la figura 14), o un dispositivo informático o dispositivo portátil de mano (descrito a continuación con referencia a la figura 15a o 15b), o en un vehículo (descrito a continuación con referencia a la figura 21), o en un elemento de visualización montado en la cabeza para llevarse puesto (descrito a continuación con referencia a la figura 22). Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo en relación con esta realización.

Según una realización de la presente invención mostrada en la figura 13a, el módulo 200 de control está configurado para adquirir la entrada de usuario desde los medios 205 de entrada, por ejemplo, incluidos en un dispositivo en el que puede estar dispuesto el módulo de control, adaptado para detectar gestos generados por el usuario. Para este propósito, el módulo 200 de control puede incluir un módulo 232 de entrada que comprende un módulo 210 de adquisición de datos configurado para traducir los datos de gestos de los medios 205 de entrada en una señal de entrada. Los medios 205 de entrada pueden incluir elementos que son sensibles a la presión, el contacto físico, gestos u otro control manual por parte del usuario, por ejemplo, un panel táctil. Además, los medios 205 de entrada también pueden incluir un teclado de ordenador, un ratón, una “bola de seguimiento” o cualquier otro dispositivo, por ejemplo, un sensor IR, medios de entrada activados por voz o puede usarse un dispositivo de detección de gestos corporales o entrada de proximidad.

Además, el módulo 232 de entrada está configurado para determinar al menos una orden de control basada en gestos generada por el usuario basándose en la señal de entrada. Para este propósito, el módulo 232 de entrada comprende además un módulo 220 de determinación de gestos que se comunica con el módulo 210 de adquisición de datos. El módulo 220 de determinación de gestos también puede comunicarse con el módulo 240 de análisis de datos de mirada. El módulo 220 de determinación de gestos puede estar configurado para verificar si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado y opcionalmente usa señales de entrada de mirada para interpretar la señal de entrada. Por ejemplo, el módulo 200 de control puede comprender una unidad de almacenamiento de gestos (no mostrada) que almacena una biblioteca o lista de gestos predefinidos, correspondiendo cada gesto predefinido a una señal de entrada específica. Por tanto, el módulo 220 de determinación de gestos está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar.

Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada del módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD, por sus siglas en inglés) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD, por sus siglas en inglés). Entonces, un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos en parte en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.

Según otra realización, un módulo de control según la presente invención mostrado en la figura 13b, el módulo de control 260 está configurado para adquirir órdenes de control basadas en gestos desde un módulo 232’ de entrada. El módulo 232’ de entrada puede comprender un módulo de determinación de gestos y un módulo de adquisición de datos tal como se describió anteriormente con referencia a la figura 13a. Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada recibidas desde el módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir un ordenador de pantalla normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD). Un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos parcialmente en una señal de seguimiento ocular que describió el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.

Con referencia a la figura 13c, se comentará una realización adicional de un módulo de control según la presente invención. El módulo 232” de entrada se distribuye de tal manera que el módulo 210 de adquisición de datos se proporciona fuera del módulo 280 de control y el módulo 220 de determinación de gestos se proporciona en el módulo 280 de control. Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada recibidas desde el módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD). Un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.

Con referencia a la figura 14, se describirá una unidad de transmisión/recepción inalámbrica (WTRU, por sus siglas en inglés) tal como un teléfono celular o un teléfono inteligente, según la presente invención. Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo. Además, sólo se describirán a continuación las partes o los módulos relacionados con la presente invención. Por consiguiente, la WTRU incluye un gran número de piezas, unidades y módulos adicionales que no se describen en el presente documento, tales como antenas y unidades de transmisión/recepción. La unidad 300 de transmisión/recepción inalámbrica (WTRU) está asociada con un área 301 de presentación de información y comprende además medios 305 de entrada, que incluyen, por ejemplo un módulo de entrada tal como se ha descrito anteriormente, adaptado para detectar gestos generados por el usuario y un módulo 325 de seguimiento de mirada adaptado para detectar datos de mirada de un espectador del área 301 de presentación de información. La WTRU comprende además un módulo 200, 260 o 280 de control tal como se describió anteriormente con referencia a las figuras 13a, 13b y 13c. El usuario puede controlar la WTRU basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 301 de visualización y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 305 de entrada de usuario tales como un panel táctil. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.

Con referencia a las figuras 15a y 15b, se describirá un dispositivo informático o dispositivo portátil de mano según la presente invención. Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo. Además, sólo se describirán a continuación las partes o los módulos relacionados con la presente invención. Por consiguiente, el dispositivo incluye un gran número de piezas, unidades y módulos adicionales que no se describen en el presente documento, tales como unidades de memoria (por ejemplo, RAM/ROM) o unidades de procesamiento. El dispositivo informático o dispositivo 400 portátil de mano puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador o dispositivo en un vehículo, o un dispositivo de mano como un teléfono celular, teléfono inteligente o dispositivo similar, reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono.

El dispositivo informático o dispositivo 400a de mano puede conectarse a un área 401a de presentación de información (por ejemplo, un elemento de visualización externo o un elemento de visualización frontal (HUD), o al menos un elemento de visualización montado en la cabeza (HMD)), tal como se muestra en la figura 15a, o el dispositivo informático o dispositivo 400b de mano incluye un área 401b de presentación de información, tal como se muestra en la figura 15b, tal como una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD), o al menos un elemento de visualización montado en la cabeza (HMD). Además, el dispositivo informático o dispositivo 400a, 400b de mano comprende medios 405 de entrada adaptados para detectar gestos generados por el usuario y un módulo 435 de seguimiento de mirada adaptado para detectar datos de mirada de un espectador del área 401 de presentación de información. Además, el dispositivo informático o dispositivo 400a, 400b de mano comprende un módulo 200, 260 o 280 de control tal como se describió anteriormente con referencia a las figuras 13a, 13b o 13c. El usuario puede controlar el dispositivo informático o el dispositivo 400a, 400b de mano basándose al menos parcialmente en una señal de seguimiento ocular que describió el punto de observación x, y del usuario en el área de presentación de información o elemento 401 de visualización y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 405 de entrada de usuario, tales como un panel táctil. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.

Con referencia ahora a las figuras 16-19, se describirán realizaciones de ejemplo de métodos según la presente invención. Las realizaciones del método descritas en relación con las figuras 16 - 19 se implementan en un entorno en el que se realizan ciertas etapas en un dispositivo, por ejemplo una WTRU descrita anteriormente con referencia a la figura 14, o un dispositivo informático o dispositivo de mano descrito anteriormente con referencia a la figura 15a o 15b y se realizan ciertas etapas en un módulo de control, por ejemplo un módulo de control tal como se describió anteriormente con referencia a las figuras 13a, 13b y 13c. Tal como conoce el experto, los métodos descritos en el presente documento también pueden implementarse en otros entornos, tales como, por ejemplo, en un sistema tal como se describió anteriormente con referencia a las figuras 2, 3 y 20 o en implementaciones ilustradas en las figuras 21 - 23. Las etapas similares o iguales realizadas en las diferentes realizaciones se indicarán con el mismo número de referencia a continuación en el presente documento.

Con referencia en primer lugar a la figura 16, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S510, el usuario toca un área sensible al tacto en el dispositivo (por ejemplo, medios de entrada tal como se describió anteriormente) con uno o más dedos de cada mano. Esta etapa no forma parte del método según realizaciones de la invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y se ha descrito anteriormente un número no exhaustivo de tales gestos. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.

Con referencia a la figura 17, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S590, el usuario hace un gesto con uno o más dedos y/o al menos una mano delante del área de presentación de información (gesto que se interpreta por medios de entrada tal como se describió anteriormente). La etapa S590 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. Tal como se mencionó anteriormente, la etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.

Con referencia a la figura 18, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S592, el usuario genera información tocando el panel táctil o el área predefinida de la pantalla táctil. La etapa S592 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, se determina un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o el área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.

Con referencia a la figura 19, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S594, el usuario genera información haciendo un gesto con uno o más de sus dedos y/o al menos una mano. La etapa S594 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, se determina un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o el área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.

Con referencia a la figura 21, se comentará un ejemplo adicional no cubierto por las reivindicaciones. Un módulo de seguimiento de mirada (no mostrado) y unos medios 900 de entrada de usuario se implementan en un vehículo (no mostrado). El área de presentación de información (no mostrada) puede ser un elemento de visualización frontal o una pantalla de información y entretenimiento. Los medios 900 de entrada pueden ser uno o dos paneles táctiles independientes en el lado posterior (para su uso con el/los dedo(s) índice) o en el lado frontal (para su uso con el/los pulgar(es)) del volante 910 del vehículo. Un módulo 950 de control está dispuesto en una unidad de procesamiento configurada para insertarse en un vehículo o en una unidad central de procesamiento del vehículo. Preferiblemente, el módulo de control es un módulo de control tal como se describe con referencia a las figuras 13a - 13c.

Con referencia a la figura 22, se comentará otra implementación de la presente invención. Un módulo de seguimiento de mirada (no mostrado) y un área de presentación de información (no mostrada) se implementan en un elemento 1000 de visualización montado en la cabeza para llevarse puesto que puede diseñarse para parecer un par de gafas. Una de tales soluciones se describe en el documento US 8.235.529. Los medios 1010 de entrada de usuario pueden incluir un giroscopio y estar adaptados para que los lleve puestos el usuario 1020 en una muñeca, mano o al menos un dedo. Por ejemplo, los medios 1010 de entrada pueden ser un anillo con una conexión inalámbrica a las gafas y un giroscopio que detecta pequeños movimientos del dedo en el que se usa el anillo. Los movimientos detectados que representan datos de gestos pueden comunicarse de manera inalámbrica a las gafas en las que se detecta la mirada y se usan órdenes de control basadas en gestos basándose en los datos de gestos de los medios de entrada para identificar y ejecutar la acción de usuario. Preferiblemente, se usa un módulo de control tal como se describe con referencia a las figuras 13a-13c con esta implementación.

Con referencia a la figura 23, se comentará una implementación de la presente divulgación. En esta implementación, el usuario 1120 puede controlar un dispositivo 1100 informático basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en un área 1140 de presentación de información y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 1150 de entrada de usuario. En este ejemplo, el usuario 1120 puede generar órdenes de control basadas en gestos realizando gestos por encima o con relación al teclado del dispositivo 1100 informático. El medio 1140 de entrada detecta los gestos, por ejemplo, usando una técnica de medición óptica o técnica de medición capacitiva. Preferiblemente, un módulo de control tal como se describe con referencia a las figuras 13a a 13c se usa con esta implementación y puede estar dispuesto en el dispositivo 1100 informático. El dispositivo 1100 informático puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central o un dispositivo de mano tal como un teléfono celular, reproductor de música portátil (tal como un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos y otros dispositivos similares. La presente invención también puede implementarse en un “entorno inteligente” en el que, por ejemplo, los objetos presentados en múltiples elementos de visualización pueden seleccionarse y activarse. Para producir las señales de seguimiento de mirada, se incluye una unidad de seguidor de mirada (no mostrada) en el dispositivo 1100 informático, o está asociada con el área 1140 de presentación de información. En la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante. Aunque esta memoria descriptiva contiene varias realizaciones específicas, estas no deben interpretarse como una limitación del alcance de la presente invención o de lo que puede reivindicarse, sino más bien como descripciones de características específicas de implementaciones a modo de ejemplo de la presente invención. Ciertas características que se describen en esta memoria descriptiva en el contexto de implementaciones individuales también pueden implementarse en combinaciones en una única implementación. Por el contrario, diversas características que se describen en el contexto de una única implementación también pueden implementarse en múltiples implementaciones por separado o en cualquier subcombinación adecuada.

De manera similar, aunque las operaciones se representan en los dibujos en un orden particular, esto no debe entenderse como que se requiere que tales operaciones se realicen en el orden particular mostrado o en orden secuencial, ni que todas las operaciones ilustradas se realicen para lograr resultados deseables. En ciertas circunstancias, el procesamiento multitarea y en paralelo puede ser ventajoso. Además, la separación de diversos componentes del sistema en la implementación descrita anteriormente no debe entenderse como que se requiere tal separación en todas las implementaciones, y debe entenderse que los componentes y sistemas de programa descritos pueden integrarse generalmente juntos en un solo producto de software o empaquetarse en múltiples productos de software.

Claims

REIVINDICACIONES

Módulo (136, 200, 260, 280) de control para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, en el que dicho módulo de control está configurado para:

adquirir una entrada de usuario desde medios (150, 205, 265, 305, 405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil, y

comprobar (S530) si dicha entrada de usuario corresponde a un gesto relativo predefinido, y esperar entrada de usuario adicional si dicha entrada de usuario no corresponde a un gesto relativo predefinido;

adquirir señales de datos de mirada desde un módulo (40, 140, 235, 325, 425) de seguimiento de mirada;

determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil;

determinar (S560) un área (180) de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; y

ejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden el ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.

Módulo de control según la reivindicación 1, que comprende una unidad de almacenamiento de gestos configurada para almacenar una biblioteca o lista de dichos gestos predefinidos, correspondiendo cada gesto predefinido a una entrada de usuario específica.

Método para generar órdenes de control basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla táctil asociada con un dispositivo informático, comprendiendo dicho método:

adquirir la entrada de usuario correspondiente a los gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;

comprobar (S530) si la entrada de usuario corresponde a un gesto relativo predefinido, y esperar una entrada de usuario adicional si la entrada de usuario no corresponde a un gesto relativo predefinido,

adquirir señales de datos de mirada;

determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil;

determinar (S560) un área de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; y ejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden un ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.

Unidad de transmisión/recepción inalámbrica, WTRU (300), asociada con un área de presentación de información en una pantalla (151) táctil y que comprende medios (305) de entrada adaptados para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación del dedo de la pantalla táctil; y un módulo (325) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información, comprendiendo además dicha WTRU un módulo de control según la reivindicación 1 ó 2.

Sistema (100) para la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, comprendiendo dicho sistema:

medios (150) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;

un módulo (40, 140) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información;

comprendiendo además dicho sistema un módulo de control según la reivindicación 1 ó 2.

Dispositivo (400a, 400b) informático asociado con un área de presentación de información en una pantalla (151) táctil, comprendiendo dicho dispositivo informático:

medios (405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;

un módulo (425) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información,

comprendiendo además dicho dispositivo informático

un módulo de control según la reivindicación 1 ó 2.

Dispositivo (400a, 400b) portátil de mano que incluye un área de presentación de información en una pantalla (151) táctil y que comprende medios (405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil y un módulo de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información, comprendiendo además dicho dispositivo portátil de mano un módulo de control según la reivindicación 1 ó 2.