ES2761198T3 - Sistema de interacción con la mirada - Google Patents
Sistema de interacción con la mirada Download PDFInfo
- Publication number
- ES2761198T3 ES2761198T3 ES12812924T ES12812924T ES2761198T3 ES 2761198 T3 ES2761198 T3 ES 2761198T3 ES 12812924 T ES12812924 T ES 12812924T ES 12812924 T ES12812924 T ES 12812924T ES 2761198 T3 ES2761198 T3 ES 2761198T3
- Authority
- ES
- Spain
- Prior art keywords
- user
- touch screen
- gaze
- display area
- information display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000005057 finger movement Effects 0.000 claims description 5
- 210000003811 finger Anatomy 0.000 description 93
- 210000003813 thumb Anatomy 0.000 description 40
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000004137 mechanical activation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001275944 Misgurnus anguillicaudatus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 208000029278 non-syndromic brachydactyly of fingers Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0189—Sight systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1468—Touch gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
- B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Módulo (136, 200, 260, 280) de control para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, en el que dicho módulo de control está configurado para: adquirir una entrada de usuario desde medios (150, 205, 265, 305, 405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil, y comprobar (S530) si dicha entrada de usuario corresponde a un gesto relativo predefinido, y esperar entrada de usuario adicional si dicha entrada de usuario no corresponde a un gesto relativo predefinido; adquirir señales de datos de mirada desde un módulo (40, 140, 235, 325, 425) de seguimiento de mirada; determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil; determinar (S560) un área (180) de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; y ejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden el ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.
Description
DESCRIPCIÓN
Sistema de interacción con la mirada
Campo de la invención
La invención se refiere, en general, a sistemas y métodos implementados por ordenador para usar la detección de movimientos oculares en relación con interfaces gráficas de usuario interactivas. En particular, la presente invención se refiere a sistemas y métodos para ayudar a un usuario cuando interacciona con una interfaz gráfica de usuario combinando una entrada de base ocular con una entrada basada en gestos y órdenes de usuario basadas en gestos.
Antecedentes
La interacción entre seres humanos y ordenadores se ha visto revolucionada por la introducción de la interfaz gráfica de usuario (GUI, por sus siglas en inglés). De este modo, se proporcionó un medio eficiente para presentar información a un usuario con un ancho de banda que superaba inmensamente cualquier canal anterior. Con los años, la velocidad a la que puede presentarse la información ha aumentado adicionalmente a través de pantallas a color, elementos de visualización ampliados, objetos gráficos inteligentes (por ejemplo, ventanas emergentes), pestañas de ventanas, menús, barras de herramientas, etc. Durante este tiempo, sin embargo, los dispositivos de entrada han permanecido esencialmente sin cambios, es decir, el teclado y el dispositivo señalador (por ejemplo, el ratón, la bola de seguimiento o el panel táctil). En los últimos años, se han introducido dispositivos de escritura a mano (por ejemplo, en forma de lápiz o bolígrafo gráfico). No obstante, aunque el ancho de banda de salida se ha multiplicado varias veces, el ancho de banda de entrada no ha cambiado sustancialmente. Por consiguiente, se ha desarrollado una grave asimetría en el ancho de banda de comunicación en la interacción entre seres humanos y ordenadores.
Para disminuir esta asimetría de ancho de banda, así como para mejorar y facilitar la interacción del usuario, se han realizado varios intentos para usar el seguimiento ocular para tales fines. Al implementar un dispositivo de seguimiento ocular, por ejemplo en un ordenador portátil, las posibilidades de interacción entre el usuario y las diferentes aplicaciones de software que se ejecutan en el ordenador pueden mejorarse significativamente.
Por tanto, una idea interesante para mejorar y facilitar la interacción del usuario y para eliminar la asimetría del ancho de banda es usar en su lugar el seguimiento de la mirada o como complemento de la entrada del ratón. Normalmente, el cursor se coloca en la pantalla de acuerdo con el punto de mirada calculado del usuario. Se han desarrollado varias técnicas diferentes para seleccionar y activar un objeto de destino en estos sistemas. En un ejemplo, el sistema activa un objeto tras detectar que el usuario fija su mirada en un cierto objeto durante un cierto periodo de tiempo. Otro enfoque es detectar la activación de un objeto cuando el ojo del usuario parpadea.
Sin embargo, existen problemas asociados con estas soluciones que usan el seguimiento ocular. Por ejemplo, los seres humanos usan sus ojos en acciones perceptivas en lugar de controlar. Por tanto, puede ser estresante usar con cuidado los movimientos oculares para interaccionar con un ordenador, por ejemplo, para activar y seleccionar un objeto presentado en el elemento de visualización del ordenador. También puede ser difícil controlar el parpadeo o la mirada fija para interaccionar con los objetos presentados en un elemento de visualización.
Por tanto, en la técnica existe la necesidad de técnicas mejoradas que permitan la interacción del usuario con un ordenador dotado de un dispositivo de seguimiento ocular que permita al usuario controlar, seleccionar y activar objetos y partes de objetos presentados en un elemento de visualización del ordenador usando su ojos de una manera más intuitiva y natural. Además, en la técnica también existe la necesidad de técnicas que aprovechen de manera más eficiente el potencial del uso del seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador.
Uno de tales intentos se presenta en el documento US 2005/0243054 A1 concedido a Bayer et al. en el que se da a conocer una tecnología para seleccionar y activar un objeto de destino usando una combinación de la mirada y pulsaciones de teclas. Más específicamente, un usuario mira un objeto de destino, por ejemplo, un botón en una interfaz gráfica de usuario y luego pulsa una tecla de selección del teclado. Una vez que se pulsa la tecla de selección, se determina el objeto de destino más probable usando razonamiento de probabilidad. El objeto de destino determinado se resalta y el usuario puede seleccionarlo pulsando la tecla de selección de nuevo. Si el objeto resaltado no es el objeto de destino, el usuario puede seleccionar otro objeto de destino usando teclas adicionales para navegar hasta objeto de destino pretendido.
Sin embargo, esta tecnología se limita a la selección y activación de objetos basándose en una combinación de la mirada y dos pulsaciones secuenciales de una tecla de selección dedicada.
En el documento US 6.204.828 B1 concedido a Amir et al., se da a conocer un sistema accionado por ordenador para ayudar a un usuario a posicionar un cursor integrando la mirada y la entrada manual del operador. Un aparato
de seguimiento de mirada monitoriza la orientación de los ojos del usuario mientras el usuario ve una pantalla. Al mismo tiempo, el ordenador monitoriza un dispositivo de entrada, tal como un ratón, para la activación mecánica por parte del operador. Cuando el ordenador detecta la activación mecánica del dispositivo de entrada, determina una posición de visualización del cursor inicial dentro de un área de mirada actual. Luego, el cursor se visualiza en la pantalla en la posición de visualización inicial y, a continuación, el cursor se sitúa manualmente de acuerdo con el manejo del dispositivo de entrada por parte del usuario, independientemente de la mirada.
Se encuentran ejemplos adicionales de técnica anterior, por ejemplo, en:
“Combining gaze with manual interaction to extend pysical reach.”, Proceedings of 1 st International Workshop on Pervasive Eye Tracking & Movile Eyebased Interaction, 18 de septiembre de 2011, que da a conocer un método para extender el alcance físico usando la mirada y la interacción manual;
“Designing gaze-supported multimodal interactions for the exploration of large image collections”, NG-CA, 26 de mayo de 2011, que da a conocer la interacción con un elemento de visualización remoto usando la mirada y un dispositivo de tacto e inclinación (touch-and-tilt);
el documento US2009/273562 que da a conocer la reconfiguración del área de contenido en un elemento de visualización usando la mirada y la entrada recibida desde un usuario;
el documento US2011/029918 que da a conocer la navegación digital usando la información de mirada y de gestos de un usuario;
“Eye tracker system for use with head mounted displays”, Systems, Man, And Cybernetics, 1998, que da a conocer un sistema de seguimiento ocular para su uso con elementos de visualización montados en la cabeza;
el documento US2009/0251407 que da a conocer sistemas y métodos que comprenden un componente de anillo configurado para detectar, por ejemplo, movimiento y gestos, facilitando de ese modo la interacción con un dispositivo;
el documento US2006/0047386 que da a conocer una interfaz táctil basada en gestos para un vehículo a motor; y “Manual and gaze input cascaded (MAGIC) pointing”, Shumin Zhai et al., 15-20 de mayo de 1999, que da a conocer la mirada y la entrada manual para facilitar la interacción con un sistema informático, en el que la idea clave de señalar con MAGIC es usar la mirada para redefinir dinámicamente la posición “inicial” de un cursor señalador para que esté en las proximidades de un objeto de destino, lo que era presumiblemente lo que el usuario estaba mirando, reduciendo así efectivamente la amplitud de movimiento del cursor necesaria para la selección del objeto de destino. Una vez que se ha redefinido la posición del cursor, sólo es necesario que el usuario realice un pequeño movimiento hasta, y haga clic en, el objeto de destino con un dispositivo de entrada manual normal, por ejemplo con un panel táctil.
Por consiguiente, en la técnica sigue existiendo la necesidad de una técnica mejorada que aproveche de manera más eficiente el potencial del uso del seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador y, en particular, la interacción del usuario con interfaces gráficas de usuario.
Sumario
Un objeto de la presente invención es proporcionar métodos, dispositivos y sistemas mejorados para asistir a un usuario cuando interacciona con una interfaz gráfica de usuario mediante la combinación de entrada basada en la mirada con órdenes de usuario basadas en gestos.
Otro objeto de la presente invención es proporcionar métodos, dispositivos y sistemas para una interacción fácil de usar e intuitiva con interfaces gráficas de usuario.
Un objeto particular de la presente invención es ofrecer una solución para una interacción similar a la de pantalla táctil usando la entrada de la mirada y entrada basada en gestos como complemento de las interacciones de pantalla táctil con un dispositivo informático que tiene una pantalla táctil.
En el contexto de la presente invención, el término “GUI” (graphical user interface, interfaz gráfica de usuario) se refiere a una interfaz de usuario basada en gráficos con fotografías o imágenes y palabras (incluidos, por ejemplo, signos y figuras) en un elemento de visualización que incorpora, por ejemplo, ventanas móviles e iconos.
Además, en el contexto de la presente invención, los términos “objeto” o “parte de objeto” se refieren a un objeto gráfico interactivo u objeto GUI tal como una ventana, un icono, un botón, una barra de desplazamiento, un hipervínculo u objetos no interactivos tales como una imagen, texto o una palabra en un texto que el usuario desea seleccionar o activar.
En el contexto de la presente invención, el término “panel táctil” (touchpad) (o el término “panel de seguimiento” (trackpad)) se refiere a un sensor de superficie para detectar la posición y el movimiento de uno o varios dedos y/o uno o varios otros objetos destinados a señalar, dibujar o hacer gestos, tales como por ejemplo un lápiz.
Estos y otros objetos de la presente invención se logran mediante un sistema que tiene las características definidas en las reivindicaciones independientes. Las reivindicaciones dependientes caracterizan realizaciones de la invención.
Según un aspecto de la presente invención, se proporciona un módulo de control para su implementación, por ejemplo, en un dispositivo informático o dispositivo de mano o una unidad de transmisión/recepción inalámbrica (WTRU, por sus siglas en inglés) para manejar y generar órdenes de control basadas en gestos para ejecutar una acción del usuario basándose en estas órdenes. El módulo de control está configurado tal como se define en la reivindicación 1.
Según otro aspecto de la presente invención, se proporciona un método para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla táctil asociada con un dispositivo informático, tal como se define en la reivindicación 3.
Según un aspecto adicional de la presente invención, se proporciona un dispositivo portátil de mano tal como se expone en la reivindicación 7, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.
En realizaciones de la presente invención, el dispositivo de mano puede ser un teléfono celular, un teléfono inteligente, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono (phoblet/phablet), un ordenador portátil o un dispositivo similar.
Según un aspecto adicional de la presente invención, se proporciona una unidad de transmisión/recepción inalámbrica, WTRU, tal como se expone en la reivindicación 4, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.
El término “unidad de transmisión/recepción inalámbrica (WTRU)” incluye pero no se limita a un equipo de usuario (UE), una estación móvil, una unidad de abonado fija o móvil, un teléfono celular, un teléfono inteligente, un asistente digital personal (PDA), un ordenador o cualquier otro tipo de dispositivo que pueda funcionar en un entorno inalámbrico, tal como una red de área local inalámbrica (WLAN) o un sistema de comunicación móvil inalámbrico (por ejemplo, un sistema global de tercera generación (3G) para comunicación móvil y sistemas para comunicación móvil incluyendo células de evolución a largo plazo (LTE).
Según otro aspecto de la presente invención, se proporciona un sistema para la interacción del usuario con un área de presentación de información tal como se expone en la reivindicación 5, incluyendo el sistema una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control tal como se define en la reivindicación 1.
Según aún otro aspecto de la presente invención, se proporciona un dispositivo informático asociado con una presentación de información tal como se expone en la reivindicación 6, que incluye una pantalla táctil, un módulo de seguimiento de mirada y un módulo de control según la reivindicación 1.
Según realizaciones de la presente invención, el dispositivo informático puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador o dispositivo en un vehículo, o un dispositivo de mano como un teléfono celular, teléfono inteligente o dispositivo similar, reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono.
Según realizaciones de la presente invención, un módulo de entrada está configurado para interpretar señales que representan al menos un gesto generado por el usuario para proporcionar al menos una orden de control basada en gestos que refleja el gesto de un usuario. Según realizaciones de la presente invención, el módulo de entrada está dispuesto en el módulo de control.
En realizaciones de la presente invención, el módulo de entrada está configurado para interpretar las señales que representan al menos un gesto generado por el usuario usando señales de entrada de mirada y/o un conjunto predeterminado de posibles órdenes de control basadas en gestos, correspondiendo cada posible orden de control a un gesto de usuario particular con relación a los medios de entrada.
Según algunas realizaciones de la presente invención, el módulo de seguimiento de mirada y los medios de entrada de usuario se implementan en un dispositivo dotado de pantalla táctil tal como un iPad o dispositivo similar. La pantalla táctil funciona tanto como área de presentación de información como dispositivo de entrada para la entrada de gestos de usuario. Se incluye un módulo de control en el dispositivo dotado de pantalla táctil y está configurado
para determinar un área de punto de mirada en el área de presentación de información, es decir, la pantalla táctil, donde se localiza el punto de mirada del usuario basándose en las señales de datos de mirada y para ejecutar al menos una acción de usuario que manipula una vista presentada en la pantalla táctil basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Los gestos de usuario se introducen a través de la pantalla táctil. Según esta realización, los gestos de usuario, o los movimientos de los dedos sobre la pantalla táctil, son relativos al punto de mirada, lo que implica un uso más sencillo y ergonómico de los dispositivos dotados de pantalla táctil. Por ejemplo, el usuario puede sostener el dispositivo con ambas manos e interaccionar con interfaces gráficas de usuario en la pantalla táctil usando la mirada y el movimiento de los pulgares, en el que todas las acciones y activaciones del usuario tienen el punto de mirada del usuario como punto de partida.
Hay un gran número de gestos en combinación con el punto de mirada que dan como resultado una acción que pueden concebirse. A continuación, se describen algunos ejemplos:
• La selección de un objeto o parte de objeto se realiza según la presente invención mirando ese objeto o parte de objeto y presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo y liberando la presión aplicada por el dedo para seleccionar ese objeto o parte de objeto;
• Según otro ejemplo no cubierto por las reivindicaciones, la selección de un objeto o parte de objeto puede realizarse mirando ese objeto o parte de objeto, presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo, usando otro dedo (por ejemplo, el otro pulgar) para pulsar y seleccionar ese objeto o parte de objeto. Además, puede usarse una doble pulsación para una “acción de doble clic” y un movimiento rápido hacia abajo para un “clic con el botón derecho”.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se mueve un dedo (por ejemplo, uno de los pulgares) en un movimiento circular, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento en el sentido horario realiza una orden de “acercar” y un movimiento en el sentido antihorario realiza una orden de “alejar” o viceversa.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y en relación con esto manteniendo quieto un dedo (por ejemplo, uno de los pulgares) mientras se mueve otro dedo (por ejemplo, el otro pulgar) hacia arriba o hacia abajo, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento hacia arriba realiza una orden de “acercar” y un movimiento hacia abajo realiza una orden de “alejar” o viceversa.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se pulsa dos veces en la pantalla táctil con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada doble pulsación alterna entre diferentes niveles de zoom.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos horizontales opuestos, es posible hacer zoom en ese objeto o parte de objeto.
• Mirando un objeto con zoom y en relación con esto manteniendo un dedo (por ejemplo, un pulgar) todavía sobre la pantalla táctil mientras se mueve otro dedo (por ejemplo, el otro pulgar) en un movimiento circular, es posible hacer zoom en ese objeto o parte de objeto.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y en relación con esto manteniendo un dedo (por ejemplo, uno de los pulgares) todavía sobre la pantalla táctil mientras se desliza otro dedo (por ejemplo, el otro pulgar), es posible deslizar o arrastrar la vista presentada por el área de presentación de información.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y en relación con esto manteniendo un dedo (por ejemplo, uno de los pulgares) todavía sobre la pantalla táctil mientras se desliza otro dedo (por ejemplo, el otro pulgar), es posible deslizar o arrastrar la vista presentada por el área de presentación de información.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), puede activarse una función de desplazamiento automático para que el área de presentación se deslice de manera continua desde uno de los bordes de la pantalla hacia el centro mientras el punto de mirada está cerca del borde del área de presentación de información, hasta que se recibe una segunda entrada de usuario.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), el área de presentación se desliza instantáneamente de acuerdo con el punto de mirada (por ejemplo, se usa el punto de mirada para indicar el centro de donde debe deslizarse el área de presentación de información).
• Mirando un objeto o una parte de objeto rotatorio presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos verticales opuestos, es posible rotar ese objeto o parte de objeto.
Antes de realizar el gesto con dos dedos, puede usarse uno de los dedos para ajustar de manera precisa el punto de acción. Por ejemplo, puede mostrarse un símbolo de retroalimentación de usuario tal como un “dedo virtual” en el punto de mirada cuando el usuario toca la pantalla táctil. El primer dedo puede usarse para deslizarse y ajustar el punto de acción con relación al punto original. Cuando el usuario toca la pantalla con el segundo dedo, se fija el punto de acción y se usa el segundo dedo para “hacer clic” en el punto de acción o para realizar gestos con dos dedos como los ejemplos de rotación, arrastre y zoom anteriores.
Otros objetos y ventajas de la presente invención se comentarán a continuación por medio de realizaciones a modo de ejemplo.
Estas y otras características, aspectos y ventajas de la invención se entenderán más completamente cuando se consideren con respecto a la siguiente descripción detallada, las reivindicaciones adjuntas y los dibujos adjuntos. Breve descripción de los dibujos
Los dibujos no están necesariamente trazados a escala e ilustran en general, a modo de ejemplo, pero sin limitación, diversas realizaciones de la presente invención. Así, las formas de realización ejemplificativas de la invención se ilustran a modo de ejemplo y no a modo de limitación en las figuras de los dibujos adjuntos en los que referencias similares indican elementos similares. Cabe señalar que las referencias a “una” o “una sola” realización en esta discusión no son necesariamente a la misma realización, y tales referencias significan al menos una.
La figura 1 muestra una imagen de visión general de un usuario que controla un aparato informático en el que se implementa la presente invención;
la figura 2 es un diagrama de bloques que ilustra una realización de una disposición según la presente invención; la figura 3 es un diagrama de bloques que ilustra otra realización de una disposición según la presente invención; la figura 4 ilustra un gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 5 ilustra otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 6 ilustra un gesto a modo de ejemplo adicional que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 7 ilustra aún otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 8 ilustra un gesto a modo de ejemplo adicional que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 9 ilustra otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 10 ilustra aún otro gesto a modo de ejemplo que da como resultado una orden de control basada en gestos generada por el usuario según la presente invención;
la figura 11a muestra una imagen de visión general de un dispositivo dotado de pantalla táctil en el que se implementa una realización de la presente invención;
la figura 11b muestra una imagen de visión general de un dispositivo dotado de paneles táctiles en la parte posterior; la figura 12 es un diagrama de bloques que ilustra la realización según la presente invención mostrada en la figura 11a;
la figura 13a es una vista esquemática de un módulo de control según una realización de la presente la figura 13b es una vista esquemática de un módulo de control según otra realización de la presente la figura 13c es una vista esquemática de u módulo de control según otra realización de la presente la figura 14 es una vista esquemática de una unidad de transmisión/recepción inalámbrica, WTRU, según una
realización de la presente invención;
la figura 15a es una vista esquemática de una realización de un dispositivo informático o dispositivo de mano según
una realización de la presente invención;
la figura 15b es una vista esquemática de otra realización de un dispositivo informático o dispositivo portátil según la
presente invención;
la figura 16 es un diagrama de flujo esquemático que ilustra las etapas de una realización de un método según una
realización de la presente invención;
la figura 17 es un diagrama de flujo esquemático que ilustra las etapas de otro ejemplo; y
la figura 18 es un diagrama de flujo esquemático que ilustra las etapas de otro ejemplo.
La figura 19 es un diagrama de flujo esquemático que ilustra las etapas de otro método de ejemplo útil para la
comprensión de la presente invención;
la figura 20 es un diagrama de bloques que ilustra una realización adicional de una disposición según la presente
invención;
la figura 21 es una ilustración esquemática de aún otra implementación de la presente invención.
la figura 22 es una ilustración esquemática de una implementación adicional no cubierta por las reivindicaciones; y
la figura 23 es una ilustración esquemática de un ejemplo adicional.
Descripción detallada de la invención
Tal como se usa en el presente documento, el término “módulo” se refiere a un circuito integrado específico de
aplicación (ASIC), un circuito electrónico, un procesador (compartido, dedicado o grupal) y una memoria que
ejecutan uno o más programas de software, un circuito lógico combinatorio, u otros componentes adecuados que
proporcionen la funcionalidad descrita. El término “módulo” se refiere además a una forma específica de software
necesaria para poner en práctica los métodos descritos en el presente documento y particularmente las funciones
descritas en relación con cada “módulo” específico. Se cree que la forma particular de software estará determinada
principalmente por la arquitectura de sistema particular empleada en el sistema y por las metodologías particulares
empleadas por el sistema según la presente invención.
Lo siguiente es una descripción de realizaciones a modo de ejemplo según la presente invención. Esta descripción
no debe tomarse en sentido limitativo, sino que se realiza simplemente con el propósito de describir los principios
generales de la invención. Debe entenderse que pueden usarse otras realizaciones y pueden realizarse cambios
estructurales y lógicos sin apartarse del alcance de la presente invención.
Con referencia en primer lugar a las figuras 1, 2, 3 y 20, se describirán realizaciones de un sistema informático
según los principios de la presente invención. La figura 1 muestra una realización de un sistema informático con
control integrado de mirada y manual según la presente invención. El usuario 110 puede controlar el sistema 10
informático basándose al menos en parte en una señal de seguimiento ocular DOJO, que describió el punto de
observación x, y del usuario en un área de presentación de información o elemento 20 de visualización y basándose
en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del
usuario, generándose órdenes de control basadas en gestos a través de los medios 50 de entrada de usuario, tales
como un panel 51 táctil.
En el contexto de la presente divulgación, el término “panel táctil” (o el término “panel de seguimiento”) se refiere a
un dispositivo señalador que presenta un sensor táctil, una superficie especializada que puede traducir el
movimiento y la posición de los dedos de un usuario en una posición relativa en una pantalla (área de presentación
de información). Los paneles táctiles son una característica común de los ordenadores portátiles y también se usan
como sustituto de un ratón cuando el espacio en el escritorio es escaso. Debido a que varían en tamaño, también
pueden encontrarse en asistentes digitales personales (PDA) y en algunos reproductores multimedia portátiles. Los
paneles táctiles inalámbricos también están disponibles como accesorios separados. Los paneles táctiles funcionan de una de varias maneras, incluida la detección capacitiva y la detección de conductancia. La tecnología más común usada hoy en día implica detectar el efecto de tierra virtual capacitivo de un dedo, o la capacitancia entre sensores. Mientras que los paneles táctiles, como las pantallas táctiles, pueden detectar la posición absoluta, la resolución está limitada por su tamaño. Para su uso común como dispositivo señalador, el movimiento de arrastre de un dedo se traduce en un movimiento relativo, más preciso del cursor en la pantalla, análogo al manejo de un ratón que se levanta y vuelve a colocarse sobre una superficie. Los botones de hardware equivalentes a los botones izquierdo y derecho de un ratón convencional se colocan por debajo, por arriba o junto al panel táctil. Los ultraportátiles a veces emplean este último como una manera de ahorrar espacio. Algunos paneles táctiles y el software de controlador del dispositivo asociado pueden interpretar la pulsación del panel como un clic, y una pulsación seguida de un movimiento señalador continuo (un “clic y medio”) puede indicar arrastre. Los paneles táctiles permiten hacer clic y arrastrar incorporando una funcionalidad de botón en la superficie del panel táctil. Para seleccionar, se presiona sobre el panel táctil en lugar de un botón físico. Para arrastrar, en lugar de realizar la técnica de “hacer clic y medio”, se presiona hacia abajo mientras se está sobre el objeto, se arrastra sin liberar la presión y se suelta cuando se ha terminado. Los controladores de panel táctil también pueden permitir el uso de varios dedos para facilitar los otros botones del ratón (comúnmente pulsando con dos dedos para el botón central). Algunos paneles táctiles tienen “puntos calientes”, ubicaciones en el panel táctil usadas para la funcionalidad más allá de un ratón. Por ejemplo, en ciertos paneles táctiles, mover el dedo a lo largo de un borde del panel táctil actuará como una barra de desplazamiento, controlando la barra de desplazamiento y desplazando la ventana que tiene el interés en vertical o en horizontal. Apple usa el arrastre con dos dedos para desplazarse por sus paneles de seguimiento. Además, algunos controladores de panel táctil admiten zonas de pulsación, regiones en las que una pulsación ejecutará una función, por ejemplo, pausar un reproductor multimedia o iniciar una aplicación. Todas estas funciones se implementan en el software de controlador del dispositivo del panel táctil y pueden deshabilitarse. Los paneles táctiles se usan principalmente en ordenadores portátiles autónomos y no requieren una superficie plana cerca de la máquina. El panel táctil está cerca del teclado, y solo se requieren movimientos de los dedos muy cortos para mover el cursor por la pantalla; aunque es ventajoso, esto también hace posible que el pulgar de un usuario mueva el cursor del ratón accidentalmente mientras teclea. La funcionalidad del panel táctil está disponible para ordenadores de escritorio en teclados con paneles táctiles incorporados.
Los ejemplos de paneles táctiles incluyen paneles táctiles unidimensionales usados como la interfaz de control principal para la navegación del menú en reproductores de música portátiles iPod Classic de segunda generación y posteriores, en los que se denominan “ruedas de clic”, ya que sólo detectan movimiento a lo largo de un eje, que se envuelve como una rueda. En otra implementación de paneles táctiles, la línea de productos Microsoft Zune de segunda generación (Zune 80/120 y Zune 4/8) usa el tacto para el Zune Pad. La serie PowerBook 500 de Apple fue su primer ordenador portátil que portaba un dispositivo de este tipo, al que Apple se refiere como “panel de seguimiento” (trackpad). Los ordenadores portátiles más recientes de Apple presentan paneles de seguimiento que pueden detectar hasta cinco dedos simultáneamente, proporcionando más opciones de entrada, como la capacidad de abrir el menú contextual al pulsar con dos dedos. A finales de 2008, las revisiones de Apple de MacBook y MacBook Pro incorporaron un diseño de panel táctil “Tactile Touchpad” con funcionalidad de botón incorporada en la superficie de seguimiento.
La presente divulgación proporciona una solución que permite a un usuario de un sistema informático sin una pantalla táctil tradicional interaccionar con interfaces gráficas de usuario de manera similar a una pantalla táctil usando una combinación de entrada basada en la mirada y órdenes de usuario basadas en gestos. Además, la presente invención ofrece una solución para la interacción similar a pantalla táctil usando entrada de mirada y entrada basada en gestos como complemento o alternativa a las interacciones de pantalla táctil con un dispositivo informático que tiene una pantalla táctil.
Por tanto, el elemento 20 de visualización puede ser cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes. Por ejemplo, el elemento 20 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD, por sus siglas en inglés) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD, por sus siglas en inglés).
El ordenador 30 puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador en un vehículo o un dispositivo portátil como un teléfono celular, un reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos y otros dispositivos similares. La presente invención también puede implementarse en un “entorno inteligente” en el que, por ejemplo, los objetos presentados en múltiples elementos de visualización pueden seleccionarse y activarse.
Para producir la señal de seguimiento de mirada Dojo, una unidad 40 de seguimiento de mirada está incluida en el elemento 20 de visualización, o está asociada con el elemento 20 de visualización. En la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante.
El programa de software o las instrucciones implementadas por software asociadas con el módulo 40 de seguimiento de mirada pueden incluirse dentro del módulo 40 de seguimiento de mirada. El ejemplo específico que se muestra en las figuras 2, 3 y 20 ilustra el software asociado implementado en un módulo de seguimiento de mirada, que puede incluirse únicamente en el ordenador 30, en el módulo 40 de seguimiento de mirada, o en una combinación de los dos, dependiendo de la aplicación particular.
El sistema 10 informático comprende un dispositivo 30 informático, un módulo 40 de seguimiento de mirada, un elemento 20 de visualización, un módulo 36, 36’ de control y medios 50, 50’ de entrada de usuario tal como se muestra en las figuras 2, 3 y 20. El dispositivo 30 informático comprende varios otros componentes además de los ilustrados en las figuras 2 y 20, pero estos componentes se omiten de las figuras 2, 3 y 20 con fines ilustrativos. Los medios 50, 50’ de entrada de usuario comprenden elementos que son sensibles a la presión, el contacto físico, gestos u otro control manual por parte del usuario, por ejemplo, un panel 51 táctil. Además, los medios 50, 50’ de dispositivo de entrada también pueden incluir un teclado de ordenador, un ratón, una “bola de seguimiento” o puede usarse cualquier otro dispositivo, por ejemplo, un sensor IR, medios de entrada activados por voz o un dispositivo de detección de gestos corporales o entrada basada en proximidad. Sin embargo, en las realizaciones específicas mostradas en las figuras 2, 3 y 20, se incluye un panel 51 táctil en el dispositivo 50, 50’ de entrada de usuario.
Un módulo 32 de entrada, que puede ser un módulo de software incluido únicamente en un módulo 36’ de control o en los medios 50 de entrada de usuario o como un módulo independientes del módulo de control y los medios 50’ de entrada, está configurado para recibir señales desde el panel 51 táctil que reflejan los gestos de un usuario. Además, el módulo 32 de entrada también está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar.
Si el módulo 32 de entrada se incluye en los medios 50 de entrada, se proporcionan órdenes de control basadas en gestos al módulo 36 de control, véase la figura 2. En las realizaciones de la presente invención, el módulo 36’ de control incluye el módulo 32 de entrada basado en datos de gestos de los medios 50’ de entrada de usuario, véase la figura 3.
El módulo 36, 36’ de control está configurado además para adquirir señales de datos de mirada desde el módulo 40 de seguimiento de mirada. Además, el módulo 36, 36’ de control está configurado para determinar un área 120 de punto de mirada en el área 20 de presentación de información en la que se ubica el punto de mirada del usuario basándose en las señales de datos de mirada. El área 120 de punto de mirada es preferiblemente, tal como se ilustra en la figura 1, un área local alrededor de un punto de mirada del usuario.
Además, el módulo 36, 36’ de control está configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 20 de presentación de información gráfica basándose en el área de punto de mirada determinada y la al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. El módulo 36, 36’ de control puede estar integrado en el dispositivo 30 informático o puede estar asociado o acoplado al dispositivo 30 informático.
Por tanto, la presente divulgación permite que un usuario interaccione con un dispositivo 30 informático a la manera de una pantalla táctil, por ejemplo manipular objetos presentados en el área 20 de presentación de información, usando la mirada y gestos, por ejemplo moviendo al menos un dedo sobre un panel 51 táctil.
Preferiblemente, cuando el usuario toca el panel 51 táctil, la ubicación del punto de mirada inicial se indica mediante una retroalimentación visual, tal como una cruz o un signo similar. Esta ubicación inicial puede ajustarse moviendo el dedo sobre el panel 51 táctil. Después de eso, el usuario puede, de manera similar a una pantalla táctil, interaccionar con el área 20 de presentación de información usando diferentes gestos y la mirada. En el ejemplo que incluye un panel táctil, los gestos son movimientos de los dedos en relación con el panel 51 táctil y cada gesto está asociado con o corresponde a una orden de usuario basada en un gesto particular que da como resultado una acción de usuario.
A continuación, se analizará un número no exhaustivo de ejemplos de acciones de usuario que pueden ejecutarse usando una combinación de gestos y la mirada con respecto a las figuras 4-10:
• Mirando, por ejemplo, un objeto presentado en el área 20 de presentación de información y en relación con esto, tocando el panel táctil o presionando hacia abajo y sosteniendo un dedo 60 (véase la figura 4) sobre el panel 51 táctil durante un periodo de y ms, se resalta ese objeto. Si el dedo 60 se mantiene presionado durante un segundo periodo de z ms, puede visualizarse una casilla de información que presenta información referente a ese objeto. En la figura 4, este gesto se ilustra en relación con un panel 51 táctil. • Mirando, por ejemplo, un objeto presentado en el área 20 de presentación de información y en relación con esto pulsando en el panel 51 táctil usando un dedo 71, puede iniciarse una acción principal. Por ejemplo,
puede abrirse e iniciarse una aplicación mirando un icono que representa la aplicación y pulsando sobre el panel 51 táctil con un dedo. En la figura 5, este gesto se ilustra en relación con un panel 51 táctil.
• El usuario puede deslizar o arrastrar la vista presentada por el área 20 de presentación de información mirando en algún lugar en el área 20 de presentación de información y, en relación con esto, deslizando su dedo 81 sobre el panel 51 táctil. Una acción similar para deslizar un objeto por el área 20 de presentación de información puede lograrse mirando el objeto y, en relación con esto, deslizando el dedo 81 por el panel 51 táctil. Este gesto se ilustra en la figura 6 en relación con el panel 51 táctil. Por supuesto, este gesto puede ejecutarse por medio de más de un dedo, por ejemplo, usando dos dedos.
• El usuario puede seleccionar un objeto para acciones adicionales mirando el objeto y, en relación con esto, deslizando su dedo 91 sobre el panel 51 táctil en una dirección específica. Este gesto se ilustra en la figura 7 en relación con el panel 51 táctil. Por supuesto, este gesto puede ejecutarse por medio de más de un dedo, por ejemplo, usando dos dedos.
• Mirando un objeto o una parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, pellizcando con dos de sus dedos 101 y 102, es posible alejar ese objeto o parte de objeto. Este gesto se ilustra en la figura 8 en relación con el panel 51 táctil. De manera similar, mirando un objeto o parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, separando los dedos 101 y 102, es posible expandir o acercar ese objeto o parte de objeto.
• Mirando un objeto o parte de objeto presentado en el área 20 de presentación de información y, en relación con esto, rotando con dos de sus dedos 111 y 112, es posible rotar ese objeto o parte de objeto. Este gesto se ilustra en la figura 9 en relación con el panel 51 táctil.
• Mirando un borde o parte del marco del área 20 de presentación de información o en un área en las proximidades del borde o marco y, en relación con esto, deslizando su dedo o dedos 124 sobre el panel 51 táctil en una dirección que si se realiza en el punto de mirada habría sido desde el borde hacia el centro del área de presentación de información, puede aparecer un menú desde el borde.
• Mirando un control deslizante, por ejemplo, un control de volumen, el dedo puede moverse hacia arriba/abajo (o hacia la izquierda/derecha para un control horizontal) para ajustar el valor del control deslizante. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.
• Mirando un control de casilla de verificación mientras se hace un “gesto de verificación” (tal como una “V”) en el panel táctil, la casilla de verificación puede marcarse o desmarcarse. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.
• Mirando un objeto o una parte de objeto en el que hay varias opciones disponibles, por ejemplo “copiar” o “renombrar”, las diferentes opciones pueden visualizarse en lados diferentes del objeto después de que haya transcurrido un tiempo de permanencia de enfoque preestablecido o después de que se haya proporcionado la entrada de usuario apropiada. Luego se hace un gesto para elegir la acción. Por ejemplo, deslice rápidamente hacia la izquierda para copiar y deslice rápidamente hacia la derecha para renombrar. Con los medios de entrada apropiados, este gesto puede detectarse en un panel táctil, en una pantalla táctil o en el aire sin tocar físicamente los medios de entrada.
Al pulsar el dedo con más fuerza sobre el panel táctil, es decir, aumentar la presión de un dedo que toca el panel táctil, puede iniciarse un modo deslizante. Por ejemplo, mirando un objeto, tocando el panel táctil, aumentando la presión sobre el panel táctil y moviendo el dedo o dedos sobre la pantalla táctil, el objeto puede moverse o arrastrarse por el área de presentación de información. Cuando el usuario retira el dedo del panel 51 táctil, la sesión similar a pantalla táctil finaliza. Después de eso, el usuario puede iniciar una nueva sesión similar a pantalla táctil mirando el área 20 de presentación de información y colocando el dedo sobre el panel 51 táctil.
Tal como se mencionó, las acciones iniciadas por gestos y la mirada comentadas anteriormente son sólo a modo de ejemplo y hay un gran número de gestos adicionales en combinación con el punto de mirada que dan como resultado una acción que pueden concebirse. Con los medios de entrada adecuados, muchos de estos gestos pueden detectarse en un panel táctil, en un área predefinida de una pantalla táctil, en el aire sin tocar físicamente los medios de entrada, o mediante un medio de entrada que se lleva puesto en un dedo o una mano del usuario. A continuación, se describen algunos ejemplos adicionales:
• La selección de un objeto o parte de objeto se realiza según la presente invención mirando ese objeto o parte de objeto y presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo y liberando la presión aplicada por el dedo para seleccionar ese objeto o parte de objeto;
• Según otro ejemplo no cubierto por las reivindicaciones, de un objeto o parte de objeto puede realizarse mirando ese objeto o parte de objeto, presionando con un dedo (por ejemplo, un pulgar), ajustando con precisión moviendo el dedo, usando otro dedo (por ejemplo, el otro pulgar) para seleccionar ese objeto o parte de objeto. Además, puede usarse una doble pulsación para una “acción de doble clic” y un movimiento rápido hacia abajo para un “clic de botón derecho”.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se mueve un dedo (por ejemplo, uno de los pulgares) en un movimiento circular, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento en el sentido horario realiza una orden de “acercar” y un movimiento en el sentido antihorario realiza una orden de “alejar” o viceversa.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y en relación con esto manteniendo quieto un dedo (por ejemplo, uno de los pulgares) mientras se mueve otro dedo (por ejemplo, el otro pulgar) hacia arriba y hacia abajo, es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que un movimiento hacia arriba realiza una orden de “acercar” y un movimiento hacia abajo realiza una orden de “alejar” o viceversa.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información y mientras se presiona con fuerza sobre un panel táctil sensible a la presión con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada presión fuerte alterna entre diferentes niveles de zoom.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se pulsa dos veces sobre un panel táctil con un dedo (por ejemplo, uno de los pulgares), es posible acercar o alejar dicho objeto usando el punto de mirada como el punto central del zoom, en el que cada pulsación doble alterna entre diferentes niveles de zoom.
• Mirando un objeto o una parte de objeto con zoom presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos horizontales opuestos, es posible hacer zoom en ese objeto o parte de objeto.
• Mirando un objeto con zoom y en relación con esto sosteniendo un dedo (por ejemplo, un pulgar) todavía sobre la pantalla táctil mientras se mueve otro dedo (por ejemplo, el otro pulgar) en un movimiento circular, es posible hacer zoom en ese objeto o parte de objeto.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y en relación con esto manteniendo un dedo (por ejemplo, uno de los pulgares) todavía sobre la pantalla táctil mientras se desliza otro dedo (por ejemplo, el otro pulgar), es posible deslizar o arrastrar la vista presentada por el área de presentación de información.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y en relación con esto manteniendo un dedo (por ejemplo, uno de los pulgares) todavía sobre la pantalla táctil mientras se desliza otro dedo (por ejemplo, el otro pulgar), es posible deslizar o arrastrar la vista presentada por el área de presentación de información.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), puede activarse una función de desplazamiento automático de modo que el área de presentación se deslice de manera continua desde uno de los bordes de la pantalla hacia el centro mientras el punto de mirada está cerca del borde del área de presentación de información, hasta que se recibe una segunda entrada de usuario.
• Mirando un objeto o una parte de objeto presentado en el área de presentación de información y mientras se pulsa o se pulsa dos veces con un dedo (por ejemplo, uno de los pulgares), el área de presentación se desliza instantáneamente de acuerdo con el punto de mirada (por ejemplo, se usa el punto de mirada para indicar el centro de donde debe deslizarse el área de presentación de información).
• Mirando un objeto o una parte de objeto rotatorio presentado en el área de presentación de información mientras se deslizan dos dedos (por ejemplo, los dos pulgares) simultáneamente en sentidos verticales opuestos, es posible rotar ese objeto o parte de objeto.
Antes de realizar el gesto con dos dedos, puede usarse uno de los dedos para ajustar con precisión el punto de acción. Por ejemplo, puede mostrarse un símbolo de retroalimentación del usuario como un “dedo virtual” en el punto de mirada cuando el usuario toca la pantalla táctil. El primer dedo puede usarse para deslizarse y ajustar el
punto de acción con relación al punto original. Cuando el usuario toca la pantalla con el segundo dedo, se fija el punto de acción y se usa el segundo dedo para “hacer clic” en el punto de acción o para realizar gestos con dos dedos como los ejemplos de rotación, arrastre y zoom anteriores.
En los ejemplos de la presente divulgación, la sesión similar a pantalla táctil puede mantenerse a pesar de que el usuario haya retirado el dedo o los dedos del panel táctil si, por ejemplo, se mantiene pulsado o presionado una tecla o un botón específico o dedicado. De este modo, es posible que el usuario realice acciones que requieren múltiples pulsaciones en el panel táctil. Por ejemplo, un objeto puede moverse o arrastrarse por toda el área de presentación de información mediante múltiples movimientos de arrastre sobre el panel táctil.
Con referencia ahora a las figuras 11a, 11b y 12, se comentarán ejemplos adicionales. La figura 11a muestra una realización de un sistema con control integrado de mirada y manual según la presente invención. Esta realización del sistema se implementa en un dispositivo 100 con una pantalla 151 táctil tal como un iPad o dispositivo similar. El usuario puede controlar el dispositivo 100 basándose al menos en parte en señales de seguimiento de mirada que describen el punto de observación x, y del usuario sobre la pantalla 151 táctil y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de los medios 150 de entrada de usuario, que incluyen la pantalla 151 táctil.
La presente invención proporciona una solución que permite que un usuario de un dispositivo 100 con una pantalla 151 táctil interaccione con interfaces gráficas de usuario usando la mirada como entrada directa y órdenes de usuario basadas en gestos como entrada relativa. De este modo, es posible, por ejemplo, sostener el dispositivo 100 con ambas manos e interaccionar con una interfaz 180 gráfica de usuario presentada en la pantalla táctil con la mirada y los pulgares 161 y 162 tal como se muestra en la figura 11a.
En una realización alternativa no cubierta por las reivindicaciones, uno o más paneles 168 táctiles pueden estar dispuestos en la parte posterior del dispositivo 100’, es decir, en el lado del dispositivo que el usuario normalmente no mira durante el uso. Esta realización se ilustra en la figura 11b. De este modo, un usuario puede controlar el dispositivo, al menos en parte, basándose en señales de seguimiento de mirada que describen el punto de observación x, y del usuario en el área de presentación de información y basándose en gestos generados por el usuario, es decir, un movimiento de al menos un dedo sobre el uno o más paneles 168 táctiles en la parte posterior del dispositivo 100’, generándose órdenes de control basadas en gestos interpretadas por el módulo de control. Para producir la señal de seguimiento de mirada, se incluye un módulo 140 de seguimiento de mirada en el dispositivo 100, 100’. Un seguidor de la mirada adecuado se describe en la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante. El programa de software o las instrucciones implementadas por software asociadas con el módulo 140 de seguimiento de mirada pueden incluirse dentro del módulo 140 de seguimiento de mirada.
El dispositivo 100 comprende un módulo 140 de seguimiento de mirada, medios 150 de entrada de usuario que incluyen la pantalla 151 táctil y un módulo 132 de entrada, y un módulo 136 de control tal como se muestra en la figura 12. El dispositivo 100 comprende varios otros componentes además de los ilustrados en la figura 12 pero estos componentes se omiten de la figura 12 con fines ilustrativos.
El módulo 132 de entrada, que puede ser un módulo de software incluido únicamente en un módulo de control o en los medios 150 de entrada de usuario, está configurado para recibir señales desde la pantalla 151 táctil que reflejan los gestos de un usuario. Además, el módulo 132 de entrada también está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar. El módulo 136 de control está configurado para adquirir señales de datos de mirada desde el módulo 140 de seguimiento de mirada y órdenes de control basadas en gestos desde el módulo 132 de entrada. Además, el módulo 136 de control está configurado para determinar un área 180 de punto de mirada en el área de presentación de información, es decir la pantalla 151 táctil, en la que está ubicado el punto de mirada del usuario basándose en las señales de datos de mirada. El área 180 de punto de mirada es preferiblemente, tal como se ilustra en la figura 1, un área local alrededor de un punto de mirada del usuario.
Además, el módulo 136 de control está configurado para ejecutar al menos una acción de usuario que manipula una vista presentada sobre la pantalla 151 táctil basándose en el área de punto de mirada determinada y la al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.
En una posible realización adicional, cuando el usuario toca la pantalla 151 táctil, la ubicación del punto de mirada inicial se indica mediante una retroalimentación visual, tal como una cruz o un signo similar. Esta ubicación inicial puede ajustarse moviendo el dedo sobre la pantalla 151 táctil, por ejemplo, usando un pulgar 161 o 162. Después de
eso, el usuario puede interaccionar con la pantalla 151 táctil usando diferentes gestos y la mirada, en el que la mirada es el indicador directo del interés del usuario y los gestos son relativos a la pantalla 151 táctil. En la realización que incluye una pantalla táctil, los gestos son movimientos de los dedos con relación a la pantalla 151 táctil y cada gesto está asociado con o corresponde a una orden de usuario basada en un gesto particular que da como resultado una acción de usuario.
Con referencia ahora a las figuras 13a, 13b y 13c, se describirán módulos de control para generar órdenes basadas en gestos durante la interacción del usuario con un área 201 de presentación de información, por ejemplo, asociada con una WTRU (descrita a continuación con referencia a la figura 14), o un dispositivo informático o dispositivo portátil de mano (descrito a continuación con referencia a la figura 15a o 15b), o en un vehículo (descrito a continuación con referencia a la figura 21), o en un elemento de visualización montado en la cabeza para llevarse puesto (descrito a continuación con referencia a la figura 22). Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo en relación con esta realización.
Según una realización de la presente invención mostrada en la figura 13a, el módulo 200 de control está configurado para adquirir la entrada de usuario desde los medios 205 de entrada, por ejemplo, incluidos en un dispositivo en el que puede estar dispuesto el módulo de control, adaptado para detectar gestos generados por el usuario. Para este propósito, el módulo 200 de control puede incluir un módulo 232 de entrada que comprende un módulo 210 de adquisición de datos configurado para traducir los datos de gestos de los medios 205 de entrada en una señal de entrada. Los medios 205 de entrada pueden incluir elementos que son sensibles a la presión, el contacto físico, gestos u otro control manual por parte del usuario, por ejemplo, un panel táctil. Además, los medios 205 de entrada también pueden incluir un teclado de ordenador, un ratón, una “bola de seguimiento” o cualquier otro dispositivo, por ejemplo, un sensor IR, medios de entrada activados por voz o puede usarse un dispositivo de detección de gestos corporales o entrada de proximidad.
Además, el módulo 232 de entrada está configurado para determinar al menos una orden de control basada en gestos generada por el usuario basándose en la señal de entrada. Para este propósito, el módulo 232 de entrada comprende además un módulo 220 de determinación de gestos que se comunica con el módulo 210 de adquisición de datos. El módulo 220 de determinación de gestos también puede comunicarse con el módulo 240 de análisis de datos de mirada. El módulo 220 de determinación de gestos puede estar configurado para verificar si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado y opcionalmente usa señales de entrada de mirada para interpretar la señal de entrada. Por ejemplo, el módulo 200 de control puede comprender una unidad de almacenamiento de gestos (no mostrada) que almacena una biblioteca o lista de gestos predefinidos, correspondiendo cada gesto predefinido a una señal de entrada específica. Por tanto, el módulo 220 de determinación de gestos está adaptado para interpretar las señales recibidas y proporcionar, basándose en las señales interpretadas, órdenes de control basadas en gestos, por ejemplo, una orden de pulsación para activar un objeto, una orden de deslizar rápidamente o una orden de deslizar.
Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada del módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD, por sus siglas en inglés) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD, por sus siglas en inglés). Entonces, un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos en parte en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.
Según otra realización, un módulo de control según la presente invención mostrado en la figura 13b, el módulo de control 260 está configurado para adquirir órdenes de control basadas en gestos desde un módulo 232’ de entrada. El módulo 232’ de entrada puede comprender un módulo de determinación de gestos y un módulo de adquisición de datos tal como se describió anteriormente con referencia a la figura 13a. Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada recibidas desde el módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir un ordenador de
pantalla normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD). Un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos parcialmente en una señal de seguimiento ocular que describió el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.
Con referencia a la figura 13c, se comentará una realización adicional de un módulo de control según la presente invención. El módulo 232” de entrada se distribuye de tal manera que el módulo 210 de adquisición de datos se proporciona fuera del módulo 280 de control y el módulo 220 de determinación de gestos se proporciona en el módulo 280 de control. Un módulo 240 de análisis de datos de mirada está configurado para determinar un área de punto de mirada en el área 201 de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada recibidas desde el módulo 235 de seguimiento de mirada. El área 201 de presentación de información puede ser un elemento de visualización de cualquier tipo de pantalla o monitor de ordenador conocido, así como combinaciones de dos o más elementos de visualización independientes, que dependerán del dispositivo o sistema específico en el que se implementa el módulo de control. Por ejemplo, el elemento 201 de visualización puede constituir una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de visualización frontal (HUD) en un vehículo, o al menos un elemento de visualización montado en la cabeza (HMD). Un módulo 250 de procesamiento puede estar configurado para ejecutar al menos una acción de usuario que manipula una vista presentada en el área 201 de presentación de información basándose en el área de punto de mirada determinada y al menos una orden de control basada en gestos generada por el usuario, en el que la acción de usuario se ejecuta con el área de punto de mirada determinada como punto de partida. Por tanto, el usuario puede controlar un dispositivo o sistema basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 201 de visualización y basándose en los gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 205 de entrada de usuario tales como un panel táctil.
Con referencia a la figura 14, se describirá una unidad de transmisión/recepción inalámbrica (WTRU, por sus siglas en inglés) tal como un teléfono celular o un teléfono inteligente, según la presente invención. Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo. Además, sólo se describirán a continuación las partes o los módulos relacionados con la presente invención. Por consiguiente, la WTRU incluye un gran número de piezas, unidades y módulos adicionales que no se describen en el presente documento, tales como antenas y unidades de transmisión/recepción. La unidad 300 de transmisión/recepción inalámbrica (WTRU) está asociada con un área 301 de presentación de información y comprende además medios 305 de entrada, que incluyen, por ejemplo un módulo de entrada tal como se ha descrito anteriormente, adaptado para detectar gestos generados por el usuario y un módulo 325 de seguimiento de mirada adaptado para detectar datos de mirada de un espectador del área 301 de presentación de información. La WTRU comprende además un módulo 200, 260 o 280 de control tal como se describió anteriormente con referencia a las figuras 13a, 13b y 13c. El usuario puede controlar la WTRU basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en el área de presentación de información o elemento 301 de visualización y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 305 de entrada de usuario tales como un panel táctil. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.
Con referencia a las figuras 15a y 15b, se describirá un dispositivo informático o dispositivo portátil de mano según la presente invención. Las partes o los módulos descritos anteriormente no se describirán con detalle de nuevo. Además, sólo se describirán a continuación las partes o los módulos relacionados con la presente invención. Por consiguiente, el dispositivo incluye un gran número de piezas, unidades y módulos adicionales que no se describen en el presente documento, tales como unidades de memoria (por ejemplo, RAM/ROM) o unidades de procesamiento. El dispositivo informático o dispositivo 400 portátil de mano puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central, un procesador o dispositivo en un vehículo, o un dispositivo de mano como un teléfono celular, teléfono inteligente o dispositivo similar, reproductor de música portátil (tal como, por ejemplo, un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos, un iPad o dispositivo similar, una tableta, un tabléfono/tabletófono.
El dispositivo informático o dispositivo 400a de mano puede conectarse a un área 401a de presentación de información (por ejemplo, un elemento de visualización externo o un elemento de visualización frontal (HUD), o al menos un elemento de visualización montado en la cabeza (HMD)), tal como se muestra en la figura 15a, o el dispositivo informático o dispositivo 400b de mano incluye un área 401b de presentación de información, tal como se muestra en la figura 15b, tal como una pantalla de ordenador normal, una pantalla estereoscópica, un elemento de
visualización frontal (HUD), o al menos un elemento de visualización montado en la cabeza (HMD). Además, el dispositivo informático o dispositivo 400a, 400b de mano comprende medios 405 de entrada adaptados para detectar gestos generados por el usuario y un módulo 435 de seguimiento de mirada adaptado para detectar datos de mirada de un espectador del área 401 de presentación de información. Además, el dispositivo informático o dispositivo 400a, 400b de mano comprende un módulo 200, 260 o 280 de control tal como se describió anteriormente con referencia a las figuras 13a, 13b o 13c. El usuario puede controlar el dispositivo informático o el dispositivo 400a, 400b de mano basándose al menos parcialmente en una señal de seguimiento ocular que describió el punto de observación x, y del usuario en el área de presentación de información o elemento 401 de visualización y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 405 de entrada de usuario, tales como un panel táctil. Todas las acciones de usuario descritas en el contexto de esta solicitud también pueden ejecutarse con esta realización de la presente invención.
Con referencia ahora a las figuras 16-19, se describirán realizaciones de ejemplo de métodos según la presente invención. Las realizaciones del método descritas en relación con las figuras 16 - 19 se implementan en un entorno en el que se realizan ciertas etapas en un dispositivo, por ejemplo una WTRU descrita anteriormente con referencia a la figura 14, o un dispositivo informático o dispositivo de mano descrito anteriormente con referencia a la figura 15a o 15b y se realizan ciertas etapas en un módulo de control, por ejemplo un módulo de control tal como se describió anteriormente con referencia a las figuras 13a, 13b y 13c. Tal como conoce el experto, los métodos descritos en el presente documento también pueden implementarse en otros entornos, tales como, por ejemplo, en un sistema tal como se describió anteriormente con referencia a las figuras 2, 3 y 20 o en implementaciones ilustradas en las figuras 21 - 23. Las etapas similares o iguales realizadas en las diferentes realizaciones se indicarán con el mismo número de referencia a continuación en el presente documento.
Con referencia en primer lugar a la figura 16, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S510, el usuario toca un área sensible al tacto en el dispositivo (por ejemplo, medios de entrada tal como se describió anteriormente) con uno o más dedos de cada mano. Esta etapa no forma parte del método según realizaciones de la invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y se ha descrito anteriormente un número no exhaustivo de tales gestos. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.
Con referencia a la figura 17, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S590, el usuario hace un gesto con uno o más dedos y/o al menos una mano delante del área de presentación de información (gesto que se interpreta por medios de entrada tal como se describió anteriormente). La etapa S590 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. Tal como se mencionó anteriormente, la etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.
Con referencia a la figura 18, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S592, el usuario genera información tocando el panel táctil o el área predefinida de la pantalla táctil. La etapa S592 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se
detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, se determina un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o el área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.
Con referencia a la figura 19, el dispositivo está esperando una entrada de usuario en la etapa S500. En la etapa S594, el usuario genera información haciendo un gesto con uno o más de sus dedos y/o al menos una mano. La etapa S594 no forma parte del método según realizaciones de la presente invención. Hay un gran número de gestos concebibles que el usuario puede usar para controlar las acciones del dispositivo, y un número no exhaustivo de tales gestos se ha descrito anteriormente. En la etapa S520, los datos de gestos, es decir, la entrada de usuario, se traducen en una señal de entrada. En la etapa S530, se verifica si la señal de entrada corresponde a un gesto relativo predefinido o predeterminado. Si no, el procedimiento vuelve a la etapa S500. Por otro lado, en caso afirmativo (es decir, la señal de entrada corresponde a un gesto predefinido), se genera una orden de control basada en gestos en la etapa S570. En la etapa S540, el usuario mira una pantalla o un área de presentación de información y en la etapa S550 se detecta la mirada del usuario en el área de presentación de información. La etapa S540 no forma parte del método según realizaciones de la presente invención. En la etapa S560, se determina un área de punto de mirada que incluye el punto de mirada de un usuario en la pantalla o el área de presentación de información. En la etapa S580, se realiza una acción correspondiente al gesto relativo en el punto de mirada del usuario basándose en la orden de control basada en gestos y el punto de mirada determinado en el área de presentación de información.
Con referencia a la figura 21, se comentará un ejemplo adicional no cubierto por las reivindicaciones. Un módulo de seguimiento de mirada (no mostrado) y unos medios 900 de entrada de usuario se implementan en un vehículo (no mostrado). El área de presentación de información (no mostrada) puede ser un elemento de visualización frontal o una pantalla de información y entretenimiento. Los medios 900 de entrada pueden ser uno o dos paneles táctiles independientes en el lado posterior (para su uso con el/los dedo(s) índice) o en el lado frontal (para su uso con el/los pulgar(es)) del volante 910 del vehículo. Un módulo 950 de control está dispuesto en una unidad de procesamiento configurada para insertarse en un vehículo o en una unidad central de procesamiento del vehículo. Preferiblemente, el módulo de control es un módulo de control tal como se describe con referencia a las figuras 13a - 13c.
Con referencia a la figura 22, se comentará otra implementación de la presente invención. Un módulo de seguimiento de mirada (no mostrado) y un área de presentación de información (no mostrada) se implementan en un elemento 1000 de visualización montado en la cabeza para llevarse puesto que puede diseñarse para parecer un par de gafas. Una de tales soluciones se describe en el documento US 8.235.529. Los medios 1010 de entrada de usuario pueden incluir un giroscopio y estar adaptados para que los lleve puestos el usuario 1020 en una muñeca, mano o al menos un dedo. Por ejemplo, los medios 1010 de entrada pueden ser un anillo con una conexión inalámbrica a las gafas y un giroscopio que detecta pequeños movimientos del dedo en el que se usa el anillo. Los movimientos detectados que representan datos de gestos pueden comunicarse de manera inalámbrica a las gafas en las que se detecta la mirada y se usan órdenes de control basadas en gestos basándose en los datos de gestos de los medios de entrada para identificar y ejecutar la acción de usuario. Preferiblemente, se usa un módulo de control tal como se describe con referencia a las figuras 13a-13c con esta implementación.
Con referencia a la figura 23, se comentará una implementación de la presente divulgación. En esta implementación, el usuario 1120 puede controlar un dispositivo 1100 informático basándose al menos parcialmente en una señal de seguimiento ocular que describe el punto de observación x, y del usuario en un área 1140 de presentación de información y basándose en gestos generados por el usuario, es decir, puede detectarse un movimiento de al menos una parte del cuerpo del usuario, generándose órdenes de control basadas en gestos a través de medios 1150 de entrada de usuario. En este ejemplo, el usuario 1120 puede generar órdenes de control basadas en gestos realizando gestos por encima o con relación al teclado del dispositivo 1100 informático. El medio 1140 de entrada detecta los gestos, por ejemplo, usando una técnica de medición óptica o técnica de medición capacitiva. Preferiblemente, un módulo de control tal como se describe con referencia a las figuras 13a a 13c se usa con esta implementación y puede estar dispuesto en el dispositivo 1100 informático. El dispositivo 1100 informático puede ser, por ejemplo, uno cualquiera del grupo de un ordenador personal, estación de trabajo informática, ordenador central o un dispositivo de mano tal como un teléfono celular, reproductor de música portátil (tal como un iPod), ordenadores portátiles, juegos de ordenador, libros electrónicos y otros dispositivos similares. La presente invención también puede implementarse en un “entorno inteligente” en el que, por ejemplo, los objetos presentados en múltiples elementos de visualización pueden seleccionarse y activarse. Para producir las señales de seguimiento de mirada, se incluye una unidad de seguidor de mirada (no mostrada) en el dispositivo 1100 informático, o está asociada con el área 1140 de presentación de información. En la patente estadounidense n.° 7.572.008, titulada “Method and Installation for detecting and following an eye and the gaze direction thereof”, del mismo solicitante. Aunque esta memoria descriptiva contiene varias realizaciones específicas, estas no deben interpretarse como una limitación del alcance de la presente invención o de lo que puede reivindicarse, sino más bien como descripciones de características específicas de implementaciones a modo de ejemplo de la presente invención. Ciertas características que se describen en esta memoria descriptiva en el contexto de implementaciones individuales también pueden implementarse en combinaciones en una única implementación. Por el contrario, diversas
características que se describen en el contexto de una única implementación también pueden implementarse en múltiples implementaciones por separado o en cualquier subcombinación adecuada.
De manera similar, aunque las operaciones se representan en los dibujos en un orden particular, esto no debe entenderse como que se requiere que tales operaciones se realicen en el orden particular mostrado o en orden secuencial, ni que todas las operaciones ilustradas se realicen para lograr resultados deseables. En ciertas circunstancias, el procesamiento multitarea y en paralelo puede ser ventajoso. Además, la separación de diversos componentes del sistema en la implementación descrita anteriormente no debe entenderse como que se requiere tal separación en todas las implementaciones, y debe entenderse que los componentes y sistemas de programa descritos pueden integrarse generalmente juntos en un solo producto de software o empaquetarse en múltiples productos de software.
Claims (1)
- REIVINDICACIONESMódulo (136, 200, 260, 280) de control para generar órdenes basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, en el que dicho módulo de control está configurado para:adquirir una entrada de usuario desde medios (150, 205, 265, 305, 405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil, ycomprobar (S530) si dicha entrada de usuario corresponde a un gesto relativo predefinido, y esperar entrada de usuario adicional si dicha entrada de usuario no corresponde a un gesto relativo predefinido;adquirir señales de datos de mirada desde un módulo (40, 140, 235, 325, 425) de seguimiento de mirada;determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil;determinar (S560) un área (180) de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; yejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden el ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.Módulo de control según la reivindicación 1, que comprende una unidad de almacenamiento de gestos configurada para almacenar una biblioteca o lista de dichos gestos predefinidos, correspondiendo cada gesto predefinido a una entrada de usuario específica.Método para generar órdenes de control basadas en gestos durante la interacción del usuario con un área de presentación de información en una pantalla táctil asociada con un dispositivo informático, comprendiendo dicho método:adquirir la entrada de usuario correspondiente a los gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;comprobar (S530) si la entrada de usuario corresponde a un gesto relativo predefinido, y esperar una entrada de usuario adicional si la entrada de usuario no corresponde a un gesto relativo predefinido,adquirir señales de datos de mirada;determinar órdenes de control basadas en gestos generados por el usuario en forma de ajuste preciso del punto de acción basándose en la presión y el movimiento de los dedos del usuario sobre la pantalla táctil y una orden de selección de objeto basándose en la liberación de la presión de los dedos del usuario de la pantalla táctil;determinar (S560) un área de punto de mirada en dicha área de presentación de información que incluye el punto de mirada del usuario basándose al menos en las señales de datos de mirada; y ejecutar (S580) acciones de usuario para seleccionar un objeto presentado en dicha área de presentación de información, en el que dichas acciones de usuario comprenden un ajuste preciso basándose en dicho ajuste preciso del punto de acción con dicha área de punto de mirada determinada como punto de partida, y la selección de objeto basándose en dicha orden de selección de objeto.Unidad de transmisión/recepción inalámbrica, WTRU (300), asociada con un área de presentación de información en una pantalla (151) táctil y que comprende medios (305) de entrada adaptados para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación del dedo de la pantalla táctil; y un módulo (325) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información, comprendiendo además dicha WTRU un módulo de control según la reivindicación 1 ó 2.Sistema (100) para la interacción del usuario con un área de presentación de información en una pantalla (151) táctil, comprendiendo dicho sistema:medios (150) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;un módulo (40, 140) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información;comprendiendo además dicho sistema un módulo de control según la reivindicación 1 ó 2.Dispositivo (400a, 400b) informático asociado con un área de presentación de información en una pantalla (151) táctil, comprendiendo dicho dispositivo informático:medios (405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil;un módulo (425) de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información,comprendiendo además dicho dispositivo informáticoun módulo de control según la reivindicación 1 ó 2.Dispositivo (400a, 400b) portátil de mano que incluye un área de presentación de información en una pantalla (151) táctil y que comprende medios (405) de entrada que comprenden una pantalla (151) táctil, estando adaptados dichos medios de entrada de usuario para detectar gestos generados por el usuario en forma de presión de los dedos del usuario sobre, movimiento de los dedos del usuario sobre y liberación de la presión de los dedos del usuario de la pantalla táctil y un módulo de seguimiento de mirada adaptado para detectar datos de mirada de un espectador de dicha área de presentación de información, comprendiendo además dicho dispositivo portátil de mano un módulo de control según la reivindicación 1 ó 2.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261583013P | 2012-01-04 | 2012-01-04 | |
US13/646,299 US10013053B2 (en) | 2012-01-04 | 2012-10-05 | System for gaze interaction |
PCT/EP2012/075767 WO2013102551A1 (en) | 2012-01-04 | 2012-12-17 | System for gaze interaction |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2761198T3 true ES2761198T3 (es) | 2020-05-19 |
Family
ID=48694442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES12812924T Active ES2761198T3 (es) | 2012-01-04 | 2012-12-17 | Sistema de interacción con la mirada |
Country Status (7)
Country | Link |
---|---|
US (4) | US10013053B2 (es) |
EP (1) | EP2801009B1 (es) |
KR (1) | KR20140117469A (es) |
CN (2) | CN107368191B (es) |
CA (1) | CA2860381A1 (es) |
ES (1) | ES2761198T3 (es) |
WO (1) | WO2013102551A1 (es) |
Families Citing this family (280)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
US10025381B2 (en) | 2012-01-04 | 2018-07-17 | Tobii Ab | System for gaze interaction |
US10394320B2 (en) | 2012-01-04 | 2019-08-27 | Tobii Ab | System for gaze interaction |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
US10540008B2 (en) | 2012-01-04 | 2020-01-21 | Tobii Ab | System for gaze interaction |
US10488919B2 (en) | 2012-01-04 | 2019-11-26 | Tobii Ab | System for gaze interaction |
KR20130120599A (ko) * | 2012-04-26 | 2013-11-05 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
JP5342040B1 (ja) * | 2012-06-07 | 2013-11-13 | 株式会社エヌ・ティ・ティ・ドコモ | 表示装置、表示方法及びプログラム |
US10314492B2 (en) | 2013-05-23 | 2019-06-11 | Medibotics Llc | Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body |
US9582035B2 (en) | 2014-02-25 | 2017-02-28 | Medibotics Llc | Wearable computing devices and methods for the wrist and/or forearm |
US20130342672A1 (en) * | 2012-06-25 | 2013-12-26 | Amazon Technologies, Inc. | Using gaze determination with device input |
US9575960B1 (en) * | 2012-09-17 | 2017-02-21 | Amazon Technologies, Inc. | Auditory enhancement using word analysis |
US9201500B2 (en) * | 2012-09-28 | 2015-12-01 | Intel Corporation | Multi-modal touch screen emulator |
US9164625B2 (en) | 2012-10-14 | 2015-10-20 | Neonode Inc. | Proximity sensor for determining two-dimensional coordinates of a proximal object |
US10585530B2 (en) | 2014-09-23 | 2020-03-10 | Neonode Inc. | Optical proximity sensor |
US9921661B2 (en) | 2012-10-14 | 2018-03-20 | Neonode Inc. | Optical proximity sensor and associated user interface |
US20140111452A1 (en) * | 2012-10-23 | 2014-04-24 | Electronics And Telecommunications Research Institute | Terminal and method of controlling touch operations in the terminal |
US9612656B2 (en) | 2012-11-27 | 2017-04-04 | Facebook, Inc. | Systems and methods of eye tracking control on mobile device |
TW201421340A (zh) * | 2012-11-29 | 2014-06-01 | Egalax Empia Technology Inc | 一種放大影像的電子裝置與方法 |
US9829971B2 (en) * | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
US8814683B2 (en) | 2013-01-22 | 2014-08-26 | Wms Gaming Inc. | Gaming system and methods adapted to utilize recorded player gestures |
WO2014115387A1 (ja) * | 2013-01-28 | 2014-07-31 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
US9791921B2 (en) | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
US20140247232A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Two step gaze interaction |
KR102117086B1 (ko) * | 2013-03-08 | 2020-06-01 | 삼성디스플레이 주식회사 | 단말기 및 그의 조작 방법 |
JP5962547B2 (ja) * | 2013-03-08 | 2016-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11747895B2 (en) * | 2013-03-15 | 2023-09-05 | Intuitive Surgical Operations, Inc. | Robotic system providing user selectable actions associated with gaze tracking |
US9170724B2 (en) * | 2013-04-01 | 2015-10-27 | Jet Optoelectronics Co., Ltd. | Control and display system |
KR102111457B1 (ko) * | 2013-05-15 | 2020-05-15 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
US20140368432A1 (en) * | 2013-06-17 | 2014-12-18 | Tencent Technology (Shenzhen) Company Limited | Wearable smart glasses as well as device and method for controlling the same |
US10254844B2 (en) | 2013-06-20 | 2019-04-09 | Uday Parshionikar | Systems, methods, apparatuses, computer readable medium for controlling electronic devices |
US20160139762A1 (en) * | 2013-07-01 | 2016-05-19 | Inuitive Ltd. | Aligning gaze and pointing directions |
US9113036B2 (en) | 2013-07-17 | 2015-08-18 | Ebay Inc. | Methods, systems, and apparatus for providing video communications |
CN104349002B (zh) * | 2013-07-30 | 2017-11-21 | 柯尼卡美能达株式会社 | 操作装置以及图像处理装置 |
DE102013013362A1 (de) * | 2013-08-09 | 2015-02-12 | Daimler Ag | Verfahren und Vorrichtung zum komprimierten Übertragen von Bewegungskoordinaten aufweisenden Signalen eines Bedienelements in einem Fahrzeug |
US10914951B2 (en) * | 2013-08-19 | 2021-02-09 | Qualcomm Incorporated | Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking |
EP2843507A1 (en) | 2013-08-26 | 2015-03-04 | Thomson Licensing | Display method through a head mounted device |
US9400553B2 (en) | 2013-10-11 | 2016-07-26 | Microsoft Technology Licensing, Llc | User interface programmatic scaling |
KR101503159B1 (ko) * | 2013-10-15 | 2015-03-16 | (주)이스트소프트 | 시선의 위치를 감지하여 터치스크린을 제어하는 방법 |
CN105593785B (zh) * | 2013-11-01 | 2019-11-12 | 英特尔公司 | 凝视辅助触摸屏输入 |
DE102013019200A1 (de) * | 2013-11-15 | 2015-05-21 | Audi Ag | Verfahren zum Betreiben eines Bediensystems, Bediensystem und Vorrichtung mit einem Bediensystem |
US10558262B2 (en) * | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
CN104679226B (zh) * | 2013-11-29 | 2019-06-25 | 上海西门子医疗器械有限公司 | 非接触式医疗控制系统、方法及医疗设备 |
DE102013226244A1 (de) * | 2013-12-17 | 2015-06-18 | Siemens Aktiengesellschaft | Medizintechnische Steuerung |
JP6260255B2 (ja) * | 2013-12-18 | 2018-01-17 | 株式会社デンソー | 表示制御装置およびプログラム |
DE102013022035B4 (de) * | 2013-12-20 | 2015-11-12 | Audi Ag | Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren |
DE102013021931A1 (de) * | 2013-12-20 | 2015-06-25 | Audi Ag | Tastenlos bedienbare Bedienvorrichtung |
US9244539B2 (en) * | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
JP2015133088A (ja) * | 2014-01-16 | 2015-07-23 | カシオ計算機株式会社 | Guiシステム、表示処理装置、入力処理装置及びプログラム |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US12105281B2 (en) | 2014-01-21 | 2024-10-01 | Mentor Acquisition One, Llc | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US20150206173A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9201578B2 (en) | 2014-01-23 | 2015-12-01 | Microsoft Technology Licensing, Llc | Gaze swipe selection |
US9311718B2 (en) * | 2014-01-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Automated content scrolling |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US20160018654A1 (en) | 2014-01-24 | 2016-01-21 | Osterhout Group, Inc. | See-through computer display systems |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US12112089B2 (en) | 2014-02-11 | 2024-10-08 | Mentor Acquisition One, Llc | Spatial location presentation in head worn computing |
JP2015153195A (ja) * | 2014-02-14 | 2015-08-24 | オムロン株式会社 | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 |
US10429888B2 (en) | 2014-02-25 | 2019-10-01 | Medibotics Llc | Wearable computer display devices for the forearm, wrist, and/or hand |
KR20150107528A (ko) * | 2014-03-14 | 2015-09-23 | 삼성전자주식회사 | 사용자 인터페이스를 제공하는 방법과 전자 장치 |
KR20150108216A (ko) * | 2014-03-17 | 2015-09-25 | 삼성전자주식회사 | 입력 처리 방법 및 그 전자 장치 |
US9804753B2 (en) | 2014-03-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Selection using eye gaze evaluation over time |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
US10416759B2 (en) * | 2014-05-13 | 2019-09-17 | Lenovo (Singapore) Pte. Ltd. | Eye tracking laser pointer |
US9594427B2 (en) | 2014-05-23 | 2017-03-14 | Microsoft Technology Licensing, Llc | Finger tracking |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9766449B2 (en) | 2014-06-25 | 2017-09-19 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays |
EP2960775A1 (en) * | 2014-06-29 | 2015-12-30 | TradAir Ltd. | Methods and systems for secure touch screen input |
US9678567B2 (en) | 2014-07-16 | 2017-06-13 | Avaya Inc. | Indication of eye tracking information during real-time communications |
US9922439B2 (en) | 2014-07-25 | 2018-03-20 | Samsung Electronics Co., Ltd. | Displaying method, animation image generating method, and electronic device configured to execute the same |
EP3172653A4 (en) * | 2014-07-25 | 2018-01-17 | Samsung Electronics Co., Ltd. | Displaying method, animation image generating method, and electronic device configured to execute the same |
WO2016013893A1 (en) | 2014-07-25 | 2016-01-28 | Samsung Electronics Co., Ltd. | Displaying method, animation image generating method, and electronic device configured to execute the same |
WO2016017945A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
WO2016017956A1 (en) * | 2014-07-30 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable device and method of operating the same |
WO2016029422A1 (en) | 2014-08-29 | 2016-03-03 | Hewlett-Packard Development Company, L.P. | Touchscreen gestures |
US9582076B2 (en) * | 2014-09-17 | 2017-02-28 | Microsoft Technology Licensing, Llc | Smart ring |
JP6367673B2 (ja) * | 2014-09-29 | 2018-08-01 | 京セラ株式会社 | 電子機器 |
KR102337682B1 (ko) * | 2014-10-01 | 2021-12-09 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
EP3007051A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method for applying at least one operation on one or several objects displayed on a display interface of a device equipped with at least one microphone |
CN104360787A (zh) * | 2014-10-17 | 2015-02-18 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
DE112014007127T5 (de) * | 2014-11-03 | 2017-09-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und System zum Kalibrieren eines Eye-Tracking-Systems |
KR102422793B1 (ko) * | 2014-12-04 | 2022-07-19 | 삼성전자주식회사 | 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법 |
KR101655818B1 (ko) | 2014-12-11 | 2016-09-08 | 현대자동차주식회사 | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 |
CN107206896B (zh) * | 2014-12-22 | 2021-03-05 | 大众汽车有限公司 | 手指板条和手指板条的应用 |
US20160187976A1 (en) * | 2014-12-29 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptic effects based on eye tracking |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
AU2016220134A1 (en) | 2015-02-17 | 2017-08-31 | Thalmic Labs Inc. | Systems, devices, and methods for eyebox expansion in wearable heads-up displays |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
CN113017836A (zh) * | 2015-02-20 | 2021-06-25 | 柯惠Lp公司 | 手术室和手术部位感知 |
US9851790B2 (en) * | 2015-02-27 | 2017-12-26 | Lenovo (Singapore) Pte. Ltd. | Gaze based notification reponse |
RU2686019C2 (ru) * | 2015-03-13 | 2019-04-23 | Хуавей Текнолоджиз Ко., Лтд. | Электронное устройство, способ фотографирования и фотографическое устройство |
CN104699249B (zh) * | 2015-03-27 | 2018-04-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US10197805B2 (en) | 2015-05-04 | 2019-02-05 | North Inc. | Systems, devices, and methods for eyeboxes with heterogeneous exit pupils |
CA2986146A1 (en) | 2015-05-19 | 2016-11-24 | Magic Leap, Inc. | Dual composite light field device |
EP3304172A4 (en) | 2015-05-28 | 2019-01-02 | North Inc. | Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays |
US11252399B2 (en) * | 2015-05-28 | 2022-02-15 | Microsoft Technology Licensing, Llc | Determining inter-pupillary distance |
US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
US10229429B2 (en) * | 2015-06-26 | 2019-03-12 | International Business Machines Corporation | Cross-device and cross-channel advertising and remarketing |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
US11003246B2 (en) * | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
CN105630324A (zh) * | 2015-08-31 | 2016-06-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种显示器之间的切换方法、装置及系统 |
JP6407824B2 (ja) | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
WO2017041010A1 (en) | 2015-09-04 | 2017-03-09 | Thalmic Labs Inc. | Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses |
US10382746B1 (en) * | 2015-09-22 | 2019-08-13 | Rockwell Collins, Inc. | Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object |
US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
WO2017053971A1 (en) | 2015-09-24 | 2017-03-30 | Tobii Ab | Eye-tracking enabled wearable devices |
US20170097753A1 (en) * | 2015-10-01 | 2017-04-06 | Thalmic Labs Inc. | Systems, devices, and methods for interacting with content displayed on head-mounted displays |
EP3156879A1 (en) * | 2015-10-14 | 2017-04-19 | Ecole Nationale de l'Aviation Civile | Historical representation in gaze tracking interface |
US9904051B2 (en) | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
CN105357381A (zh) * | 2015-10-28 | 2016-02-24 | 努比亚技术有限公司 | 一种终端操作方法和智能终端 |
CN105468144B (zh) | 2015-11-17 | 2019-02-12 | 小米科技有限责任公司 | 智能设备控制方法及装置 |
US10802190B2 (en) | 2015-12-17 | 2020-10-13 | Covestro Llc | Systems, devices, and methods for curved holographic optical elements |
CN105677026B (zh) * | 2015-12-31 | 2020-01-31 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US10303246B2 (en) | 2016-01-20 | 2019-05-28 | North Inc. | Systems, devices, and methods for proximity-based eye tracking |
JP6712865B2 (ja) * | 2016-01-27 | 2020-06-24 | 株式会社コーエーテクモゲームス | 情報処理装置、設定画面表示方法及び設定画面表示プログラム |
US10151926B2 (en) | 2016-01-29 | 2018-12-11 | North Inc. | Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display |
US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
US10594974B2 (en) | 2016-04-07 | 2020-03-17 | Tobii Ab | Image sensor for vision based on human computer interaction |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
WO2017180906A2 (en) | 2016-04-13 | 2017-10-19 | Thalmic Labs Inc. | Systems, devices, and methods for focusing laser projectors |
KR101904889B1 (ko) | 2016-04-21 | 2018-10-05 | 주식회사 비주얼캠프 | 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 |
WO2017183943A1 (ko) * | 2016-04-21 | 2017-10-26 | 주식회사 비주얼캠프 | 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 |
EP3449337B1 (en) | 2016-04-29 | 2023-01-04 | Tobii AB | Eye-tracking enabled wearable devices |
US10223067B2 (en) | 2016-07-15 | 2019-03-05 | Microsoft Technology Licensing, Llc | Leveraging environmental context for enhanced communication throughput |
US10277874B2 (en) | 2016-07-27 | 2019-04-30 | North Inc. | Systems, devices, and methods for laser projectors |
US10459221B2 (en) | 2016-08-12 | 2019-10-29 | North Inc. | Systems, devices, and methods for variable luminance in wearable heads-up displays |
KR20180028796A (ko) * | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 이미지 표시 방법, 저장 매체 및 전자 장치 |
CN106200679B (zh) * | 2016-09-21 | 2019-01-29 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
CN106569598A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 菜单栏的管理装置及方法 |
US10088902B2 (en) * | 2016-11-01 | 2018-10-02 | Oculus Vr, Llc | Fiducial rings in virtual reality |
US10345596B2 (en) | 2016-11-10 | 2019-07-09 | North Inc. | Systems, devices, and methods for astigmatism compensation in a wearable heads-up display |
WO2018097632A1 (en) * | 2016-11-25 | 2018-05-31 | Samsung Electronics Co., Ltd. | Method and device for providing an image |
US10409057B2 (en) | 2016-11-30 | 2019-09-10 | North Inc. | Systems, devices, and methods for laser eye tracking in wearable heads-up displays |
US10379612B1 (en) * | 2016-12-16 | 2019-08-13 | Apple Inc. | Electronic device with gaze tracking system |
US10365492B2 (en) | 2016-12-23 | 2019-07-30 | North Inc. | Systems, devices, and methods for beam combining in wearable heads-up displays |
US10620910B2 (en) * | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
US10437074B2 (en) | 2017-01-25 | 2019-10-08 | North Inc. | Systems, devices, and methods for beam combining in laser projectors |
US10977858B2 (en) | 2017-03-30 | 2021-04-13 | Magic Leap, Inc. | Centralized rendering |
CN114125661B (zh) | 2017-03-30 | 2024-05-31 | 奇跃公司 | 声音再现系统和头戴式设备 |
KR20240014589A (ko) | 2017-04-14 | 2024-02-01 | 매직 립, 인코포레이티드 | 다중 모드 눈 추적 |
IL252056A (en) | 2017-05-01 | 2018-04-30 | Elbit Systems Ltd | Head-up display device, system and method |
US11079522B1 (en) | 2017-05-31 | 2021-08-03 | Magic Leap, Inc. | Fiducial design |
CN107239222B (zh) * | 2017-06-02 | 2021-06-22 | 汪念鸿 | 一种触摸屏的操控方法及终端设备 |
JP6833997B2 (ja) * | 2017-06-29 | 2021-02-24 | マクセル株式会社 | 携帯端末 |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
DE102017213005A1 (de) | 2017-07-27 | 2019-01-31 | Audi Ag | Verfahren zum Darstellen eines Anzeigeinhalts |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
JP7532249B2 (ja) | 2017-08-23 | 2024-08-13 | ニューラブル インコーポレイテッド | 高速視標追跡機能を有する脳-コンピュータインタフェース |
US11023040B2 (en) | 2017-09-21 | 2021-06-01 | Tobii Ab | Systems and methods for interacting with a computing device using gaze information |
US10761603B2 (en) * | 2017-10-16 | 2020-09-01 | Tobii Ab | Computing device accessibility via eye tracking |
JP7449856B2 (ja) | 2017-10-17 | 2024-03-14 | マジック リープ, インコーポレイテッド | 複合現実空間オーディオ |
US11300788B2 (en) | 2017-10-23 | 2022-04-12 | Google Llc | Free space multiple laser diode modules |
US10678116B1 (en) | 2017-11-09 | 2020-06-09 | Facebook Technologies, Llc | Active multi-color PBP elements |
KR20200098524A (ko) | 2017-11-13 | 2020-08-20 | 뉴레이블 인크. | 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스 |
US10732826B2 (en) * | 2017-11-22 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic device interaction adaptation based on user engagement |
US10572007B2 (en) | 2017-12-15 | 2020-02-25 | International Business Machines Corporation | Preventing unintended input |
US10739861B2 (en) * | 2018-01-10 | 2020-08-11 | Facebook Technologies, Llc | Long distance interaction with artificial reality objects using a near eye display interface |
JP2021511567A (ja) | 2018-01-18 | 2021-05-06 | ニューラブル インコーポレイテッド | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース |
IL276511B2 (en) | 2018-02-15 | 2024-01-01 | Magic Leap Inc | Musical instruments in mixed reality |
US11477510B2 (en) | 2018-02-15 | 2022-10-18 | Magic Leap, Inc. | Mixed reality virtual reverberation |
US20190253700A1 (en) | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
CN111713121B (zh) | 2018-02-15 | 2022-04-12 | 奇跃公司 | 用于混合现实的双听者位置 |
WO2019190561A1 (en) | 2018-03-30 | 2019-10-03 | Tobii Ab | Deep learning for three dimensional (3d) gaze prediction |
US10558895B2 (en) | 2018-03-30 | 2020-02-11 | Tobii Ab | Deep learning for three dimensional (3D) gaze prediction |
US10671890B2 (en) | 2018-03-30 | 2020-06-02 | Tobii Ab | Training of a neural network for three dimensional (3D) gaze prediction |
US10534982B2 (en) | 2018-03-30 | 2020-01-14 | Tobii Ab | Neural network training for three dimensional (3D) gaze prediction with calibration parameters |
CN108519834A (zh) * | 2018-04-04 | 2018-09-11 | Oppo广东移动通信有限公司 | 图像显示方法、装置、存储介质和电子设备 |
CN112602005A (zh) | 2018-04-24 | 2021-04-02 | 曼特收购第一有限责任公司 | 具有视力矫正和增加的内容密度的透视计算机显示系统 |
US10871874B2 (en) * | 2018-05-09 | 2020-12-22 | Mirametrix Inc. | System and methods for device interaction using a pointing device and attention sensing device |
US10528131B2 (en) | 2018-05-16 | 2020-01-07 | Tobii Ab | Method to reliably detect correlations between gaze and stimuli |
WO2019221724A1 (en) | 2018-05-16 | 2019-11-21 | Tobii Ab | Method to reliably detect correlations between gaze and stimuli |
US20210256353A1 (en) | 2018-05-17 | 2021-08-19 | Tobii Ab | Autoencoding generative adversarial network for augmenting training data usable to train predictive models |
US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
US10602292B2 (en) | 2018-06-14 | 2020-03-24 | Magic Leap, Inc. | Methods and systems for audio signal filtering |
US10810992B2 (en) | 2018-06-14 | 2020-10-20 | Magic Leap, Inc. | Reverberation gain normalization |
US10735884B2 (en) | 2018-06-18 | 2020-08-04 | Magic Leap, Inc. | Spatial audio for interactive audio environments |
CN110682912B (zh) * | 2018-06-19 | 2023-03-31 | 斑马智行网络(香港)有限公司 | 一种数据处理方法、装置和机器可读介质 |
CN112513983A (zh) | 2018-06-21 | 2021-03-16 | 奇跃公司 | 可穿戴系统语音处理 |
US11080417B2 (en) * | 2018-06-26 | 2021-08-03 | Google Llc | Private eye-to-eye communications with wearable heads up display |
US11480804B2 (en) | 2018-07-20 | 2022-10-25 | Tobii Ab | Distributed foveated rendering based on user gaze |
US11201953B2 (en) | 2018-07-24 | 2021-12-14 | Magic Leap, Inc. | Application sharing |
EP3827297A4 (en) | 2018-07-26 | 2022-01-26 | Bayerische Motoren Werke Aktiengesellschaft | APPARATUS AND METHOD FOR USE WITH A VEHICLE |
JP6971932B2 (ja) * | 2018-07-27 | 2021-11-24 | 日本電信電話株式会社 | 映像操作装置、映像操作方法、及び映像操作プログラム |
US10996748B2 (en) | 2018-09-10 | 2021-05-04 | Apple Inc. | Gaze-dependent display encryption |
US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
WO2020069006A1 (en) | 2018-09-25 | 2020-04-02 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN116320907A (zh) | 2018-10-05 | 2023-06-23 | 奇跃公司 | 近场音频渲染 |
CN116249053B (zh) | 2018-10-05 | 2024-07-19 | 奇跃公司 | 用于双耳音频渲染的耳间时间差交叉渐变器 |
JP7448530B2 (ja) | 2018-10-09 | 2024-03-12 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
US11183140B2 (en) | 2018-10-10 | 2021-11-23 | International Business Machines Corporation | Human relationship-aware augmented display |
WO2020080107A1 (ja) * | 2018-10-15 | 2020-04-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN113227935B (zh) | 2018-10-24 | 2024-09-13 | 奇跃公司 | 异步asic |
US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
EP3903162A4 (en) | 2018-12-27 | 2022-03-02 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
KR20200091988A (ko) * | 2019-01-23 | 2020-08-03 | 삼성전자주식회사 | 장치를 제어하기 위한 방법 및 그 전자 장치 |
CN113678096A (zh) * | 2019-02-13 | 2021-11-19 | 曹新林 | 用于在计算机图形软件环境中处理命令的系统和方法 |
US10825196B2 (en) | 2019-02-15 | 2020-11-03 | Universal City Studios Llc | Object orientation detection system |
WO2020180719A1 (en) | 2019-03-01 | 2020-09-10 | Magic Leap, Inc. | Determining input for speech processing engine |
WO2020189254A1 (ja) * | 2019-03-15 | 2020-09-24 | ソニー株式会社 | 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体 |
KR102198867B1 (ko) * | 2019-04-25 | 2021-01-05 | 주식회사 비주얼캠프 | 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치 |
WO2020247863A1 (en) | 2019-06-06 | 2020-12-10 | Magic Leap, Inc. | Photoreal character configurations for spatial computing |
US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
EP3809251A1 (en) * | 2019-10-17 | 2021-04-21 | BAE SYSTEMS plc | User-vehicle interface |
WO2021044117A1 (en) | 2019-09-06 | 2021-03-11 | Bae Systems Plc | User-vehicle interface |
CN114830182A (zh) | 2019-10-18 | 2022-07-29 | 奇跃公司 | 视觉惯性里程计的重力估计和光束法平差 |
JP7558268B2 (ja) | 2019-10-25 | 2024-09-30 | マジック リープ, インコーポレイテッド | 非均一ステレオレンダリング |
WO2021081435A1 (en) | 2019-10-25 | 2021-04-29 | Magic Leap, Inc. | Reverberation fingerprint estimation |
US11959997B2 (en) | 2019-11-22 | 2024-04-16 | Magic Leap, Inc. | System and method for tracking a wearable device |
WO2021113782A1 (en) | 2019-12-04 | 2021-06-10 | Magic Leap, Inc. | Variable-pitch color emitting display |
US11627430B2 (en) | 2019-12-06 | 2023-04-11 | Magic Leap, Inc. | Environment acoustics persistence |
JP2023504207A (ja) | 2019-12-09 | 2023-02-01 | マジック リープ, インコーポレイテッド | ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 |
US11337023B2 (en) | 2019-12-20 | 2022-05-17 | Magic Leap, Inc. | Physics-based audio and haptic synthesis |
WO2021138516A1 (en) | 2019-12-31 | 2021-07-08 | Neonode Inc. | Contactless touch input system |
CN113220111A (zh) * | 2020-01-21 | 2021-08-06 | 厦门歌乐电子企业有限公司 | 一种车载设备控制装置及方法 |
WO2021163224A1 (en) | 2020-02-10 | 2021-08-19 | Magic Leap, Inc. | Dynamic colocation of virtual content |
EP4104002A4 (en) | 2020-02-14 | 2023-08-09 | Magic Leap, Inc. | 3D OBJECT ANNOTATION |
JP2023514573A (ja) | 2020-02-14 | 2023-04-06 | マジック リープ, インコーポレイテッド | ツールブリッジ |
EP4103999A4 (en) | 2020-02-14 | 2023-08-02 | Magic Leap, Inc. | SESSION MANAGER |
US11910183B2 (en) | 2020-02-14 | 2024-02-20 | Magic Leap, Inc. | Multi-application audio rendering |
US11778410B2 (en) | 2020-02-14 | 2023-10-03 | Magic Leap, Inc. | Delayed audio following |
CN116325808B (zh) | 2020-03-02 | 2023-12-22 | 奇跃公司 | 沉浸式音频平台 |
US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
US11561613B2 (en) | 2020-05-29 | 2023-01-24 | Magic Leap, Inc. | Determining angular acceleration |
CN117044234A (zh) | 2020-05-29 | 2023-11-10 | 奇跃公司 | 表面适当碰撞 |
US11630639B2 (en) * | 2020-12-08 | 2023-04-18 | Samsung Electronics Co., Ltd. | Control method of electronic device using a plurality of sensors and electronic device thereof |
CN115176275A (zh) * | 2020-12-24 | 2022-10-11 | 京东方科技集团股份有限公司 | 图像畸变处理方法和装置 |
US11474598B2 (en) * | 2021-01-26 | 2022-10-18 | Huawei Technologies Co., Ltd. | Systems and methods for gaze prediction on touch-enabled devices using touch interactions |
CN112947761B (zh) * | 2021-03-26 | 2023-07-28 | 芜湖汽车前瞻技术研究院有限公司 | Ar-hud系统的虚像位置调整方法、装置及存储介质 |
US11503998B1 (en) | 2021-05-05 | 2022-11-22 | Innodem Neurosciences | Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases |
KR20240011834A (ko) | 2021-05-27 | 2024-01-26 | 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) | 핸드헬드 디바이스용 후면 사용자 인터페이스 |
US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
CN116225209A (zh) * | 2022-11-03 | 2023-06-06 | 溥畅(杭州)智能科技有限公司 | 一种基于眼动追踪的人机交互方法及系统 |
CN116088175A (zh) * | 2022-11-30 | 2023-05-09 | 业成科技(成都)有限公司 | 显示系统及其车用抬头显示系统 |
CN117348737A (zh) * | 2023-12-06 | 2024-01-05 | 之江实验室 | 一种基于多通道交互的数据处理系统及方法 |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689619A (en) * | 1996-08-09 | 1997-11-18 | The United States Of America As Represented By The Secretary Of The Army | Eyetracker control of heads-up displays |
US5859642A (en) * | 1996-09-26 | 1999-01-12 | Sandia Corporation | Virtual button interface |
US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
US8482488B2 (en) | 2004-12-22 | 2013-07-09 | Oakley, Inc. | Data input management system for wearable electronically enabled interface |
JP2003337963A (ja) * | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
US20040138849A1 (en) * | 2002-09-30 | 2004-07-15 | Albrecht Schmidt | Load sensing surface as pointing device |
SE524003C2 (sv) | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
US9274598B2 (en) * | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
DK1607840T3 (da) * | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
US7295904B2 (en) * | 2004-08-31 | 2007-11-13 | International Business Machines Corporation | Touch gesture based interface for motor vehicle |
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
US20080147488A1 (en) * | 2006-10-20 | 2008-06-19 | Tunick James A | System and method for monitoring viewer attention with respect to a display and determining associated charges |
US20100277428A1 (en) | 2007-08-31 | 2010-11-04 | Itsuo Kumazawa | Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program |
ES2366490T3 (es) * | 2007-12-05 | 2011-10-20 | Almeva Ag | Disposición de interacción para la interacción entre una pantalla y un objeto de puntero. |
WO2009076702A1 (en) | 2007-12-14 | 2009-06-25 | Doubleiq Pty Ltd | A method and apparatus for the display and/or processing of information, such as data |
US20090251407A1 (en) * | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Device interaction with combination of rings |
US20110012848A1 (en) | 2008-04-03 | 2011-01-20 | Dong Li | Methods and apparatus for operating a multi-object touch handheld device with touch sensitive display |
US20090273562A1 (en) * | 2008-05-02 | 2009-11-05 | International Business Machines Corporation | Enhancing computer screen security using customized control of displayed content area |
US8754855B2 (en) * | 2008-06-27 | 2014-06-17 | Microsoft Corporation | Virtual touchpad |
CN101344816B (zh) * | 2008-08-15 | 2010-08-11 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
JP2010215194A (ja) * | 2009-03-19 | 2010-09-30 | Hyundai Motor Co Ltd | 車載機器の操作装置 |
KR101596890B1 (ko) * | 2009-07-29 | 2016-03-07 | 삼성전자주식회사 | 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 |
US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
US20110202842A1 (en) | 2010-02-12 | 2011-08-18 | Dynavox Systems, Llc | System and method of creating custom media player interface for speech generation device |
US8922480B1 (en) | 2010-03-05 | 2014-12-30 | Amazon Technologies, Inc. | Viewer-based device control |
KR101334107B1 (ko) * | 2010-04-22 | 2013-12-16 | 주식회사 굿소프트웨어랩 | 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 |
US8810509B2 (en) | 2010-04-27 | 2014-08-19 | Microsoft Corporation | Interfacing with a computing application using a multi-digit sensor |
CN102270035A (zh) * | 2010-06-04 | 2011-12-07 | 三星电子株式会社 | 以非触摸方式来选择和操作对象的设备和方法 |
US9557812B2 (en) | 2010-07-23 | 2017-01-31 | Gregory A. Maltz | Eye gaze user interface and calibration method |
US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
US8463075B2 (en) * | 2010-08-11 | 2013-06-11 | International Business Machines Corporation | Dynamically resizing text area on a display device |
KR101685991B1 (ko) | 2010-09-30 | 2016-12-13 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
EP2503479B1 (en) | 2011-03-21 | 2015-08-05 | BlackBerry Limited | Login method based on direction of gaze |
CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
US9363361B2 (en) | 2011-04-12 | 2016-06-07 | Microsoft Technology Licensing Llc | Conduct and context relationships in mobile devices |
US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
US10025381B2 (en) | 2012-01-04 | 2018-07-17 | Tobii Ab | System for gaze interaction |
US10394320B2 (en) | 2012-01-04 | 2019-08-27 | Tobii Ab | System for gaze interaction |
US20170235360A1 (en) | 2012-01-04 | 2017-08-17 | Tobii Ab | System for gaze interaction |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
US10540008B2 (en) | 2012-01-04 | 2020-01-21 | Tobii Ab | System for gaze interaction |
US10488919B2 (en) | 2012-01-04 | 2019-11-26 | Tobii Ab | System for gaze interaction |
CN104246682B (zh) | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
US10210480B2 (en) | 2012-05-31 | 2019-02-19 | Apple Inc. | Avoiding a redundant display of a notification on multiple user devices |
ES2898981T3 (es) | 2012-08-09 | 2022-03-09 | Tobii Ab | Activación rápida en un sistema de seguimiento de la mirada |
US9147248B2 (en) | 2012-12-21 | 2015-09-29 | Tobii Technology Ab | Hardware calibration of eye tracker |
US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
KR102080183B1 (ko) | 2013-04-18 | 2020-04-14 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 잠금 해제 방법 |
CN104750232B (zh) | 2013-12-28 | 2017-12-29 | 华为技术有限公司 | 一种眼动跟踪方法及装置 |
US9766959B2 (en) | 2014-03-18 | 2017-09-19 | Google Inc. | Determining user response to notifications based on a physiological parameter |
US20150309566A1 (en) | 2014-04-29 | 2015-10-29 | Harman International Industries, Inc. | Gaze tracking system |
US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
EP3187976A3 (en) | 2015-12-31 | 2017-09-13 | Tobii AB | System for gaze interaction |
-
2012
- 2012-10-05 US US13/646,299 patent/US10013053B2/en active Active
- 2012-12-17 EP EP12812924.4A patent/EP2801009B1/en active Active
- 2012-12-17 WO PCT/EP2012/075767 patent/WO2013102551A1/en active Application Filing
- 2012-12-17 CN CN201710584409.6A patent/CN107368191B/zh active Active
- 2012-12-17 ES ES12812924T patent/ES2761198T3/es active Active
- 2012-12-17 CN CN201280070732.7A patent/CN104145232B/zh active Active
- 2012-12-17 CA CA2860381A patent/CA2860381A1/en not_active Abandoned
- 2012-12-17 KR KR1020147021352A patent/KR20140117469A/ko not_active Application Discontinuation
-
2018
- 2018-05-21 US US15/985,049 patent/US10324528B2/en active Active
-
2019
- 2019-06-18 US US16/444,925 patent/US20200174561A1/en not_active Abandoned
-
2020
- 2020-10-23 US US17/078,703 patent/US11573631B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210255700A1 (en) | 2021-08-19 |
CA2860381A1 (en) | 2013-07-11 |
EP2801009A1 (en) | 2014-11-12 |
CN107368191A (zh) | 2017-11-21 |
US20180335838A1 (en) | 2018-11-22 |
CN104145232A (zh) | 2014-11-12 |
CN107368191B (zh) | 2020-09-25 |
US20130169560A1 (en) | 2013-07-04 |
US10324528B2 (en) | 2019-06-18 |
EP2801009B1 (en) | 2019-10-02 |
US10013053B2 (en) | 2018-07-03 |
WO2013102551A1 (en) | 2013-07-11 |
US11573631B2 (en) | 2023-02-07 |
US20200174561A1 (en) | 2020-06-04 |
CN104145232B (zh) | 2017-09-22 |
KR20140117469A (ko) | 2014-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2761198T3 (es) | Sistema de interacción con la mirada | |
US10025381B2 (en) | System for gaze interaction | |
US10540008B2 (en) | System for gaze interaction | |
US10394320B2 (en) | System for gaze interaction | |
US20200285379A1 (en) | System for gaze interaction | |
US10488919B2 (en) | System for gaze interaction | |
US10324620B2 (en) | Processing capacitive touch gestures implemented on an electronic device | |
ES2657948T3 (es) | Acción contextual basada en oculómetro | |
EP2657811B1 (en) | Touch input processing device, information processing device, and touch input control method | |
KR102166330B1 (ko) | 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치 | |
JP2015510158A (ja) | ベンディング可能なディスプレイ装置及びそのディスプレイ方法 | |
WO2020091875A1 (en) | Multi-form factor information handling system (ihs) with automatically reconfigurable palm rejection | |
EP3187977A1 (en) | System for gaze interaction | |
WO2018156912A1 (en) | System for gaze interaction | |
EP3356920B1 (en) | Electronic device for displaying multiple screens and control method therefor | |
US20140111486A1 (en) | Precise Object Selection in Touch Sensing Systems | |
TWI564780B (zh) | 觸控螢幕姿態技術 | |
WO2018160258A1 (en) | System and methods for extending effective reach of a user's finger on a touchscreen user interface | |
KR20140085900A (ko) | 터치 입력 인터페이스 제공 장치 및 방법 |