ES2633016T3 - Sistemas y métodos para proveer audio a un usuario según una entrada de mirada - Google Patents

Sistemas y métodos para proveer audio a un usuario según una entrada de mirada Download PDF

Info

Publication number
ES2633016T3
ES2633016T3 ES14766037.7T ES14766037T ES2633016T3 ES 2633016 T3 ES2633016 T3 ES 2633016T3 ES 14766037 T ES14766037 T ES 14766037T ES 2633016 T3 ES2633016 T3 ES 2633016T3
Authority
ES
Spain
Prior art keywords
user
audio
point
view
particular area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14766037.7T
Other languages
English (en)
Inventor
Anders Vennstrom
Fredrik LINDH
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2633016T3 publication Critical patent/ES2633016T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Abstract

Un método para proveer audio a un usuario (610), en donde el método comprende: determinar, con un dispositivo de seguimiento de ojos (814), un punto de mirada (510a; 510b) de un usuario (610) en una visualización (520a; 520b; 620; 812); hacer que, con un sistema informático (802), un dispositivo de audio (815) produzca audio para el usuario (610), en donde el contenido del audio se basa al menos en parte en el punto de mirada (510a; 510b) del usuario (610) en la visualización (520a; 520b; 620; 812); caracterizado por que el método además comprende: determinar, con el sistema informático (802), cuántos canales de sonido produce el dispositivo de audio (815); determinar, con el sistema informático (802), un área particular de la visualización (520a; 520b; 620; 812) que se asocia a cada canal de sonido determinado para producirse por el dispositivo de audio (815); y en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende un canal de sonido asociado al área particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).

Description

5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Sistemas y metodos para proveer audio a un usuario segun una entrada de mirada.
Antecedentes de la invencion
La presente invencion se refiere, en general, a sistemas y metodos para la interaccion humano-ordenador que utiliza informacion de direccion de la mirada y, en particular, a sistemas y metodos para su uso en relacion con interfaces graficas de usuario, juegos u otras aplicaciones intensivas de interaccion humano-ordenador.
Las interacciones entre usuarios y ordenadores comprenden muchas formas y han evolucionado mucho con el paso de los anos. Las interacciones tfpicas se basan en entradas de tipo mecanicas por el usuario, al ordenador. Por ejemplo, un usuario normalmente acciona un ordenador a traves del uso de un teclado y raton. El teclado y raton dependen fuertemente de las capacidades y reflejos de motor fino de un usuario. Tomemos un juego de ordenador moderno a modo de ejemplo, el exito puede depender de la capacidad para mover, de forma rapida y precisa, un raton en respuesta a acciones que se muestran en una pantalla. La capacidad del usuario en el juego se basa, por lo tanto, en su nivel de coordinacion.
Recientemente, nuevas modalidades de entrada han ganado popularidad. Por ejemplo, los dispositivos de entrada basados en el tacto y gestos son de alguna forman de uso popular. Un dispositivo de entrada basado en el tacto depende de que un usuario contacte ffsicamente una superficie, normalmente una visualizacion, para interactuar con un ordenador. Un dispositivo de entrada basado en gestos depende de que un usuario lleve a cabo un gesto con una parte del cuerpo, por ejemplo, que salude con una mano o que deslice una mano en el aire. Un sistema optico que de alguna forma comprende una camara y una fuente luminosa captura dicho gesto.
Todas las modalidades de entrada tradicionales comparten un problema comun, ellas dependen de la capacidad de un usuario de dirigir, de forma precisa, una parte del cuerpo hacia un punto de interes particular en una visualizacion del ordenador. Ello presenta la posibilidad de error entre un punto de interes intencionado de un usuario en la visualizacion y el punto de interes real provisto al ordenador mediante la modalidad de entrada tradicional.
Una verdadera representacion de un punto de interes de un usuario se puede obtener siguiendo la direccion de la mirada del usuario. La tecnologfa de seguimiento de la mirada o de los ojos no es nueva, muchos ejemplos se proveen en el mercado como, por ejemplo, la tecnologfa que vende Tobii Technology (
www.tobii.com) y que se describe en la patente de EE.UU. numero 7,572,008.
La utilizacion de informacion de direccion de la mirada para interacciones simples con un ordenador tambien se ha descrito previamente, un ejemplo es la patente de EE.Uu. numero 6,204,828 que describe un sistema para mover un cursor en una visualizacion en respuesta a la direccion de la mirada de un usuario.
Los sistemas de entrada previos que usan direcciones de la mirada se han centrado en tecnicas de entrada basicas, donde un metodo de entrada manual se reemplaza por un componente de la mirada. Existe un problema respecto a como utilizar completamente los beneficios de la informacion de direccion de la mirada en la interaccion humano- ordenador, de modo que la informacion de direccion de la mirada no solo reemplaza una porcion de un metodo de entrada mecanico sino que complementa y mejora la capacidad de un usuario de interactuar con un ordenador.
Los documentos EP 1 854 516 A1 y US 6,675,075 B1 describen, respectivamente, un metodo segun el preambulo de la reivindicacion 1, un sistema segun el preambulo de la reivindicacion 14 y un medio legible por maquina no transitorio segun el preambulo de la reivindicacion 16.
Breve descripcion de la invencion
En una realizacion, se provee un metodo para ofrecer audio a un usuario segun la reivindicacion 1. El metodo puede incluir determinar, con un dispositivo de seguimiento de ojos, un punto de mirada de un usuario en una visualizacion. El metodo puede incluir tambien hacer, con un sistema informatico, que un dispositivo de audio produzca audio para el usuario, donde el contenido del audio se puede basar al menos en parte en el punto de mirada del usuario en la visualizacion.
En otra realizacion, se provee un sistema para ofrecer audio a un usuario segun la reivindicacion 14. El sistema puede incluir un dispositivo de seguimiento de ojos para al menos determinar un punto de mirada de un usuario en una visualizacion. El sistema puede incluir tambien un sistema informatico para al menos hacer que un dispositivo de audio produzca audio para el usuario, donde el contenido del audio se puede basar al menos en parte en el punto de mirada del usuario en la visualizacion.
En otra realizacion, se provee un medio legible por maquina no transitorio con instrucciones allf almacenadas para ofrecer audio a un usuario segun la reivindicacion 16. Las instrucciones se pueden ejecutar por al menos un procesador para al menos determinar un punto de mirada de un usuario en una visualizacion. La instruccion puede
5
10
15
20
25
30
35
40
45
50
ser tambien ejecutable para hacer que un dispositivo de audio produzca audio para el usuario, donde el contenido del audio se puede basar al menos en parte en el punto de mirada del usuario en la visualizacion.
Breve descripcion de los dibujos
La presente invencion se describe en conjunto con las figuras anexas:
la Figura 1 es un diagrama de bloques de un metodo de la invencion para emitir comandos en una ubicacion de la mirada;
la Figura 2 es un diagrama de bloques de un metodo de la invencion para proveer audio a un usuario segun la entrada de mirada;
la Figura 3 es un diagrama de bloques de un metodo de la invencion para visualizar un mapa que es interactivo segun una ubicacion de la mirada de un usuario;
la Figura 4 es un sistema de comandos y menu a modo de ejemplo de la invencion que usa la entrada de mirada para llevar a cabo selecciones;
las Figuras 5A & 5B son diagramas esquematicos de dos metodos para proveer efectos visuales de profundidad de campo a un usuario observador;
las Figuras 6A & 6B muestran un resultado a modo de ejemplo de una realizacion de la invencion que modifica una visualizacion segun la posicion de la cabeza del usuario;
la Figura 7 es un diagrama de bloques de un metodo de la invencion para cambiar el comportamiento de los elementos de programa segun la entrada de mirada; y
la Figura 8 es un diagrama de bloques de un sistema informatico a modo de ejemplo que se puede usar en al menos alguna porcion de los aparatos o sistemas de la presente invencion, o que puede implementar al menos alguna porcion de los metodos de la presente invencion.
En las figuras anexas, los componentes y/o caractensticas similares pueden tener la misma etiqueta de referencia numerica. Ademas, varios componentes del mismo tipo se pueden distinguir haciendo que la etiqueta de referencia sea seguida por una letra que distingue entre los componentes y/o caractensticas similares. Si solamente se usa la primera etiqueta de referencia numerica en la memoria descriptiva, la descripcion es aplicable a cualquiera de los componentes y/o caractensticas similares que tienen la misma primera etiqueta de referencia numerica independientemente del sufijo de letra.
Descripcion detallada de la invencion
La siguiente descripcion provee unicamente realizaciones a modo de ejemplo y no pretende limitar el alcance, aplicabilidad o configuracion de la descripcion. Mas bien, la siguiente descripcion de las realizaciones a modo de ejemplo proveera a las personas con experiencia en la tecnica una descripcion facilitadora para implementar una o mas realizaciones a modo de ejemplo. Una persona con experiencia en la tecnica comprendera que se pueden llevar a cabo varios cambios en la funcion y disposicion de los elementos sin apartarse del espmtu y alcance de la invencion segun se establece en las reivindicaciones anexas. Por ejemplo, no todo detalle de cada realizacion descrita en la presente memoria estara presente en todas las versiones de dicha realizacion, o los detalles de una realizacion descrita en la presente memoria pueden estar presentes en cualquier version de otras realizaciones descritas en la presente memoria.
Detalles espedficos se brindan en la siguiente descripcion para proveer una comprension exhaustiva de las realizaciones. Sin embargo, una persona con experiencia ordinaria en la tecnica comprendera que se pueden practicar las realizaciones sin dichos detalles espedficos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invencion pueden mostrarse como componentes en forma de diagrama de bloques para no oscurecer las realizaciones con un detalle innecesario. En otras instancias, los circuitos, procesos, algoritmos, estructuras y tecnicas conocidas se pueden mostrar sin detalle innecesario para evitar oscurecer las realizaciones.
Asimismo, se advierte que las realizaciones individuales se pueden describir como un proceso que se ilustra como un diagrama de flujo, un diagrama de flujo de datos, un diagrama de estructura o un diagrama de bloques. Aunque un diagrama de flujo puede describir las funciones como un proceso secuencial, muchas de las funciones se pueden llevar a cabo en paralelo o al mismo tiempo. Ademas, el orden de las funciones se puede disponer de manera diferente. Un proceso puede finalizar cuando sus funciones se completan, pero podna tener etapas adicionales no descritas o incluidas en una figura. Asimismo, no todas las funciones en un proceso particularmente descrito pueden ocurrir en todas las realizaciones, o pueden existir funciones adicionales no descritas en relacion espedfica con el proceso particular. Un proceso puede corresponder a un metodo, funcion, procedimiento, subrutina, subprograma,
5
10
15
20
25
30
35
40
45
50
55
etc. Cuando un proceso corresponde a una funcion, su finalizacion corresponde a un retorno de la funcion a la funcion de llamada o funcion principal.
Ademas, las realizaciones de la invencion se pueden implementar, al menos en parte, ya sea de forma manual o automatica. Las implementaciones manuales o automaticas se pueden ejecutar, o al menos se las puede ayudar, a traves del uso de maquinas, hardware, software, firmware, soporte intermedio, microcodigo, lenguajes de descripcion de hardware o cualquier combinacion de ellos. Cuando se implementan en software, firmare, soporte intermedio o microcodigo, el codigo de programa o segmentos de codigo para llevar a cabo las tareas necesarias se pueden almacenar en un medio legible por maquina. Uno o mas procesadores pueden llevar a cabo las tareas necesarias.
Emision de comando en la ubicacion de la mirada
Segun una realizacion de la presente invencion, se provee un metodo para la interaccion humano-ordenador por el cual un ordenador muestra artfculos en una visualizacion. El usuario puede emitir comandos al ordenador que modifican los artfculos en la visualizacion. Con el fin de determinar que artfculos se modificaran, una unidad de deteccion de la mirada detecta el punto de interes del usuario en la visualizacion. El usuario entonces emite comandos al ordenador de modo que los artfculos ubicados en o cerca del punto de interes se modifican. Tanto los aspectos visuales como los subyacentes de los artfculos se pueden modificar. Por ejemplo, la apariencia de un artfculo se puede modificar, o las caractensticas del artfculo, y como interactua con el usuario y/o lleva a cabo otras tareas en el contexto del programa particular se puede modificar (p.ej., la velocidad a la cual se mueve, las acciones que puede tomar, etc.).
El usuario puede emitir comandos al ordenador mediante cualquier forma de dispositivo de entrada, incluidos el teclado y raton tradicionales, comandos de voz y/o unidad de deteccion de la mirada. En algunas realizaciones, las combinaciones de dichas entradas se pueden combinar e interpretar para significar comandos diferentes a los que tienen lugar cuando se recibe una entrada individual mediante un solo dispositivo.
Para demostrar dicha realizacion, se provee el ejemplo de un juego de ordenador. Un juego de ordenador muestra muchos artfculos en una visualizacion, por ejemplo un juego de ordenador del estilo juego de disparo en primera persona (FPS, por sus siglas en ingles) con frecuencia mostrara, de manera realista, una guerra y las condiciones de guerra como, por ejemplo, terreno, vehfculos en movimiento, soldados y similares. El usuario interactua con el juego brindando al ordenador comandos como, por ejemplo, donde mover un personaje, donde disparar, cuando saltar, cuando correr, cuando arrastrarse, etc.
Una unidad de deteccion de la mirada determina el punto de interes del usuario en una visualizacion y, segun una realizacion de la presente invencion, el usuario ingresa un comando para controlar un personaje u otro componente en un juego. El comando modifica artfculos en la visualizacion en la ubicacion del punto de interes del usuario segun lo determine la unidad de deteccion de la mirada. Por ejemplo, en el caso de un juego de ordenador del estilo FPS, un usuario puede presionar un boton del raton o boton de controlador del juego para "disparar" un arma. Mediante el registro del punto de interes del usuario, cuando el usuario provee el comando para disparar el arma, el resultado del comando tiene lugar en la ubicacion del punto de interes. De esta manera, el usuario puede mirar al objetivo intencionado del disparo de arma simulado y mantener un nivel mas alto de control en cuanto a la precision del juego, cuando se compara con controles de juego de ordenador tradicionales.
A modo de otro ejemplo, el punto de interes del usuario se puede usar para indicar sobre que objeto en una visualizacion llevar a cabo una accion. Tomemos, por ejemplo, un juego de ordenador en el cual un personaje yace en el suelo y apunta a traves de un rifle de francotirador. Tradicionalmente, si un personaje enemigo se aproxima, el usuario disparana el rifle de francotirador tras emitir un comando de disparo al programa de ordenador. Mediante la utilizacion de la informacion de mirada, sin embargo, el usuario puede mirar a la izquierda o derecha de la pantalla, lo cual puede significar que el usuario desea usar un arma diferente como, por ejemplo, un arma de mano o similares. De esta manera, el usuario puede controlar el personaje para que deje el rifle de francotirador en el suelo, comprometa al enemigo con un arma alternativa y luego regrese al rifle de francotirador para continuar avanzando a traves del juego.
Por consiguiente, con referencia a la Figura 1, en un metodo 100 provisto por una realizacion de la invencion, el punto de mirada de un usuario en una visualizacion se puede determinar en el bloque 110. En algunas realizaciones, una entrada adicional como, por ejemplo, una pulsacion de tecla, entrada de controlador o comando de voz, se puede recibir tambien en el bloque 120. En el bloque 130, se puede determinar sobre que objeto visualizado u otro elemento de programa se pretende actuar en correlacion con el punto de mirada y/o entrada adicional. En el bloque 140, se puede determinar que accion espedfica se correlaciona con el punto de mirada y/o entrada adicional. En el bloque 150, la accion se puede tomar sobre el objeto visualizado u otro elemento de programa.
Audio direccional
5
10
15
20
25
30
35
40
45
50
En otra realizacion de la presente invencion, se provee un metodo para influir en el audio que un operador de un dispositivo informatico escucha.
Segun la presente realizacion, se provee un dispositivo informatico, un dispositivo de deteccion de la mirada y un programa de ordenador ejecutado por el dispositivo informatico. Al igual que con cualquier realizacion descrita en la presente memoria, el dispositivo de deteccion de la mirada se puede integrar con el dispositivo informatico o puede estar separado pero conectarse al dispositivo informatico a traves de medios cableados o inalambricos. Ademas, el dispositivo de deteccion de la mirada puede ser usado por el usuario u observar al usuario desde otra posicion separada.
El dispositivo de deteccion de la mirada determina la ubicacion en una pantalla a la cual el usuario esta mirando, a saber, el "punto de mirada". El programa de ordenador utiliza el punto de mirada para llevar a cabo una accion que emite (o, en otras palabras, reproduce y/o produce) sonido desde el dispositivo informatico o manipula el sonido ya emitido desde el ordenador.
Por ejemplo, en el caso de un juego de ordenador que tiene multiples personajes (avatares, p.ej., representaciones de personas o similares) en una pantalla con la cual se simula a cada personaje hablando, la direccion de la mirada se puede utilizar para determinar que voz de los personajes se emitira por el dispositivo informatico.
La voz se puede emitir por mas de un personaje por vez y solamente el volumen de la voz alterado segun la ubicacion de la mirada, o solamente la voz de un personaje se puede emitir segun la ubicacion de la mirada.
Por ejemplo, en el caso de un juego de ordenador en donde el campo visual de un usuario se simula en una visualizacion, detectar una ubicacion de la mirada en un personaje en el lado izquierdo del campo visual puede resultar en la voz emitida de un personaje o personajes en el lado derecho del campo visual que se reduce en volumen, mientras la voz del personaje en el lado izquierdo del campo visual se mantiene a un volumen "normal" o aumentado.
Dicha alteracion del volumen puede ocurrir casi instantaneamente, de modo que mientras el usuario contempla diferentes ubicaciones en una visualizacion, el volumen de la voz de diferentes personajes aumenta y disminuye segun la proximidad de la mirada del usuario respecto del personaje. De manera alternativa, la alteracion del volumen puede ocurrir de manera no instantanea para proveer una salida de audio suave a un usuario y adaptarse al rapido movimiento de la mirada. Por ejemplo, el audio solo puede cambiar segun la direccion de la mirada del usuario si el usuario fija su atencion en una ubicacion durante un umbral de tiempo predeterminado.
Por supuesto, la voz es simplemente un ejemplo de audio que puede emitir un dispositivo informatico. Tambien se puede emitir musica, efectos de sonido y similares. De hecho, cualquier sonido que un dispositivo informatico pueda producir se puede usar con exito con la presente invencion.
La presente invencion puede tambien utilizar canales de audio, por ejemplo, se pueden usar canales izquierdos y derechos en un sistema de audio estereo para emitir diferentes volumenes y/o diferentes sonidos segun la ubicacion de la mirada del usuario. Por ejemplo, si se determina que la direccion de la mirada se encuentra en el centro de una visualizacion, todos los sonidos que se pretende transmitir hacia la izquierda del centro de la visualizacion se pueden emitir a traves del canal de audio izquierdo del dispositivo informatico y todos los sonidos que se pretende transmitir hacia la derecha de la visualizacion se pueden emitir a traves del canal de audio derecho del dispositivo informatico. Si se determina que la direccion de la mirada se encuentra a la izquierda o derecha del centro de la visualizacion, se puede usar el canal de audio izquierdo o derecho, segun corresponda, de forma aislada. Los sonidos transmitidos mediante sistemas "de sonido ambiente" (p.ej., sistemas de canales de audio 5.1 o 6.1) se pueden manipular de maneras similares segun la direccion de la mirada detectada. Ademas, diferentes longitudes de onda de audio se pueden separar y emitir desde los mismos o diferentes altavoces segun la posicion de la direccion de la mirada.
Cualquier forma de dispositivo de emision de sonido es apropiada para su uso con la presente realizacion de la presente invencion, por ejemplo, auriculares, altavoces o similares. Los dispositivos de audio pueden ser dispositivos monofonicos, estereofonicos o multicanal (p.ej., sonido ambiente). En algunas realizaciones, el dispositivo de audio, mientras es solo estereofonico, puede producir sonido multicanal simulado).
Cualquier forma de sonido o audio es apropiada para su uso con la presente realizacion de la presente invencion, por ejemplo, voz, efectos de sonido, musica, etc. El sonido se puede proveer por un programa de ordenador directamente o por una tercera parte como, por ejemplo, un usuario humano que ejecuta una version de aquel o de un programa de ordenador similar en otra ubicacion y sonar, como, por ejemplo, la voz del usuario transmitida mediante internet u otra red o protocolo de comunicacion.
Por consiguiente, con referencia a la Figura 2, se muestra un metodo 200 para proveer audio a un usuario. En el bloque 210, se puede determinar el punto de mirada de un usuario en una visualizacion. En el bloque 220, un
5
10
15
20
25
30
35
40
45
50
dispositivo de audio puede producir audio segun al menos en parte el punto de mirada del usuario en la visualizacion, en donde el contenido del audio depende del punto de mirada del usuario.
La manera en la cual se determina el contenido puede variar segun la realizacion de la invencion. En el bloque 221, el contenido de audio entregado se puede asociar a un area particular de la visualizacion en la cual se ubica el punto de mirada del usuario, donde el area particular es una subporcion de un area total de la visualizacion. En algunas realizaciones, ello puede significar que solamente se produce el audio asociado al area particular. En otras realizaciones, el audio asociado al volumen particular se puede presentar a un volumen y otro audio asociado a otras porciones de la visualizacion se puede producir a un volumen mas bajo.
En una realizacion alternativa, en el bloque 222, se puede determinar cuantos canales de sonido, reales o simulados, produce el dispositivo de audio. Dicha informacion se puede usar para entregar audio mediante el dispositivo de audio multicanal en un numero de maneras.
En el bloque 223, uno o mas canales de sonido asociados a un area particular de la visualizacion en la cual descansa el punto de mirada se pueden determinar y producir. En algunas realizaciones, algunos canales pueden no tener contenido de audio alguno producido cuando el punto de mirada se asocia a subporciones de la visualizacion correspondientes a otro canal. En otras realizaciones, diferentes canales se pueden producir a diferentes volumenes segun donde descanse el punto de mirada.
En el bloque 224, el contenido entregado por el dispositivo de audio puede variar en frecuencia segun la ubicacion del punto de mirada. Que canales producen que frecuencias tambien puede variar segun el punto de mirada.
En el bloque 225, se pueden determinar una distancia y direccion virtuales desde cada una de multiples fuentes de sonido virtual hasta el punto de mirada del usuario en la visualizacion. La distancia y direccion virtuales se pueden medir a lo largo de los ejes X, Y y Z de la visualizacion y/o mundo virtual. El contenido del audio puede entonces incluir cada fuente de sonido virtual que se produce en una manera basada al menos en parte en la distancia y direccion virtuales desde la fuente de sonido virtual hasta el punto de mirada del usuario.
A modo de ejemplo, consideremos un juego interactivo donde el usuario esta interactuando dentro de un entorno de guerra simulado. En la pantalla se pueden visualizar muchos artfculos productores de audio como, por ejemplo, personajes que disparan armas, tanques que disparan armas, explosiones, personajes que hablan o gritan y aviones que vuelan. Segun las realizaciones de la presente invencion, cuando un usuario coloca su mirada en un punto en la visualizacion, se determina una distancia virtual entre dicho punto y otros artfculos productores de audio en la visualizacion. Segun dicha distancia virtual, los niveles de audio se proveen al usuario, por ejemplo una explosion junto al punto en la visualizacion se puede proveer a un volumen relativamente alto, mientras que un avion que esta volando a cierta distancia del punto en la visualizacion se puede proveer a un volumen relativamente bajo. Segun la presente invencion es posible emitir multiples de dichas fuentes de audio a diferentes niveles dinamicos de volumen segun su distancia virtual respecto de un punto en la visualizacion (p.ej., el punto de mirada).
Control de mapa
En otra realizacion de la presente invencion, se provee un metodo para manipular un objeto en una visualizacion que representa una vista topografica de un area grande o similares. En otras palabras, un mapa visualizado en una visualizacion se puede manipular segun la informacion de direccion de la mirada.
Un programa de ordenador funciona en (a saber, se ejecuta por) un dispositivo informatico, el programa de ordenador muestra en un dispositivo de visualizacion conectado al dispositivo informatico un mapa que representa un area. Las porciones del mapa se pueden aumentar o minimizar con el fin de ver las porciones en mayor o menor detalle, ello se conoce normalmente como "aumentar el zoom" o "reducir el zoom" del mapa.
La ubicacion de la porcion del mapa para aumentar el zoom o reducir el zoom se determina por un usuario. Normalmente, dicha determinacion se lleva a cabo posicionando un dispositivo de enfoque como, por ejemplo, un raton en una porcion del mapa y luego ofreciendo un comando para aumentar o reducir el zoom en el mapa. El comando se puede proveer moviendo una rueda de desplazamiento en un raton, presionando una tecla en un teclado o llevando a cabo un gesto en una pantalla tactil. En algunas instancias, no se requiere la etapa de posicionar un dispositivo de enfoque y simplemente es suficiente un comando para aumentar o reducir el zoom en el mapa.
Segun una realizacion de la presente invencion, la etapa de posicionar un dispositivo de enfoque se puede proveer por la informacion de mirada desde un dispositivo de deteccion de la mirada. Al determinar la ubicacion en una visualizacion en la cual el usuario esta mirando (direccion de la mirada), el mapa puede aumentar o reducir el zoom sobre dicha ubicacion.
5
10
15
20
25
30
35
40
45
50
Con respecto a la Figura 3, se muestra un metodo 300 a modo de ejemplo de la presente realizacion de la presente invencion. En el bloque 310, un mapa se visualiza en un dispositivo de visualizacion. En el bloque 320, se determina la ubicacion de la mirada de un usuario en el mapa y/o dispositivo de visualizacion.
En el bloque 330, se recibe un comando del usuario. El comando se puede proveer a modo de un medio de entrada conocido que incluye, pero sin limitacion, un teclado, raton, rueda de desplazamiento, gestos en una pantalla tactil, gestos en espacio 3d, auricular de realidad virtual, voz o similares.
En el bloque 340, se puede determinar la accion a tomarse, segun al menos una de la ubicacion de la mirada y/o el comando. Por ejemplo, si la ubicacion de la mirada se encuentra en cualquier lado menos en una region de borde del mapa, entonces el mapa puede ampliarse o minimizarse desde la ubicacion de la mirada, posiblemente segun el comando recibido (p.ej., reduciendo el zoom cuando se recibe un comando de voz a tal efecto o cuando se recibe una pulsacion de tecla de un signo de sustraccion mediante un teclado; y aumentar el zoom cuando se recibe un comando de voz a tal efecto o cuando se recibe una pulsacion de tecla de un signo de suma mediante un teclado).
Si la ubicacion de la mirada se encuentra en una region de borde del mapa, o fuera del borde del mapa, entonces el mapa se puede planear en la direccion de la ubicacion de la mirada respecto del centro del mapa. Por ejemplo, si la ubicacion de la mirada es hacia la izquierda del mapa y se recibe un comando para hacer una panoramica (p.ej., mediante un comando de voz a tal efecto o una pulsacion de tecla como, por ejemplo, "p"), entonces debe interpretarse una accion de panoramica izquierda. Independientemente de si el mapa se aumentara o se hara una panoramica, en el bloque 350 el mapa se revisualiza en la nueva configuracion.
Ademas, cuando se aumenta un mapa segun la presente invencion, es ventajoso hacer una panoramica de forma automatica del mapa en una pequena cantidad para volver a orientar la vista ampliada del mapa con el fin de evitar la distorsion del area intencionada de zoom. En otras palabras, si un usuario pretende aumentar el zoom en un punto tres cuartos del trayecto a lo largo y tres cuartos del trayecto hacia arriba de un mapa, al aumentar el zoom ligeramente el punto ya no sera de tres cuartos del trayecto hacia arriba y tres cuartos del trayecto a lo largo del mapa. Por consiguiente, mientras el mapa aumenta, debe hacer una panoramica ligeramente para volver a orientar el punto de modo que permanezca sustancialmente en su posicion original respecto del resto del mapa.
Clic de la mirada/Comando rosa
En otra realizacion de la presente invencion, se provee un metodo para manipular la navegacion entre elecciones de seleccion en una visualizacion en pantalla.
Segun la presente realizacion, un menu que comprende multiples elecciones se muestra en una visualizacion por un programa de ordenador. Un usuario puede navegar entre los artfculos utilizando su direccion de la mirada, opcionalmente en combinacion con otro dispositivo de entrada.
El menu se puede disponer en cualquier formato como, por ejemplo, un menu de artfculos tradicional de opciones multiples, todas dispuestas a la vez en la pantalla. O, ademas, se puede mostrar una cantidad mas pequena de artfculos y, al activar al menos parcialmente un artfculo, se pueden visualizar mas artfculos del menu.
En un ejemplo de la presente invencion, un programa de ordenador muestra un icono en la visualizacion. Al determinar que una direccion de la mirada se encuentra sobre o en cercana proximidad al icono, iconos adicionales se visualizan cerca del icono inicial y la direccion de la mirada puede moverse hacia dichos nuevos iconos con el fin de seleccionarlos para su activacion.
En una mejora adicional, un dispositivo de entrada puede usarse para ayudar en la seleccion de artfculos en la visualizacion. Por ejemplo, una tecla en un teclado se puede presionar y mantener presionada para permitir la seleccion de artfculos dentro del menu. Mientras se presiona la tecla, los artfculos en el menu cambian la apariencia cuando la direccion de la mirada se encuentra sobre el artfculo, ello ayuda al usuario a saber cuando se esta seleccionado un artfculo. Tras liberar la tecla presionada, el artfculo que tenga actualmente la direccion de la mirada sobre el se activara y un programa de ordenador llevara a cabo la accion asociada a dicho icono.
Consideremos, a modo de ejemplo, un menu en pantalla en un juego de ordenador o similares. Normalmente, los juegos de ordenador requieren respuestas y reflejos rapidos, por lo tanto, es ventajoso proveer un metodo para seleccionar rapidamente un artfculo entre multiples opciones. Tal metodo mostrara un icono inicial en el centro de la visualizacion, activando un dispositivo de entrada como, por ejemplo, un teclado o raton o controlador de juego, se notifica al programa de ordenador que se accedera al menu mediante la informacion de la mirada. Tras ubicar la direccion de la mirada sobre o en cercana proximidad a un icono, mas iconos aparecen junto al icono inicial. Se puede entonces acceder a dichos nuevos iconos mirando los iconos. Tras activar un dispositivo de entrada, el icono seleccionado en respuesta a una direccion de la mirada detectada se convierte en el icono activado y el programa de ordenador lleva a cabo una funcion predeterminada. De esta manera, se puede acceder a una representacion
5
10
15
20
25
30
35
40
45
tipo "rosa" de un menu en pantalla mediante la informacion de la mirada, una representacion tipo "rosa" es una representacion donde los iconos se expanden hacia afuera desde un pequeno subconjunto inicial de iconos.
La Figura 4 demuestra una visualizacion de dicha realizacion 400. El elemento 410 puede ser, inicialmente, el unico elemento presente en una visualizacion y representar el deseo de iniciar un comando de menu. Cuando el punto de mirada de un usuario descansa en el elemento 410, se puede volver sombreado 410a o distinguirse de otra manera. Tras recibir un comando adicional de un dispositivo de entrada, el elemento 410 se puede expandir para tener subelementos 420 adicionales. Los subelementos 420 pueden representar submenus de posibles comandos.
Cuando el punto de mirada del usuario descansa en un subelemento 420 espedfico, se puede volver sombreado 420a o distinguirse de otra manera. Tras recibir un comando adicional de un dispositivo de entrada, el elemento 420 se puede expandir para tener sub-subelementos 430 adicionales. Los sub-subelementos 430 pueden representar posibles comandos.
Cuando el punto de mirada del usuario descansa en un sub-subelemento 430 espedfico, se puede volver sombreado 430a o distinguirse de otra manera. Tras recibir un comando adicional de un dispositivo de entrada, la mirada sobre el sub-subelemento 430 se puede seleccionar finalmente para su ejecucion.
Tras la ejecucion, el sub-subelemento se puede visualizar solo en aislamiento y/o se pueden visualizar indicadores graficos adicionales como, por ejemplo, una marca de comprobacion 440. Cualquier numero de niveles y subniveles de menus y selecciones es posible y la Figura 4 es solamente a modo de ejemplo. Ademas, las opciones de nivel de menu pueden desaparecer de la visualizacion una vez que se selecciona y se actua respecto a aquel, segun la realizacion.
Un dispositivo de entrada puede ser cualquier forma de dispositivo de entrada conocida como, por ejemplo, un teclado, raton, entrada de voz, gestos, ya sea con contacto o sin contacto, auricular de realidad virtual y similares.
Implementacion grafica de profundidad de campo
En otra realizacion de la presente invencion, la informacion de la mirada se utiliza para adaptar de forma dinamica una representacion de profundidad de campo en un programa de entretenimiento interactivo.
La informacion de la mirada provista por un dispositivo de deteccion de la mirada o similares se utiliza por un programa de ordenador para alterar, de forma dinamica, objetos visualizados en una visualizacion. En el caso del programa de ordenador que es un programa de entretenimiento interactivo como, por ejemplo, un juego de ordenador o similares, los objetos visualizados en la visualizacion se pueden disponer para representar una vista de un escenario de la "vida real" como, por ejemplo, una escena callejera, paisaje, interior de un edificio o similares. Con frecuencia, en dicho juego de ordenador, un usuario controla un personaje y navega el personaje a traves de un mundo simulado, con la vista visualizada en la visualizacion que representa una vista del mundo visto a traves de los ojos del personaje.
Dado que una visualizacion es un plano bidimensional, las tecnicas graficas se usan para proveer una simulacion de un espacio tridimensional. Una de dichas tecnicas graficas es variar la profundidad de campo de varios objetos en la visualizacion. Por ejemplo, donde el juego desea indicar al usuario que esta centrado en un objeto "cerca" del personaje, los objetos que pretenden estar "lejos" del personaje pueden ser borrosos y/o sus colores, tamanos u otras caractensticas de renderizacion se pueden alterar, dando al usuario la impresion de que existe una profundidad en la escena visualizada en la visualizacion.
Segun la presente invencion, la renderizacion de objetos en la pantalla se altera segun la presencia o ausencia de direccion de la mirada sobre dichos objetos. A modo de ejemplo, la invencion funciona de la siguiente manera:
• artfculos visualizados en una visualizacion por un programa de ordenador;
• informacion de direccion de la mirada recibida por el programa de ordenador; y
• la renderizacion de un artfculo, o artfculos, en la visualizacion se altera cuando la informacion de direccion de la mirada indica que un usuario esta mirando dicho artfculo o artfculos.
La renderizacion pretende incluir cualquier forma de alteracion de visualizacion de un objeto grafico en una visualizacion, incluida la alteracion de calidad de textura, tamano, color o forma, antisolape y similares.
La presente invencion es la mas indicada cuando se usa en combinacion con una renderizacion diferida, mediante la cual secciones de una pantalla visualizada se renderizan juntas, en oposicion a un sistema por el cual toda la escena se renderiza junta.
10
15
20
25
30
35
40
45
En el uso, la presente realizacion de la presente invencion permite a un juego de ordenador alterar, de forma dinamica, la profundidad de campo que se muestra a un usuario en una visualizacion, de modo que el usuario centra su mirada en un area en la visualizacion, la escena visualizada se altera para representar, de forma precisa, la escena como si el usuario estuviera viendo la escena en un espacio tridimensional de la vida real.
El artfculo alterado en la visualizacion puede ser un objeto individual como, por ejemplo, un edificio, arbol, coche, etc. o puede ser una porcion de la visualizacion como, por ejemplo, un cuarto, octavo, etc. de la escena visualizada. Depende totalmente del sistema de renderizacion del programa de ordenador y de la escena visualizada, para determinar cual es la mejor manera de alterar la profundidad de campo para representar mejor la escena con el fin de reflejar, de forma precisa, la vida real.
Ejemplos de posibles implementaciones se muestran en las Figuras 5A & 5B. En la Figura 5A, el punto de mirada 510a se ubica en la esquina superior derecha de la visualizacion 520a. En algunas realizaciones, una porcion 530a de la visualizacion 520a se puede presentar graficamente de manera diferente al resto de la visualizacion 520a. El tamano y la forma de la porcion 530a pueden variar segun la realizacion. Ademas, diferentes areas de la visualizacion 520a ademas de las dos porciones que se muestran en la Figura 5A se pueden visualizar de diferentes maneras. Por ejemplo, los metodos usados para visualizar porciones de la visualizacion 520a pueden variar a medida que la distancia respecto al punto de mirada 510a aumenta. Metodos adicionales de visualizacion de diferentes regiones de la visualizacion 520a segun la entrada de mirada se describen en la Solicitud de Patente de EE.UU. No. 14/197,171, presentada el dfa 14 de marzo de 2014, y titulada "GAZE AND SACCADE BASED GRAPHICAL MANIPULATION', cuya total descripcion se incorpora a la presente por referencia, a todos los fines, como si se estableciera completamente en la presente memoria.
En la Figura 5B, el punto de mirada 510b se ubica en la esquina inferior izquierda de la visualizacion 520b. En algunas realizaciones, las diferentes capas horizontales 530, 540 de la visualizacion 520b se pueden visualizar de diferentes maneras con el fin de simular la profundidad de campo. Mientras la capa 530b se puede reproducir de una manera, la reproduccion de las capas 540b puede cambiar, potencialmente a un grado mayor, lo mas lejos que se encuentren de la capa 530b.
Un metodo para modificar la profundidad de campo de un objeto visualizado en una visualizacion, como comprendera una persona con experiencia en la tecnica, es el siguiente.
• Simular un rayo de luz que se proyecta desde un personaje;
• determinar con que objetos se conectara el rayo en la visualizacion;
• dependiendo de si los objetos son opacos o transparentes, enviar mas de un rayo;
• medir la distancia entre el personaje y un objeto conectado;
• el objeto conectado se convierte en el centro del usuario con el fin de renderizar el objeto, o area de la pantalla que contiene el objeto, de forma diferente a otros objetos.
A modo de una mejora adicional de la presente invencion, la escena se puede alterar de modo que un area de la pantalla a la cual esta mirando el usuario se amplfa o aumenta. De esta manera, un usuario puede ampliar una porcion particular de una escena en una visualizacion, simplemente mirando dicha porcion.
Paralaje
En una realizacion adicional de la presente invencion, la informacion de seguimiento de ojos se utiliza para determinar la posicion, angulo y/u orientacion de la cabeza de un usuario.
Segun la presente realizacion, un programa de ordenador utiliza la informacion derivada de un dispositivo de deteccion de la mirada para determinar la posicion, angulo, orientacion y/o tamano de la cabeza de un usuario, de aqrn en adelante llamada "informacion sobre la cabeza". Dicha informacion se puede entonces usar para alterar una visualizacion grafica como se muestra en el ejemplo de las Figuras 6A & 6B. En las Figuras 6A & 6B, mientras el usuario 610 inclina su cabeza hacia la izquierda, la visualizacion 620 se puede modificar para reflejar dicho movimiento de cabeza. Implementaciones mas complicadas son tambien posibles segun se describe mas abajo.
La informacion sobre la cabeza se puede usar por un programa de ordenador para alterar la visualizacion y el comportamiento de los objetos en una visualizacion. A modo de ejemplo, cuando un programa de ordenador es en la forma de un programa de entretenimiento interactivo como, por ejemplo, un juego de ordenador, la informacion sobre la cabeza se puede usar para controlar un personaje visualizado en la visualizacion. Por ejemplo, en una forma de juego de ordenador en donde un personaje se posiciona detras de una pared, se puede hacer que la cabeza del personaje en la visualizacion imite el movimiento de la cabeza de un usuario en la vida real. De esta
5
10
15
20
25
30
35
40
45
50
manera, por ejemplo, un usuario puede inclinar su cabeza ligeramente como si mirara alrededor de una esquina de la pared y el juego puede aceptar la informacion sobre la cabeza detectada y reaccionar a ella haciendo que el personaje en el juego mire alrededor de la esquina de manera identica.
En otro ejemplo de la presente realizacion de la presente invencion, en el caso donde el programa de ordenador es un juego de ordenador de simulacion de lucha en donde se simula el control de un avion, nave espacial o similar, la informacion sobre la cabeza se puede usar para retratar, de forma realista, en la visualizacion un personaje que gira su cabeza para cambiar su campo visual para abarcar diferentes porciones de una cabina de mando o similares.
En otro ejemplo de la presente realizacion de la presente invencion, en el caso donde el programa de ordenador es un juego de ordenador tipo juego de roles o un juego de ordenador tipo juego de disparos en primera persona en donde un usuario controla un personaje de modo que el campo visual de los personajes se visualiza en la pantalla para presentar al usuario una vista como si el usuario estuviera presente en el mundo del juego en un escenario de primera persona, la informacion sobre la cabeza se puede usar para proveer comandos a areas del mundo del juego o escena silenciosamente. En otras palabras, consideremos un juego de ordenador estilo primera persona que representa una situacion de guerra basada en una brigada, en dicha situacion los personajes enemigos se pueden alterar mediante el ruido realizado por el personaje de un usuario. Mediante la configuracion del juego para aceptar comandos de entrada basados en la informacion sobre la cabeza, se puede hacer que el personaje del usuario ordene silenciosamente y/o responda a otros personajes en el juego, sea controlado por humanos o por el ordenador, simplemente moviendo su cabeza. Por ejemplo, se puede usar una inclinacion de la cabeza para confirmar una orden.
En algunas realizaciones, la informacion sobre la cabeza se puede determinar a partir de o segun la informacion de mirada provista por un dispositivo de deteccion de la mirada. La informacion de mirada puede incluir ubicacion, tamano y orientacion de los ojos, tamano, ubicacion y orientacion de la pupila, tamano, ubicacion y orientacion de la cornea y similares. La informacion de mirada se examina entonces y se puede llevar a cabo un calculo de la posicion, orientacion, angulo y tamano de la cabeza de un usuario segun la informacion correspondiente a sus ojos. Por ejemplo, si la cabeza de un usuario se inclina, entonces los ojos del usuario se inclinaran en un angulo similar.
Ademas, el dispositivo de deteccion de la mirada se puede adaptar para proveer informacion relativa a otras caractensticas en la cara de un usuario para proveer una capacidad de seguimiento de la cabeza. Dicha informacion puede incluir la ubicacion y orientacion de caractensticas claves como, por ejemplo, nariz, boca, orejas, pelo y similares. El dispositivo de deteccion de la mirada puede capturar imagenes de la cabeza del usuario usando un sensor de imagen ubicado en el dispositivo de deteccion de la mirada.
Es preferible que se notifique espedficamente a un programa de ordenador mediante un dispositivo de entrada que se proveera la informacion sobre la cabeza, de modo que el programa de ordenador pueda utilizar la informacion.
En algunos ejemplos, la ayuda adicional para la posicion de la cabeza se puede proveer como, por ejemplo, mediante luz infrarroja reflejada en la cabeza de un usuario y detectada por un sensor de imagen. El sensor de imagen puede ser el mismo sensor usado para la deteccion de la mirada o puede ser un sensor adicional. La luz infrarroja puede reflejarse en un material personalizado o en patrones colocados sobre o cerca de la cabeza de un usuario con el fin de seguir la posicion y orientacion de la cabeza del usuario.
De manera alternativa, un dispositivo de seguimiento de cabeza separado se puede usar para determinar informacion sobre la cabeza y dicha informacion sobre la cabeza se puede usar por un programa de ordenador solo o en combinacion con informacion de mirada de un dispositivo de deteccion de la mirada. Los dispositivos de seguimiento de la cabeza apropiados pueden depender solamente de imagenes capturadas por una camara como, por ejemplo, una camara web o camara dedicada, y/o pueden tambien requerir hardware adicional como, por ejemplo, un artfculo montable en la cabeza.
Informacion de mirada como entrada para episodios interactivos (p.ej., personajes artificialmente inteligentes)
En otra realizacion de la presente invencion, la informacion de mirada se puede utilizar por un programa de ordenador para ajustar, de forma dinamica, el comportamiento de los elementos del programa de ordenador, por ejemplo, episodios interactivos como, por ejemplo, personajes artificialmente inteligentes (AI).
En el caso de un juego de ordenador que tiene episodios interactivos controlados por ordenador y/o personajes artificialmente inteligentes que se comprometen con el personaje controlado por el usuario, la informacion de mirada se puede utilizar para llevar a cabo el comportamiento de dichos elementos con el fin de hacer que su comportamiento parezca mas realista para el usuario.
A los fines de la presente descripcion, la Inteligencia Artificial (AI, por sus siglas en ingles) y similares pretenden representar personajes, episodios u otros artfculos/objetos dentro de un juego interactivo o videojuego. Dichos artfculos responden a acciones del usuario u otros elementos dentro del juego o programa para proveer una
5
10
15
20
25
30
35
40
45
50
55
representacion o impresion de que ellos determinan, de forma inteligente, dicha respuesta. En otras palabras, los personajes, episodios o artfculos/objetos pueden o pueden no comprender inteligencia artificial dedicada, pero pueden tambien funcionar de manera esencialmente binaria - alterando su comportamiento entre dos (o mas) estados dependiendo de la presencia o ausencia de informacion de mirada.
Por ejemplo, consideremos un juego de ordenador por medio del cual un usuario esta apuntando un arma a un edificio que comprende multiples ventanas. Se puede hacer que los personajes AI aparezcan en la ventana, p.ej., con el fin de disparar al personaje del usuario, en respuesta a la deteccion de que la direccion de la mirada del usuario se encuentra en o proxima a la ventana. Tradicionalmente, dichos personajes aparecenan de forma aleatoria o debido a un patron predefinido en la programacion del programa de ordenador. Sin embargo, mediante la utilizacion de la informacion de mirada, es posible que el programa de ordenador determine la frecuencia con la cual un usuario observa diferentes ventanas en el edificio y asegure que los personajes AI aparezcan o no aparezcan en dichas ventanas. Ello aumentara o reducira la dificultad del juego de ordenador dependiendo de las preferencias establecidas para el juego de ordenador, p.ej., por el desarrollador y/o usuario.
A modo de un ejemplo adicional, consideremos un juego de ordenador por el cual un usuario interactua con personajes que pretenden actuar de forma tan humana como fuera posible. Un ejemplo de un genero de juegos en el cual ello ocurre son los juegos conocidos como Juegos de Roles. En el presente ejemplo, la informacion de mirada se puede utilizar por el programa de ordenador para determinar exactamente donde esta mirando un usuario y permitir que los personajes AI interactuen con el usuario de manera realista. Por ejemplo, si la informacion de mirada indica que un usuario esta mirando un area particular en la pantalla, un personaje AI puede hacer una observacion al respecto o interactuar con tal area.
A modo de un ejemplo adicional, la informacion de mirada puede indicar que la atencion de un usuario esta o no esta en el juego. El juego puede entonces alterar su comportamiento, o el comportamiento de los elementos del juego, segun la atencion del usuario. Por ejemplo, si se determina mediante la informacion de mirada que un usuario no mira una visualizacion durante cinco minutos, el juego puede detenerse al menos de forma temporal y/o los personajes en la visualizacion pueden alterar su comportamiento o llevar a cabo un comando o funcion espedficos como, por ejemplo, hablar.
Por consiguiente, en una realizacion, se puede proveer un metodo para cambiar el comportamiento de los elementos del programa de ordenador, el cual consta, basicamente, de dos etapas. En primer lugar, mediante el uso de un dispositivo de seguimiento de ojos, se puede determinar un punto de mirada de un usuario. Luego, un sistema informatico puede hacer que un episodio interactivo controlado por el sistema informatico altere su comportamiento segun al menos en parte el punto de mirada del usuario.
En algunas realizaciones, hacer que el episodio interactivo y/o personaje AI alteren su comportamiento puede incluir hacer que el episodio o personaje AI comiencen o continuen la interaccion con el usuario segun al menos en parte el punto de mirada del usuario que se ubica en una representacion grafica particular, tal vez del personaje AI, en una visualizacion. En algunas realizaciones, la interaccion se puede alterar segun al menos en parte el punto de mirada del usuario que se ubica en una porcion particular de dicha representacion grafica. Por ejemplo, un usuario que esta mirando un arma sostenida por un personaje AI puede hacer que el personaje AI apunte o use el arma de alguna manera.
En algunas realizaciones, el comportamiento del episodio interactivo y/o personaje AI puede alterarse segun al menos en parte el punto de mirada del usuario que se ubica en una porcion de una visualizacion ademas de la representacion grafica antes mencionada. Por ejemplo, el usuario que mira una cosa, criatura o a otro personaje en la visualizacion puede hacer que un personaje AI u otro elemento de programa interactue con dicha cosa, criatura u otro personaje, asf como con el usuario.
En algunas realizaciones, alterar el comportamiento de un episodio interactivo y/o personaje AI puede incluir hacer que un elemento de programa y/o el personaje AI se muevan hacia o desde una porcion de una visualizacion proxima al punto de mirada del usuario. En aun otras realizaciones, un episodio interactivo y/o el comportamiento de un personaje AI se pueden alterar al menos en parte cuando el punto de mirada del usuario no se ubica en una visualizacion, lo cual puede o no tener, actualmente, una representacion grafica de un elemento de programa particular y/o personaje AI.
Por consiguiente, en una realizacion de la invencion, como se muestra en la Figura 7, se puede proveer un metodo 700 que determina el punto de mirada de un usuario en el bloque 710. En el bloque 720, entradas adicionales se pueden recibir de otros dispositivos de entrada ademas de un dispositivo de seguimiento de ojos.
En el bloque 730, se puede determinar si el punto de mirada del usuario se ubica en cierto personaje AI, objeto u otra area que se correlaciona con cierta accion predeterminada que tomara un personaje Ai u otro elemento de programa. Si existe una correlacion, en el bloque 740, se toma la accion predeterminada apropiada. Como se
5
10
15
20
25
30
35
40
45
50
describe mas arriba, otros factores como, por ejemplo, entradas secundarias y/u otras configuraciones, pueden informar tambien que accion predeterminada se tomara.
Disparadores de mirada y similares
En una realizacion adicional, los disparadores para la interaccion pueden incorporarse dentro de una escena visualizada en una visualizacion. Dichos disparadores solo se pueden activar por la mirada de un usuario ubicada en los disparadores. Los disparadores pueden ser visibles o invisibles para el usuario. Cuando un usuario mira un disparador, un programa de ordenador puede hacer que ocurra una accion espedfica.
Por ejemplo, en un juego de ordenador que muestra animales en una visualizacion, los animales pueden huir cuando un usuario los mira. En un ejemplo donde el programa de ordenador es un juego de tipo terror, los enemigos que pretenden atacar al personaje del usuario pueden moverse solamente hacia el usuario cuando el usuario no esta mirando al personaje.
En una realizacion adicional, se pueden emitir comandos para los personajes en un juego de multiples personajes mirando a los personajes. Ello es particularmente beneficioso en juegos que contienen una gran cantidad de personajes, por medio de los cuales los comandos se deben emitir a personajes individuales espedficos o grupos de personajes.
En una realizacion adicional, las ventanas u otras subdivisiones de una visualizacion se pueden atenuar o iluminar segun si un usuario esta mirando las ventanas u otras subdivisiones. Por ejemplo, si un usuario esta mirando una ventana particular, ello aumenta el brillo en comparacion con el resto de una visualizacion hasta que el usuario mira otra ventana.
Con referencia a cualquiera o todas las realizaciones descritas en la presente memoria, una mejora adicional de la presente invencion es que la informacion relacionada con la interaccion de un usuario con el ordenador se puede almacenar para su analisis y visualizacion para el usuario. Por ejemplo, el ordenador puede determinar la frecuencia, ubicacion y el resultado de cada interaccion basada en la mirada o cabeza. Ello se puede presentar al usuario de modo que el usuario puede analizar su juego o el juego de otro usuario. Dicha visualizacion puede ser en un formato basado en datos como, por ejemplo, una tabla, o puede presentarse en un formato visual como, por ejemplo, una grabacion o una visualizacion en vivo de una ubicacion de la mirada del usuario mientras el usuario interactua con el ordenador. Por ejemplo, donde el usuario provee una entrada de mirada o cabeza que se utiliza por la inteligencia de un juego, el ordenador puede grabar el tipo de entrada provista y la salida resultante del juego.
A los fines de la presente memoria, toda referencia a los terminos "ordenador", "dispositivo informatico" o similares pretende significar un dispositivo electronico que requiere la entrada de un usuario, ello incluye, pero sin limitacion: ordenadores personales, tabletas, ordenadores portatiles, telefonos moviles, dispositivos de juegos portatiles, sistemas de entretenimiento domestico, consolas de juegos y otros sistemas de videojuegos, televisiones, microondas, refrigeradores, etc.
A los fines de la presente memoria descriptiva, toda referencia a los terminos "seguimiento de ojos", "direccion de la mirada", "punto de mirada", "punto de interes", "informacion del punto de interes" o similares pretende remitirse a la informacion y/o deteccion de informacion que indica la atencion de un usuario en un punto de interes sobre un objeto como, por ejemplo, una visualizacion. Un punto de interes se puede determinar por un dispositivo de entrada de punto de interes conocido como, por ejemplo, un dispositivo de seguimiento de ojos tradicional que utiliza al menos un sensor de imagen, al menos una fuente de iluminacion y un dispositivo de procesamiento para determinar un punto de interes a partir de reflejos de iluminacion en los ojos de un usuario. El punto de interes, sin embargo, se puede determinar por otros dispositivos de entrada como, por ejemplo, sistemas de reconocimiento de gestos, auriculares de realidad virtual, sistemas de deteccion facial, teclado y raton convencionales, controlador portatil, etc.
A los fines de la presente memoria descriptiva, toda referencia a los terminos "deteccion de la mirada", "informacion de mirada", "direccion de la mirada", "seguimiento de ojos", "punto de interes", "punto de consideracion" o similares pretende significar la informacion y/o la deteccion de informacion que define la posicion en la cual esta mirando un usuario, normalmente en una visualizacion o similares.
A los fines de la presente memoria descriptiva, toda referencia a los terminos "dispositivo de deteccion de la mirada", "seguidor de ojos" o similares pretende significar un dispositivo por el cual se determina la direccion de la mirada de un usuario. Normalmente, dichos dispositivos comprenden al menos un sensor de imagen y al menos un iluminador. El al menos un iluminador puede emitir luz infrarroja o casi infrarroja que se refleja en la cornea del ojo de un usuario y el sensor de imagen captura una imagen que comprende la cornea y un reflejo. Una unidad informatica determina desde la posicion del reflejo en la cornea la direccion de la mirada del usuario. La unidad informatica se puede integrar con el dispositivo de deteccion de la mirada en una placa de circuito impreso o similares, o se puede integrar dentro de la programacion de una unidad informatica mas grande. Los dispositivos de seguimiento de ojos
5
10
15
20
25
30
35
40
45
50
55
apropiados para la presente invencion son conocidos y una persona con experiencia en la tecnica los comprendera inmediatamente, por ejemplo, Tobii Technology AB de Suecia (
www.tobii.com) provee dispositivos apropiados.
Se pretende que cualquier dispositivo que indique la direccion de la mirada de un usuario se pueda usar con la presente invencion, independientemente de la tecnologfa comprendida en dicho dispositivo, incluida la presencia de iluminacion. Ademas, la informacion de direccion de la mirada se puede proveer por una unidad cuyo proposito primario no sea la deteccion de la mirada como, por ejemplo, una camara en un telefono movil.
A los fines de la presente memoria descriptiva, toda referencia a los terminos "juego de ordenador", "videojuego", "programa de entretenimiento interactivo", "programa de ordenador" o similares pretende significar un conjunto de instrucciones ejecutables por un dispositivo informatico para proveer o manipular artfculos visualizados en una visualizacion.
A los fines de la presente memoria descriptiva, toda referencia a los terminos "ordenador", "dispositivo informatico", "sistema informatico" o similares pretende significar cualquier dispositivo capaz de ejecutar instrucciones programadas. Ello incluye artfculos normalmente conocidos como, por ejemplo, ordenadores de mesa, ordenadores portatiles, netbooks, ultrabooks, tabletas, telefonos moviles, consolas de juegos portatiles y otros sistemas de videojuegos como, por ejemplo, aquellos que se conectan a un televisor con fines de entretenimiento y similares.
Los dispositivos o sistemas informaticos descritos en la presente memoria descriptiva no se encuentran limitados a una arquitectura o configuracion de hardware particular. Un dispositivo informatico puede incluir cualquier disposicion apropiada de componentes que provea un resultado condicionado a una o mas entradas. Los dispositivos informaticos apropiados incluyen sistemas de ordenador basados en microprocesador multifuncion que acceden a software almacenado que programa o configura el sistema informatico desde un aparato informatico con proposito general hasta un aparato informatico especializado que implementa una o mas realizaciones del presente objeto.
Las realizaciones de la presente invencion son apropiadas tanto para dispositivos remotos de deteccion de la mirada como para dispositivos de deteccion de la mirada ponibles. Los auriculares de Realidad Virtual como, por ejemplo, Oculus Rift, las visualizaciones ponibles como, por ejemplo, Google Glass y similares tienen, todos, la capacidad de proveer episodios interactivos a un usuario. Mediante la provision de la capacidad de seguimiento de la mirada y/o cabeza en un dispositivo ponible, se puede utilizar la presente invencion. Ademas, el dispositivo ponible puede proveer la informacion de mirada o sobre la cabeza requerida para que la presente invencion funcione directamente. Segun su uso en la presente solicitud, "dispositivos ponibles" o "visualizaciones ponibles" y similares pretenden incluir cualquier artfculo que se adapte para que un usuario pueda llevarlo como, por ejemplo, gafas, cascos o similares.
A modo de ejemplo y no de limitacion, la Figura 8 es un diagrama de bloques que ilustra un dispositivo informatico 802 a modo de ejemplo para implementar ciertas realizaciones. El dispositivo informatico 802 puede incluir un procesador 804 que se acopla, de manera comunicativa, a una memoria 806 y que ejecuta instrucciones de programa ejecutables por ordenador y/o que accede a informacion almacenada en la memoria 806. El procesador 804 puede comprender un microprocesador, un circuito integrado para aplicaciones espedficas ("ASIC", por sus siglas en ingles), una maquina de estados u otro dispositivo de procesamiento. El procesador 804 puede incluir cualquiera de un numero de dispositivos de procesamiento por ordenador, incluido uno. Dicho procesador puede incluir o puede estar en comunicacion con un medio legible por ordenador que almacena instrucciones que, cuando se ejecutan por el procesador 804, hacen que el procesador lleve a cabo las etapas descritas en la presente memoria descriptiva.
El dispositivo informatico 802 puede incluir tambien un bus 808. El bus 808 puede acoplar, de forma comunicativa, uno o mas componentes del sistema informatico 802. El dispositivo informatico 802 puede incluir tambien y/o acoplarse, de forma comunicativa, a un numero de dispositivos externos o internos como, por ejemplo, dispositivos de entrada o salida. Por ejemplo, el dispositivo informatico 802 se muestra con una interfaz de entrada/salida ("E/S") 810, un dispositivo de visualizacion 812, dispositivos de entrada 814 y dispositivos de salida 815.
Los ejemplos no restrictivos de un dispositivo de visualizacion 812 incluyen una pantalla integrada al dispositivo informatico 802, un monitor externo y acoplado al sistema informatico, etc. Ejemplos no restrictivos de dispositivos de entrada 814 incluyen dispositivos de deteccion de la mirada, pantallas tactiles, botones tactiles, dispositivos de raton externos, microfonos y/u otros dispositivos mencionados en la presente memoria descriptiva, etc. Un ejemplo no restrictivo de un dispositivo de salida 815 es un altavoz. En algunas realizaciones, el dispositivo de visualizacion 812, los dispositivos de entrada 814 y los dispositivos de salida 815 pueden ser dispositivos separados. En otras realizaciones, el dispositivo de visualizacion 812 y al menos algunos de los dispositivos de entrada 814 pueden integrarse en el mismo dispositivo. Por ejemplo, un dispositivo de visualizacion 812 puede ser una pantalla y un dispositivo de entrada 814 puede ser uno o mas componentes que proveen funciones de seguimiento de ojos y/o de pantalla tactil para el dispositivo de visualizacion como, por ejemplo, emisores para emitir luz y/o camaras para capturar la imagen de los ojos de un usuario y/o un area tactil, etc. La pantalla, los componentes del dispositivo de
5
10
15
20
25
30
35
40
entrada y cualquier componente del dispositivo de salida se pueden integrar dentro de la misma carcasa o en otras configuraciones integradas.
El dispositivo informatico 802 puede modificar, acceder a o de otra forma usar contenido electronico. El contenido electronico puede residir en cualquier medio legible por ordenador no transitorio apropiado y ejecutarse en cualquier procesador adecuado. En una realizacion, el contenido electronico puede residir en la memoria 806 en el dispositivo informatico 802. En otra realizacion, se puede acceder al contenido electronico por el sistema informatico 802 desde un proveedor de contenido remoto mediante una red de datos.
La memoria 806 puede incluir cualquier medio legible por ordenador no transitorio apropiado. Un medio legible por ordenador puede incluir, pero sin limitacion, un dispositivo de almacenamiento electronico, optico, magnetico u otro capaz de proveer a un procesador instrucciones legibles por ordenador u otro codigo de programa. Otros ejemplos comprenden, pero sin limitacion, un disco flexible, CD-ROM, DVD, disco magnetico, chip de memoria, ROM, RAM, ASlC, un procesador configurado, almacenamiento optico, cinta magnetica u otro almacenamiento magnetico o cualquier otro medio desde el cual un procesador de ordenador puede leer instrucciones. Las instrucciones pueden comprender instrucciones espedficas para el procesador generadas por un compilador y/o interpretador del codigo escrito en cualquier lenguaje de programacion de ordenador apropiado incluidos, por ejemplo, C, C++, C#, Visual Basic, Java, Python, Perl, JavaScript y ActionScript.
Un modulo de graficos 816 almacenado en la memoria 806 puede configurar el procesador 804 para preparar contenido electronico para la renderizacion en una interfaz grafica y/o renderizacion del contenido electronico en la interfaz grafica. En algunas realizaciones, el modulo de graficos 816 puede ser una aplicacion independiente ejecutada por el procesador 804. En otras realizaciones, el modulo de graficos 816 puede ser un modulo de software incluido en o al que se puede acceder por una aplicacion separada ejecutada por el procesador 804 que se configura para modificar, acceder a o de otra forma usar el contenido electronico.
Se debe comprender que los diferentes metodos descritos en la presente memoria para interactuar con y controlar dispositivos de ordenador y programas de ordenador se pueden implementar a modo de instrucciones legibles por ordenador u otro codigo de programa, los cuales pueden tener varias disposiciones funcionales diferentes y alternativas, flujos de procesamiento, etapas del metodo, etc. Toda programacion, guion u otro tipo de lenguaje o combinaciones de lenguajes apropiadas se pueden usar para implementar las ensenanzas contenidas en la presente memoria en el software que se usara en la programacion o configuracion de un dispositivo informatico.
A menos que se establezca espedficamente lo contrario, se aprecia que a lo largo de la presente memoria descriptiva, las descripciones que utilizan terminos como, por ejemplo, "procesamiento", "informatico", "que calcula", "que determina" y "que identifica" o similares se refieren a acciones o procesos de un dispositivo informatico. El uso de "adaptado/a(s) a" o "configurado/a(s) para" en la presente memoria tiene el sentido de un lenguaje abierto e inclusivo que no excluye dispositivos adaptados a o configurados para llevar a cabo tareas o etapas adicionales. Ademas, el uso de "basado/a(s) en" pretende ser abierto e inclusivo, en el sentido de que un proceso, etapa, calculo u otra accion "basados en" una o mas condiciones o valores descritos pueden, en la practica, basarse en condiciones o valores adicionales mas alla de aquellos establecidos. Los encabezamientos, listas y numeraciones incluidas en la presente memoria son en aras de una facil explicacion solamente y no pretenden ser restrictivas.
La invencion se ha descrito ahora en detalle a los fines de claridad y comprension. Sin embargo, se apreciara que se pueden practicar ciertos cambios y modificaciones dentro del alcance de las reivindicaciones anexas.

Claims (17)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    REIVINDICACIONES
    1. Un metodo para proveer audio a un usuario (610), en donde el metodo comprende:
    determinar, con un dispositivo de seguimiento de ojos (814), un punto de mirada (510a; 510b) de un usuario (610) en una visualizacion (520a; 520b; 620; 812);
    hacer que, con un sistema informatico (802), un dispositivo de audio (815) produzca audio para el usuario (610), en donde el contenido del audio se basa al menos en parte en el punto de mirada (510a; 510b) del usuario (610) en la visualizacion (520a; 520b; 620; 812);
    caracterizado por que el metodo ademas comprende:
    determinar, con el sistema informatico (802), cuantos canales de sonido produce el dispositivo de audio (815);
    determinar, con el sistema informatico (802), un area particular de la visualizacion (520a; 520b; 620; 812) que se asocia a cada canal de sonido determinado para producirse por el dispositivo de audio (815); y
    en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende un canal de sonido asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  2. 2. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende:
    contenido de audio asociado a un area particular de la visualizacion (520a; 520b; 620; 812) donde se ubica el punto de mirada (510a; 510b) del usuario (610), en donde el area particular es una subporcion de un area total de la visualizacion (520a; 520b; 620; 812).
  3. 3. El metodo para proveer audio a un usuario (610) de la reivindicacion 2, en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) ademas comprende:
    ningun contenido de audio asociado a un recordatorio de la visualizacion (520a; 520b; 620; 812) ademas del area particular.
  4. 4. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende:
    contenido de audio asociado a un area particular de la visualizacion (520a; 520b; 620; 812) donde se ubica el punto de mirada (510a; 510b) del usuario (610), a un primer volumen, en donde el area particular es una subporcion de un area total de la visualizacion (520a; 520b; 620; 812); y
    contenido de audio asociado a un recordatorio de la visualizacion (520a; 520b; 620; 812) ademas del area particular, a un segundo volumen, en donde el primer volumen es mayor que el segundo volumen.
  5. 5. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde determinar cuantos canales de sonido produce el dispositivo de audio (815) comprende:
    determinar cuantos canales de sonido simulados produce el dispositivo de audio (815).
  6. 6. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) ademas comprende:
    ningun contenido de audio asociado a al menos un canal de sonido no asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  7. 7. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el metodo ademas comprende:
    el canal de sonido asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610), a un primer volumen; y
    al menos un canal de sonido no asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610), a un segundo volumen, en donde el primer volumen es mayor que el segundo volumen.
  8. 8. El metodo para proveer audio a un usuario (610) de la reivindicacion 6 o reivindicacion 7, en donde al menos un canal de sonido no asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610) comprende:
    5
    10
    15
    20
    25
    30
    35
    40
    todos los canales de sonido no asociados al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  9. 9. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el metodo ademas comprende:
    determinar, con el sistema informatico (802), cuantos canales de sonido produce el dispositivo de audio (815);
    determinar, con el sistema informatico (802), un area particular de la visualizacion (520a; 520b; 620; 812) que se asocia a cada canal de sonido determinado para producirse por el dispositivo de audio (815); y
    en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende:
    al menos una primera frecuencia de sonido en un primer canal de sonido asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610); y
    al menos una segunda frecuencia de sonido en un segundo canal no asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  10. 10. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el metodo ademas comprende:
    determinar, con el sistema informatico (802), una distancia y direccion virtuales desde cada una de multiples fuentes de sonido virtual hasta el punto de mirada (510a; 510b) del usuario (610) en la visualizacion (520a; 520b; 620; 812); y
    en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende:
    cada fuente de sonido virtual que se produce en una manera basada al menos en parte en la distancia y direccion virtuales desde la fuente de sonido virtual hasta el punto de mirada (510a; 510b) del usuario (610).
  11. 11. El metodo para proveer audio a un usuario (610) de la reivindicacion 10, en donde cada fuente de sonido virtual que se produce en una manera basada al menos en parte en la distancia y direccion virtuales desde la fuente de sonido virtual hasta el punto de mirada (510a; 510b) del usuario (610) comprende:
    reproducir multiples fuentes de audio a multiples volumenes dinamicos.
  12. 12. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde hacer que el dispositivo de audio produzca audio para el usuario (610) comprende:
    modificar el audio producido segun el punto de mirada (510a; 510b) que permanece fijo durante al menos un umbral de tiempo predeterminado.
  13. 13. El metodo para proveer audio a un usuario (610) de la reivindicacion 1, en donde el metodo ademas comprende: determinar informacion sobre la cabeza asociada al usuario (610); y
    en donde el contenido del audio se basa ademas al menos en parte en la informacion sobre la cabeza asociada al usuario (610).
  14. 14. Un sistema para proveer audio a un usuario (610), en donde el sistema comprende:
    un dispositivo de seguimiento de ojos (814) para al menos determinar un punto de mirada (510a; 510b) de un usuario (610) en una visualizacion (520a; 520b; 620; 812); y
    un sistema informatico (802) para al menos hacer que un dispositivo de audio (815) produzca audio para el usuario (610), en donde el contenido del audio se basa al menos en parte en el punto de mirada (510a; 510b) del usuario (610) en la visualizacion (520a; 520b; 620; 812),
    caracterizado por que
    dicho sistema informatico (802) es ademas apropiado para al menos: determinar cuantos canales de sonido produce el dispositivo de audio (815);
    determinar un area particular de la visualizacion (520a; 520b; 620; 812) que se asocia a cada canal de sonido determinado para producirse por el dispositivo de audio (815); y
    en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende un canal de sonido asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  15. 15. El sistema para proveer audio a un usuario (610) de la reivindicacion 14, en donde el sistema informatico (802) es ademas para llevar a cabo el metodo descrito en la reivindicacion 9 o reivindicacion 10.
  16. 16. Un medio legible por maquina no transitorio con instrucciones allf almacenadas para proveer audio a un usuario (610), las instrucciones ejecutables por al menos un procesador (802) para al menos:
    5 determinar un punto de mirada (510a; 510b) de un usuario (610) en una visualizacion (520a; 520b; 620; 812);
    hacer que un dispositivo de audio (815) produzca audio para el usuario (610), en donde el contenido del audio se basa al menos en parte en el punto de mirada (510a; 510b) del usuario (610) en la visualizacion (520a; 520b; 620; 812),
    caracterizado por que
    10 las instrucciones son ademas ejecutables para al menos:
    determinar cuantos canales de sonido produce el dispositivo de audio (815);
    determinar un area particular de la visualizacion (520a; 520b; 620; 812) que se asocia a cada canal de sonido determinado para producirse por el dispositivo de audio (815); y
    en donde el contenido del audio que se basa al menos en parte en el punto de mirada (510a; 510b) comprende un 15 canal de sonido asociado al area particular donde se ubica el punto de mirada (510a; 510b) del usuario (610).
  17. 17. El medio legible por maquina no transitorio de la reivindicacion 16, en donde las instrucciones son ademas ejecutables para llevar a cabo el metodo descrito en la reivindicacion 9 o reivindicacion 10.
ES14766037.7T 2013-08-23 2014-08-25 Sistemas y métodos para proveer audio a un usuario según una entrada de mirada Active ES2633016T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361869501P 2013-08-23 2013-08-23
US201361869501P 2013-08-23
PCT/US2014/052562 WO2015027241A1 (en) 2013-08-23 2014-08-25 Systems and methods for providing audio to a user based on gaze input

Publications (1)

Publication Number Publication Date
ES2633016T3 true ES2633016T3 (es) 2017-09-18

Family

ID=52481578

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14766037.7T Active ES2633016T3 (es) 2013-08-23 2014-08-25 Sistemas y métodos para proveer audio a un usuario según una entrada de mirada

Country Status (4)

Country Link
US (5) US10430150B2 (es)
EP (1) EP3036620B1 (es)
ES (1) ES2633016T3 (es)
WO (1) WO2015027241A1 (es)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2202609T3 (en) 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
KR101926942B1 (ko) * 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US11907421B1 (en) * 2014-03-01 2024-02-20 sigmund lindsay clements Mixed reality glasses operating public devices with gaze and secondary user input
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
EP3115871A1 (en) * 2015-07-09 2017-01-11 Cogisen SRL Graphic user interface for selection by gaze or other input methods
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
US10481786B2 (en) 2016-01-15 2019-11-19 Qualcomm Incorporated User interface for enabling access to data of a mobile device
US10007771B2 (en) * 2016-01-15 2018-06-26 Qualcomm Incorporated User interface for a mobile device
US11029836B2 (en) * 2016-03-25 2021-06-08 Microsoft Technology Licensing, Llc Cross-platform interactivity architecture
JP6933455B2 (ja) * 2016-09-29 2021-09-08 株式会社東芝 関心維持システム及びサーバ
US11036289B2 (en) * 2016-12-31 2021-06-15 Facebook, Inc. Systems and methods to present information in a virtual environment
US11205426B2 (en) * 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program
US10366540B2 (en) * 2017-03-23 2019-07-30 Htc Corporation Electronic apparatus and method for virtual reality or augmented reality system
CN108235745B (zh) * 2017-05-08 2021-01-08 深圳前海达闼云端智能科技有限公司 机器人唤醒方法、装置和机器人
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
KR102028036B1 (ko) * 2018-01-18 2019-11-04 주식회사 뉴냅스 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
CN110547759A (zh) * 2018-05-31 2019-12-10 托比股份公司 鲁棒会聚信号
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
US11032508B2 (en) * 2018-09-04 2021-06-08 Samsung Electronics Co., Ltd. Display apparatus and method for controlling audio and visual reproduction based on user's position
CN109240641B (zh) * 2018-09-04 2021-09-14 Oppo广东移动通信有限公司 音效调整方法、装置、电子设备以及存储介质
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
US10860095B2 (en) * 2019-05-02 2020-12-08 Cognixion Dynamic eye-tracking camera alignment utilizing eye-tracking maps
US11328740B2 (en) * 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN111061360B (zh) * 2019-11-12 2023-08-22 北京字节跳动网络技术有限公司 基于用户头部动作的控制方法、装置、介质和电子设备
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
WO2022072171A1 (en) * 2020-10-02 2022-04-07 Arris Enterprises Llc System and method for dynamic line-of-sight multi-source audio control
US20240004605A1 (en) * 2020-11-17 2024-01-04 Bose Corporation Wearable with eye tracking
US11429186B2 (en) * 2020-11-18 2022-08-30 Microsoft Technology Licensing, Llc Location-based entity selection using gaze tracking
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2541688B2 (ja) 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
EP0496430A1 (en) 1991-01-25 1992-07-29 Central Glass Company, Limited Continuous process for preparing sodium percarbonate
DE69512514T2 (de) 1994-11-11 2000-01-20 Zanavy Informatics Kk Kartenanzeige für kraftfahrzeuge
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US7453451B1 (en) 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
US5638176A (en) 1996-06-25 1997-06-10 International Business Machines Corporation Inexpensive interferometric eye tracking system
AUPO099696A0 (en) 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
AU5901898A (en) 1997-01-06 1998-08-18 Wilson S. Geisler Foveated image coding system and method for image bandwidth reduction
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
DE19731301C2 (de) 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
US6182114B1 (en) 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2002542505A (ja) 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
DE19951001C2 (de) * 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
US7027655B2 (en) 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US7668317B2 (en) 2001-05-30 2010-02-23 Sony Corporation Audio post processing in DVD, DTV and other audio visual products
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050018911A1 (en) 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
DE10338694B4 (de) 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US20060140420A1 (en) 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
JP3863165B2 (ja) 2005-03-04 2006-12-27 株式会社コナミデジタルエンタテインメント 音声出力装置、音声出力方法、ならびに、プログラム
US8775975B2 (en) 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
US8020993B1 (en) 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
JP2010525746A (ja) 2007-04-25 2010-07-22 チャウム，デイビッド 相互作用と圧縮とを有するビデオコピー防止システム
US8398404B2 (en) * 2007-08-30 2013-03-19 Conflict Kinetics LLC System and method for elevated speed firearms training
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN102804806A (zh) 2009-06-23 2012-11-28 诺基亚公司 用于处理音频信号的方法及装置
JP2011049988A (ja) 2009-08-28 2011-03-10 Nikon Corp 画像処理装置およびカメラ
KR101651135B1 (ko) 2010-07-12 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20120019703A1 (en) 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
US8717447B2 (en) * 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
US20130208926A1 (en) 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
EP2508945B1 (en) 2011-04-07 2020-02-19 Sony Corporation Directional sound capturing
JP5757166B2 (ja) 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
WO2013064914A1 (en) 2011-10-31 2013-05-10 Sony Ericsson Mobile Communications Ab Amplifying audio-visual data based on user's head orientation
TWI518436B (zh) 2012-01-17 2016-01-21 明基電通股份有限公司 影像擷取裝置及影像處理方法
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US20130201305A1 (en) 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US9727991B2 (en) 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US9544682B2 (en) 2013-06-05 2017-01-10 Echostar Technologies L.L.C. Apparatus, method and article for providing audio of different programs
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
WO2015104644A2 (en) 2014-01-10 2015-07-16 The Eye Tribe Aps Light modulation in eye tracking devices
US20150253937A1 (en) 2014-03-05 2015-09-10 Samsung Electronics Co., Ltd. Display apparatus and method of performing a multi view display thereof
MY175525A (en) 2014-03-07 2020-07-01 Mimos Berhad Method and apparatus to combine ocular control with motion control for human computer interaction
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
DK3516481T3 (da) 2016-09-20 2022-01-31 Tobii Ab Grafisk manipulation baseret på blik og sakkade

Also Published As

Publication number Publication date
US20180321903A1 (en) 2018-11-08
US20180129469A1 (en) 2018-05-10
US10635386B2 (en) 2020-04-28
US10346128B2 (en) 2019-07-09
WO2015027241A1 (en) 2015-02-26
EP3036620A1 (en) 2016-06-29
US20150058812A1 (en) 2015-02-26
US10430150B2 (en) 2019-10-01
EP3036620B1 (en) 2017-03-29
US20210011682A1 (en) 2021-01-14
US20200192625A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
ES2633016T3 (es) Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US9740452B2 (en) Systems and methods for providing audio to a user based on gaze input
CN110456626B (zh) 全息键盘显示
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US9898865B2 (en) System and method for spawning drawing surfaces
US11212636B2 (en) Dual listener positions for mixed reality
JP2017518554A (ja) 表示装置の閲覧者の注視誘引
KR20200029998A (ko) 3차원 콘텐츠 내의 위치-기반 가상 요소 양식
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US20190325661A1 (en) Occlusion using pre-generated 3d models for augmented reality
US11893697B2 (en) Application control program, application control method, and application control system
CN114514493A (zh) 增强设备
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11830515B2 (en) Methods and systems for visualizing audio properties of objects
Budhiraja Interaction Techniques using Head Mounted Displays and Handheld Devices for Outdoor Augmented Reality
WO2024039666A1 (en) Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments
KR20200112706A (ko) 표시자 모드
JP2020014888A (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP2019139688A (ja) 体感アクションシステム