ES2669869T3 - Retroalimentación del seguimiento del usuario - Google Patents

Retroalimentación del seguimiento del usuario Download PDF

Info

Publication number
ES2669869T3
ES2669869T3 ES11798639.8T ES11798639T ES2669869T3 ES 2669869 T3 ES2669869 T3 ES 2669869T3 ES 11798639 T ES11798639 T ES 11798639T ES 2669869 T3 ES2669869 T3 ES 2669869T3
Authority
ES
Spain
Prior art keywords
user
system
game
example
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11798639.8T
Other languages
English (en)
Inventor
Dawson Yee
Kathryn Stone Perez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US820954 priority Critical
Priority to US12/820,954 priority patent/US9898675B2/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to PCT/US2011/040317 priority patent/WO2011163011A2/en
Application granted granted Critical
Publication of ES2669869T3 publication Critical patent/ES2669869T3/es
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00885Biometric patterns not provided for under G06K9/00006, G06K9/00154, G06K9/00335, G06K9/00362, G06K9/00597; Biometric specific functions not specific to the kind of biometric
    • G06K9/00912Interactive means for assisting the user in correctly positioning the object of interest

Abstract

Un método (700), realizado por un sistema implementado por ordenador que ejecuta una aplicación de juego que sigue las acciones del usuario para controlar un objeto presentado de un juego, para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende: la detección (702) del usuario en un área de captura con un sistema (20) de captura de imagen; el seguimiento (704) de al menos una parte del cuerpo del usuario en base a los datos generados por el sistema (20) de captura; en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen, la determinación (706) de una respuesta contextual de retroalimentación a ser proporcionada dentro del contexto de la aplicación de juego, siendo dicha respuesta de retroalimentación contextual una acción contextual en el juego que cambia al menos una acción de un objeto en el elemento de presentación para proporcionar una motivación al usuario para mover la parte del cuerpo hacia el campo de visión, en donde la respuesta contextual de retroalimentación se determina en base a un perfil del usuario; y la emisión (708) de la respuesta contextual de retroalimentación al usuario en el elemento de presentación.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Retroalimentación del seguimiento del usuario Antecedentes

En un entorno informático típico, un usuario tiene un dispositivo de entrada tal como un teclado, un ratón, una palanca de mando o similar, que se puede conectar al entorno informático mediante una conexión por línea, cable, inalámbrica o similar, o algún otro medio de conexión. Si el control del entorno informático se hubiera de desplazar desde un controlador conectado a un control basado en gestos, particularmente como en una interfaz de usuario natural (NUI), el usuario ya no tiene un dispositivo conectado para informar con una gran consistencia al entorno informático acerca de una instrucción de control para una aplicación.

Por ejemplo, cuando un entorno informático tiene una entrada establecida tal como un controlador o un teclado, un usuario puede determinar que tiene un controlador conectado a un puerto, que está presionando teclas o botones y que el sistema está respondiendo. Cuando el control sobre el entorno informático se cambia a los gestos de un usuario, la detección de los gestos se puede inhibir o producir una respuesta subóptima de la aplicación debido a las características visuales o auditivas del área de captura de los movimientos corporales del usuario a diferencia de un controlador. La incapacidad de detectar de manera apropiada los gestos puede frustrar al usuario al interactuar con una aplicación en ejecución. Por ejemplo, se puede frustrar su participación en un juego que es ejecutado por la aplicación.

El documento US 2008/0030460 A1 (Hildreth et al.) describe un método para usar visión en estéreo para interactuar con un ordenador. Esto incluye la captura de una imagen en estéreo, y el procesamiento de la imagen en estéreo para determinar la información de la posición de un objeto en la imagen en estéreo. El objetivo es controlado mediante un usuario. En una realización, un detector de imagen o video cámara adquiere las imágenes en estéreo de una región de interés y la escena circundante. Los objetos detectados por el detector de imagen se pueden excluir de consideración si sus posiciones están fuera de la región de interés. El documento US 2009/0228841 A1 (Hildreth) describe un sistema de manipulación de imágenes mejorado basado en los gestos. Este narra también un proceso para orientar o alinear el objeto de control del usuario con una posición objetivo en un espacio libre que facilita o mejora futuros reconocimientos de gestos. Con este fin, un enfoque es presentar inicialmente una representación del usuario fuera de una región central de la interfaz de usuario, y una imagen objetivo en dicha región central, para indicar al usuario que alinee su representación con la imagen objetivo mediante el movimiento de su cuerpo. El documento US 2009/0133051 A1 (Hildreth) se relaciona con las técnicas para controlar de manera automática y pasiva el acceso al contenido de televisión y video.

Compendio

Es un objetivo proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación en ejecución para seguir la acción de un usuario para control la aplicación en ejecución en un sistema informático. Esto se soluciona mediante el tema de las reivindicaciones independientes. Las realizaciones preferidas se describen mediante las reivindicaciones dependientes. En un ejemplo, un sistema de captura detecta a un usuario en un área de captura. En respuesta a los criterios de seguimiento del usuario que no se satisfacen, se emite una retroalimentación al usuario. En algunos ejemplos, la retroalimentación puede ser un indicador de audio. En otros ejemplos, se proporcionan indicadores visuales como retroalimentación para recomendar al usuario tomar una acción para satisfacer los criterios de seguimiento. En algunas realizaciones, la retroalimentación se proporciona dentro del contexto de una aplicación en ejecución. En una realización, se presenta la tecnología para ayudar al usuario a seleccionar un área de captura. De manera adicional, la selección de una respuesta de retroalimentación se puede determinar según los criterios de algunas realizaciones.

Este Compendio se proporciona para introducir una selección de conceptos de una forma simplificada que se describirán de manera adicional a continuación en la Descripción Detallada. Este compendio, no está destinado a identificar las características clave o las características esenciales del tema reivindicado, ni está destinado a ser usado como una ayuda para determinar el alcance del tema reivindicado.

Breve descripción de los dibujos

La Figura 1A ilustra una realización de ejemplo de un sistema de reconocimiento, análisis y seguimiento de objetivos en el que pueden operar las realizaciones tecnológicas para proporcionar la retroalimentación de usuario.

La Figura 1B ilustra otro ejemplo de una respuesta de retroalimentación del seguimiento de usuario para sugerir al usuario tomar una acción para satisfacer los criterios de seguimiento.

La Figura 1C ilustra algunos ejemplos de factores de visibilidad.

La Figura 1D ilustra otra realización en la que un usuario que sujeta un objeto interactúa con una realización de un sistema de reconocimiento, análisis, y seguimiento del objetivo.

5

10

15

20

25

30

35

40

45

50

La Figura 1E ilustra un ejemplo de los indicadores visuales que pueden informar al usuario cuando está demasiado cerca o fuera de un límite.

Las Figuras 1F y 1G ilustran ejemplos adicionales de indicadores visuales que informan a un usuario de que están fuera del campo de visión de un dispositivo de captura.

La Figura 2 es una realización ilustrativa de una arquitectura funcional implementada por ordenador para un sistema para proporcionar retroalimentación del seguimiento del usuario.

La Figura 3A ilustra un ejemplo detallado de una realización de un entorno informático que se puede usar en una consola de juegos como en las FIG. 1A-1E en las que pueden operar una o más realizaciones para proporcionar la retroalimentación del seguimiento del usuario.

La Figura 3B ilustra otra realización de ejemplo de un entorno informático tal como un ordenador personal.

La Figura 4 ilustra una realización de ejemplo de un entorno informático en red en el que pueden operar una o más realizaciones para proporcionar la retroalimentación del seguimiento del usuario a un usuario.

La Figura 5 representa un modelo de un usuario humano que se puede crear basado en los datos de imagen capturados y usar para el seguimiento de los movimientos del usuario.

La Figura 6 representa algunos ejemplos de gestos.

La Figura 7 es un diagrama de flujo de una realización del método para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación de seguir el movimiento del usuario.

La Figura 8 es un diagrama de flujo de una realización del método para ayudar a un usuario a seleccionar un área de captura.

Descripción detallada

Se presenta la tecnología para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación en ejecución de seguir las acciones de un usuario para controlar la aplicación en ejecución en un sistema informático. Un ejemplo de un factor de distinción que puede afectar la capacidad de seguir a un usuario es cuando una parte del cuerpo del usuario que controla un objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imágenes. Otros factores incluyen los factores ambientales tales como el efecto de la iluminación, ciertos tipos de obstrucciones y factores de audio tales como el volumen y la distinción del habla (por ejemplo sílabas o palabras).

En algunas realizaciones, la tecnología presenta respuestas de retroalimentación que son sugerencias explícitas a un usuario. En otras realizaciones, la retroalimentación es sutil o implícita siendo proporcionada dentro del contexto de una aplicación en ejecución. Por ejemplo, cuando un usuario está demasiado cerca de un límite del campo de visión de un sistema de captura, un objeto tal como un monstruo aterrador aparece dentro de la escena en el lado de proyección cercano al límite. El usuario está motivado a moverse lejos del límite del campo de visión hacia el centro del campo de visión para escapar del monstruo.

Ejemplos de factores tras los cuales se puede determinar la respuesta de retroalimentación se discuten de manera adicional a continuación.

La Figura 1A ilustra una realización de ejemplo de un sistema 10 de reconocimiento, análisis y seguimiento de un objetivo con un usuario 18 jugando a un juego en el que pueden operar las realizaciones tecnológicas para proporcionar la retroalimentación de usuario. En este ejemplo, el sistema 10 de reconocimiento, análisis y seguimiento de objetivos reconoce a los seres humanos en su entorno natural, sin tener acoplados a los sujetos dispositivos de detección especiales. Sin embargo, se puede aplicar la tecnología a otros mecanismos de seguimiento de usuarios tales como un sistema basado en sensores en el que el usuario lleve sensores.

Según la realización de ejemplo, el objetivo puede ser un objetivo humano (por ejemplo el usuario 18), un objetivo humano con un objeto, dos o más objetivos humanos, o similares que puedan ser escaneados para generar un modelo tal como un modelo esquelético, un modelo humano de malla, o cualquier otra representación adecuada del mismo. El modelo puede ser seguido de manera tal que los movimientos físicos o los gestos del objetivo puedan actuar como una interfaz de usuario en tiempo real que ajuste y/o controle los parámetros de una aplicación. Además, el modelo se puede presentar a aplicaciones como un modelo y ser entregado a ellas en tiempo real. Por ejemplo, los gestos seguidos de un usuario se pueden usar para mover un personaje en pantalla o un avatar en un juego electrónico de rol.

En un ejemplo en el que el modelo es un modelo esquelético multi punto, el sistema 10 de reconocimientos, análisis, y seguimiento de objetivos sigue de manera eficiente a los humanos y sus movimientos naturales en base a los modelos de mecánica y capacidades naturales del sistema muscular y esquelético humano. El sistema 10 de

5

10

15

20

25

30

35

40

45

50

55

ejemplo también reconoce de manera única a los individuos para permitir a múltiples personar interactuar con el sistema a través de los movimientos naturales de sus extremidades y cuerpos.

Los movimientos de un usuario se pueden seguir hasta un avatar que puede ser una imagen generada por ordenador que represente a un usuario que normalmente es un humano. El avatar puede representar una imagen del usuario que sea altamente representativa de como se ve el usuario o puede ser un personaje (por ejemplo humano, fantástico, animal, u objeto animado) con cierto grado de parecido con el usuario o ninguno.

Específicamente, la Figura 1A, ilustra una realización de ejemplo de una configuración de un sistema 10 de reconocimiento, análisis y seguimiento de objetivos con un usuario 18 que juega un juego de boxeo. En este ejemplo, el software que se ejecuta en un sistema 12 informático que controla o interactúa con software sobre otros sistemas informáticos del sistema 20 de cámara acoplado de manera comunicativa y la unidad 16 de presentación audiovisual sigue los movimientos del usuario 18 en base a los datos de imagen capturados y los analiza para recibir instrucciones ya que los gestos del usuario controlan de manera directa las acciones de su avatar asociado en tiempo real. Por tanto, en este ejemplo, el usuario 18 puede mover su cuerpo para controla su avatar 24 en la pantalla 14 de presentación en el juego de boxeo contra su avatar 22 oponente.

El sistema 16 de presentación audiovisual puede ser un sistema de presentación avanzado tal que una televisión de alta definición (HDTV). En otras realizaciones, el elemento de presentación puede ser un elemento de presentación de baja resolución, algunos ejemplos de los cuales incluyen una televisión, un monitor de ordenador, o un elemento de presentación de un dispositivo móvil- El sistema 16 audiovisual puede recibir las señales audiovisuales del sistema 12 informático sobre una interfaz de comunicación (por ejemplo un cable S-Video, un cable coaxial, un cable HDMI, un cable DVI, un cable VGA) y puede emitir después las imágenes y/o el audio de la aplicación asociadas con las señales audiovisuales al usuario 18.

Un gesto comprende un movimiento o postura que actúe como una entrada de usuario para controlar una aplicación en ejecución. A través del movimiento de su cuerpo, un usuario puede crear gestos. Por ejemplo, un usuario puede ser capturado en datos de imágenes. Un gesto identificado del usuario se puede analizar para implicar un control de una aplicación o acción a realizar. Por ejemplo, el usuario 18 lanza un golpe en el juego de boxeo de la Figura 1A. La aplicación del juego lo representa en el combate de boxeo, determina si hace contacto sobre el avatar 22 y aumenta la puntuación del usuario si es así. Un gesto puede ser una postura estática, tal como sostener los antebrazos cruzados en frente de su torso o puede ser uno o más movimientos. Además un gesto puede comprender más de una parte del cuerpo, tal como aplaudir las manos entre sí.

Por ejemplo, el sistema 10 de reconocimiento, análisis y seguimiento de objetivos se puede usar para reconocer y analizar un puñetazo del usuario 18 en el área de captura 30 de manera tal que se pueda interpretar el puñetazo como un gesto, en este caso un control de juego de un puñetazo para su avatar 24 de jugador a realizar en el espacio de juego. Otros gestos del usuario 18 se pueden interpretar como otros controles o acciones, tales como controles para sacudir, zigzaguear, arrastras los pies, bloquear, golpear o lanzar una variedad de diferentes puñetazos. Mediante el seguimiento de los puñetazos y los golpes del usuario 18, la aplicación de software del juego de boxeo determina la puntuación del avatar 24 y qué avatar (22 o 24) ganará el combate. Las diferentes aplicaciones reconocerán y seguirán los diferentes gestos. Por ejemplo, se sigue un lanzamiento de un usuario en un juego de béisbol para determinar si es un strike o una bola.

Según otras realizaciones de ejemplo, el sistema 10 basado en gestos se puede usar además para interpretar los movimientos del objetivo como los controles de un sistema operativo y/o una aplicación que están fuera del ámbito de los juegos. Por ejemplo, de manera virtual cualquier aspecto controlable de una sistema operativo y/o una aplicación se puede controlar mediante los movimientos de un objetivo tal como el usuario 18.

El sistema 20 de cámara captura datos de imágenes del usuario en un área 30 de captura dentro del campo de visión del sistema 20 de cámara. En este ejemplo, el área 30 de captura en el campo de visión del sistema 20 de cámara es un trapezoide 30, que desde una perspectiva de usuario, tiene una línea 30f más corta que el frontal del área de captura, una línea 30b negra (por ejemplo una pared puede formar esta línea) y un lado 30l izquierdo y un lado 30r derecho. El campo de visión puede tener diferentes geometrías. Por ejemplo, los límites y las obstrucciones del área de captura pueden afectar a su geometría. Por ejemplo, si los usuarios están jugando en un gimnasio, la pared trasera puede estar mucho más atrás por lo que el campo de visión tiene más forma de cono que trapezoidal. En otros ejemplos, el tipo de lente de la cámara puede afectar al campo de visión también.

En la Figura 1A, el usuario se muestra en una posición 18b previa o anterior en la que parte de su cuerpo está fuera del área 30 de captura en el límite 30l izquierdo. La posición del usuario 18 en su posición actual está más cerca del centro del área 30 de captura y del campo de visión de la cámara. Como se discutirá con un mayor detalle más adelante, la retroalimentación en el contexto de la aplicación se proporciona para sugerir al usuario o motivar al usuario a moverse a su derecha. La posición del otro avatar 22 se puede mover a la derecha de la pantalla para que el usuario 18 necesite moverse para golpearle. En otro ejemplo, la perspectiva de la vista desplegada se puede cambiar desde una vista de perspectiva izquierda a una vista de perspectiva derecha del avatar 22 oponente. En la vista de perspectiva derecha, si el usuario 18 se queda en la posición 18b, su avatar bloqueará la vista de su avatar 22 oponente. Esta acción alienta al usuario 18 para moverse a la derecha para ver mejor a su avatar 22 oponente.

5

10

15

20

25

30

35

40

45

50

55

Se pueden usar también uno o más elementos de presentación fuera de pantalla para proporcionar retroalimentación de seguimiento del usuario. En el ejemplo ilustrado, una luz 32 de un elemento de presentación tal como un diodo emisor de luz (LED) puede ser satisfecha con un usuario concreto. Por ejemplo, se pueden usar diferentes colores para mostrar la calidad del seguimiento. El amarillo puede ser una advertencia; el verde puede ser satisfactorio; el rojo puede indicar un problema. En otro ejemplo, los diferentes patrones de iluminación pueden indicar la calidad del seguimiento. Por ejemplo, cada luz se puede asociar con un límite del campo de visión. Si un elemento de luz toma un determinado color, el color es la retroalimentación de que un usuario esté demasiado cerca del límite.

La Figura 1B ilustra otro ejemplo de una respuesta de retroalimentación del seguimiento de usuarios para sugerir al usuario tomar una acción para satisfacer un criterio de seguimiento. El cambio en la apariencia de una avatar se puede usar para informar a un usuario de un problema de seguimiento. El avatar 24 está resaltado en este ejemplo. Además, la retroalimentación explícita en forma de flecha 33 es un ejemplo de un indicador visual. En este ejemplo, la retroalimentación recomienda al usuario asociado con el avatar 24 moverse a la derecha. Estos indicadores visuales son ejemplos de retroalimentación del seguimiento de usuarios independiente de la aplicación ya que no están vinculados al contexto de la aplicación.

El contexto de una aplicación comprende la actividad que es el propósito de la aplicación. Por ejemplo, en una aplicación de interfaz de usuario de un menú, abrir o cerrar un fichero sería contextual a la aplicación. Los avatares y los objetos de la escena que se mueven según la acción de un juego son contextuales al juego. Algunos ejemplos de acciones que son contextuales en una aplicación de juego son lanzar un puñetazo, la llegada de un nuevo enemigo o monstruo así como un obstáculo, donde una bola es lanzada o cogida, un cambio en el escenario según se mueve un avatar o la vista de un usuario a través de un entorno virtual, o el cambio de dirección o de perspectiva de la vista de la acción del juego de un usuario.

La Figura 1C ilustra algunos ejemplos de factores de visibilidad. La luz del sol 45 que entra a través de la ventana 44 puede provocar que la iluminación ambiente sea un problema de visibilidad para el sistema 20 de cámara. Un medidor de luz del sistema 20 de captura de imagen puede indicar que el usuario está siendo arrastrado fuera de los datos de imagen. De manera alternativa, podría ser demasiado oscuro.

La mesa 15 de café es un ejemplo de una obstrucción que puede bloquear una parte del cuerpo del usuario. El juego de boxeo puede tener dificultad detectando el gesto de arrastrar los pies en el boxeo debido a que las piernas

18 del usuario están siendo parcialmente oscurecidas por la mesa de café.

La Figura 1D ilustra otra realización en la que un usuario que sostiene un objeto interactúa con una realización de ejemplo de un sistema 10 de reconocimiento, análisis, y seguimiento de objetivos. En dichas realizaciones, el usuario 19 de un juego electrónico puede estar sosteniendo el objeto de manera tal que los movimientos del usuario

19 y del objeto 21 se pueden usar para ajustar y/o controlar los parámetros del juego, tales como, por ejemplo, golpear una bola 68 en pantalla. En otros ejemplos, el movimiento de un usuario que sostiene una raqueta 21 se puede seguir y utilizar para controlar una raqueta en pantalla en un juego de deportes electrónico. En otra realización de ejemplo, el movimiento de un usuario que sostiene un objeto se puede seguir y utilizar para controlar un arma en pantalla en un juego de combate electrónico. Cualquier otro objeto se puede incluir también tal como uno o más guantes, bolas, bates, garrotes, guitarras, micrófonos, palos, mascotas, animales, tambores y similares.

La Figura 1D ilustra otro ejemplo de uso de retroalimentación en el contexto de una aplicación para proporcionar una sugerencia o una motivación a un usuario para moverse a una posición mejor dentro del campo de visión del sistema 20 de cámara. El usuario en la posición 19b se ha movido demasiado lejos a la izquierda con respecto a la cámara por lo que su parte superior del cuerpo que incluye su brazo derecho y la raqueta 21 están fuera del límite 30l izquierdo del campo de visión. Un bola 68b entrante anterior se hubo de presentar en la esquina superior izquierda de la pantalla. La aplicación en ejecución para este juego coloca la siguiente bola 68 entrante en el medio del elemento de presentación para motivar al usuario 19 a moverse al centro del campo de visión que cubre el área 30 de captura lo cual el usuario 19 ha hecho como se ilustra en su posición actual 19.

Se debería tener en cuenta que la Figura 1D presenta una alternativa en donde no se representa una representación del usuario en pantalla. En la Figura 1D, el usuario puede estar jugando al tenis en primera persona, viendo la bola representada en pantalla y, en un ejemplo, todo o una parte de la raqueta que golpea la bola, pero no se representa el avatar del usuario en pantalla o sólo se representa una parte de las partes del cuerpo del usuario.

La Figura 1E ilustra un ejemplo de indicadores visuales que pueden informar a un usuario cuando está demasiado cerca o fuera de un límite. De manera particular para un usuario que sea un niño muy pequeño, los objetos presentados 28l (para problemas con el límite izquierdo) y 28r (para problemas con el límite derecho) se pueden retroalimentar para informar al usuario de moverse de nuevo al centro del campo de visión. Indicadores visuales similares se pueden usar con los límites frontal y trasero también. De manera opcional, se puede asociar un sonido con cada indicador visual según aparece o después de un cierto número de infracciones de límite.

La Figura 1F ilustra otro ejemplo de un indicador visual donde un usuario 19u está jugando un juego de bolos y un brazo 19-l del usuario se mueve fuera del campo de visión. En la representación 28b en pantalla, el brazo 28A del

5

10

15

20

25

30

35

40

45

50

55

60

usuario está desvanecido para mostrar al usuario que el brazo está fuera del campo de visión de la cámara. Otras alternativas para cambiar la apariencia en pantalla del usuario o de los elementos en los que participa el usuario incluyen el cambio de color de toda o parte de la representación en pantalla del usuario, el cambio del foco de la representación del usuario (por ejemplo haciendo la representación en pantalla difuminada o desvanecida).

Aún otro ejemplo que se muestra en la Figura 1G tiene un gráfico 29 de advertencia ilustrado en la esquina superior izquierda del elemento de presentación 16. El gráfico presenta una pequeña representación del usuario 34 y del campo 35 de visión, y puede destellar de manera constante o intermitente cuando el usuario se mueve fuera del campo de visión.

El software que proporciona la retroalimentación del seguimiento del usuario puede proporcionar entrenamiento para el usuario en el elemento de presentación para ayudar al usuario a adquirir un sentido de los límites del área de captura y qué significan las diferentes respuestas de retroalimentación. Un sonido determinado se puede identificar con ser centrado en el campo de visión o tener una buena visibilidad, mientras que otro sonido indica que el usuario está demasiado cerca de un límite o que existe una obstrucción u otro efecto o elemento que degrada la calidad del seguimiento.

En un ejemplo, la calidad de seguimiento o los criterios de seguimiento se pueden basar en cuántos gestos no fueron capaces de ser identificados en un periodo de tiempo dado mientras se ha establecido la presencia y participación del usuario con el sistema de reconocimiento y seguimiento del objetivo. La calidad de seguimiento o los criterios de seguimiento se pueden basar en detectar la presencia y la participación, pero no ser capaz de reconocer una parte del cuerpo clave en los datos de imagen para la aplicación tal como, por ejemplo, un brazo en un juego de béisbol. Junto con los factores de visibilidad que afectan a la calidad o los criterios de seguimiento, los factores de distinción pueden aplicar también factores de audio tal como algunas aplicaciones dependen de una característica del cuerpo tal como la voz y no sólo de los movimientos de las características del cuerpo que son partes del cuerpo.

La Figura 2 es una realización ilustrativa de una arquitectura funcional implementada por ordenador para un sistema 200 para proporcionar retroalimentación del seguimiento de usuarios. Dicho sistema de arquitectura se puede implementar como uno o más módulos que se pueden operar por software que se ejecutan en uno o más procesadores y/o hardware informático o como hardware o firmware.

La tecnología se puede realizar en otras formas específicas sin salir del espíritu de las características esenciales de la misma. Igualmente, el nombramiento particular y la división de módulos, rutinas, características, atributos, metodologías y otros aspectos no son obligatorios, y los mecanismos que implementan la tecnología o sus características pueden tener diferentes nombres, divisiones y/o formatos. Además, como será evidente para alguien de conocimiento ordinario en la técnica relevante, los módulos, rutinas, atributos, metodologías y otros aspectos de las realizaciones descritas se pueden implementar como software, hardware, firmware o cualquier combinación de los tres. Por supuesto, donde quiera que un componente, un ejemplo del cual es un módulo, se implemente como software, el componente se puede implementar como un programa autónomo, como parte de un programa mayor, como una pluralidad de programas separados, como una librería enlazada de manera estática o dinámica, como un módulo cargable de núcleo, como un controlador de dispositivo, y/o en todas y cada una de las otras maneras conocidas ahora o en el futuro por aquellos de habilidad ordinaria en el arte de la programación. Por ejemplo, en una realización, el software 213 de retroalimentación del seguimiento discutido anteriormente se puede implementar de manera parcial en una interfaz de programación de aplicaciones (API) para manejar la respuesta independiente de la retroalimentación de la aplicación, y de manera parcial en software o una aplicación específica para manejar la retroalimentación contextual de la aplicación.

El sistema 202 de control de visualización del elemento de presentación comprende un módulo 204 de movimientos el cual accede a una memoria intermedia 223 de datos para los datos 205 de imagen de entrada y, de manera opcional, los datos 217 de audio. En la realización de ejemplo mostrada, el sistema 202 de control de visualización recibe los datos 205 de seguimiento del movimiento de manera local desde el sistema 20 de captura de datos audiovisuales. De manera adicional, el sistema 202 de control de visualización del elemento de presentación puede recibir los datos 205i de seguimiento del movimiento de manera remota a través de Internet 203 u otra red. Con respecto a un usuario, los datos de seguimiento del movimiento pueden comprender los datos de imagen en sí o una versión degradada de esos datos. De manera adicional, los datos de profundidad, y diversas formas de datos derivados de la imagen y/o los datos de profundidad, se pueden incluir en los datos de seguimiento del movimiento, algunos ejemplos de los cuales son un modelo para el cuerpo del usuario, los datos de movimiento en matemáticas primitivas que hacen referencia al modelo, o una imagen de máscara de bits derivada para el usuario para la comparación con un estado anterior del modelo. El sistema 202 de control de visualización del elemento de presentación analiza estos datos para reconocer el movimiento del usuario y seguir el movimiento hasta los objetos en el elemento de representación, por ejemplo, hasta el avatar del usuario en pantalla. Un avatar es un tipo de escena u objeto presentado.

El módulo 204 de movimientos se acopla de manera comunicativa a un módulo 209 de control de elementos de presentación del avatar, un módulo 211 de control de objetos, el software 213 de retroalimentación del seguimiento, el software y los datos 206 de reconocimiento de gestos, un sistema 20 de captura de datos audiovisuales, e Internet

5

10

15

20

25

30

35

40

45

50

55

203. El módulo 204 de movimientos también tiene acceso a los almacenes de datos 220 almacenados en la memoria tales como los datos 216 de modelo para al menos uno de cada uno de entre un usuario 216u, un avatar 216a, y un objeto 216o en el elemento de representación o alguno sostenido por el usuario. Los datos del modelo se usan como una referencia para el seguimiento del movimiento mediante el módulo 204 de movimientos de un usuario en un área de captura. o de un avatar o un objeto en una escena o vista de un elemento de presentación. En los sistemas donde los movimientos del cuerpo del usuario se hacen corresponder a los movimientos del avatar (por ejemplo en base a la captura de imagen del usuario, o los sensores en el cuerpo del usuario), pueden haber datos del modelo que representen el usuario 216u y datos del modelo que representen el avatar 216a. Donde el físico del avatar es bastante diferente, el módulo 204 de movimientos realiza la correspondencia entre los dos modelos. Por ejemplo, el usuario 18 muchacho es más bajo y probablemente no tiene el alcance del brazo de su avatar el boxeador 24. En otras palabras, si los modelos esqueléticos se usasen, no serían los mismos para el usuario y para el avatar. En algunas realizaciones, sin embargo, la aplicación usa los mismos datos 216 del modelo para analizar los movimientos del muchacho de un usuario y para dirigir los movimientos del avatar correspondiente. En un ejemplo, el modelo del muchacho se puede implementar como uno o más estructuras de datos que representan las partes del muchacho y sus posiciones en las dimensiones y/o los ángulos de rotación con respecto a una referencia. Lo datos 216 del modelo se pueden actualizar en términos de posiciones absolutas o con cambios en las posiciones y rotaciones. Los cambios en las posiciones y las rotaciones se pueden representar como vectores y ángulos.

El módulo 204 de movimientos también tiene acceso a los datos 214 de perfil. En este ejemplo, existen perfiles para los usuarios 214u, los avatares 214a y los objetos 214o. El módulo de movimiento 204 también tiene acceso a los datos 218 de presentación que incluyen los datos 219 de imagen del avatar y los datos 221 de imagen del objeto.

El módulo 209 de control de presentación del avatar actualiza los datos 219 de la imagen del avatar basado en los gestos reconocidos por el software 206 de reconocimiento de gestos y otros movimientos aplicables identificados por el módulo 204 de movimientos. En un ejemplo, los datos 219 de imagen que representan los movimientos o las posturas pueden ser datos de seguimiento del movimiento para el avatar. En un ejemplo, dichos datos de seguimiento del movimiento se pueden almacenar en un archivo de capturas de movimientos que el módulo 204 de movimientos actualiza en el tiempo según se reciben nuevos datos 205 de seguimiento del movimiento.

El módulo 211 de control de objetos actualiza los datos 221 de imagen para los objetos afectados por los gestos reconocidos del usuario. Además, el módulo 209 de control de avatares y el módulo 211 de control de objetos actualizan sus datos (219, 221) de imagen respectivos en respuesta a las instrucciones del módulo 210 de control de acciones. El módulo 210 de control de acciones supervisa la aplicación en ejecución. Por ejemplo, en un entorno de un juego, mantiene la puntuación, determina que es necesario un nuevo fondo ya que el avatar se ha movido a un nuevo nivel del juego, determina como otros avatares u objetos no controlados por el usuario se colocarán en la escena. En un entorno no de juego, identifica que acción está solicitando el usuario. Por ejemplo, si un gesto de usuario es una solicitud para abrir un archivo, puede acceder al archivo en sí o proporcionar instrucciones al módulo 211 de control de objetos para acceder al archivo y presentarlo en el elemento 16 de presentación. El módulo 207 de procesamiento de la presentación combina los datos 218 del elemento de presentación para actualizar la presentación.

Los datos 218 del elemento de presentación proporcionan una escena o un contexto de visión y definen los otros objetos en la escena o vista. Por ejemplo, los datos 218 del elemento de presentación están proporcionando un entorno de contexto de un combate de boxeo en las Figuras 1A y 1B, y las posiciones de los objetos incluyendo las cuerdas del ring de boxeo y la existencia del avatar 22 del boxeador oponente. Los movimientos, características y partes del cuerpo más recientes del avatar 22 del otro boxeador, en la escena se pueden almacenar también como otro perfil en el almacén de datos 214 de perfiles de avatar. Las actualizaciones de los datos 218 del elemento de presentación se pueden recibir mediante uno o más módulos tales como el módulo 209 de control de la presentación del avatar o el módulo 204 de movimientos sobre Internet 203 u otra red desde un módulo remoto.

El módulo 209 de control la presentación del avatar y el módulo 211 de control de objetos actualizan de manera periódica o en respuesta a un mensaje desde el módulo 204 de movimientos su perfil o perfiles 214 respectivos y procesan los datos 219, 221 de imagen que representan los movimientos o las posturas para el avatar o el objeto. Los datos 219, 221 de imagen se pueden representar de manera local en un elemento 16 de presentación o se pueden transmitir a través de internet 203 u otra red.

Ejemplos de los datos 214a del perfil del avatar pueden ser los datos del color de la imagen para características del avatar tales como el pelo, los rasgos faciales, el color de la piel, la ropa, la posición del avatar en la escena y otras propiedades asociadas con él.

Ejemplos de información que se puede almacenar en el perfil 214u de un usuario pueden incluir los modos típicos de uso o juego, la edad, la altura, la información del peso, los nombres, discapacidades, puntuaciones más altas o cualquier otra información asociada con un usuario y el uso del sistema.

Un ejemplo de un factor que afecta a la selección de una respuesta de retroalimentación puede incluir la información de perfil. Por ejemplo, la edad o discapacidades de un usuario, físicas o mentales, pueden hacer un tipo de respuestas de retroalimentación más apropiadas que otras. Por ejemplo, una persona de 5 años de edad puede no

5

10

15

20

25

30

35

40

45

50

55

ser capaz de leer por lo que una retroalimentación sutil en el contexto de la aplicación puede ser más apropiada que un texto explícito en la pantalla. Un jugador puede ser sordo por lo que una respuesta de audio no es apropiada.

Como se discutió anteriormente, algunos movimiento y posturas, gestos, tienen un significado especial en el contexto de un programa de entretenimiento u otras aplicaciones, y el sistema 202 de control de visualización del elemento de presentación ejecuta las instrucciones para identificarlos. En concreto, el módulo 204 de movimientos tiene que acceder al software 206 de reconocimiento de gestos y los datos para el reconocimiento o la identificación de los gestos basado en un modelo y unos datos de seguimiento del movimiento.

El software 206 de reconocimiento de gestos puede incluir filtros de gestos. En un ejemplo, el módulo 204 de movimientos puede seleccionar uno o más filtros 206 de movimientos basados en un índice de datos asociativo, tal como un índice de partes del cuerpo por ejemplo. Por ejemplo, cuando un conjunto de datos de seguimiento del movimiento actualizado es recibido por el sistema 202 de control de visualización del elemento de presentación y se indican cambios de movimiento para ciertas partes del cuerpo, el módulo 204 de movimientos indexa los filtros de gestos asociados con esas partes del cuerpo determinadas.

Los filtros 206 de gestos ejecutan instrucciones basadas en datos de parámetros que definen criterios para determinar si un gesto en concreto se ha realizado basado en los datos 205 de seguimiento del movimiento. En una realización, cada filtro 206 de gestos es enlazado con un módulo de librería para un gesto particular en una librería de gestos. Cada módulo de librería asociado con un gesto incluye instrucciones ejecutables para realizar el procesamiento de la respuesta al gesto. Este procesamiento a menudo implica la actualización del movimiento o la imagen del avatar para reflejar el gesto de alguna forma.

Por ejemplo, un usuario 18 adolescente en la Figura 1A tiene un físico mucho menor que su avatar boxeador 24. Parte de la diversión de jugar juegos con avatares es que ellos a menudo hacen cosas mejor que el usuario en la vida real. El puñetazo del chico 18 en la Figura 1A en su sala de estar se traduce en un puñetazo mucho más intenso de su avatar 24 en la pantalla 14. El módulo de librería para un “puñetazo” en el juego de boxeo puede determinar la aceleración en la velocidad del puño del usuario que se extiende por su codo, esto es un “puñetazo poderoso” para este usuario 18 en el juego, y el puñetazo 24 de su avatar refleja esto en el elemento de presentación debido a las instrucciones del módulo de puñetazos de la librería. El módulo 210 de control de acciones es notificado también del gesto y responde a este. Por ejemplo, actualiza la puntuación del usuario 18.

Algunos sistemas pueden proporcionar una combinación de sólo un determinado número de movimientos o posturas que el avatar puede realizar para determinadas partes o regiones del cuerpo, por ejemplo las manos y los brazos, mientras que permite un seguimiento directo de otras partes o regiones del cuerpo, por ejemplo las piernas.

El seguimiento de los movimientos del usuario para actualizar la presentación de un avatar u otros objetos visualizados en el elemento de presentación se realiza en tiempo real de manera tal que el usuario pueda interactuar con una aplicación en ejecución en tiempo real. Una presentación en tiempo real se refiere a la presentación de una representación visual en respuesta a un gesto, en donde la presentación se presenta de manera simultánea o casi simultánea con la ejecución del gesto en el espacio físico. Por ejemplo, una tasa de presentación actualizada en la que el sistema puede proporcionar una presentación que refleja a un usuario puede ser una tasa de 20Hz o superior, en donde los retardos de procesamiento insignificantes resultan en un retardo mínimo de la presentación o no son visibles para todos los usuarios. Por tanto, el tiempo real incluye cualquier retardo insignificante correspondiente a la puntualidad de los datos que se han sido retardados por el tiempo requerido para el procesamiento automático de los datos.

El software 213 de retroalimentación del seguimiento recibe un mensaje desde el módulo 204 de movimientos identificando un problema de seguimiento. Un ejemplo de problema de seguimiento es que el usuario se haya movido fuera del campo de visión o que no haya ningún usuario en el campo de visión. Algunos otros ejemplos de problemas de seguimiento son un gesto para una parte del cuerpo que no se puede determinar o que no se satisfaga una probabilidad umbral de que un movimiento o postura corresponda a un gesto particular. Otro ejemplo de problema de seguimiento es que el volumen del sonido no sea suficiente para el software de reconocimiento del habla o del canto para detectar el sonido del usuario. En otro ejemplo, el sonido del usuario tiene sílabas indistinguibles por lo que las palabras no se pueden detectar. Por ejemplo, en una aplicación de entretenimiento musical, la incapacidad para identificar o detectar el canto del usuario puede afectar de manera significativa a la frustración sentida por el jugador usuario.

El módulo 204 de movimientos puede proporcionar también retroalimentación sobre un número de factores de distinción basado en los datos que ha recibido desde el sistema 20 de captura audiovisual o en los mensajes del sistema 20 de captura audiovisual. Un tipo de factor de distinción son los factores de audio como un volumen insuficiente y el carácter distintivo como se mencionó anteriormente. Otro ejemplo de factor de distinción es un factor de visibilidad. Un ejemplo de un factor de visibilidad es el usuario o una parte del cuerpo para controlar la aplicación que está al menos de manera parcial fuera del campo de visión. Otros son problemas de iluminación borrando al usuario de la imagen capturada. Otro ejemplo es una obstrucción. Otro ejemplo de un factor de visibilidad es una obstrucción. Un ejemplo de esto puede ser un mueble, incluso en el campo de visión en sí como la mesa 15 de café en la Figura 1C. Demasiados elementos en los límites del campo de visión o en la visión en sí

5

10

15

20

25

30

35

40

45

50

55

pueden crear un factor de distinción o de visibilidad. Otro ejemplo de una obstrucción es un artículo de ropa o ropa en combinación con otro elemento. Una parte superior de un poncho puede inhibir la detección de los movimientos de los brazos. Una falda larga puede inhibir la detección de los movimientos de las piernas para un juego en que un usuario puede hacer gestos de andar o correr. Pantalones negros contra un sofá negro pueden provocar un problema de visibilidad debido a la ausencia de contraste; el sistema 20 de captura no puede distinguir los movimientos de las piernas cuando el usuario está cerca del sofá negro. El color de la ropa puede provocar problemas de contraste que resultan en un problema de distinción también, como pueden superponerse sus brazos y piernas. Los datos de profundidad pueden ayudar a distinguir al usuario, pero esto puede ser un problema en base a la resolución de profundidad del sistema 20 de captura de imagen.

El software 213 de retroalimentación del seguimiento puede seleccionar un tipo de retroalimentación que indica un problema de seguimiento para proporcionarlo a un usuario. En algunos ejemplos, la retroalimentación proporciona instrucciones al usuario para mejorar la calidad del seguimiento con un indicador visual o de audio que es independiente de la actividad de la aplicación. Por ejemplo, la superposición explícita 33 de la flecha de pantalla en la Figura 1B. Puede estar acompañada también de un mensaje de texto o de audio para “Moverse a la Derecha” mientras apunta al centro del campo 30 de visión.

Otra retroalimentación puede ser un poco más implícita y sutil. Las características visuales del elemento de presentación se pueden cambiar. Por ejemplo, la retroalimentación puede ser que la nitidez de la visión del elemento de presentación se puede degradar ligeramente según el usuario se aproxima dentro de una distancia de un límite del campo de visión. Se pone borroso por ejemplo. Según el usuario se mueve hacia el centro del campo de visión, la nitidez de la escena mejora. El usuario puede incluso no ser consciente del cambio en la nitidez. Junto a la nitidez, otro ejemplo de característica visual que se puede cambiar para alterar la presentación de la escena o la visión es la vitalidad del color. Otro ejemplo es el color en sí. Por ejemplo, según el usuario se mueve fuera del campo de visión, el color en el elemento de presentación se torna en blanco y negro.

En algunos ejemplos, el software 213 de retroalimentación del seguimiento determina que la retroalimentación en el contexto de la aplicación es apropiada. Algunos de estos ejemplos se han mencionado anteriormente tales como un monstruo en el límite cuando el usuario está demasiado cerca o una bola para que el usuario “golpee” siendo enviada a una dirección a la que el usuario debería moverse. Otros ejemplos incluirían un enemigo al que disparar en una dirección a la que moverse, u otro jugador avatar que entra y golpea al usuario de vuelta hacia el centro u otros personajes que corren en una dirección para volver al campo de visión. En otro ejemplo, se puede dirigir un sonido en una determinada dirección para motivar al usuario a correr hacia este lejos de esta dirección. Si el usuario está demasiado lejos del sistema 20 de captura de imagen como se muestra en los datos de profundidad capturados por el sistema 20, se puede usar un objeto parpadeante u otro objeto en el elemento de presentación que capte nuestra atención para atraer al usuario hacia dentro del campo de visión. Si un usuario se está acercando demasiado a la cámara 20, por ejemplo entre el límite frontal del campo de visión, 30f y la cámara, se puede hacer un objeto de presentación para llenar bastante la pantalla para hacer al usuario tomar unos pasos hacia atrás.

Para esta retroalimentación contextual de la aplicación, el módulo 213 de retroalimentación del seguimiento envía una solicitud al módulo 210 de software de control de acciones para la retroalimentación contextual. El módulo 210 de control de acciones o el software 213 de seguimiento pueden seguir qué técnicas de retroalimentación contextual se han usado para evitar la repetición tanto como sea posible. La solicitud de retroalimentación contextual puede incluir el tipo de factor de distinción a ser abordado. Puede incluir además una sugerencia de acción. Por ejemplo, puede incluir también una zona objetivo en el elemento de presentación en la que colocar un objeto para motivar el movimiento de un usuario de vuelta al campo de visión. En otros casos, el módulo 210 de control de acciones puede determinar la acción a tomar.

El software 213 de retroalimentación del seguimiento puede basar su selección de una respuesta de retroalimentación en ciertos criterios. Como se mencionó anteriormente, un ejemplo de dichos criterios es la edad del usuario. Para una persona de 3 o 4 años de edad, colocar un elemento en una zona objetivo en la pantalla para hacer que el usuario se mueva puede no ser muy repetitivo para un niño de esa edad. Para una persona de 7 años de edad, la técnica de retroalimentación contextual específica puede necesitar ser un poco más variada.

El nivel de competitividad de la aplicación puede ser otro factor. En un juego que se juega contra otro usuario, poner un objetivo al que disparar en una zona del elemento de presentación para animar al movimiento del usuario puede no ser apropiado. Sin embargo, colocar una explosión cerca del límite del campo de visión puede hacer que el usuario se mueva sin aumentar la previsibilidad de los objetivos.

Algunas aplicaciones no quieren nada que complique la acción que se está presentando por la aplicación en el elemento de presentación. En estos ejemplos, el elementos 16 de presentación o la consola 12 pueden incluir dispositivos de presentación fuera de pantalla. Por ejemplo, el diodo 32 emisor de luz (LED) en la consola 12 o en la cámara 20 se puede asociar con el usuario, y la capacidad de la aplicación para seguir al usuario se puede indicar mediante una paleta de colores. Por ejemplo, verde es bueno. Amarillo es una advertencia de que la capacidad de seguimiento se está degradando, y rojo indica que la capacidad de seguimiento se ha degradado hasta un nivel inaceptable. Otros dispositivos o vistas de presentación fuera de pantalla se pueden usar tales como gráficos de

5

10

15

20

25

30

35

40

45

50

55

barras u otras luces en la consola 12, el elemento 16 de presentación, o la cámara 20 que indiquen el grado de capacidad de seguimiento.

Como compromiso, la aplicación puede permitir que aparezca un pequeño icono en un avatar del usuario para un usuario que esté demasiado cerca de un límite o cuyo seguimiento no esté satisfaciendo los criterios de seguimiento. El usuario puede seleccionar el icono si lo desea. En otro ejemplo, se puede presentar una pequeña caja, imagen en imagen, que muestra al usuario o su avatar indicando un problema de seguimiento e incluso una sugerencia para abordarlo. En otro ejemplo, si el usuario presiona la pausa, se puede mostrar una caja que muestra al usuario o su avatar con el mensaje del problema de seguimiento.

En otros ejemplos, el módulo 213 de retroalimentación del seguimiento puede enviar una solicitud para un cambio en la apariencia de un avatar al módulo 209 de control de la presentación del avatar. Un ejemplo de un cambio en la apariencia puede ser destacar el avatar. Otros ejemplos incluyen el cambio de características visuales tales como difuminar la apariencia del avatar, o hacerlo todo negro o todo blanco o en blanco o negro como opuesto al color. El avatar se puede hacer para parecer desvanecido en otro ejemplo. De manera particular si una sesión de entrenamiento ocurre antes del comienzo de la aplicación, el usuario puede recibir instrucciones de que un cambio en la apariencia de su avatar signifique que existen problemas de seguimiento con sus gestos. Para los problemas de visión, puede ser efectivo sin cambiar demasiado la acción competitiva.

La retroalimentación puede ser de audio o audiovisual. Por ejemplo, en una sesión de entrenamiento antes del comienzo de la actividad de la aplicación, un usuario puede recibir instrucciones de que un icono en concreto significa que un factor de visibilidad concreto está efectuando el reconocimiento de los gestos del usuario. El icono puede ser acompañado por un sonido concreto para que el usuario sepa que es el quien, por ejemplo, se ha mover hacia dentro.

El no ser capaz de detectar los gestos del usuario de manera apropiada puede afectar de manera significativa a la ejecución de la aplicación, pausar la acción, quizás junto con un cambio en la apariencia del avatar del usuario, puede ser una respuesta de retroalimentación seleccionada también. En otro ejemplo, se puede detener el sonido.

En algunas realizaciones, el software de retroalimentación del seguimiento se puede separar de la aplicación concreta. Por ejemplo, el software de retroalimentación del seguimiento puede proporcionar una API para la cual una aplicación puede enviar una solicitud para una respuesta de retroalimentación. Esta puede ser una interfaz conveniente para los desarrolladores de aplicaciones que desean usar respuestas de retroalimentación por defecto. Por supuesto, se pueden usar otras construcciones además de una API. El software de aplicación puede proporcionar tipos adicionales de respuestas de retroalimentación del seguimiento de usuario a aquellas proporcionadas por la API o que los desarrolladores de aplicaciones prefieran usar en lugar de los mecanismos por defecto. En otras realizaciones, el software de retroalimentación del seguimiento se puede manejar enteramente dentro de la aplicación o enteramente mediante software independiente a la aplicación. La tecnología descrita en la presente memoria no se limita a una implementación de nivel de código concreta. El sistema 20 de captura de imagen reconoce objetivos humanos y no humanos en un área de captura (con o sin dispositivos de detección especiales acoplados a los sujetos), únicamente los identifica y los sigue en el espacio tridimensional.

Según una realización de ejemplo, el sistema 20 de captura de imagen se puede configurar para capturar video con información de profundidad que incluye una imagen de profundidad que puede incluir valores de profundidad a través de cualquier técnica adecuada que incluya, por ejemplo, tiempo de vuelo, luz estructurada, imagen en estéreo, o similar. Como se muestra en la FIG. 2, según una realización de ejemplo, un componente 70 de cámara de imagen puede incluir un componente 72 de luz IR, una cámara 74 tridimensional (3-D), y una cámara 76 RGB que se puede usar para capturar la imagen de profundidad de un área de captura. Por ejemplo, en el análisis en tiempo de vuelo, el componente 72 de luz IR del sistema 20 de captura puede emitir una luz infrarroja en el área de captura y puede usar entonces sensores para detectar la luz retrodispersada desde la superficie de uno o más objetivos y los objetos en el área de captura usando, por ejemplo, la cámara 74 3-D y/o la cámara 76 RGB. En algunas realizaciones, la luz infrarroja pulsada se puede usar de manera tal que el tiempo entre el pulso de luz de salida y el correspondiente pulso de luz de entrada se pueda medir y usar para determinar la distancia física desde el sistema 20 de captura hasta una ubicación concreta en los objetivos u objetos en el área de captura. De manera adicional, en otras realizaciones de ejemplo, la fase de la onda de luz de salida se puede comparar con la fase de la onda de luz de entrada para determinar el desplazamiento de fase. El desplazamiento de fase se puede usar entonces para determinar la distancia física desde el sistema de captura hasta la ubicación concreta de los objetivos u objetos.

Según otra realización de ejemplo, el análisis de tiempo de vuelo se puede usar para determinar de manera indirecta la distancia física desde el sistema 20 de captura hasta una ubicación concreta en los objetivos u objetos analizando la intensidad del haz reflejado de la luz a lo largo del tiempo a través de diversas técnicas que incluyen, por ejemplo, la imagen de pulso con luz obturada.

En otra realización de ejemplo, el sistema 20 de captura puede usar una luz estructurada para capturar la información de profundidad. En dicho análisis, la luz con patrones (esto es, la luz presentada como un patrón conocido tal como un patrón de cuadros o de rayas) se puede proyectar en el área de captura a través de, por

5

10

15

20

25

30

35

40

45

50

55

ejemplo, el componente 72 de luz IR. Tras golpear la superficie de uno o más objetivos u objetos en el área de captura, el patrón en respuesta puede resultar deformado. Dicha deformación del patrón puede ser capturada por, por ejemplo, la cámara 3-D 74 y/o la cámara RGB 76 y puede analizarse después para determinar la distancia física desde el sistema de captura hasta la ubicación concreta de los objetivos u objetos.

Según otra realización, el sistema 20 de captura puede incluir dos o más cámaras físicamente separadas que puedan ver un área de captura desde diferentes ángulos, para obtener datos visuales en estéreo que se pueden resolver para generar la información de profundidad.

Como un ejemplo de la sinergia proporcionada por estos elementos, considere que el componente 72 de luz IR y la cámara 3-D 74 pueden proporcionar una imagen de profundidad de un área de captura, pero en ciertas situaciones la imagen de profundidad sola puede no ser suficiente para discernir la posición o el movimiento de una objetivo humano. En estas situaciones, la cámara RGB 76 puede “tomar el control” o suplementar la información de la cámara 3-D para permitir un reconocimiento más completo del movimiento o la posición de los objetivos humanos. Por ejemplo, la cámara RGB se puede usar para reconocer, entre otras cosas, los colores asociados con uno o más objetivos. Si un usuario está vistiendo una camisa con un patrón en este que la cámara de profundidad no es capaz de detectar, la cámara RGB se puede usar para seguir ese patrón y proporcionar información sobre los movimientos que el usuario está haciendo. Como otro ejemplo, si un usuario gira, la cámara RGB se puede usar para suplementar la información de uno o más otros sensores para determinar el movimiento del usuario. Como un ejemplo adicional, si un usuario está próximo a otro objeto tal como una pared o un segundo objetivo, los datos RGB se pueden usar para distinguir entre los dos objetos. La cámara RGB puede ser capaz también de determinar finas características de un usuario tal como el reconocimiento facial, el color de pelo y similares que se pueden usar para proporcionar información adicional. Por ejemplo, si u usuario se gira hacia atrás, la cámara RGB puede usar el color del pelo y/o la falta de rasgos faciales para determinar que un usuario está de espaldas al sistema de captura.

El sistema 20 de captura puede capturar datos a tasas interactivas, aumentando la fidelidad de los datos y permitiendo a las técnicas descritas procesar los datos de profundidad sin procesar, digitalizar los objetos en la escena, extraer la superficie y la textura del objeto, y realizar cualquiera de estas técnicas en tiempo real de manera tal que el elemento de presentación (por ejemplo 16) pueda proporcionar una representación de la escena en su pantalla de presentación (por ejemplo 54).

En la realización del sistema de la Figura 2, el sistema 20 de captura de imagen se acopla de manera comunicativa con un entorno informático de manera tal que los ejemplos de sistemas informáticos en las Figuras 3A-3B envíen los datos 205l de seguimiento del movimiento y de manera opcional los datos 217 de audio. El acople de comunicación se puede implementar en una o más conexiones por cable o inalámbricas, tales como, una conexión USB, una conexión Firewire, una conexión por cable Ethernet, o similar y/o una conexión inalámbrica tal como una conexión 802.11b, g, a, o n.

El sistema 20 de captura incluye además un componente 82 de memoria para almacenar las instrucciones que pueden ser ejecutadas por el procesador 80, así como los datos de imagen que se pueden capturar en un formato de trama. El componente 82 de memoria puede incluir memoria de acceso aleatorio (RAM), memoria de sólo lectura (ROM), caché, memoria Flash, un disco duro, o cualquier otro componente de almacenamiento adecuado. En una realización, el componente 82 de memoria puede ser un componente separado en comunicación 90 con el componente 70 de captura de imagen y el procesador 80 como se ilustra. Según otra realización, el componente 82 de memoria se puede integrar dentro del procesador 80 y/o el componente 70 de captura de imagen.

El sistema 20 de captura de imagen incluye además un procesador 80 acoplado de manera comunicativa 90 al componente 70 de cámara de imagen para controlarlo y la memoria 82 para almacenar los datos de imagen. El procesador 80 puede incluir un procesador estandarizado, un procesador especializado, un microprocesador, o similar que pueda ejecutar las instrucciones que puedan incluir instrucciones para almacenar perfiles, recibir los datos de una imagen de profundidad, almacenar los datos en un formato especifico en la memoria 82, determinar si un objetivo adecuado se puede incluir en la imagen de profundidad, convertir el objetivo adecuado en una representación esquelética u otro tipo de modelo del objetivo, o cualquier otra instrucción adecuada. Además, parte de este procesamiento puede ser ejecutado por otros procesadores en uno o más entornos informáticos acoplados.

La inclusión de capacidades de procesamiento en el sistema 20 de captura de imágenes permite un modelo tal como un modelo esquelético multipunto, de un usuario para ser ofrecido en tiempo real. En una realización, puede existir un procesador separado para cada uno de los múltiples componentes del sistema de captura, o puede existir un procesador central único. Como otro ejemplo, puede existir un procesador central así como al menos otro procesador asociado. Si hay una tarea de elevado coste computacional, los dos o más procesadores pueden compartir las tareas de procesamiento de cualquier manera. El procesador o los procesadores pueden incluir una memoria como se describe anteriormente y la memoria puede almacenar uno o más perfiles de usuario. Estos perfiles pueden almacenar escaneos corporales, modos de uso o juego típicos, la edad, la altura, información del peso, los nombres, los avatares, las puntuaciones máximas o cualquier otra información asociada con un usuario y el uso del sistema.

5

10

15

20

25

30

35

40

45

50

55

60

El sistema 20 de captura puede incluir además un micrófono 78 que se puede usar para recibir señales de audio producidas por el usuario. Por tanto, en esta realización, el sistema 20 de captura de imagen es un sistema de captura de datos audiovisuales. El micrófono o los micrófonos en el sistema de captura se pueden usar para proporcionar información adicional y suplementaria sobre un objetivo para permitir al sistema discernir mejor aspectos de la posición o el movimiento del objetivo. Por ejemplo, el micrófono o los micrófonos pueden comprender un micrófono o micrófonos direccionales o un conjunto de micrófonos direccionales que se pueden usar para discernir más la posición de un objetivo humano o para distinguir entre dos objetivos. Por ejemplo, si dos usuario son de forma o tamaños similares y están en un área de captura, los micrófonos se pueden usar para proporcionar información sobre los usuarios de manera tal que se puedan distinguir los usuarios el uno del otro, por ejemplo, en base al reconocimiento de sus voces separadas. Como otro ejemplo, los micrófonos se pueden usar para proporcionar información a un perfil de usuario sobre el usuario, o en una realización del tipo 'lenguaje a texto', donde el al menos un micrófono se puede usar para crear texto en el sistema informático.

Los datos de píxel con los valores de profundidad para una imagen son referidos como una imagen de profundidad. Según una realización, la imagen de profundidad puede incluir un área de píxeles bidimensional (2-D) de la escena capturada donde cada píxel en el área de píxeles 2-D tiene un valor de profundidad asociado tal como una longitud o una distancia en, por ejemplo, centímetros, milímetros, o similar de un objeto en la escena capturada a partir de un punto de referencia, por ejemplo, con respecto a algún aspecto del componente 70 de cámara. Por ejemplo, los valores de profundidad para los píxeles se pueden representar en “capas Z”, que son capas que pueden ser perpendiculares a un eje Z que se extiende desde la cámara 70 de profundidad a lo largo de su línea de visión. Estos valores de profundidad pueden ser referidos de manera colectiva como mapa de profundidad.

Una imagen de profundidad se puede degradar a una resolución de procesamiento menor de manera tal que la imagen de profundidad se pueda procesar de manera más fácil y/o más rápida con menos sobrecarga informática. Por ejemplo, diversas regiones de la imagen de profundidad observada se pueden separar en regiones de fondo y regiones ocupadas por la imagen del objetivo. Las regiones de fondo se pueden eliminar de la imagen o se pueden identificar para que puedan ser ignoradas durante uno o más de los pasos de procesamiento posteriores. De manera adicional, uno o más valores de profundidad de alta varianza o ruido se pueden eliminar y/o suavizar de la imagen de profundidad. Las partes de la información de profundidad faltantes y/o eliminadas se pueden rellenar y/o reconstruir. Dicho relleno se puede lograr promediando los vecinos más cercanos, filtrando, y/o cualquier otro método adecuado. Otro procesamiento adecuado se puede realizar de manera tal que la información de profundidad se pueda usar para generar un modelo tal como el modelo esquelético.

La Figura 3A ilustra un ejemplo detallado de una realización de un entorno informático que se puede usar en una consola de juegos tal como en las FIG. 1A-1E en las que puede operar una o más realizaciones para proporcionar retroalimentación del seguimiento de usuario. Como se muestra en la Figura 3A, la consola 12 multimedia tiene una unidad 101 central de procesamiento (CPU) que tiene una caché 102 de nivel 1, una caché 104 de nivel 2, y una ROM (Memoria de sólo lectura) 106 flash. La caché 102 de nivel 1, y la caché 104 de nivel 2 almacena de manera temporal los datos y por lo tanto reduce el número de ciclos de acceso a memoria, mejorando de este modo la velocidad de procesamiento y el rendimiento. La CPU 101 se puede proporcionar teniendo más de un núcleo, y así, las cachés 102 y 104 de nivel 1 y nivel 2. La ROM 106 flash puede almacenar el código ejecutable que se carga durante una fase inicial de un proceso de arranque cuando se enciende la consola 12 multimedia.

Una unidad 108 de procesamiento de gráficos (GPU) y un codificador de video/códec (codificador/decodificador) de video 114 crea un canal de procesamiento de video para el procesamiento de gráficos de alta velocidad y alta resolución. Los datos son transportados desde la unidad 108 de procesamiento de gráficos hasta el codificador de video/códec de video 114 a través de un bus. El canal de procesamiento de video emite los datos a un puerto A/V (audio/video) 140 para su transmisión a una televisión u otro elemento de presentación. Un controlador 110 de memoria se conecta a la GPU 108 para facilitar al procesador el acceso a diversos tipos de memoria 112, tales como, pero no limitado a, una RAM (Memoria de Acceso Aleatorio).

La consola 12 multimedia incluye un controlador 120 de I/O, un controlador 122 de gestión de sistema, una unidad 123 de procesamiento de audio, un controlador 124 de la interfaz de red, un primer controlador USB 126, un segundo controlador USB 128 y un subsistema 130 de I/O de panel frontal que son implementados en un módulo 118. Los controladores USB 126 y 128 sirven como organizadores de los controladores 142(1)-142(2) periféricos, un adaptador 148 inalámbrico, y un dispositivo 146 de memoria externa (por ejemplo, una memoria flash, una unidad ROM de CD/DVD externa, un medio extraíble, etc). La interfaz 124 de red y/o el adaptador 148 inalámbrico proporcionan acceso a una red (por ejemplo, Internet, una red doméstica, etc.) y puede ser cualquiera de entre una amplia variedad de diversos componentes adaptadores por cable o inalámbricos que incluyen una tarjeta Ethernet, un módem, un módulo Bluetooth, un módem de cable, y similares.

La memoria 143 de sistema se proporciona para almacenar los datos de aplicación que se cargan durante el proceso de arranque. Una unidad 144 de medios se proporciona y puede comprender una unidad de DVD/CD, un disco duro, u otra unidad de medios extraíble, etc. La unidad 144 de medios puede ser interna o externa a la consola 100 multimedia. Los datos de aplicación se pueden acceder a través de la unidad 144 de medios para su ejecución, reproducción, etc. por la consola 12 multimedia. La unidad 144 de medios se conecta al controlador 120 de I/O a través de un bus, tal como un bus Serial ATA u otra conexión de alta velocidad (por ejemplo, IEEE 1394).

5

10

15

20

25

30

35

40

45

50

55

En una realización, se puede almacenar una copia del software y los datos para el sistema 202 de control de visualización del elemento de presentación en la unidad 144 de medios y se puede cargar en la memoria 143 del sistema cuando se ejecuten.

El controlador 122 de gestión del sistema proporciona una variedad de funciones de servicio relacionadas con asegurar la disponibilidad de la consola 12 multimedia. La unidad 123 de procesamiento de audio y el códec 132 de audio forman el canal de procesamiento de audio correspondiente con procesamiento estéreo y de alta fidelidad. Los datos de audio son transportados entre la unidad 123 de procesamiento de audio y el códec 132 de audio a través de un enlace de comunicación. El canal de procesamiento de audio emite los datos al puerto A/V 140 para su reproducción por un reproductor de audio externo o un dispositivo que tenga capacidades de audio.

El subsistema 130 de I/O del panel frontal soporta la funcionalidad del botón 150 de encendido y el botón 152 de expulsión, así como todos los LED (diodos emisores de luz) u otros indicadores expuestos en la superficie exterior de la consola 12 multimedia. Un módulo 136 de suministro de la energía del sistema proporciona la energía a los componentes de la consola 12 multimedia. Un ventilador 138 enfría la circuitería dentro de la consola 12 multimedia.

La CPU 101, la GPU 108, el controlador 110 de memoria, y diversos otros componentes dentro de la consola 100 multimedia se interconectan a través de uno o más buses, incluyendo los buses serie y paralelo, un bus de memoria, un bus periférico, y un procesador o un bus local usando cualquier de entre una variedad de arquitecturas de bus. A modo de ejemplo, dichas arquitecturas pueden incluir un bus de Interconexión de Componentes Periféricos (PCI), un bus PCI- Exprés, etc.

Cuando la consola 12 multimedia se enciende, los datos de aplicación se pueden cargar desde la memoria 143 de sistema en la memoria 112 y/o las cachés 102, 104 y se ejecutan en la CPU 101. La aplicación puede presentar una interfaz de usuario gráfica que proporcione una experiencia de usuario consistente al navegar por los diferentes tipos de medios disponibles en la consola 100 multimedia. En operación, las aplicaciones y/o los otros medios contenidos dentro de la unidad 144 de memoria se pueden lanzar o reproducir desde la unidad 144 de medios para proporcionar funcionalidades adicionales a la consola 12 multimedia.

La consola 12 multimedia se puede operar como un sistema autónomo mediante simplemente conectar el sistema a una televisión u otro elemento de presentación. En este modo autónomo, la consola 12 multimedia permite a uno o más usuarios interactuar con el sistema, ver películas, o escuchar música. Sin embargo, con la integración de la conectividad de banda ancha que está disponible a través de la interfaz 124 de red o del adaptador 148 inalámbrico, la consola 12 multimedia puede ser operada además como un participante en una comunidad de red mayor.

Cuando la consola 12 multimedia es encendida, un conjunto de recursos de hardware se reservan para el uso del sistema por el sistema operativo de la consola multimedia. Estos recursos pueden incluir una reserva de memoria (por ejemplo, 16MB), un ciclo de CPU y de GPU (por ejemplo, un 5%), ancho de banda de red (por ejemplo, 8kbs), etc. Ya que estos recursos se reservan en el momento del arranque del sistema,, los recursos reservados no existen desde el punto de vista de las aplicaciones.

En concreto, la reserva de memoria es suficientemente grande para contener el núcleo de lanzamiento, las aplicaciones de sistema concurrentes y los controladores. La reserva de CPU es constante de manera tal que si el uso de CPU reservado no se usa por las aplicaciones de sistema, un hilo inactivo consumirá todos los ciclos sin usar.

Con respecto a la reserva de la GPU, los mensajes ligeros generados por las aplicaciones de sistema (por ejemplo, las ventanas emergentes) se presentan mediante el uso de un interruptor de GPU para planificar el código para representar la ventana emergente en superposición. La cantidad de memoria requerida para una superposición depende del tamaño del área de las escalas de superposición con la resolución de pantalla. Donde se usa una interfaz de usuario total por la aplicación de sistema concurrente, es preferible usar una resolución independiente de la resolución de la aplicación. Se puede usar un escalador para establecer esta resolución de manera tal que se elimina la necesidad de cambiar la frecuencia y provocar una resincronización de la TV.

Después de que arranque la consola 12 multimedia y se reserven los recursos multimedia, las aplicaciones de sistema concurrentes se ejecutan para proporcionar las funcionalidades del sistema. Las funcionalidades del sistema se encapsulan en un conjunto de aplicaciones de sistema que se ejecutan dentro de los recursos de sistema reservados descritos anteriormente. El núcleo del sistema operativo identifica los hilos que son hilos de aplicaciones del sistema contra los hilos de aplicaciones de juego. Las aplicaciones de sistema se planifican para ejecutarse en la CPU 101 en momentos e intervalos predeterminados para proporcionar una visión de los recursos de sistema consistente a la aplicación. La planificación es para minimizar la ruptura de la caché para la aplicación de juego que se ejecuta en la consola.

Cuando una aplicación de sistema concurrente requiere audio, el procesamiento del audio se planifica de manera asíncrona con la aplicación de juego debido a la sensibilidad con el tiempo. Un gestor de aplicaciones de consola multimedia (descrito más adelante) controla el nivel de audio de la aplicación de juego (por ejemplo, en silencio, atenuado) cuando las aplicaciones de sistema están activas.

5

10

15

20

25

30

35

40

45

50

55

60

Los dispositivos de entrada (por ejemplo, los controladores 142(1) y 142(2)) son compartidos por las aplicaciones de juego y las aplicaciones de sistema. Los dispositivos de entrada no son recursos reservados, sino que se han de conmutar entre las aplicaciones de sistema y la aplicación de juego de manera tal que cada una tendrá el foco de atención del dispositivo. El gestor de aplicaciones controla la conmutación del flujo de entrada, sin el conocimiento de la aplicación de juego y el controlador mantiene la información de estado respecto a las conmutaciones del foco de atención. El sistema 20 de captura de imagen puede definir los dispositivos de entrada adicionales para la consola 12 (por ejemplo para su sistema de cámara).

La Figura 3B ilustra otra realización de ejemplo de un entorno informático tal como un ordenador personal. Con referencia a la Figura 3B, un sistema ejemplar para implementar la tecnología incluye un dispositivo informático de propósito general en forma de un ordenador 310. Los componentes del ordenador 310 pueden incluir, pero no se limitan a, una unidad 320 de procesamiento, un memoria 330 de sistema, y un bus 321 de sistema que acopla diversos componentes de sistema que incluyen la memoria de sistema a la unidad 320 de procesamiento. El bus 321 de sistema puede ser cualquiera de entre varios tipos de estructuras de bus que incluyen un bus de memoria o un controlador de memoria, un bus periférico, y un bus local que usa cualquiera de entre una variedad de arquitecturas de bus. A modo de ejemplo, y no de limitación, dichas arquitecturas incluyen el bus de la Arquitectura Estándar de Industria (ISA), el bus de la Arquitectura de Micro Canal (MCA), el bus de ISA mejorado (EISA), el bus local de la Asociación de Estándares Electrónicos de Video (VESA), y el bus de Interconexión de Componentes Periféricos (PCI) también conocido como bus Mezzanine.

El ordenador 310 normalmente incluye una variedad de medios legibles por ordenador. Los medios legibles por ordenador pueden ser cualquier medio disponible que se pueda acceder por el ordenador 310 e incluye tanto los medios volátiles como los no volátiles, los medios extraíbles como los no extraíbles. A modo de ejemplo, y no de limitación, los medios legibles por ordenador pueden comprender los medios de almacenamiento informático y los medios de comunicación. Los medios de almacenamiento informático incluyen los medios volátiles y los no volátiles, los extraíbles y los no extraíbles implementados en cualquier método o tecnología para el almacenamiento de información tal como las instrucciones legibles por ordenador, las estructuras de datos, los módulos de programa u otros datos. Los medios de almacenamiento informáticos incluyen, pero no se limitan a, una RAM, una ROM, una EEPROM, una memoria flash u otra tecnología de memoria, un CD-ROM, discos digitales versátiles (DVD) u otro almacenamiento en disco óptico, cintas magnéticas, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que se pueda usar para almacenar la información deseada y que pueda ser accedido por un ordenador 310. Los medios de comunicación normalmente representan las instrucciones legibles por ordenador. las estructuras de datos, los módulos de programa u otros datos en una señal de datos modulada tal como una onda portadora u otro mecanismo de transporte e incluye cualquier medio de entrega de información. El término “señal de datos modulada” implica una señal que tiene una o más de sus características establecida o cambiada de tal manera para codificar la información en la señal. A modo de ejemplo, y no de limitación, los medios de comunicación incluyen medios por cable tales como una red por cable o una conexión directa por cable, y los medios inalámbricos tales como los acústicos, de RF, infrarrojos, y otros medios inalámbricos. Las combinaciones de cualquiera de los anteriores se deberían incluir dentro del alcance de los medios legibles por ordenador.

La memoria 330 de sistema incluye un medio de almacenamiento informático en forma de una memoria volátil y/o no volátil tal como una memoria 331 de sólo lectura (ROM) y una memoria 332 de acceso aleatorio (RAM). Un sistema 333 de entrada/salida básico (BIOS), que contiene las rutinas básicas que ayudan a transferir la información entre los elementos dentro de un ordenador 310, tales como durante la puesta en marcha, se almacenan normalmente en la ROM 331. La RAM 332 normalmente contiene los datos y/o los módulos de programa que son accesibles de manera inmediata y/o que actualmente son operados por la unidad 320 de procesamiento. A modo de ejemplo, y no de limitación, la Figura 3B ilustra el sistema 334 operativo, los programas 335 de operación, otros módulos 336 de programa, y los datos 337 de programa.

El ordenador 310 puede incluir también otros medios de almacenamiento informático extraíbles/no extraíbles, volátiles/no volátiles. A modo de ejemplo sólo, la FIG. 3B ilustra una unidad 340 de disco duro que lee desde o escribe a unos medios magnéticos, no extraíbles, no volátiles, una unidad 351 de disco magnético que lee desde o escribe a un disco 352 magnético, extraíble, no volátil, y una unidad 355 de disco óptico que lee desde o escribe a un disco 356 óptico extraíble, no volátil tal como un CR ROM u otro medio óptico. Otros medios de almacenamiento informático extraíbles/no extraíbles, volátiles/no volátiles que se pueden usar en el entorno operativo ejemplar incluyen, pero no se limitan a, cintas magnéticas, tarjetas de memoria flash, discos versátiles digitales, cintas de video digital, RAM de estado sólido, ROM de estado sólido, y similares. La unidad 341 de disco duro se conecta normalmente al bus 321 de sistema a través de una interfaz de memoria no extraíble tal como la interfaz 340, y la unidad 351 de disco magnético y la unidad 355 de disco óptico se conectan normalmente al bus de sistema 321 mediante una interfaz de memoria extraíble, tal como la interfaz 350.

Las unidades y sus medios de almacenamiento informático asociados discutidos anteriormente e ilustrados en la Figura 3B, proporcionan almacenamiento de instrucciones legibles por ordenador, estructuras de datos, módulos de programa y otros datos para el ordenador 310. En la FIG. 3B, por ejemplo, la unidad 341 de disco duro se ilustra como que almacena el sistema 344 operativo, los programas 345 de aplicación, otros módulos 346 de programa, y los datos 347 de programa. Tenga en cuenta que estos componentes pueden bien ser los mismos o diferentes del

5

10

15

20

25

30

35

40

45

50

55

60

sistema 334 operativo, los programas 335 de aplicación, otros módulos 336 de programa, y los datos 337 de programa. Al sistema 344 operativo, los programas 345 de aplicación, otros módulos 346 de programa, y los datos 347 de programa se les da diferentes números en la presente memoria para ilustrar que, como mínimo, son copias diferentes.

En una realización, se puede almacenar una copia del software y de los datos para el sistema 202 de control de visualización del elemento de presentación en los programas 345 de aplicaciones y los datos 347 de programa almacenados en la unidad 238 de disco duro o de manera remota (por ejemplo 248). Una copia se puede cargar también como un programa 226 de aplicación y datos 228 de programa en la memoria 222 de sistema cuando se ejecute.

Un usuario puede introducir comandos e información dentro del ordenador 20 a través de dispositivos de entrada tales como un teclado 362 y un dispositivo de apuntamiento 361, comúnmente referido como un ratón, una rueda de desplazamiento o un panel táctil. Otros dispositivos de entrada (no mostrados) pueden incluir un micrófono, una palanca de mando, un panel de juego, una antena parabólica, un escáner, o similares. Estos y otros dispositivos de entrada se conectan a menudo a la unidad 320 de procesamiento a través de una interfaz 360 de entrada que se acopla al bus de sistema, pero que se puede conectar mediante otras estructuras de interfaz y bus, tales como un puerto paralelo, un puerto de juegos o un bus serie universal (USB). También se conecta un monitor 391 u otro tipo de dispositivo de presentación al bus 321 de sistema a través de una interfaz, tal como una interfaz 390 de video. Además del monitor, los ordenadores pueden incluir también otros dispositivos periféricos de salida tales como unos altavoces 397 e impresoras 396, que se pueden conectar a través de una interfaz 390 periférica de salida.

El ordenador 310 puede operar en un entorno de red que usa conexiones lógicas con uno o más ordenadores remotos, tales como el ordenador 380 remoto. El ordenador 380 remoto puede ser un ordenador personal, un servidor, un enrutador, un PC de red, un dispositivo de par u otro nodo de red común, y normalmente incluye muchos o todos los elementos descritos anteriormente en relación con el ordenador 310, aunque sólo se ha ilustrado un dispositivo 381 de almacenamiento de memoria en la Figura 3. Las conexiones lógicas representadas en la Figura 3 incluyen una red 371 de área local (LAN) y una red 373 de área amplia (WAN), pero puede incluir también otras redes. Dichos entornos de red son normales en oficinas, redes de ordenadores amplias de empresas, intranets e Internet.

Cuando se usa en un entorno de red LAN, el ordenador 310 se conecta a la LAN 371 a través de una interfaz o adaptador de red 370. Cuando se usa en un entorno de red WAN, el ordenador 310 normalmente incluye un módem 372 u otro medio para establecer las comunicaciones a través de la WAN 373, tal como Internet. El módem 372, que puede ser interno o externo, se puede conectar al bus 321 de sistema a través de la interfaz 360 de entrada de usuario, u otro mecanismo apropiado. En un entorno de red, los módulos de programa representados en relación con el ordenador 310, o partes del mismo, se pueden almacenar en el dispositivo de almacenamiento de memoria remota. A modo de ejemplo, y no de limitación, la Figura 3B ilustra los programas 385 de aplicación remota como residiendo en el dispositivo 381 de memoria. Se apreciará que las conexiones de red mostradas son ejemplares y se pueden usar otros medios de establecimiento de un enlace de comunicaciones entre los ordenadores.

La Figura 4 ilustra una realización de ejemplo de un entorno informático en red en el que pueden operar una o más realizaciones para proporcionar retroalimentación del seguimiento de usuario a un usuario. Como se muestra en la Fig. 4, las múltiples consolas 400A-400X o dispositivos de procesamiento, tales como los ilustrados en las Figuras 3A y 3B se pueden acoplar a una red 402 y pueden comunicarse las unas con las otras y con un servicio 404 de juego en red que tiene uno o más servidor o servidores 406 a través de la red 402. El servidor o los servidores 406 pueden incluir un componente de comunicación capaz de recibir información desde y transmitir información hasta las consolas 400A-X y puede proporcionar una colección de servicios que las aplicaciones que se ejecutan en las consolas 400A-X pueden invocar y utilizar.

La consolas 400A-X pueden invocar el servicio 408 de inicio de sesión de usuario, que se usa para autenticar e identificar a un usuario en las consolas 400A-X. Durante el inicio de sesión, el servicio 408 de inicio de sesión obtiene una etiqueta de jugador (un identificador único asociado con el usuario) y una contraseña del usuario así como un identificador de la consola que identifica de manera única la consola que el usuario está usando y la ruta de red hasta la consola. La etiqueta de jugador y la contraseña se autentican comparándolas con una base 416 de datos de perfiles de usuario, que se puede ubicar en el mismo servidor que el servicio 408 de inicio de sesión o se puede distribuir en diferentes servidores o en una colección de diferentes servidores. Una vez autenticado, el servicio 408 de inicio de sesión de usuario almacena el identificador de la consola y la ruta de red en la base 416 de datos de perfiles de usuario para que los mensajes y la información se pueda enviar a la consola.

En una realización, las consola 400A-X pueden incluir un servicio 410 de juego, un servicio 412 compartido, unos datos 428 compartidos de usuario y una base 418 de datos de sustitución. El servicio de juego puede permitir a los usuarios jugar en línea juegos interactivos, crear y compartir entornos de juego para el juego conjunto entre consolas, y proporcionar otros servicios tales como un mercado en línea, un seguimiento de logros centralizado a través de diversos juegos y funciones de experiencia compartida. Un servicio 412 compartido permite a los usuarios compartir los elementos de juego con otros usuarios. Por ejemplo, un usuario en una consola 400x puede crear elementos para usar en juegos y compartirlos o venderlos a otros usuarios. Además, un usuario puede registrar

5

10

15

20

25

30

35

40

45

50

55

elementos de la experiencia de juego, tales como un vídeo de una carrera o diversas escenas en un juego, y compartirlas con otros usuarios. La información proporcionada por los usuarios para compartir o vender se puede almacenar en los datos 428 compartidos de usuario.

La base 416 de datos de perfiles de usuarios global puede incluir información sobre todos los usuarios en las consolas 400A-X así como la información de las cuentas de los usuarios y un identificador de consola que identifique de manera única la consola concreta que cada usuario esté usando. La base 416 de datos de perfil de usuario puede incluir también la información de las preferencias de usuario asociada con todos los usuarios en las consolas 400A-X. La base 416 de datos de perfiles de usuarios global puede incluir también la información sobre los usuarios tal como los registros del juego una lista de amigos asociada con los usuarios.

El software 414 de retroalimentación del seguimiento se puede proporcionar en el servicio 404 de juego. El software de retroalimentación del seguimiento puede responder a los problemas de seguimiento con gestos y movimiento en los elementos del juego subidos al servidor y almacenados en los datos 428 compartidos de usuario.

Cualquier número de dispositivos de procesamiento en red se puede proporcionar de acuerdo con un sistema de juego como se proporciona en la Fig. 4. Como tal, la tecnología presentada en la presente memoria puede operar uno o más servidores 406 en conjunción con un servicio 404 de juego o se puede proporcionar en dispositivos de procesamiento individuales en un entorno en red, tal como los dispositivos 400A -400x.

La Figura 5 representa un modelo de un usuario 500 humano que se puede crear usando el sistema 20 de captura y el entorno 12 informático. La correspondencia 500 esquelética de ejemplo de un usuario se ha generado desde los datos 205 de seguimiento del movimiento capturados mediante el sistema 20 de captura de datos audiovisuales. Este modelo se puede usar mediante uno o más aspectos del sistema 10 basado en gestos para determinar los gestos y similares. El modelo puede estar comprendido por articulaciones y huesos. El seguimiento de dichas articulaciones y huesos puede permitir al sistema basado en gestos determinar que gestos está haciendo un usuario. Estos gestos se pueden usar para controlar el sistema basado en gestos. En esta realización, se identifican una variedad de articulaciones y huesos: cada muñeca 502a, 502b, cada antebrazo 504a, 504b, cada codo 506a, 506b, cada bíceps 508a, 508b, cada hombro 510a, 510b, cada cadera 512a, 512b, cada muslo 514a, 514b, cada rodilla 516a, 516b, cada pierna 518a, 518b, cada pie 520a, 520b, una cabeza 522, un torso 524, una parte superior 526 y una parte inferior 528 de la espina, y una cintura 530. Cuantos más puntos se sigan, más características se pueden identificar, tal como las características individuales de la cara, tal como la nariz y los ojos. Sin embargo, cuantos más cambios en los datos se sigan, más se puede ralentizar también la presentación del avatar.

La Figura 6 representa una serie de gestos tales como una onda o una mano 602 levantada, haciendo una X con los brazos 604, o un choque de manos 606. Aunque no se limita de ninguna manera por los pocos gestos que se han representado, estos gestos, junto con cualesquiera otros pueden ser comandos para el sistema 10 basado en gestos. En una realización, los gestos pueden ser universales, significando que no deberían estar limitados a aplicaciones de software o hardware concretas. En otra realización los juegos u otros programas operados sobre el entorno 12 informático pueden tener gestos específicos del programa. Por ejemplo, un gesto universal para transferir el control del juego a otro jugador puede ser un apretón de manos; sin embargo, un juego tal como un juego de lucha libre puede tener un gesto específico de programa que realice la transferencia del control si los usuarios realizan un gesto 524 de chocar los cinco.

Las realizaciones del método de las Figuras 7 y 8 respectivamente se discuten en el contexto de la realización de la arquitectura funcional implementada por ordenador de la Figura 2 sólo con propósitos ilustrativos y no para ser limitantes del mismo.

La Figura 7 es un diagrama de flujo de una realización 700 del método para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación de seguir el movimiento del usuario. El sistema de captura detecta en 702 a un usuario en un área de captura. El módulo 204 de movimientos recibe los datos 205l del seguimiento del movimiento y de manera opcional, los datos 217 de audio y sigue en 704 al menos una característica corporal del usuario basado en los datos generados por el sistema de captura. En respuesta a los criterios de seguimiento de usuario que no se satisfacen para una aplicación en ejecución, el software 213 de retroalimentación determina en 706 una respuesta de retroalimentación y provoca la salida en 708 de la retroalimentación al usuario. Como se describe anteriormente, la salida de la retroalimentación puede incluir la presentación de indicadores visuales, proporcionando un indicador de audio o proporcionando una acción dentro del contexto de la actividad de la aplicación.

La Figura 8 es un diagrama de flujo de una realización 800 del método para ayudar a un usuario en la selección de un área de captura. El software 213 de retroalimentación del seguimiento presenta las instrucciones que instruyen en 802 a un usuario para dirigir el campo de visión de la cámara a un área de captura de prueba, y el sistema 20 de captura, captura datos 804 de imagen del área de captura de prueba. En una realización, el software 213 de retroalimentación del seguimiento puede presentar los datos de imagen del área de captura de prueba en el elemento de presentación para que el usuario pueda verlos por sí mismo. El software 213 de retroalimentación del seguimiento presenta en 806 las instrucciones que dirigen al usuario a hacer al menos un gesto usando al menos una parte del cuerpo usada para controlar la actividad para la aplicación en ejecución. El módulo 204 de

5

10

15

20

25

30

35

40

45

50

movimientos sigue en 808 el movimiento de al menos una parte del cuerpo que hace el gesto. El software 213 determina en 811 si el criterio de seguimiento está siendo satisfecho. En respuesta a los criterios de seguimiento del usuario que se satisfacen, el software 213 de retroalimentación del seguimiento determina en 812 una puntuación de la calidad del seguimiento para el área de captura de prueba.

El módulo 204 de movimientos puede proporcionar las puntuaciones o los pesos o algún valor representativo de la calidad de ciertos factores de visibilidad para el área de captura de prueba para el software 213 de retroalimentación del seguimiento para que este los compare con los criterios de seguimiento basados en los factores de visibilidad. En alguna realización, un algoritmo de pesajes se puede aplicar entonces a estos factores para determinar una puntuación. Algunos ejemplos de los factores incluyen la ubicación de la parte del cuerpo del usuario para el gesto en el campo de visión del sistema de captura, la iluminación en el área de captura, y las obstrucciones de la parte del cuerpo.

Las diferentes áreas de captura se califican o se puntúan, y la mejor se recomienda en 818. En otra alternativa, el sistema 20 de captura de imagen se gira a lo largo de un rango de ángulos capturando diferentes vistas en una habitación, y sugiriendo como área de captura la que proporcione la mejor capacidad de seguimiento. El área de captura con la mejor capacidad de seguimiento se puede presentar en el elemento 16 de presentación a través del módulo 207 de procesamiento de la presentación para identificarlo por el usuario.

El módulo 204 de movimientos puede no ser capaz de hacer coincidir un gesto con el movimiento del usuario que lo hace, y puede enviar un mensaje al software 213 de retroalimentación del seguimiento indicándolo. El módulo 204 de movimientos puede indicar también un factor de visibilidad que contribuya a que los criterios de seguimiento del usuario no se estén satisfaciendo. Por ejemplo, el valor de calidad representativo para el factor de visibilidad de la iluminación puede indicar que es pobre.

En respuesta a los criterios de seguimiento del usuario que no se satisfacen, el software 213 de retroalimentación del seguimiento determina como uno o más de los factores de visibilidad se pueden mejorar para el seguimiento, y emite la retroalimentación en 820 al usuario identificando al menos un cambio en el área de captura para mejorar un factor de visibilidad. La retroalimentación se puede emitir a través de elementos de presentación visuales o como mensajes de audio.

El software 213 de retroalimentación del seguimiento determina en 812 una puntuación de calidad del seguimiento para el área de captura de prueba. El módulo 204 de movimientos puede proporcionar puntuaciones o pesos o algún valor representativo de la calidad de ciertos factores de visibilidad para el área de captura de prueba al software 213 de retroalimentación del seguimiento que puede aplicar un algoritmo de pesajes a estos factores para determinar una puntuación.

El software 213 de retroalimentación del seguimiento determina en 814 si existe otra área de captura de prueba a ser probada. Por ejemplo, solicita la entrada del usuario a través del elemento de presentación para ver si hay otra área de captura de prueba. Si hay otra área de captura de prueba, los pasos se repiten para este área de prueba. Si no hay otra área de captura de prueba, el software 213 de retroalimentación del seguimiento presenta una recomendación de área de captura de prueba con la mejor puntuación de visibilidad. Por ejemplo, el área de captura de prueba con la mejor puntuación se presenta en el elemento de presentación. Si hay otra área de captura de prueba, el software 213 presenta en 802 las instrucciones para dirigir el campo de visión de la cámara a la siguiente área de captura y repetir los pasos anteriores.

La descripción detallada anterior se ha presentado con propósitos de ilustración y descripción. No está destinada a ser exhaustiva o a limitar la tecnología descrita a la forma descrita precisa. Muchas modificaciones y variaciones son posibles a la luz de las enseñanzas anteriores. Las realizaciones descritas se eligieron para explicar mejor los principios de la tecnología y su aplicación práctica para de este modo permitir a otros expertos en la técnica utilizar mejor la tecnología en las diversas realizaciones y con las diversas modificaciones que sean adecuadas al uso concreto contemplado. Además, se debería tener en cuenta que el lenguaje usado en la especificación se ha seleccionado principalmente con el propósito de legibilidad e instrucción.

Aunque el tema se ha descrito en un lenguaje específico para las características estructurales y/o los actos metodológicos, se ha de entender que el tema definido en las reivindicaciones adjuntas no está necesariamente limitado a las características o actos específicos descritos anteriormente. Más bien, las características y actos específicos descritos anteriormente se describen como ejemplo de las formas de implementar las reivindicaciones.

Claims (8)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    REIVINDICACIONES
    1. Un método (700), realizado por un sistema implementado por ordenador que ejecuta una aplicación de juego que sigue las acciones del usuario para controlar un objeto presentado de un juego, para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende:
    la detección (702) del usuario en un área de captura con un sistema (20) de captura de imagen;
    el seguimiento (704) de al menos una parte del cuerpo del usuario en base a los datos generados por el sistema (20) de captura;
    en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen, la determinación (706) de una respuesta contextual de retroalimentación a ser proporcionada dentro del contexto de la aplicación de juego, siendo dicha respuesta de retroalimentación contextual una acción contextual en el juego que cambia al menos una acción de un objeto en el elemento de presentación para proporcionar una motivación al usuario para mover la parte del cuerpo hacia el campo de visión, en donde la respuesta contextual de retroalimentación se determina en base a un perfil del usuario; y
    la emisión (708) de la respuesta contextual de retroalimentación al usuario en el elemento de presentación.
  2. 2. El método (700) de la reivindicación 1
    en donde dicha acción contextual en el juego es para enviar el objeto en el elemento de presentación en una dirección en la que el usuario debería moverse para poner la parte del cuerpo de vuelta en el campo de visión.
  3. 3. El método (700) de la reivindicación 1
    en donde dicha acción contextual en el juego es un cambio de dirección o de perspectiva de la visión del usuario de la acción del juego.
  4. 4. El método (700) de cualquiera de las reivindicaciones precedentes, en donde el perfil del usuario incluye la edad del usuario.
  5. 5. El método (700) de cualquiera de las reivindicaciones precedentes, comprendiendo además la emisión de un indicador de audio al usuario dirigido en una determinada dirección para motivar al usuario a correr lejos de esa dirección en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen.
  6. 6. El método (700) de cualquiera de las reivindicaciones precedentes, comprendiendo además la determinación de la respuesta contextual de retroalimentación en respuesta a criterios de seguimiento del usuario adicionales que no se satisfacen, estando dichos criterios de seguimiento de usuario basados en el factor de visibilidad del grupo consistente de lo siguiente:
    la iluminación;
    el contraste; y
    una obstrucción de la parte del cuerpo del usuario.
  7. 7. Un medio (112, 143, 330, 341, 352, 356) legible por ordenador que comprende instrucciones ejecutables por ordenador almacenadas en el mismo que, cuando son ejecutadas por una unidad de procesamiento (101, 108, 320), provocan que la unidad (101, 108, 320) de procesamiento realice el método (700) de cualquiera de las reivindicaciones precedentes.
  8. 8. Un sistema para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende:
    un sistema (20) de captura de imagen para capturar los datos de imagen de un usuario; una memoria (112, 143, 330, 341, 352, 356) que almacena instrucciones; y
    uno o más procesadores (101, 108, 320) que se acoplan de manera comunicativa al sistema (20) de captura de imagen y a la memoria (112, 143, 330, 341, 352, 356);
    un elemento (16) de presentación acoplado de manera comunicativa con el uno o más procesadores para presentar la retroalimentación al usuario;
    el uno o más procesadores (101, 108, 320) que se configuran para, cuando se ejecutan las instrucciones almacenadas en la memoria (112, 143, 330, 341, 352, 356), realizar el método (700) según cualquiera de las reivindicaciones 1 a 6.
ES11798639.8T 2009-05-01 2011-06-14 Retroalimentación del seguimiento del usuario Active ES2669869T3 (es)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US820954 2010-06-22
US12/820,954 US9898675B2 (en) 2009-05-01 2010-06-22 User movement tracking feedback to improve tracking
PCT/US2011/040317 WO2011163011A2 (en) 2010-06-22 2011-06-14 User tracking feedback

Publications (1)

Publication Number Publication Date
ES2669869T3 true ES2669869T3 (es) 2018-05-29

Family

ID=45372024

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11798639.8T Active ES2669869T3 (es) 2009-05-01 2011-06-14 Retroalimentación del seguimiento del usuario

Country Status (8)

Country Link
US (1) US9898675B2 (es)
EP (1) EP2585896B1 (es)
JP (1) JP5943913B2 (es)
CN (1) CN102947777B (es)
CA (1) CA2800538A1 (es)
ES (1) ES2669869T3 (es)
TW (1) TW201203089A (es)
WO (1) WO2011163011A2 (es)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US8698092B2 (en) 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
US8385596B2 (en) * 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
WO2012091185A1 (en) * 2010-12-27 2012-07-05 Lg Electronics Inc. Display device and method of providing feedback for gestures thereof
KR101792866B1 (ko) 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
WO2012143829A2 (en) 2011-04-20 2012-10-26 Koninklijke Philips Electronics N.V. Gesture based control of element or item
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
JP5388392B2 (ja) 2011-07-01 2014-01-15 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャベースのゲームのための安全スキーム
TWI441042B (zh) 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
CN102866772B (zh) * 2011-07-07 2016-02-17 原相科技股份有限公司 互动影像系统、互动控制装置及其运作方法
US9159152B1 (en) * 2011-07-18 2015-10-13 Motion Reality, Inc. Mapping between a capture volume and a virtual world in a motion capture simulation environment
CN103764235B (zh) 2011-08-31 2016-03-23 英派尔科技开发有限公司 用于基于姿势的游戏系统的位置设置
JP6157631B2 (ja) * 2012-10-30 2017-07-05 ナイキ イノベイト シーブイ リモート共同ワークアウトセッション用のユーザインタフェース及びフィットネスメーター
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10423515B2 (en) * 2011-11-29 2019-09-24 Microsoft Technology Licensing, Llc Recording touch information
US8657681B2 (en) 2011-12-02 2014-02-25 Empire Technology Development Llc Safety scheme for gesture-based game system
DE112012005414A5 (de) * 2011-12-23 2014-08-28 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zur Darstellung mindestens eines Bilds zumindest einer Anwendung auf einer Anzeigevorrichtung
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8790179B2 (en) 2012-02-24 2014-07-29 Empire Technology Development Llc Safety scheme for gesture-based game system
KR20190057448A (ko) * 2012-12-21 2019-05-28 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 레코딩된 게임플레이에 기반하여 클라우드-게이밍에 대한 제안된 미니-게임의 자동 발생
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
EP2662827B1 (en) * 2012-05-08 2016-01-13 Axis AB Video analysis
TWI557685B (zh) * 2012-05-23 2016-11-11 雲南恆達睿創三維數字科技有限公司 網格動畫製作方法
TWI457532B (zh) * 2012-05-31 2014-10-21 Pixart Imaging Inc 光學物件辨識系統
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US9704171B2 (en) * 2012-06-05 2017-07-11 Applause App Quality, Inc. Methods and systems for quantifying and tracking software application quality
CN103488277B (zh) * 2012-06-12 2016-08-03 原相科技股份有限公司 光学物体识别系统
US9682321B2 (en) 2012-06-20 2017-06-20 Microsoft Technology Licensing, Llc Multiple frame distributed rendering of interactive content
US8777226B1 (en) 2012-06-21 2014-07-15 Robert Hubert Decker, Jr. Proxy target system
US20140188009A1 (en) * 2012-07-06 2014-07-03 University Of Southern California Customizable activity training and rehabilitation system
US8512140B1 (en) 2012-07-26 2013-08-20 Zynga Inc. Gaming system for updating a presentation of a virtual game environment
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
DE102012216195A1 (de) * 2012-09-12 2014-05-28 Continental Automotive Gmbh Eingabeeinrichtung
TWI463181B (zh) * 2012-09-25 2014-12-01 Au Optronics Corp 三維顯示器系統及其控制方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9372541B2 (en) * 2013-03-11 2016-06-21 Honeywell International Inc. Gesture recognition system operability verification
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9798388B1 (en) * 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
TWI509464B (zh) * 2013-08-07 2015-11-21 Univ Nat Taipei Technology 互動程式物件處理方法與其多機通訊方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
IL228332D0 (en) * 2013-09-10 2014-08-31 Pointgrab Ltd Feedback method and system for interactive systems
TWI524211B (zh) * 2013-09-11 2016-03-01 萬國商業機器公司 電子裝置及其顯示角度調整方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
TWI537767B (zh) 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9542544B2 (en) * 2013-11-08 2017-01-10 Microsoft Technology Licensing, Llc Correlated display of biometric identity, feedback and user interaction state
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
TWI488072B (zh) * 2013-12-19 2015-06-11 Lite On Technology Corp 手勢辨識系統及其手勢辨識方法
TWI602602B (zh) * 2014-01-10 2017-10-21 International Games System Co Ltd The method of judging the score of somatosensory game
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9563956B2 (en) * 2014-03-26 2017-02-07 Intel Corporation Efficient free-space finger recognition
TWI499938B (zh) 2014-04-11 2015-09-11 Quanta Comp Inc 觸控系統
US9665198B2 (en) * 2014-05-06 2017-05-30 Qualcomm Incorporated System and method for optimizing haptic feedback
US9600074B2 (en) * 2014-07-09 2017-03-21 Pearson Education, Inc. Operational feedback with 3D commands
US9691293B2 (en) 2014-07-09 2017-06-27 Pearson Education, Inc. Customizing application usability with 3D input
KR20160022162A (ko) * 2014-08-19 2016-02-29 삼성전자주식회사 Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법
US9554188B2 (en) * 2014-08-27 2017-01-24 Verizon Patent And Licensing Inc. Shock block
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US9928233B2 (en) 2014-11-12 2018-03-27 Applause App Quality, Inc. Computer-implemented methods and systems for clustering user reviews and ranking clusters
TWI571767B (zh) * 2014-12-09 2017-02-21 國立臺灣大學 背螢幕式三維互動系統與方法
CN104536568B (zh) * 2014-12-26 2017-10-31 技嘉科技股份有限公司 侦测用户头部动态的操控系统及其操控方法
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
CN105045712B (zh) * 2015-07-15 2017-09-26 中国航空无线电电子研究所 一种用于测试图形处理模块的测试系统
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US20170039986A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed Reality Social Interactions
US10205763B2 (en) * 2015-08-26 2019-02-12 Zhan Ma Method and apparatus for the single input multiple output (SIMO) media adaptation
CN106648042A (zh) * 2015-11-04 2017-05-10 重庆邮电大学 一种识别控制方法以及装置
US10204265B2 (en) * 2016-01-11 2019-02-12 Electronics And Telecommunications Research Institute System and method for authenticating user
CN108700944A (zh) 2016-05-12 2018-10-23 谷歌有限责任公司 与在虚拟现实环境中的运动有关的系统和方法
CN106338839A (zh) * 2016-11-08 2017-01-18 金陵科技学院 一种3d动漫演示装置
CN106601217A (zh) * 2016-12-06 2017-04-26 北京邮电大学 一种交互式乐器演奏方法及装置
TWI637341B (zh) * 2017-05-18 2018-10-01 緯創資通股份有限公司 穿戴式裝置、動態事件記錄系統及其動態事件記錄方法
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
TWI633326B (zh) * 2017-09-11 2018-08-21 宏碁股份有限公司 多人定位系統以及多人定位方法
KR101987864B1 (ko) * 2017-12-22 2019-06-11 (주)네오인터넷 게임 유저의 액션 기반 전자 게임 제공방법

Family Cites Families (285)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (en) 1988-10-14 1990-08-07 David G Capper Control interface device
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
JP2622620B2 (ja) 1989-11-07 1997-06-18 プロクシマ コーポレイション コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム
JPH03103822U (es) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (es) 1991-12-03 1994-10-06
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6091905A (en) 1995-06-22 2000-07-18 3Dv Systems, Ltd Telecentric 3D camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ, インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US5813863A (en) * 1996-05-01 1998-09-29 Sloane; Sharon R. Interactive behavior modification system
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
AT232621T (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
JP3819096B2 (ja) 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP1017973A1 (en) 1997-09-24 2000-07-12 3DV Systems Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Communications Research Laboratory, Ministry of Posts and Telecommunications Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JPH11272293A (ja) 1998-03-24 1999-10-08 Sanyo Electric Co Ltd 遠隔制御装置
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6241612B1 (en) 1998-11-09 2001-06-05 Cirrus Logic, Inc. Voice communication during a multi-player game
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
AU5646299A (en) 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
DE19960180B4 (de) 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6767287B1 (en) 2000-03-16 2004-07-27 Sony Computer Entertainment America Inc. Computer system and method for implementing a virtual reality environment for a multi-player game
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7327376B2 (en) 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US20020075334A1 (en) 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6809726B2 (en) 2000-12-11 2004-10-26 Xerox Corporation Touchscreen display calibration using results history
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20030021032A1 (en) 2001-06-22 2003-01-30 Cyrus Bamji Method and system to display a virtual input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20030165048A1 (en) 2001-12-07 2003-09-04 Cyrus Bamji Enhanced light-generated interface for use with electronic devices
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
WO2003073359A2 (en) 2002-02-26 2003-09-04 Canesta, Inc. Method and apparatus for recognizing objects
US7310431B2 (en) 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
AT321689T (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
EP2013865A4 (en) 2006-05-04 2010-11-03 Sony Comp Entertainment Us Methods and apparatus for applying gearing effects to input based on one or more of visual, acoustic, inertial, and mixed data
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7484176B2 (en) * 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
US7103852B2 (en) 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20050183035A1 (en) 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
JP5128276B2 (ja) * 2004-05-10 2013-01-23 任天堂株式会社 ゲーム装置、ゲームプログラム、コンピュータ読み取り可能な情報記憶媒体、ゲームシステムおよびゲーム処理方法
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
GB0417075D0 (en) 2004-07-30 2004-09-01 Hewlett Packard Development Co Calibrating digital pens
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006025137A1 (ja) 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
TWI316196B (en) 2004-11-01 2009-10-21 Ibm Apparatus method and system for improved feedback of pointing device event processing
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101622630B (zh) 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
US8369795B2 (en) * 2005-01-12 2013-02-05 Microsoft Corporation Game console notification system
CN1304931C (zh) 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc System and method for genture based control system
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
KR100688743B1 (ko) 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7577925B2 (en) 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US20060258427A1 (en) 2005-05-13 2006-11-16 Igt Wide area table gaming monitor and control system
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP4773170B2 (ja) * 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
US8241118B2 (en) 2006-01-27 2012-08-14 Great Play Holdings Llc System for promoting physical activity employing virtual interactive arena
US8004503B2 (en) 2006-02-21 2011-08-23 Microsoft Corporation Auto-calibration of a touch screen
CN101496032B (zh) 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
JP4785569B2 (ja) 2006-03-10 2011-10-05 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
JP3954631B1 (ja) 2006-03-30 2007-08-08 株式会社バンダイナムコゲームス サーバシステム、ゲーム端末、プログラム及び情報記憶媒体
CN1828630A (zh) 2006-04-06 2006-09-06 上海交通大学 基于流形学习的人脸姿势识别方法
JP4921550B2 (ja) 2006-05-07 2012-04-25 株式会社ソニー・コンピュータエンタテインメント ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8683386B2 (en) 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
CA2700843C (en) 2006-10-26 2016-11-01 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
US8157652B2 (en) 2006-11-10 2012-04-17 Igt Interactive gaming table
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US20080146302A1 (en) * 2006-12-14 2008-06-19 Arlen Lynn Olsen Massive Multiplayer Event Using Physical Skills
JP2008152530A (ja) 2006-12-18 2008-07-03 Sony Corp 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080200287A1 (en) * 2007-01-10 2008-08-21 Pillar Vision Corporation Trajectory detection and feedfack system for tennis
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20090005141A1 (en) 2007-06-26 2009-01-01 Nokia Corporation Personalized Multiplayer Media Game or Quiz
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
CN101952818B (zh) 2007-09-14 2016-05-25 智慧投资控股81有限责任公司 基于姿态的用户交互的处理
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
CN103369391B (zh) * 2007-11-21 2016-12-28 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
WO2009067676A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US20110009194A1 (en) * 2007-12-06 2011-01-13 Oz Gabai Acoustic motion capture
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US20090319459A1 (en) 2008-02-20 2009-12-24 Massachusetts Institute Of Technology Physically-animated Visual Display
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090237490A1 (en) * 2008-03-21 2009-09-24 Nelson Jr Douglas V System and method for stereoscopic image creation and transmission
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
JP4583472B2 (ja) * 2008-04-28 2010-11-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
JP5231903B2 (ja) 2008-09-03 2013-07-10 株式会社日立ハイテクノロジーズ プラズマ処理装置
US8127236B2 (en) * 2008-09-12 2012-02-28 International Business Machines Corporation Virtual universe subject matter expert assistance
JP4850885B2 (ja) 2008-10-02 2012-01-11 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US8619043B2 (en) 2009-02-27 2013-12-31 Blackberry Limited System and method of calibration of a touch screen display
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US9250746B2 (en) 2010-03-12 2016-02-02 Shafa Wala Position capture input apparatus, system, and method therefor
JP5039808B2 (ja) 2010-03-16 2012-10-03 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
US8562403B2 (en) * 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
WO2011155958A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial

Also Published As

Publication number Publication date
WO2011163011A2 (en) 2011-12-29
CN102947777B (zh) 2016-08-03
CN102947777A (zh) 2013-02-27
JP5943913B2 (ja) 2016-07-05
US20100277411A1 (en) 2010-11-04
US9898675B2 (en) 2018-02-20
EP2585896A4 (en) 2016-03-23
EP2585896A2 (en) 2013-05-01
TW201203089A (en) 2012-01-16
JP2013539565A (ja) 2013-10-24
CA2800538A1 (en) 2011-12-29
EP2585896B1 (en) 2018-02-28
WO2011163011A3 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
US8523667B2 (en) Parental control settings based on body dimensions
EP2486545B1 (en) Human tracking system
US9539500B2 (en) Biometric recognition
US9345957B2 (en) Enhancing a sport using an augmented reality display
DE60308541T2 (de) Mensch-maschine-schnittstelle unter verwendung einer deformierbaren einrichtung
TWI489318B (zh) 對控制器識別使用者之技術
CN102576466B (zh) 用于跟踪模型的系统和方法
US10048747B2 (en) Methods and systems for determining and tracking extremities of a target
US9274747B2 (en) Natural user input for driving interactive stories
Smith et al. Use of eye movements for video game control
KR20130111248A (ko) 골격 관절 인식 및 트래킹 시스템
US8259163B2 (en) Display with built in 3D sensing
Miles et al. A review of virtual environments for training in ball sports
JP5410596B2 (ja) 仮想ポート管理方法及びシステム
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
US8457353B2 (en) Gestures and gesture modifiers for manipulating a user-interface
EP2435892B1 (en) Gesture shortcuts
US8654152B2 (en) Compartmentalizing focus area within field of view
EP2384464B1 (en) Standard gestures
US9268404B2 (en) Application gesture interpretation
US8897493B2 (en) Body scan
CN102129343B (zh) 运动捕捉系统中的受指导的表演
CN102656542B (zh) 用于演示的相机导航
US20110246329A1 (en) Motion-based interactive shopping environment
US8145594B2 (en) Localized gesture aggregation