ES2893410T3 - Sistema de instrucción de realidad virtual y aumentada - Google Patents

Sistema de instrucción de realidad virtual y aumentada Download PDF

Info

Publication number
ES2893410T3
ES2893410T3 ES13858451T ES13858451T ES2893410T3 ES 2893410 T3 ES2893410 T3 ES 2893410T3 ES 13858451 T ES13858451 T ES 13858451T ES 13858451 T ES13858451 T ES 13858451T ES 2893410 T3 ES2893410 T3 ES 2893410T3
Authority
ES
Spain
Prior art keywords
virtual
tracking
whiteboard
augmented reality
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13858451T
Other languages
English (en)
Inventor
Imran Haddish
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Application granted granted Critical
Publication of ES2893410T3 publication Critical patent/ES2893410T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Sistema de instrucción de realidad virtual y aumentada para recrear virtualmente un entorno a partir de movimiento, profundidad, audio y vídeo capturados, donde el formato completo (100) comprende: un sistema de pizarras (110), que comprende una o más pizarras habilitadas con lápices digitales, para capturar todos los movimientos en la superficie de cada pizarra (111) en el sistema de pizarras (110); un sistema de seguimiento (120), que comprende una o más unidades de seguimiento (121) equipadas con un micrófono y un sensor tridimensional (RGBD), a partir de la cual se establece una región de seguimiento (122) hasta una distancia predeterminada desde el sistema de pizarras (110), para capturar todo el movimiento de objetos e individuos y el habla de los individuos; y, un dispositivo de control (130), donde el sistema de pizarras (110) y el sistema de seguimiento (120) están configurados para comunicarse entre sí a través de una red y están controlados por el dispositivo de control a través de la red, donde el sistema de instrucción de realidad virtual y aumentada está configurado para procesar y sincronizar, a través de varios motores, una salida de sensor para generar datos procesados que representan escritura, borrado, posición, orientación, esqueleto, habla, ruido de fondo y geometría, lo que permite recrear virtualmente el entorno compuesto por las unidades de pizarras (111) y los individuos y objetos en la región de seguimiento (122).

Description

DESCRIPCIÓN
Sistema de instrucción de realidad virtual y aumentada
CAMPO DE LA INVENCIÓN
[0001] La presente invención se refiere a una recreación virtual de una sesión instructiva a través de un sistema de instrucción de realidad virtual y aumentada y, más particularmente, a un sistema diseñado para capturar las actividades del habla, movimiento y de la escritura a mano de un individuo.
ANTECEDENTES DE LA INVENCIÓN
[0002] En el campo de la educación, las clases se han ofrecido en línea mediante el uso de medios estáticos, como vídeos. Estos vídeos se han usado para cambiar aulas, reforzar conceptos anteriores y educar a personas sin acceso a las aulas desde la escuela primaria hasta la universidad. Los vídeos son conferencias o seminarios pregrabados que están disponibles en línea para que una persona los vea a su conveniencia.
[0003] El uso de vídeos da como resultado que cada individuo acceda al mismo contenido. Debido a su naturaleza, los vídeos no proporcionan suficientes datos cuantificables o manipulables que se puedan usar para crear medios dinámicos. En consecuencia, no hay forma de ofrecer a los usuarios individuales contenido específico para sus necesidades.
[0004] La distribución de medios estáticos en línea normalmente tiene un alto costo, en lo que respecta a la mayoría de los usuarios. La cantidad de ancho de banda necesaria para transmitir un vídeo depende de la resolución, por lo tanto, a medida que aumenta la calidad del vídeo, aumenta el costo para el usuario. Esto lleva a que los usuarios móviles no tengan un medio viable de acceso sin restricción a los contenidos educativos.
[0005] Para superar los desafíos de los medios estáticos, se necesita un sistema impulsado por eventos. Dicho sistema registra un entorno a través de los eventos que tienen lugar en él. Esto da como resultado la generación de datos cuantificables y manipulables a un costo de ancho de banda pequeño y fijo. Esto se logra renderizando el entorno en el ordenador del usuario en función de los eventos transmitidos en línea.
[0006] La US 2006/0028400 A1 describe un sistema llamado Netpage, en el que se aplican marcas codificadas a superficies (hojas de papel o, por ejemplo, una pizarra blanca) que pueden ser detectadas por un lápiz óptico y un dispositivo colocado en la cabeza, que presenta contenido virtual registrado en dichas superficies.
RESUMEN DE LA INVENCIÓN
[0007] Un objeto de la presente invención es proporcionar un sistema de instrucción de realidad virtual y aumentada para capturar las actividades del habla, movimiento y la escritura a mano de un individuo.
[0008] Otro objeto de la presente invención es proporcionar un sistema de instrucción de realidad virtual y aumentada que se pueda usar en un entorno de aprendizaje virtual para recrear prácticamente un aula o cualquier tipo de sesión de formación. La invención se define en la reivindicación 1.
[0009] En un aspecto de la presente invención, un sistema completo de entrada y recuperación de información interactiva incluye un sistema de pizarras para capturar todos los movimientos en la superficie de la pizarra y un sistema de seguimiento para capturar todos los movimientos físicos. En una forma de realización, el sistema de pizarras y el sistema de seguimiento se pueden usar individualmente o por separado. El sistema de pizarras y el sistema de seguimiento puede comunicarse entre sí a través de una red, y se puede utilizar un dispositivo de control (como un ordenador portátil, ordenador escritorio, teléfono móvil y una tableta) para controlar el sistema de pizarras y el sistema de seguimiento a través de la red.
[0010] En otra forma de realización, el sistema de pizarras incluye una o más unidades de pizarras, y una región de seguimiento se puede definir a una distancia predeterminada desde la(s) unidad(es) de pizarra(s). Más particularmente, la región de seguimiento es el área total donde el sistema de seguimiento puede seguir individuo(s) u objetos frente a la(s) unidad(es) de pizarra(s). En una forma de realización ejemplar, cada unidad de seguimiento del sistema de seguimiento está equipada con al menos un sensor 3D, cada uno de los cuales se comunica entre sí a través de la red y se utiliza para seguir el movimiento y el habla de cada individuo en la región de seguimiento. Los sensores están configurados para seguir los esqueletos de cada individuo y mapear el entorno de la región de seguimiento. En otras formas de realización, el sistema de seguimiento también puede seguir el movimiento que no forma parte del esqueleto del individuo.
[0011] En las siguientes cuatro formas de realización, las siguientes configuraciones se pueden unir a la unidad de pizarra para detectar movimiento (que incluye escritura a mano y borrado) en la superficie de la pizarra: • Una configuración de escaneo láser
• Una configuración ultrasónica
• Una configuración de infrarrojos
• Una configuración de sensor 3D (tridimensional)
[0012] En otra forma de realización, el sistema de seguimiento se puede operar con gafas transparentes de realidad aumentada para permitir que el usuario manipule objetos virtuales usando movimiento físico. Más específicamente, el sistema de seguimiento puede fijar los objetos virtuales en la ubicación del usuario para permitir una fácil manipulación o permitir que el objeto se fije o se mueva independientemente de la ubicación del usuario en el espacio virtual. En otra forma de realización, el usuario puede complementar el sistema de seguimiento con controladores o marcadores de movimiento portátiles para permitir un control de movimiento más preciso.
[0013] En otro aspecto que no está de acuerdo con la presente invención, un sistema de entrada y recuperación de información interactiva portátil puede incluir una pantalla táctil, como parte de un dispositivo informático, o un lápiz digital para capturar todos los movimientos en la superficie del dispositivo. En este aspecto, el lápiz digital o la pantalla táctil son los únicos componentes y no van acompañados de un sistema de seguimiento o sistema de pizarras. Por lo tanto, el entorno físico se puede generar dinámicamente en función de las preferencias del usuario y el seguimiento del usuario que se interpola en base a los movimientos en la superficie del dispositivo [0014] En otro aspecto de la presente invención, el reproductor de contenido en el terminal del usuario final contiene un botón que permite a los usuarios hacer preguntas en tiempo real usando conferencias en línea asincrónicas o en vivo, donde el botón de pregunta en el reproductor de contenido permite a los usuarios hacer una pregunta que tiene una marca de tiempo en un punto específico de la conferencia. Además, el reproductor de contenido mantiene un flujo de preguntas sincronizadas en el tiempo disponible para el usuario, además de proporcionar pistas visuales dentro del entorno virtual.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0015]
La figura 1 ilustra un aspecto [completo] de un sistema de instrucción de realidad virtual y aumentada en la presente invención.
Las figuras 2a-2b ilustran el sistema de seguimiento que tiene una o más unidades de seguimiento con campo de visión (FOV) superpuesto en la presente invención.
Las figuras 3a-3b ilustran otro aspecto [portátil] de un sistema de instrucción de realidad virtual y aumentada en la presente invención.
Las figuras 4a-4c ilustran una configuración ultrasónica unida a la unidad de pizarra para detectar movimiento (que incluye escritura a mano y borrado) en la superficie de la pizarra en la presente invención.
Las figuras 5a-5c ilustran una configuración láser unida a la unidad de pizarra para detectar movimiento (que incluye escritura a mano y borrado) en la superficie de la pizarra en la presente invención.
Las figuras 6a-6c ilustran una configuración de infrarrojos unida a la unidad de pizarra para detectar movimiento (que incluye escritura a mano y borrado) en la superficie de la pizarra en la presente invención. Las figuras 7a-7b ilustran una configuración de sensor 3D unida a la unidad de pizarra para detectar movimiento (que incluye escritura a mano y borrado) en la superficie de la pizarra en la presente invención. La figura 8 ilustra el uso de la realidad aumentada dentro del sistema de seguimiento en la presente invención.
La figura 9 ilustra un botón de pregunta en el reproductor de contenido que permite a los usuarios hacer preguntas en tiempo real usando las lecturas en línea asincrónicas o en vivo, donde el botón de pregunta en el reproductor de contenido permite a los usuarios hacer una pregunta que tiene una marca de tiempo en un punto específico en la lectura.
La figura 10 ilustra el flujo de datos para todos los aspectos de un sistema de instrucción de realidad virtual y aumentada en la presente invención.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
[0016] La descripción detallada que se expone a continuación está destinada a ser una descripción del dispositivo actualmente ejemplar proporcionado conforme a aspectos de la presente invención y no está destinada a representar las únicas formas en la que la presente invención se puede preparar o utilizar.
[0017] A menos que se defina de otro modo, todos los términos técnicos y científicos usados aquí tienen el mismo significado que el comúnmente entendido por un experto en la materia a la que pertenece esta invención. Aunque cualquier método, dispositivo y material similares o equivalentes a los descritos se puede usar en la práctica o prueba de la invención, ahora se describen los métodos, dispositivos y materiales ejemplares.
[0018] Para comprender mejor el objetivo, las características y el efecto de la presente invención, se ilustran varias formas de realización junto con los dibujos de la siguiente manera:
[0019] El término "sensor 3D" se refiere a dispositivos que capturan datos de profundidad con o sin datos de imagen de acompañamiento. Los dispositivos también se conocen comúnmente como sensores de profundidad o RGBD. El uso de sensores 3D en la invención es independiente del método usado para obtener los datos de profundidad o de imagen. Estos métodos incluyen, pero de forma no limitativa, luz estructurada, tiempo de vuelo (TOF) y estéreo.
[0020] En referencia a las figuras 1, 2, 3a y 3b, un sistema de instrucción de realidad virtual y aumentada según la invención se presenta en un formato completo 100 y, según un aspecto que no forma parte de la invención reivindicada, en un formato portátil 200/300. Ambos formatos del sistema logran los mismos resultados con la excepción de que el ordenador portátil de formato 200/300 genera los datos que no captura. Dichos datos incluyen, entre otros, movimiento de los usuarios, objetos (fijos y en movimiento), geometría del entorno y el ruido ambiental/de fondo.
[0021] En referencia a la figura 3, un sistema de instrucción de realidad virtual y aumentada en un formato portátil 200/300 puede venir en las siguientes formas de realización, que siguen un método de procesamiento de datos, como se describe en la figura 10, una vez capturados los datos. En una forma de realización mostrada en la figura 3a, la escritura a mano se puede seguir a través de cualquier dispositivo con capacidad táctil 210, como pantallas táctiles o dispositivos de tableta. En tal caso, el usuario puede usar su dedo o un lápiz 220 de punta blanda (mecánico) con punta suave para interactuar con el dispositivo con capacidad táctil 210. El audio puede capturarse mediante el uso de un micrófono externo 230 o un micrófono incorporado si está disponible en el dispositivo con capacidad táctil 210.
[0022] En otra forma de realización mostrada en la figura 3b, la escritura a mano se puede seguir mediante un lápiz digital 320. En tal caso, se le puede solicitar al usuario que utilice papel 310 específico para el lápiz digital 320. El audio puede capturarse mediante el uso de un micrófono externo 330 o un micrófono incorporado si está disponible en el lápiz digital 320.
[0023] En referencia a la figura 10, el método de procesamiento de datos para un sistema de instrucción de realidad virtual y aumentada en un formato portátil 200/300 implica dos tipos de datos: escritura 11 y audio 12. El dispositivo con capacidad táctil 210 o el lápiz digital 320 captura la escritura 21 y el micrófono 230/330 captura el audio 22. La escritura se captura a una frecuencia mínima aproximada de 30Hz, por lo que los datos de escritura capturados son un trazo dentro de un caracter o dibujo. A continuación, los trazos de escritura a mano y audio tienen una marca de tiempo (30). El siguiente paso implica ejecutar los datos sin procesar a través de sus respectivos motores. Los trazos de escritura a mano con marca de tiempo se procesan a través de un motor de movimiento natural (NME) 41a y un motor de reconocimiento de escritura a mano (HRE) 41b, y el audio con marca de tiempo se procesa a través de un motor de animación facial (FAE) 42a y un motor de transcripción de audio (ATE) 42b. El NME 41a usa la posición del trazo de escritura a mano actual en relación con la escritura capturada anteriormente y los límites absolutos del dispositivo (o medio) utilizado para capturar la escritura para interpolar el movimiento del avatar dentro del espacio virtual. El NME 41a también determina movimientos diminutos, tanto involuntarios como voluntarios, para complementar los movimientos interpolados; lo que aumenta el nivel de realismo del movimiento generado por ordenador. Tales movimientos diminutos incluyen, pero de forma no limitativa, cambiar el peso entre las piernas, dirigir el enfoque del avatar hacia el texto escrito, teclear, respirar, etc. El HRE 41b combina los trazos de escritura a mano a lo largo del tiempo y los convierte en texto y/o dibujos. El HRE 41b genera el trazo de escritura a mano actual y cualquier texto o dibujo nuevo que haya podido descifrar a partir de trazos de escritura a mano anteriores. El FAE 42a usa el audio capturado por el micrófono 230/330 para generar animaciones faciales correspondientes a las palabras pronunciadas por el usuario, y el ATE 42b transcribe el habla del usuario del micrófono 230/330 en texto. Una vez que los datos sin procesar han sido procesados por los diversos motores mencionados anteriormente, los datos de cada motor se sincronizan (50) con su respectiva marca de tiempo. Una vez sincronizados los datos 100, tanto el formato portátil 200/300 como el completo 100 de un sistema de instrucción de realidad virtual y aumentada tendrán un formato de datos idéntico y, por lo tanto, se tratarán de la misma manera. En este punto, los datos procesados se pueden almacenar para la reproducción asincrónica 61, transmitirse al usuario final 62 y/o enviarse a un software de construcción de cursos 63.
[0024] En referencia a las figuras 1 y 2, el sistema de instrucción de realidad virtual y aumentada en un formato completo 100 incluye un sistema de pizarras 110 para capturar todos los movimientos en la superficie de la pizarra, y un sistema de seguimiento 120 para capturar todos los movimientos físicos. El sistema de pizarras 110 y el sistema de seguimiento 120 se pueden usar individualmente o en conjunto. El sistema de pizarras 110 y el sistema de seguimiento 120 pueden comunicarse entre sí a través de una red, y los dispositivos de control 130 (como ordenadores portátiles, ordenadores de escritorio, servidores remotos, teléfonos móviles o tabletas) también se pueden usar para controlar el sistema de pizarras 110 y el sistema de seguimiento 120 a través de la red.
[0025] En una forma de realización, el sistema de pizarras 110 puede incluir una o más unidad(es) de pizarra(s) 111, y una región de seguimiento 122 se define a una distancia predeterminada desde la(s) unidad(es) de pizarra(s) 111. Más particularmente, la región de seguimiento 122 es el área total donde el sistema de seguimiento 120 puede seguir al(a los) individuo(s) frente a la(s) unidad(es) de pizarra(s) 111. Dentro de cada unidad de pizarra 111 hay un dispositivo informático que determina los movimientos basándose en las salidas del sensor, y esos movimientos se transmiten luego a los dispositivos de control 130. Cada pizarra, como una pizarra blanca o pizarra de tiza, puede tener una o más unidades unidas a su superficie dependiendo del tamaño de la pizarra y la configuración de la unidad de pizarra 111. El sistema de seguimiento 120 también puede incluir una o más unidades de seguimiento 121. Cada unidad de seguimiento 121 se utiliza para crear un campo de visión continuo (FOV) o una región de seguimiento 122 entre los sensores. Esto se logra mediante el registro de las regiones de solapamiento 123 entre los FOVs individuales de cada unidad de seguimiento 121, como se puede observar en la figura 2.
[0026] En una forma de realización ejemplar, cada unidad de seguimiento 121 del sistema de seguimiento 120 está equipada con al menos un sensor 3D, que se comunica entre sí a través de la red, y se utiliza para seguir el movimiento y habla de cada individuo en la región de seguimiento 122. Los sensores están configurados para seguir los esqueletos de cada individuo y se usan para mapear el entorno de la región de seguimiento. En otras formas de realización, el sistema de seguimiento 120 también puede seguir el movimiento que no forma parte del esqueleto del individuo. Por ejemplo, el sistema de seguimiento 120 también puede seguir el movimiento de un objeto de movimiento, como una pelota que viaja en el aire. Cada unidad de seguimiento 121 se puede equipar con un micrófono para realizar la captura del habla, el seguimiento de movimiento y la captura de ruido ambiental.
[0027] Con respecto a la captura de habla, el proceso se puede ayudar usando micrófonos adicionales. En tal forma de realización, el usuario usaría un micrófono personal 131 unido a un ordenador móvil (teléfono móvil o tableta) actúa como un dispositivo de control 130, como se puede observar en la figura 1. Por lo tanto, el micrófono personal 131 actuaría como el canal de audio principal, mientras que el micrófono dentro de cada una unidad de seguimiento 121 actuaría como canales audio suplementarios para el audio de un usuario específico.
[0028] Con respecto al mapeo del entorno de la región de seguimiento 122, puede incluir analizar los datos de imagen y profundidad producidos por el sensor para determinar qué objetos, además de los individuos, están presentes. Estos objetos pueden incluir escritorios, sillas, cubos de basura, podios, etc., que luego se volverán a crear en el entorno virtual visualizado en el ordenador del usuario final.
[0029] En una forma de realización de la unidad de pizarra 111 mostrada en la figura 4a, se muestra una configuración ultrasónica. La configuración ultrasónica puede incluir dos o más pares de receptores ultrasónicos 410 unidos a la unidad de pizarra 111. Los receptores ultrasónicos 410 están en pares, ya que se necesitan al menos tres puntos para la triangulación. Cada par de receptores ultrasónicos 410 recibe transmisiones de una tiza, un lápiz o soporte de borrador que trasmite a la misma frecuencia respectiva. La triangulación determina la posición de la tinta, el lápiz, o soporte de borrador a través de la fuerza de la señal en relación con la ubicación de la unidad de pizarras 111.
[0030] La figura 4b muestra un soporte de tinta/lápiz 420 que tiene un gatillo 421, un transmisor ultrasónico 422 y un sensor de presión 423. El gatillo 421 se utiliza para cargar/descargar el lápiz/la tiza del soporte, mientras que el transmisor ultrasónico 422 está configurado para enviar una señal a la frecuencia correspondiente de su receptor. El sensor de presión 423 determina cuándo se está utilizando el soporte (presión entre la pizarra, la tiza/el lápiz y el sensor) y activa la transmisión de la señal.
[0031] La figura 4c muestra un soporte de borrador 430 que tiene un acelerómetro y un giroscopio 431, un transmisor ultrasónico 432 y un sensor de presión 433. El acelerómetro y el giroscopio 431 se utilizan para determinar la orientación de los borradores, porque la transmisión de la señal es independiente de la orientación, mientras que el transmisor ultrasónico 432 envía una señal a la frecuencia correspondiente de su receptor. El sensor de presión 433 determina cuándo se está utilizando el soporte (presión entre la pizarra, el borrador y el sensor) y activa la transmisión de la señal. En una forma de realización ejemplar, se pueden unir pares de receptores ultrasónicos 410 a una unidad de pizarra 111 para detectar movimientos (escritura/borrado) en la superficie de la pizarra, y el soporte de lápiz/tiza 420 y el borrador 430 se utilizan para transmitir movimientos (escritura/borrado).
[0032] En otra forma de realización de la unidad de pizarra 111 mostrada en la figura 5a, se puede unir un láser de telémetro de escaneo 510 a la unidad de pizarra 111 para detectar movimiento (que incluye escritura y borrado) en la superficie de la pizarra. El láser de telémetro de escaneo 510 puede hacer múltiples sondeos de la unidad de pizarra 111 por segundo. Cada escaneo proporcionará un patrón de rango de 180 grados que se usa para determinar la presencia y el movimiento de tiza, lápices (520), o borradores (531, 532), como se muestra en las figuras 5b y 5c. Debido a que esta configuración se basa en patrones, no en triangulación, no se requieren soportes adicionales, ya que estamos probando la geometría de tizas, lápices y borradores en el patrón de rango de cada escaneo, a partir del cual se analizan los patrones de detección para detectar movimientos (escritura/borrado).
[0033] En otra forma de realización más de la unidad de pizarra 111, se muestra una configuración infrarroja en la figura 6a, que incluye un conjunto de cámaras infrarrojas 610 unidas a la unidad de pizarra 111. Las cámaras infrarrojas 610 están dispuestas con sus FOVs superpuestos para evitar huecos en la detección en la superficie de la pizarra. La triangulación determina la posición de la tiza, el lápiz o el soporte del borrador a través de la intensidad de la luz infrarroja en relación con la ubicación de la cámara infrarroja 610 que la detecta.
[0034] De manera similar a la figura 4b, la figura 6b muestra un soporte de tiza/lápiz 620 que tiene un gatillo 621, un emisor infrarrojo 622 y un sensor de presión 623. El gatillo 621 se utiliza para cargar/descargar el lápiz/la tiza del soporte, mientras que el emisor infrarrojo 622 envía luz infrarroja. El sensor de presión 623 determina cuándo el soporte se está usando (presión entre pizarra, tiza/lápiz y sensor) y activa el emisor infrarrojo 622 del soporte de tiza/lápiz 620.
[0035] Además, un soporte de borrador 630 puede incluir un conjunto de emisores infrarrojos 631 y un sensor de presión 632. El conjunto de emisores infrarrojos 631 están situados alrededor del soporte de borrador 630, por lo que la unidad de pizarra 111 podrá distinguir el lápiz/la tiza del borrador porque la luz infrarroja del borrador se capturará en una forma lineal a diferencia del único punto generado por el lápiz/la tiza. El sensor de presión 632 determina cuándo se está utilizando el soporte (presión entre la pizarra, el borrador y el sensor) y activa el emisor infrarrojo. En una forma de realización ejemplar, el conjunto de cámaras infrarrojas 611 se puede unir a la unidad de pizarra 111 para detectar movimientos (escritura/borrado) en la superficie de la pizarra, y el soporte de lápiz/tiza 620 y el borrador 630 se utilizan para transmitir movimientos (escritura/borrado).
[0036] En otra forma de realización de la unidad de pizarra 111 mostrada en la figura 7a, un sensor 3D (tridimensional) 710 se puede unir a la unidad de pizarra 111 para detectar movimiento (que incluye escritura y borrado) en la superficie de la pizarra. Los sensores 3D 710 están dispuestos con sus FOVs superpuestos para evitar huecos en la detección en la superficie de la pizarra. Para seguir la posición al escribir/borrar, los datos de profundidad/imagen capturados se procesan a través de un algoritmo de seguimiento manual, que es un subconjunto del motor de seguimiento de esqueleto 43a mostrado en la figura 10. Al adquirir la ubicación de la mano del usuario, los datos de profundidad/imagen se procesan posteriormente para determinar si el usuario está sosteniendo un borrador o una tiza/un lápiz. A continuación, se evalúa la distancia entre el borrador o la tiza/el lápiz para determinar si está en uso. Debido a que esta configuración se basa en el seguimiento manual, no se requieren soportes adicionales, ya que estamos analizando los datos de profundidad/imagen producidos por el sensor 3D 710 para detectar movimientos (escritura/borrado).
[0037] En otra forma de realización de la unidad de pizarra 111 mostrada en la figura 7b, se puede unir un grupo de sensores 3D 710 a la unidad de pizarra 111. Los sensores 3D 710 están dispuestos en un arco de 180 grados. Por ejemplo, se necesitarían tres sensores 3D 710 si cada sensor 3D 710 tuviera un campo de visión horizontal de 60 grados. Para detectar escritura/borrado, la unidad de pizarra 111 analiza el volumen de datos de profundidad inmediatamente por encima de la superficie de la pizarra. Los datos resultantes proporcionarán un patrón de rango de 180 grados idéntico a los de las figuras 5b y 5c. El patrón de rango se utiliza para determinar la presencia y el movimiento de tiza, lápices o borradores. Debido a que esta configuración se basa en patrones, no en triangulación, no se requieren soportes adicionales, ya que estamos probando la geometría de tiza, lápices y borradores en el patrón de rango de cada análisis, a partir del cual se analizan los patrones de detección para detectar movimientos (escritura/borrado).
[0038] Las formas de realización anteriormente mencionadas de la unidad de pizarra 111 y sus figuras correspondientes son representaciones individuales para el uso de sensores ultrasónicos, láser, infrarrojos y sensores 3D. La posición, rotación y combinación de sensores pueden diferir según el tamaño y la forman de la superficie de la pizarra (pizarra blanca o pizarra de tiza), así como las condiciones de iluminación del entorno.
[0039] Usando el sistema interactivo de entrada y recuperación de información en un formato completo 100 con gafas de realidad aumentada 810, se puede implementar un sistema rentable para la realidad aumentada, como se muestra en la figura 8. En particular, las gafas de realidad aumentada 810 deben ser transparentes con una pantalla integrada para permitir que el usuario continúe navegando en el espacio real sin obstrucción de la visión. Más importante aun, las gafas de realidad aumentada no requerirán una cámara adicional, que normalmente es un requisito, debido a la existencia del sistema de seguimiento 120. Las gafas de realidad aumentada 810, que lleva el usuario, mostrarán la representación virtual de un objeto 840 en la región de seguimiento 122. Esto se logra debido a la constante conciencia del sistema de seguimiento (120) de la ubicación y orientación del usuario y la geometría del entorno. Por lo tanto, el objeto virtual puede ser libre para posicionarse o moverse en cualquier sitio dentro de la región de seguimiento 122. Por ejemplo, la posición del objeto virtual (840) se puede fijar frente al usuario, independientemente de los movimientos del usuario, por lo que permite al usuario un acceso rápido y fácil al objeto en toda la región de seguimiento 122. El sistema de seguimiento 120 permitirá entonces al instructor interactuar con el objeto virtual 840 siguiendo los movimientos del usuario y traduciéndolos al objeto virtual 840. El objeto virtual 840 también puede estar sujeto a las leyes de la física, por lo que las fuerzas traducidas en él serán proporcionales al movimiento del usuario. La interacción entre el usuario y el objeto virtual 840 se mostrará en el ordenador del usuario final.
[0040] En otra forma de realización, el usuario puede complementar el sistema de seguimiento 120 con controladores o marcadores de movimiento portátiles para permitir un control de movimiento más preciso. Los sensores 3D dentro de cada unidad de seguimiento 121 tienen un grado finito de precisión y determinados escenarios pueden requerir una mayor precisión. Dicho ejemplo incluye la interacción con objetos virtuales a través de la realidad aumentada. Por lo tanto, la figura 8 muestra al usuario usando cuatro sensores de movimiento adicionales en sus brazos 820 y piernas 830. Estos sensores proporcionarán datos adicionales al motor de seguimiento de esqueleto 43a, lo que permite capturar movimientos más sutiles y precisos.
[0041] En referencia a la figura 10, el método de procesamiento de datos para un sistema de instrucción de realidad virtual y aumentada en un formato completo 100 puede incluir cinco tipos de datos: movimiento 13, escritura 14, audio de usuario 15, audio de fondo 16 y vídeo 17. Cada tipo de datos se captura de la siguiente manera:
• El sistema de seguimiento 120 captura los datos de profundidad (movimiento). (23)
• El sistema de pizarras 110 captura la escritura. (24)
• El micrófono 131 conectado a un dispositivo de control móvil 130 captura el audio de usuario y se suplementa con el micrófono dentro de cada unidad de seguimiento 121. (25) • El micrófono dentro de cada unidad de seguimiento 121 captura el audio de fondo. (26)
• La cámara de RGB dentro del sensor 3D en cada unidad de seguimiento 121 captura el vídeo. (27)
[0042] La escritura se captura a una frecuencia mínima aproximada de 30Hz. Por lo tanto, los datos de escritura capturados son un trazo dentro de un caracter o un dibujo. El movimiento capturado por el sistema de seguimiento 120 está en forma de datos de profundidad. Cada fotograma de datos consiste en un mapa de valores de profundidad. A continuación, los fotogramas de profundidad, los trazos de escritura a mano, el audio de usuario, el audio de fondo y los fotogramas de vídeo tienen una marca de tiempo (30). El siguiente paso implica ejecutar los datos sin procesar a través de sus respectivos motores.
• Los fotogramas de profundidad con marca de tiempo se procesan a través de un motor de seguimiento de esqueleto (STE) 43a y un motor de seguimiento de objetos (OTE) 43b. El STE identifica los esqueletos de los usuarios dentro de cada fotograma de datos. A continuación, los datos del esqueleto se comparten con el OTE 43b, que captura los movimientos de los objetos sin esqueleto y calcula la posición, rotación y velocidad de los objetos virtuales.
• Los trazos de escritura a mano con marca de tiempo se procesan a través de un motor de reconocimiento de escritura a mano (HRE) 44. El HRE 44 combina los trazos de escritura a mano a lo largo del tiempo y los convierte en texto y/o dibujos. El HRE 44 genera el trazo de escritura a mano actual y cualquier texto o dibujo nuevo que haya podido descifrar a partir de trazos de escritura a mano anteriores.
• El audio del usuario con marca de tiempo se procesa a través de un motor de animación facial (FAE) 45a y un motor de transcripción de audio (ATE) 45b. El FAE usa el audio capturado por el micrófono para generar animaciones faciales correspondientes a las palabras pronunciadas por el usuario, y el ATE transcribe el habla del usuario en texto. • Los fotogramas de vídeo con marca de tiempo se procesan a través de un motor de tratamiento de vídeo (VPE) 47. El VPE 47 registra los fotogramas de cada unidad de seguimiento 121 juntas y comprime los datos resultantes.
[0043] Después de que los datos sin procesar hayan sido procesados por los diversos motores indicados anteriormente, los datos de cada motor y el audio de fondo se sincronizan (50) con sus respectivas marcas de tiempo. Una vez sincronizados los datos, tanto el formato portátil 200/300 como el completo 100 de un sistema de instrucción de realidad virtual y aumentada tendrán un formato de datos idéntico y, por lo tanto, se tratarán de la misma manera. En este punto, los datos procesados pueden almacenarse para la reproducción asincrónica 61, transmitirse al usuario final 62 y/o enviarse a un software de construcción de cursos 63.
[0044] La salida de los datos procesados a un software de construcción de cursos 63 permite al usuario obtener una vista previa del entorno virtual recreado y realizar cambios. Por ejemplo, el usuario puede recrear determinadas partes de la sesión o reescribir parte de la escritura usando solo el formato portátil 200/300 o el sistema de pizarras 110. Además, el usuario también puede realizar cambios en el entorno y su avatar según sus preferencias.
[0045] La salida de los datos procesados a una transmisión en vivo 62 o el almacenamiento para la reproducción asincrónica 61 puede incluir enviar los datos a un reproductor de contenido 70 en el ordenador del usuario final. El reproductor de contenido 70 sirve los datos en los siguientes formatos:
• Texto 81: El usuario final tendrá acceso a un flujo de datos escritos a mano y de texto para usar cuando solo sea necesario el texto.
• Audio 82: El usuario final tendrá acceso a un flujo de los datos de audio de toda la sesión para usar cuando la reproducción visual no sea necesaria.
• Renderización parcial 84: El usuario final tendrá acceso a un flujo de datos escritos a mano en la representación de la escritura en una pizarra o un papel. Esto irá acompañado de la renderización de un avatar 3D. El avatar será controlado por los datos de audio, movimiento y animación facial generados. El avatar 3D se puede renderizar total o parcialmente, como una cabeza parlante.
• Renderización total 83: el usuario final tendrá acceso a un flujo de todos los datos generados, que se usa para recrear virtualmente todo el entorno tal como existía. Cada usuario estará representado como un avatar 3D.
• Vídeo 85: El usuario final tendrá acceso a un flujo de los datos de vídeo generados.
[0046] La visualización del vídeo 85, la renderización parcial 84, y la renderización total 83 dentro del reproductor de contenido 70 permitirá al usuario final manipular su perspectiva de la sesión mientras se ve el contenido. Esto se debe a las múltiples unidades de seguimiento 121 a través de la región de seguimiento 122, por lo que el usuario final puede ver la sesión desde varios ángulos y varias posiciones.
[0047] El reproductor de contenido 70 puede incluir un botón de pregunta 910 que permite a los usuarios finales hacer preguntas en tiempo real utilizando conferencias en línea asíncronas o en vivo. La figura 9 es una forma de realización del reproductor de contenido 70 que se utiliza para mostrar un flujo de texto 81. Aquí, los usuarios finales también podrán ayudar a otros usuarios finales respondiendo preguntas que conocen la respuesta mientras observan la conferencia, lo que da como resultado un aprendizaje reforzado. El botón de pregunta 910 permite a los usuarios finales hacer una pregunta con marca de tiempo en un punto específico en la conferencia. Al hacer clic en el botón, aparece un campo de texto 911 con una marca de tiempo 912 correspondiente a ese punto en la conferencia y un botón de envío 913. El reproductor de contenido 70 también puede mostrar preguntas previas de tres formas. En una primera forma de realización, se muestran tics 941 en la línea de tiempo para indicar cuándo se hizo una pregunta. Además, si se hicieron múltiples preguntas en puntos específicos, los tics se expanden por encima de la línea de tiempo (zum sobre la línea de tiempo) 940. En una segunda forma de realización, el reproductor de contenido 70 también puede mostrar preguntas anteriores marcando el texto u objetos en el entorno virtual. Dichas marcas pueden incluir resaltado 920, tics 921 o perfilado 922. En una tercera forma de realización, un flujo sincronizado en el tiempo 930 puede mostrar preguntas en el lado del reproductor de contenido 70. Se podrá hacer clic en el área correspondiente a cada pregunta 931, lo que permitirá al navegador enfocar la página a una nueva ventana o sección de la ventana actual donde se muestra una vista ampliada de la pregunta y sus respuestas. Cada pregunta dentro del flujo sincronizado en el tiempo 930 contiene un botón de "respuesta" 932 que permite al usuario final responder la pregunta de la misma manera en la que se hacen las preguntas 911, 912, 913. Además, pasar el cursor sobre o seleccionar marcas o tics en las dos primeras formas de realización da como resultado que el flujo sincronizado en el tiempo 930 se desplace a la(s) respectiva(s) pregunta(s). Además, pasar el cursor sobre o seleccionar el área en la que se puede hacer clic de una pregunta 931 da como resultado que las marcas 920, 921, 922 (de la segunda forma de realización) de la pregunta correspondiente se resalten y/o se enfoquen; lo que permite al usuario final concentrarse fácilmente en el origen de la pregunta.
[0048] Habiendo descrito la invención mediante la descripción y las ilustraciones anteriores, debe entenderse que estas son ejemplos de la invención y no deben considerarse como limitantes.

Claims (5)

REIVINDICACIONES
1. Sistema de instrucción de realidad virtual y aumentada para recrear virtualmente un entorno a partir de movimiento, profundidad, audio y vídeo capturados, donde el formato completo (100) comprende:
un sistema de pizarras (110), que comprende una o más pizarras habilitadas con lápices digitales, para capturar todos los movimientos en la superficie de cada pizarra (111) en el sistema de pizarras (110);
un sistema de seguimiento (120), que comprende una o más unidades de seguimiento (121) equipadas con un micrófono y un sensor tridimensional (RGBD), a partir de la cual se establece una región de seguimiento (122) hasta una distancia predeterminada desde el sistema de pizarras (110), para capturar todo el movimiento de objetos e individuos y el habla de los individuos; y,
un dispositivo de control (130),
donde el sistema de pizarras (110) y el sistema de seguimiento (120) están configurados para comunicarse entre sí a través de una red y están controlados por el dispositivo de control a través de la red,
donde el sistema de instrucción de realidad virtual y aumentada está configurado para procesar y sincronizar, a través de varios motores, una salida de sensor para generar datos procesados que representan escritura, borrado, posición, orientación, esqueleto, habla, ruido de fondo y geometría, lo que permite recrear virtualmente el entorno compuesto por las unidades de pizarras (111) y los individuos y objetos en la región de seguimiento (122).
2. Sistema de instrucción de realidad virtual y aumentada según la reivindicación 1, donde se utilizan gafas de realidad aumentada transparentes (810) para mostrar objetos virtuales en la región de seguimiento (122).
3. Sistema de instrucción de realidad virtual y aumentada según la reivindicación 1, donde los motores comprenden un (i) motor de seguimiento de esqueleto (43a), que identifica esqueletos de individuos; (ii) un motor de seguimiento de objeto (43b), que identifica la posición, rotación y velocidad de objetos reales y virtuales; (iii) un motor de reconocimiento de escritura a mano (44), que convierte los trazos de escritura a mano en texto o dibujos; (iv) un motor de animación facial (45a), que genera animaciones faciales a partir del habla capturado de un individuo; (v) un motor de transcripción de audio (45b), que transcribe el habla capturado de un individuo en texto; y (vi) un motor de tratamiento de vídeo (47), que graba y comprime los fotogramas de vídeo de cada sensor Rg Bd .
4. Sistema de instrucción de realidad virtual y aumentada según la reivindicación 1, donde los datos procesados se proporcionan en un reproductor de contenido (70) que recrea virtualmente un entorno capturado en formatos que incluyen (i) solo texto (81), que comprende datos de escritura a mano y de texto; (ii) solo audio (82), que comprende datos de audio; (iii) renderización parcial (84), que comprende una rederización de escritura a mano en papel o pizarras virtuales y un avatar virtual controlado por datos de audio, movimiento y animación facial; y (iv) renderización total (83), que comprende una renderización de todo el entorno usando todos los datos capturados y procesados.
5. Sistema de instrucción de realidad virtual y aumentada según la reivindicación 1, donde los datos procesados que representan el entorno capturado son modificados por un software de construcción de cursos (63) que comprende cambios en la apariencia del entorno y los avatares, reescrituras de datos de la escritura a mano y recreaciones usando el formato completo según la reivindicación 1.
ES13858451T 2012-11-29 2013-11-29 Sistema de instrucción de realidad virtual y aumentada Active ES2893410T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261731111P 2012-11-29 2012-11-29
US201361792771P 2013-03-15 2013-03-15
PCT/US2013/072493 WO2014085768A1 (en) 2012-11-29 2013-11-29 Virtual and augmented reality instruction system

Publications (1)

Publication Number Publication Date
ES2893410T3 true ES2893410T3 (es) 2022-02-09

Family

ID=50828517

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13858451T Active ES2893410T3 (es) 2012-11-29 2013-11-29 Sistema de instrucción de realidad virtual y aumentada

Country Status (8)

Country Link
US (1) US11694565B2 (es)
EP (2) EP2926224B1 (es)
CN (1) CN105247453A (es)
AU (2) AU2013351959B2 (es)
CA (1) CA2892958C (es)
DK (1) DK2926224T3 (es)
ES (1) ES2893410T3 (es)
WO (1) WO2014085768A1 (es)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805511B2 (en) 2015-10-21 2017-10-31 International Business Machines Corporation Interacting with data fields on a page using augmented reality
CN107437343A (zh) * 2016-05-25 2017-12-05 中央大学 交互式教学系统以及方法
CN106713896B (zh) * 2016-11-30 2019-08-20 世优（北京）科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
CN109308132A (zh) * 2018-08-31 2019-02-05 青岛小鸟看看科技有限公司 虚拟现实的手写输入的实现方法、装置、设备及系统
CN109255990A (zh) * 2018-09-30 2019-01-22 杭州乔智科技有限公司 一种基于ar增强现实的教学系统
CN109542252B (zh) * 2018-12-06 2021-05-18 中国科学院长春光学精密机械与物理研究所 一种遥控轨迹笔及其使用方法及电缆虚拟预装系统
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法
CN109979269A (zh) * 2019-03-28 2019-07-05 王雍天 一种基于人工智能的在线教育交互系统
JP2020184172A (ja) * 2019-05-07 2020-11-12 株式会社インフォマティクス トラッキングデバイス、プロットシステム、プロット方法及びプログラム
CN111312012B (zh) * 2020-02-27 2022-05-06 广东工业大学 一种书法练习指引方法及装置
US11694380B2 (en) 2020-11-13 2023-07-04 Zoltan GELENCSER System and method for immersive telecommunications
US12020359B2 (en) 2020-12-07 2024-06-25 Zoltan GELENCSER System and method for immersive telecommunications supported by AI analysis
WO2023141660A1 (en) * 2022-01-24 2023-07-27 Freedom Trail Realty School, Inc. Systems and techniques for hybrid live and remote on-demand sessions
CN115933868B (zh) * 2022-10-24 2023-08-04 华中师范大学 翻转讲台的立体综合教学场系统及其工作方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
EP1059970A2 (en) * 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
WO2000049834A1 (fr) * 1999-02-16 2000-08-24 Yugen Kaisha Gm & M Dispositif de conversion de la parole et procede correspondant
US7489308B2 (en) * 2003-02-14 2009-02-10 Microsoft Corporation Determining the location of the tip of an electronic stylus
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
CA2576016A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
KR101309778B1 (ko) * 2005-03-23 2013-09-23 에포스 디벨롭먼트 리미티드 디지털 펜 조립체
CA2595167A1 (en) * 2006-07-31 2008-01-31 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
US20080149401A1 (en) * 2006-12-20 2008-06-26 3M Innovative Properties Company Untethered stylus employing separate communication channels
WO2008081412A1 (en) * 2006-12-30 2008-07-10 Kimberly-Clark Worldwide, Inc. Virtual reality system including viewer responsiveness to smart objects
JP5213880B2 (ja) * 2007-03-16 2013-06-19 コールモージェン・コーポレーション パノラマ画像処理システム
US20090058850A1 (en) * 2007-09-04 2009-03-05 Wey Fun System and method for intuitive interactive navigational control in virtual environments
JP2009145883A (ja) * 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
RU2495476C2 (ru) * 2008-06-20 2013-10-10 Инвенсис Системз, Инк. Системы и способы для иммерсивного взаимодействия с действительными и/или имитируемыми техническими средствами для управления технологическим процессом, контроля состояния окружающей среды и производственного контроля
KR20090132914A (ko) * 2008-06-23 2009-12-31 주식회사 히씽크 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템
WO2011015975A2 (en) * 2009-08-05 2011-02-10 Koninklijke Philips Electronics N.V. Light guiding system and a method for controlling the same
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120154511A1 (en) * 2010-12-20 2012-06-21 Shi-Ping Hsu Systems and methods for providing geographically distributed creative design
US8810436B2 (en) * 2011-03-10 2014-08-19 Security Identification Systems Corporation Maritime overboard detection and tracking system
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US20140214629A1 (en) * 2013-01-31 2014-07-31 Hewlett-Packard Development Company, L.P. Interaction in a virtual reality environment
US20150116316A1 (en) * 2013-10-28 2015-04-30 Brown University Virtual reality methods and systems

Also Published As

Publication number Publication date
US11694565B2 (en) 2023-07-04
WO2014085768A1 (en) 2014-06-05
AU2021261950A1 (en) 2021-12-02
CA2892958C (en) 2022-04-19
AU2013351959A1 (en) 2015-07-09
AU2021261950B2 (en) 2023-12-14
US20220415197A1 (en) 2022-12-29
CA2892958A1 (en) 2014-06-05
EP2926224B1 (en) 2021-09-01
AU2013351959B2 (en) 2021-08-19
DK2926224T3 (da) 2021-11-15
CN105247453A (zh) 2016-01-13
EP2926224A4 (en) 2016-10-12
EP3968135A1 (en) 2022-03-16
EP2926224A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
ES2893410T3 (es) Sistema de instrucción de realidad virtual y aumentada
US11983837B2 (en) Cheating deterrence in VR education environments
US20060092178A1 (en) Method and system for communicating through shared media
US20160117142A1 (en) Multiple-user collaboration with a smart pen system
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR20090061514A (ko) 혼합현실용 콘텐츠 재생 시스템 및 방법
CN103279220A (zh) 交互式智能白板应用系统
Cheong et al. Design and development of kinect-based technology-enhanced teaching classroom
CN108604125B (zh) 用于基于凝视跟踪生成虚拟标记的系统和方法
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Pölzer et al. 2D presentation techniques of mind-maps for blind meeting participants
JP2021006886A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR20230108398A (ko) 혼합현실을 기반 원격 강의 시스템
KR20130130396A (ko) 교육매체 제작방법 및 교육매체 시스템
KR20180033738A (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
Jones et al. Investigating the use of the ipad in heritage education for children: impact of technology on the ‘history detective’in a victorian classroom role play activity
Kazuma et al. Pseudohandwriting: new approach for oral presentation to have both advantages of slide and handwriting
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
Ogi et al. Distance learning in tele-immersion environment
Lala et al. Enhancing communication through distributed mixed reality
Lee Interaction techniques using the Wii Remote
Sharma Spatially Aware Interactions in Large Scale Immersive Environments
Pao Beyond the boundaries of paper: a gesture-sensing pen for interfacing physical content with digitally-augmented surfaces
Zakaria et al. Mobile-based interactive learning using handwriting recognition
Zhang Optical Touch Screen and Its Application as a Next Generation Classroom Response System