ES2699999A1

ES2699999A1 - Procedimiento para la creacion y manipulacion de musica y sonido a partir de la interaccion con objetos tangibles (tui) y un sistema de realidad aumentada, con especial aplicabilidad al ambito de la ensenanza.

Info

Publication number: ES2699999A1
Application number: ES201830405A
Authority: ES
Inventors: Mendez Francisco Jose Cuadrado
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-04-25
Filing date: 2018-04-25
Publication date: 2019-02-13

Abstract

Un procedimiento para la creación y manipulación de música y sonido, a partir de un sistema de realidad aumentada, que hace uso de uno o varios dispositivos informáticos y basado en la interacción con objetos tangibles (TUI), creados a partir de formas e iconos fácilmente inteligibles por el usuario, implementado en dispositivos tecnológicamente accesibles, y que permita asimismo registrar los datos de la interacción producida y presentarla en distintos formatos, tanto para el propio usuario como para el uso de terceros, con especial aplicabilidad en distintos contextos de aprendizaje.

Description

Procedimiento para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y un sistema de realidad aumentada, con especial aplicabilidad en el ámbito de la enseñanza.

Sector de la técnica.

La invención se encuadra en el sector técnico de la creación musical y sonora con nuevas tecnologías, y de forma más concreta en la creación musical y sonora a través de la interacción hombre-máquina.

Estado de la técnica.

En el ámbito de los distintos procedimientos para la creación musical y sonora basada en nuevas tecnologías, los desarrollos de mayor relevancia se han centrado en el uso de programas informáticos específicos instalados en distintos tipos de dispositivos informáticos: ordenadores personales, tablets y otros dispositivos móviles. La interacción hombre - máquina con estos programas se ha materializado a través de diferentes soluciones tecnológicas, resultando en el surgimiento de distintos tipos de interfaces, que han evolucionado desde el tradicional ratón y teclado de ordenador, pasando por diferentes tipos de controladores MIDI (teclados, controladores de viento o de percusión) conectados a un dispositivo informático, interacción táctil con las propias pantallas de los dispositivos, siendo estas sensibles a la presión y al movimiento de uno o varios dedos, hasta los más recientes dispositivos basados en realidad aumentada. [1]

En el campo específico de procedimientos de creación musical y sonora basados en la interacción a través de realidad aumentada, el estado de la técnica actual se define por el desarrollo de diversos proyectos, procedentes de diferentes enfoques en el tipo de interacción y de interface, que referimos a continuación.

Uno de estos enfoques es el uso de una interfaz basada en elementos tangibles (Tangible User Interface, en adelante TUI) [2, 3, 4], que refuerza la relación directa entre un músico o artista y el instrumento musical, un contacto físico con el instrumento o con las herramientas de creación sonora que se ha perdido con la virtualización de muchos procesos de creación y producción de música y sonido.

En el desarrollo de los diferentes procedimientos de creación de música y sonido basados en TUI se han adoptado, hasta el momento, distintos enfoques tecnológicos. ReacTIVision [5, 6, 7] se basa en la visión por computadora de marcadores fiduciales de objetos TUI pasivos posicionados y movidos sobre una superficie de cristal, colocando una cámara y un proyector en el otro lado de dicha superficie. Si bien esta tecnología se ha desarrollado con éxito en productos comerciales, como Reactable [8], el elevado nivel de requisitos de hardware específico (sistema con proyector, cámara de vídeo, mesa de cristal con unas características específicas) y las dimensiones del mismo (el sistema Reactable tiene unas dimensiones de 90 cm de alto x 85 de ancho), limitan la accesibilidad y la implementación del sistema en distintos contextos, tanto por el coste necesario para la adquisición del equipo como por los requisitos de espacio. Este enfoque también se ha desarrollado en otros proyectos de visión artificial, como Build-A-Code y Build-A-Sound [9, 10], que usan los mismos marcadores fiduciales, pero impresos en grandes cubos de espuma, que se pueden ordenar y apilar en filas y columnas dentro de un espacio y un campo que recoge una webcam conectada al equipo informático, dando como resultado un sistema de programación y creación de sonido para niños. Estas herramientas ofrecen una solución para aplicaciones educativas, pero la necesidad de un espacio específico, de grandes dimensiones, para la instalación del hardware y el uso del sistema, limita su implementación en aulas escolares comunes. Sistemas similares, también basados en interacción de visión artificial, son The Music Table [11] y Augmented Groove [12]. Estos dos sistemas tienen varias deficiencias y limitaciones: primero, cada objeto está vinculado (y en este sentido limitado) a un único parámetro de sonido de forma simultánea; segundo, los objetos TUI deben estar físicamente conectados entre sí para funcionar juntos o ser detectados por el sistema de visión por computadora; y tercero, estos sistemas requieren el uso de una interfaz gráfica de usuario (GUI) secundaria para que el sistema funcione.

Un enfoque ligeramente distinto en el uso de TUI para la creación musical lo constituyen los procedimientos basados en TUI activas: los objetos incorporan algún tipo de elemento electrónico que envía información al sistema informático y / o al usuario como retroalimentación visual. Los sistemas basados en tecnología RF (Musical Trinkets, Audiopad [14] y Datatiles [15] son ejemplos de estos) o tecnología LED (por ejemplo, BlockJam [16] o Audio Cubes [13]) son los más comunes. Si bien estos sistemas tienen los beneficios de no necesitar una segunda GUI y de poder programar cada objeto TUI para realizar diferentes tareas o procesar diferentes parámetros de sonido, tienen, entre otros, los inconvenientes del coste de producción de cada objeto y de la fragilidad de los mismos (un aspecto importante a considerar cuando se diseña un sistema para niños pequeños).

El estado actual de la técnica presenta varias limitaciones y carencias, especialmente de cara al uso educativo de esta tecnología:

1. el coste de producción del producto en que se basan los procedimientos existentes, con unas necesidades concretas de hardware muy específico en la mayoría de los casos;

2. la necesidad de una gran amplitud de espacio para desarrollar el procedimiento limita la usabilidad del mismo, especialmente en entornos escolares;

3. los sistemas en que se basan los distintos procedimientos presentan una muy reducida o nula portabilidad;

4. el estado actual de la técnica, en particular los sistemas basados en marcadores o figuras reconocibles por el usuario, no presenta una atención a la inteligibilidad de dichos símbolos por parte del usuario. Distintas investigaciones en el desarrollo de la comprensión de símbolos en niños concluyen que no puede asumirse que incluso el icono más "obvio" pueda ser automáticamente interpretado por un niño como la representación de algo más allá del símbolo en sí [17, 18]. El concepto de "phicons" (Physical icons) acuñado por Ullmer e Ishii [19] enfatiza las propiedades representacionales de los iconos y deberían ser tenidas en cuenta en el diseño de marcadores y símbolos en los sistemas basados en objetos TUI; 5. los distintos procedimientos existentes no contemplan el registro de los datos del uso y la interacción del usuario, ni la presentación de dicha información en un formato inteligible por el propio usuario, de cara por ejemplo a promover distintos procesos de aprendizaje.

Breve descripción de la invención.

Con el objetivo de alcanzar los objetivos propuestos anteriormente, y superar las limitaciones igualmente expuestas en el estado actual de la técnica, la invención propone un procedimiento para la creación musical y sonora, así como para la manipulación de distintos parámetros musicales y sonoros, a partir del uso de una interfaz basada en objetos tangibles creados a partir de formas e iconos fácilmente inteligibles por el usuario, implementada en dispositivos tecnológicamente accesibles, y que permita asimismo registrar los datos de la interacción producida y presentarla en distintos formatos, tanto para el propio usuario como para el uso de terceros, con especial aplicabilidad en distintos contextos de aprendizaje.

Descripción detallada de la invención

Dada la necesidad de la técnica actual de un hardware específico y a veces también de un espacio con unas condiciones muy definidas, sería deseable poder crear un procedimiento de creación musical y sonora a partir de realidad aumentada, y de usos de objetos TUI, que hiciera uso de recursos basados en tecnologías accesibles, con el propósito de reducir la brecha digital que la tecnología provoca [25]. El uso de medios y tecnologías accesibles es un elemento clave en la consecución de una alfabetización mediática efectiva [26]. Dado que la interacción con interfaces tangibles es más natural que con otros tipos de interfaz, podría ser más accesible para niños pequeños, personas con discapacidades de aprendizaje o novatos, disminuyendo el umbral de participación [21]. Las nuevas tecnologías portátiles (como tabletas y dispositivos móviles) amplían la flexibilidad de los sistemas tangibles para crear entornos de aprendizaje móvil potencialmente potentes para usar fuera del aula [27].

Por otro lado, como se ha justificado anteriormente, el uso de marcadores e iconos con un alto nivel de abstracción puede suponer una barrera en el uso por parte de niños. Un uso de marcadores más fácilmente reconocibles por un usuario infantil supondría una clara innovación de cara a la aplicación industrial de la invención como producto educativo.

Asimismo, de cara a su aplicación como herramienta de aprendizaje musical y de experimentación sonora en el ámbito educativo, se propone que dicha invención permita recoger los datos de la interacción producida, y presentar dicha información en un formato inteligible y accesible. De esta forma, se puede evaluar la actividad creativa realizada, y proporcionar un feedback inmediato sobre dicha actividad tanto al propio usuario, de forma local, mejorando así el propio proceso de autoaprendizaje, como a un docente, profesional o experto, de forma remota a través de algún sistema de acceso a dicha información.

El procedimiento propuesto comprende una superficie de trabajo en la que el usuario posiciona y mueve objetos que pueden tener diferentes formas, colores, tamaños y contener algún tipo de inscripción gráfica o textual; un dispositivo de captura de vídeo que apunta hacia el espacio de trabajo, con o sin el uso de un adaptador; un dispositivo informático conectado con el dispositivo de captura de vídeo y encargado de procesar la señal de vídeo detectada por el dispositivo de captura de vídeo; un dispositivo de salida de audio conectado al dispositivo informático, y que puede estar directamente conectado a unos altavoces o proporcionar un punto de conexión para altavoces, auriculares o dispositivos de sonido externos; un programa informático o aplicación que, a partir de la información procesada por el dispositivo informático, es capaz de generar música y sonido, de reproducir archivos de sonido previamente cargados en la aplicación, o de modificar determinados parámetros de la música o el sonido generados o reproducidos. Dicha aplicación es capaz igualmente de registrar la información procedente de la interacción con los objetos físicos y presentar sus datos en distintos formatos que sean útiles para proporcionar una retroalimentación visual al usuario y para realizar un seguimiento, tanto por el usuario como por parte de terceros, de la actividad realizada con la invención.

El procedimiento propone hacer uso de elementos de hardware que actualmente existen en los distintos dispositivos informáticos, tales como ordenadores personales, tablets y otros dispositivos móviles, no siendo necesario invertir en ningún tipo de hardware específico para la aplicación del procedimiento. Este aspecto innovador de la invención propuesta permite solventar las carencias y limitaciones 1), 2) y 3) expuestas en el apartado referente al estado de la técnica.

El procedimiento propuesto comprende las siguientes etapas, tal y como se ilustra en la figura 4:

1. Puesta en marcha y ajustes del programa informático de la actividad: el procedimiento comienza con la puesta en marcha de la aplicación informática que gestiona los distintos procesos descritos a continuación, y se realizan los ajustes de configuración necesarios. Algunos de estos ajustes pueden realizarse de forma automática por la propia aplicación, y otros pueden ser realizados por el propio usuario. Dichos ajustes comprenden, pero no están limitados a, los siguientes:

• Acceso y gestión de los dispositivos de almacenamiento locales.

• Conexión a servidores y dispositivos remotos mediante algún tipo de conexión de comunicación informática.

• Comunicación, acceso y gestión a servidores y dispositivos de almacenamiento remoto.

• Acceso y control del dispositivo de captura de vídeo.

• Calibración del dispositivo de captura de vídeo.

• Registro de usuario o menú de acceso de usuario ya registrado.

• Selección de algún modo específico de uso de los objetos y de interacción por parte del usuario.

• Selección de los objetos que se van a utilizar.

• Selección de la/s fuente/s sonoras y/o de los parámetros sonoros y musicales que se asociarán a cada objeto o a la posición de cada objeto (ver punto 6 de la presente descripción del procedimiento).

2. Uso de la superficie de trabajo: la superficie de trabajo puede ser un espacio vacío sobre distintos tipos de superficie, y en cualquier posición (horizontal, vertical o formando cualquier otro ángulo) que se ajuste a la conveniencia de la interacción. La superficie de trabajo puede tener cualquier tipo de forma, color, textura o tamaño. Puede contar o no con algún tipo de lámina indicativa de los límites del espacio de trabajo, así como de zonas especialmente definidas dentro de esa superficie de trabajo. El espacio de trabajo útil es aquél que está dentro de la cobertura visual del dispositivo de captura de vídeo.

Sobre esa superficie de trabajo, el usuario puede posicionar y mover distintos objetos. Estos objetos pueden estar realizados con distintos materiales y tener diferentes formas, colores y tamaños. Pueden ser tanto elementos con forma bidimensional como tridimensional. Dichos objetos pueden contener algún tipo de inscripción gráfica, textual o de otro tipo que facilite al usuario la identificación de los mismos. Dichos objetos pueden contener algún tipo de inscripción gráfica, textual o de otro tipo que permita al dispositivo informático identificar el objeto, su posición dentro de la superficie de trabajo, y distinguirlo de otros objetos.

Captura de la actividad generada en la superficie de trabajo: el dispositivo de captura de vídeo registra la información visual procedente de la superficie de trabajo y genera una señal de vídeo que envía al dispositivo informático para que sea procesada.

Proceso de la información de la señal de vídeo: el dispositivo informático procesa cada imagen procedente de la señal de vídeo enviada por el dispositivo de captura de vídeo. Dicho proceso comprende, pero no está limitado a, los siguientes procesos específicos:

• La selección de todas las imágenes procedentes de la señal de vídeo enviada por el dispositivo de captura de vídeo.

• La selección de una determinada cantidad de imágenes a intervalos específicos de tiempo.

• La modificación de cualquier aspecto relacionado con el color de las imágenes.

• La modificación de cualquier aspecto relacionado con la luminosidad o el contraste de las imágenes.

• La modificación de cualquier aspecto relacionado con el tamaño de las imágenes. • La modificación de cualquier aspecto relacionado con la forma o la proporción (relación de aspecto) de las imágenes.

Identificación de objetos y posición de los mismos: Una vez procesadas las imágenes, la aplicación de la actividad detecta e identifica las características de cada objeto, tales como su material, forma, color, tamaño, inscripción, o cualquier otro parámetro que permita diferenciarlo de otros objetos. También identifica la posición exacta de cada objeto dentro de la superficie de trabajo.

Procesado de los datos de identificación de objetos: los datos obtenidos de la identificación de cada objeto y su posición en la superficie de trabajo son utilizados para definir cada señal de audio que debe generarse, de acuerdo con la asociación de las diferentes características de cada objeto y de su posición dentro de la superficie de trabajo con distintos parámetros musicales y sonoros.

El movimiento de un objeto sobre la superficie de trabajo, la aparición de nuevos objetos en la superficie de trabajo, o la desaparición de la superficie de trabajo de objetos presentes, puede generar nuevos datos de posición dentro de ese espacio, que son interpretados por la aplicación para modificar los parámetros sonoros asociados a dicho cambio de posición y modificar así la señal o las señales de audio que son enviadas a la salida de audio del dispositivo informático. Para ellos, las etapas 2 a 6 del proceso se ejecutan permanentemente, de forma cíclica.

Generación de música y sonido: a partir de los datos obtenidos de la identificación de las características y parámetros de cada objeto, la aplicación genera una o varias señales de audio que envía a la salida de audio del dispositivo informático, o a los altavoces integrados del dispositivo informático. Dicha señal de audio comprende, pero no está limitada, a las siguientes posibilidades, que pueden igualmente darse de forma simultánea:

• Reproducción de archivos de sonido previamente almacenados en algún tipo de soporte de almacenamiento informático local o remoto.

• Reproducción de archivos de sonido grabados por el propio usuario directamente en la aplicación de la actividad, a través de cualquier dispositivo de entrada de audio.

• Reproducción de archivos de sonido cargados previamente por el usuario en la aplicación desde algún tipo de soporte informático local o remoto.

• Generación de sonido mediante distintos procesos de síntesis de sonido por medios informáticos.

• Establecimiento de un valor específico para los parámetros sonoros y musicales tanto del sonido procedente de la reproducción de archivos de sonido como del procedente de la generación de sonido mediante distintos procesos de síntesis de sonido por medios informáticos.

• Modificación de parámetros sonoros y musicales tanto del sonido procedente de la reproducción de archivos de sonido como del procedente de la generación de sonido mediante distintos procesos de síntesis de sonido por medios informáticos.

• Los parámetros musicales y sonoros que pueden establecerse y/o modificarse comprenden, pero no están limitados a, los siguientes:

o inicio o detención de la reproducción o generación de sonido,

o el volumen o amplitud del sonido

o la velocidad de reproducción del sonido

o la frecuencia o altura tonal del sonido

o la posición espacial del sonido

o la distribución de frecuencias de un sonido

o el rango dinámico de un sonido

o el tempo de reproducción de una secuencia musical

Generación de información visual complementaria: el procedimiento comprende la posibilidad de proporcionar al usuario información visual complementaria de la interacción realizada. Los datos recibidos por la aplicación se utilizan para proporcionar, en un monitor de imagen conectado al propio dispositivo informático, o en la pantalla integrada del propio dispositivo informático, información visual generada a partir de los valores detectados en cada objeto. Dicha información comprende, pero no está limitada a, las siguientes posibilidades:

• Indicación de la presencia de objeto/s

• Representación de la posición de cada objeto en el espacio de trabajo

• Representación de los valores sonoros de cada objeto o de su posición en el espacio de trabajo.

• Representación de los valores musicales de cada objeto o de su posición en el espacio de trabajo.

• Representación de iconos, formas, objetos, texturas o cualquier otro elemento visual que responda de algún modo a la señal de audio generada por la posición y/o el movimiento de los objetos.

9. Registro de datos de la interacción: el procedimiento comprende la posibilidad de que la aplicación de la actividad permita el registro de información procedente de la interacción producida a través del uso de los objetos sobre la superficie de trabajo. Dicha información puede registrarse en una base de datos local o remota, de forma constante o mediante sucesivos registros cronológicos, a intervalos regulares de tiempo. La información que la aplicación permite registrar comprende, pero no está limitada a, la siguiente:

• Archivo de audio procedente de la grabación de la señal de audio generada por el dispositivo informático a partir de la interacción producida.

• Identificación de cada objeto utilizado por el usuario

• Cantidad de objetos utilizados.

• Posición de cada objeto en el espacio de trabajo en un determinado momento. • Movimiento de cada objeto dentro del espacio de trabajo.

• Tiempo transcurrido entre la presencia y ausencia de cada objeto.

• Tiempo transcurrido entre las distintas posiciones de un objeto en la superficie de trabajo.

• Tiempo empleado en el movimiento de cada objeto en la superficie de trabajo.

10. Presentación de la información registrada: el procedimiento comprende la posibilidad de que los datos registrados se almacenen en algún tipo de soporte local o remoto, de forma que permitan ser posteriormente procesados para presentar dicha información en un formato que se considere útil para el análisis de la interacción producida. Dicho formato comprende, pero no está limitado a, informes, representaciones gráficas, escalas, datos estadísticos, archivos de imagen, o archivos de sonido. Asimismo, el uso de dicha información y de la presentación de la misma comprende, pero no está limitado a:

• Un uso educativo tanto orientado al autoaprendizaje como al seguimiento del aprendizaje de un alumno por parte de un docente

• Un uso orientado al análisis de la usabilidad de la tecnología empleada en la invención o de alguno o algunos de sus elementos

• Un uso orientado al tratamiento médico o terapéutico de determinadas patologías en las que la invención pueda aplicarse.

Las etapas 9 y 10 del procedimiento de la invención presentada permiten, de forma expresa, superar las carencias enumeradas en el punto 5), dentro del apartado de estado de la técnica.

Dentro del procedimiento descrito, conviene destacar otros aspectos innovadores de la invención:

Uno de los aspectos innovadores del procedimiento propuesto es el hecho de la generación y/o la modificación de los elementos musicales y sonoros se produce en tiempo real, de forma instantánea a partir del posicionamiento y/o movimiento de un objeto sobre la superficie de trabajo. El procedimiento comprende, pero no está limitado a, distintas operaciones de inicio y detención del propio procedimiento, con el objetivo de poder integrar el procedimiento descrito dentro de otra actividad o procedimiento. Como ejemplos, no limitadores ni excluyentes de otros, de estas operaciones de inicio y detención, están los siguientes:

• Inicio y/o detención por el propio usuario.

• Inicio y/o detención de forma automática después de un tiempo determinado.

• Inicio y/o detención de forma remota, a través de la conexión a otro dispositivo informático.

Otro de los aspectos innovadores del procedimiento propuesto es la posibilidad de poder utilizar, de forma simultánea, varios objetos a la vez sobre la superficie de trabajo, de forma que se pueden generar, reproducir y/o modificar diferentes elementos musicales y sonoros de forma simultánea. Este aspecto innovador de la invención tiene una influencia directa en la diversidad de aplicaciones posibles del procedimiento propuesto.

En una de las realizaciones preferentes de la invención, los objetos pueden ser creados por el propio usuario, o incorporar elementos creados por el propio usuario para facilitar la identificación de los mismos, o para facilitar la asociación entre los objetos con los elementos o parámetros musicales o sonoros a los que están asociados. Ejemplos de tales elementos comprenden, pero no están limitados a, los siguientes: dibujos realizados sobre la superficie del objeto, marcas realizadas sobre el objeto, adhesivos añadidos sobre el objeto, serigrafías, etc.

En otra de las realizaciones preferentes de la invención, la creación o la elección de los elementos de identificación mencionados en el párrafo anterior, pueden formar parte del propio procedimiento que constituye esta invención, dentro de las fases de fabricación de los objetos y de programación de la aplicación que permita el reconocimiento de esos objetos por el dispositivo de captura de vídeo. Este aspecto innovador de la invención contribuye a suplir la deficiencia 4) expuesta en el estado de la técnica.

En otra de las realizaciones preferentes de la invención, uno o varios dispositivos informáticos se conectan, a través de algún tipo de conexión de comunicación entre dispositivos informáticos, a otro dispositivo informático que actúa como dispositivo principal o servidor, tal y como se ejemplifica en la figura 5. En esta realización preferente del procedimiento, cada dispositivo informático individual envía al dispositivo principal o servidor los datos obtenidos de la identificación de la posición y/o movimiento de cada objeto. La generación de sonido y música tiene lugar en el dispositivo principal o servidor, que también puede proporcionar información visual complementaria, registrar la información de la interacción producida y presentar la información registrada.

En otra de las realizaciones preferentes de la invención, el espacio de trabajo puede incluir algún tipo de serigrafía, marca o dibujo que permita identificar la división en tiempos musicales de distintos tipos de compases musicales, tal y como se ilustra, a modo de ejemplo, en la figura 7. Los objetos tangibles representarán los distintos elementos del lenguaje musical (figuras, silencios, notas, alteraciones, etc.), tal y como se ilustra, a modo de ejemplo, en las figuras 10A y 10B. Las longitudes de los objetos se corresponderán con las duraciones de las figuras musicales, de acuerdo con la tabla siguiente:

La siguiente tabla presenta, a modo de ejemplo no limitado a otras posibles configuraciones, una propuesta de tamaño de los objetos tangibles basada en la relación establecida en la tabla recedente:

En esta realización preferente de la invención, los colores representarán las distintas notas musicales. La siguiente tabla presenta, a modo de ejemplo no limitado a otras posibles configuraciones, una propuesta de asignación de colores de los objetos tangibles a las distintas notas musicales:

De esta forma, el usuario puede crear estructuras rítmicas, melódicas o armónicas mediante la posición de distintos objetos sobre una zona del espacio de trabajo indicada mediante las serigrafía, marcas o dibujos antes referidos.

En esta realización preferente de la invención, a partir de la disposición de los distintos objetos sobre el espacio de trabajo, uno o varios dispositivos informáticos muestran, como información visual complementaria, la representación de figuras y notas musicales en un pentagrama que corresponde a los objetos utilizados. Las figuras 14B muestra, a modo de ejemplo no limitante a otras posibles presentaciones, la representación de figuras y notas musicales sobre pentagramas que corresponde a la disposición de los objetos sobre la superficie de trabajo de la figura 14A.

En esta realización preferente de la invención antes descrita, la aplicación puede incluir estructuras rítmicas, melódicas o armónicas previamente almacenadas en algún soporte local o remoto. Dichas estructuras pueden ser incorporadas a la aplicación a través de, pero no limitado a, algunos de los siguientes procedimientos:

• Creación de la estructura mediante la posición de objetos sobre el espacio de trabajo y almacenamiento de la información de dicha estructura a partir de los datos reconocidos y registrados por la aplicación.

• Descarga en la aplicación de estructuras creadas y almacenadas en algún tipo de soporte local o remoto.

• Creación a partir de la combinación aleatoria, por parte de la aplicación de la actividad, de distintos tipos de datos relacionados con los distintos elementos del lenguaje musical.

Dichas estructuras serán presentadas al usuario a través de, pero no limitadas a, alguna de las siguientes formas:

• Representación visual en el monitor de imagen conectado al dispositivo informático.

• Representación visual en la pantalla integrada en el propio dispositivo informático.

• Reproducción sonora a través de la salida de audio del dispositivo informático.

• Reproducción sonora a través de los altavoces integrados en el dispositivo informático.

Esta realización preferente comprende la posibilidad de que el usuario elija la estructura rítmica, melódica o armónica que la aplicación de la actividad presentará. También comprende la posibilidad de que el usuario utilice los objetos para realizar diferentes tareas en relación a la estructura rítmica, melódica o armónica presentada. Estas tareas comprenden, pero no están limitadas a, las siguientes:

• Creación de una estructura igual a la presentada.

• Creación de una estructura que modifica a la presentada.

• Creación de una estructura que completa a la presentada.

• Creación de una estructura que corrige algún error presente en la estructura presentada.

En esta realización preferente de la invención, la aplicación puede utilizar los datos registrados a partir de la interacción del usuario para compararlos con los datos de la estructura presentada al usuario y proporcionar algún tipo de retroalimentación al usuario sobre su interacción, y/o registrar algún tipo de información adicional.

En otra de las ¡mplementaciones de la invención, los objetos pueden representar elementos sonoros tales como grabaciones de voz, efectos de sonido o creaciones musicales que permitan, mediante la posición y el movimiento de estos objetos en la superficie de trabajo, crear la banda sonora de una historia o relato.

El procedimiento objeto de la invención se ilustra mediante las siguientes figuras, que se presentan a modo de ejemplo, y no como limitación de las posibilidades de implementación del procedimiento:

Las figuras 1, 2 y 3 muestran la aplicación del procedimiento haciendo uso de tres configuraciones de hardware diferentes, cumpliendo así el objetivo de desarrollar el procedimiento a través de tecnología existente y accesible.

La figura 1 muestra la aplicación del procedimiento utilizando un ordenador personal compuesto por un monitor (1) y una unidad central de proceso (2) al que se conecta una webcam (3) u otro dispositivo de captura de vídeo y unos altavoces o auriculares (4). Sobre la superficie de trabajo (5) se colocan y mueven los objetos (6).

La figura 2 muestra la aplicación del procedimiento utilizando un ordenador portátil (7). En este caso se plantea la opción de usar la propia webcam del equipo, añadiéndole un adaptador (8) que redirija el ángulo de captación hacia la superficie de trabajo, o usar una webcam (3) u otro dispositivo de captura de vídeo conectado al ordenador portátil. Asimismo, se pueden utilizar los altavoces integrados en el propio equipo informático, o conectar unos altavoces externos o auriculares (4) a la salida de audio del ordenador.

La figura 3 muestra la aplicación del procedimiento utilizando una tablet o un dispositivo móvil (9). En este caso se plantea la opción de usar la cámara frontal del dispositivo, añadiéndole una base (10) que permita mantener la tablet o el dispositivo móvil en posición vertical y un adaptador (8) que redirija el ángulo de captación hacia la superficie de trabajo, o usar una webcam (3) u otro dispositivo de captura de vídeo conectado a la tablet o al dispositivo móvil. Asimismo, se pueden utilizar los altavoces integrados en la propia tablet, o conectar unos altavoces externos o auriculares (4) a la salida de audio del ordenador.

La figura 4 presenta un diagrama en el que se presentan las diferentes etapas del procedimiento.

La figura 5 muestra un diagrama en el que se presenta una posible configuración del procedimiento en el que uno o varios dispositivos informáticos se conectan a un dispositivo principal o servidor.

Las figuras 6 y 7 muestran dos propuestas de diseño de la superficie de trabajo.

La figura 8 muestra una propuesta de diseño de la base que permite mantener una tablet o un dispositivo móvil en posición vertical.

La figura 9 muestra una propuesta de diseño del adaptador que permite dirigir la cámara integrada de un ordenador portátil o la cámara frontal de una tablet o un dispositivo móvil hacia la superficie de trabajo.

Las figuras 10A y 10B muestran una propuesta de diseño de objetos tangibles que permiten asociar la forma, tamaño y color de los mismos con distintos elementos musicales.

Las figuras 11A y 11B muestra una propuesta de diseño de objetos tangibles que permiten asociar cada objeto a una fuente musical o sonora, y que incorpora elementos gráficos que permiten al sistema de visión electrónica identificar el objeto y con elementos gráficos que permiten al usuario identificar el objeto.

Las figuras 12A, 12B y 12C muestra una propuesta de menús de configuración de la aplicación de la actividad, de acuerdo con el primer ejemplo de realización preferente presentado.

La figura 13 muestra una propuesta de información visual complementaria, de acuerdo con el primer ejemplo de realización preferente presentado.

Las figuras 14A y 14B muestran el resultado de una propuesta de implementación del procedimiento, en la que los objetos representan notas musicales que son reproducidas por la aplicación, y mostradas en una representación de partitura tradicional en la pantalla del dispositivo informático.

A continuación, se proporciona una lista de los distintos elementos representados en las figuras:

1. Monitor de ordenador personal.

2. Unidad central de proceso (CPU) de un ordenador personal.

3. Webcam o dispositivo de captura de vídeo que puede conectarse a la CPU del ordenador.

4. Altavoces externos.

5. Superficie de trabajo.

6. Objetos que el usuario posiciona y mueve sobre la superficie de trabajo.

7. Ordenador portátil.

8. Adaptador para dirigir el ángulo de captación del dispositivo de captura de vídeo hacia la superficie de trabajo.

9. Tablet o dispositivo móvil.

10. Base para mantener la tablet o el dispositivo móvil en posición vertical.

11. Área delimitada para posicionar la base de la tablet o dispositivo móvil

12. Área útil delimitada en el espacio de trabajo.

13. Marcas en el espacio de trabajo que identifican los tiempos de tres compases musicales. 14. Vista cenital de la base para sostener la tablet o dispositivo móvil.

15. Vista frontal de la base para sostener la tablet o dispositivo móvil.

16. Vista lateral de la base para sostener la tablet o dispositivo móvil.

17. Cavidad para alojar la tablet.

18. Vista frontal del adaptador para redirigir el ángulo de captación del dispositivo de captura de vídeo.

19. Vista lateral del adaptador para redirigir el ángulo de captación del dispositivo de captura de vídeo.

20. Vista inferior del adaptador para redirigir el ángulo de captación del dispositivo de captura de vídeo.

21. Cavidad para acoplar el adaptador a la tablet o dispositivo móvil.

22. Espejo.

23. Pestaña o saliente sobre objeto tangible para facilitar su manipulación.

24. Etiqueta adhesiva que incluye marcadores fiduciarios

25. Etiqueta adhesiva que incluye ¡conos

26. Botón de acceso a la lista de archivos.

27. Botón de reproducción.

Botón de selección.

Botón para guardar la selección.

Representación sobre la pantalla de la tablet o dispositivo móvil de los ejes X e Y.

Representación sobre la pantalla de la tablet o dispositivo móvil de los parámetros elegidos por el usuario.

Representación sobre la pantalla de la tablet o dispositivo móvil de la posición de los objetos en uso.

Ejemplo de realización preferente de la invención.

De acuerdo con todo lo expuesto, y a la vista de las figuras presentadas, y de acuerdo con la numeración en ellas adoptada, la presente invención se ilustra adicionalmente mediante los siguientes ejemplos, los cuales no pretenden ser limitativos de su alcance.

Tal y como se presenta en las figuras 1, 2 y 3, la invención puede realizarse haciendo uso de distintos tipos de dispositivos informáticos, como son: ordenador de sobremesa, ordenador portátil, tablet u otros dispositivos móviles. De acuerdo con uno de los elementos innovadores de la presente invención (el uso de tecnologías accesibles para el usuario), el ejemplo de realización propuesto se plantea utilizando como dispositivo informático una tablet basada en sistema Android con una configuración básica de hardware, por tratarse de un dispositivo informático de muy bajo coste y fácil accesibilidad. A modo de ejemplo, la configuración de hardware planteada para esta realización preferente parte de los siguientes requisitos mínimos, que se corresponden con los de una tablet del fabricante BQ, modelo Aquaris M8:

• Dimensiones: 215x 125 x 8,35 mm

• Procesador principal: MediaTek Quad Core MT8163B, 1,3 GHz o similar.

• Procesador gráfico: MediaTek Mali-T720 MP2, 520 MHz o similar.

• Memoria RAM: 2 Gb

• Memoria interna: 15 Gb

• Dispositivo de captura de vídeo: cámara frontal Galaxy Core GC2355, de 2 Megapíxeles de resolución.

• Tamaño de pantalla: 8 pulgadas.

• Resolución de pantalla: HD 800 x 1280 píxeles - 189 ppi.

• Relación de aspecto de la pantalla: 16:10

• Toma de auriculares TRRS 3,5 mm (CTIA)

• 2 altavoces de 0,7 W - Smart PA

En este ejemplo de realización preferente la aplicación de la actividad está programada utilizando el entorno de programación integrado oficial del sistema operativo Android: Android Studios, que utiliza una licencia Apache 2.0 y se programa en lenguaje Java.

En este ejemplo de realización preferente se utiliza una librería de marcadores fiduciarios bidimensionales compatible del sistema Android, Artoolkit, como sistema de reconocimiento e identificación de los objetos por parte de la aplicación de la actividad.

En este ejemplo de realización preferente se utilizan una serie de iconos, diseñados por los propios usuarios, que representan las distintas fuentes sonoras o musicales y los distintos parámetros a modificables mediante la interacción del usuario. Dichos iconos son el resultado de un estudio realizado con 180 niños en el que, para cada fuente sonora o musical, o para cada parámetro sonoro o musical, se ofrecieron distintas alternativas de iconos y dibujos, y se ofrecía igualmente la posibilidad de dibujar el icono que mejor lo representara en cada caso.

En este ejemplo de realización preferente la etapa 1 comprende los siguientes pasos, organizados secuencialmente:

Inicio de la aplicación de la actividad.

Conexión con la cámara frontal de la tablet (ajuste automático).

Concesión de permisos a la aplicación para uso de la cámara frontal (confirmación por el usuario la primera vez que se utiliza la aplicación).

Concesión de permisos a la aplicación para el acceso al sistema de almacenamiento de la tablet (confirmación por el usuario la primera vez que se utiliza la aplicación).

Acceso al menú principal, con tres submenús:

a. Configura tus fichas.

b. Elige los parámetros.

c. Crea.

Acceso al menú "configura tus fichas": en este menú el usuario vincula cada objeto TUI con la fuente sonora/musical a su elección, escuchando y seleccionando la fuente deseada de entre una lista de archivos previamente cargados en el sistema de almacenamiento de la tablet. En este ejemplo de realización preferente, las fuentes sonoras y musicales están constituidas por archivos de audio en formato mp3, con los siguientes parámetros:

a. Frecuencia de muestreo: 44.1 KHz

b. Cuantización: 16 bits

c. Formato de archivo: estéreo

d. Bitrate: 192 Kbps

Los distintos archivos de audio son reproducidos utilizando el reproductor MediaPlayer del sistema Android, programado para la reproducción en bucle de cada archivo.

Las figuras 12 A y 12 B muestran un ejemplo de presentación de dicho menú: la figura 12 A muestra el listado de las imágenes de los objetos TUI que el usuario puede vincular a una fuente sonora o musical. Mediante el botón (26) situado a la derecha de cada imagen, el usuario accede al listado de fuentes sonoras y musicales ejemplificado en la figura 12 B. Mediante el botón de reproducción (27) se puede escuchar cada archivo de audio, y mediante el botón de selección (28) se elige la fuente que se asigna a cada objeto. Al pulsar en el botón "Guardar" (29) se almacena la configuración de dicha vinculación.

Acceso al menú "elige los parámetros": en este menú el usuario elige los dos parámetros que quiere modificar de las fuentes sonoras / musicales utilizadas.

En este ejemplo de realización preferente se utiliza la librería del reproductor Media Player del sistema Android para la modificación de los parámetros de las fuentes sonoras / musicales. Los posibles parámetros que pueden modificarse son volumen, panorama, velocidad de reproducción y altura tonal.

En este ejemplo de realización preferente se establecen dos ejes (vertical y horizontal) que se asocian respectivamente a dos parámetros elegidos por el usuario. Para cada eje se establece un valor de referencia (v-ref), un valor mínimo (v-min) y un valor máximo (v-max) asociados a cada uno de los extremos del eje. Para cada uno de los posibles parámetros que pueden modificarse, los valores establecidos en este ejemplo de realización preferente son los siguientes:

- Volumen: 0 (v-m¡n), 100 (v-max), 50 (v-ref)

- Panorama: izquierda (v-min), derecha (v-max), centro (v-ref)

- Velocidad de reproducción: 25% (v-min), 250% (v-max), 100% (v-ref)

- Altura tonal: -24 semitonos (v-min), 24 semitonos (v-max), 0 semitonos (v-ref)

El movimiento de los objetos en la superficie de trabajo dentro de cada uno de los ejes modifica en tiempo real los parámetros seleccionados de cada archivo. La figura 12C muestra una presentación de dicho menú. Los iconos utilizados para representar los parámetros proceden del mismo estudio realizado para la selección de iconos representativos de las fuentes sonoras / musicales.

8. Acceso al menú "crea": al acceder a este menú, pasamos a la etapa 2 del procedimiento.

Etapa 2: en este ejemplo preferente de realización, el espacio de trabajo constituida por una lámina de papel plastificado de tamaño A4 (21 cms por 28 cms), tal y como se presenta en la figura 6, en la que están serigrafiadas unas marcas delimitando la posición de la base que sostiene la tablet (11) y un recuadro delimitando el área útil anteriormente definido (12).

Para mantener la tablet en posición vertical se utiliza una base (10), que se muestra en la figura 8 desde distintas perspectivas: cenital (14), frontal (15) y lateral (16). En este ejemplo de realización preferente dicha base mide 6 cms de ancho, por 14 cms de largo, por 3 cms de altura, y una cavidad (17) de 1,5 cms de ancho por 13 cms de largo, formando un ángulo de 15 ^ con el eje vertical de la pieza, para alojar la tablet. En este ejemplo de realización preferente la base está realizada en algún material plástico, siendo una opción muy económica la impresión 3D usando filamento PLA.

En este ejemplo de realización preferente se utiliza como dispositivo de captura de vídeo la cámara frontal de la propia tablet. Para redirigir el ángulo de captación de la imagen hacia la superficie de trabajo se utiliza un adaptador, que se muestra en la figura 9 desde distintas perspectivas: frontal (18) , lateral (19) e inferior (20). En este ejemplo de realización preferente dicho adaptador mide 4 cms de largo, por 4,2 cms de ancho por 3,4 cms de alto, y tiene una hendidura (21) de 3 cms de largo por 1,5 cms de ancho para poder a

espejo (22) de 2,4 cms de ancho por 2,6 cms de largo, formando un ángulo de 609 con el eje vertical de la pieza. Con este adaptador, la cámara frontal de la tablet cubre un área útil de 18 cms de ancho por 25 cms de largo. En este ejemplo de realización preferente el adaptador está realizado en algún material plástico, siendo una opción muy económica la impresión 3D usando filamento PLA.

En este ejemplo de realización preferente los objetos son piezas de forma rectangular, tal y como se presenta en la figura 11A, realizadas en algún material plástico (siendo una opción muy económica la impresión 3D usando filamento PLA), de 3,5 cms de largo por 1,8 cms de ancho y 0,2 cms de alto. Cada pieza tiene además un saliente (23) en uno de sus extremos, de 0,5 cms de alto, para facilitar la manipulación por parte de niños. Cada pieza incorpora, como se presenta en la figura 11B, una etiqueta adhesiva que incluye un marcador fiduciario de la librería Artoolkit (24) y un icono (25) representativo de la fuente sonora o musical que se puede asociar a cada objeto. El color de cada pieza se utiliza igualmente para diferenciar entre distintas piezas, lo que permite multiplicar el número de piezas diferentes a partir de la combinación color ¡cono marcador fiduciario.

Etapa 3: La cámara frontal de la tablet recibe la imagen del espacio de trabajo y genera una señal de vídeo de 25 cuadros por segundo, que envía al procesador de la tablet.

Etapa 4: en este ejemplo preferente de realización, la aplicación de la actividad procesa la imagen de vídeo recibida siguiendo los siguientes pasos:

1. Selección de imágenes procedentes de la señal de vídeo: se selecciona una imagen cada 1/3 de segundo.

2. Modificación de la relación de aspecto de la imagen (para corregir la deformación provocada por el ángulo del espejo situado en el adaptador).

3. Conversión a blanco y negro de la imagen de vídeo recibida.

Etapa 5: en este ejemplo preferente de realización, la identificación de los objetos se realiza a través de los siguientes pasos:

4. Detección de los marcadores fiduciarios presentes en la imagen.

5. Identificación de la posición, dentro del cuadro de imagen, de cada marcador fiduciario.

Etapa 6: en este ejemplo preferente de realización, los datos de identificación de cada marcador fiduciario y de su posición dentro de la imagen son procesados por la aplicación de la actividad siguiendo los siguientes pasos, para cada objeto detectado:

1. Identificación del archivo de audio a reproducir, en función del marcador fiduciario detectado.

2. Identificación de la posición dentro del eje Y (vertical) y establecimiento del valor del parámetro asociado a ese eje.

3. Identificación de la posición dentro del eje X (horizontal) y establecimiento del valor del parámetro asociado a ese eje.

Etapa 7: en este ejemplo de realización preferente, la aplicación de la actividad reproduce el/los archivos de audio correspondientes a cada objeto detectado a través del reproductor MediaPlayer del sistema Android. Para ello, envía la orden de reproducción de cada archivo con los parámetros y valores definidos en la etapa anterior. El sonido resultante de la reproducción de los distintos archivos de audio es enviado tanto a los altavoces integrados de la tablet como a la conexión de salida de audio.

Etapa 8: en este ejemplo de realización preferente, la pantalla de la tablet muestra, tal y como se ejemplifica en la figura 13, una imagen de los dos ejes X e Y (30), con los iconos de los parámetros elegidos por el usuario (31), y la posición de cada objeto dentro de ese espacio, representado por imágenes que reproducen el color y el icono de cada objeto (32).

El procedimiento objeto de esta invención contempla una gran diversidad de aplicaciones industriales, como se puede derivar de forma evidente a través de la explicación de la invención. Tal y como se expone en el propio título de la invención, y se desarrolla en la descripción de la misma, la invención es susceptible de aplicación industrial especialmente en el ámbito educativo, mediante el desarrollo de productos, contenidos, actividades educativas y metodologías de enseñanza y aprendizaje que hacen uso del procedimiento propuesto.

Los TUI ofrecen muchas posibilidades de implementación en la educación, particularmente por su apoyo natural a actividades colaborativas, interacciones físicas y representaciones externas [20]. Las interfaces tangibles se consideran particularmente adecuadas para el aprendizaje exploratorio y expresivo [21]: una interacción más intuitiva con interfaces tangibles ofrece un entorno óptimo para experimentar rápidamente y obtener retroal¡mentación, ya que el esfuerzo cognitivo para comprender cómo funciona el sistema es mínimo, permitiendo al usuario para centrar la atención en el dominio subyacente. Las interfaces tangibles también se han probado en niños con discapacidades cognitivas (autismo, síndrome de Down y TDAH), obteniéndose resultados positivos en términos de participación activa, nivel constante de atención durante la actividad y aprendizaje colaborativo [22, 23, 24].

Referencias.

1. R. Cook, P. (2001). Principies for designing Computer music controllers. In Proceedings of the 2001 conference on New interfaces for musical expression, pp. 1-4. National University of Singapore. 2. K.P. Fishkin (2004). A taxonomy for and analysis of tangible interfaces. Personal and Ubiquitous Comp. 8, 5, pp.347-358.

3. M. Kranz, D. Schmidt, P. Holléis, and A. Schmidt (2005). A Display Cube as a Tangible User Interface. Adj. Proc. of UbiComp'2005, Springer, Berlín.

4. B. Ullmer and H. Ishii (2000). Emerging Frameworks for Tangible User Interfaces. IBM Systems 39, 3 & 4, pp. 905-931.

5. M. Kaltenbrunner and R. Bencina (2007). reacTIVision: A Computer-Vision Framework for Table-Based Tangible Interaction. Conference paper. TEI’07.

6. M. Kaltenbrunner (2009). reacTIVision and TUIO: A Tangible Tabletop Toolkit. Conference paper. ITS'09.

7. S. Jordá, G. Geiger, M. Alonso and M. Kaltenbrunner (2007). The reacTable: exploring the synergy between live music performance and tabletop tangible interfaces. In Proceedings o f the ls t 'International conference on Tangible and embedded interaction, pp. 139-146. ACM.

8. http://reactable.com/. Accesed on November lOth, 2017

9. http://monicarikic.com/portfolio/buildacode-tangible-sound-programming-tool/ Accesed on November lOth, 2017

10. http://monicarikic.com/portfolio/buildasound/ Accesed on November lOth, 2017

11. R. Berry, M. Makino, N. Hikawa and M. Suzuki (2003). The Augmented Composer Project: The Music Table. Proc. of ISMAR'03, IEEE Computer Society Press, 338-339.

12. I. Poupyrev, R. Berry, J. Kurumisawa, M. Billinghurst, C. Airóla and H. Kato (2000). Augmented Groove: Collaborative Jamming in Augmented Reality. Proc. of Conference Abstracts and Applications, ACM Press, New York,pp. 77.

13. B. Schiettecatte and J. Vanderdonckt (2008): AudioCubes: a Distributed Cube Tangible Interface based on Interaction Range for Sound Design. Proceedings of the Second International Conference on Tangible and Embedded Interaction (TET08), Feb 18-202008, Bonn, Germany .

14. J. Patten and H. Ishii (2000). A Comparison of Spatial Organizaron Strategies in Graphical and Tangible User Interfaces. Proc. of DARE'OO, ACM Press, New York, pp. 41-50.

15. J. Rekimoto, B. Ullmer and H. Oba (2001). DataTiles: A Modular Platform for Mixed Physical and Graphical Interactions. Proc. ofCHI'2001. ACM Press, New York, pp. 269-276.

Claims

REIVINDICACIONES

1. Un procedimiento para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y un sistema de realidad aumentada, con especial aplicabilidad en el ámbito de la enseñanza, que comprende las siguientes etapas:

• Uso de uno o varios dispositivos informáticos, como pueden ser ordenadores de sobremesa, ordenadores portátiles, tablets o dispositivos móviles.

• Uso de un dispositivo de captura de vídeo, bien conectado al dispositivo informático o integrado en él

• Uso de una superficie de trabajo sobre la que el usuario posiciona y mueve distintos objetos.

• Uso de objetos tangibles y manipulables por el usuario.

• Captura, utilizando un dispositivo de captura de vídeo conectado a un dispositivo informático, de la imagen procedente del espacio de trabajo en el que se posicionan y mueven objetos.

• Proceso de la información de la señal de vídeo procedente del dispositivo de captura de vídeo, mediante el uso de uno o varios dispositivos informáticos.

• Identificación de los objetos, a través de una o varias de sus características, y su posición dentro del espacio de trabajo, mediante el uso de uno o varios dispositivos informáticos.

• Procesado de los datos de identificación de cada objeto y su posición en la superficie de trabajo, mediante el uso de uno o varios dispositivos informáticos, para definir la señal de audio que debe generarse, de acuerdo con la asociación de las diferentes características de cada objeto y de su posición dentro de la superficie de trabajo con distintos parámetros musicales y sonoros.

• Generación de música y sonido a partir de los datos procesados en la fase de identificación de objetos, mediante el uso de uno o varios dispositivos informáticos. • Presentación, a partir de los datos procesados en la fase de identificación de objetos, de información visual complementaria en un monitor de imagen o en una pantalla de uno o varios dispositivos informáticos.

2. Un procedimiento según la reivindicación 1 que además comprende una etapa de puesta en marcha y ajustes del programa informático responsable de los procesos y etapas del procedimiento.

3. Un procedimiento según la reivindicación 2 cuya etapa de puesta en marcha y ajustes comprende uno o varios de los siguientes procesos:

• Acceso y gestión de los dispositivos de almacenamiento locales.

• Acceso y control del dispositivo de captura de vídeo.

• Calibración del dispositivo de captura de vídeo.

• Registro de usuario o login de acceso de usuario ya registrado.

• Selección de los objetos que se van a utilizar.

• Selección de la/s fuente/s sonoras y/o de los parámetros sonoros y musicales que se asociarán a cada objeto o a la posición de cada objeto.

4. Un procedimiento según la reivindicación 1 que comprende el uso de una superficie de trabajo que puede ser un espacio vacío sobre distintos tipos de superficie, y en cualquier posición (horizontal, vertical o formando cualquier otro ángulo) que se ajuste a la conveniencia de la interacción.

5. Un procedimiento según la reivindicación 1 que comprende el uso de una superficie de trabajo que puede tener cualquier tipo de forma, color, textura o tamaño.

6. Un procedimiento según la reivindicación 1 que comprende el uso de una superficie de trabajo que puede contar o no con algún tipo de lámina indicativa de los límites del espacio de trabajo, así como de zonas especialmente definidas dentro de esa superficie de trabajo.

7. Un procedimiento según la reivindicación 1 que comprende el uso de objetos que pueden estar realizados con distintos materiales y tener diferentes formas, colores y tamaños.

8. Un procedimiento según la reivindicación 1 que comprende el uso de objetos que pueden ser tanto elementos con forma bidimensional como tridimensional.

9. Un procedimiento según la reivindicación 1 que comprende el uso de objetos que pueden contener algún tipo de inscripción gráfica, textual o de otro tipo que facilite al usuario la identificación de los mismos.

10. Un procedimiento según la reivindicación 1 que comprende el uso de objetos que pueden contener algún tipo de inscripción gráfica, textual o de otro tipo que permita al dispositivo informático identificar el objeto, su posición dentro de la superficie de trabajo, y distinguirlo de otros objetos.

11. Un procedimiento según la reivindicación 1 cuya fase de proceso de la información de la señal de vídeo comprende uno o varios de los siguientes procesos:

• La modificación de cualquier aspecto relacionado con el tamaño de las imágenes.

• La modificación de cualquier aspecto relacionado con la forma o la proporción (relación de aspecto) de las imágenes.

12. Un procedimiento según la reivindicación 1 en el que el movimiento de un objeto sobre la superficie de trabajo, la aparición de nuevos objetos en la superficie de trabajo, o la desaparición de la superficie de trabajo de objetos presentes, genera nuevos datos de posición dentro de ese espacio, que son interpretados por la aplicación para modificar los parámetros sonoros asociados a dicho cambio de posición y modificar así la señal o las señales de audio que son enviadas a la salida de audio del dispositivo informático.

13. Un procedimiento según la reivindicación 1 en el que la señal de audio generada por el dispositivo informático puede ser enviada a la salida de audio del dispositivo informático, a los altavoces integrados en el dispositivo informático, o a otro u otros dispositivos informáticos mediante algún tipo de conexión entre equipos informáticos.

14. Un procedimiento según la reivindicación 1 en el que la señal de audio generada por uno o varios dispositivos informáticos señal de audio comprende, pero no está limitada, a las siguientes posibilidades, que pueden igualmente darse de forma simultánea:

15. Un procedimiento según la reivindicación 14 en el que los parámetros musicales y sonoros que pueden establecerse y/o modificarse comprenden, pero no están limitados a, los siguientes:

o inicio o detención de la reproducción o generación de sonido,

o el volumen o amplitud del sonido

o la velocidad de reproducción del sonido

o la frecuencia o altura tonal del sonido

o la posición espacial del sonido

o la distribución de frecuencias de un sonido

o el rango dinámico de un sonido

o el tempo de reproducción de una secuencia musical

16. Un procedimiento según la reivindicación 1 en el que la información visual complementaria generada por uno o varios dispositivos informáticos comprende, pero no está limitada a, las siguientes representaciones visuales:

• Representación de la presencia de objeto/s

• Representación de la posición de cada objeto en el espacio de trabajo

17. Un procedimiento según la reivindicación 1 que además comprende el registro de datos de la interacción producida a través del uso de los objetos sobre la superficie de trabajo.

18. Un procedimiento según la reivindicación 17 en el que los datos de la interacción podrán registrarse en una base de datos local o remota, de forma constante o mediante sucesivos registros cronológicos, a intervalos regulares de tiempo.

19. Un procedimiento según la reivindicación 17 en el que la información que puede ser registrada comprende, pero no está limitada a, la siguiente:

• Identificación de cada objeto utilizado por el usuario

• Cantidad de objetos utilizados.

• Tiempo transcurrido entre la presencia y ausencia de cada objeto.

20. Un procedimiento según la reivindicación 17 que además comprende el procesado de la información registrada.

21. Un procedimiento según la reivindicación 17 que además comprende la presentación de la información registrada en uno o varios formatos, como pueden ser informes, representaciones gráficas, escalas, datos estadísticos, archivos de imagen, o archivos de sonido.

22. Un procedimiento según la reivindicación 17 que comprende uno o varios de los siguientes usos de la información registrada:

23. Un procedimiento según la reivindicación 1 en el que la generación y/o la modificación de los elementos musicales y sonoros se produce en tiempo real, de forma instantánea a partir del posicionamiento y/o movimiento de un objeto sobre la superficie de trabajo.

24. Un procedimiento según la reivindicación 1 en el que se pueden utilizar, de forma simultánea, varios objetos a la vez sobre la superficie de trabajo.

25. Un procedimiento según la reivindicación 1 en el que los objetos que utilizan sobre la superficie de trabajo pueden incorporar elementos creados por el propio usuario.

26. Un procedimiento según las reivindicaciones 1 y 25, en el que una etapa del procedimiento comprende la creación o elección de los objetos o de los elementos que incorporan los objetos.

27. Un procedimiento según la reivindicación 1 en el que varios dispositivos informáticos se conectan a otro dispositivo informático que actúa como dispositivo principal o servidor, que recibe los datos de cada dispositivo referentes a la posición y/o movimiento de cada objeto.

28. Un procedimiento según las reivindicaciones 1 y 27 en el que la etapa de generación de música y sonido tiene lugar en el dispositivo informático que actúa como servidor.

29. Un procedimiento según las reivindicaciones 1 y 27 en el que la etapa de presentación visual complementaria tiene lugar en el dispositivo informático que actúa como servidor.

30. Un procedimiento según la reivindicación 1 en que el espacio de trabajo puede incluir algún tipo de serigrafía, marca o dibujo que permita identificar la división en tiempos musicales de distintos tipos de compases musicales.

31. Un diseño de objetos tangibles para ser utilizados en procedimientos para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y sistemas de realidad aumentada, en el que los objetos tangibles son piezas de forma rectangular, que pueden ser bidimensionales o tridimensionales, de igual anchura y altura, y cuya longitud se corresponde con las duraciones de las figuras musicales, de acuerdo con la tabla siguiente:

32. Un diseño de objetos tangibles para ser utilizados en procedimientos para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y sistemas de realidad aumentada, en el que los objetos tangibles son piezas de diferentes colores, correspondiéndose cada color con una nota musical.

33. Un procedimiento según las reivindicaciones 1, 30 y 31 en el que la etapa de identificación de los objetos permite reconocer, a partir de la longitud de los objetos tangibles, distintas figuras musicales.

34. Un procedimiento según las reivindicaciones 1, 30 y 32 en el que la etapa de identificación de los objetos permite reconocer, a partir del color de los objetos tangibles, distintas notas musicales.

35. Un procedimiento según las reivindicaciones 1,16, 30, 31 y 32 en el que la información visual complementaria generada por uno o varios dispositivos informáticos comprende la representación de figuras y notas musicales en un pentagrama.

36. Un procedimiento según las reivindicaciones 1, 30, 31, 32, 33 y 35 en el que la aplicación de la actividad puede incluir estructuras rítmicas, melódicas o armónicas previamente almacenadas en algún soporte local o remoto, pudiendo ser incorporadas a la aplicación y presentadas al usuario de diferentes formas.

37. Un procedimiento según las reivindicaciones 1, 30, 31 32, 33, 35 y 36 en el que el usuario puede elegir la estructura rítmica, melódica o armónica que la aplicación de la actividad presentará.

38. Un procedimiento según las reivindicaciones 1, 30, 31, 33, 35, 36 y 37 en el que el usuario puede utilizar los objetos tangibles y el espacio de trabajo para realizar diferentes tareas en relación a la estructura rítmica, melódica o armónica presentada.

39. Un procedimiento según las reivindicaciones 1, 30, 31, 32, 33, 35, 36, 37 y 38 en el que la aplicación puede utilizar los datos registrados a partir de la interacción del usuario para compararlos con los datos de la estructura presentada al usuario y proporcionar algún tipo de retroalimentación al usuario sobre su interacción, y/o registrar algún tipo de información adicional.

40. Un procedimiento según la reivindicación 1 en el que los objetos podrán representar elementos sonoros tales como grabaciones de voz, efectos de sonido o creaciones musicales que permitan, mediante la posición y el movimiento de estos objetos en la superficie de trabajo, crear la banda sonora de una historia o relato.

41. Un procedimiento según la reivindicación 1 en el que se establecen dos ejes (vertical y horizontal) en el espacio de trabajo, que se asignan a dos parámetros sonoros.

42. Un procedimiento según las reivindicaciones 1 y 41 en el que para cada eje se establece un valor de referencia (v-ref), un valor mínimo (v-min) y un valor máximo (v-max) asociados a cada uno de los extremos del eje.

43. Un procedimiento según las reivindicaciones 1,41 y 42 en el que el movimiento de los objetos tangibles en alguno de los dos ejes definidos genera una modificación, en tiempo real, del valor del parámetro sonoro asignado.

44. Un adaptador, para ser utilizado en un procedimiento según la reivindicación 1, que permite redirigir el ángulo de captación del dispositivo de captura de vídeo de un dispositivo informático hacia el espacio de trabajo, utilizando para ello un espejo acoplado al adaptador.

45. Un diseño de objetos tangibles, para ser utilizados en procedimientos para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y sistemas de realidad aumentada, en el que los objetos tangibles incorporan un saliente para facilitar la manipulación del mismo.

46. Un diseño de objetos tangibles, para ser utilizados en procedimientos para la creación y manipulación de música y sonido a partir de la interacción con objetos tangibles (TUI) y sistemas de realidad aumentada, en el que cada objeto incorpora una representación gráfica de un marcador fiduciario reconocible por un sistema de visión electrónica, junto con una representación gráfica que permite al usuario reconocer el objeto y diferenciarlo de otros.