ITRM20120506A1 - METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. - Google Patents
METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. Download PDFInfo
- Publication number
- ITRM20120506A1 ITRM20120506A1 IT000506A ITRM20120506A ITRM20120506A1 IT RM20120506 A1 ITRM20120506 A1 IT RM20120506A1 IT 000506 A IT000506 A IT 000506A IT RM20120506 A ITRM20120506 A IT RM20120506A IT RM20120506 A1 ITRM20120506 A1 IT RM20120506A1
- Authority
- IT
- Italy
- Prior art keywords
- sound
- hearing loss
- people
- midi
- note
- Prior art date
Links
- 206010011878 Deafness Diseases 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 68
- 208000016354 hearing loss disease Diseases 0.000 claims description 59
- 231100000888 hearing loss Toxicity 0.000 claims description 58
- 230000010370 hearing loss Effects 0.000 claims description 58
- 239000003086 colorant Substances 0.000 claims description 31
- 238000012800 visualization Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 22
- 239000011295 pitch Substances 0.000 claims description 21
- 230000005236 sound signal Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000035807 sensation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 208000032041 Hearing impaired Diseases 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000001595 flow curve Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000004904 shortening Methods 0.000 claims description 2
- 241001634830 Geometridae Species 0.000 claims 1
- 238000011017 operating method Methods 0.000 claims 1
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 229940097275 indigo Drugs 0.000 description 2
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000000884 Airway Obstruction Diseases 0.000 description 1
- 241001050985 Disco Species 0.000 description 1
- 241001104043 Syringa Species 0.000 description 1
- 235000004338 Syringa vulgaris Nutrition 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 231100000252 nontoxic Toxicity 0.000 description 1
- 230000003000 nontoxic effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002630 speech therapy Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
“METODO PER INSEGNARE MUSICA ALLE PERSONE SORDE E UDENTI†⠀ œMETHOD FOR TEACHING MUSIC TO Deaf and hearing peopleâ €
Descrizione Description
Settore cui attiene l’invenzione Sector to which the invention pertains
L’invenzione in generale fa riferimento a delle tecniche (ed ai relativi apparati e dispositivi che ne permettono l’implementazione) di trasposizione del segnale sonoro - musicale in immagini e/o colori, più in particolare essa fa riferimento a dei procedimenti per insegnare e far percepire alle persone affette da ipoacusia, il suono e suonare strumenti musicali e migliorare comunque l’apprendimento per i normoudenti. The invention in general refers to techniques (and to the related apparatuses and devices that allow its implementation) for the transposition of the sound - musical signal into images and / or colors, more particularly it refers to procedures for teach and make people with hearing loss perceive the sound and play of musical instruments and in any case improve learning for the hearing impaired.
Stato della tecnica State of the art
Sinora le persone affette da ipoacusia non possono percepire il suono né suonano strumenti musicali se non attraverso la meccanica memorizzazione del posizionamento delle mani sugli strumenti. Until now, people with hearing loss cannot perceive sound or play musical instruments except through the mechanical memorization of the positioning of the hands on the instruments.
Sono peraltro già note diverse applicazioni nel settore delle persone affette da ipoacusia, come per esempio nel brevetto CN2109038, che fanno riferimento a un dispositivo per applicazioni musicali che viene genericamente utilizzato per mostrare la musica sotto forma di colori nell’ambito di concerti, di discoteche, o rappresentazioni. La soluzione prevede un dispositivo di comando a tiristore che può simultaneamente ricevere il segnale sonoro da degli amplificatori a basse, medie e alte frequenze audio per il campionamento dei dati da parte dell’unità centrale. Quindi i segnali che hanno frequenze comprese tra 27 Hz e 4096 Hz sono trasferiti su dei bulbi relativi a 88 tipi di colori che sono disposti su nove gruppi in direzione longitudinale e dodici gruppi in direzione trasversale. Di qui relativamente al suono che à ̈ stato rilevato sono mostrati dei colori e delle intonazioni di colore diverse in relazione al suono stesso. In questo modo viene aggiunto un effetto di colore alla musica e allo stesso tempo à ̈ possibile per un sordomuto la “percezione indotta†del segnale musicale. Moreover, various applications in the field of people with hearing loss are already known, such as for example in the patent CN2109038, which refer to a device for musical applications that is generically used to show music in the form of colors in the context of concerts, discos, or performances. The solution includes a thyristor control device that can simultaneously receive the sound signal from low, medium and high audio frequency amplifiers for data sampling by the central unit. Then the signals that have frequencies between 27 Hz and 4096 Hz are transferred on bulbs relating to 88 types of colors which are arranged on nine groups in the longitudinal direction and twelve groups in the transverse direction. Hence, relative to the sound that has been detected, different colors and intonations of color are shown in relation to the sound itself. In this way a color effect is added to the music and at the same time it is possible for a deaf-mute to have the â € œinduced perceptionâ € of the musical signal.
Il brevetto US 6046724 tratta di una tecnica e di un apparato per la conversione delle onde sonore sotto forma di onde elettromagnetiche, preferibilmente sottoforma luminosa. E’ previsto che le onde sonore siano convertite in segnali elettrici ed elaborate da un certo numero di filtri, la distribuzione tra i filtri essendo il risultato dell’analisi del tipo di onda sonora in ingresso. I filtri sono successivamente connessi a dei corrispondenti visualizzatori colorati e l’intensità dell’accensione di ciascun visualizzatore a colori à ̈ proporzionale in modo diretto alla grandezza in uscita dal filtro a seguito dell’elaborazione del segnale sonoro. La visualizzazione su display avviene sotto forma di un singolo colore o di una miscela di due o più colori. US patent 6046724 deals with a technique and an apparatus for the conversion of sound waves in the form of electromagnetic waves, preferably in the form of light. It is expected that the sound waves are converted into electrical signals and processed by a certain number of filters, the distribution between the filters being the result of the analysis of the type of incoming sound wave. The filters are then connected to corresponding colored displays and the intensity of the switching on of each color display is directly proportional to the quantity in output from the filter following the processing of the sound signal. The visualization on the display occurs in the form of a single color or a mixture of two or more colors.
Il brevetto US 6686529 tratta di una tecnica per selezionare un colore relativo a un’armonica utilizzando l’analisi delle frequenze selezionando un indice di divisione con cui graduare una scala e dei codici identificativi delle varie armoniche; quindi sono scelti i riferimenti a dei colori a partire da una tabella che attua la conversione suono/colore. Di qui viene associato un grado di intensità del colore di riferimento selezionato e viene determinata un’ottava che corrisponde a tale grado di luminosità . Per attivare la frequenza del segnale luminoso di un dato colore corrispondente ad un’armonica del segnale sonoro rilevato, ci si basa su una particolare equazione US patent 6686529 deals with a technique for selecting a color related to a harmonic using frequency analysis by selecting a division index with which to graduate a scale and the identification codes of the various harmonics; then the references to colors are chosen from a table that implements the sound / color conversion. From here a degree of intensity of the selected reference color is associated and an octave is determined which corresponds to this degree of luminosity. To activate the frequency of the light signal of a given color corresponding to a harmonic of the detected sound signal, we rely on a particular equation
nella quale Fh à ̈la frequenza corrispondente all’armonica che deve essere ottenuta, Frà ̈ la frequenza del segnale in ingresso, k à ̈ indicativa della graduazione nella relativa scala corrispondente al numero di passi nella scala musicale inserita, e con n che denota un rapporto di frequenza armonica. in which Fh is the frequency corresponding to the harmonic to be obtained, Frà the frequency of the input signal, k is indicative of the graduation in the relative scale corresponding to the number of steps in the inserted musical scale, and with n denoting a harmonic frequency ratio.
Nel brevetto US 7589727 viene considerata una tecnica per riprodurre una rappresentazione grafica di un’esecuzione musicale comprendente una pluralità di linee musicali singole che comprendono delle note. Tale tecnica comprende una serie di fasi le quali prevedono di ricavare una versione elettronica del lavoro musicale e la traslazione, usando un elaboratore, di tali note di ciascuna linea musicale da tale versione elettronica in un dato grafico x,y, in cui il valore delle ordinate à ̈ riferito alle note ed à ̈ indicativo dell’altezza o tono della nota stessa, mentre sulle ascisse à ̈ riportato il relativo tempo della nota, nel contesto dell’esecuzione musicale, che in pratica à ̈ relativo alla durata della nota stessa. Successivamente il grafico viene elaborato attraverso un SW di animazione tridimensionale e viene generato, sempre sulla base procedure dedicate, un oggetto visuale che corrisponde a ciascuna linea musicale di detto lavoro musicale di partenza. Infine l’elaboratore dell’animazione tridimensionale opera in modo da spostare e da movimentare tale animazione tridimensionale sulla base del grafico corrispondente. In US patent 7589727 a technique is considered for reproducing a graphic representation of a musical performance comprising a plurality of single musical lines which include notes. This technique includes a series of phases which involve obtaining an electronic version of the musical work and the translation, using a computer, of these notes of each musical line from that electronic version into a given graph x, y, in which the value of the ordinate refers to the notes and is indicative of the pitch or tone of the note itself, while the relative time of the note is shown on the abscissas, in the context of musical performance, which in practice is relative to the duration of the note itself. Subsequently, the graph is processed through a three-dimensional animation SW and a visual object is generated, again on the basis of dedicated procedures, which corresponds to each musical line of said initial musical work. Finally, the three-dimensional animation processor operates in such a way as to move and move this three-dimensional animation on the basis of the corresponding graph.
Il brevetto US 6225545 fa riferimento a un apparato di visualizzazione di un’immagine a partire da un contenuto musicale. Esso à ̈ in grado di attuare una sintesi dell’esecuzione musicale per associare un’immagine particolare in tempo reale derivata da un dispositivo di archiviazione con relativo programma. US patent 6225545 refers to an apparatus for displaying an image starting from a musical content. It is able to carry out a synthesis of the musical performance to associate a particular image in real time derived from a storage device with relative program.
In sostanza à ̈ previsto un apparato di visualizzazione di immagini musicali che comprende un analizzatore dei dati relativi all’esecuzione per attuarne una classificazione. Basically, there is an apparatus for displaying musical images which includes an analyzer of the data relating to the performance to implement a classification.
In un’unità di archiviazione sono memorizzati dei modelli grafici di rappresentazione degli elementi musicali. Volta per volta viene effettuata l’elaborazione dell’immagine acquisendo un modello di disegno/figura da tale unità di memoria, comprendente i diversi modelli di rappresentazione, in modo da generare l’informazione relativa all’immagine che corrisponde ad almeno uno di tali segnali musicali in ingresso. Viene, inoltre, previsto un visualizzatore di immagini che mostra l’immagine corrispondente ad almeno uno di detti elementi musicali, generati da detto dispositivo di calcolo dell’immagine. Graphic models representing musical elements are stored in a storage unit. Each time the image is processed by acquiring a drawing / figure model from this memory unit, including the different representation models, in order to generate the information relating to the image that corresponds to at least one of these musical input signals. An image viewer is also provided which shows the image corresponding to at least one of said musical elements, generated by said image calculation device.
E’ evidente che nessuno di questi documenti brevettuali preveda di associare la sensazione di vibrazione interna del suono da parte della persona con normoacusia e della persona affetta da ipoacusia alla vibrazione visiva esterna, attraverso una visualizzazione della nota (o parti di immagini nella fase più avanzata) associate al colore, corrispondente in modo parametrico, al fine di intervenire su procedimenti di insegnamento della musica con persone normoudenti e/o con persone affette da ipoacusia. It is evident that none of these patent documents provide for associating the sensation of internal vibration of sound by the person with normal hearing loss and the person with hearing loss to the external visual vibration, through a visualization of the note (or parts of images in the higher phase). advanced) associated with the color, corresponding in a parametric way, in order to intervene on procedures for teaching music with people with normal hearing and / or with people with hearing loss.
Lo scopo della presente invenzione à ̈ proprio quello di fornire un metodo che risolva radicalmente il problema principale di far percepire e quindi riconoscere il suono anche a persone affette da sordità profonda, affinché possano persino imparare a suonare strumenti musicali. The purpose of the present invention is precisely that of providing a method that radically solves the main problem of making the sound perceive and therefore recognize the sound even to people with profound deafness, so that they can even learn to play musical instruments.
Un ulteriore scopo à ̈ di fornire una soluzione basata su una combinazione sinestetica che permetta di collegare almeno i due emisferi ricettivi della percezione sonora e della percezione visiva, per poter dare delle informazioni oggettive da elaborare, secondo le regole predefinite, in un metodo precisamente codificato. È infine scopo della presente invenzione quello di fornire dei dispositivi che siano basati su dei normali strumenti di rilevazione ed elaborazione dei segnali musicali - del tipo general purpose - e sulle relative procedure note realizzative delle funzionalità di rilevamento. Inoltre si prevede di impiegare componenti software ed hardware standard, nel settore della riproduzione e della elaborazione dei segnali musicali, al fine di rendere la nuova strumentazione contenuta nei costi, di elevata affidabilità e di immediato utilizzo. A further purpose is to provide a solution based on a synaesthetic combination that allows to connect at least the two receptive hemispheres of sound perception and visual perception, in order to be able to give objective information to be processed, according to predefined rules, in a precisely coded method. . Finally, the aim of the present invention is to provide devices which are based on normal instruments for detecting and processing musical signals - of the general purpose type - and on the related known procedures for implementing the detection functions. Furthermore, it is planned to use standard software and hardware components in the field of reproduction and processing of musical signals, in order to make the new instrumentation affordable, highly reliable and immediately usable.
Questi ed altri scopi, che saranno chiari nel corso della descrizione, sono ottenuti con una tecnica di acquisizione basata su un sistema di procedure che associano la sensazione di vibrazione interna del suono della persona con normoacusia e/o della persona affetta da ipoacusia alla vibrazione visiva esterna attraverso la proiezione del nome della nota associata al colore o di una immagine, corrispondente in forma parametrizzata, al fine di generare la trasposizione della relativa sfumatura. These and other purposes, which will be clear in the course of the description, are obtained with an acquisition technique based on a system of procedures that associate the sensation of internal vibration of the sound of the person with normal hearing loss and / or of the person with hearing loss with the visual vibration. through the projection of the name of the note associated with the color or of an image, corresponding in a parameterized form, in order to generate the transposition of the relative shade.
La sensazione della vibrazione, su cui ci si basa, può anche essere misurata mediante uno spirometro che valuta la vibrazione interna ed à ̈ in relazione con un indicatore grafico che dà una misura quantitativa dello sforzo profuso per ogni nota che viene immessa nello strumento musicale. The sensation of the vibration, on which it is based, can also be measured by means of a spirometer that evaluates the internal vibration and is related to a graphic indicator that gives a quantitative measure of the effort exerted for each note that is introduced into the musical instrument.
Breve descrizione dei disegni Brief description of the drawings
Al solo scopo esemplificativo, e senza con ciò voler limitare l’ambito di validità della stessa, nel seguito l’invenzione verrà descritta con riferimento ai disegni allegati. Vale a dire che le descrizioni e le figure relative alle realizzazioni preferite che seguiranno, siano esse di tipo generale che di dettaglio, sono esplicative delle funzioni svolte e quindi essendo di esempio, non riducono la valenza del trovato così come esso à ̈ caratterizzato nelle rivendicazioni. For illustrative purposes only, and without thereby limiting its scope of validity, the invention will be described below with reference to the attached drawings. That is to say that the descriptions and figures relating to the preferred embodiments that follow, whether of a general or detailed type, are explanatory of the functions performed and therefore being examples, they do not reduce the value of the invention as it is characterized in the claims.
FIGURA 1 mostra un diagramma a blocchi generale di un apparato per insegnare alle persone con normoacusia e/o alle persone affette da ipoacusia a percepire il suono e a suonare strumenti musicali. FIGURE 1 shows a general block diagram of an apparatus for teaching people with normal hearing loss and / or people with hearing loss to perceive sound and play musical instruments.
FIGURA 2 Ã ̈ una rappresentazione della mappatura di un file immagine in relazione ai campi pittorici di una serie di visualizzazioni funzionali ai diversi ingressi audio. FIGURE 2 is a representation of the mapping of an image file in relation to the pictorial fields of a series of visualizations functional to the different audio inputs.
FIGURA 3 mostra una vista schematica dei diversi componenti, dispositivi e unità che compongono un laboratorio didattico secondo la presente invenzione. FIGURA 4 à ̈ uno schema a blocchi della soluzione algoritmica proprietaria che contraddistingue la presente invenzione. FIGURE 3 shows a schematic view of the different components, devices and units that make up an educational laboratory according to the present invention. FIGURE 4 is a block diagram of the proprietary algorithmic solution that distinguishes the present invention.
FIGURA 5 mostra una serie di curve flusso/volume rispettivamente per il flusso espiratorio nella zona superiore ed espiratorio nella zona inferiore, per tre condizioni rispettivamente normale a, con ostruzione b, con restrizione c, rilevabili solitamente con uno spirometro per diverse condizioni di espirazione inspirazione. FIGURE 5 shows a series of flow / volume curves respectively for the expiratory flow in the upper zone and expiratory flow in the lower zone, for three conditions respectively normal a, with obstruction b, with restriction c, usually detectable with a spirometer for different conditions of exhalation inspiration .
FIGURE 6-7 sono delle rappresentazioni inerenti le diverse tipologie di visualizzazione del suono attraverso immagini ai fini dell’insegnamento a persone udenti e/o a persone affette da ipoacusia a percepire il suono e a suonare strumenti musicali. FIGURES 6-7 are representations concerning the different types of visualization of sound through images for the purpose of teaching hearing people and / or people with hearing loss to perceive sound and play musical instruments.
FIGURA 8 Ã ̈ una rappresentazione della corrispondenza tra note e forme geometriche ibride secondo la presente invenzione . FIGURE 8 is a representation of the correspondence between notes and hybrid geometric shapes according to the present invention.
FIGURE 9-11 sono altre rappresentazioni inerenti le diverse tipologie di visualizzazione del suono attraverso immagini e forme geometriche ai fini dell’insegnamento alle persone udenti e/o alle persone affette da ipoacusia a percepire il suono e a suonare strumenti musicali. FIGURES 9-11 are other representations concerning the different types of visualization of sound through images and geometric shapes for the purpose of teaching hearing people and / or people with hearing loss to perceive sound and play musical instruments.
Il metodo prevede cinque fasi che interlavorano in sequenza: The method involves five phases that work in sequence:
I - codifica suono/colore, I - sound / color coding,
II - codifica suono/colore/ immagine, II - sound / color / image coding,
III - preparazione degli strumenti e degli spartiti colorati in funzione della codifica, III - preparation of instruments and colored scores according to the coding,
IV - assemblaggio di procedure per la visualizzazione delle note sotto forma geometrica o lettere a colori, IV - assembly of procedures for viewing notes in geometric form or letters in color,
V - avviamento all’associazione tra lettura delle note, sensazione della vibrazione interna e visualizzazione esterna con i colori e con le immagini. V - initiation of the association between reading of notes, sensation of internal vibration and external visualization with colors and images.
I- Codifica suono/colore I- Sound / color coding
Attraverso degli studi svolti in ambito artistico e scientifico si à ̈ potuto constatare che la sinestesia, fenomeno con cui due o più percezioni sensoriali coincidono, potrebbe essere utile per risolvere alcune problematiche là dove si ha una carenza o totale mancanza di uno di questi e a congiungere il mondo udente a quello dei sordi. Through studies carried out in the artistic and scientific fields, it was found that synaesthesia, a phenomenon with which two or more sensory perceptions coincide, could be useful to solve some problems where there is a lack or total lack of one of these and to join the hearing world to that of the deaf.
Lo studio sul rapporto suono/colore ha portato ad interessanti risvolti sulle applicazioni nel caso del problema della percezione del suono sia da parte di persone udenti che di persone affette da ipoacusia. In prima istanza si à ̈ dedotta una codifica che regola un rapporto ben specifico tra ogni singola nota musicale e un determinato colore attraverso degli studi intrapresi negli ultimi 15 anni, partendo dai rapporti descritti da Netwon, Wagner per arrivare a Kandinsky etc. Benché su questo rapporto non esistano conferme scientifiche, se non di carattere puramente concettuale/matematico, l’intento funzionale alla risoluzione del problema à ̈ quello di creare una implementazione per dare ordine a questi due emisferi percettivi e quindi poter dare delle informazioni oggettive ad un sistema che possa su di esso fondare un metodo. The study on the sound / color relationship has led to interesting implications on the applications in the case of the problem of sound perception by both hearing and hearing impaired people. In the first instance, a coding was deduced that regulates a very specific relationship between each single musical note and a certain color through studies undertaken in the last 15 years, starting from the relationships described by Netwon, Wagner to get to Kandinsky etc. Although there are no scientific confirmations on this relationship, if not of a purely conceptual / mathematical nature, the functional intent to solve the problem is to create an implementation to give order to these two perceptual hemispheres and therefore to be able to give objective information to a system that can base a method on it.
Facendo riferimento quindi a quanto descritto dallo studioso Itten nel suo postulato sui colori e al calcolo delle “quinte†musicali che determinano un numero di accordi musicali ben precisi si à ̈ giunti a stabilire la seguente codifica tra suoni e colori: Referring therefore to what was described by the scholar Itten in his postulate on colors and to the calculation of musical â € œquinteâ € that determine a number of very precise musical chords, the following coding between sounds and colors has been established:
nota DO : Blu note DO: Blue
nota RE: indaco note RE: indigo
nota Mi: rosa note Mi: pink
nota Fa : Rosso Note Fa: Red
nota Fa diesis: Arancio note F sharp: Orange
nota Sol: giallo G note: yellow
nota La : verde note A: green
nota SI: azzurro note YES: blue
I conseguenti “mezzi toni†chiamati in musica diesis o bemolle, identificati sulla tastiera di un pianoforte con i tasti neri, sono così identificati: The consequent `` half tones '' called sharps or flats in music, identified on the keyboard of a piano with black keys, are identified as follows:
Mi bemolle: lilla E flat: lilac
FA diesis: Arancio F sharp: Orange
La bemolle: giallo/verde A flat: yellow / green
SI bemolle: verde acqua B flat: teal
Si intende che nella scala appena descritta, secondo la presente invenzione, il bianco ed il nero vengono intesi come fattori di chiarezza o meno nei colori e quindi il nero come punto di origine della luce mentre il bianco come punto di arrivo, dove i colori diventano il percorso che uniscono queste due estremità . Proprio in base a questo concetto nella codifica attuata le prime ottave dei suoni gravi saranno connotate da suoni più bassi e quindi da colori più scuri. Man mano che le ottave si ripetono i suoni saranno sempre più alti e corrisponderanno a colori sempre più chiari così che si partirà dal silenzio associato al nero fino a tornare di nuovo al silenzio associato al bianco culmine della scala dei suoni udibili e della lucentezza dei colori. L’elemento di grigio contraddistingue nella codifica secondo la presente invenzione la lucentezza di ogni singolo colore e di conseguenza, nel suono, “l’accordatura†di ogni singola nota. It is understood that in the scale just described, according to the present invention, white and black are intended as factors of clarity or not in the colors and therefore black as the point of origin of the light while white as the point of arrival, where the colors become the path that unite these two extremities. Precisely on the basis of this concept in the coding implemented, the first octaves of the lower sounds will be characterized by lower sounds and therefore by darker colors. As the octaves are repeated, the sounds will be higher and higher and will correspond to increasingly clearer colors so that we will start from the silence associated with black and return again to the silence associated with the white peak of the scale of audible sounds and the brightness of the colors. In the coding according to the present invention, the element of gray distinguishes the brightness of each single color and consequently, in the sound, â € œthe tuningâ € of each single note.
II- Codifica MAPPING del rapporto suono/colore/immagine II- MAPPING coding of the sound / color / image ratio
Una volta stabilita la codifica di cui sopra si può iniziare a creare un’ulteriore fondamentale associazione: la relazione tra suono-colore e tipo di immagine. Infatti il contenitore del colore associato al suono deve avere una forma ben precisa che esprima nel miglior modo, a seconda della necessità , il rapporto appena codificato e quindi la creazione di una serie di immagini chiamate con il nome in Inglese “mapping†. Once the above coding has been established, we can begin to create a further fundamental association: the relationship between sound-color and type of image. In fact, the container of the color associated with the sound must have a very precise shape that best expresses, depending on the need, the relationship just encoded and therefore the creation of a series of images called by the name in English â € œmappingâ €.
I file vengono creati attraverso l’utilizzo del software Adobe Photoshop nel seguente modo: The files are created using Adobe Photoshop software as follows:
1 - avvio del programma, 1 - starting the program,
2 - selezione dal menu a tendina New File, 2 - selection from the New File drop-down menu,
3 - selezione dal menù a tendina Modifica / size e immettere le misure del foglio di lavoro a 21 cm x 29,6 cm, 3 - select from the Edit / size drop-down menu and enter the worksheet measurements at 21 cm x 29.6 cm,
4 - a) nel primo metodo con associazione del suono al nome delle note, sono semplicemente scritti i nomi con un carattere, per esempio, di 76 pt e il colore corrispondente alla nota à ̈ salvato ad uno ad uno con il nome della nota e del colore, 4 - a) in the first method with association of the sound to the name of the notes, the names are simply written with a character, for example, of 76 pt and the color corresponding to the note is saved one by one with the name of the note and of color,
4 - b) nel caso dei disegni 10 devono essere prima importati gli originali attraverso uno scanner, lo stile del disegno à ̈ costituito da una linea nera continua che intersecandosi crea spazi chiusi 9’, 9†, 9<n>di varie grandezze (campi pittorici). Utilizzando lo strumento “secchiello†si va a colorare in relazione ai parametri/codifica il campo pittorico secondo il gradiente associato alla nota musicale. Utilizzando a questo punto il comando “bacchetta magica†sempre a disposizione dalla finestra dei comandi, si selezionano i singoli campi pittorici e si copia ed incolla la parte creando direttamente un nuovo livello (seguenza tasti Ctrl+P e Ctrl+V). Si disattiva il livello di Sfondo e si avrà la sezione Mapping che si va a salvare con il nome desiderato utilizzando per esempio il formato PNG (Es. Do- rosso 1). Procedendo in questo senso si crea il data base di immagini 9’, 9†, 9<n>utili al metodo. Si fa attenzione ogni volta che si crea un livello, a disattivare gli altri livelli creati in precedenza. 4 - b) in the case of drawings 10 the originals must first be imported through a scanner, the drawing style consists of a continuous black line which intersects to create closed spaces 9â € ™, 9â €, 9 <n> of various sizes (pictorial fields). Using the â € œsuckerâ € tool, the pictorial field is colored in relation to the parameters / coding according to the gradient associated with the musical note. At this point, using the command â € œmagic wandâ € always available from the command window, select the individual pictorial fields and copy and paste the part directly creating a new layer (followed by Ctrl + P and Ctrl + V keys). Disable the Background layer and the Mapping section will be saved with the desired name using for example the PNG format (Ex. Red 1). Proceeding in this sense, the database of images 9â € ™, 9â €, 9 <n> useful for the method is created. Every time you create a layer, you are careful to deactivate the other layers created previously.
Nel caso della presente invenzione, in una realizzazione preferita, l’associazione dei colori corrispondenti alle note nelle immagini sarà strutturato in quattro fasi: Fase 1 In the case of the present invention, in a preferred embodiment, the association of the colors corresponding to the notes in the images will be structured in four phases: Phase 1
Suono della nota – Colore/forma o nome delle nota Sound of the note - Color / shape or name of the note
Fase 2 Phase 2
Suono della nota - Colore/forma geometrica (con nome della nota all’interno) Fase 3 Sound of the note - Color / geometric shape (with note name inside) Phase 3
Suono della nota - Colore/forma geometrica Sound of the note - Color / geometric shape
Fase 4 Phase 4
Suono della nota. Colore/parte di un’immagine all’interno di un disegno (vedi codifica suono/colore/immagine) Sound of the note. Color / part of an image within a drawing (see sound / color / image coding)
Questa ulteriore associazione vuole condurre una persona udente e/o una persona affetta da ipoacusia a riconoscere il suono attraverso una codifica grafico-visiva che si rivela fondamentale per l’applicazione in generale sopratutto a livello di interazione tra sordo e udente e sordo con sordo. This further association aims to lead a hearing person and / or a person suffering from hearing loss to recognize sound through a graphic-visual coding that is fundamental for the application in general especially at the level of interaction between deaf and hearing and deaf with deaf. .
Una modalità operativa basilare à ̈ ricoperta dalla preparazione dei file Mapping parametrizzati rispetto al segnale sonoro. A basic operating mode is covered by the preparation of the Mapping files parameterized with respect to the sound signal.
Affinché ogni file preparato possa successivamente essere sensibile agli Input sonori, all’interno del programma Grand VJ della Arkaos si trasformano i file PNG con estensione “swf†attraverso il seguente procedimento operabile con il software Adobe Flash: In order for each prepared file to subsequently be sensitive to the sound inputs, the PNG files with the extension â € œswfâ € are transformed within the Grand VJ program by Arkaos through the following procedure operable with the Adobe Flash software:
Formula di Action script 2.0 utilizzata in programmazione Adobe Flash: Action script 2.0 formula used in Adobe Flash programming:
var audiofftl:Number var audiofftl: Number
blur.blurX = 30; blur.blurX = 30;
blur.bhnY = 30; blur.bhnY = 30;
clrclel.onEnterFrame = function() clrclel.onEnterFrame = function ()
{ this._alpha = Math.random()*50 {this._alpha = Math.random () * 50
this._alpha = audiofftl this._alpha = audiofftl
this. Fade = audiofftl this. Fade = audiofftl
} }
stop () stop ()
III - Preparazione degli strumenti e degli spartiti colorati in funzione della codifica III - Preparation of instruments and colored scores according to the coding
- Scelta degli strumenti musicali per il metodo - Choice of musical instruments for the method
Gli strumenti scelti per il metodo implementato sono: la diamonica, la tromba, il saxofono, la batteria, la tastiera, la fisarmonica, The instruments chosen for the implemented method are: the diamonic, the trumpet, the saxophone, the drums, the keyboard, the accordion,
La scelta degli strumenti musicali per le persone con normoacusia e/o per le persone affette da ipoacusia, nella prima fase, parte dal presupposto che tutti debbano avere un unico minimo comun denominatore: essere uno strumento a fiato. The choice of musical instruments for people with normal hearing loss and / or for people with hearing loss, in the first phase, starts from the assumption that everyone must have a single lowest common denominator: to be a wind instrument.
Questo à ̈ necessario affinché la percezione del suono scaturito dall’uso di strumenti musicali, specialmente dalla persona affetta da ipoacusia, avvenga prima di tutto rapportando e associando le note ad una sensazione di vibrazioni interne. Infatti, attraverso la conduzione mirata da parte di docenti musicali si arriva a far percepire e quindi a insegnare sia a persone con normoacusia sia a persone affette da ipoacusia, a riconoscere la nota associandola a quel tipo di vibrazione, che a sua volta poi sarà relazionata per concetto a quel determinato colore descritto nella codifica realizzata. This is necessary so that the perception of the sound resulting from the use of musical instruments, especially by the person with hearing loss, occurs first of all by relating and associating the notes to a sensation of internal vibrations. In fact, through the targeted conduction by music teachers it is possible to perceive and therefore teach both people with normoacusis and people with hearing loss, to recognize the note by associating it with that type of vibration, which in turn will then be related by concept to that particular color described in the coding carried out.
- Colorazione della tastiera musicale e delle partiture. - Coloring of the musical keyboard and scores.
Attraverso la codifica suono-colore si procede con il riportare fisicamente sulla tastiera di un pianoforte e sulle partiture musicali i colori corrispondenti alle note attraverso smalti acrilici atossici per il primo e semplici pastelli o colori a spirito per la seconda. Through the sound-color coding we proceed with the physical transfer on the keyboard of a piano and on the musical scores the colors corresponding to the notes through non-toxic acrylic enamels for the first and simple pastels or spirit colors for the second.
Su ogni singolo tasto del pianoforte (dove à ̈ stata esclusa la colorazione dei mezzi toni che per grado di difficoltà non vengono utilizzati nella fase iniziale affinché l’associazione sia più immediata) si ha quindi il colore corrispondente alla nota associata al tasto, mentre sugli spartiti opteremo per colorare quelle note che fino ad oggi erano in nero, sempre attraverso il codice-colore. The color corresponding to the note associated with the key is therefore obtained on each single key of the piano (where the color of the half tones has been excluded, which due to their degree of difficulty are not used in the initial phase so that the association is more immediate). while on the scores we will opt to color those notes that until now were in black, always through the color-code.
Questo serve nel metodo affinché la persona udente o la persona affetta da ipoacusia possa associare concettualmente quel colore a quella nota e viceversa e che quindi gli rimanga naturale fin da subito farlo. This is used in the method so that the hearing person or the person suffering from hearing loss can conceptually associate that color with that note and vice versa and therefore it remains natural for him to do so right away.
Come premesso una funzione originale della presente invenzione à ̈ la valutazione interattiva, da parte della persona che sta suonando, della vibrazione interna che si genera. As stated, an original function of the present invention is the interactive evaluation, by the person who is playing, of the internal vibration that is generated.
Va ricordato che in origine in una persona con una funzione polmonare normale, la curva volume-tempo di un pirometro sale rapidamente e in modo continuo, per raggiungere un plateau in 3-4 secondi. It should be remembered that originally in a person with normal lung function, the volume-time curve of a pyrometer rises rapidly and continuously, reaching a plateau in 3-4 seconds.
Molti spirometri con desktop elettronico e spirometri impiegati in ambulatori di fisiopatologia respiratoria utilizzano uno pneumotacografo che misura il flusso d’aria ed integra il segnale per ottenere il volume. Questo permette allo spirometro di disegnare curve di flusso in rapporto al volume di aria espirata, ottenendo una curva flusso-volume. Su molti spirometri queste curve vengono visualizzate sul display in real-time quando i pazienti stanno compiendo le loro manovre forzate. Many electronic desktop spirometers and spirometers used in respiratory physiopathology clinics use a pneumotachometer which measures the air flow and integrates the signal to obtain the volume. This allows the spirometer to draw flow curves in relation to the volume of exhaled air, obtaining a flow-volume curve. On many spirometers these curves are shown on the display in real-time when patients are performing their forced maneuvers.
La curva à ̈ di grande aiuto per l’interpretazione della dinamica polmonare. The curve is of great help for the interpretation of lung dynamics.
Così come tale strumento in medicina à ̈ un mezzo per identificare le fasi iniziali dell’ostruzione delle vie aeree ed offre un aiuto supplementare nell’interpretazione di un quadro misto di ostruzione e restrizione, nell’ambito della presente invenzione il suo utilizzo serve a definire uno stato di suono lento, dolce oppure stressato, sforzato ect. As such an instrument in medicine is a means to identify the initial phases of airway obstruction and offers additional help in the interpretation of a mixed picture of obstruction and restriction, within the scope of the present invention its use is used to define a state of slow, sweet or stressed, strained sound ect.
IV- Assemblaggio e realizzazione del sistema di visualizzazione delle note in vibrazioni di colore associate a lettere o immagini. IV- Assembly and realization of the visualization system of the notes in color vibrations associated with letters or images.
La fase più importante affinché la tecnica secondo la presente invenzione diventi operativa, à ̈ l’assemblaggio delle procedure necessarie a realizzare la visualizzazione del suono in colore e più in particolare del suono in colore associato ad una determinata forma visiva. The most important phase for the technique according to the present invention to become operative, is the assembly of the procedures necessary to realize the visualization of the sound in color and more particularly of the sound in color associated with a determined visual form.
Innanzitutto un elenco costituente un apparato base comprendente tutto il materiale necessario à ̈ il seguente: First of all, a list constituting a basic apparatus including all the necessary material is the following:
Mini pc/laptop con uscita VGA Mini pc / laptop with VGA output
Trasformatore input audio/output - MIDI USB to MIDI adapter Audio input / output transformer - MIDI USB to MIDI adapter
MIDI ADAPTER o in alternativa 5 schede audio per pc con ingresso/uscita MIDI(nel caso di interazione tra più utenti udenti e sordi) MIDI ADAPTER or alternatively 5 pc sound cards with MIDI input / output (in the case of interaction between more hearing and deaf users)
Software annesso alla codifica di suoni audio in MIDI Intelliscore Audio Midi Software VJ (Visual Jokey) Arkaos Grand Vj Software attached to the encoding of audio sounds in MIDI Intelliscore Audio Midi Software VJ (Visual Jokey) Arkaos Grand Vj
Software Adobe Photoshop Adobe Photoshop software
Software Adobe Flash Adobe Flash software
Mixer audio almeno 2 canali Ingressi audio/direct out - . Audio mixer at least 2 channels Audio inputs / direct out -.
Microfono, Cablaggio audio, Video proiettore con entrata VGA (min 250watt), CavoVga Microphone, Audio wiring, Video projector with VGA input (min 250watt), CavoVga
I componenti l’apparato HW sono assemblati secondo le Figure 1 e 3 , in base alle procedure che seguono: The components of the HW equipment are assembled according to Figures 1 and 3, according to the following procedures:
1 - Collegare il computer 3 alla scheda audio 4, 1 - Connect the computer 3 to the sound card 4,
2 - Collegare il PC 3 al video proiettore 5 attraverso cablaggio VGA 2 - Connect PC 3 to video projector 5 through VGA cabling
3 - Collegare la scheda audio 4 con lo strumento 6 desiderato attraverso un cavo Jack audio: Tastiera, microfono, chitarra ecc. 3 - Connect the sound card 4 with the desired instrument 6 through an audio jack cable: keyboard, microphone, guitar etc.
4 - Congiungere le due uscite MIDI (out 7’ e in 7†) della scheda audio 4 attraverso un cablaggio speciale realizzato per questo metodo consistente in un cavo MIDI dalle due estremità di raccordo ambedue “femmina†. 4 - Connect the two MIDI outputs (out 7â € ™ and in 7â €) of the sound card 4 through a special wiring made for this method consisting of a MIDI cable with two connecting ends both â € œfemaleâ €.
Impostazioni e sincronizzazione dei software Software settings and synchronization
Si avvia il Pc 3 e si setta il primo ed il secondo Desktop su modalità estesa. Una volta che il video proiettore 5 visualizza lo stesso sfondo desktop del Pc senza le icone, si apre il software “Intelliscore Ensemble†e si seleziona Open project dal menù a tendina. Si seleziona il relativo file di settaggio impostato con i parametri di sensibilità al suono e alla codifica MIDI secondo le preferenze del caso (es. impostazioni monofonico Percorso: open project/ impostazioni/impostazioni personalizzate). Pc 3 is started and the first and second Desktop are set to extended mode. Once the video projector 5 displays the same desktop background as the PC without the icons, the â € œIntelliscore Ensembleâ € software is opened and Open project is selected from the drop-down menu. You select the relative settings file set with the parameters of sensitivity to sound and to the MIDI encoding according to the preferences of the case (eg monophonic settings Path: open project / settings / customized settings).
Nel software “Intelliscore Ensemble (versione 7 almeno)<†>à ̈ possibile decidere la polifonia desiderata, quindi la quantità di immagini (Note/immagini) proiettate simultaneamente. Grazie all’elaborazione Flash il programma permette quindi di decodificare il segnale sonoro in linguaggio MIDI dinamico secondo il suono. Tale supporto-trasferirà il protocollo Midi suonato dall’uscita MIDI OUT 7†all’entrata MIDI IN 7’, che permette quindi di ritrasferire il segnale di uscita all’ingresso e far in modo così che il software “Arkaos Grand Vj†possa riconoscere questo segnale, assegnando alla nota suonata, l’immagine corrispondente che dinamicamente·e parametricamente si accenderà secondo il suono, con la possibilità di decidere l’ampiezza del segnale che à ̈ possibile comunque dosare ulteriormente tramite i preamplificatori della scheda audio collegata al computer. Dopo aver settato le impostazioni si apre automaticamente una nuova finestra che visualizza il rapporto tra input audio in entrata e la corrispondente uscita, in segnale MIDI, attraverso la visualizzazione in piccolo delle note in inglese. In the â € œIntelliscore Ensemble software (version 7 at least) <â €> it is possible to decide the desired polyphony, then the quantity of images (Notes / images) projected simultaneously. Thanks to the Flash processing, the program therefore allows to decode the sound signal in dynamic MIDI language according to the sound. This support will transfer the Midi protocol played from the MIDI OUT 7â € output to the MIDI IN 7 input, which then allows you to re-transfer the output signal to the input and make sure that the software â € œArkaos Grand Vjâ € can recognize this signal, assigning to the played note, the corresponding image that dynamically and parametrically will light up according to the sound, with the possibility of deciding the amplitude of the signal that it is possible to further dose through the preamps of the sound card connected to the computer. After setting the settings, a new window opens automatically which displays the ratio between the incoming audio input and the corresponding output, in MIDI signal, through the small display of the English notes.
Successivamente si apre il software “Arkaos Grand†e si: Then the â € œArkaos Grandâ € software opens and yes:
a) - seleziona File e poi New dal menu a tendina, a) - select File and then New from the drop-down menu,
b) - a questo punto si apre una finestra con un menù a scroll con più voci dove ne à ̈ già selezionata di default una con scritto “Blank template for Synth mode†e si procede con il caricare una ad una le immagini che compongono il “mapping†importando i file precedentemente preparati trasportandoli, sempre uno ad uno, all’interno di ogni singolo tasto della tastiera MIDI disegnata sull’interfaccia del software Arkaos attraverso il percorso: File/Load Mapping Template. Successivamente non resta che attivare la visualizzazione a schermo intero attraverso il tasto centrale del software “Toggle Full screen†. b) - at this point a window opens with a scroll menu with several items where one with the writing â € œBlank template for Synth modeâ € is already selected by default and you proceed with loading the images that make up one by one â € œmappingâ € by importing the previously prepared files by transporting them, always one by one, inside each single key of the MIDI keyboard drawn on the Arkaos software interface through the path: File / Load Mapping Template. Then all that remains is to activate the full screen view through the central button of the software â € œToggle Full screenâ €.
Per migliorare la visualizzazione si vanno ad alzare i livelli del volume d’entrata, di contrasto e lucentezza attraverso i comandi posti intorno allo schermo dell’anteprima video. To improve viewing, the input volume, contrast and brightness levels are raised using the controls placed around the video preview screen.
Nel software “Grand Vj†, sono stati pre creati files in programmazione Adobe flash con la codifica (*.swf†) (Action script 2.0) con su ogni nota del pentagramma che corrisponde ad un file, di diverso colore e intensità con disegnato il nome universale (es: do = C). Tali files sono stati concepiti per essere sensibili all’impulso sonoro, (es: piano, chitarra, voce). e per essere utilizzati esclusivamente con il software “Arkaos Grand Vj†. In the â € œGrand Vjâ € software, Adobe flash programming files have been pre-created with the encoding (* .swfâ €) (Action script 2.0) with on each note of the staff that corresponds to a file, of different color and intensity with drawn the universal name (ex: do = C). These files have been conceived to be sensitive to the sound impulse, (eg: piano, guitar, voice). and to be used exclusively with the â € œArkaos Grand Vjâ € software.
Riassumendo il procedimento multimediale segue quindi questo percorso di interazione Hw/Sw: Summarizing the multimedia procedure, this Hw / Sw interaction path follows:
1. segnale sonoro 1. sound signal
2. scheda audio 2. sound card
3. computer 3. computer
4. software “Intelliscore Ensemble<†>4. â € œIntelliscore Ensemble <â €> software
5. midi out-midi in 5. midi out-midi in
6. software “Arkaos Grand VJ†6. â € œArkaos Grand VJâ € software
7. schermo secondario/primario, proiettore, Led wall 7. secondary / primary screen, projector, Led wall
Come precedentemente descritto, affinché l’applicazione funzioni, entrambi i software devono essere utilizzati simultaneamente, perché uno necessita dell’altro. As previously described, for the application to work, both software must be used simultaneously, because one needs the other.
In una diversa realizzazione preferita dell’invenzione si utilizza un SW proprietario che fa riferimento allo schema a blocchi di Figura 4 e agli algoritmi i cui pseudo codici sono illustrati di seguito: In a different preferred embodiment of the invention, a proprietary SW is used which refers to the block diagram of Figure 4 and to the algorithms whose pseudo codes are illustrated below:
L’algoritmo risolutivo riportato in Fig. 4 à ̈ sviluppato in Java e in Puredata. Il sistema à ̈ multipiattaforma e fa uso di protocolli di comunicazione tipo OSC “Open Sound Control†. Il sistema à ̈ composto di due componenti principali, un audio engine 50 e un video engine 51. L’audio engine 50 elabora la traduzione dell’input di utente, sia esso in formato audio che in formato midi, e attua la trasmissione dei dati generati al video engine. Il video engine 51 esegue la mappatura dei dati ricevuti nelle forme e nei colori dello spazio pittorico. The solution algorithm shown in Fig. 4 is developed in Java and in Puredata. The system is multi-platform and uses communication protocols such as OSC â € œOpen Sound Controlâ €. The system is composed of two main components, an audio engine 50 and a video engine 51. The audio engine 50 processes the translation of the user input, both in audio format and in midi format, and implements the transmission of the data generated by the video engine. The video engine 51 maps the received data into the shapes and colors of the pictorial space.
Per quanto riguarda l’audio engine 50 l’ingresso musicale può essere comandato o da un audio analogico 56 o da un midi digitale 57. Con riferimento all’input audio analogico 56 il sistema di riconoscimento del pitch richiede l’ingresso audio dello strumento a fiato, una sorgente analogica (microfono a condensatore) connesso al convertitore analogico digitale (schede commerciali tipo pro audio). Nell’analisi FFT (Fast Fourier Transform) di rilevamento del pitch, l’audio à ̈ prima filtrato attraverso una porta di filtraggio del rumore, o attraverso un amplificatore differenziale, allo scopo di eliminare il rumore ambientale e poi attraverso un filtro passabanda che à ̈ posizionato in un campo di valori relativo allo strumento selezionato per migliorare le frequenze principali ed eliminare i suoni e le armoniche non desiderati; ciò allo scopo di eseguire il “rilevamento del pitch†vero e proprio. As for the audio engine 50, the music input can be controlled either by an analog audio 56 or by a digital midi 57. With reference to the analog audio input 56 the pitch recognition system requires the input wind instrument audio, an analog source (condenser microphone) connected to the analog digital converter (commercial cards such as pro audio). In pitch detection FFT (Fast Fourier Transform) analysis, the audio is first filtered through a noise filter port, or through a differential amplifier, in order to eliminate ambient noise and then through a bandpass filter. which is positioned in a range of values relative to the selected instrument to improve the main frequencies and eliminate unwanted sounds and harmonics; this in order to perform the actual "pitch detection".
L’esecuzione del rilevamento del pitch prevede l’impiego di procedure basate su algoritmi tipo “iterazione e ricerca del massimo†sulle componenti estratte dall’FFT dell’ingresso filtrato in modo da catturare la frequenza fondamentale del segnale sonoro. The execution of the pitch detection involves the use of procedures based on algorithms such as â € œit and search for the maximumâ € on the components extracted from the FFT of the filtered input in order to capture the fundamental frequency of the sound signal.
L’analisi FFT 59 di rilevamento dell’ampiezza, prevede il rilevamento dell’ampiezza del segnale audio filtrato per fornire in uscita un valore numerico che costituisce l’ingresso per il successivo modulo di comunicazione 60. The FFT 59 analysis of amplitude detection provides for the detection of the amplitude of the filtered audio signal to provide a numerical value at the output which constitutes the input for the subsequent communication module 60.
D’altra parte come riportato in Fig. 4 l’ingresso MIDI 57 considera l’ingresso alternativo da una sorgente digitale. Il multiplexer 61 di tipo MIDI acquisisce sino a dieci note in ingresso da un’interfaccia MIDI di tipo digitale (tastiere o altro strumento musicale MIDI) e passa i valori delle note e delle relative durate al successivo modulo di comunicazione 60. On the other hand, as shown in Fig. 4, MIDI input 57 considers the alternative input from a digital source. The multiplexer 61 of the MIDI type acquires up to ten notes in input from a digital MIDI interface (keyboards or other MIDI musical instrument) and passes the values of the notes and their relative durations to the next communication module 60.
Il modulo OSC com 60 à ̈ comune sia all’audio 56 che al MIDI 57 e opera, come un server, traducendo i dati ricevuti dagli stati precedenti in messaggi di protocollo standard “Open Sound Control†. I messaggi generati sono inviati al corrispondente ricevitore nel motore video 51 attraverso una connessione su rete ethernet e utilizzando un protocollo OSC. The OSC com 60 module is common to both audio 56 and MIDI 57 and operates, as a server, translating the data received from previous states into standard â € œOpen Sound Controlâ € protocol messages. The generated messages are sent to the corresponding receiver in the video engine 51 through an ethernet network connection and using an OSC protocol.
Il motore video 51 elabora la mappatura 61 dei pitch riconosciuti con riferimento alle forme e ai colori selezionati dell’esecuzione pittorica. The video engine 51 processes the mapping 61 of the recognized pitches with reference to the selected shapes and colors of the painting.
In questo contesto operativo il modulo OSC 60 riceve i messaggi (le note e le relative ampiezze) dal motore audio 50 per la mappatura 64. In this operating context, the OSC module 60 receives the messages (notes and relative amplitudes) from the audio engine 50 for mapping 64.
Nell’esplicare tale funzionalità à ̈ fondamentale il ruolo dell’interfaccia 62. Tale blocco opera per posizionare i parametri di configurazione del sistema video quali possono essere per esempio, una “stiratura†del video (sui punti chiave dagli angoli dello schermo) per adattare l’immagine proiettata alla superficie bersaglio e ai livelli di soglia del rumore. La deviazione sul video à ̈ eseguita mediante mappatura dell’immagine secondo una trama su superficie tridimensionale eseguendo i relativi allungamenti o allargamenti (accorciamenti o restringimenti). Nella mappatura pitch con riferimento all’immagine, la figura à ̈ divisa in diversi “mattoncini†per ciascuna nota dello strumento o campo di valore relativo alle note. Le sezioni dell’immagine mappate su diversi mattoncini (parti della figura), prevedono che l’ampiezza venga mappata con il corrispondente valore del canale alfa dell’immagine (opacità ). Il decadimento dell’ampiezza del suono pilota il decadimento della trasparenza della singola sezione. In carrying out this functionality, the role of the interface 62 is fundamental. This block operates to position the configuration parameters of the video system such as, for example, a `` stretch '' of the video (on the key points from the corners of the screen ) to adapt the projected image to the target surface and noise floor levels. The deviation on the video is performed by mapping the image according to a texture on a three-dimensional surface by performing the relative elongation or enlargement (shortening or narrowing). In the pitch mapping with reference to the image, the figure is divided into different â € œbricksâ € for each note of the instrument or value range relating to the notes. The sections of the image mapped on different bricks (parts of the figure), provide that the amplitude is mapped with the corresponding value of the alpha channel of the image (opacity). The decay of the amplitude of the sound drives the decay of the transparency of the single section.
L’immagine assemblata viene deviata e proiettata sulla superficie di una figura utilizzando un proiettore standard 63 (con tecnologia VGA oppure similare). Di seguito viene riportata la schematizzazione delle fasi che intervengono nel procedimento di elaborazione del segnale sonoro. Va tenuto conto in merito al principio dell’ADSR che quando uno strumento musicale di tipo acustico produce un suono, l’intensità del suono e il contenuto spettrale del suono cambiano nel tempo secondo modalità che variano da strumento a strumento. La fase di “attack†e di “decay†di un suono hanno un effetto fondamentale sulle caratteristiche timbriche dello strumento. Le tecniche che sintetizzano i suoni spesso impiegano un generatore di inviluppo che controlla i parametri del suono su ogni punto della sua relativa durata. Molto spesso questo va definito con il termine di inviluppo “ADSR†(attack decay sustain release) che può essere applicato al controllo dell’ampiezza totale, alle frequenze di filtraggio, eccetera. L’inviluppo può essere un circuito discreto oppure un modulo, oppure può essere implementato via software. Il contorno dell’inviluppo ADSR à ̈ determinato utilizzando quattro parametri che sono: The assembled image is deflected and projected onto the surface of a figure using a standard 63 projector (with VGA technology or similar). Below is a schematic diagram of the phases involved in the sound signal processing procedure. With regard to the ADSR principle, it should be taken into account that when an acoustic musical instrument produces a sound, the intensity of the sound and the spectral content of the sound change over time in ways that vary from instrument to instrument. The â € œattackâ € and â € œdecayâ € phase of a sound have a fundamental effect on the tonal characteristics of the instrument. Techniques that synthesize sounds often employ an envelope generator that controls the parameters of the sound at each point of its relative duration. Very often this should be defined with the term â € œADSRâ € (attack decay sustain release) envelope which can be applied to the control of the total amplitude, to the filtering frequencies, and so on. The envelope can be a discrete circuit or a module, or it can be implemented via software. The contour of the ADSR envelope is determined using four parameters which are:
tempo di attack à ̈ il tempo considerato per la partenza iniziale del livello dalla posizione 0 alla posizione di picco, a partire da quando viene premuto il primo tasto della tastiera; attack time is the time considered for the initial departure of the level from position 0 to the peak position, starting from when the first key of the keyboard is pressed;
il tempo di decay à ̈ il tempo considerato per il successivo abbassamento dal livello di attack al livello designato di sustain; the decay time is the time considered for the next lowering from the attack level to the designated sustain level;
il livello sustain à ̈ il livello durante la sequenza principale della durata del suono, fino a che non viene rilasciato il tasto della tastiera; the sustain level is the level during the main sequence of the duration of the sound, until the keyboard key is released;
il tempo di rilascio à ̈ il tempo considerato per il livello che va a decadere dal livello di sustain a 0 dopo che la chiave à ̈ rilasciata. the release time is the time considered for the level that decays from the sustain level to 0 after the key is released.
Una legenda operativa delle funzioni in gioco nella trasposizione Audio -> Image à ̈ la seguente: An operational legend of the functions involved in the Audio -> Image transposition is the following:
• FFT analysis: â € ¢ FFT analysis:
• Pitch: Max(X(l), ... ,X(k)), dove: â € ¢ Pitch: Max (X (l), ..., X (k)), where:
magnitude: √(real<2>+ imag<2>) magnitude: √ (real <2> + imag <2>)
• Frequency to midi note number: â € ¢ Frequency to midi note number:
m = 12*log2(fm/440 Hz) m = 12 * log2 (fm / 440 Hz)
• Midi note -> image mapping â € ¢ Midi notes -> image mapping
• Magnitude -> image alpha channel â € ¢ Magnitude -> image alpha channel
Midi -> Image Midi -> Image
• Midi notes -> images mappings â € ¢ Midi notes -> images mappings
• Applyed Envelopes -> images alpha channels â € ¢ Applyed Envelopes -> images alpha channels
Lo pseudocodice relativo alle fasi operative dell’audio engine per il rendering vero e proprio, che permetta la conversione per una sfumatura parametrica del suono in ingresso - da porre in relazione con il segnale visualizzabile dell’esecutore sia come intensità che come durata con la grandezza riportata sullo spirometro - con il formalismo procedurale tipico à ̈ come di seguito: The pseudocode relating to the operating phases of the audio engine for the actual rendering, which allows the conversion for a parametric nuance of the input sound - to be related to the displayable signal of the performer both as intensity and as duration with the quantity shown on the spirometer - with the typical procedural formalism is as follows:
Pseudocodice dell’audio engine Pseudocode of the audio engine
- Predisposizione Attack, Sustain, Decay per l’inviluppo dello strumento - Predisposition for Attack, Sustain, Decay for the envelope of the instrument
Creare/connettere il socket per il protocollo OSC Create / connect the socket for the OSC protocol
Predisporre la finestra e i parametri di lavoro FFT Prepare the window and the FFT working parameters
- Gestire l’input analogico audio - Manage the analog audio input
Prefiltraggio passabanda dell’ingresso analogico Bandpass pre-filtering of the analog input
Rilevare l’ampiezza istantanea dell’ingresso e generare l’interpolazione Analizzare a livello di spettro i dati e valutare i pitch attraverso procedura FFT - FFT Detect the instantaneous amplitude of the input and generate the interpolation Analyze the data at the spectrum level and evaluate the pitch using the FFT - FFT procedure
Analizzare una finestra attraverso picchi sinusoidali Analyze a window through sinusoidal peaks
Rilevare i pitch fondamentali Detect the fundamental pitches
- Comunicazioni dell’audio analogico per OSC (…) - Analog audio communications for OSC (â € ¦)
Convertire il pitch calcolato in numero di nota MIDI Convert the calculated pitch into a MIDI note number
Convertire l’ampiezza del volume e della durata della nota Convert the width of the note volume and duration
- Multiplexing dell’input MIDI (…) - Multiplexing of the MIDI input (â € ¦)
Ricevere e memorizzare fino a 10 comunicazioni dall’interfaccia di ingresso MIDI Ciclo per i = (0… 10) Receive and store up to 10 communications from the MIDI Cycle input interface for i = (0â € ¦ 10)
Applicare l’inviluppo alla nota-on/nota-off MIDI, Apply the envelope to the MIDI note-on / note-off,
Impacchettare il messaggio Package the message
- Inviare al motore di rendering l’OSC - Send the OSC to the rendering engine
Audio → inviare il pitch calcolato e l’ampiezza alla porta OSC Audio â † ’send the calculated pitch and amplitude to the OSC port
MIDI → iniiare i valori della nota ricevuta e gli inviluppi calcolati alla porta OSC. MIDI â † ’send the received note values and the calculated envelopes to the OSC port.
Similmente uno pseudocodice dell’algoritmo di rendering à ̈ il seguente: Similarly, a pseudocode of the rendering algorithm is the following:
init( ... ) init (...)
create projection surface create projection surface
create OSC protocol socket create OSC protocol socket
load settings load settings
init values init values
audio_mono( ... ) audio_mono (...)
receive pitch/amplitude values from audio engine receive pitch / amplitude values from audio engine
fase_0(.. ) phase_0 (..)
if(ReceivedNoteIndex==SelectedNoteIndex) if (ReceivedNoteIndex == SelectedNoteIndex)
draw image with alpha = note_amplitude draw image with alpha = note_amplitude
fase_l ( ... ){ phase_l (...) {
for(i=0 .. mapping.length) for (i = 0 .. mapping.length)
for(j=0 .. mapping(i] .length) for (j = 0 .. mapping (i] .length)
if(ReceivedNoteIndex==mapping(i] [j]) if (ReceivedNoteIndex == mapping (i] [j])
draw image with alpha = note_amplitude draw image with alpha = note_amplitude
fase_2( ... ) phase_2 (...)
for(i=0 .. mapping.length) for (i = 0 .. mapping.length)
for(j =0 .. mapping(i] .length) for (j = 0 .. mapping (i] .length)
if(ReceivedNoteIndex==mapping(i] [j]) if (ReceivedNoteIndex == mapping (i] [j])
draw image with alpha = note_amplitude draw image with alpha = note_amplitude
draw metronome draw metronome
fase_3 ( ... ) phase_3 (...)
for(i=0 .. tot_ticks) for (i = 0 .. tot_ticks)
if(current_tick==i) if (current_tick == i)
for(j=0 .. j <mapping(i] .length) for (j = 0 .. j <mapping (i] .length)
if(ReceivedNoteIndex ==mapping(i] [j]) if (ReceivedNoteIndex == mapping (i] [j])
draw image with alpha = note_amplitude draw metronome draw image with alpha = note_amplitude draw metronome
V - Avviamento all’associazione tra lettura delle note, sensazione della vibrazione interna e visualizzazione esterna con i colori e con le immagini. V - Initiation of the association between reading of notes, sensation of internal vibration and external visualization with colors and images.
Il metodo per insegnare sia a persone con normoacusia che a persone affette da ipoacusia deve procedere attraverso la sinergia delle parti citate in questo modo: la/le persone con normoacusia e/o le persone affette da ipoacusia vengono dotate di una partitura musicale con un motivo molto semplice o singole note rappresentate sul pentagramma a colori attraverso una codifica che determina una precisa relazione tra suono e colore. The method for teaching both people with normal hearing loss and people with hearing loss must proceed through the synergy of the parts mentioned in this way: the person (s) with normal hearing loss and / or people with hearing loss are provided with a musical score with a motif very simple or single notes represented on the staff in color through a coding that determines a precise relationship between sound and color.
Alla persona normoudente e/o alla persona affetta da ipoacusia viene data in dotazione una “diamonica†6 (strumento con tasti di pianoforte attivati con il fiato) i cui tasti sono colorati secondo lo stesso rapporto che governa le partiture. Viene installato e attivato un microfono ambientale 2 che capta i suoni e li trasporta all’interno del procedimento dei software appena descritti. The person with normal hearing and / or the person with hearing loss is given a â € œdiamonicaâ € 6 (instrument with piano keys activated with the breath) whose keys are colored according to the same ratio that governs the scores. An environmental microphone 2 is installed and activated, which picks up the sounds and transports them within the procedure of the software described above.
Attraverso l’aiuto di psicologi, logopedisti e assistenti LIS, la persona udente o la persona affetta da ipoacusia viene indotta a soffiare pigiando il tasto prescelto (e quindi suonare lo strumento in dotazione) facendo capire la relazione tra la percezione interna della vibrazione del suono e la vibrazione esterna del colore che vibra parametricamente attraverso il software. With the help of psychologists, speech therapists and LIS assistants, the hearing person or the person suffering from hearing loss is induced to blow by pressing the selected key (and then playing the instrument provided), making it clear the relationship between the internal perception of the vibration of the sound and external vibration of color that vibrates parametrically through the software.
Dal punto di vista più strettamente funzionale lo strumento a fiato viene dotato di un’imboccatura supplementare che in pratica si sovrappone a quella iniziale e devia una parte minima, ma significativa, del fiato emesso su una derivazione connessa a uno spirometro a valle. Quest’ultimo quindi va a operare in parallelo con lo strumento musicale vero e proprio, in quanto dà una misura quantitativa e qualitativa del proprio sforzo di emissione di fiato. From a more strictly functional point of view, the wind instrument is equipped with an additional mouthpiece which in practice overlaps the initial one and diverts a minimal, but significant, part of the breath emitted onto a branch connected to a downstream spirometer. The latter therefore operates in parallel with the actual musical instrument, as it gives a quantitative and qualitative measure of its own effort to emit breath.
In sostanza l’esecuzione musicale da parte di un soggetto udente o sordo si avvale di tre diversi parametri di misurazione/valutazione che si integrano uno con l’altro: In essence, the musical performance by a hearing or deaf subject makes use of three different measurement / evaluation parameters that integrate one with the other:
1- la visualizzazione dello spirometro 8 che disegna curve di flusso in rapporto al volume di aria espirata, ottenendo dei tracciati flusso-volume; 1- the display of the spirometer 8 which draws flow curves in relation to the volume of exhaled air, obtaining flow-volume traces;
2- la nota e la relativa immagine/colore visualizzati dal software in dotazione; 3- la vibrazione interna avvertita dall’esecutore che si confronta con i risultati visualizzati in 1- e 2 -. 2- the note and the relative image / color displayed by the supplied software; 3- the internal vibration felt by the performer who is confronted with the results displayed in 1- and 2 -.
L’imboccatura dello strumento a fiato 6 non à ̈ di fatto diversa da quella di uno strumento classico; essa ha però, a valle dell’appoggio della bocca, una derivazione che permette di inviare una frazione di aria a uno spirometro 8. Quest’ultimo, in relazione al fatto che il fiato immesso sia di una certa entità , e/o che l’immissione avvenga con una certa lentezza, morbidità ecc… darà origine a un suono per esempio lento, smorzato, soffocato (come si suol dire, per esempio con la tromba, un suono attappato). La stessa nota, Do, Re,… avrà una diversa intonazione (un diverso grafico) a seconda della tonalità imposta dall’esecutore con la propria emissione di fiato. The mouth of the wind instrument 6 is not in fact different from that of a classical instrument; however, downstream of the mouth support, it has a derivation that allows a fraction of air to be sent to a spirometer 8. The latter, in relation to the fact that the breath introduced is of a certain size, and / or that the input takes place with a certain slowness, softness, etc.… it will give rise to a sound, for example slow, muffled, suffocated (as they say, for example with the trumpet, a stuck sound). The same note, Do, Re, â € will have a different pitch (a different graph) depending on the pitch imposed by the performer with his own breath emission.
L’educazione del discente avviene sulla base di una combinazione di parametri e di eventi controprovantesi uno con l’altro e che forniscono a una persona affetta da ipoacusia nuovi orizzonti di conoscenza e autoconsapevolezza. The education of the learner takes place on the basis of a combination of parameters and events counter-proving one another and which provide a person with hearing loss with new horizons of knowledge and self-awareness.
La persona udente o affetta da ipoacusia può quindi visualizzare e percepire il suono simultaneamente arrivando a percepire le note da lui emesse. The hearing or hearing impaired person can therefore visualize and perceive the sound simultaneously and can perceive the notes emitted by him.
Come verrà illustrato in seguito in base alle Fig. 6-12, il metodo prevede inoltre attraverso un insegnante di musica qualificato l’insegnamento attraverso un metodo più avanzato dove il nome o la forma delle note à ̈ associato a forme geometriche creative fino ad arrivare a realizzare dei disegni da colorare come forma di espressione. As will be illustrated below on the basis of Fig. 6-12, the method also provides, through a qualified music teacher, teaching through a more advanced method where the name or shape of the notes is associated with creative geometric shapes up to get to make drawings to color as a form of expression.
Utilizzo di demo video di introduzione Using introductory video demos
Prima di iniziare le attività attraverso il metodo vengono proiettati dei video tutorial realizzati per poter spiegare il concetto di associazione tra suono e colore. Inizialmente si spiega il rapporto attraverso l’accostamento di elementi naturali al loro colore in relazione al proprio suono: nel primo demo ad esempio viene fatto visualizzare un arcobaleno che diviene pentagramma, oppure viene visualizzata la foto di un mare che iniziando a muoversi in video da grigio prende il suo colore insieme al suo suono, un cuore che fa pulsare il suo colore rosso secondo il battito e così via. Before starting the activities through the method, video tutorials are projected to explain the concept of association between sound and color. Initially, the relationship is explained through the combination of natural elements with their color in relation to their sound: in the first demo, for example, a rainbow is shown that becomes a pentagram, or a photo of a sea is displayed which begins to move in video from gray it takes its color together with its sound, a heart that makes its red color pulsate according to the beat and so on.
Di seguito si visualizza l’iter dell’esercizio e tutto quanto occorre affinché l’utente possa realizzare la sua percezione. The following shows the iter of the exercise and everything necessary for the user to realize his perception.
Codifiche e interazioni di sistemi di visualizzazione Coding and interactions of visualization systems
Uno dei fattori chiave della tecnica secondo la presente invenzione à ̈ la trasposizione con visualizzazione grafica del suono in colore a seconda del grado di difficoltà dell’associazione. One of the key factors of the technique according to the present invention is the transposition with graphic visualization of the sound in color according to the degree of difficulty of the association.
Il primo approccio di visualizzazione realizzato, appoggiato da studi psicologici e logopedistici, à ̈ stato proprio quello di adottare il pentagramma a colori 81 come unità base di partenza in quanto, nella sua semplicità e introdotto da video tutorial che rivelano le associazioni del suono al colore (come descritto precedentemente), esprime al meglio il concetto di codifica dei due emisferi. Un ulteriore vantaggio viene dal fatto che l’immagine dello spartito, anche se indirettamente non utilizzata in prima persona, à ̈ comunque presente in quanto percepita visivamente e quindi anche memorizzata nella mente di un udente e/o sordo in chiave di quella funzione, facilitando così l’introduzione alla riduzione grafica del concetto di musica. The first visualization approach implemented, supported by psychological and speech therapy studies, was precisely that of adopting the color staff 81 as a starting base unit as, in its simplicity and introduced by video tutorials that reveal the associations of sound to color (as previously described), best expresses the concept of coding of the two hemispheres. A further advantage comes from the fact that the image of the score, even if indirectly not used in the first person, is still present as it is visually perceived and therefore also memorized in the mind of a hearing and / or deaf person in the key of that function, thus facilitating the introduction to the graphic reduction of the concept of music.
A questa prima soluzione fa seguito una seconda da affiancare alla prima che consiste nel riportare le note colorate previste nell’esercizio su pentagramma in geometrie semplici che attraverso la loro intersezione coprono visivamente tutto lo spettro sonoro di un’ottava musicale, e successivamente all’interno di spazi pittorici di un’immagine (vedi mapping) equivalente per numero e per associazione del colore-nota ad oggetti reali. Ogni visualizzazione deve avere una partitura a se. Per cui, come riportato in Fig 6 nel caso del pentagramma 81’, le note saranno espresse attraverso il sistema canonico a colori: nel caso delle geometrie 82’ e delle immagini 83’ verranno create delle partiture speciali da abbinare alla visualizzazione, con il relativo spartito pentagramma base 81†, spartito geometrie corrispondente 82†e spartito immagine 83†corrispondente. Si avrà così una didattica che, come parte fondamentale del metodo, prevede le seguenti fasi: This first solution is followed by a second one to be placed side by side with the first which consists in reproducing the colored notes provided in the exercise on the staff in simple geometries which through their intersection visually cover the entire sound spectrum of a musical octave, and subsequently to the Interior of pictorial spaces of an image (see mapping) equivalent by number and by association of the color-note to real objects. Each view must have a score of its own. Therefore, as shown in Fig 6 in the case of the staff 81â € ™, the notes will be expressed through the canonical color system: in the case of the geometries 82â € ™ and the images 83â € ™ special scores will be created to be combined with the visualization, with its basic staff score 81â €, corresponding geometries score 82â € and corresponding image score 83â €. In this way there will be a didactic which, as a fundamental part of the method, includes the following phases:
a) Creazione di spartiti e visualizzazione di note colorate dinamiche su pentagramma; a) Creation of scores and visualization of dynamic colored notes on the staff;
b) Creazione di spartiti e visualizzazione con codifica suono/colore/grafica con intersezione geometrie base; b) Creation of scores and visualization with sound / color / graphic coding with basic geometries intersection;
c) Creazione di immagini dinamiche e spartiti d’immagine. c) Creation of dynamic images and image scores.
Nella Figura 7 sono riportati una serie di pentagrammi con i tratteggi corrispondenti ai colori relativi che fanno riferimento alla nota associata per una visualizzazione codifica, di tipo dinamico, tra suono-colore note/pentagramma. Figure 7 shows a series of staves with hatches corresponding to the relative colors that refer to the associated note for a dynamic coding display between sound-color notes / staff.
Codifica suono colore geometrie Geometry color sound coding
In questa codifica - Fig. 8 - sono state utilizzate figure geometriche base come il triangolo, il cerchio ed il quadrato rapportate ai colori e alle note principali. Da esse derivano figure subordinate nate dalla loro intersezione e che, a loro volta, rappresentano i colori/nota del rapporto esplicato in precedenza. La rappresentazione con geometrie serve per condurre più naturalmente il fruitore del metodo, sia esso sordo o udente, dall’apprendimento di nozioni musicali attraverso la colorazione delle note/spartito dinamiche a quella delle rappresentazioni di immagini dinamiche sonore, meta fondamentale per l’interazione nell’esecuzione tra più utenti (sordi o udenti). In this coding - Fig. 8 - basic geometric figures such as the triangle, the circle and the square have been used in relation to the main colors and notes. From them derive subordinate figures born from their intersection and which, in turn, represent the colors / note of the relationship explained previously. The representation with geometries serves to lead the user of the method more naturally, whether deaf or hearing, from the learning of musical notions through the coloring of dynamic notes / score to that of the representations of dynamic sound images, a fundamental goal for the interaction in the performance between multiple users (deaf or hearing).
Lo spartito delle geometrie a colori dinamiche prevede la codifica che segue. Nella figura à ̈ riportata la rappresentazione relativa ad una realizzazione preferita della corrispondenza e del rapporto note e figure base The score of dynamic color geometries includes the following coding. The figure shows the representation relating to a preferred embodiment of the correspondence and relationship between notes and basic figures
Triangolo = La = Verde Triangle = La = Green
Cerchio = Do = Blu Circle = Do = Blue
Quadrato = Fa = Rosso Square = Fa = Red
Re = cerchio con quadrato inscritto = viola Re = circle with square inscribed = purple
Mi= quadrato con cerchio inscritto = indaco Mi = square with inscribed circle = indigo
Sol = triangolo con cerchio iscritto = giallo G = triangle with inscribed circle = yellow
Si = cerchio con triangolo iscritto = celeste Si = circle with inscribed triangle = celestial
Per il metodo di affiancamento delle visualizzazioni, così come riportato in Fig. 9 sono previste le tre fasi seguenti: For the method of tiling the views, as shown in Fig. 9, the following three phases are envisaged:
A- Affiancamento visualizzazione di note colorate dinamiche con visualizzazione geometrie colorate dinamiche. A- Side by side visualization of dynamic colored notes with visualization of dynamic colored geometries.
B- Affiancamento visualizzazione di geometrie colorate dinamiche e visualizzazione immagini dinamiche. B- Side by side visualization of dynamic colored geometries and visualization of dynamic images.
C- Affiancamento visualizzazione di note colorate dinamiche con visualizzazione immagini dinamiche. C- Side by side visualization of dynamic colored notes with visualization of dynamic images.
La fase finale della procedura del metodo per insegnare alle persone con normoacusia e/o alle persone affette da ipoacusia, a percepire il suono e a suonare strumenti musicali prevede la creazione di un’unica immagine dinamica per far suonare contemporaneamente più persone sia udenti sia affette da ipoacusia. The final stage of the method procedure for teaching people with normal hearing loss and / or people with hearing loss to perceive sound and play musical instruments involves the creation of a single dynamic image to make several hearing and affected people play at the same time. from hearing loss.
Il metodo prevede quindi, attraverso la sua fase finale, di arrivare ad un’unica immagine che consenta di far visualizzare e porre in relazione più espressioni musicali tra di esse, proprio attraverso l’intreccio dei singoli disegni proposti ad ogni utente. The method therefore provides, through its final phase, to arrive at a single image that allows multiple musical expressions to be viewed and related to each other, precisely through the intertwining of individual designs proposed to each user.
L’immagine diventa quindi il metodo avanzato con cui poter far incontrare visivamente più persone, siano esse normoudenti che affette da ipoacusia. The image thus becomes the advanced method with which to visually bring together more people, whether they are hearing impaired or suffering from hearing loss.
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000506A ITRM20120506A1 (en) | 2012-10-19 | 2012-10-19 | METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000506A ITRM20120506A1 (en) | 2012-10-19 | 2012-10-19 | METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ITRM20120506A1 true ITRM20120506A1 (en) | 2014-04-20 |
Family
ID=47425254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT000506A ITRM20120506A1 (en) | 2012-10-19 | 2012-10-19 | METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | ITRM20120506A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA786150A (en) * | 1968-05-28 | Jenny Hans | Apparatus for visualizing acoustic vibrations | |
| US3952150A (en) * | 1973-07-19 | 1976-04-20 | Electricite De France (Service National) | Visualization of vibrations, deformations or level lines of a three-dimensional object |
| US6046724A (en) * | 1995-06-08 | 2000-04-04 | Hvass; Claus | Method and apparatus for conversion of sound signals into light |
| US6225545B1 (en) * | 1999-03-23 | 2001-05-01 | Yamaha Corporation | Musical image display apparatus and method storage medium therefor |
-
2012
- 2012-10-19 IT IT000506A patent/ITRM20120506A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA786150A (en) * | 1968-05-28 | Jenny Hans | Apparatus for visualizing acoustic vibrations | |
| US3952150A (en) * | 1973-07-19 | 1976-04-20 | Electricite De France (Service National) | Visualization of vibrations, deformations or level lines of a three-dimensional object |
| US6046724A (en) * | 1995-06-08 | 2000-04-04 | Hvass; Claus | Method and apparatus for conversion of sound signals into light |
| US6225545B1 (en) * | 1999-03-23 | 2001-05-01 | Yamaha Corporation | Musical image display apparatus and method storage medium therefor |
Non-Patent Citations (1)
| Title |
|---|
| TARA MATTHEWS , JANETTE FONG , F. WAI-LING HO-CHING & JENNIFER MANKOFF: "Evaluating non-speech sound visualizations for the deaf", 31 August 2006 (2006-08-31), XP002691879, Retrieved from the Internet <URL:www.tandfonline.com/doi/pdf/10.1080/01449290600636488> [retrieved on 20130208] * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Colton et al. | Elements of voice quality: perceptual, acoustic, and physiologic aspects | |
| US7956273B2 (en) | Apparatus and method for visualizing music and other sounds | |
| US9552741B2 (en) | Systems and methods for quantifying a sound into dynamic pitch-based graphs | |
| Grey | AN EXPLORATION OF MUSICAL TIMBRE USING COMPUTER-BASED TECHNIQUES FOR ANALYSIS, SYNTHESIS AND PERCEPTUAL SCALING. | |
| WO2001088905A1 (en) | Method and apparatus for displaying sound graph | |
| Müller et al. | Lyric or dramatic-vibrato analysis for voice type classification in professional opera singers | |
| Liu et al. | Research on the Correlation Between the Timbre Attributes of Musical Sound and Visual Color | |
| Liang | Clarinet Multiphonics: A Catalog and Analysis of Their Production Strategies | |
| Mannone | Musical Gestures between Scores and Acoustics: A Creative Application to Orchestra | |
| Mazzola et al. | Basic Music Technology | |
| ITRM20120506A1 (en) | METHOD FOR TEACHING MUSIC TO PEOPLE DEAF AND HEARING. | |
| Howard | Technology for real-time visual feedback in singing lessons | |
| KR102060228B1 (en) | A System Providing Vocal Training Service Based On Subtitles | |
| Harrison | An exploration into the uses of extended techniques in works for the saxophone, and how their application may be informed by a contextual understanding of the works themselves | |
| Fineberg | Sculpting sound. An introduction to the spectral movement: Its ideas, techniques and music | |
| KR20110121049A (en) | System and method for creating a sound source using images | |
| Straebel | The sonification metaphor in instrumental music and sonification's romantic implications | |
| Howard | The vocal tract organ and the vox humana organ stop | |
| Daffern | Distinguishing characteristics of vocal techniques in the specialist performance of early music | |
| Vickery | Notational semantics in music visualization and notation | |
| Klemenc et al. | Educational possibilities of the project Colour visualization of music | |
| Buzás | Testing the music reading skills of 10-to 14-year-old students | |
| RU2406162C1 (en) | Training guitar for vocalists-amateurs | |
| KR20100100330A (en) | System and method for creating a sound source using images | |
| Gregory | Vocal Acoustics and the Messa Di Voce |