IT201800009607A1

IT201800009607A1 - System and method of help for users with communication disabilities

Info

Publication number: IT201800009607A1
Application number: IT102018000009607A
Authority: IT
Inventors: Andrea Previato
Original assignee: Andrea Previato
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2020-04-19
Also published as: WO2020079655A1

Description

DESCRIZIONE dell'Invenzione Industriale dal titolo: “Sistema e metodo di ausilio ad utenti con disabilità comunicativa” DESCRIPTION of the Industrial Invention entitled: "System and method of assisting users with communication disabilities"

DESCRIZIONE DESCRIPTION

La presente invenzione ha per oggetto un sistema di ausilio ad utenti con disabilità comunicativa. The present invention relates to an aid system for users with communicative disabilities.

Il sistema comprende mezzi di acquisizione di segnali audio di ingresso emessi da almeno uno dei detti utenti e mezzi di riproduzione di segnali audio di uscita. The system comprises means for acquiring input audio signals emitted by at least one of said users and means for reproducing audio output signals.

La presente invenzione si rivolge in particolare ad utenti che presentano disabilità vocali comunicative, che non consentono loro di esprimersi in maniera corretta verso eventuali interlocutori. The present invention is aimed in particular at users who have vocal communication disabilities, which do not allow them to express themselves correctly towards any interlocutors.

Generalmente tali utenti comunicano in maniera scorretta, attraverso parole distorte o incomplete, o addirittura attraverso sibili e suoni che risultano incomprensibili. Generally such users communicate incorrectly, through distorted or incomplete words, or even through hisses and sounds that are incomprehensible.

Risulta evidente come tale disabilità rappresenti un ostacolo difficilmente superabile per la crescita e i rapporti sociali degli utenti che presentano queste problematiche. It is evident that this disability represents an obstacle that is difficult to overcome for the growth and social relationships of users who present these problems.

Tale disabilità è ulteriormente aggravata dal progredire della moderna tecnologia, che sempre più spesso prevede software, dispositivi, come smartphone, tanlet, pc o simili che presentano comandi ad attivazione vocale. This disability is further aggravated by the progress of modern technology, which increasingly involves software, devices, such as smartphones, tanlets, PCs or the like that have voice-activated commands.

Allo stato dell’arte, l’unica soluzione è la presenza di persone che si affiancano a tali utenti e che cercano di interpretare il loro linguaggio basandosi sull’esperienza, sulla conoscenza degli utenti disabili e sulla gestualità di questi ultimi. At the state of the art, the only solution is the presence of people who work alongside these users and who try to interpret their language based on the experience, knowledge of disabled users and their gestures.

Tale soluzione tuttavia è particolarmente inefficiente. However, this solution is particularly inefficient.

Innanzitutto il disabile non è indipendente nella vita di tutti i giorni e ha sempre la necessità di avere una persona al suo fianco e, per i disabili che non possono fare affidamento a persone vicine, tale soluzione risulta anche particolarmente costosa, richiedendo il pagamento di persone specializzate e logopedisti che aiutino il disabile quotidianamente. First of all, the disabled person is not independent in everyday life and always needs to have a person by his side and, for the disabled who cannot rely on close people, this solution is also particularly expensive, requiring the payment of people specialized and speech therapists who help the disabled on a daily basis.

Esiste dunque una necessità non soddisfatta dai sistemi noti allo stato dell’arte di realizzare un sistema di ausilio ai disabili che risolva gli svantaggi sopra esposti. There is therefore a need not met by the systems known to the state of the art to create an aid system for the disabled that solves the disadvantages described above.

Scopo della presente domanda di brevetto è dunque quello di consentire ad una persona portatrice di forme di disabilità vocale comunicativa, di qualsiasi livello, di poter trasformare qualsiasi delle sue parole, dei propri messaggi vocali, in parole perfettamente comprensibili e corrette, e permettere a queste persone disabili, di potere anch’esse parlare e comunicare correttamente con chiunque, pur continuando ad utilizzare le proprie espressioni e parole scorrette e di difficile comprensione, migliorandone la qualità della vita. The purpose of this patent application is therefore to allow a person with forms of communicative vocal disability, of any level, to be able to transform any of his words, his own vocal messages, into perfectly understandable and correct words, and allow them disabled people, who can also speak and communicate correctly with anyone, while continuing to use their own incorrect and difficult to understand expressions and words, improving their quality of life.

La presente invenzione consegue gli scopi di cui sopra, realizzando un sistema come descritto in precedenza, in cui sono presenti mezzi di elaborazione dei segnali audio di ingresso, configurati in modo tale da associare ad ogni segnale audio di ingresso una o più parole di senso compiuto. The present invention achieves the above purposes, realizing a system as previously described, in which there are means for processing the input audio signals, configured in such a way as to associate one or more complete meaning words with each input audio signal. .

Inoltre i mezzi di elaborazione comprendendo almeno una unità di memorizzazione all’interno della quale unità sono presenti database contenenti tabelle associative dei segnali audio di ingresso a parole di senso compito. Furthermore, the processing means comprising at least one storage unit within which unit there are databases containing associative tables of the input audio signals to words of meaningful task.

Infine i mezzi di elaborazione e/o i mezzi di riproduzione comprendono mezzi di generazione di un segnale audio di uscita relativo alle parole di senso compiuto. Finally, the processing means and / or the reproduction means comprise means for generating an audio output signal relating to the words of complete meaning.

Risulta evidente come il sistema oggetto della presente invenzione realizzi un sistema di riconoscimento vocale, denominato “Anch’io”, che consente ad utenti con disabilità vocale di potersi esprimere correttamente. It is clear that the system object of the present invention realizes a voice recognition system, called "Me too", which allows users with vocal disabilities to be able to express themselves correctly.

Il sistema infatti integra un sistema del tipo “speaker dependant” che elabora i segnali audio di ingresso al fine di ottenere l’associazione a parole di senso compiuto, preferibilmente in formato testuale. In fact, the system integrates a "speaker dependent" type system that processes the audio input signals in order to obtain the association with meaningful words, preferably in text format.

Una volta effettuata l’associazione, un sistema di riconoscimento di testo, come ad esempio un sintetizzatore vocale del tipo “Text To Speech (TTS)” o simili, trasforma le parole di senso compiuto in una parola fonetica (audio) corretta. Once the association has been made, a text recognition system, such as a speech synthesizer such as "Text To Speech (TTS)" or similar, transforms meaningful words into a correct phonetic (audio) word.

Come risulterà dall’illustrazione di alcuni esempi esecutivi tale parola potrà essere sonorizzata dai mezzi di riproduzione che possono ad esempio comprendere altoparlanti. As will be apparent from the illustration of some executive examples, this word may be voiced by the reproduction means which may for example include loudspeakers.

L’associazione tra i segnali audio di ingresso e le parole di senso compiuto, può ad esempio avvenire secondo predeterminati schemi e algoritmi che vengono realizzati sulla base degli utenti e di operatori esperti. The association between the audio input signals and full meaning words can, for example, take place according to predetermined schemes and algorithms that are created on the basis of users and expert operators.

Vantaggiosamente tuttavia, il sistema oggetto della presente invenzione prevede una personalizzazione delle tabelle associative per ogni utente che utilizza tale sistema. Advantageously, however, the system object of the present invention provides for a personalization of the associative tables for each user who uses this system.

Infatti secondo una forma esecutiva preferita, l’unità di elaborazione comprende una interfaccia utente, che prevede una unità di acquisizione di segnali audio e mezzi di associazione di detti segnali audio a parole di senso compiuto. In fact, according to a preferred embodiment, the processing unit comprises a user interface, which provides a unit for acquiring audio signals and means for associating said audio signals with complete words.

Tale configurazione consente la realizzazione di database specifici per ogni utente, in cui sono presenti le associazioni tra i propri suoni e le parole di senso compiuto. This configuration allows the creation of specific databases for each user, in which there are associations between one's own sounds and words of complete meaning.

Questa variante esecutiva ha una duplice valenza, nonché aspetti particolarmente vantaggiosi. This executive variant has a double value, as well as particularly advantageous aspects.

Innanzitutto consente ad un utente di tarare sulla base della sua disabilità la riproduzione di segnali di uscita audio che corrispondano esattamente a ciò che voleva esprimere, garantendo una elevata personalizzazione del sistema e soddisfazione dell’utente. First of all, it allows a user to calibrate on the basis of his disability the reproduction of audio output signals that correspond exactly to what he wanted to express, ensuring high system customization and user satisfaction.

Secondariamente si ottengono database e tabelle associative che possono essere salvate e riutilizzate per utenti che presentano disabilità vocali simili a quelle dell’utente che ha realizzato tali tabelle associative. Secondly, databases and associative tables are obtained that can be saved and reused for users with vocal disabilities similar to those of the user who created these associative tables.

Inoltre, poiché le disabilità vocali cambiano nel tempo, tali database o tabelle associative possono essere modificate sulla base dei cambiamenti della disabilità e consentono anche l’associazione di una unica parola di senso compiuto a uno o più segnali audio di ingresso, facilitando l’utilizzo del sistema oggetto della presente invenzione, nonché migliorando la qualità della vita del disabile. Furthermore, since speech disabilities change over time, these databases or associative tables can be modified based on the changes in the disability and also allow the association of a single meaningful word to one or more audio input signals, facilitating use. of the system object of the present invention, as well as improving the quality of life of the disabled.

Oltre alla disabilità che può variare nel tempo, possono presentarsi eventi contingenti che causano la variazione dei segnali audio emessi dal disabile, segnali audio che tuttavia sono volti ad esprimere la medesima parola, ad esempio stanchezza, agitazione, emozione, deperimento fisico, sono tutti fattori che possono causare variazione nell’espressione del disabile. In addition to the disability which can vary over time, contingent events may occur that cause the variation of the audio signals emitted by the disabled person, audio signals which however are aimed at expressing the same word, for example tiredness, agitation, emotion, physical deterioration, are all factors which can cause variation in the expression of the disabled person.

Per questo motivo associare più di un suono ad una unica parola di senso compiuto può essere un aspetto particolarmente vantaggioso. For this reason, associating more than one sound with a single word of complete meaning can be a particularly advantageous aspect.

La persona che assiste il disabile inoltre potrà modificare le tabelle associative o i database, qualora si accorgesse di un cambiamento nell’esprimersi del disabile. The person assisting the disabled person will also be able to modify the association tables or databases, if he notices a change in the expression of the disabled person.

Infine l’attenta analisi di tali database e tabelle associative memorizzate all’interno dei mezzi di elaborazione appartenenti al sistema oggetto della presente invenzione consente un controllo sulla correttezza delle parole associate ai diversi suoni. Finally, the careful analysis of these databases and associative tables stored within the processing means belonging to the system object of the present invention allows for a check on the correctness of the words associated with the different sounds.

Risulta evidente come il sistema speaker dependant contenga nel database la possibilità di costruire un vocabolario vocale personalizzato dall’utente (quindi anche vocalmente non corretto), collegato ad un vocabolario grammaticale contenente parole di senso compiuto in formato di testo, già inserito dal costruttore, mentre il sistema del tipo “TTS”, contiene nel proprio database, un vocabolario vocale corretto, non personalizzabile dall’utente, ma bensì già standardizzato dal costruttore, collegato sempre ad un vocabolario grammaticale contenente parole di senso compiuto in formato di testo, anch’esso inserito dal costruttore. It is evident that the speaker dependant system contains in the database the possibility of building a vocabulary customized by the user (therefore also vocally incorrect), connected to a grammatical vocabulary containing meaningful words in text format, already entered by the manufacturer, while the "TTS" type system contains in its database a correct vocabulary, not customizable by the user, but already standardized by the manufacturer, always connected to a grammar dictionary containing meaningful words in text format, also entered by the manufacturer.

Secondo una possibile forma attuativa del sistema oggetto della presente invenzione, è possibile unire in un unico database il database di parole di senso compito in formato di testo, che comunichi, da un lato con i segnali audio in ingresso per associare tali parole ai suoni emessi dal disabile e, dall’altro con il sistema TTS in modo da associare tali parole di senso compiuto a fonemi anch’essi di senso compiuto. According to a possible embodiment of the system object of the present invention, it is possible to combine in a single database the database of words with a full meaning in text format, which communicates, on the one hand, with the incoming audio signals to associate these words with the sounds emitted. by the disabled person and, on the other hand, with the TTS system in order to associate these full meaning words with complete meaning phonemes.

Si specifica inoltre che il sistema oggetto della presente invenzione può prevedere i vocaboli di diverse lingue e preferibilmente, l’utente potrà scegliere la lingua di sua appartenenza. It is also specified that the system object of the present invention can foresee the words of different languages and preferably, the user can choose the language he belongs to.

La personalizzazione del database da parte dell’utente, consente di inserire all’interno di quest’ultimo anche frasi tipiche dell’utente, modi di dire, soprannomi, ecc., che difficilmente sarebbero riconoscibili, derivando direttamente ed esclusivamente dall’utente. The customization of the database by the user, allows you to insert within the latter also typical user phrases, idioms, nicknames, etc., which would hardly be recognizable, deriving directly and exclusively from the user.

Al fine di migliorare le caratteristiche di portabilità del sistema oggetto della presente invenzione è possibile prevedere che i mezzi di acquisizione, i mezzi di elaborazione e i mezzi di riproduzione siano inseriti all’interno di un dispositivo d’utente. In order to improve the portability characteristics of the system object of the present invention, it is possible to provide that the acquisition means, the processing means and the reproduction means are inserted within a user device.

Si realizza dunque un vero e proprio registratore/traduttore per disabili che risulta facilmente portabile ed utilizzabile. Therefore, a real recorder / translator for the disabled is created which is easily portable and usable.

Inoltre tale dispositivo presenta preferibilmente mezzi di comunicazione ad una o più unità operative. Furthermore, this device preferably has means of communication to one or more operating units.

Ad esempio il dispositivo d’utente può essere collegato a smartphone, tablet o simili per consentire l’attivazione vocale di tali dispositivi o anche semplicemente per poter effettuare una chiamata in modo che l’interlocutore comprenda perfettamente il disabile. For example, the user's device can be connected to smartphones, tablets or the like to allow voice activation of these devices or even simply to be able to make a call so that the interlocutor fully understands the disabled person.

Inoltre il dispositivo d’utente potrà presentare una unità di trasmissione/ricezione atta alla trasmissione/ricezione in modalità senza fili di dati ad una o più unità remote. In addition, the user device may present a transmission / reception unit suitable for wireless transmission / reception of data to one or more remote units.

Tale configurazione può consentire ad esempio l’aggiornamento dei database o dei programmi software caricati all’interno dell’unità di memorizzazione. This configuration can allow, for example, the updating of databases or software programs loaded into the storage unit.

Visti gli aspetti vantaggiosi del sistema descritto in precedenza, la presente invenzione ha per oggetto anche un metodo di ausilio ad utenti con disabilità comunicativa, comprendente i seguenti passi: Given the advantageous aspects of the system described above, the present invention also relates to a method of assisting users with communication disabilities, comprising the following steps:

a) acquisizione di segnali audio di ingresso emessi da almeno uno dei detti utenti, a) acquisition of audio input signals emitted by at least one of said users,

c) riproduzione di segnali audio di uscita. c) reproduction of audio output signals.

In particolare tra il passo di acquisizione e il passo di riproduzione è previsto un passo b) relativo alla elaborazione dei segnali audio di ingresso. In particular, a step b) relating to the processing of the input audio signals is provided between the acquisition step and the reproduction step.

Tale passo di elaborazione prevede di effettuare una associazione di ogni segnale audio di ingresso ad almeno una parola di senso compiuto, dopodiché è previsto di effettuare una generazione di un segnale audio di uscita relativo alle parole di senso compiuto. This processing step provides for an association of each input audio signal to at least one full meaning word, after which a generation of an output audio signal relating to the complete meaning words is provided.

Come descritto in maniera precedente, i segnali audio di ingresso relativi a parole pronunciate in maniera scorretta o a suoni poco comprensibili vengono elaborati per poter ottenere parole di senso compiuto, preferibilmente in formato di testo scritto. As described above, the audio input signals relating to words pronounced incorrectly or to hardly understandable sounds are processed in order to obtain complete meaningful words, preferably in written text format.

Tale testo scritto viene poi elaborato al fine di emettere suoni che si basino sulle parole di senso compiuto per avere come risultato discorsi di senso compiuto. This written text is then processed in order to emit sounds that are based on the words of complete meaning to have as a result speeches of complete meaning.

Il passo di associazione è vantaggiosamente realizzato attraverso tabelle associative e database, la cui generazione è prevista antecedentemente all’acquisizione dei segnali audio dell’utente. The association step is advantageously achieved through associative tables and databases, the generation of which is foreseen prior to the acquisition of the user's audio signals.

Inoltre tali tabelle sono preferibilmente personalizzate per ogni utente. Furthermore, these tables are preferably customized for each user.

Infine secondo una forma attuativa del metodo oggetto della presente invenzione è previsto un passo d) relativo alla generazione di segnali di comando per il comando di una o più unità operative. Finally, according to an embodiment of the method object of the present invention, a step d) is provided relating to the generation of command signals for controlling one or more operating units.

Con il termine “segnali di comando” si può intendere la vera e propria generazione di segnali per attivare dispositivi ad attivazione vocale, o ad esempio anche la generazione di parole che vengono utilizzate durante una comune conversazione telefonica. With the term "command signals" we can mean the actual generation of signals to activate voice-activated devices, or for example also the generation of words that are used during a common telephone conversation.

Queste ed altre caratteristiche e vantaggi della presente invenzione risulteranno più chiaramente dalla seguente descrizione di alcuni esempi esecutivi illustrati nei disegni allegati in cui: These and other characteristics and advantages of the present invention will become clearer from the following description of some executive examples illustrated in the attached drawings in which:

le figura 1 illustra uno schema di principio, attraverso blocchi funzionali, di una forma esecutiva preferita del sistema oggetto della presente invenzione; Figure 1 illustrates a basic diagram, through functional blocks, of a preferred embodiment of the system object of the present invention;

la figura 2 illustra un diagramma di flusso atto a descrivere una possibile forma esecutiva del metodo oggetto della presente invenzione. Figure 2 illustrates a flow diagram suitable for describing a possible embodiment of the method object of the present invention.

Si specifica che le figure allegate alla presente domanda di brevetto riportano alcune forme esecutive del sistema e del metodo di ausilio ai disabili oggetto della presente invenzione per meglio comprenderne i vantaggi e le caratteristiche. It is specified that the figures attached to the present patent application show some executive forms of the system and method of assisting the disabled, object of the present invention, in order to better understand its advantages and characteristics.

Tali forme esecutive sono dunque da intendersi a puro scopo illustrativo e non limitativo al concetto inventivo della presente invenzione, ossia quello di consentire ad un disabile con difetti vocali di esprimersi in maniera corretta con uno o più interlocutori. These embodiments are therefore to be understood purely for illustrative purposes and not limitative to the inventive concept of the present invention, ie that of allowing a disabled person with vocal defects to express himself correctly with one or more interlocutors.

Con particolare riferimento alla figura 1, il sistema di ausilio ad utenti disabili è raffigurato in un unico dispositivo d’utente 1, che presenta mezzi di acquisizione 10 di segnali audio di ingresso 21 emessi da un utente disabile 2 e mezzi di riproduzione 11 di segnali audio di uscita 3. With particular reference to Figure 1, the system for assisting disabled users is shown in a single user device 1, which has means 10 for acquiring audio input signals 21 emitted by a disabled user 2 and means for reproducing signals 11 audio output 3.

I mezzi di acquisizione 10 possono ad esempio essere costituiti da un dispositivo del tipo microfono o simili, come nei noti registratori vocali, e sono atti ad acquisire e memorizzare il segnale audio di ingresso 21. The acquisition means 10 can for example consist of a device of the microphone type or the like, as in known voice recorders, and are suitable for acquiring and storing the audio input signal 21.

I mezzi di riproduzione 11 sono atti a generare un segnale audio di uscita 3 e possono ad esempio essere costituiti da dispositivi del tipo altoparlanti, anch’essi previsti nei comuni registratori vocali. The reproduction means 11 are adapted to generate an audio output signal 3 and can for example consist of devices of the speaker type, also provided in common voice recorders.

I segnali audio di ingresso 21 sono costituiti da parole non corrette o da suoni o sibili incomprensibili ad un interlocutore dell’utente 2. The audio input signals 21 consist of incorrect words or sounds or hisses that are incomprehensible to an interlocutor of the user 2.

Per questo motivo il dispositivo 1 comprende mezzi di elaborazione 12 che comunicano con i mezzi di acquisizione 10 e con i mezzi di riproduzione 11. For this reason the device 1 comprises processing means 12 which communicate with the acquisition means 10 and with the reproduction means 11.

I mezzi di elaborazione 12 comprendono almeno una unità di memorizzazione 13 che presenta database contenenti tabelle associative dei segnali audio di ingresso a parole di senso compito. The processing means 12 comprise at least one storage unit 13 which presents databases containing associative tables of the audio input signals to words of task sense.

I mezzi di elaborazione 12 sono dunque configurati in modo tale da associare ad ogni segnale audio di ingresso 21 una o più parole di senso compiuto. The processing means 12 are therefore configured in such a way as to associate one or more meaningful words with each audio input signal 21.

Come verrà chiaramente illustrato in figura 2 relativamente ad una forma esecutiva del metodo oggetto della presente invenzione, i segnali audio di ingresso vengono acquisiti dai mezzi di acquisizione 10 e memorizzati, o all’interno dell’unità di memorizzazione 13 o all’interno dei mezzi di acquisizione stessi. As will be clearly illustrated in Figure 2 with regard to an embodiment of the method object of the present invention, the audio input signals are acquired by the acquisition means 10 and stored, either inside the storage unit 13 or inside the means acquisition themselves.

I mezzi di elaborazione 12 poi ricercano all’interno dell’unità di memorizzazione 13 a quale parola di senso compiuto è associato il segnale audio di ingresso 21 registrato. The processing means 12 then search inside the storage unit 13 which meaningful word is associated with the recorded audio input signal 21.

Una volta trovata la parola di senso compiuto, i mezzi di elaborazione 12 comunicano tale parola ai mezzi di riproduzione 11, che presentano mezzi di generazione del segnale audio di uscita 3 relativo alle parole di senso compiuto. Once the complete meaning word has been found, the processing means 12 communicate this word to the reproduction means 11, which have means for generating the output audio signal 3 relating to the complete meaning words.

Il riconoscimento e l’individuazione della tipologia di segnale audio di ingresso 21 che viene acquisito, può avvenire secondo uno dei modi noti allo stato dell’arte, ad esempio si può identificare lo spettro del segnale e ritrovare la forma dello spettro all’interno dell’unità di memorizzazione 13 e riscontrare a quale parola di senso compiuto è associato. The recognition and identification of the type of audio input signal 21 that is acquired can take place according to one of the methods known in the state of the art, for example, the spectrum of the signal can be identified and the shape of the spectrum found within the storage unit 13 and ascertain which word of complete meaning it is associated with.

All’interno del dispositivo 1, la comunicazione tra i mezzi di acquisizione 10, i mezzi di riproduzione 11 e i mezzi di elaborazione 13 consente dunque di trasformare un segnale audio di ingresso 21 incomprensibile e foneticamente e grammaticalmente scorretto, in un segnale audio di uscita contenente solo parole di senso compiuto. Inside the device 1, the communication between the acquisition means 10, the reproduction means 11 and the processing means 13 thus allows to transform an incomprehensible and phonetically and grammatically incorrect input audio signal 21 into an output audio signal containing only words of complete meaning.

Come anticipato, il dispositivo 1 può essere integrato con mezzi di collegamento ad unità operative, ad esempio cavi che traportano il segnale generato dai mezzi di riproduzione 11 a dispositivi ad attivazione vocale. As anticipated, the device 1 can be integrated with means for connection to operating units, for example cables which carry the signal generated by the reproduction means 11 to voice-activated devices.

Similmente è possibile prevedere unità di trasmissione/ricezione del dispositivo 1 ad unità remote, ad esempio per effettuare backup o aggiornamenti dell’unità di memorizzazione 13. Similarly, it is possible to provide transmission / reception units of the device 1 to remote units, for example to make backups or updates of the storage unit 13.

Secondo una possibile variante esecutiva, è possibile prevedere di integrare il dispositivo 1 con mezzi di acquisizione di un segnale video, ad esempio una fotocamera, in modo da acquisire anche le gestualità e le espressioni facciali dell’utente 2. According to a possible executive variant, it is possible to integrate the device 1 with acquisition means of a video signal, for example a camera, in order to also acquire the gestures and facial expressions of the user 2.

Come precedentemente descritto, l’unità di memorizzazione 13 può essere personalizzata memorizzando i suoni e le parole pronunciate dall’utente 2. As previously described, the storage unit 13 can be customized by storing the sounds and words spoken by the user 2.

In maniera del tutto simile è possibile dunque memorizzare particolari gesti o movimenti della bocca ed associarli a parole di senso compiuto. In a very similar way it is therefore possible to memorize particular gestures or movements of the mouth and associate them with words of complete meaning.

La memorizzazione dei gesti e delle espressioni facciali può lavorare in maniera sinergica con i segnali audio di ingresso 21 acquisiti, nel senso che può confermare la corretta associazione a parole di senso compiuto. The memorization of gestures and facial expressions can work synergistically with the acquired audio input signals 21, in the sense that it can confirm the correct association with meaningful words.

Se ogni volta che l’utente 2 vuole indicare una determinata parola e a quella parola corrisponde un preciso suono e un preciso gesto o movimento della bocca, si potrà convalidare la corretta associazione qualora siano presenti sia il suono che il gesto memorizzati all’interno dell’unità di memorizzazione 13. If each time user 2 wants to indicate a specific word and that word corresponds to a precise sound and a precise gesture or movement of the mouth, the correct association can be validated if both the sound and the gesture stored within the storage drive 13.

Il metodo di funzionamento del dispositivo 1 appena descritto, è illustrato in figura 2. The method of operation of the device 1 just described is illustrated in figure 2.

Secondo la variante esecutiva illustrata in figura 2 del metodo di ausilio ai disabili oggetto della presente invenzione, è prevista una fase di mappatura del sistema, relativa alla realizzazione di tabelle associative 60. According to the variant embodiment illustrated in Figure 2 of the method of assisting the disabled, object of the present invention, a system mapping step is provided, relating to the creation of associative tables 60.

Tale realizzazione avviene preferibilmente attraverso una registrazione 601 di suoni emessi dall’utente e ad una associazione 602, di tali suoni a parole di senso compiuto. This realization takes place preferably through a recording 601 of sounds emitted by the user and to an association 602, of these sounds in full meaning words.

La fase di associazione 602 può ad esempio avvenire attraverso l’assistente del disabile, appositamente pre-istruito, o da personale specializzato che aiuta l‘utente disabile a esprimersi in maniera corretta, o ad esempio mostrando all’utente una lista di parole od immagini in modo che lui stesso possa indicare cosa voleva significare con il suono emesso. The association phase 602 can for example take place through the disabled assistant, specially pre-trained, or by specialized personnel who help the disabled user to express himself correctly, or for example by showing the user a list of words or images. so that he himself can indicate what he meant by the sound emitted.

Tale fase di mappatura è ovviamente particolarmente importante e consente di realizzare schemi, database e tabelle associative personalizzate in base all’utente. This mapping phase is obviously particularly important and allows you to create customized schemes, databases and associative tables based on the user.

Una volta conclusa la fase di mappatura, avviene la fase di acquisizione 61, in cui i mezzi di acquisizione 10 registrano il segnale audio di ingresso 21 emesso dall’utente. Once the mapping phase is completed, the acquisition phase 61 takes place, in which the acquisition means 10 record the audio input signal 21 emitted by the user.

Sul segnale audio di ingresso viene effettuata una fase di elaborazione 62. A processing step 62 is performed on the input audio signal.

Durante tale fase di elaborazione vengono utilizzate le tabelle associative generate al passo 60: all’interno di tali tabelle associative, sono presenti tutti i suoni che l’utente emette e sono associati a parole di senso compiuto, preferibilmente in formato di testo. During this processing phase, the associative tables generated in step 60 are used: within these associative tables, there are all the sounds that the user emits and are associated with meaningful words, preferably in text format.

Per questo motivo la fase di elaborazione 62 si compone di una fase 621 in cui avviene l’associazione del segnale audio di ingresso ad una parola di senso compiuto in formato testuale. For this reason, the processing step 62 consists of a step 621 in which the association of the input audio signal to a meaningful word in text format takes place.

I mezzi di elaborazione con l’ausilio delle tabelle associative memorizzate all’interno dell’unità di memorizzazione 13 e realizzate al passo 60, ricercano il segnale acquisito tra i segnali pre registrati e identificano la parola di senso compiuto associata. The processing means with the aid of the associative tables stored inside the storage unit 13 and carried out in step 60, search for the acquired signal among the pre-recorded signals and identify the associated complete word.

Una volta fatto ciò, è prevista una fase 622 relativa all’associazione di tale parola testuale ad un suono che esprima parole di senso compiuto. Once this is done, there is a phase 622 relating to the association of this textual word to a sound that expresses full meaning words.

Risulta evidente come la fase 621 sia personale e specifica per ogni utente, nonché realizzabile grazie alla mappatura descritta in precedenza. It is evident that step 621 is personal and specific for each user, as well as achievable thanks to the mapping described above.

La fase 622 invece si basa sui database noti che consentono di “leggere” in modo automatico parole di testo e trasformarle in fonemi. Phase 622, on the other hand, is based on known databases that allow you to automatically "read" text words and transform them into phonemes.

Una volta conclusa la fase 622 può avvenire la vera e propria riproduzione 63 del segnale audio di ingresso 21 trasformato in parole di senso compiuto. Once the step 622 has been completed, the actual reproduction 63 of the audio input signal 21 transformed into meaningful words can take place.

Tra la fase 622 e la fase 63 è possibile prevedere l’utilizzo di mezzi di temporizzazione che controllano quanto tempo intercorre tra un segnale audio e il successivo. Between phase 622 and phase 63 it is possible to provide for the use of timing means that control how much time elapses between one audio signal and the next.

In questo modo sarà possibile verificare, in caso di pause troppo lunghe, la lunghezza delle frasi, in modo da poter riprodurre i periodi nella maniera più fluida possibile, rendendo ancora maggiormente facile la conversazione. In this way it will be possible to check, in case of too long pauses, the length of the sentences, in order to reproduce the sentences in the most fluid way possible, making the conversation even easier.

Infine si specifica che il dispositivo 1 di figura 1 può essere integrato con un visore che consenta la visualizzazione delle parole di senso compiuto in formato testuale risultanti della fase 621. Finally, it is specified that the device 1 of figure 1 can be integrated with a viewer that allows the visualization of the words of complete meaning in textual format resulting from step 621.

Secondo tale configurazione, il dispositivo 1 potrà dunque prevedere al suo interno, un vocabolario visualizzabile a video, variabile sulla base della lingua della nazionalità prescelta in fase di impostazione iniziale. According to this configuration, the device 1 can therefore foresee inside it a vocabulary that can be displayed on the screen, variable on the basis of the language of the nationality chosen in the initial setting phase.

Saranno dunque preferibilmente visualizzabili, tutte le parole che compongono il vocabolario, con possibilità di poterle visualizzare in più tipologie di ordine, ed all’interno dell’ordine prescelto, in più tipologie di elenco. Therefore, all the words that make up the vocabulary will be preferably displayed, with the possibility of being able to view them in multiple types of order, and within the chosen order, in multiple types of lists.

Vantaggiosamente inoltre sarà possibile selezionare ogni parola presente, ad esempio attraverso un flag, in modo da individuare quali parole appartenenti a quel vocabolario sono già state collegate ad una parola vocale scorretta, registrata dall’utente disabile. Advantageously, it will also be possible to select each word present, for example through a flag, in order to identify which words belonging to that vocabulary have already been linked to an incorrect vocabulary word, recorded by the disabled user.

Cliccando sulla parola, si potrà sia ascoltare la registrazione della parola collegata registrata dall’utente disabile, che eliminare la stessa registrazione. By clicking on the word, you can both listen to the recording of the linked word recorded by the disabled user, and delete the same recording.

Nel caso che si sia in presenza di più parole vocali scorrette registrate dal disabile, collegate ad una singola parola di testo corretta, oltre al flag principale per selezionare la parola, potrà essere previsto un flag secondario, atto ad identificare, ed eventualmente ascoltare, ogni singola registrazione collegata a detta parola di senso compiuto. In the event that there are several incorrect vocal words recorded by the disabled person, linked to a single correct text word, in addition to the main flag to select the word, a secondary flag may be provided, capable of identifying, and possibly listening, each single recording connected to said full meaning word.

Ad esempio, optando per la messa in ordine delle sole parole non ancora selezionate con il flag principale, sarà molto più semplice e veloce, ricercare quelle parole di testo ancora non collegate a registrazioni dell’utente disabile. For example, by opting to put in order only the words not yet selected with the main flag, it will be much simpler and faster to search for those text words not yet connected to the disabled user's recordings.

Preferibilmente il sistema oggetto della presente invenzione prevede la possibilità di ordinare le parole in un ordine suggerito dal produttore del dispositivo 1, in quanto già preordinate in liste di primaria importanza comunicativa ed eventualmente suggerire all’assistente dell’utente disabile, quali parole che di norma sono le più necessarie ed usate quotidianamente. Preferably, the system object of the present invention provides for the possibility of sorting the words in an order suggested by the manufacturer of the device 1, as they are already pre-sorted in lists of primary communicative importance and possibly suggesting to the assistant of the disabled user, which words that normally they are the most necessary and used daily.

Come precedentemente descritto, anche le parole visualizzate nell’ordine prescelto, avranno sempre vicino un flag che indichi se già collegate alla registrazione dell’utente disabile. As previously described, even the words displayed in the chosen order will always have a flag next to them indicating whether they are already connected to the disabled user's registration.

Mentre l’invenzione è suscettibile di varie modifiche e costruzioni alternative, alcune forme di realizzazione preferite sono state mostrate nei disegni e descritte in dettaglio. While the invention is susceptible to various modifications and alternative constructions, some preferred embodiments have been shown in the drawings and described in detail.

Si deve intendere, comunque, che non vi è alcuna intenzione di limitare l’invenzione alla specifica forma di realizzazione illustrata, ma, al contrario, essa intende coprire tutte le modifiche, costruzioni alternative, ed equivalenti che ricadano nell’ambito dell’invenzione come definito nelle rivendicazioni. It is to be understood, however, that there is no intention of limiting the invention to the specific embodiment illustrated, but, on the contrary, it is intended to cover all modifications, alternative constructions, and equivalents that fall within the scope of the invention such as defined in the claims.

L’uso di “ad esempio”, “ecc.”, “oppure” indica alternative non esclusive senza limitazione a meno che non altrimenti indicato. The use of "for example", "etc.", "or" indicates non-exclusive alternatives without limitation unless otherwise indicated.

L’uso di “include” significa “include, ma non limitato a” a meno che non altrimenti indicato. The use of "include" means "includes, but not limited to" unless otherwise indicated.

Claims

CLAIMS 1. Aid system for users (2) with communicative disabilities comprising means for acquiring (10) of audio input signals (21) emitted by at least one of said users (2) and reproduction means (11) of output audio signals (3), characterized by the fact that there are processing means (12) for said input audio signals (21), which processing means (12) are configured in such a way as to associate one or more complete meaning words with each input audio signal (21), the said processing means (12) comprising at least one storage unit (13) inside which the unit (13) contains databases containing associative tables of the input audio signals (21) with words of purpose, including the said means processing (12) and / or said reproduction means (11) means for generating an audio output signal (3) relating to said full meaning words.

System according to claim 1, wherein said processing means (12) comprises a user interface, which user interface comprises an audio signal acquisition unit and means for associating said audio signals to complete words.

System according to one or more of the preceding claims, in which said acquisition means (10), said processing means (12) and said reproduction means (11) are inserted inside a user device ( 1), which user device presents means of communication to one or more operating units.

4. System according to claim 3, wherein said user device (1) comprises a transmission / reception unit suitable for wireless transmission / reception of data to one or more remote units.

5. Method of assisting users with communication disabilities, including the following steps: a) acquisition (61) of audio input signals emitted by at least one of said users, c) reproduction (63) of output audio signals, characterized in that a step b) is provided for the processing (62) of said input audio signals, which step b) comprises the following sub-steps: b1) association (621) of each input audio signal to at least one full meaning word, b2) generation of an output audio signal relating to said complete meaning words.

6. Method according to claim 5, in which a step preceding step a) is envisaged and relating to the realization (60) of associative tables of the audio input signals with full meaning words.

Method according to claim 6, wherein said step of making associative tables (60) is carried out in a specific manner for each user.

Method according to one or more of the preceding claims, in which a step d) is provided relating to the generation of command signals for controlling one or more operating units.