IT201800011175A1 - Aid system and method for users with hearing impairments - Google Patents

Aid system and method for users with hearing impairments Download PDF

Info

Publication number
IT201800011175A1
IT201800011175A1 IT102018000011175A IT201800011175A IT201800011175A1 IT 201800011175 A1 IT201800011175 A1 IT 201800011175A1 IT 102018000011175 A IT102018000011175 A IT 102018000011175A IT 201800011175 A IT201800011175 A IT 201800011175A IT 201800011175 A1 IT201800011175 A1 IT 201800011175A1
Authority
IT
Italy
Prior art keywords
text
audio signals
microphones
user
users
Prior art date
Application number
IT102018000011175A
Other languages
Italian (it)
Inventor
Andrea Previato
Original Assignee
Andrea Previato
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Andrea Previato filed Critical Andrea Previato
Priority to IT102018000011175A priority Critical patent/IT201800011175A1/en
Publication of IT201800011175A1 publication Critical patent/IT201800011175A1/en

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

DESCRIZIONE dell'Invenzione Industriale dal titolo: “Sistema e metodo di ausilio per utenti con disabilità uditiva” DESCRIPTION of the Industrial Invention entitled: "System and method of aid for users with hearing disabilities"

DESCRIZIONE DESCRIPTION

La presente invenzione ha per oggetto un sistema di ausilio per utenti con disabilità uditiva comprendente mezzi di acquisizione di segnali audio emessi da almeno un interlocutore di detto utente disabile. The present invention relates to an aid system for users with hearing disabilities comprising means for acquiring audio signals emitted by at least one interlocutor of said disabled user.

La sordità è una disabilità particolarmente grave soprattutto da un punto di vista sociale, in quanto le persone sorde hanno serie difficoltà ad intrattenere relazioni sociali con persone normodotate, soprattutto in ambienti rumorosi in cui i comuni dispositivi quali apparecchi acustici o simili non funzionano in maniera soddisfacente. Deafness is a particularly serious disability especially from a social point of view, as deaf people have serious difficulties in having social relationships with able-bodied people, especially in noisy environments where common devices such as hearing aids or similar do not work satisfactorily .

Nonostante le moderne tecnologie, la lettura delle labbra al momento resta il metodo più semplice per consentire agli utenti con disabilità uditive di partecipare e comprendere conversazioni con persone normodotate. Despite modern technologies, lip reading is currently the simplest method for allowing users with hearing impairments to participate and understand conversations with able-bodied people.

Tuttavia la lettura delle labbra richiede innanzitutto una lunga fase di apprendimento da parte dell’utente disabile e diversi mesi di allenamento, prima di poter capire chiaramente il linguaggio degli interlocutori. However, lip reading first requires a long learning phase by the disabled user and several months of training, before being able to clearly understand the language of the interlocutors.

Inoltre presenta un criterio di soggettività, in quanto gli interlocutori possono muovere in maniera differente la bocca sulla base della loro conformazione facciale, anche per pronunciare la medesima parola, senza poi tener conto delle persone che hanno difetti di pronuncia, rendendo particolarmente difficoltosa la lettura delle labbra. It also presents a criterion of subjectivity, as the interlocutors can move their mouths differently based on their facial conformation, even to pronounce the same word, without then taking into account people who have speech defects, making it particularly difficult to read the words. lip.

Infine la lettura delle labbra richiede di essere di fronte alla persona che parla, per cui in una discussione tra tre o più persone, con scambi di battute veloci, l’utente disabile potrebbe avere enormi difficoltà di comprensione. Finally, lip reading requires you to be in front of the person speaking, so in a discussion between three or more people, with quick exchange of words, the disabled user could have enormous difficulties in understanding.

Esiste dunque una necessità non soddisfatta dai sistemi e dalle metodologie note allo stato dell’arte, di realizzare un sistema di ausilio per utenti con disabilità uditive che consenta una immediata comprensione delle parole di interlocutori, anche durante conversazioni con più di un interlocutore e anche in ambienti particolarmente rumorosi. There is therefore a need not satisfied by the systems and methodologies known at the state of the art, to create an aid system for users with hearing disabilities that allows an immediate understanding of the words of interlocutors, even during conversations with more than one interlocutor and also in particularly noisy environments.

La presente invenzione consegue gli scopi di cui sopra realizzando un sistema di ausilio per utenti con disabilità uditiva come descritto in precedenza, in cui i mezzi di acquisizione sono collegati a mezzi di conversione dei segnali audio in testo. The present invention achieves the above purposes by providing an aid system for users with hearing disabilities as described above, in which the acquisition means are connected to means for converting audio signals into text.

I mezzi di conversione comprendono almeno una unità di memorizzazione, all’interno della quale unità sono presenti database contenenti tabelle associative dei segnali audio a parole di senso compito in formato di testo. The conversion means comprise at least one storage unit, within which unit there are databases containing associative tables of audio signals to words of task sense in text format.

È inoltre prevista una unità di visualizzazione del testo, la quale unità di visualizzazione è montata su un dispositivo indossabile, del tipo occhiale o simili. A text display unit is also provided, which display unit is mounted on a wearable device, such as glasses or the like.

Il sistema oggetto della presente invenzione dunque si prefigge lo scopo di realizzare una interfaccia che metta in comunicazione un sistema di riconoscimento vocale che traduce i segnali audio in testo e un sistema di visualizzazione di tale testo. The system object of the present invention therefore has the purpose of providing an interface which communicates a voice recognition system which translates the audio signals into text and a system for displaying such text.

Ad esempio è possibile prevedere i noti sistemi Speacker Independent, o Speech To Text (STT), od altri sistemi similari, come sistemi di riconoscimento vocale. For example, it is possible to provide the well-known Speacker Independent, or Speech To Text (STT) systems, or other similar systems, as speech recognition systems.

Per la visualizzazione del testo, è possibile utilizzare dispositivi di visione ottica a sovrimpressione, del tipo HUD (Head-Up Display), o similari, quali l’Olympus Meg 4.0, il Google Glass o simili. To display the text, it is possible to use superimposed optical vision devices, such as HUD (Head-Up Display), or similar, such as Olympus Meg 4.0, Google Glass or similar.

Combinando questi sistemi con la presenza dei mezzi di conversione delle parole in testo, un utente affetto da sordità, potrà visualizzare sulla lente dei propri occhiali, o su occhiali appositi, il testo derivante dalle parole di uno o più interlocutori, facilitando la comprensione dei discorsi. By combining these systems with the presence of the means of converting words into text, a user suffering from deafness will be able to view the text deriving from the words of one or more interlocutors on the lens of their glasses, or on special glasses, facilitating the understanding of speeches. .

Il testo scorre visivamente sulla lente di un occhiale, senza però, contemporaneamente, oscurare all'utente la visione di ciò che lo circonda-Risulta evidente come il sistema oggetto della presente invenzione consenta ad una persona portatrice di forme di sordità, di qualsiasi livello, di poter leggere sulla lente del suo occhiale, quanto espresso vocalmente dal suo interlocutore, e quindi potersi non considerare più una persona enormemente penalizzata nella vita per la sua sordità, potendo interloquire con chiunque. The text visually flows on the lens of a pair of glasses, without, however, at the same time obscuring the user's vision of what surrounds him. to be able to read on the lens of his glasses, what is expressed vocally by his interlocutor, and therefore to no longer consider himself a person enormously penalized in life for his deafness, being able to speak with anyone.

Ne consegue che il sistema oggetto della presente invenzione potrà donare a tutte le persone sorde, una qualità della vita immensamente migliore, molto più felice e soddisfacente. It follows that the system object of the present invention will be able to give to all deaf people an immensely better quality of life, much happier and more satisfying.

Vantaggiosamente i mezzi di conversione possono essere inseriti all’interno di una unità utente, che può essere considerata come una interfaccia, che possa elaborare, ricevere e trasmettere dati e segnali di terzi a terzi. Advantageously, the conversion means can be inserted inside a user unit, which can be considered as an interface, which can process, receive and transmit third party data and signals to third parties.

Secondo una forma esecutiva preferita, i mezzi di acquisizione sono costituiti da uno o più microfoni, i quali microfoni sono montati su detto occhiale. According to a preferred embodiment, the acquisition means consist of one or more microphones, which microphones are mounted on said glasses.

In particolare è possibile prevedere posizioni strategiche di montaggio dei microfoni, come ad esempio uno o più laterali per stanghetta e uno o più frontali tra le due lenti, diretti in direzione di un eventuale interlocutore, e uno o più diretti in direzione opposta. In particular, it is possible to provide strategic mounting positions for the microphones, such as one or more lateral ones for the temple and one or more frontal ones between the two lenses, directed in the direction of a possible interlocutor, and one or more directed in the opposite direction.

La presenza di diversi microfoni consente di acquisire tutti i suoni dell’ambiente che circonda l’utente disabile. The presence of several microphones allows you to acquire all the sounds of the environment surrounding the disabled user.

In ambienti particolarmente rumorosi potrebbe essere utile tuttavia realizzare una sorta di filtro, automatico o manuale, che consenta di “concentrare” l’acquisizione solo in direzione del suono di interesse. In particularly noisy environments, however, it might be useful to create a sort of filter, automatic or manual, which allows you to "focus" the acquisition only in the direction of the sound of interest.

Per questo motivo il sistema oggetto della presente invenzione prevede mezzi di individuazione della direzione di provenienza dei segnali audio. For this reason, the system object of the present invention provides means for identifying the direction of origin of the audio signals.

Sono inoltre previsti mezzi di attivazione/disattivazione dei microfoni. Means for activating / deactivating the microphones are also provided.

In questo modo potranno essere attivati solamente i microfoni che sono direzionati verso la sorgente audio che si vuole acquisire e, utilizzando microfoni direzionali, sarà più semplice convertire la sorgente audio in testo, depurandola da rumori di sottofondo che potrebbero disturbare la conversione e la conseguente comprensione dell’utente disabile. In this way, only the microphones that are directed towards the audio source to be acquired can be activated and, by using directional microphones, it will be easier to convert the audio source into text, purifying it from background noises that could disturb the conversion and consequent understanding. of the disabled user.

Come verrà descritto successivamente, l’attivazione/disattivazione dei microfoni può avvenire in maniera automatica o in maniera manuale, sulla base di istruzioni impartite dall’utente. As will be described later, the activation / deactivation of the microphones can take place automatically or manually, based on instructions given by the user.

In accordo a tale seconda variante, è possibile prevedere che l’utente visualizzi, ad esempio sulla lente, la direzione di provenienza della sorgente audio con il segnale di ricezione più forte e che di conseguenza disattivi tutti i microfoni che non concorrono ad acquisire tale sorgente, come ad esempio quelli ricevuti da direzioni diverse e con un segnale di ricezione più debole. According to this second variant, it is possible to provide that the user displays, for example on the lens, the direction of origin of the audio source with the strongest reception signal and consequently deactivates all the microphones that do not contribute to acquiring this source. , such as those received from different directions and with a weaker reception signal.

Una possibile realizzazione di tale variante prevede che l’unità di visualizzazione presenti mezzi di segnalazione volti alla individuazione della direzione di provenienza del suono. A possible embodiment of this variant provides that the display unit has signaling means aimed at identifying the direction of origin of the sound.

Secondo una forma esecutiva preferita, i detti database comprendono anche tabelle di conversione di suoni, non corrispondenti a parole vocali di senso compiuto, in parole di senso compiuto in formato di testo. According to a preferred embodiment, said databases also comprise tables for converting sounds, which do not correspond to full-meaning vocal words, into full-meaning words in text format.

Tale caratteristica risulta particolarmente vantaggiosa, in quanto consente all’utente disabile di poter essere informato non solo circa i discorsi, ma anche dei suoni che lo circondano. This feature is particularly advantageous, as it allows the disabled user to be informed not only about the speeches, but also about the sounds that surround him.

Questo aspetto è fondamentale in quanto non solo consente all’utente disabile di assaporare una maggiore qualità della vita, ma soprattutto lo salvaguarda da situazioni che potrebbero essere di pericolo per la sua incolumità. This aspect is fundamental as it not only allows the disabled user to enjoy a greater quality of life, but above all it safeguards them from situations that could be dangerous for their safety.

Ad esempio durante l’attraversamento di strada, il sistema oggetto della presente invenzione potrebbe segnalare all’utente sulla lente la parola “clacson”, indice del fatto che sta acquisendo un suono riconoscibile come un clacson che potrebbe indicare una macchina in avvicinamento. For example, when crossing the road, the system object of the present invention could signal the word "horn" to the user on the lens, indicating that it is acquiring a recognizable sound such as a horn that could indicate an approaching car.

Risulta evidente come tale caratteristica presenti aspetti particolarmente vantaggiosi in combinazione con l’individuazione della direzione di propagazione della sorgente sonora ricevuta. It is evident that this feature has particularly advantageous aspects in combination with the identification of the propagation direction of the received sound source.

Secondo una ulteriore variante esecutiva sono previsti mezzi di generazione di segnali di allarme. According to a further embodiment variant means are provided for generating alarm signals.

Tali mezzi di generazione possono essere integrati all’interno dei mezzi di conversione e sono regolati in modo da emettere un segnale di avviso all’utente, qualora ci sia stato un errore nella conversione in testo, come ad esempio una parola non riconosciuta e quindi non visualizzata sulla lente. These generation means can be integrated within the conversion means and are adjusted so as to issue a warning signal to the user, if there has been an error in the conversion into text, such as an unrecognized word and therefore not displayed on the lens.

La segnalazione può avvenire attraverso o una dicitura particolare stampata sulla lente, o ad esempio attraverso una vibrazione o simili. The signaling can take place through either a particular wording printed on the lens, or for example through a vibration or the like.

In questo caso l’utente disabile potrà chiedere all’interlocutore di ripetere quanto appena pronunciato. In this case, the disabled user can ask the interlocutor to repeat what has just been said.

Secondo un perfezionamento, il sistema comprende dispositivi di registrazione e riproduzione audio/video. According to an improvement, the system comprises audio / video recording and reproduction devices.

Tali dispositivi possono essere previsti o sull’occhiale, oppure come dispositivi a parte. These devices can be provided either on the glasses, or as separate devices.

I dispositivi di registrazione e riproduzione audio/video consentono all’utente di “immortalare” immagini e suoni, che l’utente può rivivere in un secondo momento, o per condividerli con conoscenti o perché al momento l’ambiente non consente di ottenere una corretta analisi della situazione e una precisa conversione in testo di ciò che sta accadendo. The audio / video recording and playback devices allow the user to "immortalize" images and sounds, which the user can relive at a later time, or to share them with acquaintances or because at the moment the environment does not allow to obtain a correct analysis of the situation and a precise conversion into text of what is happening.

Vantaggiosamente è possibile prevedere che il dispositivo indossabile comprenda una interfaccia di input/output per il collegamento di detto dispositivo ad una o più unità remote. Advantageously, it is possible to provide that the wearable device comprises an input / output interface for connecting said device to one or more remote units.

L’interfaccia di input/output può comunicare in modalità senza fili (wifi, bluetooth o simili) o via filo. The input / output interface can communicate wirelessly (wifi, bluetooth or similar) or via wire.

Tali interfacce consentono ad esempio di ricevere, trasformare e trasferire sulla lente dell’utente, sia segnali fonetici audio tradotti in formato di testo, e di potersi collegare direttamente alla Tv, Radio, Cellulare, ecc… These interfaces allow for example to receive, transform and transfer to the user's lens, both audio phonetic signals translated into text format, and to be able to connect directly to TV, Radio, Mobile, etc ...

L’utente potrà quindi permettersi di vedere la tv, in presenza di altre persone che parlando tra loro inquinerebbero la traduzione delle parole fonetiche espresse dal film. The user can therefore afford to watch TV, in the presence of other people who, talking to each other, would pollute the translation of the phonetic words expressed by the film.

Il medesimo ragionamento è valido anche per una telefonata al cellulare o attività similari. The same reasoning is also valid for a cell phone call or similar activity.

L’interfaccia di input/output può essere inoltre utilizzata per il collegamento del dispositivo indossabile a unità remote ad esempio per aggiornamenti, o per ricarica delle batterie. The input / output interface can also be used for connecting the wearable device to remote units, for example for updates, or for battery recharging.

A titolo di esempio, si potrebbe potenziare o sostituire la lettura sulla lente con una lettura sul display di una tv, di un cellulare, di un pc, o di un tablet. As an example, you could enhance or replace the reading on the lens with a reading on the display of a TV, a mobile phone, a PC, or a tablet.

Secondo una ulteriore forma esecutiva, i detti database comprendono tabelle di traduzione dei segnali audio in uno o più idiomi. According to a further embodiment, said databases comprise tables for translating the audio signals into one or more languages.

Si realizza dunque una sorta di traduttore simultaneo. A sort of simultaneous translator is thus created.

Tale forma attuativa, risulta di grande interesse, anche per utenti non disabili, in quanto consente loro di avere un traduttore istantaneo sulla lente di un occhiale, potendo così leggere, direttamente sulla lente, e non ascoltare, la traduzione delle parole ricevute da un interlocutore straniero, potendosi cosi tenere liberi i propri canali naturali di ricezione sonore (orecchie), anziché, dovere indossare una cuffia che impedisca loro di comprendere bene quanto altro di sonoro li circonda. È logico che questa particolare funzionalità, potrà essere collegata ed abbinata ad un traduttore vocale istantaneo di lingue straniere, con cui l’utente non disabile, potrà esprimersi foneticamente nella sua lingua nativa, a mezzo di un microfono monodirezionale, posto vicino alla sua bocca. This form of implementation is of great interest, even for non-disabled users, as it allows them to have an instant translator on the lens of a pair of glasses, thus being able to read, directly on the lens, and not listen to the translation of the words received from an interlocutor. stranger, being able to keep their natural channels of sound reception free (ears), instead of having to wear a headset that prevents them from fully understanding what else surrounds them. It is logical that this particular feature can be connected and combined with an instant voice translator of foreign languages, with which the non-disabled user can express himself phonetically in his native language, by means of a one-way microphone, placed near his mouth.

Infine considerando che la maggior parte delle persone sorde, sono sorde dalla nascita, e di conseguenza, sono anche mute, il sistema oggetto della presente invenzione può essere previsto in combinazione a sistemi di traduzione di ausilio per utenti con disabilità comunicative, in modo da consentire ad un utente sordomuto non solo di comprendere i discorsi, ma anche di esprimersi correttamente. Finally, considering that most deaf people are deaf from birth, and consequently are also mute, the system object of the present invention can be provided in combination with translation aid systems for users with communication disabilities, in order to allow to a deaf-mute user not only to understand speeches, but also to express themselves correctly.

Tali sistemi di traduzione di ausilio per utenti con disabilità comunicative possono ad esempio essere costituiti da sistemi comprendenti mezzi di acquisizione in ingresso di segnali audio di parole vocali scorrette emessi da un utente disabile e mezzi di riproduzione di detti segnali audio in uscita, trasformati in parole vocali di senso compiuto (corrette). Such help translation systems for users with communication disabilities can for example be constituted by systems comprising means for the input acquisition of audio signals of incorrect vocal words emitted by a disabled user and means for reproducing said output audio signals, transformed into words full meaning (correct) vowels.

Detti sistemi prevedono mezzi di elaborazione dei segnali audio di ingresso di parole vocali scorrette, configurati in modo tale da associare ad ogni segnale audio di ingresso di parole vocali scorrette una o più parole corrette di senso compiuto in formato di testo. Said systems provide means for processing the input audio signals of incorrect speech words, configured in such a way as to associate with each audio signal input of incorrect speech words one or more correct words of complete meaning in text format.

Inoltre i mezzi di elaborazione comprendono almeno una unità di memorizzazione all’interno della quale sono presenti database contenenti tabelle associative dei segnali audio di ingresso di parole vocali scorrette a parole di senso compito in formato di testo, comprendendo i mezzi di elaborazione e/o i mezzi di riproduzione e mezzi di generazione per associare alle parole in formato di testo ricevute, un segnale audio di uscita trasformato in parola vocale di senso compiuto. Furthermore, the processing means comprise at least one storage unit within which there are databases containing associative tables of the audio input signals of incorrect vocal words to words of meaningful purpose in text format, including the processing means and / or the means of reproduction and generation means for associating to the words in text format received, an output audio signal transformed into a vocal word of complete meaning.

Il sistema oggetto della presente invenzione può dunque essere previsto in combinazione al sistema appena descritto, in modo da aiutare gli utenti sordomuti. The system object of the present invention can therefore be provided in combination with the system just described, in order to help deaf-mute users.

Secondo una possibile forma esecutiva, il sistema appena descritto prevede come output parole di senso compiuto in formato di testo, che possono essere acquisite come input dal sistema oggetto della presente invenzione, affinché tali parole vengano visualizzate in formato di testo. According to a possible embodiment, the system just described provides as output words of complete meaning in text format, which can be acquired as input by the system object of the present invention, so that these words are displayed in text format.

Tale testo sarà dunque visualizzato dall’utente sordomuto, che avrà un immediato feedback per valutare se le parole di senso compiuto che il traduttore ha espresso sono state tradotte in maniera corretta. This text will therefore be displayed by the deaf-mute user, who will have immediate feedback to assess whether the meaningful words that the translator has expressed have been translated correctly.

In questo caso è possibile prevedere che su una lente dell'occhiale a sovrimpressione vengano visualizzate le parole dette dall’utente sordomuto, mentre sull’altra lente vengano visualizzate le parole acquisite da un eventuale interlocutore e trasformate in formato di testo per consentire la comprensione dell’utente sordomuto. In this case it is possible to foresee that the words spoken by the deaf-mute user will be displayed on one lens of the superimposed glasses, while on the other lens the words acquired by a possible interlocutor and transformed into text format are displayed to allow understanding of the deaf-mute user.

Queste ed altre caratteristiche e vantaggi della presente invenzione risulteranno più chiaramente dalla seguente descrizione di alcuni esempi esecutivi illustrati nei disegni allegati in cui: These and other characteristics and advantages of the present invention will become clearer from the following description of some executive examples illustrated in the attached drawings in which:

le figura 1 illustra uno schema di principio, attraverso blocchi funzionali, di una forma esecutiva preferita del sistema oggetto della presente invenzione. Figure 1 illustrates a schematic diagram, through functional blocks, of a preferred embodiment of the system object of the present invention.

Si specifica che la figura allegata alla presente domanda di brevetto riporta una forma esecutiva del sistema di ausilio per utenti con disabilità uditiva oggetto della presente invenzione per meglio comprenderne i vantaggi e le caratteristiche. It is specified that the figure attached to the present patent application shows an embodiment of the aid system for users with hearing disabilities object of the present invention in order to better understand its advantages and characteristics.

Tale forma esecutiva è dunque da intendersi a puro scopo illustrativo e non limitativo al concetto inventivo della presente invenzione, ossia quello di consentire ad un disabile con difetti uditivi di comprendere con facilità suoni dell’ambiente circostante e di poter agevolmente interagire con uno o più interlocutori. This embodiment is therefore to be understood purely for illustrative purposes and not limited to the inventive concept of the present invention, that is to allow a disabled person with hearing defects to easily understand the sounds of the surrounding environment and to be able to easily interact with one or more interlocutors. .

Come anticipato, il sistema oggetto della presente invenzione comprende mezzi di acquisizione di segnali audio, mezzi di conversione di tali segnali audio in formato testo e mezzi di visualizzazione di tale testo. As anticipated, the system object of the present invention comprises means for acquiring audio signals, means for converting said audio signals into text format and means for displaying said text.

Nella variante illustrata in figura 1, il sistema comprende un dispositivo indossabile, un occhiale 1, sul quale dispositivo sono montati tre microfoni, 10, 11 e 12 atti ad acquisire un segnale audio 2. In the variant illustrated in figure 1, the system comprises a wearable device, a pair of glasses 1, on which device are mounted three microphones, 10, 11 and 12 suitable for acquiring an audio signal 2.

In particolare il microfono 10 è montato sulla stanghetta 13 di sinistra, il microfono 11 sulla parte superiore 14 e il microfono 12 sulla stanghetta 15 di destra. In particular, the microphone 10 is mounted on the left arm 13, the microphone 11 on the upper part 14 and the microphone 12 on the right arm 15.

Tali microfoni 10, 11 e 12 sono sufficienti ad acquisire il segnale audio 2, ma è possibile prevedere ulteriori microfoni, ad esempio rivolti in direzione laterale opposta rispetto ai microfoni 10, 11 e 12. These microphones 10, 11 and 12 are sufficient to acquire the audio signal 2, but it is possible to provide further microphones, for example facing in the opposite lateral direction with respect to the microphones 10, 11 and 12.

Preferibilmente i microfoni 10, 11 e 12 sono realizzati in uno dei qualsivoglia modi noti allo stato dell’arte e vengono alimentati da batterie che possono ad esempio essere integrate all’interno delle stanghette degli occhiali. Preferably the microphones 10, 11 and 12 are made in any of the ways known in the state of the art and are powered by batteries that can for example be integrated inside the temples of the glasses.

Il segnale audio 2 può essere un qualsivoglia segnale, può ad esempio essere costituito da parole generate da un interlocutore in seguito ad una conversazione, oppure a suoni dell’ambiente, oppure ad una combinazione di questi ultimi. The audio signal 2 can be any signal, it can for example consist of words generated by an interlocutor following a conversation, or ambient sounds, or a combination of the latter.

Il sistema comprende inoltre una unità utente 3, comunicante con gli occhiali 1. The system also comprises a user unit 3, communicating with the glasses 1.

L’unità utente 3 rappresenta il fulcro principale della presente invenzione, che potrà ad esempio essere appositamente costruita od inserita all’interno di altre unità atte ad ospitarla. The user unit 3 represents the main focus of the present invention, which may for example be specially built or inserted within other units suitable for hosting it.

A titolo esemplificativo, in figura 1 tale unità utente 3 è stata inserita in uno smartphone. By way of example, in Figure 1 this user unit 3 has been inserted into a smartphone.

La comunicazione tra l’unità utente 3 e gli occhiali 1 avviene preferibilmente senza fili, in accordo agli standard noti allo stato dell’arte, quali bluetooth, NFC, o simili. The communication between the user unit 3 and the glasses 1 is preferably wireless, in accordance with the standards known to the state of the art, such as bluetooth, NFC, or the like.

I microfoni 10, 11e 12 acquisiscono il segnale audio 2, lo trasmettono all’unità utente 3, che si occupa di elaborare tale segnale. The microphones 10, 11 and 12 acquire the audio signal 2, transmit it to the user unit 3, which is in charge of processing this signal.

L’unità utente 3 infatti comprende mezzi di conversione 31 dei segnali audio in testo. The user unit 3 in fact comprises means 31 for converting audio signals into text.

La conversione dei segnali audio avviene grazie alla presenza di una unità di memorizzazione all’interno della quale unità sono presenti database 32 contenenti tabelle associative dei segnali audio a parole di testo di senso compito. The conversion of audio signals takes place thanks to the presence of a storage unit inside which unit there are 32 databases containing associative tables of audio signals to text words with a sense of purpose.

Il funzionamento del sistema oggetto della presente invenzione prevede dunque l’acquisizione del segnale audio 2 attraverso i microfoni 10, 11, 12, presenti sull’occhiale 1. The operation of the system object of the present invention therefore provides for the acquisition of the audio signal 2 through the microphones 10, 11, 12, present on the glasses 1.

I segnali audio acquisiti vengono poi trasmessi dagli occhiali 1 all’unità utente 3. The acquired audio signals are then transmitted from the glasses 1 to the user unit 3.

Risulta evidente come la trasmissione preveda la presenza di una unità di comunicazione integrata all’interno degli occhiali 1. It is clear that the transmission involves the presence of an integrated communication unit inside the glasses 1.

L’unità utente 3 memorizza tale segnale audio all’interno dell’unità di memorizzazione 31, elabora tale segnale e attraverso l’utilizzo di tabelle associative, traduce il segnale audio in testo. The user unit 3 stores this audio signal inside the storage unit 31, processes this signal and through the use of associative tables, translates the audio signal into text.

Viene dunque visualizzato un testo 33 che riporta in formato leggibile il segnale audio 2. A text 33 is then displayed which shows the audio signal 2 in a readable format.

A questo punto il testo viene visualizzato. At this point the text is displayed.

La visualizzazione può avvenire attraverso una qualsivoglia unità di visualizzazione. The display can take place through any display unit.

L’unità di visualizzazione può dunque anche essere lo schermo dell’unità utente 3, ma preferibilmente l’unità di visualizzazione è integrata all’interno della lente 100 dell’occhiale. The display unit can therefore also be the screen of user unit 3, but preferably the display unit is integrated within the lens 100 of the glasses.

Ad esempio è possibile integrare la lente 100 con i noti sistemi di visione ottica a sovrimpressione, del tipo HUD (Head-Up Display), od altri di similari quali l’Olympus Meg 4.0, il Google Glass o simili. For example, it is possible to integrate the lens 100 with the well-known overlay optical vision systems, of the HUD (Head-Up Display) type, or other similar ones such as Olympus Meg 4.0, Google Glass or similar.

Secondo una variante attuativa sono previsti mezzi di individuazione della direzione di provenienza del suono. According to an embodiment variant means are provided for identifying the direction of origin of the sound.

In combinazione a tali mezzi sono previsti mezzi di attivazione/disattivazione dei microfoni 10, 11 e 12. In combination with these means, means are provided for activating / deactivating the microphones 10, 11 and 12.

Una volta individuata la provenienza del suono, risulta particolarmente utile mantenere attivi solamente i microfoni che sono rivolti in direzione del segnale audio di interesse, in modo da evitare disturbi della sorgente da convertire. Once the source of the sound has been identified, it is particularly useful to keep active only the microphones that are turned in the direction of the audio signal of interest, in order to avoid disturbances of the source to be converted.

Tale attivazione può essere manuale o automatica. Infatti i mezzi di individuazione della direzione del suono possono visualizzare sia sulla lente 100 che sull’unità utente 3, il punto da dove proviene il suono, in modo che l’utente possa disattivare i microfoni non interessati alla rilevazione del suono. This activation can be manual or automatic. In fact, the means for identifying the direction of the sound can display both on the lens 100 and on the user unit 3, the point from which the sound comes, so that the user can deactivate the microphones not interested in sound detection.

Allo stesso tempo l’utente potrà decidere di non disattivare alcun microfono, ma di dirigere lo sguardo verso la direzione di arrivo del segnale audio 2. At the same time, the user can decide not to disable any microphone, but to direct his gaze towards the direction of arrival of the audio signal 2.

La disattivazione avviene attraverso un comando inviato dall’unità utente 3 ai microfoni 10, 11 o 12. Deactivation occurs through a command sent by user unit 3 to microphones 10, 11 or 12.

Come anticipato, l’attivazione/disattivazione può anche essere automatica, il sistema confronta la posizione della testa dell’utente e la direzione di arrivo del suono e disattiva i microfoni che non sono rivolti nella direzione corretta. As anticipated, the activation / deactivation can also be automatic, the system compares the position of the user's head and the direction of arrival of the sound and deactivates the microphones that are not facing in the correct direction.

Oltre al testo e alla direzione del suono, è possibile prevedere che, sia la lente 100 che l’unità utente 3, visualizzino segnali di errore dovuti ad una mancata conversione del segnale audio in formato testuale. In addition to the text and the direction of the sound, it is possible to provide that both the lens 100 and the user unit 3 display error signals due to a failure to convert the audio signal into text format.

Tali segnali di errore, in alternativa o in combinazione alla visualizzazione, possono essere trasmessi all’utente ad esempio attraverso organi vibranti integrati all’interno delle stanghette. These error signals, alternatively or in combination with the display, can be transmitted to the user, for example, through vibrating elements integrated within the temples.

Si specifica che l’unità utente 3 inserita in uno smartphone, a puro titolo esemplificativo, è illustrata in figura 1 come facente parte del sistema oggetto della presente invenzione in quanto può conferire al sistema portabilità e facilità di utilizzo. It is specified that the user unit 3 inserted in a smartphone, by way of example only, is illustrated in Figure 1 as being part of the system object of the present invention as it can give the system portability and ease of use.

Risulta tuttavia evidente come le funzioni descritte e relative alla presenza dello smartphone possano essere integrate all’interno dell’occhiale 1, in modo da realizzare un dispositivo “stand-alone”. However, it is clear that the functions described and related to the presence of the smartphone can be integrated into the eyewear 1, in order to create a "stand-alone" device.

Tuttavia l’esempio della presenza dello smartphone, oltre a garantire portabilità e anche una sorgente di alimentazione supplementare, apporta al sistema tutte le funzioni di aggiornamenti e di controlli che sono insiti all’interno di dispositivi quali smartphone, tablet o simili. However, the example of the presence of the smartphone, in addition to ensuring portability and also an additional power source, brings to the system all the functions of updates and controls that are inherent in devices such as smartphones, tablets or the like.

Mentre l’invenzione è suscettibile di varie modifiche e costruzioni alternative, alcune forme di realizzazione preferite sono state mostrate nei disegni e descritte in dettaglio. While the invention is susceptible to various modifications and alternative constructions, some preferred embodiments have been shown in the drawings and described in detail.

Si deve intendere, comunque, che non vi è alcuna intenzione di limitare l’invenzione alla specifica forma di realizzazione illustrata, ma, al contrario, essa intende coprire tutte le modifiche, costruzioni alternative, ed equivalenti che ricadano nell’ambito dell’invenzione come definito nelle rivendicazioni. It is to be understood, however, that there is no intention of limiting the invention to the specific embodiment illustrated, but, on the contrary, it is intended to cover all modifications, alternative constructions, and equivalents that fall within the scope of the invention such as defined in the claims.

L’uso di “ad esempio”, “ecc.”, “oppure” indica alternative non esclusive senza limitazione a meno che non altrimenti indicato. The use of "for example", "etc.", "or" indicates non-exclusive alternatives without limitation unless otherwise indicated.

L’uso di “include” significa “include”, ma non “limitato a” a meno che non altrimenti indicato. The use of "include" means "includes", but not "limited to" unless otherwise indicated.

Claims (11)

RIVENDICAZIONI 1. Sistema di ausilio per utenti con disabilità uditiva comprendente mezzi di acquisizione (10, 11, 12) di segnali audio (2) emessi da almeno un interlocutore di detto utente disabile, caratterizzato dal fatto che i detti mezzi di acquisizione sono collegati a mezzi di conversione (31) dei segnali audio (2) in testo (33), i detti mezzi di conversione (31) comprendendo almeno una unità di memorizzazione all’interno della quale unità sono presenti database (32) contenenti tabelle associative dei segnali audio (2) a parole di senso compito in formato di testo (33), essendo prevista una unità di visualizzazione (100) del detto testo (33), la quale unità di visualizzazione (100) è montata su un dispositivo indossabile, del tipo occhiale (1) o simili. CLAIMS 1. Aid system for users with hearing disabilities comprising acquisition means (10, 11, 12) of audio signals (2) emitted by at least one interlocutor of said disabled user, characterized by the fact that said acquisition means are connected to means (31) for converting audio signals (2) into text (33), the said conversion means (31) comprising at least one storage unit within which unit there are databases (32) containing associative tables of audio signals (2) to words of task sense in text format (33), a display unit (100) of said text (33) being provided, which display unit (100) is mounted on a wearable device, such as eyewear (1) or the like. 2. Sistema secondo la rivendicazione 1, in cui i detti mezzi di conversione (31) sono inseriti all’interno di una unità utente (3), atta a realizzare una interfaccia, che possa elaborare, ricevere e trasmettere dati e segnali di terzi a terzi. 2. System according to claim 1, in which said conversion means (31) are inserted inside a user unit (3), suitable for realizing an interface, which can process, receive and transmit data and signals of third parties to third parties. 3. Sistema secondo la rivendicazione 1, in cui i detti mezzi di acquisizione sono costituiti da uno o più microfoni (10, 11, 12), i quali microfoni (10, 11, 12) sono montati su detto occhiale (1). 3. System according to claim 1, wherein said acquisition means are constituted by one or more microphones (10, 11, 12), which microphones (10, 11, 12) are mounted on said eyeglasses (1). 4. Sistema secondo la rivendicazione 3, in cui sono previsti mezzi di individuazione della direzione di provenienza dei detti segnali audio (2), essendo previsti mezzi di attivazione/disattivazione dei detti microfoni (10, 11, 12). 4. System according to claim 3, in which means are provided for identifying the direction of origin of said audio signals (2), with means for activating / deactivating said microphones (10, 11, 12) being provided. 5. Sistema secondo una o più delle precedenti rivendicazioni, in cui la detta unità di visualizzazione (100) presenta mezzi di segnalazione volti alla individuazione della direzione di provenienza dei segnali audio. 5. System according to one or more of the preceding claims, in which said display unit (100) has signaling means aimed at identifying the direction of origin of the audio signals. 6. Sistema secondo una o più delle precedenti rivendicazioni, in cui i detti database (32) comprendono tabelle di conversione di suoni non corrispondenti a parole di senso compiuto a testo di senso compiuto. 6. System according to one or more of the preceding claims, in which said databases (32) comprise conversion tables of sounds not corresponding to full meaning words to full meaning text. 7. Sistema secondo una o più delle precedenti rivendicazioni, in cui sono previsti mezzi di generazione di segnali di allarme. System according to one or more of the preceding claims, in which means for generating alarm signals are provided. 8. Sistema secondo una o più delle precedenti rivendicazioni, in cui sono presenti dispositivi di registrazione e riproduzione audio/video. System according to one or more of the preceding claims, in which audio / video recording and reproduction devices are present. 9. Sistema secondo una o più delle precedenti rivendicazioni, in cui il detto dispositivo indossabile comprende una interfaccia di input/output per il collegamento di detto dispositivo ad una o più unità remote. System according to one or more of the preceding claims, wherein said wearable device comprises an input / output interface for connecting said device to one or more remote units. 10. Sistema secondo una o più delle precedenti rivendicazioni, in cui i detti database (32) comprendono tabelle di traduzione dei segnali audio in uno o più idiomi. System according to one or more of the preceding claims, wherein said databases (32) comprise tables for translating the audio signals into one or more languages. 11. Sistema secondo una o più delle precedenti rivendicazioni, in cui è previsto un sistema di ausilio per utenti con disabilità comunicativa comunicante con il detto sistema di ausilio per utenti con disabilità uditiva. System according to one or more of the preceding claims, in which an aid system for users with communicative disabilities communicating with said aid system for users with hearing disabilities is provided.
IT102018000011175A 2018-12-17 2018-12-17 Aid system and method for users with hearing impairments IT201800011175A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
IT102018000011175A IT201800011175A1 (en) 2018-12-17 2018-12-17 Aid system and method for users with hearing impairments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102018000011175A IT201800011175A1 (en) 2018-12-17 2018-12-17 Aid system and method for users with hearing impairments

Publications (1)

Publication Number Publication Date
IT201800011175A1 true IT201800011175A1 (en) 2020-06-17

Family

ID=66049445

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102018000011175A IT201800011175A1 (en) 2018-12-17 2018-12-17 Aid system and method for users with hearing impairments

Country Status (1)

Country Link
IT (1) IT201800011175A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
EP2736272A1 (en) * 2012-11-22 2014-05-28 ETH Zurich Wearable microphone array apparatus
US20170303052A1 (en) * 2016-04-18 2017-10-19 Olive Devices LLC Wearable auditory feedback device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
EP2736272A1 (en) * 2012-11-22 2014-05-28 ETH Zurich Wearable microphone array apparatus
US20170303052A1 (en) * 2016-04-18 2017-10-19 Olive Devices LLC Wearable auditory feedback device

Similar Documents

Publication Publication Date Title
US20170303052A1 (en) Wearable auditory feedback device
WO2017142775A1 (en) Hearing assistance with automated speech transcription
EP2842055B1 (en) Instant translation system
US11727952B2 (en) Glasses with closed captioning, voice recognition, volume of speech detection, and translation capabilities
US6240392B1 (en) Communication device and method for deaf and mute persons
JP6551417B2 (en) Wearable device, display control method, and display control program
JP6555272B2 (en) Wearable device, display control method, and display control program
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
KR20160093529A (en) A wearable device for hearing impairment person
Dhanjal et al. Tools and techniques of assistive technology for hearing impaired people
US20190080630A1 (en) Medical grade wearable eyeglasses with holographic voice and sign language recognition duo interpreters and response with microphone/speakers using programming software, optional customization via smartphone device or private webpage
KR20100050959A (en) Communication system for deaf person
KR101846218B1 (en) Language interpreter, speech synthesis server, speech recognition server, alarm device, lecture local server, and voice call support application for deaf auxiliaries based on the local area wireless communication network
US20230260534A1 (en) Smart glass interface for impaired users or users with disabilities
IT201800011175A1 (en) Aid system and method for users with hearing impairments
KR20210014931A (en) Smart glass
US20170018281A1 (en) Method and device for helping to understand an auditory sensory message by transforming it into a visual message
KR102000282B1 (en) Conversation support device for performing auditory function assistance
CN114115515A (en) Method and head-mounted unit for assisting a user
KR101906549B1 (en) A wearable device for hearing impairment person
KR102633725B1 (en) Smart Glass System for the Hearing Impaired and Method for controlling the same
WO2022113189A1 (en) Speech translation processing device
KR20200087940A (en) Smart glass for the deaf that can deliver the emotion
US12032155B2 (en) Method and head-mounted unit for assisting a hearing-impaired user
US20230221583A1 (en) Smart glasses to assist those who are deaf or hard of hearing