IT201600079587A1 - EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. - Google Patents

EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.

Info

Publication number
IT201600079587A1
IT201600079587A1 IT102016000079587A IT201600079587A IT201600079587A1 IT 201600079587 A1 IT201600079587 A1 IT 201600079587A1 IT 102016000079587 A IT102016000079587 A IT 102016000079587A IT 201600079587 A IT201600079587 A IT 201600079587A IT 201600079587 A1 IT201600079587 A1 IT 201600079587A1
Authority
IT
Italy
Prior art keywords
user
control unit
camera
objects
remote control
Prior art date
Application number
IT102016000079587A
Other languages
Italian (it)
Inventor
Paolo Vivirito
Glauco Letizia
Original Assignee
Glauco Letizia
Paolo Vivirito
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glauco Letizia, Paolo Vivirito filed Critical Glauco Letizia
Priority to IT102016000079587A priority Critical patent/IT201600079587A1/en
Publication of IT201600079587A1 publication Critical patent/IT201600079587A1/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/006Teaching or communicating with blind persons using audible presentation of the information

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Manipulator (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Automation & Control Theory (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)

Description

“Apparecchiatura e metodo di sostituzione sensoriale (S.S.D.) per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni” "Equipment and method of sensory substitution (S.S.D.) to assist a blind person in walking, orientation and understanding of internal environments"

La presente domanda di brevetto per invenzione industriale ha per oggetto un'apparecchiatura ed un metodo per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni anche sconosciuti. The present patent application for industrial invention relates to an apparatus and a method for assisting a blind person in walking, in orientation and in understanding even unknown internal environments.

In particolare l'apparecchiatura ed il metodo, secondo il trovato, sono stati ideati al fine di guidare persone non vedenti, o con grave deficit visivo, durante le loro attività quotidiane. In particular, the apparatus and the method according to the invention have been devised in order to guide blind people or people with severe visual impairment during their daily activities.

Secondo l'Organizzazione mondiale della sanità (OMS) (2007) sulla Terra vivono 314 milioni di persone con handicap visivo grave (45 milioni di ciechi e 269 milioni di ipovedenti). Nonostante mezzo secolo di sforzi il peso globale della cecità è in crescita soprattutto a causa della crescita della popolazione e dell'invecchiamento. Secondo il WHO (World Health Organization) se non si mobilitano nuove risorse economiche per frenare l’attuale tendenza, entro il 2020 il peso globale della cecità potrà raddoppiare. Ancora oggi la maggior parte delle persone non vedenti utilizza solo bastoni da passeggio, cani guida e semplici dispositivi elettronici con attivazione vocale (orologi, telefoni...). Con il miglioramento costante delle caratteristiche dei dispositivi elettronici e con l'introduzione nel mercato di nuovi sensori sempre più robusti ed affidabili è divenuto possibile e certamente auspicabile migliorare la qualità della vita delle persone diversamente abili e dei diversabili visivi in particolare. According to the World Health Organization (WHO) (2007), 314 million people with severe visual impairment live on Earth (45 million blind and 269 million visually impaired). Despite half a century of effort, the global burden of blindness is growing mainly due to population growth and aging. According to the WHO (World Health Organization), if new economic resources are not mobilized to curb the current trend, the global burden of blindness could double by 2020. Even today, most blind people use only walking sticks, guide dogs and simple electronic devices with voice activation (watches, telephones ...). With the constant improvement of the characteristics of electronic devices and with the introduction on the market of new and more robust and reliable sensors, it has become possible and certainly desirable to improve the quality of life of people with disabilities and of visually impaired people in particular.

Trattando il problema dell’ orientamento di una persona non vedente, si evidenzia la necessità di comprendere in che modo il cervello crei la rappresentazione del mondo esterno in una persona con visus normale ovvero in una persona congenitamente non vedente. By dealing with the problem of orientation of a blind person, the need to understand how the brain creates the representation of the external world in a person with normal vision or in a congenitally blind person is highlighted.

Nel loro articolo, pubblicato il 5 Marzo del 2013 sulla rivista PLOS ONE, dal titolo: Beyond Motor Scheme: A Supramodal Distri buted Represe ntation in thè Action-Observation Network i ricercatori dell’Università di Pisa Emiliano Ricciardi, Giacomo Handjaras, Daniela Bonino, Tommaso Vecchi, Luciano Fadiga e Pietro Pietrini pervengono ad una conclusione sorprendente in quanto lo studio ha dimostrato che la rappresentazione del mondo esterno nel nostro cervello si basa su un codice neurale astratto, che non dipende da una singola modalità sensoriale e che anzi si sviluppa identico anche in chi nasce privo della vista. Ha sottolineato Pietrini: «In altre parole, i non vedenti codificano ed elaborano la percezione uditiva di un’azione come se l’avessero veduta». In their article, published on 5 March 2013 in the PLOS ONE magazine, entitled: Beyond Motor Scheme: A Supramodal Distri buted Represe ntation in the Action-Observation Network the researchers of the University of Pisa Emiliano Ricciardi, Giacomo Handjaras, Daniela Bonino, Tommaso Vecchi, Luciano Fadiga and Pietro Pietrini arrive at a surprising conclusion as the study has shown that the representation of the external world in our brain is based on an abstract neural code, which does not depend on a single sensory modality and which indeed develops identical even in those born without sight. Pietrini emphasized: "In other words, blind people encode and process the auditory perception of an action as if they had seen it".

È stato inoltre dimostrato da Ella Striem-Amit e Amir Amedi, della Hebrew University of Jerusalem, nelTarticolo Visual Cortex Extrastriate Body-Selective Area Activation in Congenitally Blind People “Seeing” by Using Sounds pubblicato il 6 Marzo del 2014 sulla rivista scientifica Current Biology che persone cieche dalla nascita, che hanno imparato a leggere attraverso il tatto utilizzando il metodo Braille, o che hanno utilizzato un sistema di sostituzione sensoriale (sensory substitution device S.S.D.), come The vOICe ideato nel 1992 da Peter Meijer nei laboratori di ricerca della Philips, attivano le stesse aree della corteccia visiva utilizzate normalmente dai vedenti. «L'idea - alla base dell’S.S.D. secondo lo stesso Dr. Amedi che ha ora perfezionato The vOICe chiamandolo EyeMusic — è sostituire le informazioni da un senso mancante utilizzando come input un senso diverso. Proprio come fanno pipistrelli e delfini che usano suoni ed eco-localizzazione per vedere con le orecchie». It was also demonstrated by Ella Striem-Amit and Amir Amedi, of the Hebrew University of Jerusalem, in the article Visual Cortex Extrastriate Body-Selective Area Activation in Congenitally Blind People "Seeing" by Using Sounds published on March 6, 2014 in the scientific journal Current Biology which people blind from birth, who have learned to read by touch using the Braille method, or who have used a sensory substitution device (S.S.D.), such as The vOICe conceived in 1992 by Peter Meijer in the research laboratories of Philips, they activate the same areas of the visual cortex normally used by sighted people. "The idea - at the basis of the SSD according to Dr. Amedi himself who has now perfected The VOICe calling it EyeMusic - it's replacing information from a missing sense by using a different sense as input. Just like bats and dolphins do that use sounds and echo-localization to see with their ears ».

Effettivamente EyeMusic ha migliorato l’usabilità del dispositivo S.S.D. rispetto a The vOICe soprattutto per il maggior comfort e l'accettabilità del sistema dovuti all’introduzione della scala pentatonica che, nelle frequenti sovrapposizioni di nota, elimina le dissonanze che si creavano con la scala diatonica e con l'utilizzo di strumenti midi con range di frequenza limitato a 1568 Hz in luogo degli oscillatori sinusoidali che correvano fino a 5000 Hz del sistema The vOICe i cui suoni generati venivano spesso percepiti come sgradevoli, riducendo così anche i tempi di apprendimento dell'utente per creare un'immagine mentale dettagliata dell'ambiente. EyeMusic has actually improved the usability of the S.S.D. compared to The VOICe above all for the greater comfort and acceptability of the system due to the introduction of the pentatonic scale which, in the frequent overlapping of notes, eliminates the dissonances that were created with the diatonic scale and with the use of midi instruments with range frequency limited to 1568 Hz in place of the sine oscillators that ran up to 5000 Hz of The VOICe system whose generated sounds were often perceived as unpleasant, thus also reducing the user's learning time to create a detailed mental image of the environment.

Lo stesso Meijer si rendeva conto dei limiti del sistema: «non è in grado di trasmettere la percezione della profondità, né di far percepire se degli oggetti sono in movimento, ed è difficile da padroneggiare» Meijer himself was aware of the limits of the system: "it is unable to transmit the perception of depth, nor to make one perceive whether objects are in motion, and it is difficult to master"

Sia il sistema The vOICe che EyeMusic utilizzano una telecamera come unico strumento per catturare l'immagine dell'ambiente in cui si muove il non vedente. Il seguente trovato si avvale dell'introduzione nel mercato videoludico di sensori RGB-D (red green blue - depth) a basso costo, i quali rendono possibile analizzare anche la profondità della scena inquadrata e oggetto del processo di sostituzione sensoriale, apportando quindi una significativa miglioria ai sistemi suddetti. In particolare è ragionevole caratterizzare con un volume audio differente gli oggetti presenti nel F.O.V. (field of view) del dispositivo RGB-D, non in base alla loro luminosità, ma alla distanza stimata tra essi ed il non vedente, in modo che si possano far suonare con un volume più alto gli oggetti più vicini lasciando il resto sullo sfondo, evitando quindi di inflazionare la restituzione acustica dell'informazione . Both The vOICe system and EyeMusic use a camera as the only tool to capture the image of the environment in which the blind person is moving. The following invention makes use of the introduction in the videogame market of low cost RGB-D (red green blue - depth) sensors, which make it possible to analyze also the depth of the framed scene and object of the sensory substitution process, thus making a significant improvement to the aforementioned systems. In particular, it is reasonable to characterize the objects present in the F.O.V. with a different audio volume. (field of view) of the RGB-D device, not based on their brightness, but on the estimated distance between them and the blind person, so that the closest objects can be played with a higher volume, leaving the rest in the background , thus avoiding inflating the acoustic return of information.

Parallelamente al miglioramento del dispositivo S.S.D. abbiamo inoltre attinto concetti sviluppati dalla robotica come la navigazione autonoma per mezzo della costruzione di mappe in tempo reale ed auto-localizzazione al fine di dotare l'apparecchiatura di una memoria dei luoghi già visitati ed assistere meglio l'utente nell'orientamento. L'idea che l'uomo possa essere supportato da robot e sistemi intelligenti nello svolgimento di compiti complessi, delicati o rischiosi sta affermandosi sempre più per il continuo perfezionarsi di questi mezzi e per il loro costo decrescente. Quando la persona non vedente non può o non vuole essere affiancata da un accompagnatore, potrà scegliere di utilizzare un tale sistema intelligente il quale potrà rispondere a domande specifiche sull'ambiente percepito o intervenire in autonomia dando le informazioni più utili in quel momento. Parallel to the improvement of the S.S.D. we have also drawn on concepts developed by robotics such as autonomous navigation by means of the construction of maps in real time and self-localization in order to provide the equipment with a memory of the places already visited and better assist the user in orientation. The idea that humans can be supported by robots and intelligent systems in carrying out complex, delicate or risky tasks is becoming increasingly popular due to the continuous improvement of these means and their decreasing cost. When the blind person cannot or does not want to be accompanied by a companion, he or she can choose to use such an intelligent system which will be able to answer specific questions about the perceived environment or intervene independently by giving the most useful information at that moment.

L'apparecchiatura (1) ed il metodo per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti intemi, costituiscono appunto un dispositivo di sostituzione sensoriale o S.S.D. Il non vedente percepisce i dati spaziali (coordinate spaziali, forme e dimensioni degli oggetti) ed anche quelli visivi come luci e colori, interpretando le informazioni restituite dal dispositivo ad altri sensi (udito e/o tatto). The equipment (1) and the method for assisting a blind person in walking, orientation and understanding of the internal environments, constitute a sensory replacement device or S.S.D. The blind person perceives spatial data (spatial coordinates, shapes and sizes of objects) and also visual ones such as lights and colors, interpreting the information returned by the device to other senses (hearing and / or touch).

L'apparecchiatura (1) ed il metodo di sostituzione sensoriale (S.S.D.) per assistere una persona non vedente nella deambulazione, neH'orientamento e nella comprensione degli ambienti interni, comprende: un'unità di controllo (2), un blocco sensori (3), dei mezzi di segnalazione (4), un telecomando da polso (5), dei mezzi di alimentazione (6), dei mezzi di trasporto (7), ed una connessione (8) ad un server remoto. The apparatus (1) and the sensory replacement method (S.S.D.) to assist a blind person in walking, orientation and understanding of the internal environments, includes: a control unit (2), a sensor block (3 ), signaling means (4), a wrist remote control (5), power supply means (6), transport means (7), and a connection (8) to a remote server.

L'unità di controllo (2) consiste in: un ultrabook, o tablet PC o notebook o embedded computer, comprensivo di porte USB, scheda Bluetooth, scheda Wi-Fi e con a bordo un software per analizzare in real-time l'output dei sensori (3) ed attivare opportunamente i mezzi di segnalazione (4); The control unit (2) consists of: an ultrabook, or tablet PC or notebook or embedded computer, including USB ports, Bluetooth card, Wi-Fi card and with software on board to analyze the output in real-time sensors (3) and appropriately activate the signaling means (4);

Il blocco sensori (3) comprende uno o più dei seguenti elementi: The sensor block (3) comprises one or more of the following elements:

- dispositivo di scansione RGB-D (red green blue - depth) (3.1), - RGB-D (red green blue - depth) scanning device (3.1),

- dispositivo di hand-tracking (3.2), - hand-tracking device (3.2),

- sensori ultrasuoni (3.3), - ultrasonic sensors (3.3),

- IMU (Inertial Measurement Unii) (3.4), - IMU (Inertial Measurement Unii) (3.4),

- microfono (3.5). - microphone (3.5).

Detto dispositivo di scansione RGB-D (red green blue - depth) (3.1) comprendendo uno o più dei seguenti elementi: Said RGB-D (red green blue - depth) scanning device (3.1) comprising one or more of the following elements:

- proiettori laser infrarossi (3.1.1), - infrared laser projectors (3.1.1),

- telecamera infrarossi (3.1.2), - infrared camera (3.1.2),

- telecamera nel visibile (3.1 .3), - visible camera (3.1 .3),

- unità di processo (3.1.4). - process units (3.1.4).

Detto dispositivo di hand-tracking (3.2), comprendendo uno o più dei seguenti elementi: Said hand-tracking device (3.2), comprising one or more of the following elements:

- proiettore laser infrarossi, - infrared laser projector,

- telecamera infrarossi, - infrared camera,

- microcontrollore, - microcontroller,

- IMU (Inertial Measurement Unit) (3.2.1), - IMU (Inertial Measurement Unit) (3.2.1),

- elettrodi miografici (EMG) (3.2.2), - myographic electrodes (EMG) (3.2.2),

- amplificatore per segnali EMG. - amplifier for EMG signals.

Dette unità IMU (Inertial Measurement Unit) (3.4) e (3.2.1) possono integrare i seguenti sensori: These IMU units (Inertial Measurement Unit) (3.4) and (3.2.1) can integrate the following sensors:

- giroscopio a tre assi, - three-axis gyroscope,

- accelerometro a tre assi, - three-axis accelerometer,

- magnetometro a tre assi. - three-axis magnetometer.

I mezzi di segnalazione (4) possono comprendere uno o più dei seguenti elementi: The signaling means (4) may comprise one or more of the following elements:

- cuffie, auricolari o altoparlanti bluetooth (4.1), - bluetooth headphones, earphones or speakers (4.1),

- attuatoli vibro-tattili (4.2), - vibro-tactile actuators (4.2),

- bracciale o fascia per avambraccio (4.3). - cuff or forearm band (4.3).

Detto bracciale o detta fascia per avambraccio (4.3), comprendendo uno o più dei seguenti elementi: Said cuff or forearm band (4.3), comprising one or more of the following:

- stimolatore elettrico funzionale (FES) a 5 canali (4.3.1), - 5-channel functional electrical stimulator (FES) (4.3.1),

- attuatoli vibro-tattili (4.3.2), - vibro-tactile actuators (4.3.2),

- il succitato dispositivo di hand-tracking (3.2). - the aforementioned hand-tracking device (3.2).

Detto stimolatore elettrico funzionale (FES) a 5 canali (4.3.1), comprendendo uno o più dei seguenti elementi: Said 5-channel functional electrical stimulator (FES) (4.3.1), comprising one or more of the following elements:

- microcontrollore (4.3.1.1), - microcontroller (4.3.1.1),

- amplificatore (4.3.1.2), - amplifier (4.3.1.2),

- multiplexer (4.3.1.3), - multiplexer (4.3.1.3),

- elettrodi di poliimmide per (FES) (4.3.1.4). - polyimide electrodes for (FES) (4.3.1.4).

Il telecomando da polso (5) comprende uno o più dei seguenti elementi: The wrist remote control (5) includes one or more of the following:

- pulsante (5.1), - button (5.1),

- potenziometro (5.2), - potentiometer (5.2),

- superficie sensibile al tocco ed allo sfioramento (5.3), - surface sensitive to touch and touch (5.3),

- microfono (5.4), - microphone (5.4),

- altoparlante (5.5). - loudspeaker (5.5).

I mezzi di alimentazione (6) includono: The feeding means (6) include:

- batterie ricaricabili (6.1), - rechargeable batteries (6.1),

- interruttore (6.2), - switch (6.2),

- caricabatterie. - battery charger.

I mezzi di trasporto (7) possono includere: Means of transportation (7) may include:

- uno zainetto (7.1) per contenere l'unità di controllo (2) e le batterie ricaricabili (6.1), - a backpack (7.1) to contain the control unit (2) and the rechargeable batteries (6.1),

- un corpo scatolare (7.2) per accogliere il blocco sensori (3), - a box-shaped body (7.2) to accommodate the sensor block (3),

- una montatura per occhiale (7.3) in alternativa al corpo scatolare (7.2), - una imbracatura (7.4) per indossare il dispositivo. - a spectacle frame (7.3) as an alternative to the box body (7.2), - a harness (7.4) for wearing the device.

Verrà descritto nel prosieguo, a titolo esemplificativo e non limitativo, il L'utente del sistema descritto nel presente documento indossa l'imbracatura (7.4), in particolare, se si indossa per la prima volta, sarà necessario stringere o allentare le cinghie di regolazione del carico per adattare il sistema alle proprie dimensioni corporee, viceversa sarà sufficiente allacciarle. L'avvio del sistema, poiché costituito da più dispositivi, alcuni dei quali collegati all’unità di controllo (2) in modalità senza fili, è ottenuto sì mediante l'interruttore (6.2), ma va completato anche attraverso l'accensione dei singoli dispositivi senza fili: auricolari bluetooth (4.1), telecomando da polso (5), bracciale o fascia per avambraccio (4.3). The user of the system described in this document will be wearing the harness (7.4), by way of non-limiting example, in particular, if it is worn for the first time, it will be necessary to tighten or loosen the adjustment straps of the load to adapt the system to your body size, vice versa it will be sufficient to fasten them. The start-up of the system, since it consists of several devices, some of which connected to the control unit (2) in wireless mode, is obtained by means of the switch (6.2), but must also be completed by switching on the individual wireless devices: bluetooth earphones (4.1), wrist remote control (5), armband or forearm band (4.3).

A questo punto il non vedente potrà scegliere tra quattro modalità di utilizzo differenti: “Flash”, "Radar”, "Sonar”, “Tocco”. L'utente seleziona una modalità mediante la pressione del pulsante di comando (5.1) e simultaneamente pronuncia il nome della modalità. Se l'unità di controllo (2) è connessa alla rete mobile o Wi-Fi questa operazione sarà sufficiente, viceversa, un messaggio audio lo informerà che il sistema è off-line. Ruotando quindi la manopola (5.2) udrà i nomi delle modalità e potrà selezionarne una agendo sul pulsante (5.1). Per uscire successivamente dalla modalità di funzionamento scelta occorrerà premere sulla manopola stessa. Le figure 3A, 3B, 4, 5A e 5B mostrano evoluzione della forma di realizzazione del telecomando da polso (5), in particolare, la figura 3A illustra la pressione del bottone (5.1) e la figura 3B la rotazione della manopola (5.2) relativamente alla prima forma di realizzazione. Nella successiva forma di realizzazione, visibile in figura 4, il telecomando da polso (5) è stato sostituito da un tablet, uno smartphone o smartwatch collegato all'unità di controllo (2) mediante connessione bluetooth. In questo caso la pressione del pulsante (5.1) si compie con un tap dello schermo, la rotazione della manopola (5.2) con lo scorrimento di un dito sul touch-screen, mentre la pressione della manopola si ottiene con un doppio tap. Infine nella forma di realizzazione preferita è presente una unità di hand-tracking (3.2) la quale può soppiantare il telecomando da polso (5) in tutte le sue funzioni attraverso il riconoscimento dei gesti dell'utente, in particolare la figura 5A mostra il gesto utilizzato per indicare all'unità di controllo (2) che il prossimo gesto delle mani deve essere interpretato come un comando, mentre la figura 5B rappresenta il mimo di un tipico comando di selezione. At this point the blind person can choose between four different modes of use: "Flash", "Radar", "Sonar", "Touch". The user selects a mode by pressing the control button (5.1) and simultaneously pronounces the name of the mode. If the control unit (2) is connected to the mobile network or Wi-Fi this operation will be sufficient, vice versa, an audio message will inform it that the system is off-line. Then by turning the knob (5.2) you will hear the names of the modes and you can select one by pressing the button (5.1). To subsequently exit the selected operating mode, press the knob itself. Figures 3A, 3B, 4, 5A and 5B show evolution of the embodiment of the wrist remote control (5), in particular, figure 3A illustrates the pressing of the button (5.1) and figure 3B the rotation of the knob (5.2) relative to the first embodiment. In the subsequent embodiment, visible in Figure 4, the wrist remote control (5) has been replaced by a tablet, a smartphone or smartwatch connected to the control unit (2) by means of a Bluetooth connection. In this case the pressure of the button (5.1) is done with a tap of the screen, the rotation of the knob (5.2) with the sliding of a finger on the touch-screen, while the pressure of the knob is obtained with a double tap. Finally, in the preferred embodiment there is a hand-tracking unit (3.2) which can replace the wrist remote control (5) in all its functions by recognizing the user's gestures, in particular figure 5A shows the gesture used to indicate to the control unit (2) that the next hand gesture is to be interpreted as a command, while Figure 5B represents the mime of a typical selection command.

A prescindere dalla modalità di utilizzo scelta dal non vedente, vi è comunque un funzionamento di base che sarà di seguito descritto. Regardless of the mode of use chosen by the blind, there is still a basic operation that will be described below.

Il proiettore laser ad infrarossi (3.1.1) illumina l'ambiente con un pattern di punti noti che viene parzialmente riflesso dagli oggetti presenti entro il F.O.V. La telecamera ad infrarossi (3.1.2) riceve le variazioni indotte dagli oggetti nella scena attraverso le distorsioni subite dal pattern stesso. Il pattern proiettato e l'immagine definiscono due raggi nello spazio, così il proiettore e la camera posti ad una piccola distanza nota, sono sufficienti per operare una triangolazione. L'unità di processo (3.1.4) invierà quindi all'unità di controllo (2) la mappa di profondità (M) della scena ottenuta da questa triangolazione. L'unità di controllo (2) tratta la mappa di profondità (M) come un'immagine in scala di grigi e, applicando noti algoritmi di elaborazione delle immagini digitali, separa gli oggetti presenti sulla scena dallo sfondo e li insegue (object tracking) tra un fotogramma ed il successivo. Per ogni oggetto così rilevato, calcola quindi posizione e dimensioni del rettangolo circoscritto, indi genera un suono (mediante sintetizzatore midi virtuale) avente frequenza dipendente dall'altezza in centimetri dell'oggetto reale racchiuso da detto rettangolo come mostrato, a titolo esemplificativo e non limitativo, in tabella 1 ; The infrared laser projector (3.1.1) illuminates the environment with a pattern of known points that is partially reflected by the objects present within the F.O.V. The infrared camera (3.1.2) receives the variations induced by the objects in the scene through the distortions suffered by the pattern itself. The projected pattern and the image define two rays in space, so the projector and the camera placed at a small known distance are sufficient to perform a triangulation. The processing unit (3.1.4) will then send to the control unit (2) the depth map (M) of the scene obtained from this triangulation. The control unit (2) treats the depth map (M) as a grayscale image and, by applying known digital image processing algorithms, separates the objects present on the scene from the background and follows them (object tracking) between one frame and the next. For each object thus detected, it then calculates the position and size of the circumscribed rectangle, then generates a sound (using a virtual midi synthesizer) having a frequency dependent on the height in centimeters of the real object enclosed by said rectangle as shown, by way of non-limiting example. , in table 1;

T abella 1 : corrispondenza altezza dell'oggetto rilevato e nota musicale. Table 1: height correspondence of the detected object and musical note.

Altezza reale (cm) Frequenza nota (Hz) N° nota MIDI Nota musicale 1 ÷ 30 293,628 62 R<3⁄43] _ _ 31 ÷ 60 369,994 → 349,228 66 → 65 Fa#(3⁄4i-→ Fa^j.i_ 51 : 90 440 69 L3⁄44) _ Real height (cm) Note frequency (Hz) MIDI note number Musical note 1 ÷ 30 293.628 62 R <3⁄43] _ _ 31 ÷ 60 369.994 → 349.228 66 → 65 F # (3⁄4i- → F ^ j. i_ 51: 90 440 69 L3⁄44) _

?1 ÷ 120 587,33 74 Re<,4)? 1 ÷ 120 587.33 74 Re <, 4)

121 : 150 739,99 → 698,456 78 → 77 Fa#(4) → Fa<4) 151 ÷ 180 880 81 L3⁄45) _ _ 181 ÷ 210 1174,66 86 Re(5i121: 150 739.99 → 698.456 78 → 77 Fa # (4) → Fa <4) 151 ÷ 180 880 81 L3⁄45) _ _ 181 ÷ 210 1174.66 86 Re (5i

211 ÷ 240 1479,98 → 1396,91 90 → 89 Fa#<5)→ Fa(5)durata direttamente proporzionale alla base dello stesso, volume proporzionale alla distanza, dislocazione stereo dipendente dalla coordinata orizzontale del centro di massa del rettangolo suddetto e timbro dipendente dal colore predominante dell'oggetto, come mostrato in via esemplificativa in tabella 2; 211 ÷ 240 1479.98 → 1396.91 90 → 89 Fa # <5) → Fa (5) duration directly proportional to its base, volume proportional to distance, stereo dislocation depending on the horizontal coordinate of the center of mass of the aforementioned rectangle and stamp dependent on the predominant color of the object, as shown by way of example in table 2;

Tabella 2: corrispondenza colore dell'oggetto rilevato e strumento musicale, ipotizzata dal pittore Vassily Kandinsky ( 1866-1944), pittore russo, creatore delia pittura astratta Table 2: color correspondence of the detected object and musical instrument, hypothesized by the painter Vassily Kandinsky (1866-1944), Russian painter, creator of abstract painting

Colore oggetto Strumenti musicali Codice strumenti MIDI Giallo Tromba 57, 62, 63, 64 Object color Musical instruments MIDI instrument code Yellow Trumpet 57, 62, 63, 64

Arancione Campane, Coro 15, 113, 53 Orange Bells, Chorus 15, 113, 53

losso Fuba 59 losso Fuba 59

Verde Violino, Archi 41, 45. 46. 49, 50, 51 , 52 Azzurro Flauto 74, 76 Green Violin, Strings 41, 45. 46. 49, 50, 51, 52 Blue Flute 74, 76

ìlu Violoncello, Organo 43, 20 ìlu Cello, Organ 43, 20

Viola Como inglese, Fagotto 70, 71 Viola Como English, Bassoon 70, 71

L'unità di controllo (2) infine invia detta sequenza di suoni all'utente attraverso i mezzi di segnalazione (4). Se nell'insieme degli oggetti rilevati ve n'è almeno uno con distanza dall'utente minore della soglia di sicurezza (l'oggetto è oltre la soglia di sicurezza se l'utente stendendo un braccio in avanti e muovendosi di almeno un passo riesce a toccarlo) l'accordo generato passerà dalla triade maggiore alla rispettiva triade minore, come mostrato in tabella 1, in cui il simbolo della freccia a destra indica, a scopo puramente esemplificativo, il passaggio dalla triade di Re maggiore: “Re, Fa#, La”, a quella di Re minore: “Re, Fa, La”. The control unit (2) finally sends said sequence of sounds to the user through the signaling means (4). If in the set of detected objects there is at least one with a distance from the user less than the safety threshold (the object is beyond the safety threshold if the user extends an arm forward and moves at least one step touch it) the generated chord will pass from the major triad to the respective minor triad, as shown in table 1, where the arrow symbol on the right indicates, purely by way of example, the transition from the D major triad: "D, F #, La ”, to that of D minor:“ Re, Fa, La ”.

A seconda della modalità di funzionamento scelta dall'utente il sistema reagirà nei modi di seguito descritti: Depending on the operating mode chosen by the user, the system will react in the following ways:

i. Flash: il processo di generazione sonora avviene simultaneamente per tutti gli oggetti rilevati (vengono generati i rispettivi suoni aventi le caratteristiche suddette) ed è ripetuto r volte al secondo con r < framerate. the. Flash: the sound generation process occurs simultaneously for all detected objects (the respective sounds with the aforementioned characteristics are generated) and is repeated r times per second with r <framerate.

ii. Radar: il processo di generazione sonora procede da sinistra verso destra come se un bastone fosse fatto oscillare (r volte al secondo con r < framerate) dalla persona cieca con un movimento a ventaglio per scoprire gli spazi innanzi a sé. Quando la scansione virtuale inizia a coprire degli oggetti, vengono generati i rispettivi suoni aventi le caratteristiche suddette. E possibile inserire dei suoni specifici all'inizio e/o alla fine della scansione per fungere da marcatori. È anche auspicabile inserire una pausa dopo la scansione di durata personalizzabile. ii. Radar: the sound generation process proceeds from left to right as if a stick were swung (r times per second with r <framerate) by the blind person with a fan movement to discover the spaces in front of him. When the virtual scan begins to cover objects, the respective sounds with the aforementioned characteristics are generated. It is possible to insert specific sounds at the beginning and / or at the end of the scan to act as markers. It is also desirable to insert a pause after the scan of customizable duration.

iii. Sonar: l'unità di controllo (2) genera impulsi sonori simili a quelli emessi da un sonar: di frequenza, timbro e volume costanti (ma personalizzabili) ad intervalli regolari proporzionali alla minima distanza libera nella direzione indicata dal telecomando (5). iii. Sonar: the control unit (2) generates sound pulses similar to those emitted by a sonar: of constant frequency, tone and volume (but customizable) at regular intervals proportional to the minimum free distance in the direction indicated by the remote control (5).

iv. Tocco: l'unità di controllo (2) converte la mappa di profondità (M) in un modello tridimensionale (W), contestualmente riceve dal dispositivo di hand-tracking (3.2) le coordinate delle articolazioni (joints) delle dita dell'utente in uno spazio (J). Effettua allora una trasformazione di coordinate dallo spazio (J) al sistema di coordinate mondo (W). Quando le mani dell'utente entrano nel FOV del dispositivo di hand-tracking (3.2), gli attuatori vibro-tattili (4.2) emettono una vibrazione e nell'auricolare (4.1) si ode un breve scampanellio. Se le coordinate spaziali dei polpastrelli lambiscono qualche voxel (elemento di volume analogo al pixel ma in uno spazio tridimensionale) di contorno di un oggetto, l'unità di controllo (2) invierà un messaggio in bluetooth al bracciale (4.3). In questo caso il microcontrollore (4.3. 1.1) genererà i relativi segnali digitali di selezione dei canali ed uno analogico di attivazione muscolare che sarà amplificato (4.3. 1.2) e attraverso il multiplexer (4.3.1.3), convogliato ai relativi elettrodi (4.3. 1.4). I potenziali degli elettrodi stimoleranno finalmente i muscoli flessori o estensori del polso e delle dita per far chiudere o aprire le dita dell'utente sugli oggetti virtualmente presenti. Viceversa, se le coordinate spaziali dei polpastrelli oltrepassano i voxel di contorno di qualche oggetto, gli attuatori vibro-tattili (4.3.2) si attivano restando attivi fino a quando le dita dell'utente torneranno a lambire o usciranno dai contorni di tutti gli oggetti. Il non vedente può allora percepire a distanza, ma quasi come se la toccasse, la forma tridimensionale degli oggetti presenti nel FOV della fotocamera IR (3.1.2). iv. Touch: the control unit (2) converts the depth map (M) into a three-dimensional model (W), at the same time it receives from the hand-tracking device (3.2) the coordinates of the joints of the user's fingers in a space (J). It then performs a coordinate transformation from space (J) to the world coordinate system (W). When the user's hands enter the FOV of the hand-tracking device (3.2), the vibro-tactile actuators (4.2) vibrate and a short ringing sound is heard in the earpiece (4.1). If the spatial coordinates of the fingertips touch some voxel (volume element similar to the pixel but in a three-dimensional space) around an object, the control unit (2) will send a bluetooth message to the bracelet (4.3). In this case the microcontroller (4.3.1.1) will generate the relative digital signals for selecting the channels and an analogue one for muscle activation which will be amplified (4.3. 1.2) and through the multiplexer (4.3.1.3), conveyed to the relative electrodes (4.3. 1.4). The potentials of the electrodes will finally stimulate the flexor or extensor muscles of the wrist and fingers to make the user's fingers close or open on virtually present objects. Conversely, if the spatial coordinates of the fingertips go beyond the contour voxels of some object, the vibro-tactile actuators (4.3.2) are activated and remain active until the user's fingers return to touch or come out of the contours of all objects. . The blind person can then perceive at a distance, but almost as if touching it, the three-dimensional shape of the objects present in the FOV of the IR camera (3.1.2).

Si osservi che sia gli oggetti trasparenti che quelli di colore nero opaco, non riflettono sufficientemente la luce laser dando luogo ad aree di incertezza sulla mappa di profondità (M). Tale incertezza può però essere vantaggiosamente ridimensionata con l'uso di sensori ad ultrasuoni (3.3). Note that both transparent and opaque black objects do not reflect the laser light sufficiently, giving rise to areas of uncertainty on the depth map (M). However, this uncertainty can be advantageously reduced with the use of ultrasonic sensors (3.3).

Nella forma di realizzazione preferita, tre sensori ad ultrasuoni (3.3) rilevano la minima distanza tra essi e gli oggetti eventualmente presenti all'esterno del F.O.V. delle telecamere o all'interno ma facenti parte della predetta area di incertezza. I sensori ad ultrasuoni comunque non possono restituire un'informazione puntuale, come invece fa il sistema ad infrarossi, essi si limitano ad ascoltare l'eco del segnale incidente sulla superficie dell'oggetto indagato (il più possibile piana e normale al piano del sensore stesso) e a calcolare la lunghezza del suo cammino note che siano la velocità del suono ed il tempo tra l'emissione dell'impulso e la sua ricezione. La risposta è quindi una distanza in mm dal corpo solido più vicino e che per primo ha generato un segnale di eco. Per questa ragione l'unità di controllo (2) è orientata a privilegiare la risposta del sistema laser ad infrarossi piuttosto che quella dei sensori ad ultrasuoni. Vi sono dei casi in cui però le informazioni dei due sistemi vengono incrociate o in cui addirittura viene utilizzata solo quella ricevuta dai sensori ad ultrasuoni. Ad esempio l'unità di controllo (2) può talvolta riscontrare mia discrepanza, anche rilevante, tra l’informazione ricevuta dal sensore ad ultrasuoni centrale e quella ottenuta dall'elaborazione del pattern infrarosso proiettato centralmente. Ciò si spiega osservando le proprietà dei materiali colpiti dalla luce o dalle onde ultrasoniche, essi riguardo alla luce possono essere, come già detto, trasparenti o neri e opachi e riguardo agli ultrasuoni possono essere fonoassorbenti. Se dunque la distanza rilevata dal sensore ad ultrasuoni centrale è molto inferiore a quella misurata col sistema laser è probabile che di fronte ci sia qualcosa di simile ad una lastra di vetro. In questo caso l'unità di controllo (2) genera un messaggio vocale che avverte il non vedente. In the preferred embodiment, three ultrasonic sensors (3.3) detect the minimum distance between them and any objects present outside the F.O.V. cameras or inside but belonging to the aforementioned uncertainty area. However, ultrasonic sensors cannot return precise information, as the infrared system does, they limit themselves to listening to the echo of the signal incident on the surface of the object under investigation (as flat and normal as possible to the plane of the sensor itself. ) and to calculate the length of its path known as the speed of sound and the time between the emission of the impulse and its reception. The answer is therefore a distance in mm from the nearest solid body which first generated an echo signal. For this reason the control unit (2) is oriented to favor the response of the infrared laser system rather than that of the ultrasonic sensors. There are cases in which, however, the information of the two systems is crossed or in which only that received from the ultrasonic sensors is used. For example, the control unit (2) may sometimes find my discrepancy, even significant, between the information received from the central ultrasound sensor and that obtained from the processing of the centrally projected infrared pattern. This is explained by observing the properties of the materials affected by light or ultrasonic waves, they can be, as already mentioned, transparent or black and opaque, with respect to the ultrasounds they can be sound absorbing. Therefore, if the distance detected by the central ultrasound sensor is much lower than that measured with the laser system, it is likely that there is something similar to a glass plate in front of it. In this case the control unit (2) generates a voice message that warns the blind.

Inoltre il sensore ad ultrasuoni centrale è vantaggiosamente inclinato verso il basso di 30° per monitorare possibili ostacoli abbastanza vicini e bassi da non essere rilevabili dal ridotto FOV verticale del dispositivo di scansione RGB-D (3.1). Furthermore, the central ultrasonic sensor is advantageously inclined downwards by 30 ° to monitor possible obstacles close enough and low enough not to be detectable by the reduced vertical FOV of the RGB-D scanning device (3.1).

La scena può così essere vantaggiosamente fruita dal non vedente mediante il processo di sostituzione sensoriale appena descritto. Contestualmente la telecamera nel visibile (3.1.3) invia all'unità di controllo (2) un'immagine a colori della stessa scena inquadrata dalla telecamera ad infrarossi (3.1.2). L'utente del sistema proposto (1) può allora, mediante la pressione del pulsante di comando (5.1) e la rotazione della manopola (5.2), richiedere all'unità di controllo (2) di descrivere uno degli oggetti individuati, quelli situati approssimativamente nella stessa direzione della manopola (5.2). L'unità di controllo (2) effettua quindi una query sul database locale e, trovando la descrizione già presente, genera un messaggio vocale, tramite sintetizzatore vocale integrato (text to speech T.T.S.), contenete l'informazione sugli oggetti scelti e la invia al non vedente attraverso i mezzi di segnalazione (4). In caso di insuccesso invece, proverà ad effettuare una connessione dati in mobilità (attraverso una scheda modem GPRS/UMTS/HSDPA/LTE o tramite scheda Wi-Fi integrata) ad un server remoto (8) che offre il servizio di riconoscimento del contenuto delle immagini. A sessione stabilita, l'unità di controllo (2) invierà ad esso un messaggio, opportunamente formattato, contenente un'intestazione ed un corpo costituito dall'immagine RGB ottenuta ritagliando il fotogramma ricevuto dalla telecamera nel visibile (3.1.3) col profilo rettangolare dell'oggetto individuato al passo precedente. Il server (8) conclusa l'elaborazione, in caso di successo, invierà un messaggio di risposta contenete la descrizione testuale dell'oggetto, oppure il motivo del fallimento. L'unità di controllo (2) prowederà allora ad unire in un record le informazioni relative alle dimensioni ed alla distanza a quelle descrittive dell'oggetto, ad archiviare detto record sul database locale e a generare un messaggio vocale che sarà udibile dal non vedente attraverso i mezzi di segnalazione (4). The scene can thus be advantageously enjoyed by the blind through the sensory substitution process just described. At the same time, the visible camera (3.1.3) sends a color image of the same scene framed by the infrared camera (3.1.2) to the control unit (2). The user of the proposed system (1) can then, by pressing the control button (5.1) and turning the knob (5.2), request the control unit (2) to describe one of the identified objects, those located approximately in the same direction as the knob (5.2). The control unit (2) then queries the local database and, finding the description already present, generates a vocal message, via integrated speech synthesizer (text to speech T.T.S.), containing the information on the selected objects and sending it to the blind through signaling means (4). In case of failure, however, it will try to make a mobile data connection (via a GPRS / UMTS / HSDPA / LTE modem card or via integrated Wi-Fi card) to a remote server (8) which offers the service of recognizing the content of the images. Once the session has been established, the control unit (2) will send it a message, suitably formatted, containing a header and a body consisting of the RGB image obtained by cutting the frame received from the camera in the visible (3.1.3) with the rectangular profile of the object identified in the previous step. Once the processing is completed, the server (8) will send a reply message containing the textual description of the object, or the reason for the failure. The control unit (2) will then combine in a record the information relating to the dimensions and the distance to the descriptive information of the object, to file said record on the local database and to generate a voice message that will be audible by the blind through the signaling means (4).

Claims (9)

“Apparecchiatura e metodo di sostituzione sensoriale (S.S.D.) per assistere una persona non vedente nella deambulazione, neU'orientamento e nella comprensione degli ambienti interni” 1. Metodo per assistere un utente ipovedente o non vedente nella deambulazione, neH'orientamento e nella comprensione degli ambienti interni, caratterizzato dal fatto di comprendere le fasi di: - scansione dell'ambiente mediante proiettori laser (3.1.1) ed una telecamera (3.1.2) operanti nella regione dell'inffarosso, una telecamera sensibile alla radiazione visibile (3.1.3), e dei rilevatori ad ultrasuoni (3.3) connessi ad una unità di controllo (2) tramite cavo e HUB USB; detto insieme di sensori può essere alloggiato in unico corpo scatolare (7.2) allacciato con una cintura o imbracatura (7.3) all'altezza della cintura dell'utente ovvero essere distribuito in più aree del corpo in modo da assicurare una copertura maggiore, in particolare il proiettore (3.1.1) e la telecamera IR (3.1.2) insieme alla telecamera (3.1.3) in una forma di realizzazione, possono essere vantaggiosamente alloggiati su una montatura come un occhiale, mentre i rilevatori ad ultrasuoni (3.3) possono restare sulla cintura (7.3); - rilevamento dell'orientamento, del movimento lineare e angolare dell'utente mediante IMU (3.4) (Inertial Measurement Unit) comprensiva di accelerometri, giroscopi e magnetometri, collegata all'unità di controllo (2) tramite connessione bluetooth. - rilevamento della posizione nello spazio tridimensionale (J), delle mani e delle dita dell'utente mediante dispositivo di hand-tracking (3.2), connesso all'unità di controllo (2) tramite connessione bluetooth o USB. - conversione dei dati distanziometrici (M) provenienti dai sensori (3.1.1) e (3.1.2) e dei dati d'orientamento e posizione acquisiti dalla IMU (3.4), mediante algoritmi e modelli matematici in primitive geometriche espresse in coordinate mondo (W); - creazione di una mappa tridimensionale interattiva dell'ambiente già esplorato; - trasformazione di coordinate delle articolazioni (joints) delle dita dell'utente dallo spazio (J) avente l'origine sul dispositivo di hand-tracking (3.2), allo spazio (W); - segmentazione con estrazione degli oggetti dalla mappa (M); - generazione di una opportuna sequenza di note per una distribuzione di oggetti o accordi per oggetti sovrapposti, mediante sintetizzatore midi installato nell'unità di controllo (2); dette note di frequenza dipendente dall’altezza dei relativi oggetti e durata proporzionale alla loro estensione, distribuzione stereo (pan) dipendente dell'ascissa del centro di massa, timbro in una corrispondenza definita con il colore dominante; detti accordi di triade maggiore per oggetti tutti oltre una distanza di soglia dal non vedente e di triade minore altrimenti; - generazione di una opportuna sequenza di segnali di attivazione vibro-tattile ovvero F.E.S. (stimolazione elettro-funzionale), generati dal microcontrollore (4.3. 1.1) mediante appositi driver di potenza (4.3. 1.2) e guidati dal multiplexer (4. 3.1.3) ai rispettivi attuatoli; - conferimento all'utente della possibilità di scegliere tra più modalità di descrizione dell'ambiente e degli oggetti eventualmente ivi presenti; - interattività dell'utente nel selezionare con continuità la direzione da cui ricevere maggiori informazioni e i dettagli mediante un apposito telecomando da polso (5), ovvero nel “toccare” virtualmente mediante F.E.S. (4.3.1), gli eventuali oggetti presenti nella scena inquadrata dalla telecamera IR (3.1.2); - segnalazione sonora e/o vibro-tattile ovvero FES, degli oggetti e/o ostacoli presenti sul percorso dell'utente mediante i mezzi di segnalazione (4) ove per mezzi di segnalazione si intendono: cuffie, auricolari o altoparlanti bluetooth (4.1) e/o attuatori vibro-tattili (4.2) ed elettro-stimolatore F.E.S a cinque canali (4.3.1). "Apparatus and method of sensory substitution (S.S.D.) to assist a blind person in walking, orientation and understanding of internal environments" 1. Method to assist a visually impaired or blind user in walking, orientation and understanding of internal environments, characterized by understanding the steps of: - scanning of the environment by means of laser projectors (3.1.1) and a camera (3.1.2) operating in the business area, a camera sensitive to visible radiation (3.1.3), and ultrasound detectors (3.3) connected to a control unit (2) via cable and USB HUB; said set of sensors can be housed in a single box-like body (7.2) fastened with a belt or harness (7.3) at the height of the user's belt or be distributed in several areas of the body in order to ensure greater coverage, in particular the projector (3.1.1) and the IR camera (3.1.2) together with the camera (3.1.3) in one embodiment, can be advantageously housed on a mount like an eyeglass, while the ultrasonic detectors (3.3) can remain on the belt (7.3); - detection of the user's orientation, linear and angular movement by means of IMU (3.4) (Inertial Measurement Unit) including accelerometers, gyroscopes and magnetometers, connected to the control unit (2) via bluetooth connection. - detection of the position in three-dimensional space (J), of the user's hands and fingers by means of a hand-tracking device (3.2), connected to the control unit (2) via Bluetooth or USB connection. - conversion of the distance data (M) coming from the sensors (3.1.1) and (3.1.2) and of the orientation and position data acquired by the IMU (3.4), by means of algorithms and mathematical models in geometric primitives expressed in world coordinates ( W); - creation of an interactive three-dimensional map of the environment already explored; - transformation of coordinates of the joints of the user's fingers from the space (J) having the origin on the hand-tracking device (3.2), to the space (W); - segmentation with extraction of objects from the map (M); - generation of a suitable sequence of notes for a distribution of objects or chords for superimposed objects, by means of a midi synthesizer installed in the control unit (2); said frequency notes dependent on the height of the related objects and duration proportional to their extension, stereo distribution (pan) dependent on the abscissa of the center of mass, stamp in a defined correspondence with the dominant color; said agreements of major triad for objects all over a threshold distance from the blind and of minor triad otherwise; - generation of a suitable sequence of vibro-tactile activation signals or F.E.S. (electro-functional stimulation), generated by the microcontroller (4.3. 1.1) by means of special power drivers (4.3. 1.2) and driven by the multiplexer (4. 3.1.3) to the respective actuators; - giving the user the possibility to choose between several ways of describing the environment and any objects present therein; - user interactivity in continuously selecting the direction from which to receive more information and details using a special wrist remote control (5), or in virtually “touching” using F.E.S. (4.3.1), any objects present in the scene framed by the IR camera (3.1.2); - sound and / or vibro-tactile or FES signaling of objects and / or obstacles present in the path of the user by means of signaling (4) where by means of signaling we mean: headphones, earphones or bluetooth speakers (4.1) and / or vibro-tactile actuators (4.2) and five-channel F.E.S electro-stimulator (4.3.1). 2. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che detto telecomando da polso (5) ha una superficie sensibile al tocco ed allo sfioramento opportunamente affibbiata al polso dell'utente; detto telecomando comprendendo un software di riconoscimento vocale mediante connessione telematica a pacchetti di tipo mobile o Wi-Fi ad un server remoto; 2. Method according to claim 1, characterized by the fact that said wrist remote control (5) has a surface sensitive to touch and skimming suitably fastened to the user's wrist; said remote control comprising voice recognition software by means of a telematic connection to packets of the mobile or Wi-Fi type to a remote server; 3. Metodo secondo la rivendicazione 2, caratterizzato dal fatto di tradurre il testo restituito dal software di riconoscimento vocale ed i gesti compiuti dall'utente sul touch-screen del telecomando da polso (5) in messaggi di comando per l'unità di controllo (2); Method according to claim 2, characterized by the fact of translating the text returned by the voice recognition software and the gestures performed by the user on the touch-screen of the wrist remote control (5) into command messages for the control unit ( 2); 4. Metodo secondo le rivendicazioni precedenti, caratterizzato dal fatto di comprendere le fasi di: - selezione dell'utente, mediante il telecomando da polso (5), di una direzione spaziale su cui ricevere informazioni sugli oggetti già segnalati; - salvataggio di un record contenente l'immagine digitale in formato jpeg di una porzione delimitata da un contorno geometrico di un fraine, catturato dalla telecamera (3.1.3) insieme con i dati di orientamento, posizione e dimensione ricavati dai sensori (3.1.1), (3.1.2) e dalla IMU (3.4) precedentemente selezionata dall'utente; - condivisione con un server remoto, tramite una connessione telematica a pacchetti di tipo mobile o Wi-Fi (8), del record cosi creato; - ricezione, tramite la medesima connessione telematica (8), di un messaggio di testo contenente la risposta del server remoto, tale messaggio essendo la descrizione verbale dell'immagine jpeg precedentemente inviatagli o il motivo del fallimento nel processo di analisi della stessa. - generazione mediante l'unità di controllo (2) di un messaggio vocale per descrivere gli oggetti scelti dall'utente mediante il telecomando da polso (5), catturati in un frame dalla telecamera (3.1.3) e i cui contorni siano già stati determinati dal procedimento matematico (), salvati ed inviati al server remoto tramite la connessione telematica (8) ed il cui messaggio di risposta sia già stato ricevuto attraverso la stessa rete (8) dall'unità di controllo (2); 4. Method according to the preceding claims, characterized in that it comprises the steps of: - user selection, by means of the wrist remote control (5), of a spatial direction on which to receive information on the objects already reported; - saving a record containing the digital image in jpeg format of a portion delimited by a geometric outline of a frame, captured by the camera (3.1.3) together with the orientation, position and size data obtained from the sensors (3.1.1 ), (3.1.2) and from the IMU (3.4) previously selected by the user; - sharing with a remote server, through a telematic connection to packets of the mobile or Wi-Fi type (8), of the record thus created; - receipt, through the same telematic connection (8), of a text message containing the response from the remote server, this message being the verbal description of the jpeg image previously sent to it or the reason for the failure in the analysis process of the same. - generation by the control unit (2) of a voice message to describe the objects selected by the user by means of the wrist remote control (5), captured in a frame by the camera (3.1.3) and whose contours have already been determined by the mathematical procedure (), saved and sent to the remote server through the telematic connection (8) and whose response message has already been received through the same network (8) by the control unit (2); 5. Metodo secondo le rivendicazioni precedenti, caratterizzato dal fatto che le funzioni espletate da detto telecomando da polso (5) possono essere vantaggiosamente svolte dall'unità di hand-tracking (3.2), in particolare, specifici gesti delle mani dell'utente sono utilizzati per navigare nel menu dell'unità di controllo (2) mentre la direzione su cui ricevere le informazioni sugli oggetti già segnalati, già citata nella rivendicazione numero 4, diviene la direzione indicata dalla mano dominante; 5. Method according to the preceding claims, characterized in that the functions performed by said wrist remote control (5) can be advantageously performed by the hand-tracking unit (3.2), in particular, specific hand gestures of the user are used to navigate in the menu of the control unit (2) while the direction on which to receive the information on the objects already reported, already mentioned in claim number 4, becomes the direction indicated by the dominant hand; 6. Corpo scatolare (7.2) secondo il disegno di fig.(), comprendendo: - una parte anteriore avente i supporti per fissare il proiettore o i proiettori laser (3.1.1), la telecamera RGB (3.1.3), la telecamera IR (3.1.2), i rilevatori ad ultrasuoni (3.3) e le rispettive board di controllo; - una parte posteriore con i supporti per l'HUB USB, la presa USB e quella di alimentazione, nonché i passanti per la cintura. 6. Box-shaped body (7.2) according to the drawing of fig. (), Comprising: - a front part having the supports for fixing the laser projector or projectors (3.1.1), the RGB camera (3.1.3), the IR camera (3.1.2), the ultrasonic detectors (3.3) and the respective check; - a rear part with supports for the USB HUB, the USB socket and the power socket, as well as the belt loops. 7. Montatura per occhiale secondo il disegno di fig.(), comprendendo: - una superficie piana e rettangolare ma con gli angoli arrotondati avente i supporti per fissare il proiettore laser (3.1.1), la telecamera RGB (3.1.3), la telecamera IR (3.1.2) e le rispettive board di controllo; - stanghette di appoggio sulle orecchie con supporto per batterie (6.1) e auricolari (4.1); 8. Apparecchiatura (1) per assistere un utente ipovedente o non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni, caratterizzata dal fatto di comprendere: - un blocco sensori (3) costituito da: 1MU (Inertial Measurement Unit) (3.4), unità di hand-tracking (3.2), un corpo scatolare (7.2) ospitante uno o più proiettori laser (3.1.1), telecamera RGB (3.1.3), telecamera IR (3.1.2), rilevatori ad ultrasuoni (3.3); - mezzi di segnalazione (4) costituiti da: cuffie o auricolari bluetooth (4.1) e/o attuatori vibro-tattili (4.2), stimolatore elettrico funzionale (FES) a cinque canali (4.3.1); - un telecomando da polso (5); - mezzi di alimentazione (6) per dare energia elettrica a basso voltaggio a tutti i componenti; - un'unità di controllo (2) costituita da un ultrabook, o un tablet PC, o un notebook, oppure un embedded computer, connessa tramite cavo USB e/o HUB USB al blocco sensori (3), a mezzi di segnalazione (4) tramite jack audio o connessione bluetooth; tramite connessione bluetooth al telecomando da polso (5), ad internet tramite una connessione telematica a pacchetti di tipo mobile o Wi-Fi (8); detta unità di controllo (2) comprendendo: - un software di generazione interattiva della mappa tridimensionale dell'ambiente 7. Spectacle frame according to the drawing in fig. (), Including: - a flat and rectangular surface but with rounded corners having the supports to fix the laser projector (3.1.1), the RGB camera (3.1.3), the IR camera (3.1.2) and the respective control boards; - ear support arms with support for batteries (6.1) and earphones (4.1); 8. Equipment (1) to assist a visually impaired or blind user in walking, orienting and understanding indoor environments, characterized by understanding: - a sensor block (3) consisting of: 1MU (Inertial Measurement Unit) (3.4), hand-tracking unit (3.2), a box-shaped body (7.2) housing one or more laser projectors (3.1.1), RGB camera ( 3.1.3), IR camera (3.1.2), ultrasound detectors (3.3); - signaling means (4) consisting of: bluetooth headphones or earphones (4.1) and / or vibro-tactile actuators (4.2), five-channel functional electrical stimulator (FES) (4.3.1); - a wrist remote control (5); - power supply means (6) for supplying low voltage electrical energy to all components; - a control unit (2) consisting of an ultrabook, or a tablet PC, or a notebook, or an embedded computer, connected via USB cable and / or USB HUB to the sensor block (3), to signaling means (4 ) via audio jack or bluetooth connection; via bluetooth connection to the wrist remote control (5), to the internet via a telematic connection to mobile or Wi-Fi packages (8); said control unit (2) comprising: - an interactive generation software of the three-dimensional map of the environment S.L.A.M. (simultaneus localization and mapping); - un software di elaborazione delle immagini digitali che separa gli oggetti presenti sulla scena dallo sfondo, li insegue tra un fotogramma ed il successivo, genera una opportuna sequenza di note musicali mediante sintetizzatore MIDI virtuale, li invia all'utente tramite i mezzi di segnalazione (4); SLAM. (simultaneus localization and mapping); - a digital image processing software that separates the objects present on the scene from the background, follows them between one frame and the next, generates a suitable sequence of musical notes by means of a virtual MIDI synthesizer, sends them to the user via the signaling means ( 4); 9. Apparecchiatura (1) secondo la rivendicazione 8, caratterizzata dal fatto che detto telecomando da polso (5) è uno smartwatch, smartphone o tablet o un'altra forma di realizzazione di superficie sensibile al tocco ed allo sfioramento opportunamente affibbiata al polso dell'utente; detto telecomando comprendendo: - una connessione telematica a pacchetti di tipo mobile o Wi-Fi; - un software per il riconoscimento vocale che utilizzi detta connessione; - un'app per tradurre il testo riconosciuto ed i gesti compiuti sul touch-screen dall'utente in messaggi di comando per l'unità di controllo (2); - una connessione bluetooth aU'unità di controllo (2).9. Apparatus (1) according to claim 8, characterized in that said wrist remote control (5) is a smartwatch, smartphone or tablet or another embodiment of a touch-sensitive surface suitably fastened to the wrist of the user; said remote control including: - a telematic connection to packets of the mobile or Wi-Fi type; - voice recognition software that uses said connection; - an app to translate the recognized text and the gestures performed on the touch-screen by the user into command messages for the control unit (2); - a bluetooth connection to the control unit (2).
IT102016000079587A 2016-07-28 2016-07-28 EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. IT201600079587A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
IT102016000079587A IT201600079587A1 (en) 2016-07-28 2016-07-28 EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102016000079587A IT201600079587A1 (en) 2016-07-28 2016-07-28 EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.

Publications (1)

Publication Number Publication Date
IT201600079587A1 true IT201600079587A1 (en) 2018-01-28

Family

ID=57960575

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102016000079587A IT201600079587A1 (en) 2016-07-28 2016-07-28 EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.

Country Status (1)

Country Link
IT (1) IT201600079587A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1586832A (en) * 2004-10-15 2005-03-02 东南大学 Virtual object surface grain touching sensor
US20060079817A1 (en) * 2004-09-29 2006-04-13 Dewald Julius P System and methods to overcome gravity-induced dysfunction in extremity paresis
US20090122161A1 (en) * 2007-11-08 2009-05-14 Technical Vision Inc. Image to sound conversion device
US20120268563A1 (en) * 2011-04-22 2012-10-25 Microsoft Corporation Augmented auditory perception for the visually impaired
ES1078358U (en) * 2012-11-08 2013-01-03 Valeriy KLETNOY Portable blind communicator (Machine-translation by Google Translate, not legally binding)
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
WO2015083183A1 (en) * 2013-12-03 2015-06-11 Verma Abhinav S Hand wearable haptic feedback based navigation device
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060079817A1 (en) * 2004-09-29 2006-04-13 Dewald Julius P System and methods to overcome gravity-induced dysfunction in extremity paresis
CN1586832A (en) * 2004-10-15 2005-03-02 东南大学 Virtual object surface grain touching sensor
US20090122161A1 (en) * 2007-11-08 2009-05-14 Technical Vision Inc. Image to sound conversion device
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US20120268563A1 (en) * 2011-04-22 2012-10-25 Microsoft Corporation Augmented auditory perception for the visually impaired
ES1078358U (en) * 2012-11-08 2013-01-03 Valeriy KLETNOY Portable blind communicator (Machine-translation by Google Translate, not legally binding)
WO2015083183A1 (en) * 2013-12-03 2015-06-11 Verma Abhinav S Hand wearable haptic feedback based navigation device
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance

Similar Documents

Publication Publication Date Title
Hoang et al. Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile Kinect
Presti et al. WatchOut: Obstacle sonification for people with visual impairment or blindness
Velázquez Wearable assistive devices for the blind
Dakopoulos et al. Wearable obstacle avoidance electronic travel aids for blind: a survey
CN104983511A (en) Voice-helping intelligent glasses system aiming at totally-blind visual handicapped
Stoll et al. Navigating from a depth image converted into sound
Brock Interactive maps for visually impaired people: design, usability and spatial cognition
Hu et al. Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering
Bouteraa Design and development of a wearable assistive device integrating a fuzzy decision support system for blind and visually impaired people
CN113196390A (en) Perception system based on hearing and use method thereof
Zhou et al. A smart\" virtual eye\" mobile system for the visually impaired
CN106205239A (en) A kind of electronic dictionary system based on 3D three-dimensional imaging
CN208255530U (en) Intelligent neck wears equipment
Hoang et al. Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect
JP2011250928A (en) Device, method and program for space recognition for visually handicapped person
Bouteraa Smart real time wearable navigation support system for BVIP
Masal et al. Development of a visual to audio and tactile substitution system for mobility and orientation of visually impaired people: a review
WO2023019376A1 (en) Tactile sensing system and method for using same
Argüello Prada et al. A belt-like assistive device for visually impaired people: Toward a more collaborative approach
Bouzit et al. Tactile feedback navigation handle for the visually impaired
Hossain et al. State of the art review on walking support system for visually impaired people
IT201600079587A1 (en) EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.
Gómez et al. A mobile navigation system based on visual cues for pedestrians with cognitive disabilities
TW202033173A (en) Intelligent laser-sensing virtual walking stick device for the visually impaired for achieving the function of a voice interactive assistant and preventing the ears from losing the ability of listening environmental sounds due to the use of general earphones
Palogiannidis et al. The Development of a Spatial Sound System in the Navigation of Visually Impaired People