IT201600079587A1 - EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. - Google Patents
EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS.Info
- Publication number
- IT201600079587A1 IT201600079587A1 IT102016000079587A IT201600079587A IT201600079587A1 IT 201600079587 A1 IT201600079587 A1 IT 201600079587A1 IT 102016000079587 A IT102016000079587 A IT 102016000079587A IT 201600079587 A IT201600079587 A IT 201600079587A IT 201600079587 A1 IT201600079587 A1 IT 201600079587A1
- Authority
- IT
- Italy
- Prior art keywords
- user
- control unit
- camera
- objects
- remote control
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000001953 sensory effect Effects 0.000 title claims description 9
- 230000009184 walking Effects 0.000 title claims description 8
- 210000000707 wrist Anatomy 0.000 claims description 18
- 230000011664 signaling Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000001771 impaired effect Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 210000004247 hand Anatomy 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001755 vocal effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000004807 localization Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000013178 mathematical model Methods 0.000 claims 1
- 230000005855 radiation Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 230000000638 stimulation Effects 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 208000029257 vision disease Diseases 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000288673 Chiroptera Species 0.000 description 1
- 241001342895 Chorus Species 0.000 description 1
- 241001125840 Coryphaenidae Species 0.000 description 1
- 241000253999 Phasmatodea Species 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 241000208443 Sarracenia flava Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229940096118 ella Drugs 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- OOLLAFOLCSJHRE-ZHAKMVSLSA-N ulipristal acetate Chemical compound C1=CC(N(C)C)=CC=C1[C@@H]1C2=C3CCC(=O)C=C3CC[C@H]2[C@H](CC[C@]2(OC(C)=O)C(C)=O)[C@]2(C)C1 OOLLAFOLCSJHRE-ZHAKMVSLSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Pain & Pain Management (AREA)
- Animal Behavior & Ethology (AREA)
- Physical Education & Sports Medicine (AREA)
- Manipulator (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Educational Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Rehabilitation Therapy (AREA)
- Automation & Control Theory (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
Description
“Apparecchiatura e metodo di sostituzione sensoriale (S.S.D.) per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni” "Equipment and method of sensory substitution (S.S.D.) to assist a blind person in walking, orientation and understanding of internal environments"
La presente domanda di brevetto per invenzione industriale ha per oggetto un'apparecchiatura ed un metodo per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni anche sconosciuti. The present patent application for industrial invention relates to an apparatus and a method for assisting a blind person in walking, in orientation and in understanding even unknown internal environments.
In particolare l'apparecchiatura ed il metodo, secondo il trovato, sono stati ideati al fine di guidare persone non vedenti, o con grave deficit visivo, durante le loro attività quotidiane. In particular, the apparatus and the method according to the invention have been devised in order to guide blind people or people with severe visual impairment during their daily activities.
Secondo l'Organizzazione mondiale della sanità (OMS) (2007) sulla Terra vivono 314 milioni di persone con handicap visivo grave (45 milioni di ciechi e 269 milioni di ipovedenti). Nonostante mezzo secolo di sforzi il peso globale della cecità è in crescita soprattutto a causa della crescita della popolazione e dell'invecchiamento. Secondo il WHO (World Health Organization) se non si mobilitano nuove risorse economiche per frenare l’attuale tendenza, entro il 2020 il peso globale della cecità potrà raddoppiare. Ancora oggi la maggior parte delle persone non vedenti utilizza solo bastoni da passeggio, cani guida e semplici dispositivi elettronici con attivazione vocale (orologi, telefoni...). Con il miglioramento costante delle caratteristiche dei dispositivi elettronici e con l'introduzione nel mercato di nuovi sensori sempre più robusti ed affidabili è divenuto possibile e certamente auspicabile migliorare la qualità della vita delle persone diversamente abili e dei diversabili visivi in particolare. According to the World Health Organization (WHO) (2007), 314 million people with severe visual impairment live on Earth (45 million blind and 269 million visually impaired). Despite half a century of effort, the global burden of blindness is growing mainly due to population growth and aging. According to the WHO (World Health Organization), if new economic resources are not mobilized to curb the current trend, the global burden of blindness could double by 2020. Even today, most blind people use only walking sticks, guide dogs and simple electronic devices with voice activation (watches, telephones ...). With the constant improvement of the characteristics of electronic devices and with the introduction on the market of new and more robust and reliable sensors, it has become possible and certainly desirable to improve the quality of life of people with disabilities and of visually impaired people in particular.
Trattando il problema dell’ orientamento di una persona non vedente, si evidenzia la necessità di comprendere in che modo il cervello crei la rappresentazione del mondo esterno in una persona con visus normale ovvero in una persona congenitamente non vedente. By dealing with the problem of orientation of a blind person, the need to understand how the brain creates the representation of the external world in a person with normal vision or in a congenitally blind person is highlighted.
Nel loro articolo, pubblicato il 5 Marzo del 2013 sulla rivista PLOS ONE, dal titolo: Beyond Motor Scheme: A Supramodal Distri buted Represe ntation in thè Action-Observation Network i ricercatori dell’Università di Pisa Emiliano Ricciardi, Giacomo Handjaras, Daniela Bonino, Tommaso Vecchi, Luciano Fadiga e Pietro Pietrini pervengono ad una conclusione sorprendente in quanto lo studio ha dimostrato che la rappresentazione del mondo esterno nel nostro cervello si basa su un codice neurale astratto, che non dipende da una singola modalità sensoriale e che anzi si sviluppa identico anche in chi nasce privo della vista. Ha sottolineato Pietrini: «In altre parole, i non vedenti codificano ed elaborano la percezione uditiva di un’azione come se l’avessero veduta». In their article, published on 5 March 2013 in the PLOS ONE magazine, entitled: Beyond Motor Scheme: A Supramodal Distri buted Represe ntation in the Action-Observation Network the researchers of the University of Pisa Emiliano Ricciardi, Giacomo Handjaras, Daniela Bonino, Tommaso Vecchi, Luciano Fadiga and Pietro Pietrini arrive at a surprising conclusion as the study has shown that the representation of the external world in our brain is based on an abstract neural code, which does not depend on a single sensory modality and which indeed develops identical even in those born without sight. Pietrini emphasized: "In other words, blind people encode and process the auditory perception of an action as if they had seen it".
È stato inoltre dimostrato da Ella Striem-Amit e Amir Amedi, della Hebrew University of Jerusalem, nelTarticolo Visual Cortex Extrastriate Body-Selective Area Activation in Congenitally Blind People “Seeing” by Using Sounds pubblicato il 6 Marzo del 2014 sulla rivista scientifica Current Biology che persone cieche dalla nascita, che hanno imparato a leggere attraverso il tatto utilizzando il metodo Braille, o che hanno utilizzato un sistema di sostituzione sensoriale (sensory substitution device S.S.D.), come The vOICe ideato nel 1992 da Peter Meijer nei laboratori di ricerca della Philips, attivano le stesse aree della corteccia visiva utilizzate normalmente dai vedenti. «L'idea - alla base dell’S.S.D. secondo lo stesso Dr. Amedi che ha ora perfezionato The vOICe chiamandolo EyeMusic — è sostituire le informazioni da un senso mancante utilizzando come input un senso diverso. Proprio come fanno pipistrelli e delfini che usano suoni ed eco-localizzazione per vedere con le orecchie». It was also demonstrated by Ella Striem-Amit and Amir Amedi, of the Hebrew University of Jerusalem, in the article Visual Cortex Extrastriate Body-Selective Area Activation in Congenitally Blind People "Seeing" by Using Sounds published on March 6, 2014 in the scientific journal Current Biology which people blind from birth, who have learned to read by touch using the Braille method, or who have used a sensory substitution device (S.S.D.), such as The vOICe conceived in 1992 by Peter Meijer in the research laboratories of Philips, they activate the same areas of the visual cortex normally used by sighted people. "The idea - at the basis of the SSD according to Dr. Amedi himself who has now perfected The VOICe calling it EyeMusic - it's replacing information from a missing sense by using a different sense as input. Just like bats and dolphins do that use sounds and echo-localization to see with their ears ».
Effettivamente EyeMusic ha migliorato l’usabilità del dispositivo S.S.D. rispetto a The vOICe soprattutto per il maggior comfort e l'accettabilità del sistema dovuti all’introduzione della scala pentatonica che, nelle frequenti sovrapposizioni di nota, elimina le dissonanze che si creavano con la scala diatonica e con l'utilizzo di strumenti midi con range di frequenza limitato a 1568 Hz in luogo degli oscillatori sinusoidali che correvano fino a 5000 Hz del sistema The vOICe i cui suoni generati venivano spesso percepiti come sgradevoli, riducendo così anche i tempi di apprendimento dell'utente per creare un'immagine mentale dettagliata dell'ambiente. EyeMusic has actually improved the usability of the S.S.D. compared to The VOICe above all for the greater comfort and acceptability of the system due to the introduction of the pentatonic scale which, in the frequent overlapping of notes, eliminates the dissonances that were created with the diatonic scale and with the use of midi instruments with range frequency limited to 1568 Hz in place of the sine oscillators that ran up to 5000 Hz of The VOICe system whose generated sounds were often perceived as unpleasant, thus also reducing the user's learning time to create a detailed mental image of the environment.
Lo stesso Meijer si rendeva conto dei limiti del sistema: «non è in grado di trasmettere la percezione della profondità, né di far percepire se degli oggetti sono in movimento, ed è difficile da padroneggiare» Meijer himself was aware of the limits of the system: "it is unable to transmit the perception of depth, nor to make one perceive whether objects are in motion, and it is difficult to master"
Sia il sistema The vOICe che EyeMusic utilizzano una telecamera come unico strumento per catturare l'immagine dell'ambiente in cui si muove il non vedente. Il seguente trovato si avvale dell'introduzione nel mercato videoludico di sensori RGB-D (red green blue - depth) a basso costo, i quali rendono possibile analizzare anche la profondità della scena inquadrata e oggetto del processo di sostituzione sensoriale, apportando quindi una significativa miglioria ai sistemi suddetti. In particolare è ragionevole caratterizzare con un volume audio differente gli oggetti presenti nel F.O.V. (field of view) del dispositivo RGB-D, non in base alla loro luminosità, ma alla distanza stimata tra essi ed il non vedente, in modo che si possano far suonare con un volume più alto gli oggetti più vicini lasciando il resto sullo sfondo, evitando quindi di inflazionare la restituzione acustica dell'informazione . Both The vOICe system and EyeMusic use a camera as the only tool to capture the image of the environment in which the blind person is moving. The following invention makes use of the introduction in the videogame market of low cost RGB-D (red green blue - depth) sensors, which make it possible to analyze also the depth of the framed scene and object of the sensory substitution process, thus making a significant improvement to the aforementioned systems. In particular, it is reasonable to characterize the objects present in the F.O.V. with a different audio volume. (field of view) of the RGB-D device, not based on their brightness, but on the estimated distance between them and the blind person, so that the closest objects can be played with a higher volume, leaving the rest in the background , thus avoiding inflating the acoustic return of information.
Parallelamente al miglioramento del dispositivo S.S.D. abbiamo inoltre attinto concetti sviluppati dalla robotica come la navigazione autonoma per mezzo della costruzione di mappe in tempo reale ed auto-localizzazione al fine di dotare l'apparecchiatura di una memoria dei luoghi già visitati ed assistere meglio l'utente nell'orientamento. L'idea che l'uomo possa essere supportato da robot e sistemi intelligenti nello svolgimento di compiti complessi, delicati o rischiosi sta affermandosi sempre più per il continuo perfezionarsi di questi mezzi e per il loro costo decrescente. Quando la persona non vedente non può o non vuole essere affiancata da un accompagnatore, potrà scegliere di utilizzare un tale sistema intelligente il quale potrà rispondere a domande specifiche sull'ambiente percepito o intervenire in autonomia dando le informazioni più utili in quel momento. Parallel to the improvement of the S.S.D. we have also drawn on concepts developed by robotics such as autonomous navigation by means of the construction of maps in real time and self-localization in order to provide the equipment with a memory of the places already visited and better assist the user in orientation. The idea that humans can be supported by robots and intelligent systems in carrying out complex, delicate or risky tasks is becoming increasingly popular due to the continuous improvement of these means and their decreasing cost. When the blind person cannot or does not want to be accompanied by a companion, he or she can choose to use such an intelligent system which will be able to answer specific questions about the perceived environment or intervene independently by giving the most useful information at that moment.
L'apparecchiatura (1) ed il metodo per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti intemi, costituiscono appunto un dispositivo di sostituzione sensoriale o S.S.D. Il non vedente percepisce i dati spaziali (coordinate spaziali, forme e dimensioni degli oggetti) ed anche quelli visivi come luci e colori, interpretando le informazioni restituite dal dispositivo ad altri sensi (udito e/o tatto). The equipment (1) and the method for assisting a blind person in walking, orientation and understanding of the internal environments, constitute a sensory replacement device or S.S.D. The blind person perceives spatial data (spatial coordinates, shapes and sizes of objects) and also visual ones such as lights and colors, interpreting the information returned by the device to other senses (hearing and / or touch).
L'apparecchiatura (1) ed il metodo di sostituzione sensoriale (S.S.D.) per assistere una persona non vedente nella deambulazione, neH'orientamento e nella comprensione degli ambienti interni, comprende: un'unità di controllo (2), un blocco sensori (3), dei mezzi di segnalazione (4), un telecomando da polso (5), dei mezzi di alimentazione (6), dei mezzi di trasporto (7), ed una connessione (8) ad un server remoto. The apparatus (1) and the sensory replacement method (S.S.D.) to assist a blind person in walking, orientation and understanding of the internal environments, includes: a control unit (2), a sensor block (3 ), signaling means (4), a wrist remote control (5), power supply means (6), transport means (7), and a connection (8) to a remote server.
L'unità di controllo (2) consiste in: un ultrabook, o tablet PC o notebook o embedded computer, comprensivo di porte USB, scheda Bluetooth, scheda Wi-Fi e con a bordo un software per analizzare in real-time l'output dei sensori (3) ed attivare opportunamente i mezzi di segnalazione (4); The control unit (2) consists of: an ultrabook, or tablet PC or notebook or embedded computer, including USB ports, Bluetooth card, Wi-Fi card and with software on board to analyze the output in real-time sensors (3) and appropriately activate the signaling means (4);
Il blocco sensori (3) comprende uno o più dei seguenti elementi: The sensor block (3) comprises one or more of the following elements:
- dispositivo di scansione RGB-D (red green blue - depth) (3.1), - RGB-D (red green blue - depth) scanning device (3.1),
- dispositivo di hand-tracking (3.2), - hand-tracking device (3.2),
- sensori ultrasuoni (3.3), - ultrasonic sensors (3.3),
- IMU (Inertial Measurement Unii) (3.4), - IMU (Inertial Measurement Unii) (3.4),
- microfono (3.5). - microphone (3.5).
Detto dispositivo di scansione RGB-D (red green blue - depth) (3.1) comprendendo uno o più dei seguenti elementi: Said RGB-D (red green blue - depth) scanning device (3.1) comprising one or more of the following elements:
- proiettori laser infrarossi (3.1.1), - infrared laser projectors (3.1.1),
- telecamera infrarossi (3.1.2), - infrared camera (3.1.2),
- telecamera nel visibile (3.1 .3), - visible camera (3.1 .3),
- unità di processo (3.1.4). - process units (3.1.4).
Detto dispositivo di hand-tracking (3.2), comprendendo uno o più dei seguenti elementi: Said hand-tracking device (3.2), comprising one or more of the following elements:
- proiettore laser infrarossi, - infrared laser projector,
- telecamera infrarossi, - infrared camera,
- microcontrollore, - microcontroller,
- IMU (Inertial Measurement Unit) (3.2.1), - IMU (Inertial Measurement Unit) (3.2.1),
- elettrodi miografici (EMG) (3.2.2), - myographic electrodes (EMG) (3.2.2),
- amplificatore per segnali EMG. - amplifier for EMG signals.
Dette unità IMU (Inertial Measurement Unit) (3.4) e (3.2.1) possono integrare i seguenti sensori: These IMU units (Inertial Measurement Unit) (3.4) and (3.2.1) can integrate the following sensors:
- giroscopio a tre assi, - three-axis gyroscope,
- accelerometro a tre assi, - three-axis accelerometer,
- magnetometro a tre assi. - three-axis magnetometer.
I mezzi di segnalazione (4) possono comprendere uno o più dei seguenti elementi: The signaling means (4) may comprise one or more of the following elements:
- cuffie, auricolari o altoparlanti bluetooth (4.1), - bluetooth headphones, earphones or speakers (4.1),
- attuatoli vibro-tattili (4.2), - vibro-tactile actuators (4.2),
- bracciale o fascia per avambraccio (4.3). - cuff or forearm band (4.3).
Detto bracciale o detta fascia per avambraccio (4.3), comprendendo uno o più dei seguenti elementi: Said cuff or forearm band (4.3), comprising one or more of the following:
- stimolatore elettrico funzionale (FES) a 5 canali (4.3.1), - 5-channel functional electrical stimulator (FES) (4.3.1),
- attuatoli vibro-tattili (4.3.2), - vibro-tactile actuators (4.3.2),
- il succitato dispositivo di hand-tracking (3.2). - the aforementioned hand-tracking device (3.2).
Detto stimolatore elettrico funzionale (FES) a 5 canali (4.3.1), comprendendo uno o più dei seguenti elementi: Said 5-channel functional electrical stimulator (FES) (4.3.1), comprising one or more of the following elements:
- microcontrollore (4.3.1.1), - microcontroller (4.3.1.1),
- amplificatore (4.3.1.2), - amplifier (4.3.1.2),
- multiplexer (4.3.1.3), - multiplexer (4.3.1.3),
- elettrodi di poliimmide per (FES) (4.3.1.4). - polyimide electrodes for (FES) (4.3.1.4).
Il telecomando da polso (5) comprende uno o più dei seguenti elementi: The wrist remote control (5) includes one or more of the following:
- pulsante (5.1), - button (5.1),
- potenziometro (5.2), - potentiometer (5.2),
- superficie sensibile al tocco ed allo sfioramento (5.3), - surface sensitive to touch and touch (5.3),
- microfono (5.4), - microphone (5.4),
- altoparlante (5.5). - loudspeaker (5.5).
I mezzi di alimentazione (6) includono: The feeding means (6) include:
- batterie ricaricabili (6.1), - rechargeable batteries (6.1),
- interruttore (6.2), - switch (6.2),
- caricabatterie. - battery charger.
I mezzi di trasporto (7) possono includere: Means of transportation (7) may include:
- uno zainetto (7.1) per contenere l'unità di controllo (2) e le batterie ricaricabili (6.1), - a backpack (7.1) to contain the control unit (2) and the rechargeable batteries (6.1),
- un corpo scatolare (7.2) per accogliere il blocco sensori (3), - a box-shaped body (7.2) to accommodate the sensor block (3),
- una montatura per occhiale (7.3) in alternativa al corpo scatolare (7.2), - una imbracatura (7.4) per indossare il dispositivo. - a spectacle frame (7.3) as an alternative to the box body (7.2), - a harness (7.4) for wearing the device.
Verrà descritto nel prosieguo, a titolo esemplificativo e non limitativo, il L'utente del sistema descritto nel presente documento indossa l'imbracatura (7.4), in particolare, se si indossa per la prima volta, sarà necessario stringere o allentare le cinghie di regolazione del carico per adattare il sistema alle proprie dimensioni corporee, viceversa sarà sufficiente allacciarle. L'avvio del sistema, poiché costituito da più dispositivi, alcuni dei quali collegati all’unità di controllo (2) in modalità senza fili, è ottenuto sì mediante l'interruttore (6.2), ma va completato anche attraverso l'accensione dei singoli dispositivi senza fili: auricolari bluetooth (4.1), telecomando da polso (5), bracciale o fascia per avambraccio (4.3). The user of the system described in this document will be wearing the harness (7.4), by way of non-limiting example, in particular, if it is worn for the first time, it will be necessary to tighten or loosen the adjustment straps of the load to adapt the system to your body size, vice versa it will be sufficient to fasten them. The start-up of the system, since it consists of several devices, some of which connected to the control unit (2) in wireless mode, is obtained by means of the switch (6.2), but must also be completed by switching on the individual wireless devices: bluetooth earphones (4.1), wrist remote control (5), armband or forearm band (4.3).
A questo punto il non vedente potrà scegliere tra quattro modalità di utilizzo differenti: “Flash”, "Radar”, "Sonar”, “Tocco”. L'utente seleziona una modalità mediante la pressione del pulsante di comando (5.1) e simultaneamente pronuncia il nome della modalità. Se l'unità di controllo (2) è connessa alla rete mobile o Wi-Fi questa operazione sarà sufficiente, viceversa, un messaggio audio lo informerà che il sistema è off-line. Ruotando quindi la manopola (5.2) udrà i nomi delle modalità e potrà selezionarne una agendo sul pulsante (5.1). Per uscire successivamente dalla modalità di funzionamento scelta occorrerà premere sulla manopola stessa. Le figure 3A, 3B, 4, 5A e 5B mostrano evoluzione della forma di realizzazione del telecomando da polso (5), in particolare, la figura 3A illustra la pressione del bottone (5.1) e la figura 3B la rotazione della manopola (5.2) relativamente alla prima forma di realizzazione. Nella successiva forma di realizzazione, visibile in figura 4, il telecomando da polso (5) è stato sostituito da un tablet, uno smartphone o smartwatch collegato all'unità di controllo (2) mediante connessione bluetooth. In questo caso la pressione del pulsante (5.1) si compie con un tap dello schermo, la rotazione della manopola (5.2) con lo scorrimento di un dito sul touch-screen, mentre la pressione della manopola si ottiene con un doppio tap. Infine nella forma di realizzazione preferita è presente una unità di hand-tracking (3.2) la quale può soppiantare il telecomando da polso (5) in tutte le sue funzioni attraverso il riconoscimento dei gesti dell'utente, in particolare la figura 5A mostra il gesto utilizzato per indicare all'unità di controllo (2) che il prossimo gesto delle mani deve essere interpretato come un comando, mentre la figura 5B rappresenta il mimo di un tipico comando di selezione. At this point the blind person can choose between four different modes of use: "Flash", "Radar", "Sonar", "Touch". The user selects a mode by pressing the control button (5.1) and simultaneously pronounces the name of the mode. If the control unit (2) is connected to the mobile network or Wi-Fi this operation will be sufficient, vice versa, an audio message will inform it that the system is off-line. Then by turning the knob (5.2) you will hear the names of the modes and you can select one by pressing the button (5.1). To subsequently exit the selected operating mode, press the knob itself. Figures 3A, 3B, 4, 5A and 5B show evolution of the embodiment of the wrist remote control (5), in particular, figure 3A illustrates the pressing of the button (5.1) and figure 3B the rotation of the knob (5.2) relative to the first embodiment. In the subsequent embodiment, visible in Figure 4, the wrist remote control (5) has been replaced by a tablet, a smartphone or smartwatch connected to the control unit (2) by means of a Bluetooth connection. In this case the pressure of the button (5.1) is done with a tap of the screen, the rotation of the knob (5.2) with the sliding of a finger on the touch-screen, while the pressure of the knob is obtained with a double tap. Finally, in the preferred embodiment there is a hand-tracking unit (3.2) which can replace the wrist remote control (5) in all its functions by recognizing the user's gestures, in particular figure 5A shows the gesture used to indicate to the control unit (2) that the next hand gesture is to be interpreted as a command, while Figure 5B represents the mime of a typical selection command.
A prescindere dalla modalità di utilizzo scelta dal non vedente, vi è comunque un funzionamento di base che sarà di seguito descritto. Regardless of the mode of use chosen by the blind, there is still a basic operation that will be described below.
Il proiettore laser ad infrarossi (3.1.1) illumina l'ambiente con un pattern di punti noti che viene parzialmente riflesso dagli oggetti presenti entro il F.O.V. La telecamera ad infrarossi (3.1.2) riceve le variazioni indotte dagli oggetti nella scena attraverso le distorsioni subite dal pattern stesso. Il pattern proiettato e l'immagine definiscono due raggi nello spazio, così il proiettore e la camera posti ad una piccola distanza nota, sono sufficienti per operare una triangolazione. L'unità di processo (3.1.4) invierà quindi all'unità di controllo (2) la mappa di profondità (M) della scena ottenuta da questa triangolazione. L'unità di controllo (2) tratta la mappa di profondità (M) come un'immagine in scala di grigi e, applicando noti algoritmi di elaborazione delle immagini digitali, separa gli oggetti presenti sulla scena dallo sfondo e li insegue (object tracking) tra un fotogramma ed il successivo. Per ogni oggetto così rilevato, calcola quindi posizione e dimensioni del rettangolo circoscritto, indi genera un suono (mediante sintetizzatore midi virtuale) avente frequenza dipendente dall'altezza in centimetri dell'oggetto reale racchiuso da detto rettangolo come mostrato, a titolo esemplificativo e non limitativo, in tabella 1 ; The infrared laser projector (3.1.1) illuminates the environment with a pattern of known points that is partially reflected by the objects present within the F.O.V. The infrared camera (3.1.2) receives the variations induced by the objects in the scene through the distortions suffered by the pattern itself. The projected pattern and the image define two rays in space, so the projector and the camera placed at a small known distance are sufficient to perform a triangulation. The processing unit (3.1.4) will then send to the control unit (2) the depth map (M) of the scene obtained from this triangulation. The control unit (2) treats the depth map (M) as a grayscale image and, by applying known digital image processing algorithms, separates the objects present on the scene from the background and follows them (object tracking) between one frame and the next. For each object thus detected, it then calculates the position and size of the circumscribed rectangle, then generates a sound (using a virtual midi synthesizer) having a frequency dependent on the height in centimeters of the real object enclosed by said rectangle as shown, by way of non-limiting example. , in table 1;
T abella 1 : corrispondenza altezza dell'oggetto rilevato e nota musicale. Table 1: height correspondence of the detected object and musical note.
Altezza reale (cm) Frequenza nota (Hz) N° nota MIDI Nota musicale 1 ÷ 30 293,628 62 R<3⁄43] _ _ 31 ÷ 60 369,994 → 349,228 66 → 65 Fa#(3⁄4i-→ Fa^j.i_ 51 : 90 440 69 L3⁄44) _ Real height (cm) Note frequency (Hz) MIDI note number Musical note 1 ÷ 30 293.628 62 R <3⁄43] _ _ 31 ÷ 60 369.994 → 349.228 66 → 65 F # (3⁄4i- → F ^ j. i_ 51: 90 440 69 L3⁄44) _
?1 ÷ 120 587,33 74 Re<,4)? 1 ÷ 120 587.33 74 Re <, 4)
121 : 150 739,99 → 698,456 78 → 77 Fa#(4) → Fa<4) 151 ÷ 180 880 81 L3⁄45) _ _ 181 ÷ 210 1174,66 86 Re(5i121: 150 739.99 → 698.456 78 → 77 Fa # (4) → Fa <4) 151 ÷ 180 880 81 L3⁄45) _ _ 181 ÷ 210 1174.66 86 Re (5i
211 ÷ 240 1479,98 → 1396,91 90 → 89 Fa#<5)→ Fa(5)durata direttamente proporzionale alla base dello stesso, volume proporzionale alla distanza, dislocazione stereo dipendente dalla coordinata orizzontale del centro di massa del rettangolo suddetto e timbro dipendente dal colore predominante dell'oggetto, come mostrato in via esemplificativa in tabella 2; 211 ÷ 240 1479.98 → 1396.91 90 → 89 Fa # <5) → Fa (5) duration directly proportional to its base, volume proportional to distance, stereo dislocation depending on the horizontal coordinate of the center of mass of the aforementioned rectangle and stamp dependent on the predominant color of the object, as shown by way of example in table 2;
Tabella 2: corrispondenza colore dell'oggetto rilevato e strumento musicale, ipotizzata dal pittore Vassily Kandinsky ( 1866-1944), pittore russo, creatore delia pittura astratta Table 2: color correspondence of the detected object and musical instrument, hypothesized by the painter Vassily Kandinsky (1866-1944), Russian painter, creator of abstract painting
Colore oggetto Strumenti musicali Codice strumenti MIDI Giallo Tromba 57, 62, 63, 64 Object color Musical instruments MIDI instrument code Yellow Trumpet 57, 62, 63, 64
Arancione Campane, Coro 15, 113, 53 Orange Bells, Chorus 15, 113, 53
losso Fuba 59 losso Fuba 59
Verde Violino, Archi 41, 45. 46. 49, 50, 51 , 52 Azzurro Flauto 74, 76 Green Violin, Strings 41, 45. 46. 49, 50, 51, 52 Blue Flute 74, 76
ìlu Violoncello, Organo 43, 20 ìlu Cello, Organ 43, 20
Viola Como inglese, Fagotto 70, 71 Viola Como English, Bassoon 70, 71
L'unità di controllo (2) infine invia detta sequenza di suoni all'utente attraverso i mezzi di segnalazione (4). Se nell'insieme degli oggetti rilevati ve n'è almeno uno con distanza dall'utente minore della soglia di sicurezza (l'oggetto è oltre la soglia di sicurezza se l'utente stendendo un braccio in avanti e muovendosi di almeno un passo riesce a toccarlo) l'accordo generato passerà dalla triade maggiore alla rispettiva triade minore, come mostrato in tabella 1, in cui il simbolo della freccia a destra indica, a scopo puramente esemplificativo, il passaggio dalla triade di Re maggiore: “Re, Fa#, La”, a quella di Re minore: “Re, Fa, La”. The control unit (2) finally sends said sequence of sounds to the user through the signaling means (4). If in the set of detected objects there is at least one with a distance from the user less than the safety threshold (the object is beyond the safety threshold if the user extends an arm forward and moves at least one step touch it) the generated chord will pass from the major triad to the respective minor triad, as shown in table 1, where the arrow symbol on the right indicates, purely by way of example, the transition from the D major triad: "D, F #, La ”, to that of D minor:“ Re, Fa, La ”.
A seconda della modalità di funzionamento scelta dall'utente il sistema reagirà nei modi di seguito descritti: Depending on the operating mode chosen by the user, the system will react in the following ways:
i. Flash: il processo di generazione sonora avviene simultaneamente per tutti gli oggetti rilevati (vengono generati i rispettivi suoni aventi le caratteristiche suddette) ed è ripetuto r volte al secondo con r < framerate. the. Flash: the sound generation process occurs simultaneously for all detected objects (the respective sounds with the aforementioned characteristics are generated) and is repeated r times per second with r <framerate.
ii. Radar: il processo di generazione sonora procede da sinistra verso destra come se un bastone fosse fatto oscillare (r volte al secondo con r < framerate) dalla persona cieca con un movimento a ventaglio per scoprire gli spazi innanzi a sé. Quando la scansione virtuale inizia a coprire degli oggetti, vengono generati i rispettivi suoni aventi le caratteristiche suddette. E possibile inserire dei suoni specifici all'inizio e/o alla fine della scansione per fungere da marcatori. È anche auspicabile inserire una pausa dopo la scansione di durata personalizzabile. ii. Radar: the sound generation process proceeds from left to right as if a stick were swung (r times per second with r <framerate) by the blind person with a fan movement to discover the spaces in front of him. When the virtual scan begins to cover objects, the respective sounds with the aforementioned characteristics are generated. It is possible to insert specific sounds at the beginning and / or at the end of the scan to act as markers. It is also desirable to insert a pause after the scan of customizable duration.
iii. Sonar: l'unità di controllo (2) genera impulsi sonori simili a quelli emessi da un sonar: di frequenza, timbro e volume costanti (ma personalizzabili) ad intervalli regolari proporzionali alla minima distanza libera nella direzione indicata dal telecomando (5). iii. Sonar: the control unit (2) generates sound pulses similar to those emitted by a sonar: of constant frequency, tone and volume (but customizable) at regular intervals proportional to the minimum free distance in the direction indicated by the remote control (5).
iv. Tocco: l'unità di controllo (2) converte la mappa di profondità (M) in un modello tridimensionale (W), contestualmente riceve dal dispositivo di hand-tracking (3.2) le coordinate delle articolazioni (joints) delle dita dell'utente in uno spazio (J). Effettua allora una trasformazione di coordinate dallo spazio (J) al sistema di coordinate mondo (W). Quando le mani dell'utente entrano nel FOV del dispositivo di hand-tracking (3.2), gli attuatori vibro-tattili (4.2) emettono una vibrazione e nell'auricolare (4.1) si ode un breve scampanellio. Se le coordinate spaziali dei polpastrelli lambiscono qualche voxel (elemento di volume analogo al pixel ma in uno spazio tridimensionale) di contorno di un oggetto, l'unità di controllo (2) invierà un messaggio in bluetooth al bracciale (4.3). In questo caso il microcontrollore (4.3. 1.1) genererà i relativi segnali digitali di selezione dei canali ed uno analogico di attivazione muscolare che sarà amplificato (4.3. 1.2) e attraverso il multiplexer (4.3.1.3), convogliato ai relativi elettrodi (4.3. 1.4). I potenziali degli elettrodi stimoleranno finalmente i muscoli flessori o estensori del polso e delle dita per far chiudere o aprire le dita dell'utente sugli oggetti virtualmente presenti. Viceversa, se le coordinate spaziali dei polpastrelli oltrepassano i voxel di contorno di qualche oggetto, gli attuatori vibro-tattili (4.3.2) si attivano restando attivi fino a quando le dita dell'utente torneranno a lambire o usciranno dai contorni di tutti gli oggetti. Il non vedente può allora percepire a distanza, ma quasi come se la toccasse, la forma tridimensionale degli oggetti presenti nel FOV della fotocamera IR (3.1.2). iv. Touch: the control unit (2) converts the depth map (M) into a three-dimensional model (W), at the same time it receives from the hand-tracking device (3.2) the coordinates of the joints of the user's fingers in a space (J). It then performs a coordinate transformation from space (J) to the world coordinate system (W). When the user's hands enter the FOV of the hand-tracking device (3.2), the vibro-tactile actuators (4.2) vibrate and a short ringing sound is heard in the earpiece (4.1). If the spatial coordinates of the fingertips touch some voxel (volume element similar to the pixel but in a three-dimensional space) around an object, the control unit (2) will send a bluetooth message to the bracelet (4.3). In this case the microcontroller (4.3.1.1) will generate the relative digital signals for selecting the channels and an analogue one for muscle activation which will be amplified (4.3. 1.2) and through the multiplexer (4.3.1.3), conveyed to the relative electrodes (4.3. 1.4). The potentials of the electrodes will finally stimulate the flexor or extensor muscles of the wrist and fingers to make the user's fingers close or open on virtually present objects. Conversely, if the spatial coordinates of the fingertips go beyond the contour voxels of some object, the vibro-tactile actuators (4.3.2) are activated and remain active until the user's fingers return to touch or come out of the contours of all objects. . The blind person can then perceive at a distance, but almost as if touching it, the three-dimensional shape of the objects present in the FOV of the IR camera (3.1.2).
Si osservi che sia gli oggetti trasparenti che quelli di colore nero opaco, non riflettono sufficientemente la luce laser dando luogo ad aree di incertezza sulla mappa di profondità (M). Tale incertezza può però essere vantaggiosamente ridimensionata con l'uso di sensori ad ultrasuoni (3.3). Note that both transparent and opaque black objects do not reflect the laser light sufficiently, giving rise to areas of uncertainty on the depth map (M). However, this uncertainty can be advantageously reduced with the use of ultrasonic sensors (3.3).
Nella forma di realizzazione preferita, tre sensori ad ultrasuoni (3.3) rilevano la minima distanza tra essi e gli oggetti eventualmente presenti all'esterno del F.O.V. delle telecamere o all'interno ma facenti parte della predetta area di incertezza. I sensori ad ultrasuoni comunque non possono restituire un'informazione puntuale, come invece fa il sistema ad infrarossi, essi si limitano ad ascoltare l'eco del segnale incidente sulla superficie dell'oggetto indagato (il più possibile piana e normale al piano del sensore stesso) e a calcolare la lunghezza del suo cammino note che siano la velocità del suono ed il tempo tra l'emissione dell'impulso e la sua ricezione. La risposta è quindi una distanza in mm dal corpo solido più vicino e che per primo ha generato un segnale di eco. Per questa ragione l'unità di controllo (2) è orientata a privilegiare la risposta del sistema laser ad infrarossi piuttosto che quella dei sensori ad ultrasuoni. Vi sono dei casi in cui però le informazioni dei due sistemi vengono incrociate o in cui addirittura viene utilizzata solo quella ricevuta dai sensori ad ultrasuoni. Ad esempio l'unità di controllo (2) può talvolta riscontrare mia discrepanza, anche rilevante, tra l’informazione ricevuta dal sensore ad ultrasuoni centrale e quella ottenuta dall'elaborazione del pattern infrarosso proiettato centralmente. Ciò si spiega osservando le proprietà dei materiali colpiti dalla luce o dalle onde ultrasoniche, essi riguardo alla luce possono essere, come già detto, trasparenti o neri e opachi e riguardo agli ultrasuoni possono essere fonoassorbenti. Se dunque la distanza rilevata dal sensore ad ultrasuoni centrale è molto inferiore a quella misurata col sistema laser è probabile che di fronte ci sia qualcosa di simile ad una lastra di vetro. In questo caso l'unità di controllo (2) genera un messaggio vocale che avverte il non vedente. In the preferred embodiment, three ultrasonic sensors (3.3) detect the minimum distance between them and any objects present outside the F.O.V. cameras or inside but belonging to the aforementioned uncertainty area. However, ultrasonic sensors cannot return precise information, as the infrared system does, they limit themselves to listening to the echo of the signal incident on the surface of the object under investigation (as flat and normal as possible to the plane of the sensor itself. ) and to calculate the length of its path known as the speed of sound and the time between the emission of the impulse and its reception. The answer is therefore a distance in mm from the nearest solid body which first generated an echo signal. For this reason the control unit (2) is oriented to favor the response of the infrared laser system rather than that of the ultrasonic sensors. There are cases in which, however, the information of the two systems is crossed or in which only that received from the ultrasonic sensors is used. For example, the control unit (2) may sometimes find my discrepancy, even significant, between the information received from the central ultrasound sensor and that obtained from the processing of the centrally projected infrared pattern. This is explained by observing the properties of the materials affected by light or ultrasonic waves, they can be, as already mentioned, transparent or black and opaque, with respect to the ultrasounds they can be sound absorbing. Therefore, if the distance detected by the central ultrasound sensor is much lower than that measured with the laser system, it is likely that there is something similar to a glass plate in front of it. In this case the control unit (2) generates a voice message that warns the blind.
Inoltre il sensore ad ultrasuoni centrale è vantaggiosamente inclinato verso il basso di 30° per monitorare possibili ostacoli abbastanza vicini e bassi da non essere rilevabili dal ridotto FOV verticale del dispositivo di scansione RGB-D (3.1). Furthermore, the central ultrasonic sensor is advantageously inclined downwards by 30 ° to monitor possible obstacles close enough and low enough not to be detectable by the reduced vertical FOV of the RGB-D scanning device (3.1).
La scena può così essere vantaggiosamente fruita dal non vedente mediante il processo di sostituzione sensoriale appena descritto. Contestualmente la telecamera nel visibile (3.1.3) invia all'unità di controllo (2) un'immagine a colori della stessa scena inquadrata dalla telecamera ad infrarossi (3.1.2). L'utente del sistema proposto (1) può allora, mediante la pressione del pulsante di comando (5.1) e la rotazione della manopola (5.2), richiedere all'unità di controllo (2) di descrivere uno degli oggetti individuati, quelli situati approssimativamente nella stessa direzione della manopola (5.2). L'unità di controllo (2) effettua quindi una query sul database locale e, trovando la descrizione già presente, genera un messaggio vocale, tramite sintetizzatore vocale integrato (text to speech T.T.S.), contenete l'informazione sugli oggetti scelti e la invia al non vedente attraverso i mezzi di segnalazione (4). In caso di insuccesso invece, proverà ad effettuare una connessione dati in mobilità (attraverso una scheda modem GPRS/UMTS/HSDPA/LTE o tramite scheda Wi-Fi integrata) ad un server remoto (8) che offre il servizio di riconoscimento del contenuto delle immagini. A sessione stabilita, l'unità di controllo (2) invierà ad esso un messaggio, opportunamente formattato, contenente un'intestazione ed un corpo costituito dall'immagine RGB ottenuta ritagliando il fotogramma ricevuto dalla telecamera nel visibile (3.1.3) col profilo rettangolare dell'oggetto individuato al passo precedente. Il server (8) conclusa l'elaborazione, in caso di successo, invierà un messaggio di risposta contenete la descrizione testuale dell'oggetto, oppure il motivo del fallimento. L'unità di controllo (2) prowederà allora ad unire in un record le informazioni relative alle dimensioni ed alla distanza a quelle descrittive dell'oggetto, ad archiviare detto record sul database locale e a generare un messaggio vocale che sarà udibile dal non vedente attraverso i mezzi di segnalazione (4). The scene can thus be advantageously enjoyed by the blind through the sensory substitution process just described. At the same time, the visible camera (3.1.3) sends a color image of the same scene framed by the infrared camera (3.1.2) to the control unit (2). The user of the proposed system (1) can then, by pressing the control button (5.1) and turning the knob (5.2), request the control unit (2) to describe one of the identified objects, those located approximately in the same direction as the knob (5.2). The control unit (2) then queries the local database and, finding the description already present, generates a vocal message, via integrated speech synthesizer (text to speech T.T.S.), containing the information on the selected objects and sending it to the blind through signaling means (4). In case of failure, however, it will try to make a mobile data connection (via a GPRS / UMTS / HSDPA / LTE modem card or via integrated Wi-Fi card) to a remote server (8) which offers the service of recognizing the content of the images. Once the session has been established, the control unit (2) will send it a message, suitably formatted, containing a header and a body consisting of the RGB image obtained by cutting the frame received from the camera in the visible (3.1.3) with the rectangular profile of the object identified in the previous step. Once the processing is completed, the server (8) will send a reply message containing the textual description of the object, or the reason for the failure. The control unit (2) will then combine in a record the information relating to the dimensions and the distance to the descriptive information of the object, to file said record on the local database and to generate a voice message that will be audible by the blind through the signaling means (4).
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102016000079587A IT201600079587A1 (en) | 2016-07-28 | 2016-07-28 | EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102016000079587A IT201600079587A1 (en) | 2016-07-28 | 2016-07-28 | EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201600079587A1 true IT201600079587A1 (en) | 2018-01-28 |
Family
ID=57960575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102016000079587A IT201600079587A1 (en) | 2016-07-28 | 2016-07-28 | EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT201600079587A1 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1586832A (en) * | 2004-10-15 | 2005-03-02 | 东南大学 | Virtual object surface grain touching sensor |
| US20060079817A1 (en) * | 2004-09-29 | 2006-04-13 | Dewald Julius P | System and methods to overcome gravity-induced dysfunction in extremity paresis |
| US20090122161A1 (en) * | 2007-11-08 | 2009-05-14 | Technical Vision Inc. | Image to sound conversion device |
| US20120268563A1 (en) * | 2011-04-22 | 2012-10-25 | Microsoft Corporation | Augmented auditory perception for the visually impaired |
| ES1078358U (en) * | 2012-11-08 | 2013-01-03 | Valeriy KLETNOY | Portable blind communicator (Machine-translation by Google Translate, not legally binding) |
| US20130131985A1 (en) * | 2011-04-11 | 2013-05-23 | James D. Weiland | Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement |
| WO2015083183A1 (en) * | 2013-12-03 | 2015-06-11 | Verma Abhinav S | Hand wearable haptic feedback based navigation device |
| US20150211858A1 (en) * | 2014-01-24 | 2015-07-30 | Robert Jerauld | Audio navigation assistance |
-
2016
- 2016-07-28 IT IT102016000079587A patent/IT201600079587A1/en unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060079817A1 (en) * | 2004-09-29 | 2006-04-13 | Dewald Julius P | System and methods to overcome gravity-induced dysfunction in extremity paresis |
| CN1586832A (en) * | 2004-10-15 | 2005-03-02 | 东南大学 | Virtual object surface grain touching sensor |
| US20090122161A1 (en) * | 2007-11-08 | 2009-05-14 | Technical Vision Inc. | Image to sound conversion device |
| US20130131985A1 (en) * | 2011-04-11 | 2013-05-23 | James D. Weiland | Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement |
| US20120268563A1 (en) * | 2011-04-22 | 2012-10-25 | Microsoft Corporation | Augmented auditory perception for the visually impaired |
| ES1078358U (en) * | 2012-11-08 | 2013-01-03 | Valeriy KLETNOY | Portable blind communicator (Machine-translation by Google Translate, not legally binding) |
| WO2015083183A1 (en) * | 2013-12-03 | 2015-06-11 | Verma Abhinav S | Hand wearable haptic feedback based navigation device |
| US20150211858A1 (en) * | 2014-01-24 | 2015-07-30 | Robert Jerauld | Audio navigation assistance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hoang et al. | Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile Kinect | |
| Presti et al. | WatchOut: Obstacle sonification for people with visual impairment or blindness | |
| Velázquez | Wearable assistive devices for the blind | |
| Dakopoulos et al. | Wearable obstacle avoidance electronic travel aids for blind: a survey | |
| CN104983511A (en) | Voice-helping intelligent glasses system aiming at totally-blind visual handicapped | |
| Stoll et al. | Navigating from a depth image converted into sound | |
| Brock | Interactive maps for visually impaired people: design, usability and spatial cognition | |
| Hu et al. | Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
| Bouteraa | Design and development of a wearable assistive device integrating a fuzzy decision support system for blind and visually impaired people | |
| CN113196390A (en) | Perception system based on hearing and use method thereof | |
| Zhou et al. | A smart\" virtual eye\" mobile system for the visually impaired | |
| CN106205239A (en) | A kind of electronic dictionary system based on 3D three-dimensional imaging | |
| CN208255530U (en) | Intelligent neck wears equipment | |
| Hoang et al. | Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect | |
| JP2011250928A (en) | Device, method and program for space recognition for visually handicapped person | |
| Bouteraa | Smart real time wearable navigation support system for BVIP | |
| Masal et al. | Development of a visual to audio and tactile substitution system for mobility and orientation of visually impaired people: a review | |
| WO2023019376A1 (en) | Tactile sensing system and method for using same | |
| Argüello Prada et al. | A belt-like assistive device for visually impaired people: Toward a more collaborative approach | |
| Bouzit et al. | Tactile feedback navigation handle for the visually impaired | |
| Hossain et al. | State of the art review on walking support system for visually impaired people | |
| IT201600079587A1 (en) | EQUIPMENT AND METHOD OF SENSORY REPLACEMENT (S.S.D.) TO ASSIST A NON-VISITING PERSON IN WALKING, ORIENTATION AND UNDERSTANDING OF INTERNAL ENVIRONMENTS. | |
| Gómez et al. | A mobile navigation system based on visual cues for pedestrians with cognitive disabilities | |
| TW202033173A (en) | Intelligent laser-sensing virtual walking stick device for the visually impaired for achieving the function of a voice interactive assistant and preventing the ears from losing the ability of listening environmental sounds due to the use of general earphones | |
| Palogiannidis et al. | The Development of a Spatial Sound System in the Navigation of Visually Impaired People |