IT201800005095A1 - System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue - Google Patents
System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue Download PDFInfo
- Publication number
- IT201800005095A1 IT201800005095A1 IT102018000005095A IT201800005095A IT201800005095A1 IT 201800005095 A1 IT201800005095 A1 IT 201800005095A1 IT 102018000005095 A IT102018000005095 A IT 102018000005095A IT 201800005095 A IT201800005095 A IT 201800005095A IT 201800005095 A1 IT201800005095 A1 IT 201800005095A1
- Authority
- IT
- Italy
- Prior art keywords
- user
- virtual reality
- viewer
- rehabilitation
- exercise
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 208000006011 Stroke Diseases 0.000 title description 12
- 230000000694 effects Effects 0.000 claims description 12
- 206010029864 nystagmus Diseases 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 230000008450 motivation Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 208000011580 syndromic disease Diseases 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000007542 Paresis Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 206010019465 hemiparesis Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- User Interface Of Digital Computer (AREA)
- Rehabilitation Tools (AREA)
Description
Descrizione di Brevetto per Invenzione Industriale avente per titolo: Description of Patent for Industrial Invention entitled:
"Sistema e metodo per la riabilitazione di persone affette da ictus mediante realtà virtuale e gestione dello stato di affaticamento". "System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue".
DESCRIZIONE DESCRIPTION
La presente invenzione si riferisce ad un sistema e metodo per la riabilitazione di pazienti con ictus mediante realtà virtuale e gestione dello stato di affaticamento. The present invention refers to a system and method for the rehabilitation of stroke patients by means of virtual reality and management of the state of fatigue.
Ogni anno 17 milioni di persone vengono colpite da ictus nel mondo. Di queste quasi 6 milioni muoiono e altre 5 milioni rimangono disabili in modo permanente (WSO, Annual report 2015). La qualità e intensità della riabilitazione è uno dei più importanti fattori in grado di contribuire efficacemente al livello di recupero e indipendenza raggiunto dalle persone colpite da ictus. Più riabilitazione la persona è in grado di fare e più sarà elevata la capacità di migliorare gli obiettivi di recupero funzionali e sociali dopo un evento acuto. Per questo motivo è importante dare una risposta in termini di portabilità della soluzione, efficacia e di motivazione. Di particolare importanza, inoltre, la possibilità di avere accesso ai servizi di riabilitazione in maniera comoda ed efficace anche quando lontano da centri di riabilitazione o in caso di poca disponibilità di terapisti. Every year 17 million people are affected by stroke around the world. Of these, nearly 6 million die and another 5 million remain permanently disabled (WSO, Annual report 2015). The quality and intensity of rehabilitation is one of the most important factors that can effectively contribute to the level of recovery and independence achieved by people affected by stroke. The more rehabilitation the person is able to do, the greater the ability to improve functional and social recovery goals after an acute event. For this reason it is important to give an answer in terms of solution portability, effectiveness and motivation. Of particular importance is also the possibility of having access to rehabilitation services in a comfortable and effective way even when far from rehabilitation centers or in the case of limited availability of therapists.
Secondo uno studio pubblicato su The New England Journal of Medicine la "Mirror Terapy" è in grado di migliorare i movimenti nel 92% dei casi. Fin dagli anni 90' è stato riscontrato che gruppi di neuroni si attivano sia durante il movimento, come programmazione del movimento, sia quando noi osserviamo il movimento di qualcuno che ci sta attorno. Da questa scoperta nasce quindi l'idea di riabilitare l'arto colpito da ictus, allenando questi neuroni a specchio che vanno a stimolare le aree programmate per i l movimento. Il metodo tradizionale prevede l'inserimento del braccio emiparetico una "Mirror box" (una scatola dotata di uno specchio su un lato e completamente chiusa in modo da nascondere l'arto emiparetico infilato dentro). Il paziente appoggiato su un tavolo con la mano dentro la "minor box", muove la mano non colpita da emiparesi all'esterno della scatola e guardando lo specchio ha la percezione di muovere anche l'altra mano, allenando così i neuroni a specchio. Un ulteriore complicazione riguarda poi la sindrome di neglect, un disturbo della cognizione spaziale nel quale, a seguito di una lesione cerebrale, i l paziente ha difficoltà ad esplorare lo spazio controlaterale alla lesione e non è consapevole degli stimoli presenti in quella porzione di spazio esterno o corporeo e dei relativi disordini funzionali. According to a study published in The New England Journal of Medicine, "Mirror Terapy" is able to improve movements in 92% of cases. Since the 1990s it has been found that groups of neurons are activated both during movement, as movement programming, and when we observe the movement of someone around us. From this discovery, the idea of rehabilitating the limb affected by a stroke was born, by training these mirror neurons that stimulate the areas programmed for movement. The traditional method involves the insertion of the hemiparetic arm in a "Mirror box" (a box equipped with a mirror on one side and completely closed in order to hide the hemiparetic limb inserted inside). The patient, leaning on a table with his hand inside the "minor box", moves the hand not affected by hemiparesis outside the box and looking at the mirror has the perception of moving the other hand as well, thus training the mirror neurons. A further complication concerns the neglect syndrome, a spatial cognition disorder in which, following a brain injury, the patient has difficulty exploring the contralateral space to the lesion and is unaware of the stimuli present in that portion of external space or body and related functional disorders.
Nello stato dell'arte è possibile individuare diverse soluzioni per la riabilitazione di persone affette da Ictus che fanno uso di realtà virtuale. US201310035612A1 propone un sistema basato sull'utilizzo di telecamere di profondità installate su uno spazio di lavoro (una scrivania con un piano rialzato) al fine di inquadrare le mani del paziente, prevedendo di conseguenza una fase di installazione e configurazione del sensore da un utente esperto. In questo caso la difficoltà dell'esercizio viene variata sulla base del tempo impiegato per eseguirlo o sulla base di alcune metriche dipendenti dalla grandezza o dal numero degli oggetti interattivi visualizzati nella realtà virtuale. US201410121018A1 propone un sistema molto simile al precedente in cui però i l paziente deve impugnare dei controller per effettuare delle interazioni nella realtà virtuale. Inoltre la realtà virtuale viene vista dall'utilizzatore in tridimensione attraverso uno schermo in grado di visualizzare immagini stereoscopiche e delle lenti polarizzate In the state of the art it is possible to identify different solutions for the rehabilitation of people suffering from Stroke who make use of virtual reality. US201310035612A1 proposes a system based on the use of depth cameras installed on a workspace (a desk with a raised surface) in order to frame the patient's hands, consequently providing for an installation and configuration phase of the sensor by an expert user . In this case the difficulty of the exercise is varied on the basis of the time taken to perform it or on the basis of some metrics dependent on the size or number of interactive objects displayed in virtual reality. US201410121018A1 proposes a system very similar to the previous one in which, however, the patient must hold controllers to perform interactions in virtual reality. In addition, virtual reality is seen by the user in three dimensions through a screen capable of displaying stereoscopic images and polarized lenses.
US201510133820A1 prevede invece un sistema basato su sensori per tracciare il corpo come Microsoft Kinect o Nintendo WII remote. CN107433021 presenta un sistema basato sulla realtà virtuale e sensori per rilevare i l movimento, in modo da ricreare l'immagine specchiata della mano. Sebbene la realtà virtuale immersiva, basata su visori da indossare sulla testa, sia un settore già noto da diversi anni, ad oggi non sono ancora presenti sistemi performanti combinati anche con telecamere di profondità in grado di essere facilmente trasportati ed utilizzati anche da persone con bassa di informatica. Questi sistemi infatti, (a differenza di quelli ottenuti con dei visori in cui è possibile inserire il proprio cellulare e che risultano ad oggi non idonei allo scopo in quanto non in grado di tracciare anche il movimento delle mani) spesso richiedono setup iniziali e vere e proprie installazioni in cui disporre i vari elementi secondo distanze e orientamenti fondamentali per un buon funzionamento. Nell'ambito della riabilitazione per pazienti con ictus, le persone a cui si fa riferimento spesso sono anziane e di conseguenza anche con facili istruzioni hanno difficoltà nel gestire questi sistemi in termini di trasporto, installazione e configurazione. Allo stato dell'arte attuale non risultano inoltre sistemi in grado di monitorare lo stato di fatica della persona e modulare di conseguenza la difficoltà dell'esercizio. Un ulteriore aspetto degno di nota riguarda poi la mancanza di sistemi in grado di gestire la sindrome di Neglect e la rilevazione di eventuali stati di nistagmo, quest'ultimi talvolta indotti dalla realtà virtuale stessa. US201510133820A1 instead provides a sensor-based system to track the body such as Microsoft Kinect or Nintendo WII remote. CN107433021 presents a system based on virtual reality and sensors to detect movement, in order to recreate the mirrored image of the hand. Although immersive virtual reality, based on headsets to be worn on the head, has been a sector that has been known for several years, to date there are still no performing systems combined with depth cameras that can be easily transported and used even by people with low of computer science. In fact, these systems (unlike those obtained with viewers in which it is possible to insert your mobile phone and which are currently unsuitable for the purpose as they are not able to trace even the movement of the hands) often require initial and true setups and own installations in which to arrange the various elements according to distances and orientations which are fundamental for good operation. In the context of rehabilitation for stroke patients, the people referred to are often elderly and consequently even with easy instructions have difficulties in managing these systems in terms of transport, installation and configuration. At the present state of the art, there are also no systems capable of monitoring the state of fatigue of the person and consequently modulating the difficulty of the exercise. Another noteworthy aspect concerns the lack of systems capable of managing Neglect's syndrome and the detection of any states of nystagmus, the latter sometimes induced by virtual reality itself.
Il compito principale della presente invenzione è quello di escogitare un sistema e metodo efficace ed affidabile per la riabilitazione a domicilio di persone affette da ictus, in grado di motivare l'utilizzatore. Uno scopo della presente invenzione è quello di escogitare un sistema e metodo basato sulla realtà virtuale, facilmente trasportabile ed usabile, attraverso il quale gli utilizzatori possono usufruire dei movimenti del proprio corpo (ad esempio gambe, braccia e mani) come un controller attivo per interagire con le attività e con gli esercizi di riabilitazione nella realtà virtuale. Un ulteriore scopo della presente invenzione è quello di escogitare un sistema che non debba essere settato o configurato prima dell'utilizzo a causa della disposizione degli elementi che lo compongono. The main task of the present invention is to devise an effective and reliable system and method for the home rehabilitation of people suffering from stroke, capable of motivating the user. An object of the present invention is to devise a system and method based on virtual reality, easily transportable and usable, through which users can use the movements of their body (for example legs, arms and hands) as an active controller to interact with activities and rehabilitation exercises in virtual reality. A further object of the present invention is to devise a system which does not need to be set up or configured before use due to the arrangement of the elements that compose it.
Ancora uno scopo della presente invenzione è quello di escogitare un adeguato sistema e metodo di gestione della fatica dell'utilizzatore (sia fisica che psicologica) attraverso la possibilità di adeguare gli esercizi in tempo reale sulla base di parametri fisiologici quali attività elettrica della pelle e frequenza cardiaca (strettamente correlati allo stress fisico/emotivo della persona) ed eventualmente rilassare/svagare l'utilizzatore con ambienti e scenari virtuali studiati appositamente (es: meditation room con scenari naturali rilassanti). Altro scopo del presente trovato è quello di escogitare un e metodo per gestire adeguatamente gli motivazionali e rilevare correttamente capacità motorie e di attenzione cognitiva della persona. Un ulteriore scopo è quello di escogitare un sistema e metodo per gestire anche la sindrome di Neglect e la rilevazione di eventuali stati di nistagmo. Un ulteriore scopo quello di escogitare un sistema e metodo in grado di sollecitare i neuroni a specchio riproducendo nella realtà virtuale diverse modalità di riproduzione dell'arto emiparetico con la possibilità di amplificare i movimenti quando molto minimali al fine di aumentare la motivazione dell'utilizzatore. Another object of the present invention is to devise an adequate system and method for managing the user's fatigue (both physical and psychological) through the possibility of adjusting the exercises in real time on the basis of physiological parameters such as electrical activity of the skin and frequency. cardiac (closely related to the physical / emotional stress of the person) and possibly relax / amuse the user with specially designed virtual environments and scenarios (eg: meditation room with relaxing natural scenarios). Another object of the present invention is to devise a method for adequately managing motivationals and correctly detecting a person's motor skills and cognitive attention. A further object is to devise a system and method for also managing Neglect's syndrome and for detecting any states of nystagmus. A further object is to devise a system and method capable of stimulating the mirror neurons by reproducing in virtual reality different modes of reproduction of the hemiparetic limb with the possibility of amplifying the movements when very minimal in order to increase the user's motivation.
Altro scopo e quello di escogitare un sistema e metodo che preveda la possibilità da parte di un terapista di seguire in modalità remota il proprio assistito sia attraverso videocomunicazione sia mediante l'utilizzo di alert generati automaticamente dal sistema sulla base di soglie preconfigurate dal terapista in termini di obiettivi o valori per determinati parametri di funzionamento. Another purpose is to devise a system and method that provides the possibility for a therapist to remotely follow his client both through video communication and through the use of alerts automatically generated by the system on the basis of thresholds pre-configured by the therapist in terms of of objectives or values for certain operating parameters.
Gli scopi sopra esposti sono raggiunti dal presente sistema e metodo per la riabilitazione di pazienti affetti da ictus mediante realtà virtuale e gestione dello stato di affaticamento avente le caratteristiche di rivendicazione 1 e 8. Altre caratteristiche e vantaggi della presente invenzione risulteranno maggiormente evidenti dalla descrizione di una forma di esecuzione preferita, illustrata a titolo indicativo, ma non limitativo, nelle unite tavole di disegni in cui: la figura 1 e una vista del sistema aperto secondo il trovato; la figura 2 illustra l'utilizzo del sistema secondo il trovato; la figura 3 è una vista del sistema chiuso secondo il trovato; la figura 4 illustra un particolare del braccio di figura 1; la figura 5 illustra il trasporto del sistema secondo il trovato. The above objects are achieved by the present system and method for the rehabilitation of stroke patients by means of virtual reality and management of the state of fatigue having the characteristics of claims 1 and 8. Other characteristics and advantages of the present invention will become more evident from the description of a preferred embodiment, illustrated by way of example, but not of limitation, in the accompanying drawings in which: Figure 1 is a view of the open system according to the invention; Figure 2 illustrates the use of the system according to the invention; Figure 3 is a view of the closed system according to the invention; Figure 4 illustrates a detail of the arm of Figure 1; Figure 5 illustrates the transport of the system according to the invention.
Con particolare riferimento alla figura 1, si è indicato globalmente con 1 un sistema per la riabilitazione di persone affette da ictus. Il sistema 1 comprende un computer 2 con integrati un microfono 3 e una telecamera 4, un visore 5 per visualizzare la realtà virtuale, uno o più sensori 6 per tracciare la posizione delle differenti parti del corpo e uno o più sensori 7 per tracciare il movimento del visore 5. In particolare, si specifica che nella presente descrizione per sensore 6 per tracciare la posizione delle differenti parti del corpo si intende una o più telecamere di profondità funzionante nel campo infrarosso come esempio leap motion e che per parti del corpo intente un braccio e/o una gamba e/o una mano. Si specifica inoltre che nella presente descrizione per sensore 7 per tracciare i l movimento del visore 5 si intende una telecamera ad infrarossi come ad esempio la telecamera a infrarossi "Constellation" in grado di rilevare raggi infrarossi emessi in più punti dal visore 5 come ad esempio oculus rift. Vantaggiosamente, il sistema 1 comprende un supporto 8 per With particular reference to Figure 1, the reference numeral 1 globally indicates a system for the rehabilitation of people affected by stroke. The system 1 comprises a computer 2 with integrated a microphone 3 and a camera 4, a viewer 5 to view virtual reality, one or more sensors 6 to track the position of the different parts of the body and one or more sensors 7 to track movement of the viewer 5. In particular, it is specified that in the present description by sensor 6 to track the position of the different parts of the body we mean one or more depth cameras operating in the infrared field as an example leap motion and that for parts of the body with an arm and / or a leg and / or a hand. It is also specified that in the present description by sensor 7 for tracking the movement of the viewer 5 is meant an infrared camera such as the infrared camera "Constellation" capable of detecting infrared rays emitted in several points by the viewer 5 such as oculus rift. Advantageously, the system 1 comprises a support 8 for
il computer 2, ed è fornito di almeno un braccio 9. In particolare, si specifica che nella presente descrizione per braccio 9 si intende una staffa incernierata ad una estremità nel supporto 8. Vantaggiosamente, almeno un sensore 6, è fissato nella parte frontale del visore 5. Con riferimento ad una particolare forma di attuazione, rappresentata nelle figure, il sistema 1 utilizza due sensori 7, ognuno dei quali fissato all'estremità dei due bracci 9 del supporto 8, in maniera tale che le coordinate delle posizioni di ciascuno dei sensori 7 relative al supporto 8 rimangono inalterate nel tempo. Tuttavia, non si esclude che i sensori 7 così come i bracci 9 possano essere più di due. the computer 2, and is provided with at least one arm 9. In particular, it is specified that in the present description by arm 9 we mean a bracket hinged at one end in the support 8. Advantageously, at least one sensor 6 is fixed in the front part of the viewer 5. With reference to a particular embodiment, shown in the figures, the system 1 uses two sensors 7, each of which fixed to the end of the two arms 9 of the support 8, in such a way that the coordinates of the positions of each of the sensors 7 relating to the support 8 remain unchanged over time. However, it is not excluded that the sensors 7 as well as the arms 9 may be more than two.
Nel dettaglio le dimensioni totali del sistema 1 non superano i 30 cm di profondità e 23 cm di altezza e il posizionamento del braccio 9 in relazione al supporto 8 è tale che la lunghezza totale del sistema varia da 50 cm a 100 cm. Con riferimento alla figura 3, il posizionamento dei bracci 9 in relazione al supporto 8 è tale per cui i bracci 9 sono chiudibili all'interno del supporto 8 in modo da bloccare In detail, the total dimensions of the system 1 do not exceed 30 cm in depth and 23 cm in height and the positioning of the arm 9 in relation to the support 8 is such that the total length of the system varies from 50 cm to 100 cm. With reference to Figure 3, the positioning of the arms 9 in relation to the support 8 is such that the arms 9 can be closed inside the support 8 so as to lock
il visore 5, all'interno del supporto 8, quando non utilizzato dall'utilizzatore. In particolare, questa caratteristica ne consente un facile trasporto come mostrato in figura 5. the viewer 5, inside the support 8, when not used by the user. In particular, this feature allows for easy transport as shown in figure 5.
Vantaggiosamente il visore 5 per visualizzare la realtà virtuale comprende un mezzo 14 per monitorare il moto degli occhi in modo tale da tracciare la direzione dello sguardo dell'utilizzatore e rilevare qualsiasi stato di nistagmo caratterizzato da movimenti ripetitivi e repentini degli occhi. Si specifica che nella presente descrizione per mezzo 14 per monitorare il moto degli occhi si intende un "eye tracker". Preferibilmente, il sistema 1 include un dispositivo indossabile 10 comprendente un sensore ottico 15 per misurare la frequenza cardiaca e un sensore per l'attività elettrodermica 16 per misurare l'attività elettrica della pelle. Vantaggiosamente il sistema include una tovaglietta 11 in cui il supporto 8 è posizionato mentre la tovaglietta 11 include almeno un segno grafico per facilitare il posizionamento relativo del sistema rispetto all'utilizzatore. Advantageously, the viewer 5 for viewing virtual reality comprises a means 14 for monitoring the motion of the eyes in such a way as to trace the direction of the user's gaze and detect any state of nystagmus characterized by repetitive and sudden movements of the eyes. It is specified that in the present description by means 14 for monitoring the motion of the eyes it is meant an "eye tracker". Preferably, the system 1 includes a wearable device 10 comprising an optical sensor 15 for measuring the heart rate and a sensor for electrodermal activity 16 for measuring the electrical activity of the skin. Advantageously, the system includes a placemat 11 in which the support 8 is positioned while the placemat 11 includes at least one graphic sign to facilitate the relative positioning of the system with respect to the user.
Preferibilmente la tovaglietta 11 viene posizionata allineando il suo bordo inferiore con il bordo inferiore del tavolo 12, sulla tovaglietta 11 è riportata la sagoma del supporto 8 del sistema 1 al fine di suggerire il corretto posizionamento e di fissare di conseguenza la distanza di quest'ultimo dal bordo del tavolo 12 e conseguentemente dall'utilizzatore. Vantaggiosamente, il visore 5 comprende una telecamera 13 nella parte frontale con cui viene rilevato il segno grafico sulla tovaglietta 11, per posizionare oggetti virtuali nello spazio della realtà virtuale in corrispondenza con coordinate vincolate nello spazio reale rappresentate dal segno grafico sulla tovaglietta 11. In altre parole, come nella realtà aumentata viene riconosciuto un simbolo grafico su cui vincolare nell'immagine ricostruita della realtà virtuale la posizione di un oggetto virtuale. Preferably, the placemat 11 is positioned by aligning its lower edge with the lower edge of the table 12, the shape of the support 8 of the system 1 is shown on the placemat 11 in order to suggest the correct positioning and consequently fix the distance of the latter. from the edge of the table 12 and consequently from the user. Advantageously, the viewer 5 comprises a camera 13 in the front part with which the graphic sign on the placemat 11 is detected, to position virtual objects in the virtual reality space in correspondence with constrained coordinates in the real space represented by the graphic sign on the placemat 11. In others words, as in augmented reality a graphic symbol is recognized on which to constrain the position of a virtual object in the reconstructed image of virtual reality.
Al sistema inoltre è stato associato un metodo per fornire riabilitazione a persone affette da ictus che comprende la fornitura di un'apparecchiatura per la riabilitazione, la visualizzazione di esercizi in realtà virtuale, la modulazione degli esercizi, il tracciamento del movimento di almeno una parte del corpo, caratterizzato dai seguenti passi. Nel dettaglio il metodo consiste nei seguenti passi: The system has also been associated with a method for providing rehabilitation to people suffering from stroke which includes the supply of rehabilitation equipment, visualization of exercises in virtual reality, modulation of exercises, tracking the movement of at least part of the body, characterized by the following steps. In detail, the method consists of the following steps:
- l'apparecchiatura per la riabilitazione comprende almeno un visore 5 per la realtà virtuale con integrata una telecamera 13, un sensore 6 per tracciare la posizione di almeno una parte del corpo, almeno un sensore 7 per rilevare la posizione del visore 5, un supporto 8, un computer 2 con integrata una telecamera 4 ed un microfono 3; - the rehabilitation equipment comprises at least one viewer 5 for virtual reality with an integrated camera 13, a sensor 6 to track the position of at least a part of the body, at least one sensor 7 to detect the position of the viewer 5, a support 8, a computer 2 with a camera 4 and a microphone 3 integrated;
- determinare e salvare il valore della velocità e/o dell'accuratezza e/o dell'ampiezza del inovimento di almeno una parte del corpo rilevata attraverso il sensore 6; - determining and saving the value of the speed and / or accuracy and / or amplitude of the movement of at least a part of the body detected by the sensor 6;
- visualizzare l'esercizio mostrando uno o più oggetti virtuali nella realtà virtuale visualizzata dal visore 5, al fine di indurre l'utilizzatore nell'effettuare uno o più movimenti ripetuti nel tempo. - visualize the exercise by showing one or more virtual objects in the virtual reality displayed by the viewer 5, in order to induce the user to perform one or more movements repeated over time.
- determinare qualsiasi mancata interazione dell'utilizzatore con l'oggetto virtuale mentre vengono eseguiti gli esercizi, e salvare i dati; - determine any lack of user interaction with the virtual object while the exercises are being performed, and save the data;
- verificare il tempo totale di esecuzione degli esercizi, quando la massima durata configurata per l'esercizio è raggiunta, un messaggio di allerta viene visualizzato sul visore 5; - check the total time of execution of the exercises, when the maximum duration configured for the exercise is reached, an alert message is displayed on the display 5;
- modulare gli esercizi attraverso il cambiamento del valore di velocità e/o accuratezza e/o ampiezza del movimento, di almeno una parte del corpo, richiesto per eseguire l'esercizio sulla base dei dati salvati. - modulate the exercises by changing the speed and / or accuracy and / or amplitude of the movement, of at least one part of the body, required to perform the exercise on the basis of the saved data.
- Inviare alert in una interfaccia web su un computer remoto quando velocità e/o accuratezza e/o ampiezza del movimento non aumentano nel tempo. - Send alerts in a web interface on a remote computer when speed and / or accuracy and / or amplitude of movement do not increase over time.
Preferibilmente l'apparecchiatura comprende anche una tovaglietta 11 in cui il supporto 8 è posizionato, inoltre la tovaglietta 11 include almeno un segno grafico per facilitare il posizionamento relativo del supporto 8 rispetto all'utilizzatore. Nel dettaglio le coordinate del supporto 8 sono calcolate sulla base delle coordinate del segno grafico sulla tovaglietta 11 acquisite tramite la telecamera 13 integrata nel visore 5. Preferably the apparatus also comprises a placemat 11 in which the support 8 is positioned, furthermore the placemat 11 includes at least one graphic sign to facilitate the relative positioning of the support 8 with respect to the user. In detail, the coordinates of the support 8 are calculated on the basis of the coordinates of the graphic sign on the placemat 11 acquired by means of the camera 13 integrated in the viewer 5.
Preferibilmente I'apparecchiatura comprende anche un dispositivo indossabile 10 comprendente un sensore ottico 15 per misurare la frequenza cardiaca e/o un sensore per l'attività elettrodermica 16 per misurare l'attività elettrica della pelle, e il visore 5 comprende un mezzo 14 per rilevare il moto degli occhi. Nel dettaglio sulla base dei dati registrati dal mezzo 14 per rilevare il moto degli occhi viene determinata la direzione dello sguardo e stati di nistagmo. Inoltre, sulla base della frequenza cardiaca e/o sull'attivita elettrica della pelle e/o sugli stati di nistagmo viene determinato il livello di affaticamento dell'utilizzatore. Preferably, the apparatus also comprises a wearable device 10 comprising an optical sensor 15 for measuring the heart rate and / or a sensor for electrodermal activity 16 for measuring the electrical activity of the skin, and the viewer 5 comprises a means 14 for detecting the motion of the eyes. In detail, on the basis of the data recorded by the means 14 for detecting the motion of the eyes, the direction of the gaze and states of nystagmus are determined. Furthermore, the wearer's level of fatigue is determined on the basis of the heart rate and / or the electrical activity of the skin and / or the states of nystagmus.
Vantaggiosamente il metodo prevede diverse modalità di ricostruzione dell'arto emiparetico nella realtà virtuale. In particolare, nella modalità normale di esecuzione dell'esercizio, almeno le coordinate di un arto, misurate attraverso uno o più sensori 6 per tracciare il movimento di almeno una parte del corpo, è ricostruito nella realtà virtuale e visualizzato senza modificarne le coordinate. Nella modalità traslata di esecuzione dell'esercizio, viene ricostruito nella realtà virtuale almeno un arto emiparetico, traslando le coordinate, dell'arto non emiparetico misurate da uno o più sensori 6 per tracciare il movimento di almeno una parte del corpo, sull'asse x nel verso opposto rispetto l'asse di simmetria dell'utilizzatore. Nella modalità specchiata di esecuzione dell'esercizio, viene ricostruito nella realtà virtuale l'arto emiparetico attraverso la ricostruzione specchiata delle coordinate dell'arto non emiparetico misurate da uno o più sensori 6 per tracciare il movimento di almeno una parte del corpo, modificandone verso nella direzione sull'asse x e nella rotazione sull'asse x e y rispetto l'asse di simmetria dell'utilizzatore. Ulteriormente, la modalità normale e/o la modalità traslata e/o la modalità specchiata sono implementate mostrando/non mostrando la parte movibile del corpo che genera il movimento rispetto l'altra emiparetica sulla base dei dati salvati. Nella modalità normale di esecuzione dell'esercizio i movimenti eseguiti con l'arto emiparetico sono amplificati nella realtà virtuale al fine di sollecitare i neuroni a specchio ed incrementare la motivazione dell'utilizzatore sulla base dei dati salvati. Advantageously, the method provides for different ways of reconstructing the hemiparetic limb in virtual reality. In particular, in the normal mode of execution of the exercise, at least the coordinates of a limb, measured through one or more sensors 6 to track the movement of at least one part of the body, are reconstructed in virtual reality and displayed without modifying the coordinates. In the translated mode of execution of the exercise, at least one hemiparetic limb is reconstructed in virtual reality, translating the coordinates of the non-hemiparetic limb measured by one or more sensors 6 to track the movement of at least one part of the body, on the x axis in the opposite direction with respect to the user's symmetry axis. In the mirrored mode of execution of the exercise, the hemiparetic limb is reconstructed in virtual reality through the mirrored reconstruction of the coordinates of the non-hemiparetic limb measured by one or more sensors 6 to track the movement of at least one part of the body, modifying its direction in the direction on the x axis and in the rotation on the x and y axis with respect to the user's symmetry axis. Further, the normal mode and / or the translated mode and / or the mirrored mode are implemented by showing / not showing the movable part of the body that generates the movement with respect to the other hemiparetic on the basis of the saved data. In the normal mode of execution of the exercise, the movements performed with the hemiparetic limb are amplified in virtual reality in order to stimulate the mirror neurons and increase the user's motivation based on the saved data.
Vantaggiosamente il metodo prevede anche la possibilità che un terapista da remoto possa videochiamare la persona assistita. Nel dettaglio, l'utilizzatore è registrato dalla telecamera 4 e dal microfono 3 integrati nel computer 2 e visualizzato su un computer remoto mentre esegue l'esercizio. La realtà virtuale visualizzata nel visore 5 mentre l'utilizzatore esegue l'esercizio è visualizzata anche su un computer remoto. La realtà virtuale visualizzata nel visore 5 è integrata con immagini e audio acquisiti da un computer remoto al fine di eseguire una videochiamata con una persona distante. In altre parole il terapista da remoto può parlare con l'assistito e vedere sia ciò che l'assistito vede nella realtà virtuale attraverso il visore, sia come si sta muovendo nella realtà attraverso la telecamera 4 integrata nel computer 2. Contemporaneamente, l'assistito può sentire e vedere il terapista attraverso il visore 5, in un riquadro di dimensioni e/o opacità tali e da permettere il proseguimento dell'esercizio nella realtà virtuale anche durante videochiamata. Advantageously, the method also provides for the possibility that a remote therapist can video call the assisted person. In detail, the user is recorded by the camera 4 and the microphone 3 integrated in the computer 2 and viewed on a remote computer while performing the exercise. The virtual reality displayed in the viewer 5 while the user performs the exercise is also displayed on a remote computer. The virtual reality displayed in the viewer 5 is integrated with images and audio acquired from a remote computer in order to make a video call with a distant person. In other words, the therapist remotely can talk to the client and see both what the client sees in virtual reality through the viewer, and how he is moving in reality through the camera 4 integrated in the computer 2. At the same time, the client he can hear and see the therapist through the viewer 5, in a frame of such size and / or opacity as to allow the continuation of the exercise in virtual reality even during a video call.
Vantaggiosamente, se il livello di affaticamento dell'utilizzatore eccede la soglia del livello massimo di affaticamento implementata, l'esercizio è modulato per diminuire il livello di affaticamento dell'utilizzatore. Advantageously, if the user's fatigue level exceeds the threshold of the maximum implemented fatigue level, the exercise is modulated to decrease the user's fatigue level.
Vantaggiosamente, inoltre il metodo prevede anche la gestione della sindrome di Neglect. In particolare, sulla base della direzione dello sguardo rilevata tramite il mezzo 14 per rilevare il moto degli occhi, la presenza di qualsiasi oggetto visualizzato nella realtà virtuale all'interno del campo visivo dell'utilizzatore è analizzata. Qualsiasi interazione tra l'utilizzatore e gli oggetti della realtà virtuale presenti nelle diverse parti del campo visivo dell'utilizzatore è rilevata e salvata. Di conseguenza sono facilmente individuabili le aree in cui la persona non reagisce agli stimoli, sul quale andare a lavorare con esercizi mirati. Advantageously, moreover, the method also provides for the management of Neglect's syndrome. In particular, on the basis of the direction of the gaze detected by means 14 for detecting the motion of the eyes, the presence of any object displayed in virtual reality within the user's visual field is analyzed. Any interaction between the user and virtual reality objects present in the different parts of the user's field of vision is detected and saved. Consequently, the areas in which the person does not react to stimuli are easily identified, on which to go to work with targeted exercises.
Ad esempio frecce o altri simboli possono essere mostrati nella realtà virtuale attraverso il visore 5. al fine di evidenziare in alcune parti del campo visivo dell'utilizzatore la presenza di oggetti virtuali. Preferibilmente le frecce potrebbero comparire prima nel lato del campo visivo dove l'utilizzatore possiede maggiormente attenzione, per poi muoversi verso la zona critica in modo da aiutare l'utilizzatore a concentrarsi su quella zona. For example, arrows or other symbols can be shown in virtual reality through the viewer 5. in order to highlight the presence of virtual objects in some parts of the user's visual field. Preferably the arrows could first appear in the side of the visual field where the user has the most attention, and then move towards the critical area in order to help the user to concentrate on that area.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000005095A IT201800005095A1 (en) | 2018-05-07 | 2018-05-07 | System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000005095A IT201800005095A1 (en) | 2018-05-07 | 2018-05-07 | System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201800005095A1 true IT201800005095A1 (en) | 2019-11-07 |
Family
ID=63579568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102018000005095A IT201800005095A1 (en) | 2018-05-07 | 2018-05-07 | System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT201800005095A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016139576A2 (en) * | 2015-03-02 | 2016-09-09 | Mindmaze Sa | Brain activity measurement and feedback system |
| US20170112671A1 (en) * | 2015-10-26 | 2017-04-27 | Personics Holdings, Llc | Biometric, physiological or environmental monitoring using a closed chamber |
| US9788714B2 (en) * | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
-
2018
- 2018-05-07 IT IT102018000005095A patent/IT201800005095A1/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9788714B2 (en) * | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| WO2016139576A2 (en) * | 2015-03-02 | 2016-09-09 | Mindmaze Sa | Brain activity measurement and feedback system |
| US20170112671A1 (en) * | 2015-10-26 | 2017-04-27 | Personics Holdings, Llc | Biometric, physiological or environmental monitoring using a closed chamber |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11822720B2 (en) | Wearable computing device with electrophysiological sensors | |
| US20180107275A1 (en) | Detecting facial expressions | |
| Dementyev et al. | DualBlink: a wearable device to continuously detect, track, and actuate blinking for alleviating dry eyes and computer vision syndrome | |
| US10543147B2 (en) | Optical techniques for the measurement of chest compression depth and other parameters during CPR | |
| Lamonaca et al. | Health parameters monitoring by smartphone for quality of life improvement | |
| US20190380644A1 (en) | Biofeedback system | |
| AU2014225626B2 (en) | Form factors for the multi-modal physiological assessment of brain health | |
| Gervais et al. | Tobe: Tangible out-of-body experience | |
| ES2781451T3 (en) | Virtual reality system | |
| US20190101984A1 (en) | Heartrate monitor for ar wearables | |
| McDuff et al. | Pulse and vital sign measurement in mixed reality using a HoloLens | |
| Liu et al. | Measuring visually induced motion sickness using wearable devices | |
| KR20190020418A (en) | Virtual Reality Monitoring System Using Virtual Reality and Psychotherapy Using the Same | |
| CN106075670A (en) | A kind of intravenous injection blood vessel perspective glasses | |
| WO2018141705A1 (en) | Pulsation visibility | |
| IT201800005095A1 (en) | System and method for the rehabilitation of people suffering from stroke using virtual reality and management of the state of fatigue | |
| Bhatia et al. | A review on eye tracking technology | |
| US12001605B2 (en) | Head mounted display with visual condition compensation | |
| US20240053821A1 (en) | Head mounted display with visual condition compensation | |
| Calderon-Sastre et al. | Accelerating rehabilitation through AR/VR solutions | |
| Song | Enabling Smart Health Applications via Active Acoustic Sensing on Commodity Mobile Devices | |
| KR20230065426A (en) | Cpr guide system and method | |
| Mahmud et al. | Auditory, Vibrotactile, or Visual? Investigating the Effective Feedback Modalities to Improve Standing Balance in Immersive Virtual Reality for People with Balance Impairments Due to Type 2 Diabetes | |
| Fujikake | Aftereffect of Stereoscopic Viewing on Human Body I | |
| WO2022237954A1 (en) | Eye tracking module wearable by a human being |