DE102016205849B4 - Virtual reality system and method for operating such - Google Patents

Virtual reality system and method for operating such Download PDF

Info

Publication number
DE102016205849B4
DE102016205849B4 DE102016205849.5A DE102016205849A DE102016205849B4 DE 102016205849 B4 DE102016205849 B4 DE 102016205849B4 DE 102016205849 A DE102016205849 A DE 102016205849A DE 102016205849 B4 DE102016205849 B4 DE 102016205849B4
Authority
DE
Germany
Prior art keywords
person
virtual reality
limb
detection device
muscle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016205849.5A
Other languages
German (de)
Other versions
DE102016205849A1 (en
Inventor
Ingo Kossyk
Markus Nowak
Christian Nißler
Claudio Castellini
Zoltan Marton-Csaba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE102016205849.5A priority Critical patent/DE102016205849B4/en
Priority to PCT/EP2017/057749 priority patent/WO2017174466A1/en
Publication of DE102016205849A1 publication Critical patent/DE102016205849A1/en
Application granted granted Critical
Publication of DE102016205849B4 publication Critical patent/DE102016205849B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Virtual Reality-System (10), miteiner Detektionsvorrichtung (12) zum Erfassen einer Muskelbewegung an einer Gliedmaße (14) einer Person (16),einer Virtual Reality-Darstellungsvorrichtung (20) zum Darstellen eines Avatars (22) der Person (16),wobei ein Animieren der Bewegungen mit einer Gliedmaße (24) des Avatars (22) anhand der durch die Detektionsvorrichtung (12) erfassten Muskelbewegungen erfolgt,wobei die Erkennung der beabsichtigen Bewegungen der Gliedmaße (24) basierend auf den Muskelsignalen anhand eines Regressionsalgorithmus erfolgt,wobei eine Schätzung kontinuierlicher Zustände erfolgt indem Rückschlüsse auf die vom Muskel aufgebrachte Kraft gezogen werden.Virtual reality system (10), with a detection device (12) for detecting a muscle movement on a limb (14) of a person (16), a virtual reality display device (20) for displaying an avatar (22) of the person (16), wherein the movements with a limb (24) of the avatar (22) are animated using the muscle movements detected by the detection device (12), the intended movements of the limbs (24) being recognized based on the muscle signals using a regression algorithm, with a Estimation of continuous states is made by drawing conclusions about the force applied by the muscle.

Description

Die Erfindung betrifft ein Virtual Reality-System sowie ein Verfahren zum Betreiben eines solchen.The invention relates to a virtual reality system and a method for operating such a system.

Für die immersive Darstellung von virtuellen Realitäten ist es bekannt, Head-mounted-Displays zu verwenden (z.B. Oculus Rift, NVisor oder HTC Vive). Die Steuerung erfolgt meist über zusätzliche in der Hand gehaltene Eingabegeräte.It is known to use head-mounted displays (e.g. Oculus Rift, NVisor or HTC Vive) for the immersive display of virtual realities. It is usually controlled via additional handheld input devices.

Aus dem Stand der Technik sind ferner Systeme für eine rudimentäre Gestenerkennung basierend auf Muskelsignalen bekannt (z.B. Myo-Armband, ein Produkt von Thalmic Labs).Systems for rudimentary gesture recognition based on muscle signals are also known from the prior art (e.g. Myo-armband, a product by Thalmic Labs).

Weiterhin ist aus dem medizinischen Bereich die sogenannte Spiegeltherapie zur Rehabilitation bzw. Linderung von Phantomschmerzen nach einer Amputation von Gliedmaßen bekannt. Hierbei werden die gesunde und die beeinträchtigte Gliedmaße synchron bewegt. Die Bewegung der gesunden Gliedmaße wird mit Hilfe eines Spiegels auf die beeinträchtigte Gliedmaße projiziert. Hierdurch entsteht die Illusion, dass die beeinträchtigte Gliedmaße voll funktionsfähig ist.Furthermore, the so-called mirror therapy for the rehabilitation or alleviation of phantom pain after limb amputation is known from the medical field. The healthy and impaired limbs are moved synchronously. The movement of the healthy limb is projected onto the impaired limb with the help of a mirror. This creates the illusion that the impaired limb is fully functional.

Nachteilig an den genannten Verfahren ist, dass eine Steuerung von Virtual-Reality-Systemen mit Hilfe einer Gestenerkennung bisher nur bei der Klassifizierung von diskreten Zuständen (z.B. Hand geöffnet/Hand geschlossen) anhand von Muskelsignalen existiert.The disadvantage of the mentioned method is that control of virtual reality systems with the help of gesture recognition has only existed for the classification of discrete states (e.g. hand open / hand closed) on the basis of muscle signals.

Eine Bewegung einzelner Finger kann beispielsweise mit in den Händen gehaltenen Eingabegeräten realisiert werden. Dies reduziert jedoch den Grad der Immersion. Außerdem unterscheidet sich hierdurch die Interaktion in der virtuellen Welt von der Interaktion in der realen Welt.Individual fingers can be moved, for example, with input devices held in the hands. However, this reduces the degree of immersion. This also differentiates the interaction in the virtual world from the interaction in the real world.

Der Erfolg der klassischen Spiegeltherapie hängt von der Vorstellungskraft des Patienten ab, die beeinträchtigte Gliedmaße mit zu bewegen. Bei einer bilateralen Amputation ist eine Anwendung vollständig unmöglich.The success of classic mirror therapy depends on the patient's imagination to move the impaired limb. In the case of bilateral amputation, application is completely impossible.

DE 10 2010 006 301 A1 beschreibt eine Vorrichtung zur Reduzierung von Phantomschmerzen bei Amputierten mit einer Sensorvorrichtung zur Erfassung von beabsichtigten Bewegungen des amputierten Gliedes und einer Berechnungsvorrichtung zur Steuerung eines Modells des amputierten Gliedes basierend auf den durch die Sensorvorrichtung erfassten beabsichtigten Bewegungen dieses Gliedes. Ferner ist eine Feedback-Vorrichtung vorgesehen zum Erzeugen eines Feedbacks, das für den Amputierten wahrnehmbar ist. Dieses basiert auf den berechneten Bewegungen des Modells des amputierten Gliedes. DE 10 2010 006 301 A1 describes a device for reducing phantom pain in amputees with a sensor device for detecting intended movements of the amputated limb and a computing device for controlling a model of the amputated limb based on the intended movements of this limb detected by the sensor device. Furthermore, a feedback device is provided for generating feedback that can be perceived by the amputee. This is based on the calculated movements of the model of the amputated limb.

Weitere Informationen zum Stand der Technik können den folgenden Veröffentlichungen entnommen werden:

  • SPALETA, S.: Virtual Reality Used to Treat Phantom Limb Pain. 22.02.2014. URL:http://www.livescience.com/43599-virtual-reality-used-to-treat-phantomlimb-pain-video.html, archiviert in http://www.archive.org am 03.01.2016
  • LEWIS, T.: Virtual Reality Treatment Relieves Amputee's Phantom Pain. 25.02.2014.URL: http://www.livescience.com/43665-virtual-reality-treatment-for-phantom-limb-pain.html, archiviert in http://www.archive.org am 20.03.2016
  • DE 10 2015 210 638 A1
  • NISSLER, Christian, et al. OMG: introducing optical myography as a new humanmachine interface for hand amputees. In: 2015 IEEE International Conference onRehabilitation Robotics (ICORR). IEEE, 2015. S. 937-942. http://www.livescience.com/43599-virtual-reality-used-to-treat-phantomlimb-pain-video.html http:/ /www.livescience.com/43665-virtual-reality-treatment-for-phantomlimb-pain.html
Further information on the state of the art can be found in the following publications:
  • SPALETA, S .: Virtual Reality Used to Treat Phantom Limb Pain. 02/22/2014. URL: http: //www.livescience.com/43599-virtual-reality-used-to-treat-phantomlimb-pain-video.html, archived in http://www.archive.org on January 3rd, 2016
  • LEWIS, T .: Virtual Reality Treatment Relieves Amputee's Phantom Pain. 25.02.2014.URL: http://www.livescience.com/43665-virtual-reality-treatment-for-phantom-limb-pain.html, archived in http://www.archive.org on March 20th, 2016
  • DE 10 2015 210 638 A1
  • NISSLER, Christian, et al. OMG: introducing optical myography as a new human machine interface for hand amputees. In: 2015 IEEE International Conference on Rehabilitation Robotics (ICORR). IEEE, 2015. pp. 937-942. http://www.livescience.com/43599-virtual-reality-used-to-treat-phantomlimb-pain-video.html http: / /www.livescience.com/43665-virtual-reality-treatment-for-phantomlimb -pain.html

Eine Intentionserkennung unter Verwendung eines optomyographischen Verfahrens ist bekannt aus der nicht veröffentlichten Patentanmeldung DE 10 2015 210 638.1 (Publikation hierzu: DOI:10.1109/ICORR.2015.7281324).Intentional recognition using an optomyographic method is known from the unpublished patent application DE 10 2015 210 638.1 (Publication on this: DOI: 10.1109 / ICORR.2015.7281324).

Aufgabe der Erfindung ist es, ein Virtual Reality-System bereitzustellen, das eine realistischere Darstellung der Bewegungen eines Avatars ermöglicht. Ferner soll ein entsprechendes Verfahren zum Betreiben eines solchen Systems bereitgestellt werden.The object of the invention is to provide a virtual reality system that enables a more realistic representation of the movements of an avatar. Furthermore, a corresponding method for operating such a system is to be provided.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der Ansprüche 1 und 7.The object is achieved according to the invention by the features of claims 1 and 7.

Die erfindungsgemäße Vorrichtung ist ein Virtual Reality-System. Dieses umfasst eine Detektionsvorrichtung zum Erfassen einer Muskelbewegung an einer Gliedmaße. Hierbei kann es sich um eine zumindest teilweise nicht mehr vorhandene und/oder funktionsfähige Gliedmaße einer Person handeln, beispielsweise eine amputierte Gliedmaße. Bei dem Versuch, eine nicht mehr vorhandene oder funktionsfähige Gliedmaße zu bewegen, erfolgt trotzdem ein Aktivieren der Muskeln, die ursprünglich für die Bewegung dieser Gliedmaße zuständig waren und die sich proximal dieser Gliedmaße befinden. Diese Muskelbewegung wird durch die erfindungsgemäße Detektionsvorrichtung erfasst. The device according to the invention is a virtual reality system. This comprises a detection device for detecting a muscle movement on a limb. This can be an at least partially no longer present and / or functional limb of a person, for example an amputated limb. When an attempt is made to move a limb that is no longer present or functional, the muscles that were originally responsible for the movement of this limb and that are located proximal to this limb are nevertheless activated. This Muscle movement is detected by the detection device according to the invention.

Das erfindungsgemäße System umfasst eine Virtual Reality-Darstellungsvorrichtung zum Darstellen eines Avatars der Person. Hierbei kann es sich beispielsweise um einen Monitor oder um ein Head-mounted-Display handeln. Bei einem Head-mounted Display kann ein höherer Grad der Immersion erreicht werden.The system according to the invention comprises a virtual reality display device for displaying an avatar of the person. This can be, for example, a monitor or a head-mounted display. With a head-mounted display, a higher degree of immersion can be achieved.

Erfindungsgemäß erfolgt mit dieser Darstellungsvorrichtung ein Animieren der Bewegungen der Gliedmaße des Avatars auf Basis der durch die Detektionsvorrichtung erfassten Muskelbewegungen.According to the invention, this display device is used to animate the movements of the limbs of the avatar on the basis of the muscle movements detected by the detection device.

Eine Person kann somit versuchen, eine nicht mehr vorhandene oder funktionsfähige Gliedmaße zu bewegen (was ggf. in der Realität nicht mehr möglich ist). Durch die erfindungsgemäße Detektionsvorrichtung wird die beabsichtigte Bewegung anhand des Erfassens der Muskelbewegungen detektiert. Die Person sieht in der Virtual Reality-Darstellungsvorrichtung ihren Avatar, bevorzugt mit vervollständigter Gliedmaße. Der Avatar in der Darstellungsvorrichtung bewegt seine Gliedmaße gemäß den beabsichtigten Bewegungen der Person.A person can thus try to move a limb that is no longer present or functional (which may no longer be possible in reality). The intended movement is detected by the detection device according to the invention based on the detection of the muscle movements. The person sees their avatar in the virtual reality display device, preferably with a completed limb. The avatar in the display device moves his limb according to the intended movements of the person.

Das erfindungsgemäße System kann somit in der Therapie gegen Phantomschmerzen bei Personen mit amputierten Gliedmaßen verwendet werden. Anhand der erfassten Muskelsignale kann eine Vielzahl von Bewegungen der amputierten Gliedmaße in der virtuellen oder augmentierten Realität durchgeführt werden. Die Verwendung eines separaten Eingabegeräts durch die Person ist nicht mehr notwendig. Dies erhöht den Grad der Immersion. Im Unterschied zur klassischen Spiegeltherapie kann das erfindungsgemäße System auch bei einer beidseitigen Amputation verwendet werden.The system according to the invention can thus be used in therapy against phantom pain in persons with amputated limbs. A large number of movements of the amputated limb can be carried out in virtual or augmented reality on the basis of the acquired muscle signals. It is no longer necessary for the person to use a separate input device. This increases the level of immersion. In contrast to classic mirror therapy, the system according to the invention can also be used for a bilateral amputation.

Das erfindungsgemäße System kann auch als Eingabegerät in anderen virtuellen Umgebungen für eine intuitive freihändige Steuerung verschiedener Aufgaben verwendet werden, beispielsweise in der Unterhaltungsindustrie im Rahmen von Spielen oder in der Industrie als virtuelle Entwicklungsplattform.The system according to the invention can also be used as an input device in other virtual environments for intuitive, hands-free control of various tasks, for example in the entertainment industry in the context of games or in industry as a virtual development platform.

Das erfindungsgemäße System umfasst bevorzugt eine Posenerfassungsvorrichtung zum Erfassen der Pose einer Person. Dies erfolgt bevorzugt durch eine Kamera. Derartige Posenerfassungsvorrichtungen sind aus dem Stand der Technik bekannt (beispielsweise Kinect-System von Microsoft). In dieser Ausführungsform erfolgt ein Animieren der Pose des Avatars anhand der durch die Posenerfassungsvorrichtung erfassten Pose der Person. Dies wird ebenfalls auf der Virtual Reality-Darstellungsvorrichtung dargestellt. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.The system according to the invention preferably comprises a pose detection device for detecting the pose of a person. This is preferably done by a camera. Such pose detection devices are known from the prior art (for example Kinect system from Microsoft). In this embodiment, the pose of the avatar is animated using the pose of the person detected by the pose detection device. This is also shown on the virtual reality display device. This allows the degree of immersion to be increased further.

Es ist erfindungsgemäß vorgesehen, dass für die Erkennung der beabsichtigten Bewegungen der Gliedmaße basierend auf den Muskelsignalen ein Regressionsalgorithmus verwendet wird. Hierdurch wird die Schätzung kontinuierlicher Zustände (z.B. Hand teilweise geöffnet) ermöglicht, da Rückschlüsse auf die vom Muskel aufgebrachte Kraft gezogen werden können.It is provided according to the invention that a regression algorithm is used for the detection of the intended movements of the limbs based on the muscle signals. This enables the estimation of continuous states (e.g. hand partially open), since conclusions can be drawn about the force exerted by the muscle.

Das erfindungsgemäße System ist besonders attraktiv, da es vollständig aus kommerziell erhältlichen Komponenten aufgebaut werden kann. Hierdurch ist es beispielsweise möglich, dass Personen mit amputierten Gliedmaßen ein Training zu Hause durchführen.The system according to the invention is particularly attractive because it can be constructed entirely from commercially available components. This makes it possible, for example, for people with amputated limbs to carry out training at home.

Es ist bevorzugt, dass als Detektionsvorrichtung eine Elektromyographie-Vorrichtung verwendet wird. Die EMG-Elektroden werden hierbei an der Haut der Person im Bereich der entsprechenden Muskelgruppe proximal der nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße angebracht.It is preferred that an electromyography device is used as the detection device. The EMG electrodes are attached to the person's skin in the area of the corresponding muscle group proximal to the limb that is no longer present and / or functional.

Alternativ oder zusätzlich kann als Detektionsvorrichtung auch ein optisches System verwendet werden: Die Aktivierung der Muskeln führt zu einer Deformation bzw. Bewegung der darüber liegenden Hautpartien. Diese Bewegung der Haut kann mit einem optischen System erfasst werden. Unter Verwendung eines geeigneten Algorithmus ist es möglich, aus diesen optisch erfassten Bewegungen des Muskels die beabsichtigte Bewegung der Gliedmaße abzuleiten. Ein derartiges Verfahren ist bekannt aus der in der Einleitung genannten Patentanmeldung derselben Anmelderin. Ein geeigneter Regressionsalgorithmus wird beispielsweise beschrieben in A.E. Hoerl und R.W. Kennard, „Ridge regression: Biased estimation for nonorthogonal problems“, Technometrics, Bd. 12, S. 55-67, 1970 ). Der beschriebene Ridge regression-Algorithmus stellt eine Verknüpfung zwischen der Muskelbewegung und der gewollten Bewegung her. Es wird ein lineares Modell an die erfassten Daten angepasst. Aus dieser Verknüpfung lassen sich insbesondere unbekannte gewollte Bewegungen aus einer beobachteten Muskelbewegung ableiten. Es ist möglich, dass die Auswertvorrichtung, durch die eine Auswertung der erfassten Bewegungen der Muskeln stattfindet, angelernt wird, um im Weiteren unbekannte beabsichtigte Bewegungen der betreffenden Gliedmaße bestimmen zu können. Dies erfolgt durch eine Beobachtung einer Vielzahl von Muskelbewegungen, die durch eine beabsichtigte Bewegung erzeugt werden. Hierdurch kann eine sichtbare Muskelbewegung einer beabsichtigten Bewegung der Gliedmaße zugeordnet werden. Insofern erfolgt durch diese Auswertvorrichtung ein Verknüpfen zwischen der beobachteten Muskelbewegung und der beabsichtigten Bewegung der Gliedmaße. Es ist auch möglich ein nicht-lineares Modell anstelle eines linearen Modells zu verwenden.Alternatively or additionally, an optical system can also be used as a detection device: Activation of the muscles leads to a deformation or movement of the areas of skin lying above. This movement of the skin can be recorded with an optical system. Using a suitable algorithm, it is possible to derive the intended movement of the limb from these optically recorded movements of the muscle. Such a method is known from the patent application mentioned in the introduction by the same applicant. A suitable regression algorithm is described in, for example AE Hoerl and RW Kennard, "Ridge regression: Biased estimation for nonorthogonal problems", Technometrics, Vol. 12, pp. 55-67, 1970 ). The described ridge regression algorithm creates a link between the muscle movement and the intended movement. A linear model is fitted to the acquired data. From this link, in particular, unknown desired movements can be derived from an observed muscle movement. It is possible for the evaluation device, by means of which an evaluation of the recorded movements of the muscles takes place, to be trained in order to be able to subsequently determine unknown intended movements of the relevant limb. It does this by observing a variety of muscle movements produced by an intended movement. In this way, a visible muscle movement can be assigned to an intended movement of the limb. In this respect, this evaluation device creates a link between the observed muscle movement and the intended movement of the limb. It is also possible to use a non-linear model instead of a linear model.

Die Erfindung betrifft ferner ein Verfahren zum Betreiben eines Virtual Reality-Systems, insbesondere eines Systems, wie es in der vorliegenden Anmeldung beschrieben wird. Das erfindungsgemäße Verfahren kann sämtliche Merkmale enthalten, die im Zusammenhang mit dem erfindungsgemäßen System beschrieben wurden, sowie umgekehrt.The invention also relates to a method for operating a virtual reality system, in particular a system as described in the present application. The method according to the invention can contain all the features that have been described in connection with the system according to the invention and vice versa.

Erfindungsgemäß wird eine Muskelbewegung an einer Gliedmaße einer Person durch eine Detektionsvorrichtung erfasst. Dies erfolgt durch eine elektromyographische Vorrichtung oder berührungslos durch eine optische Vorrichtung. Auf einer Virtual Reality-Darstellungsvorrichtung wird ein Avatar der Person dargestellt. Die Bewegungen einer Gliedmaße des Avatars werden anhand der durch die Detektionsvorrichtung erfassten Muskelbewegungen animiert.According to the invention, a muscle movement on a limb of a person is detected by a detection device. This is done by an electromyographic device or contactlessly by an optical device. An avatar of the person is displayed on a virtual reality display device. The movements of a limb of the avatar are animated on the basis of the muscle movements detected by the detection device.

Bevorzugt wird durch eine Posenerfassungsvorrichtung die Pose einer Person erfasst. Diese Pose wird dazu verwendet, die Pose des Avatars zu animieren, wodurch der Grad der Immersion weiterhin erhöht werden kann.The pose of a person is preferably detected by a pose detection device. This pose is used to animate the avatar's pose, which can further increase the level of immersion.

Es ist bevorzugt, dass eine Muskelbewegung proximal einer zumindest teilweise nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße einer Person durch die Detektionsvorrichtung erfolgt. Der Avatar der Person wird in der Virtual Reality-Darstellungsvorrichtung mit vervollständigter Gliedmaße dargestellt. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.It is preferred that a muscle movement takes place proximally of an at least partially no longer present and / or functional limb of a person by the detection device. The person's avatar is displayed in the virtual reality display device with a completed limb. This allows the degree of immersion to be increased further.

Im Folgenden wird eine bevorzugte Ausführungsform der Erfindung anhand einer Figur erläutert.A preferred embodiment of the invention is explained below with reference to a figure.

Die Figur zeigt eine Person 16, deren rechte Hand amputiert ist. Proximal der amputierten Hand wird an der Gliedmaße 14 eine Detektionsvorrichtung 12, bei der es sich um eine elektromyographische Vorrichtung handeln kann, angebracht. Durch diese erfolgt ein Erfassen der Muskelbewegungen an der Gliedmaße 14. Hieraus können die beabsichtigten Bewegungen für die nicht mehr vorhandene Hand der Person 16 abgeleitet werden. In der Darstellung des Avatars 22 der Person 16 im Head-mounted-Display 20 wird die Gliedmaße 24 mit vervollständigter Hand dargestellt. Diese Hand wird anhand der durch die Detektionsvorrichtung 12 erfassten beabsichtigten Bewegungen der Person 16 dargestellt.The figure shows a person 16 whose right hand is amputated. Proximal of the amputated hand is attached to the limb 14th a detection device 12 , which can be an electromyographic device. This records the muscle movements on the limb 14th . This can be used to determine the intended movements for the person's hand that is no longer present 16 be derived. In the representation of the avatar 22nd the person 16 in the head-mounted display 20, the limb 24 shown with completed hand. This hand is based on the detection device 12 recorded intended movements of the person 16 shown.

Zusätzlich kann durch eine Posenerfassungsvorrichtung 18 die Pose der Person 16 in der Realität erfasst werden, so dass der Avatar 22 in der Darstellungsvorrichtung 20 mit einer entsprechenden Pose dargestellt werden kann. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.In addition, a pose detection device 18th the pose of the person 16 to be captured in reality so that the avatar 22nd in the display device 20th can be represented with a corresponding pose. This allows the degree of immersion to be increased further.

Claims (9)

Virtual Reality-System (10), mit einer Detektionsvorrichtung (12) zum Erfassen einer Muskelbewegung an einer Gliedmaße (14) einer Person (16), einer Virtual Reality-Darstellungsvorrichtung (20) zum Darstellen eines Avatars (22) der Person (16), wobei ein Animieren der Bewegungen mit einer Gliedmaße (24) des Avatars (22) anhand der durch die Detektionsvorrichtung (12) erfassten Muskelbewegungen erfolgt, wobei die Erkennung der beabsichtigen Bewegungen der Gliedmaße (24) basierend auf den Muskelsignalen anhand eines Regressionsalgorithmus erfolgt, wobei eine Schätzung kontinuierlicher Zustände erfolgt indem Rückschlüsse auf die vom Muskel aufgebrachte Kraft gezogen werden.Virtual Reality System (10), with a detection device (12) for detecting a muscle movement on a limb (14) of a person (16), a virtual reality display device (20) for displaying an avatar (22) of the person (16), wherein the movements with a limb (24) of the avatar (22) are animated on the basis of the muscle movements detected by the detection device (12), the intended movements of the limbs (24) being recognized based on the muscle signals using a regression algorithm, where continuous states are estimated by drawing conclusions about the force exerted by the muscle. Virtual Reality-System (10) nach Anspruch 1, gekennzeichnet durch eine Posenerfassungsvorrichtung (18) zum Erfassen der Pose einer Person (16), wobei ein Animieren der Pose des Avatars (22) anhand der durch die Posenerfassungsvorrichtung (18) erfassten Pose der Person (16) erfolgt.Virtual Reality System (10) according to Claim 1 , characterized by a pose detection device (18) for detecting the pose of a person (16), the pose of the avatar (22) being animated on the basis of the pose of the person (16) detected by the pose detection device (18). Virtual Reality-System (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Detektionsvorrichtung (12) ausgebildet ist zum Erfassen einer Muskelbewegung, die einer zumindest teilweise nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße (14) einer Person (16) zugeordnet ist, wobei in der Virtual Reality-Darstellungsvorrichtung (20) ein Darstellen des Avatars (22) dieser Person (16) mit vervollständigter Gliedmaße (24) erfolgt.Virtual Reality System (10) according to Claim 1 or 2 , characterized in that the detection device (12) is designed to detect a muscle movement which is assigned to an at least partially no longer present and / or functional limb (14) of a person (16), wherein in the virtual reality display device (20) the avatar (22) of this person (16) is displayed with a completed limb (24). Virtual Reality-System (10) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Virtual Reality-Darstellungsvorrichtung (20) ein Head-mounted-Display ist.Virtual reality system (10) according to one of the Claims 1 to 3 , characterized in that the virtual reality display device (20) is a head-mounted display. Virtual Reality-System (10) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Detektionsvorrichtung (12) eine Elektromyographie-Vorrichtung ist.Virtual reality system (10) according to one of the Claims 1 to 4th , characterized in that the detection device (12) is an electromyography device. Virtual Reality-System (10) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Detektionsvorrichtung (12) eine Kamera und insbesondere Markierungen auf dem zu erfassenden Muskel aufweist.Virtual reality system (10) according to one of the Claims 1 to 4th , characterized in that the detection device (12) has a camera and in particular markings on the muscle to be detected. Verfahren zum Betreiben eines Virtual Reality-Systems (10), insbesondere eines Systems gemäß einem der Ansprüche 1 bis 6, gekennzeichnet durch die folgenden Verfahrensschritte: Erfassen einer Muskelbewegung an einer Gliedmaße (14) einer Person (16) durch eine Detektionsvorrichtung (12) Darstellen eines Avatars (22) der Person (16) durch eine Virtual Reality-Darstellungsvorrichtung (20) Animieren der Bewegungen einer Gliedmaße (24) des Avatars (22) anhand der durch die Detektionsvorrichtung (12) erfassten Muskelbewegung, wobei die Erkennung der beabsichtigen Bewegungen der Gliedmaße (24) basierend auf den Muskelsignalen anhand eines Regressionsalgorithmus erfolgt, wobei eine Schätzung kontinuierlicher Zustände erfolgt indem Rückschlüsse auf die vom Muskel aufgebrachte Kraft gezogen werden.Method for operating a virtual reality system (10), in particular a system according to one of the Claims 1 to 6th , characterized by the following process steps: Detecting a muscle movement on a limb (14) of a person (16) by a detection device (12). Displaying an avatar (22) of the person (16) by means of a virtual reality display device (20). Animating the movements of a limb (24) of the avatar (22) based on the muscle movement detected by the detection device (12), the intended movements of the limbs (24) being recognized based on the muscle signals using a regression algorithm, with continuous states being estimated by drawing conclusions about the force exerted by the muscle . Verfahren gemäß Anspruch 7, gekennzeichnet durch die Schritte: Erfassen der Pose einer Person (16) durch eine Posenerfassungsvorrichtung (18) Animieren der Pose des Avatars (22) anhand der durch die Posenerfassungsvorrichtung (18) erfassten Pose der Person (16).Procedure according to Claim 7 , characterized by the steps of: detecting the pose of a person (16) by a pose detection device (18) animating the pose of the avatar (22) on the basis of the pose of the person (16) detected by the pose detection device (18). Verfahren gemäß Anspruch 7 oder 8, gekennzeichnet durch die Schritte: Erfassen einer Muskelbewegung proximal einer zumindest teilweise nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße (14) einer Person (16) durch die Detektionsvorrichtung (12) Darstellen des Avatars (22) der Person (16) in der Virtual Reality-Darstellungsvorrichtung (20) mit vervollständigter Gliedmaße.Procedure according to Claim 7 or 8th , characterized by the steps of: detecting a muscle movement proximal of an at least partially no longer present and / or functional limb (14) of a person (16) by the detection device (12) displaying the avatar (22) of the person (16) in virtual reality Display device (20) with completed limb.
DE102016205849.5A 2016-04-07 2016-04-07 Virtual reality system and method for operating such Active DE102016205849B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102016205849.5A DE102016205849B4 (en) 2016-04-07 2016-04-07 Virtual reality system and method for operating such
PCT/EP2017/057749 WO2017174466A1 (en) 2016-04-07 2017-03-31 Mirror therapy based on virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016205849.5A DE102016205849B4 (en) 2016-04-07 2016-04-07 Virtual reality system and method for operating such

Publications (2)

Publication Number Publication Date
DE102016205849A1 DE102016205849A1 (en) 2017-10-12
DE102016205849B4 true DE102016205849B4 (en) 2020-08-27

Family

ID=58464557

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016205849.5A Active DE102016205849B4 (en) 2016-04-07 2016-04-07 Virtual reality system and method for operating such

Country Status (2)

Country Link
DE (1) DE102016205849B4 (en)
WO (1) WO2017174466A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943407B1 (en) 2019-01-25 2021-03-09 Wellovate, LLC XR health platform, system and method
CN111068263A (en) * 2019-11-26 2020-04-28 中国科学院苏州生物医学工程技术研究所 Mirror image treatment's augmented reality hand function rehabilitation training device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010006301A1 (en) * 2010-01-30 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Device for reducing phantom pain during amputate, has computing device for controlling model of amputee member based on movement of member, and feedback device for producing feedback based on computed movements of model
DE102015210638A1 (en) * 2015-06-10 2016-12-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for determining a voluntary movement of a limb

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015094112A1 (en) * 2013-12-20 2015-06-25 Integrum Ab System and method for neuromuscular rehabilitation comprising predicting aggregated motions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010006301A1 (en) * 2010-01-30 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Device for reducing phantom pain during amputate, has computing device for controlling model of amputee member based on movement of member, and feedback device for producing feedback based on computed movements of model
DE102015210638A1 (en) * 2015-06-10 2016-12-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for determining a voluntary movement of a limb

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEWIS, T.: Virtual Reality Treatment Relieves Amputee's Phantom Pain. 25.02.2014. URL: http://www.livescience.com/43665-virtual-reality-treatment-for-phantom-limb-pain.html, archiviert in http://www.archive.org am 20.03.2016 [abgerufen am: 14.11.2016] *
NISSLER, Christian, et al. OMG: introducing optical myography as a new human machine interface for hand amputees. In: 2015 IEEE International Conference on Rehabilitation Robotics (ICORR). IEEE, 2015. S. 937-942. *
SPALETA, S.: Virtual Reality Used to Treat Phantom Limb Pain. 22.02.2014. URL: http://www.livescience.com/43599-virtual-reality-used-to-treat-phantom-limb-pain-video.html, archiviert in http://www.archive.org am 03.01.2016 [abgerufen am: 14.11.2016] *

Also Published As

Publication number Publication date
DE102016205849A1 (en) 2017-10-12
WO2017174466A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
Wodlinger et al. Ten-dimensional anthropomorphic arm control in a human brain− machine interface: difficulties, solutions, and limitations
Romano et al. The robot hand illusion: Inducing proprioceptive drift through visuo-motor congruency
Zeng et al. Closed-loop hybrid gaze brain-machine interface based robotic arm control with augmented reality feedback
Adamovich et al. A virtual reality—based exercise system for hand rehabilitation post-stroke
McFarland et al. Brain-computer interface operation of robotic and prosthetic devices
Tidoni et al. Local and remote cooperation with virtual and robotic agents: a P300 BCI study in healthy and people living with spinal cord injury
DE10130485C2 (en) Programmable joint simulator
Schmalzl et al. “Pulling telescoped phantoms out of the stump”: Manipulating the perceived position of phantom limbs using a full-body illusion
EP2445456B1 (en) Method for installing a control system for an orthopaedic device and such an orthopaedic device
DE102015100694A1 (en) Teleoperation system with intrinsic haptic feedback through dynamic characteristic adaptation for gripping force and end effector coordinates
WO2018054945A1 (en) Prosthesis that can be actuated by external force
Gurari et al. Stiffness discrimination with visual and proprioceptive cues
DE102016205849B4 (en) Virtual reality system and method for operating such
EP2455138A1 (en) Training system, mobile terminal and training method for a person
McMahon et al. A low-cost, open-source, BCI-VR prototype for real-time signal processing of EEG to manipulate 3D VR objects as a form of neurofeedback
JP2013128642A (en) Brain computer interface and control method of object in the same
WO2010015305A1 (en) Method for visualizing multi-channel signals
EP3681379B1 (en) System and method for providing information about the neuromuscular system in augmented reality
DE102004020817B4 (en) Device for influencing a head movement of a person
EP3307159B1 (en) Method and device for determining a desired movement of a limb
DE10335369B4 (en) A method of providing non-contact device function control and apparatus for performing the method
Tsatsis et al. Lateropulsion rehabilitation using virtual reality for stroke patients
Stiegelmar et al. Towards quantifying the sense of agency and its contribution to embodiment of myoelectric prostheses
CN106913445A (en) Upper limbs motion planning and robot control method and upper limbs robot
Snow et al. Design of a robotic sensorimotor system for Phantom Limb Pain rehabilitation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final