DE10149049A1

DE10149049A1 - Verfahren und System zur Schaffung und Modifikation einer virtuellen biologischen Repräsentanz der Nutzer von Computeranwendungen

Info

Publication number: DE10149049A1
Application number: DE2001149049
Authority: DE
Inventors: Stefan Johannes; Martin Lehmann
Original assignee: NEUROXX GmbH
Current assignee: NEUROXX GmbH
Priority date: 2001-10-05
Filing date: 2001-10-05
Publication date: 2003-04-17
Also published as: AU2002338863A1; WO2003032142A2; WO2003032142A3

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Beeinflussen von Computeranwendungen auf der Grundlage von biologischen Parametern des Nutzers der Computeranwendungen. Dabei wird eine virtuelle biologische Repräsentanz des Nutzers in der Computeranwendung hergestellt.

Description

Die Erfindung betrifft Verfahren und ein System zur Schaffung und Modifikation einer virtuellen biologischen Repräsentanz der Nutzer von Computeranwendungen.
Insbesondere bezieht sich die Erfindung auf die elektrophysiologische Erfassung biologischer Vorgänge des Menschen. Genauer dargestellt bedeutet dies, dass die biologischen Signale interpretiert und verwendet werden, um die Repräsentanz des Nutzers in einer virtuellen computergenerierten Umgebung (den sog. Avatar) zu verändern, dem Nutzer über die Erfassung seiner biologischen Parameter neue, direkte Eingabemöglichkeiten in komplexe Computeranwendungen zu ermöglichen und über die Erfassung biologischer Parameter, die kognitive Vorgänge repräsentieren, den Ablauf von komplexen Programmen gemäss den kognitiven Fähigkeiten des Nutzers indirekt zu steuern.
Körperliche, geistige und seelische Vorgänge des Menschen sind sehr vielfältig und führen zur Veränderung zahlreicher Biovariablen. Zwar hat die wissenschaftliche Forschung die zugrundeliegenden biologischen Vorgänge klassifizieren können, es fehlen jedoch Geräte und Verfahren, um ausgewählte biologische Vorgänge so zu erfassen, dass sie direkt zur Steuerung von komplexen Computerprogrammen verwendet werden können. Hierdurch ist die Schnittstelle zwischen Mensch und Maschine limitiert. Insbesondere ist auf der einen Seite die Interaktionsmöglichkeit des Nutzers mit dem Computer eingeschränkt und auf der anderen Seite der Computer nicht in der Lage, den biologischen Zustand und die Fähigkeiten des Nutzers adäquat zu repräsentieren oder intelligent auf den Zustand zu reagieren. Dieses limitiert beispielsweise diagnostisches und therapeutisches Vorgehen in der Psychologie.
Im laute der weiteren Beschreibung werden die folgenden Abkürzungen mit den weiter unten gegebenen Definitionen benutzt:
EEG: Elektroenzephalogramm
EKP: Ereigniskorrelierte Potentiale
ERN: error related negativity
EOG: Elektrooculogramm
CNV: contingent negative variation
HLF: Hautleitfähigkeit
EMG: Elektromyogramm
Temp: Hauttemperatur.

EEG

Die Elektroenzephalographie ist eine nicht-invasive Methode, die die Messung der spontanen hirnelektrischen Aktivität beinhaltet. Eine gebräuchliche Analysemethode des EEG ist die Spektralanalyse. Hierbei werden einzelne Frequenzspektren isoliert und in ihrer relativen Häufigkeit bewertet. Außerdem kann die Amplitude oder die Form einzelner Anteile des EEG gemessen und bewertet werden.

EKP

Ereigniskorrelierte Potentiale sind elektrophysiologische Potentiale, die das Gehirn emittiert, wenn externe Reize präsentiert werden oder wenn psychologische Vorgänge ablaufen. Üblicherweise werden EKP durch zeitliche Korrelation mit externen Ereignissen aus dem EEG "gemittelt". Eine Einzelanalyse von EKP, die nach singulären Reizen oder Verarbeitungsprozessen auftreten und die nicht gemittelt wurden, ist jedoch auch gebräuchlich. EKP lassen sich anhand einzelner zeitlich umgrenzter Wellenformen, den sogenannten Komponenten, analysieren. So bezeichnet die P3b-Komponente (auch als P3 oder P300 bezeichnet) eine positive Komponente, die vorwiegend in parietalen Hirnbereichen im Zeitbereich zwischen 300 und 1000 ms nach Reizpräsentation auftritt und die Verarbeitung eines relevanten Reizes anzeigt. Die ERN ist eine negative Komponente, die in frontalen und zentralen Hirnarealen etwa 100 ms nach einer Fehlreaktion des Probanden nachweisbar ist und die Fehlerverarbeitung anzeigt. Die CNV ist eine negative Komponente in frontalen und zentralen Hirnarealen, die u. a. in Erwartung eines kommenden Stimulus auftritt, von Probanden jedoch auch willkürlich induziert werden kann.

Biofeedback

Als "Biofeedback" werden Verfahren bezeichnet, bei denen biologische Signale des Körpers erfasst, verstärkt, digitalisiert und an einen Computer übergeben werden, der sie auf einem graphischen Display oder akustisch darstellt. Über diese Rückmeldung der körperlichen Funktionen kann der Proband erlernen, bestimmte körperliche Funktionen, wie z. B. Aufmerksamkeitsprozesse oder die Entspannungsfähigkeit zu verbessern.
Bei den für das Biofeedback verwendeten biologischen Parametern handelt es sich unter anderem um:

- EEG
- CNV
- Pulsfrequenz
- HLF
- Temp
- EMG
- Atmung (Atemfrequenz und Atemtiefe).

Mensch-Computer Schnittstelle

Als Mensch-Computer Schnittstelle werden Eingabemöglichkeiten eines Computernutzers bezeichnet. Konventionelle Vorrichtungen wie Tastatur und Maus werden ergänzt durch die Erfassung biologischer Parameter als Eingabemedien.
Nach dieser allgemeinen Einführung wird nun Stand der Technik zu den einzelnen Parametern näher erläutert.

EKP

Birbaumer (z. B. Birbaumer et al., Nature 398, 297-298, 25.03.1999) schlägt vor, die CNV zu erfassen und ermöglicht Gelähmten hiermit, einen cursor auf einem Computerdisplay zu Kommunikationszwecken zu steuern. Die CNV findet weiterhin Eingang in übliche Biofeedbackverfahren, bei denen sie z. B. als Amplitudenmarker auf einer Skala dargestellt wird. Die CNV wird in den bekannten Anwendungen jedoch nicht verwendet, um hiermit Computernutzern die Bewegung von virtuellen Objekten in virtuellen Welten zu ermöglichen. Kok (Psychophysiology 38; 557-577; 2001) fasst die bekannten Fakten über die P3b zusammen und führt aus, dass die P3b als Maß für die Verarbeitung von relevanten Reizen dienen kann. Donchin et al. (Donchin et al., IEEE Transactions on Rehabilitation Engineering, 8, 174-179, Juni 2000) beschreiben ein System, das die P3b zu Kommunikationszwecken verwendet. Schalk et al. (Schalk et al., Clinical Neurophysiology 111 2138-2144 (2000)) beschreiben die Erfassung der ERN zu Kommunikationszwecken. Die Pb3 und die ERN werden jedoch nicht verwendet, um die Verarbeitung von relevanten Reizen und die Erkennung von Fehlern beispielsweise beim computerbasierten Training innerhalb von virtuellen Welten zu erfassen.
EEG Wolpaw et al. (Wolpaw et al., IEEE Transactions on Rehabilitation Engineering, 8, 222-226, Juni 2000) extrahieren aus dem EEG Beta- und My-Frequenzen, um damit Cursorbewegungen auf einem Bildschirm zu steuern. Ferner beschreibt die US-A-5 840 040 ein EEG-Analysegerät und -Verfahren, bei dem mittels des EEG-My-Rhythmus bestimmt wird, ob der Nutzer Bewegungen "denkt", um Cursorbewegungen zu steuern.
Affektive Perzeption Eindrücke der Umwelt werden von Menschen affektiv verarbeitet, d. h. als positiv, negativ oder neutral erlebt. Lang et al. (z. B. Lang et al. J of Clinical Neurophysiology 15; 397-408; 1998) haben hierfür eine Methode entwickelt, bei der der Hautwiderstand und ein EMG im Gesichtsbereich gemessen werden, während ein Proband gegenüber Bildern oder Geräuschen exponiert wird.

Biofeedback

Bei den bisher verwendeten Biofeedbackverfahren werden die genannten biologischen Parameter einzeln oder in Kombination erfasst und zum Teil mit statistischen Methoden weiterverrechnet. Die Rückkopplung an den Probanden erfolgt entweder "direkt" z. B. akustisch als Herzschlag oder "indirekt" über die Steuerung von einfachen Computeranimationen, z. B. als gemorphtes Gesicht. Die US-A-6 026 322 beschreibt beispielsweise ein System, bei dem der HLW die Form einer einfachen Figur auf einem Computerbildschirm beeinflusst.
WO 01/08125 beschreibt ein System, welches EEG-Feedback umsetzt. Das Feedbacksignal erfolgt in Form von einfachen Animationen.
DE-A-197 45 508 offenbart ein Biofeedback-Verfahren zum Erlernen von Entspannungsverfahren, um hiermit gegen einen zweiten realen oder virtuellen Nutzer anzutreten.

Mensch-Computer Schnittstelle

Es existieren einige Steuersignalvorrichtungen für Computergeräte, die auf der Erfassung biologischer Variablen basieren. Die DE-C-43 27 418 beschreibt ein Gerät, das biologische Signale wie das EEG als Spielsteuersignal verwendet. In technischer Hinsicht basiert das Gerät auf einer Steuersignaleingabevorrichtung, die eine Verarbeitungseinrichtung für biologische Signale und eine Schalteinrichtung enthält.
WO 01/04865 beschreibt ein System, bei dem Biofaktoren zu dem Zweck erfasst werden, um die physiologische Selbstregulation zu verbessern. Technisch gesehen handelt es sich um ein Gerät und eine zugrundeliegende Methode, mit der Biofaktoren so transformiert werden, dass hiermit über Standardschnittstellen von Computeranwendungen wie z. B. Joystick oder Kontrollknöpfen Eingaben erfolgen können. Hierdurch wird die Fähigkeit des Nutzers beeinträchtigt, innerhalb der Computersimulation die gestellte Aufgabe zu beherrschen. So wird z. B. die "Kontrollfähigkeit" des Joysticks anhand der Biodaten modifiziert. Aus Nutzersicht wird also z. B. die Schwierigkeit modifiziert, mit der ein virtuelles Raumschiff zu steuern ist. Es soll so die Kompatibilität zu anderer Hardware wie z. B. der Sony Playstation™ sichergestellt werden.
Die US-A-5 377 100 beschreibt das Konzept, wie Aufmerksamkeitsprozesse verbessert werden können, indem spezifische EEG-Signale mit einem Erfolg beim Spielen eines Action Videospiels belohnt werden. Das Spiel kann vom Nutzer praktisch nicht gewonnen werden, bis der Spieler die gewünschte EEG-Aktivität bietet, die mit normalem Verhalten und nicht mit einer Aufmerksamkeitsstörung assoziiert ist. Ein Messsystem erfasst das EEG und kontrolliert hierüber den Schwierigkeitsgrad des Spiels.
WO 01/35824 beschreibt ein System und ein Verfahren, bei dem evozierte Potentiale erfasst werden, um hierdurch die Auslösung von externen magnetischen Impulsen zu triggern.
WO 01/07128 beschreibt eine Spielvorrichtung und ein Spielverfahren, bei der eine Ablaufsteuerung des Programms über eine Frequenzanalyse des EEG erfolgt.
Dabei wird die Position und die Bewegung von virtuellen Objekten modifiziert. Das kommerzielle Produkt "The Mind Drive" (z. B. vertrieben von Altered States Ltd., Auckland, Neuseeland) beinhaltet die Erfassung von physiologischen Signalen mittels eines Sensors am Finger, um Objekte in Computerspielen zu steuern.

Repräsentanz des Nutzers in einer virtuellen Computerumgebung ("Avatar")

Ein Avatar ist die Repräsentanz eines Nutzers in einer virtuellen Computerumgebung, also das "Ich" des Nutzers. Avatare können zahlreiche Formen und Charaktere haben und werden meist über Joystick, Maus oder das Keyboard gesteuert. Innerhalb der EU Programme VEPSY und VREPAR wurde eine Methode entwickelt, anhand derer Gewicht und Körpergröße eines Nutzers nach konventioneller Messung und Eingabe in den Computer die Körperproportionen des Avatars bestimmen.

Begrenzungen und Probleme der existenten Systeme

Die existenten Systeme sind vor allem dadurch limitiert, dass sie entweder umschriebene Teilgrößen der Vielzahl der verschiedenen Bioparameter eines Nutzers für die Ablaufsteuerung von Computerprogrammen erfassen (wie z. B. physiologische Signale vom Finger für die Steuerung der Bewegung von Objekten in einem Computerspiel oder ausgesuchte EEG-Parameter für die Bewegung von Objekten) oder dass sie, wenn mehrere Bioparameter gleichzeitig erfasst werden, diese Parameter entweder in Form von abstrakten Linien, Kurven oder Balken darstellen oder sie mit statistischen Methoden so weiterverarbeiten, dass sie einen einzelnen Parameter, wie z. B. die "Entspannungsfähigkeit" repräsentieren.
Hierdurch bleibt der komplexe Organismus des Menschen, der aus einer Vielzahl von biologischen Vorgängen besteht, die gewissermaßen ein "holistisches" Ganzes bilden, in wesentlichen Teilen unberücksichtigt. So vermögen die existenten Systeme nicht, dem Computernutzer die Vielzahl seiner Bioparameter auf konkrete Art und Weise darzustellen. Auch vermögen die existenten Systeme nicht, dem Nutzer eine Schnittstelle zur Verfügung zu stellen, über die er durch bewusste Modifikation verschiedener Biofaktoren realitätsnah in die Ablaufsteuerung von Computerprogrammen eingreifen kann. Vielmehr werden die biologischen Parameter bisher eingesetzt, um artfremde Aktionen/Reaktionen im Computerprogramm umzusetzen. Die Steuerung eines Avatars erfolgt über herkömmliche Eingabemedien wie Maus, Tastatur oder Joystick. Z. B. kann ein Programm so konzipiert sein, dass ein Avatar auf die Betätigung der Space-Taste hin in ein virtuell schweres Objekt, wie z. B. eine große Metallkugel, hochhebt. Die natürliche biologische Variabilität der Fähigkeiten der Computernutzer, wie z. B. die unterschiedlich ausgeprägte Kraft, mit der die Kugel gehoben werden kann, bleibt somit unberücksichtigt. Schließlich vermögen die existenten Systeme nicht, über die Erfassung von Bioparametern wie z. B. ereigniskorrelierten Potentialen, die kognitive Funktionen des Nutzers widerspiegeln, den Ablauf der Computerprogramme zu steuern, ohne dass Nutzerantworten über ein konventionelles Eingabemedium notwendig sind.
Der Erfindung liegt die Aufgabe zugrunde, ein System und Verfahren bereitzustellen, die die erläuterten Begrenzungen und Nachteile der existenten Verfahren beseitigen. Diese Aufgabe wird mit den Merkmalen der Patentansprüche gelöst.
Die Erfindung geht von dem Grundgedanken aus, zahlreiche Biofaktoren des Nutzers von Computerprogrammen dergestalt zu erfassen, dass sie in ihrer Gesamtheit in einer für den Nutzer anschaulichen Art und Weise im System dargestellt werden können, dass sie dem Nutzer als quasi natürliches Eingabemedium für Computerabläufe dienen können und dass sie, insofern sie kognitive Fähigkeiten des Nutzers widerspiegeln, für eine automatisierte Ablaufsteuerung der Programmabläufe verwendet werden können. Die Gesamtheit der biologischen Zustände und Fähigkeiten wird so für den Nutzer innerhalb des Systems erfassbar und einsetzbar. Hieraus ergibt sich ein natürliches Eingabemedium für den Computer, das an Vielfältigkeit den Fähigkeiten eines Menschen in der realen Welt nahe kommt. Ein computerbasiertes Training der geistigen Leistungsfähigkeit, das sich an die Fähigkeiten des Nutzers adaptiert, wird möglich, ohne dass der Nutzer bewusst Eingaben am Computer tätigen muss.
Ein erster Aspekt der Erfindung betrifft ein Verfahren mit den Schritten (a) Automatisches Erfassen mehrerer biologischer Parameter eines Nutzers von Computeranwendungen, (b) Verarbeiten der erfassten Parameter und (c) Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter; vorzugsweise ferner mit dem Schritt (d) Modifizieren der Repräsentanz durch Wiederholen der Schritte a) bis c).
Die in Schritt a) erfassten biologischen Parameter repräsentieren vorzugsweise kognitive Vorgänge des Nutzers. Weiter bevorzugt sind die in Schritt a) erfassten Parameter Elektroenzephalogramm (EEG), Elektromyogramm (EMG), Atmung, Hautleitwert und Pulsfrequenz. Vorzugsweise werden ferner die Hauttemperatur und der Blutdruck erfasst.
Gemäß einer bevorzugten Ausführungsform werden die in Schritt b) erfassten biologischen Parameter mit Referenzwerten, insbesondere nutzerspezifischen Referenzwerten verglichen. Anschließend werden die erfassten biologischen Parameter einer statistischen Auswertung unterzogen. Insbesondere erfolgt dabei eine Integration der Amplitude.
Gemäß einer ersten erfindungsgemäßen Alternative wird in Schritt c) ein Avatar gebildet. Dabei beeinflussen die erfassten biologischen Parameter physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes. Insbesondere werden die physikalischen Eigenschaften des Avatars und seine Fähigkeiten innerhalb des Programmablaufes auf der Grundlage eines Vergleichs mit den Referenzwerten bestimmt. Weiter bevorzugt ist hierbei, dass die virtuelle Umwelt in der Computeranwendung auf der Grundlage der erfassten biologischen Parameter beeinflusst wird.
Gemäß einer zweiten erfindungsgemäßen Alternative erfolgt in Schritt c) eine Manipulation von Objekten der Computeranwendung, insbesondere der physikalischen Eigenschaften der Objekte.
Gemäß einer dritten erfindungsgemäßen Alternative wird in Schritt c) der Ablauf der Computeranwendung beeinflusst, wobei die Beeinflussung des Ablaufs der Computeranwendung insbesondere auf der Grundlage von biologischen Parametern erfolgt, die kognitive Funktionen widerspiegeln. Als Parameter werden beispielsweise die ereigniskorrelierte Potentiale, insbesondere ERN und P3b, verwendet. Vorzugsweise wird die Geschwindigkeit und Güte eines Entscheidungsprozesses des Nutzers ermittelt, wobei der Schwierigkeitsgrad der Aufgaben der Computeranwendung automatisch den kognitiven Funktionen des Nutzers adaptiert wird.
Ein zweiter Aspekt der Erfindung betrifft ein System mit mehreren Messaufnehmern für mehrere biologische Parameter eines Nutzers von Computeranwendungen und einer Verarbeitungseinrichtung zum Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter.
Vorzugsweise bildet die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter einen Avatar, wobei die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter insbesondere physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes beeinflusst.
Alternativ nimmt die Verarbeitungseinrichtung eine Manipulation von Objekten der Computeranwendung vor, wobei die Verarbeitungseinrichtung insbesondere die physikalischen Eigenschaften der Objekte manipuliert.
Weiter alternativ beeinflusst die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter den Ablauf der Computeranwendung.
Ferner weist das System vorzugsweise eine Vergleichseinrichtung zum Vergleichen der erfassten biologischen Parameter mit Referenzwerten, insbesondere nutzerspezifischen Referenzwerten, auf. Weiter Vorzugsweise ist eine Berechnungseinrichtung zum statistischen Auswerten der erfassten biologischen Parameter vorgesehen.
Vorzugsweise weist das System mindestens eine Elektroenzephalogramm-(EEG-) Elektrode, mindestens eine Elektromyogramm-(EMG-)Elektrode, Brustkorbbewegungs-Messaufnehmer, einen Hautleitwert-Sensor und einen Pulsfrequenz-Sensor, weiter bevorzugt einen Hauttemperatur-Sensor und/oder eine Blutdruck-Messeinrichtung auf.
Das erfindungsgemäße System besteht aus mehreren Messaufnehmern für Biodaten, aus einem Peripheriegerät, an das die Messaufnehmer angeschlossen sind, einer Verbindung zu einem Computer und Verarbeitungs- und Darstellungskomponenten.
Die Erfassung der biophysikalischen Messwerte erfolgt erfindungsgemäß in vier Schritten:

- Kontaktierung an den Probanden
- Verstärkung und Filterung der Signale
- Analog-Digital-Wandlung der Messwerte
- Datenübertragung an eine Verarbeitungseinheit (beispielsweise PC).

Die Messaufnehmer für die Erfassung der biophysikalischen Parameter sind vorzugsweise:

- zwei EEG-Elektroden, die in geeigneter Form in einer Kappe oder einem Stirnband angeordnet sind und an den international klassifizierten Elektrodenpositionen FCz und Pz sitzen;
- drei EMG-Elektroden, von denen eine oberhalb des linksseitigen M. flexor digitorum quintus angebracht ist, die andere im rechtsseitigen Gesichtsbereich am M. zygomaticus sitzt und die dritte im rechtsseitigen Gesichtsbereich am M. corrugator sitzt;
- ein gurtartiger Messaufnehmer für die Bewegungen des Brustkorbes;
- ein Fingersensor für den Hautleitwert, der aus zwei Elektroden besteht;
- ein Sensor für die Aufnahme der Pulsfrequenz, der innerhalb eines Armbandes angebracht ist;
- optional zusätzlich ein Sensor für die Hauttemperatur;
- optional zusätzlich eine Messeinrichtung für den Blutdruck.

Um mögliche Störeinflüsse zu minimieren, ist erfindungsgemäß der Bio-Signal- Verstärker von der Analog-Digital-Wandler-Einheit getrennt. Da die Verstärker sehr klein gebaut sind, können sie sehr dicht an die Messaufnehmer gerückt werden, ohne den Anwender zu behindern. Die Verstärker und die AD-Wandler-Einheit sind wiederum über entsprechende Leitungen verbunden. Über eine galvanisch getrennte Schnittstelle (RS232 oder optional USB) werden die Daten zur Verarbeitungseinheit (beispielsweise PC) übertragen.
Die erfindungsgemäß erfassten Biosignale werden gemäß einer ersten Ausführungsform in Form eines Avatar verarbeitet und dem Nutzer veranschaulicht. Der Nutzer ist also im zu beeinflussenden System als Avatar präsent. Hierbei handelt es sich um eine virtuelle Figur, die der Nutzer als Repräsentanz seines "ich" durch die virtuelle Welt steuert. Die äußere Form des Avatar, das Verhalten und die Fähigkeiten des Avatar werden durch die Biodaten des Nutzers bestimmt. Hierbei werden erfindungsgemäß einzelne Aspekte des Avatars einzelnen Biofaktoren oder der Kombination von Biofaktoren zugeordnet. Dadurch ist es möglich, eine umfassende Repräsentanz des Nutzers im Computersystem zu simulieren. Es können individuelle Leistungen wie Kraft, Geschicklichkeit, Intellekt etc. als Eigenschaften auf den Avatar übertragen werden. Auf diese Weise bewegt der Nutzer nicht mehr nur eine vorgegebene Spielfigur, sondern ist mit seinen Befindlichkeiten und Eigenschaften direkt in das Spielgeschehen eingebunden. Gemäß der vorliegenden Erfindung ist es somit beispielsweise auch möglich, innerhalb eines Computerspieles mehrere Spieler mit ihren realen biologischen Fähigkeiten gegeneinander antreten zu lassen. Dabei nehmen eine Reihe von Faktoren die teilweise bewusst gesteuert werden können oder sich teilweise einer bewussten Steuerung entziehen, direkten Einfluss auf die Aktionen am Bildschirm. Herkömmliche Vorrichtungen und Verfahren ermöglichen es dem Nutzer im Gegensatz dazu aufgrund der simpel konzeptionierten Form der Eingabe (z. B. schnelles Drücken des "Feuer"-Knopfes am Joystick), also lediglich durch Trainierung sehr wenig alltagsrelevanter Fähigkeiten, die Aufgaben des Computerspieles/der Simulation zu lösen.
Zur Zeit existente Computerspiele und industrielle Simulationen zeigen das Problem, dass sie aufgrund der geringen Interaktionsmöglichkeiten des Nutzers mit dem System nur eine begrenzte Immersion (Einbindung des Nutzers in das System) erlauben. Die alltägliche Erfahrung zeigt, dass zur Interaktion mit der Umwelt wesentlich mehr Faktoren eine Rolle spielen als die einfache Eingabe von Steuerdaten. Das der vorliegenden Erfindung zugrundeliegende System ermöglicht eine prinzipiell unbeschränkte Eingabe zusätzlicher Parameter, die entsprechend ihrer Bedeutung in der normalen Umwelt, Einfluss auf die Umwelt, beziehungsweise die Handlungsoptionen des Nutzers haben und dadurch eine wesentlich höhere Immersion des Nutzers in das Geschehen am Bildschirm erlaubt.
Erfindungsgemäß findet folgende Zuordnung der erfassten Biosignale zum Avatar statt:

EMG: Amplitude der Kontraktion des M. flexor digitorum quintus: Größe und Muskelmasse des Avatars

Zu Beginn des Programms erfordert der Ablauf einige Kontraktionen des M. flexor digitorum quintus links des Nutzers. Beispielsweise hat der Nutzer die Aufgabe, einen innerhalb der virtuellen Nutzerumgebung dargestellten Stein möglichst hoch zu heben. Der Nutzer ballt hierzu mit maximaler Stärke eine Faust links. Hierdurch kommt es zur Aktivität des M. flexor digitorum quintus, die zunächst verstärkt und AD-gewandelt wird, um dann in Form eines Messwertes, der die Amplitude der elektrophysiologischen Muskelaktivität in mV repräsentiert, an den Rechner übergeben zu werden. Im Rechner findet eine statistische Auswertung der Daten statt. Zum Beispiel wird die Amplitude über einen vorgegebenen Zeitbereich von z. B. 1 Sekunde integriert. Anschließend findet ein statistischer Vergleich der Daten mit Referenzwerten des Nutzers aus Voruntersuchungen oder mit allgemeinen Referenzwerten statt. Entsprechend der Ergebnisse des Vergleiches wird die Figur des Avatars modifiziert. Liegen die Werte des Nutzers beispielsweise im obersten Referenzbereich oder darüber, wird ein Avatar gewählt, der im Vergleich zu anderen Avataren groß ist und eine große Muskelmasse hat. Liegen die Werte des Nutzers beispielsweise im untersten Referenzbereich oder darunter, wird ein Avatar gewählt, der im Vergleich zu anderen Avataren klein ist und eine kleine Muskelmasse besitzt. Liegen die Werte des Nutzers innerhalb des Referenzbereiches, werden Muskelmasse und Größe des Avatars gemäss eines in das System integrierten Algorithmus automatisch ausgewählt. Kern des Algorithmus ist es, dass Muskelmasse und Größe des Avatars dergestalt mit den Messwerten des Nutzers korreliert sind, dass geringe Amplituden der Kontraktion mit einer kleinen Körpergröße und geringen Muskelmasse korreliert sind und hohe Amplituden der Kontraktion mit einer großen. Körpergröße und großen Muskelmasse korreliert sind. Während des sich dann anschließenden Programmablaufes werden die Ergebnisse wiederholter Messungen dazu verwendet, die Figur des Avatars wiederum zu modifizieren. So kann beispielsweise eine verstärkte Muskelkontraktion des Nutzers bei einer Folgemessung dazu verwendet werden, den Avatar dergestalt zu modifizieren, dass er größer und mit mehr Muskelmasse dargestellt wird. Andersherum wäre eine abgeschwächte Muskelkontraktion dazu zu verwenden, den Avatar kleiner und mit weniger Muskelmasse darzustellen. Entsprechend den Erfordernissen des Programmablaufes und der Aufgabenstellung könnte ein Nutzer beispielsweise erlernen, die Kraft seiner Muskelkontraktion genau zu dosieren, um hiermit Körpergröße und Muskelmasse seines Avatars gemäss den Erfordernissen des Programms zu modifizieren.
Weiterhin werden den Muskelkontraktionen des Nutzers im Programmablauf auch Fähigkeiten des Avatars zugeordnet. So kann der Nutzer über die Muskelkontraktionen an bestimmten Stellen im Programmablauf Objekte manipulieren. Beispielsweise kann der Nutzer einen virtuellen Stein über die Muskelkontraktion hochheben. Die statistische Analyse der Muskelaktivität entspricht hierfür dem oben beschriebenen Verfahren. Anhand des Vergleichs der Werte des Nutzers mit Referenzwerten wird bestimmt die Kraft der Muskelkontraktion des Nutzers die Kraft, mit der der Avatar in der Lage ist, den Stein zu heben.

EEG: Frequenzanalyse mit Bestimmung der Alpha-, Beta- und Theta-Anteile: Form und Größe des Kopfes des Avatars

Das EEG wird an den Positionen FCz und Pz registriert während der Nutzer dem Programmablauf folgt. So ist es beispielsweise Inhalt des Programmablaufes, dass der Nutzer eine mental anstrengende Aufgabe wie z. B. arithmetische Operationen durchführen muss. Ein andere Situation erfordert die Entspannung des Probanden. Das EEG wird zunächst verstärkt und AD-gewandelt, dann an den Computer übergeben. Ein Auswertealgorithmus wertet das EEG statistisch aus. So werden beispielsweise mittels einer Fouriertransformation die relativen Frequenzanteile von Alpha-, Beta- und Thetawellen ermittelt und mit allgemeinen Referenzwerten verglichen oder mit Referenzwerten, die anhand von Voruntersuchungen des Probanden erstellt wurden. Entsprechend dieses Abgleichs mit Referenzwerten wird die Kopfform- und Größe des Avatars bestimmt. Beispielsweise kann ein Nutzer, der eine EEG-Aktivität aufweist, die ausweislich des Vergleichs mit den Normwerten bzw. Referenzwerten statistisch mit einer guten Entspannungsfähigkeit korreliert ist, einen Kopf erhalten, der einem alten weisen Menschen nachempfunden ist. Ein Nutzer, der eine EEG-Aktivität aufweist, die ausweislich des Vergleichs mit den Normwerten statistisch mit einer schlechten Entspannungsfähigkeit korreliert ist, kann beispielsweise einen Kopf erhalten, der einem jungen Menschen nachempfunden ist. Während des sich dann anschließenden Programmablaufes werden die Ergebnisse wiederholter Messungen dazu verwendet, die Figur des Avatars im Verlauf zu modifizieren. So können beispielsweise EEG-Veränderungen, die auf eine verbesserte Entspannungsfähigkeit des Probanden hinweisen, dazu verwendet werden, die Kopfform von der eines jungen Menschen zu der eines alten Menschen oder zu einer Zwischenstufe (mittel alter Mensch) zu verändern.

Atmung: virtuelles Gewicht des Avatars

Mittels eines Sensors werden Atemfrequenz und Atemtiefe des Nutzers erfasst, während der Nutzer dem Programmablauf folgt. So ist es beispielsweise Aufgabe des Nutzers, den Avatar innerhalb der virtuellen Umgebung innerhalb einer möglichst kurzen Zeit über eine vorgegebene Distanz zu bewegen. Hierbei werden mittels des Sensors die Atemexkursionen des Nutzers ermittelt, die Impulse AD-gewandelt und an die Verarbeitungseinheit bzw. den Computer übergeben. Hier wird eine statistische Auswertung vorgenommen in dem Sinne, dass die Atemfrequenz und die Atemtiefe des Nutzers ermittelt werden. Diese Werte werden mit allgemeinen Referenzwerten oder mit Referenzwerten verglichen, die anhand von Voruntersuchungen des Nutzers erhoben wurden. Entsprechend dieses Vergleichs werden dem Avatar physikalische Eigenschaften innerhalb der virtuellen Welt zugewiesen. So erhält der Nutzer beispielsweise, wenn die Atemfrequenz und Atemtiefe im oberen Referenzbereich oder oberhalb des Referenzbereiches liegen, ein niedriges "virtuelles" Gewicht zugewiesen. Dieses führt dazu, dass er innerhalb der Nutzerumgebung besonders hoch springen kann. Im Gegensatz hierzu könnte ein Nutzer, dessen Atemfrequenz und -tiefe im unteren Referenzbereich liegen, ein hohes virtuelles Gewicht zugewiesen bekommen, was dazu führt, das er innerhalb der virtuellen Umgebung nur wenig hoch springen kann.

Herzfrequenz: virtuelle Ausdauer des Avatars bei Bewegungen

Mittels der erfindungsgemäßen Apparatur wird die Herzfrequenz des Nutzers erfasst und AD-gewandelt an den Computer übergeben. Hier findet ein Vergleich der momentanen Herzfrequenz des Nutzers mit allgemeinen Referenzwerten oder mit nutzerspezifischen Referenzwerten, die bei Vorsitzungen gewonnen wurden, statt. Liegt die aktuelle Herzfrequenz des Nutzers im oberen Referenzbereich, ist die Ausdauer des Avatars bei Bewegungen innerhalb der virtuellen Nutzerumgebung gering. Dieses ist z. B. für den Nutzer daran erkenntlich, dass dem Avatar in kurzen Abständen Energie z. B. in Form von Nahrung zugeführt werden muss. Liegt die aktuelle Herzfrequenz des Nutzers im unteren Referenzbereich, ist die Ausdauer des Avatars bei Bewegungen innerhalb der virtuellen Nutzerumgebung hoch.
Dieses ist z. B. für den Nutzer daran erkenntlich, dass dem Avatar in längeren Abständen Energie zugeführt werden muss. Durch kontinuierliche Aufnahme der Herzfrequenz des Nutzers und Abgleich mit den Referenzwerten wird die Ausdauer des Avatars kontinuierlich während des Programmablaufs modifiziert.

Hautleitwert: Bewegungsabläufe des Avatars

Die Bewegungsabläufe des Avatars hängen vom Hautleitwert des Nutzers ab. Der Hautleitwert wird mittels einer Messeinrichtung erfasst, die eine Verstärkung der Messwerte und eine Anschließende AD-Wandlung durchführt. Nach Übergabe an den Computer wird mittels statistischer Methoden die Veränderung des Hautleitwertes im Zeitverlauf erfasst. Es erfolgt eine Bewertung dieser Veränderungen (Zunahme bzw. Abnahme bzw. Konstanz) in Abhängigkeit von allgemeinen Referenzwerten oder in Abhängigkeit von Referenzwerten, die anhand von Voruntersuchungen des Nutzers gebildet wurden. Nimmt beispielsweise der Hautleitwert des Nutzers im Vergleich zu den Referenzwerten überproportional zu, zeigen die Hände ein Schütteln (medizinisch als Tremor bezeichnet), um z. B. Aufregung zu symbolisieren. Nimmt der Hautleitwert des Nutzers überproportional ab, lässt z. B. das Schütteln der Hände nach, um einen geringen Erregungsgrad des Nutzers anzuzeigen.

Temperatur: Hautfarbe des Avatars

Mittels eines Temperatursensors wird die Hauttemperatur des Nutzers erfasst, AD-gewandelt und an den Computer übertragen. Hier findet ein Vergleich der momentanen Hauttemperatur des Nutzers mit Referenzwerten des Systems statt, die aus Voruntersuchungen des Nutzers stammen oder allgemeine Referenzwerte darstellen. Durch den statistischen Vergleich wird die Hautfarbe des Avatars bestimmt. Liegt die Hauttemperatur im oberen Normbereich, wird die Haut zunehmend rötlicher. Liegt sie im unteren Normbereich, wird die Haut zunehmend blasser. Durch kontinuierlichen Abgleich der aktuellen Hauttemperatur des Nutzers mit den Referenzwerten wird die Hauttemperatur des Avatars kontinuierlich modifiziert.

Bevorzugt werden weitere Aspekte des Avatars anhand von anderen Biofaktoren festgelegt oder Biofaktoren in Kombination berücksichtigt

Die Biosignale des Nutzers werden erfindungsgemäß zu Beginn einer Anwendung gemessen (hierbei kann es sich um eine einzelne Sitzung oder aber auch um eine ganze Abfolge von Sitzungen handeln) und dienen dazu, den Avatar erstmalig festzulegen. Im Verlauf der Anwendung (d. h. während einer Sitzung oder in nachfolgenden Sitzungen) wird der Avatar dann vorzugsweise anhand von Veränderungen der Biosignale modifiziert. Dies kann anhand von Morphingverfahren von Aspekten des Avatars geschehen oder auch dadurch erfolgen, dass ein unterschiedlicher Avatar aus einer Gruppe vordefinierter Avatars ausgewählt wird. Perspektivisch kann eine komplette virtuelle Repräsentanz aller Biofaktoren eines Nutzers erstellt werden.
Die aus den VEPSY/VEPAR EU-Programmen entwickelten Modelle, um einen Avatar zu modifizieren, berücksichtigen nicht die in der vorliegenden Erfindung genannten Biofaktoren. Es handelt sich vielmehr lediglich um die Messwerte Gewicht und Körpergröße, die "konventionell" ermittelt werden.
Die virtuelle Nutzerumgebung, innerhalb derer sich der Nutzer mittels seines Avatars bewegt, ist grundsätzlich durch die Geometrien der Umwelt wie z. B. virtuell dargestellte Häuser oder Naturszenen und durch die Präsenz weiterer Objekte wie z. B. Autos, Steine etc. bestimmt. Ebenso wie sich Formen und Verhalten des Avatars an die gemessenen Biofaktoren des Nutzers adaptieren, passt sich vorzugsweise auch die virtuelle Umgebung an die Biofaktoren des Nutzers an. Beispielsweise wird die affektive Wahrnehmung des Probanden über Messung des EMG des M. zygomatikus und des EMG des M. corrugator sowie des HLW bestimmt und die Umwelt entsprechend des emotionalen Zustandes des Nutzers verändert. So kann ein Proband mit positiver affektiver Wahrnehmung in ein angenehmes virtuelles Szenario exponiert werden, wie z. B. einen sonnigen Strand, während ein Proband mit negativer affektiver Wahrnehmung in ein unangenehmes Szenario wie z. B. ein Verlies versetzt wird.
Diese Modifikation der virtuellen Umgebung erfolgt erfindungsgemäß folgendermaßen:
Innerhalb eines virtuellen Raums wird dem Nutzer ein Stimulus gezeigt, der gemäss seines emotionalen Gehaltes bekannt ist. So kann es sich um einen Stimulus handeln, der gemäss anhand von allgemeinen Referenzwerten als emotional positiv einzuschätzen ist (wie z. B. ein Aktfoto) oder als emotional negativ einzuschätzen ist (wie z. B. ein Kriegsfoto). Während der Nutzer den Stimulus wahrnimmt, wird ein lautes Geräusch (der sog. Arousalreiz) präsentiert. Parallel hierzu wird der Hautleitwert sowie die EMG-Aktivität der o. g. Muskeln erfasst. Anhand des Vergleichs mit Referenzwerten des Hautleitwertes und der Latenz und der Amplitude des o. g. EMG wird die Wahrnehmung des Computernutzers als emotional positiv, emotional negativ oder emotional neutral klassifiziert und eine entsprechende Exposition mit gezielt ausgerichteten Reizen innerhalb der virtuellen Umgebung angeschlossen, wie z. B. dem Versetzen des Nutzers in ein angenehmes Szenario.
Ebenso wie bei der Formung des Avatars ist es möglich, zunächst die Biovariablen des Nutzers zu erfassen, ein erste virtuelle Umwelt zu bestimmen und diese dann im Verlauf der Anwendung an Veränderungen der Variablen des Nutzers zu adaptieren.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft die Nutzung der o. g. Biofaktoren um dem Nutzer zu ermöglichen, Objekte in der virtuellen Welt zu manipulieren. Den Objekten sind in der virtuellen Welt physikalische Eigenschaften zugeordnet. Es existiert z. B. Schwerkraft und die Objekte haben ein Gewicht. Beispielsweise kann der Nutzer über die Messung der Amplitude des EMG im Zeitverlauf und eine statistische Verrechnung der Parameter erfindungsgemäß Objekte in ihrer Position, Konfiguration oder Bewegungsrichtung durch den Nutzer verändern. Gleichermaßen kann die Veränderung des Hautleitwertes, der Atemfrequenz- oder Tiefe, der Pulsfrequenz, der Hauttemperatur oder der EEG- Frequenzen mit einer Manipulation von Objekten verknüpft sein. Im Gegensatz zu bekannten Biofeedbackverfahren, die die Messung von Bioaktivität im Sinne von Feedbackschleifen, die dem Nutzer die Aktivität in Form von einfachen Kurven oder Balkengraphiken oder mittels der Steuerung von einfachen Animationen verdeutlichen, beinhalten, werden erfindungsgemäß komplexe Modifikationen von Objekten in virtuellen Nutzerumgebungen ausgeführt. Im Gegensatz zu herkömmlichen Produkten, die mit der Erfassung eines einzelnen Biofaktors wie z. B. dem EEG oder von Biofaktoren eines Fingers auskommen, sind die Eingabemöglichkeiten des Nutzers mannigfaltig. Hierdurch wird erfindungsgemäß ein komplexes Biointerface Mensch-Computer geschaffen. Der Nutzer kann mittels seiner Biofaktoren im System direkt komplexe Abläufe steuern. Der Grad der Einbindung des Nutzers ist somit erfindungsgemäß erheblich höher als bei Anwendungen, in denen jeweils lediglich ein Biofaktor Berücksichtigung findet. Gemäß der vorliegenden Erfindung ist es somit beispielsweise auch möglich, innerhalb eines Computerspieles mehrere Spieler mit ihren realen biologischen Fähigkeiten gegeneinander antreten zu lassen. Dabei nehmen eine Reihe von Faktoren die teilweise bewusst gesteuert werden können oder sich teilweise einer bewussten Steuerung entziehen, direkten Einfluss auf die Aktionen am Bildschirm. Im Gegensatz zu den existenten Produkten, die aufgrund ihrer Limitationen lediglich eine geringe Einbindung des Nutzers in den Computerablauf ermöglichen, handelt es sich also, da diverse Biofaktoren den Nutzer praktisch biologisch omnipräsent machen, um eine völlig neuartige Schnittstelle zwischen Mensch und Computer, die eine völlig neuartige Immersion des Nutzers ermöglicht.
Ein weiterer Aspekt der Erfindung betrifft die Ablaufsteuerung von Computerprogrammen durch Biofaktoren, die kognitive Funktionen der Nutzer widerspiegeln, wie z. B. ereigniskorrelierte Potentiale. Dies erfolgt erfindungsgemäß durch die Erfassung und Verarbeitung der Parameter P3b und ERN. Dieser erfindungsgemäße Aspekt ermöglicht es, neuartige Lernmethoden umzusetzen. Die Nutzer erhalten in der virtuellen Welt Aufgaben, die sie erledigen müssen. Naturgemäß setzt die Erledigung der Aufgaben einen Entscheidungsprozess voraus. Ein Charakteristikum des Entscheidungsprozesses ist es, dass hierdurch EKP induziert werden. Die P3b erlaubt es, die Geschwindigkeit und die Güte des Entscheidungsprozesses zu messen. Hierzu wird erfindungsgemäß die Einzelpotentialanalyse der Frequenz und der Amplitude der P3b verwendet. Die Analyse erfolgt dergestalt, dass parallel zur Präsentation eines kritischen Reizes in der virtuellen Welt das EEG registriert und mit bestimmten digitalen Filtern bearbeitet wird. Ein folgender Verarbeitungsschritt beinhaltet die statistische Analyse der gefilterten Wellenformen. Hierbei erfolgt ein statistischer Vergleich zwischen dem mit dem kritischen Reiz zeitlich korrelierten EEG-Segment (hierbei handelt es sich gewissermaßen um ein P3b-Einzelpotential) und einer allgemeinen Referenzwellenform oder einer nutzerspezifischen Referenzwellenform der P3b. Der statistische Vergleich besteht z. B. aus einer Waveletanalyse und ermöglicht es, zwischen Präsenz und Absenz der P3b zu unterscheiden und zusätzlich ggf. Amplitude und Latenz der P3b zu erfassen. Hierdurch ist es möglich, den Ablauf des Entscheidungsprozesses des Nutzers qualitativ und quantitativ in einer automatisierten Form zu bewerten.
Die ERN erlaubt es, das Fehlermonitoring zu messen. Die ERN wird dabei als Maß für die Sicherheit verwandt, mit der ein Proband eine bestimmte Entscheidung trifft und mit der er eigene Fehler erkennt. Auch die ERN wird innerhalb einer Einzelpotentialanalyse in Bezug auf ihre Latenz und ihre Amplitude erfasst, nachdem ein EEG-Segment registriert wurde, das mit einem kritischen Reiz zeitlich korreliert ist. Das statistische Verfahren entspricht der Analyse der P3b. Durch die Analyse der P3b und der ERN wird also die Entscheidungsgüte (Geschwindigkeit der Entscheidung und Sicherheit der Entscheidung) gemessen, zum Teil auch ohne dass eine direkte Reaktion des Computernutzers beispielsweise mittels Knopfdruck notwendig ist. Bevorzugt ist dabei eine automatisierte Anpassung des Schwierigkeitsgrades oder der Art von Aufgaben, die der Proband zu lösen hat. Hierdurch ist eine automatische Adaptation des Schwierigkeitsgrades von Aufgaben innerhalb der virtuellen Umgebung möglich. Erfindungsgemäß werden also Biofaktoren des Nutzers erfasst und verarbeitet, die mit bestimmten kognitiven Fähigkeiten in unmittelbarem Zusammenhang stehen und die z. B. eine automatisierte Adaptation des Schwierigkeitsgrades von Trainingsaufgaben ermöglichen.
Das erfindungsgemäße System und die Verfahren erlauben es, die Interaktion zwischen Mensch und Maschine zu verbessern, indem Biofaktoren erfasst werden, die die Repräsentanz des Nutzers in virtuellen Umgebungen beeinflussen und den Ablauf komplexer Programme steuern.
Die erfassten Biofaktoren dienen dazu, den Avatar des Nutzers zu modifizieren. Außerdem stellt die Erfindung dem Nutzer erheblich erweiterte Eingabemöglichkeiten für Computeranwendungen zur Verfügung. Dabei geht es jedoch im Vergleich zum Stand der Technik nicht lediglich darum, dem Nutzer direkt seinen physiologischen Zustand rückzumelden. Vielmehr stehen dem Nutzer über die Erfassung des Signals direkte Eingabemöglichkeiten zur Verfügung und ermöglichen damit eine realitätsnahe Einbindung des Nutzers mit seinen biologisch begründeten Fähigkeiten in die virtuelle Welt. Beispielsweise ermöglichen die Biofaktoren dem Nutzer direkt Eingriffe in eine Spieleanwendung. Weiterhin erlauben Erfassung und Bewertung ausgewählter Biofaktoren, die die kognitiven Fähigkeiten des Nutzers repräsentieren, ein computerbasiertes Training, welches automatisch in der Schwierigkeit an die Fähigkeiten des Nutzers adaptiert wird, ohne dass der Nutzer notwendigerweise direkte Eingaben über konventionelle Eingabemedien tätigen muss.
Die Erfindung ermöglicht, den komplexen Organismus des Menschen, der aus einer Vielzahl von biologischen Vorgängen besteht, die gewissermaßen ein "holistisches" Ganzes bilden, zu berücksichtigen. Dem Computernutzer können die Vielzahl seiner Bioparameter auf konkrete Art und Weise dargestellt werden. Ferner wird dem Nutzer eine Schnittstelle zur Verfügung gestellt, über die er durch bewusste Modifikation verschiedener Biofaktoren realitätsnah in die Ablaufsteuerung von Computerprogrammen eingreifen kann. Schließlich erlaubt die Erfindung, über die Erfassung von Bioparametern wie z. B. ereigniskorrelierten Potentialen, die kognitive Funktionen des Nutzers widerspiegeln, den Ablauf der Computerprogramme zu steuern, ohne dass Nutzerantworten über ein konventionelles Eingabemedium notwendig sind.
Die Erfindung wird mit Bezug auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine Übersichtsdarstellung des erfindungsgemäßen Systems;
Fig. 2 die Anordnung zweier EEG Elektroden innerhalb einer Haube;
Fig. 3 die Anordnung einer EMG Elektrode auf einer Armmanschette;
Fig. 4 die Applikation zweier EMG Elektroden im Gesicht;
Fig. 5 die Anbringung eines Atemgurtes am Nutzer;
fig. 6 einen Fingersensor zum Messen des Hautleitwertes;
Fig. 7 die Anbringung eines Pulssensors am Arm des Nutzers;
Fig. 8 die Anbringung eines Temperatursensors am Nutzer;
Fig. 9 eine schematische Darstellung des erfindungsgemäßen Systems;
Fig. 10 den erfindungsgemäßen Einfluss verschiedener biophysikalischer Parameter auf einen Avatar;
Fig. 11 den Ablauf der erfindungsgemäßen Avatarmodifikation;
Fig. 12 den Ablauf der erfindungsgemäßen Modifikation der Geometrien einer virtuellen Umgebung;
Fig. 13 den Ablauf der Manipulation eines virtuellen Objektes auf der Basis von Biofaktoren; und
Fig. 14 den Ablauf des erfindungsgemäßen Trainings mittels EKP.
Fig. 1 veranschaulicht das erfindungsgemäße System, das mehrere Messaufnehmer zum Messen verschiedener biophysikalischer Parameter aufweist, die an einem Nutzer angebracht werden. In der gezeigten Darstellung sind dies EEG-Sensoren; ein Atemgurt, Puls- und Temperatursensoren (am Finger des Nutzers) sowie EMG-Sensoren am linken Unterarm. Die Messaufnehmer sind mit einem Peripheriegerät verbunden, das wiederum mit einer Verarbeitungseinheit, etwa einem PC verbunden ist.
Fig. 2 zeigt eine elastische Haube, in der an den international klassifizierten Positionen Pz und FCz EEG-Elektroden vorgesehen sind. Diese beiden aktiven Elektroden sind wie die passive Elektrode mit dem Peripheriegerät verbunden, dem die gemessenen Signale zugeführt werden.
Eine Armmanschette für die EMG-Elektroden ist in Fig. 3 gezeigt. Die Manschette ist vorzugsweise für den Unterarmbereich des Nutzers gedacht. Es ist eine aktive und eine passive Elektrode vorgesehen, deren Signale dem Peripheriegerät zugeführt werden. Die aktive Elektrode ist dabei oberhalb des linksseitigen M. flexor digitorum quintus angebracht.
Fig. 4 veranschaulicht die Anbringung von zwei aktiven und einer passiven EMG- Elektrode im Gesichtsbereich des Nutzers. Eine aktive Elektrode sitzt im rechtsseitigen Gesichtsbereich am M. zygomaticus, die anderen am M. corrugator.
Das Anbringen eines Brustgurtes zum Aufnehmen der Bewegungen des Brustkorbes des Benutzers ist in Fig. 5 veranschaulicht. So können beispielsweise Atembewegungen des Nutzers erfasst werden.
Fig. 6 zeigt ein Fingersensor zum Messen des Hautleitwertes bzw. des Hautwiderstandes, der aus zwei Elektroden (aktiv und passiv) besteht.
Fig. 7 zeigt die Anordnung eines Sensors für die Aufnahme der Pulsfrequenz. Der Sensor ist innerhalb eines Armbandes angebracht und weist ebenfalls eine aktive und eine passive Elektrode auf.
In Fig. 8 ist die Anordnung eines Hauttemperatursensors am Nutzer gezeigt. Die gemessenen Signale werden dem Peripheriegerät zugeführt.
Fig. 9 zeigt eine schematische Darstellung des erfindungsgemäßen Systems. Die verschiedenen Signale der mit den Biomessaufnehmern überwachten biophysikalischen Parameter werden dem Peripheriegerät zugeführt. Dieses weist für die gemessenen Signale Verstärker und Filter auf, um so die Signale einer Vorverarbeitung zu unterziehen. Anschließend werden die Signale A/D gewandelt und an ein Computerinterface übergeben. Über dieses Interface werden die Daten dem Computer zugeführt.
Fig. 10 veranschaulicht die Zuordnung der gemessenen Bioparameter zu den Eigenschaften des Avatars. Die gemessenen EMG-Signale, d. h. die Amplitude der Kontraktion des M. flexor digitorum quintus bestimmen die Größe und Muskelmasse des Avatars. Die auf der Grundlage der EEG-Signale durchgeführte Frequenzanalyse mit Bestimmung der Alpha-, Beta- und Theta-Anteile wird zur Bestimmung der Form und der Größe des Kopfes des Avatars verwendet. Über die gemessene Atembewegung des Nutzers, d. h. der Frequenz und Tiefe der Atmung wird das virtuelle Gewicht des Avatars festgelegt. Die Herzfrequenz hat Einfluss auf die virtuelle Ausdauer des Avatars bei Bewegungen. Der Hautleitwert bestimmt Bewegungsabläufe des Avatars. Die Temperatur wird zur Bestimmung der Hautfarbe des Avatars herangezogen.
Vorzugsweise werden weitere Aspekte des Avatars anhand von anderen Biofaktoren festgelegt oder Biofaktoren in Kombination berücksichtigt.
Fig. 11 veranschaulicht das Ablaufschema der Formung des Avatars anhand der Biofaktoren des Nutzers. In einem ersten Schritt gibt der Nutzer seine persönlichen Daten ein, die dann mit bereits registrierten Datensätzen verglichen werden, um so festzustellen, ob der Nutzer dem System bereits bekannt ist. Für den Fall, dass der Nutzer bereits bekannt ist, wird auf den bereits früher verwendeten Avatars zurückgegriffen. Falls der Nutzer dem System noch nicht bekannt ist, werden in einem nächsten Schritt zunächst die verschiedenen Biofaktoren des Nutzers erfaßt und in einem nächsten Schritt mit entsprechenden Referenzwerten verglichen. Anhand dies Vergleichs der nutzerspezifischen Biofaktoren mit den Referenzwerten wird ein Avatar mit entsprechender Form und entsprechenden Fähigkeiten ausgewählt. Dann tritt das Verfahren in eine Schleife ein. Ausgehend von einer nun erfolgenden erneuten Erfassung der Biofaktoren des Nutzers und einem anschließenden Vergleich der aktuellen Biofaktoren mit gespeicherten Referenzwerten wird der nutzerspezifische Avatar entsprechend modifiziert. Im Falle einer kontinuierlichen Erfassung der Biofaktoren kehrt die Schleife wie in Fig. 11 im rechten unteren Zweig gezeigt erneut zum Schritt der Erfassung der Biofaktoren zurück. Alternativ erfolgt zunächst eine Modifikation der Referenzwerte und anschließend ein erneuter Vergleich der aktuellen Biofaktoren mit den modifizierten Referenzwerten.
Fig. 12 veranschaulicht das Ablaufschema der Modifikation der Geometrien und Objekte der virtuellen Programmumgebung anhand der Biofaktoren des Nutzers. Gemäß dieses Verfahrens erfolgt in einem ersten Schritt eine Dateneingabe, d. h. es werden die spezifischen Daten des Nutzers in das System eingegeben. Anhand dieser eingegebenen Daten überprüft das System, ob der Nutzer bereits registriert ist. Wenn dies der Fall ist wird auf bereits vorhandene Geometrien bzw. Objekte zurückgegriffen. Falls der Nutzer dem System noch nicht bekannt ist, werden in einem weiteren Schritt zunächst die aktuellen Biofaktoren des Nutzers erfaßt. Diese werden im nächsten Schritt mit gespeicherten Referenzwerten verglichen. Auf der Grundlage dieses Vergleiches werden dann geeignete Geometrien bzw. Objekte selektiert. Anschließend wird wieder in eine Schleife eingetreten, in der zunächst die aktuellen Biofaktoren des Nutzers erfasst und daraufhin mit entsprechenden Referenzwerten verglichen werden. Aufgrund dieses Vergleiches werden die nutzerspezifischen Geometrien bzw. Objekte geeignet modifiziert. Im Falle einer kontinuierlichen Erfassung der Biofaktoren kehrt die Schleife zum Schritt des Erfassens der Biofaktoren des Nutzers zurück. Alternativ kann zunächst eine Modifikation der Referenzwerte erfolgen.
Fig. 13 veranschaulicht die Manipulation eines Objektes über Biofaktoren. Zunächst werden die Biofaktoren des Nutzers erfasst und nach Verstärkung und Analog/Digital-Wandlung einer statistischen Auswertung zur Bildung von Referenzwerten unterzogen. In einer sich daran anschließenden Schleife werden die aktuellen Werte der Biofaktoren mit Referenzwerten verglichen und ein Objekt anhand des Ergebnisses des Vergleiches modifiziert. In einem weiteren Schritt kann zunächst eine Modifikation der Referenzwerte erfolgen (linker Zweig in Fig. 13) bevor erneut auf der Grundlage einer statistischen Auswertung Referenzwerte gebildet werden. Alternativ dazu erfolgt eine Erfassung der Biofaktoren, die dann wiederum mit Referenzwerten verglichen werden.
Fig. 14 veranschaulicht die automatisierte Ablaufsteuerung von kognitiven Trainingsaufgaben mittels Erfassung der P3b und ERN. Zu Beginn von solchen kognitiven Trainingsaufgaben wird dem Nutzer zunächst eine Aufgabe gestellt. Es werden die EEG-Signale erfasst, verstärkt und einer Analog/Digital-Wandlung unterzogen. In einem nächsten Schritt erfolgt anhand dieser Signale eine Extraktion von ERN und P3b in Einzelpotentiale. Mehrere dieser Einzelpotentiale werden gemittelt und zur Bildung eines Referenzwertes herangezogen. Anschließend erfolgt eine Bewertung der Leistung des Nutzers auf der Grundlage eines statistischen Vergleiches eines Einzeldurchlaufes mit entsprechenden Referenzwerten. Danach kann gegebenenfalls eine Modifikation des Schwierigkeitsgrades der Aufgabe bzw. der Aufgaben erfolgen. Im Folgenden wird der Nutzer mit einer neuen Aufgabe konfrontiert und die Potentiale ERN und P3b dieser spezifischen Aufgabe werden erneut extrahiert. Daraufhin wird erneut die Leistung des Nutzers bewertet.

Claims

1. Verfahren mit den Schritten:

a) Automatisches Erfassen mehrerer biologischer Parameter eines Nutzers von Computeranwendungen;

b) Verarbeiten der erfassten Parameter;

c) Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter.

2. Verfahren nach Anspruch 1, ferner mit dem Schritt d) Modifizieren der Repräsentanz durch Wiederholen der Schritte a) bis c).

3. Verfahren nach Anspruch 1 oder 2, wobei die in Schritt a) erfassten biologischen Parameter kognitive Vorgänge des Nutzers repräsentieren.

4. Verfahren nach Anspruch 1, 2 oder 3, wobei in Schritt a) die Parameter Elektroenzephalogramm (EEG), Elektromyogramm (EMG), Atmung, Hautleitwert und Pulsfrequenz sind.

5. Verfahren nach Anspruch 4, wobei ferner die Hauttemperatur und der Blutdruck erfasst werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, wobei in Schritt b) die erfassten biologischen Parameter mit Referenzwerten verglichen werden.

7. Verfahren nach Anspruch 6, wobei die Referenzwerte nutzerspezifische Referenzwerte sind.

8. Verfahren nach Anspruch 6 oder 7, wobei die erfassten biologischen Parameter einer statistischen Auswertung unterzogen werden.

9. Verfahren nach Anspruch 8, wobei eine Integration der Amplitude erfolgt.

10. Verfahren nach einem der Ansprüche 1 bis 9, wobei in Schritt c) ein Avatar gebildet wird.

11. Verfahren nach Anspruch 10, wobei die erfassten biologischen Parameter physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes beeinflussen.

12. Verfahren nach Anspruch 10 oder 11, wobei die physikalischen Eigenschaften des Avatars und seine Fähigkeiten innerhalb des Programmablaufes auf der Grundlage eines Vergleichs mit den Referenzwerten bestimmt werden.

13. Verfahren nach Anspruch 10, 11 oder 12, wobei die virtuelle Umwelt in der Computeranwendung auf der Grundlage der erfassten biologischen Parameter beeinflusst wird.

14. Verfahren nach einem der Ansprüche 1 bis 9, wobei in Schritt c) eine Manipulation von Objekten der Computeranwendung erfolgt.

15. Verfahren nach Anspruch 14, wobei physikalische Eigenschaften der Objekte manipuliert werden.

16. Verfahren nach einem der Ansprüche 1 bis 9, wobei in Schritt c) der Ablauf der Computeranwendung beeinflusst wird.

17. Verfahren nach Anspruch 16, wobei die Beeinflussung des Ablaufs der Computeranwendung auf der Grundlage von biologischen Parametern erfolgt, die kognitive Funktionen widerspiegeln.

18. Verfahren nach Anspruch 17, wobei als Parameter die ereigniskorrelierte Potentiale; insbesondere ERN und P3b, verwendet werden.

19. Verfahren nach Anspruch 16, 17 oder 18, wobei die Geschwindigkeit und Güte eines Entscheidungsprozesses des Nutzers ermittelt werden.

20. Verfahren nach einem Ansprüche 16 bis 19, wobei der Schwierigkeitsgrad der Aufgaben der Computeranwendung automatisch den kognitiven Funktionen des Nutzers adaptiert wird.

21. System mit mehreren Messaufnehmern für mehrere biologische Parameter eines Nutzers von Computeranwendungen; und einer Verarbeitungseinrichtung zum Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter.

22. System nach Anspruch 21, wobei die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter einen Avatar bildet.

23. System nach Anspruch 22, wobei die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes beeinflusst.

24. System nach Anspruch 21, wobei die Verarbeitungseinrichtung eine Manipulation von Objekten der Computeranwendung vornimmt.

25. System nach Anspruch 24, wobei die Verarbeitungseinrichtung die physikalischen Eigenschaften der Objekte manipuliert.

26. System nach Anspruch 21, wobei die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter den Ablauf der Computeranwendung beeinflusst.

27. System nach einem der Ansprüche 21 bis 26, ferner mit einer Vergleichseinrichtung zum Vergleichen der erfassten biologischen Parameter mit Referenzwerten, insbesondere nutzerspezifischen Referenzwerten.

28. System nach einem der Ansprüche 21 bis 27, ferner mit einer Berechnungseinrichtung zum statistischen Auswerten der erfassten biologischen Parameter.

29. System nach einem der Ansprüche 21 bis 28, ferner mit mindestens einer Elektroenzephalogramm-(EEG-)Elektrode, mindestens einer Elektromyogramm-(EMG-)Elektrode, Brustkorbbewegungs-Messaufnehmer, einem Hautleitwert-Sensor und einem Pulsfrequenz-Sensor.

30. System nach Anspruch 29, ferner mit einem Hauttemperatur-Sensor und/oder einer Blutdruck-Messeinrichtung.