AT504147B1 - METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) - Google Patents
METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) Download PDFInfo
- Publication number
- AT504147B1 AT504147B1 AT0146206A AT14622006A AT504147B1 AT 504147 B1 AT504147 B1 AT 504147B1 AT 0146206 A AT0146206 A AT 0146206A AT 14622006 A AT14622006 A AT 14622006A AT 504147 B1 AT504147 B1 AT 504147B1
- Authority
- AT
- Austria
- Prior art keywords
- stimuli
- phase
- signal processing
- processing unit
- signals
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 claims description 55
- 230000000638 stimulation Effects 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 9
- 230000000763 evoking effect Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
Description
(19)(19)
österreichischesPatentamt (10) AT 504 147 B1 2008-09-15 (12) Patentschrift (21) Anmeldenummer: A 1462/2006 (51) Int. CI.®: A61B 5/04 (2006.01) A61B 5/0476 (2006.01) (22) Anmeldetag: 2006-09-01 G06F3/01 (2006.01) G06F 17/00 (2006.01) (43) Veröffentlicht am: 2008-09-15 (56) Entgegenhaltungen: (73) Patentanmelder: ARC SEIBERSDORF RESEARCH GMBH A-1010 WIEN (AT) AT 504 147 B1 2008-09-15Austrian Patent Office (10) AT 504 147 B1 2008-09-15 (12) Patent specification (21) Application number: A 1462/2006 (51) Int. CI.®: A61B 5/04 (2006.01) A61B 5/0476 (2006.01) (22) Filing Date: 2006-09-01 G06F3 / 01 (2006.01) G06F 17/00 (2006.01) (43) Published: 2008-09 -15 (56) References: (73) Applicant: ARC SEIBERSDORF RESEARCH GMBH A-1010 WIEN (AT) AT 504 147 B1 2008-09-15
Fig. 2 WO 2006/073915A2 WO 2001/035824A1 WO 2004/100766A2 US 2002/0147411A1 EP 1691682A1 US 2005/0033154A1 US 6236885B1 EBRAHIMI ET AL.: 'BRAIN-COMPUTER INTERFACE IN MULTIMEDIA COMMUNICATION' IEEE SIGNAL PROCESSING MAGAZINE, VOL. 20, NO. 1, JANUARY 2003 (2003-01), PAGES 14-24, XP011093777 PISCATAWAY,WO 2006 / 073915A2 WO 2001 / 035824A1 WO 2004 / 100766A2 US 2002 / 0147411A1 EP 1691682A1 US 2005 / 0033154A1 US 6236885B1 EBRAHIMI ET AL .: 'BRAIN COMPUTER INTERFACE IN MULTIMEDIA COMMUNICATION' IEEE SIGNAL PROCESSING MAGAZINE, VOL. 20, NO. 1, JANUARY 2003 (2003-01), PAGES 14-24, XP011093777 PISCATAWAY,
NJ, US (54) VERFAHREN SOWIE EINRICHTUNG ZUR STEUERUNG VON GERÄTEN MIT HILFE VON ELEKTROENZEPHALOGRAMMEN (EEG) BZW. ELEKTROKORTIKOGRAMMEN (ECOG) (57) Verfahren zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokorti-kogrammen (ECoG) verwenden die Erzeugung einer Anzahl von verschiedenen periodischen Stimuli mit jeweils einer gegebenen Grundfrequenz, die Aufnahme von EEG- oder ECoG-Signalen und deren Filterung, Verstärkung und Weiterverarbeitung, gefiltert, verstärkt und für die weitere Verarbeitung aufgenommen, wobei aus den Signalen der Verstärkerkanäle auf einen bestimmten Stimulus geschlossen und dadurch eine Aktion des Gerätes ausgelöst wird.NJ, US (54) METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH ELECTROENZEPHALOGRAMS (EEG) OR BZW. ELECTRIC CORTICOGRAMS (ECOG) (57) Methods for controlling devices using electroencephalograms (EEG) or electrocortiograms (ECoG) use the generation of a number of different periodic stimuli, each with a given fundamental frequency, the uptake of EEG or ECoG signals. Signals and their filtering, amplification and further processing, filtered, amplified and recorded for further processing, wherein closed from the signals of the amplifier channels to a certain stimulus and thereby trigger an action of the device.
Um bei derartigen Verfahren sowohl die Entscheidungsverlässlichkeit als auch die Entscheidungsgeschwindigkeit zu verbessern, wird die Phase der Stimuli zumindest zu bestimmten Zeitpunkten zur Signalverarbeitungseinheit übertragen und mit der Phase der Signalverarbeitung synchronisiert. DVR 0078018 2 AT 504 147 B1In order to improve both the decision reliability and the decision speed in such methods, the phase of the stimuli is transmitted to the signal processing unit at least at certain times and synchronized with the phase of the signal processing. DVR 0078018 2 AT 504 147 B1
Die Erfindung betrifft ein Verfahren zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG), umfassend die Erzeugung einer Anzahl von verschiedenen periodischen Stimuli mit jeweils einer gegebenen Grundfrequenz, die Aufnahme von EEG- oder ECoG-Signalen und deren Filterung, Verstärkung und Weiterverarbeitung, gefiltert, verstärkt und für die weitere Verarbeitung aufgenommen, wobei aus den Signalen der Verstärkerkanäle auf einen bestimmten Stimulus geschlossen und dadurch eine Aktion des Gerätes ausgelöst wird, sowie eine Einrichtung zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG), umfassend eine Stimulationseinheit für eine Anzahl von verschiedenen periodischen Stimuli mit jeweils einer gegebenen Grundfrequenz, mit Elektroden zur Aufbringung auf die Haut oder der Gehirnoberfläche, und mit einer Signalverarbeitungseinheit mit einer Anzahl von Kanälen zur Abnahme, Filterung, Verstärkung und Weiterverarbeitung der EEG- oder ECoG-Signale der Elektroden, wobei in der Signalverarbeitungseinheit ein Programm implementiert ist, mit dem aus den Signalen der Verstärkerkanäle auf einen bestimmten Stimulus geschlossen und dadurch eine Aktion des Gerätes ausgelöst wird.The invention relates to a method for controlling devices by means of electroencephalograms (EEG) or electrocorticograms (ECoG), comprising the generation of a number of different periodic stimuli each having a given fundamental frequency, the recording of EEG or ECoG signals and their filtering Amplification and further processing, filtered, amplified and recorded for further processing, whereby the signals of the amplifier channels are closed to a certain stimulus and thereby an action of the device is triggered, and a device for controlling devices by means of electroencephalograms (EEG) or Electro-corticograms (ECoG) comprising a stimulation unit for a number of different periodic stimuli each having a given fundamental frequency, electrodes for application to the skin or the brain surface, and a signal processing unit having a number of channels for collection, filtering , Amplification and further processing of the EEG or ECoG signals of the electrodes, wherein in the signal processing unit, a program is implemented, which closes from the signals of the amplifier channels to a specific stimulus, thereby triggering an action of the device.
Der allgemeine Aufbau und das Prinzip von Einrichtungen zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG) ist beispielsweise in den Arbeiten von S.P. Kelly, E.C. Lalor, R.B. Reilly and J.J. Foxe, “Visual spatial attention trak-king using high-density SSVEP data for independent brain Computer communication,“ IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2005, von G.R. Müller-Putz, R. Scherer, C. Neuper, and G. Pfurtscheller, "Steady-state somatosensory evoked potentials: Suitable brain Signals for brain-computer interfaces?,“ IEEE Transactions on Neural Systems and Rehabilitation Engineering, pp. 30 - 37, vol. 14, Issue 1, March 2006, von E.C. Lalor, S.P. Kelly, C. Finucane, et al., "Steady-state VEP-based brain-computer interface control in an im-mersive 3D gaming environment,“ EURASIP Journal on Applied Signal Processing, pp. 3156-3164, 2005, oder von G.R. Müller-Putz, R. Scherer, C. Brauneis, and G. Pfurtscheller, “Steady-state visual evoked potential (SSVEP)-based communication: Impact of harmonic frequency components,”J. Neural Eng., pp. 123-130, Dec. 2005, beschrieben.The general structure and principle of devices for controlling devices by means of electroencephalograms (EEG) and electrocorticograms (ECoG) is described, for example, in the works of S.P. Kelly, E.C. Lalor, R.B. Reilly and J.J. Foxe, "Visual spatial attention using high-density SSVEP data for independent brain computer communication," IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2005, by G.R. Müller-Putz, R. Scherer, C. Neuper, and G. Pfurtscheller, "Steady-state somatosensory evoked potentials: Suitable brain signals for brain-computer interfaces", "IEEE Transactions on Neural Systems and Rehabilitation Engineering, p. 30 - 37, vol. 14, Issue 1, March 2006, by E.C. Lalor, S.P. Kelly, C. Finucane, et al., "Steady-state VEP-based brain-computer interface control in an interactive 3D gaming environment," EURASIP Journal on Applied Signal Processing, p. 3156-3164, 2005, or G.R. Müller-Putz, R. Scherer, C. Brauneis, and G. Pfurtscheller, "Steady-state visual evoked potential (SSVEP) based communication: Impact of harmonic frequency components," J. Neural Eng., Pp. 123-130, Dec. 2005, described.
Die sogenannte Stimulationseinheit erzeugt eine Anzahl / von verschiedenen Stimuli Si,i e {1,...,/}, die entweder visuell, somatosensorisch oder auditorisch sein können. Visuelle Stimuli können z.B. Schachbrettmuster sein, die zyklisch mit unterschiedlichen Raten im Bereich von ca. 5 bis 30 Hz invertiert werden. Alle Stimuli wiederholen sich periodisch, wobei die kleinste Periodendauer einer Stimulationssequenz für jeden gegebenen Stimulus dessen wichtigste Kenngröße, die Grundfrequenz /,· bestimmt. Werden visuelle Stimuli mit einem modernen LCD-Computermonitor erzeugt, ist die Wahl dieser Grundfrequenzen durch die Bildwiederholrate fm eingeschränkt, die üblicherweise bei 60 Hz oder 75 Hz liegt, da die Stimulusgrundfrequenzen fi nur ganzzahlige Teiler von fm sein können.The so-called stimulation unit generates a number / of different stimuli Si, i e {1, ..., /}, which can be either visual, somatosensory or auditory. Visual stimuli can e.g. Checkerboard pattern, which are cyclically inverted at different rates in the range of about 5 to 30 Hz. All stimuli are repeated periodically, with the smallest period of a stimulation sequence determining for each given stimulus its most important characteristic, the fundamental frequency. When visual stimuli are generated with a modern LCD computer monitor, the choice of these fundamental frequencies is limited by the frame rate fm, which is usually 60 Hz or 75 Hz, since the stimulus fundamental frequencies fi can only be integer divisors of fm.
Um eine Steueraufgabe durchführen zu können, kann nun der Benutzer durch seine Aufmerksamkeit, und insbesondere bei visuellen Stimuli durch Betrachten, zu einem Zeitpunkt t einen Stimulus auswählen, d.h., s(t) = 1...../. Wählt er keinen der Stimuli aus, so ist s(f) = 0. Für die Aufnahme von EEG Signalen werden an geeigneten Stellen an der Kopfhaut Elektroden angebracht, für ECoG werden Elektroden auf der Gehirnoberfläche positioniert. Im Fall visuell evozierter Potentiale eignet sich z.B. die Region über dem Okzipitalkortex zusammen mit einer frontalen Referenzelektrode. Die elektrischen Potentiale der Elektroden werden gefiltert, verstärkt und für die weitere Verarbeitung aufgenommen. Für jeden Verstärkerkanal erhält man somit ein Signal yn(f), mit dem Kanalindex n = 1.....N.In order to perform a control task, the user may now select a stimulus by his attention, and especially visual visualization by viewing, at a time t, i.e., s (t) = 1 ..... /. If he chooses none of the stimuli, then s (f) = 0. For the recording of EEG signals electrodes are attached to the scalp at suitable places, for ECoG electrodes are positioned on the brain surface. In the case of visually evoked potentials, e.g. the region above the occipital cortex together with a frontal reference electrode. The electrical potentials of the electrodes are filtered, amplified and recorded for further processing. For each amplifier channel, one thus obtains a signal yn (f), with the channel index n = 1 ..... N.
Die Signalverarbeitung erfolgt in Echtzeit und in zwei Schritten, der Berechnung eines Satzes von Merkmalen (feature extraction) und der Auswertung dieser Merkmale (feature translation). Das Ziel dabei ist, anhand der beobachteten Signale yn{f) den Stimulus zu bestimmen, der mit der höchsten Wahrscheinlichkeit vom Benutzer ausgewählt wurde. Bei der Merkmalsberech- 3 AT 504 147 B1 nung wird aus den Signalen y„(f) ein Satz vom Merkmalen cn,*(f) gebildet. Bei den in der Literatur beschriebenen Methoden sind diese Merkmale cn^t) unterschiedliche Arten von Schätzwerten für die Leistungsdichtespektren der aufgenommenen Signale yn(t) eines kurzen Zeitintervalls \'e]t-TD,f\ in der Vergangenheit von t an ausgewählten Frequenzen fk, die den Grundfrequenzen der Stimuli /, und einer Anzahl harmonischer Frequenzen entsprechen. Diese Methoden reduzieren zwar die Dimensionalität der Merkmale für die weitere Verarbeitung, allerdings geht dabei auch entscheidende Information über die zeitliche Ausrichtung und die Kopplung der Signale yn{f) mit dem gewählten Stimulus verloren, was sich in einer suboptimalen Detektionsverlässlichkeit auswirkt.The signal processing takes place in real time and in two steps, the calculation of a set of features (feature extraction) and the evaluation of these features (feature translation). The goal is to use the observed signals yn {f) to determine the stimulus most likely to be selected by the user. In the feature computation, a set of features cn, * (f) is formed from the signals y "(f). In the methods described in the literature, these features are different types of estimates of the power density spectra of the recorded signals yn (t) of a short time interval \ 'e] t-TD, f \ in the past from t to selected frequencies fk , which correspond to the fundamental frequencies of the stimuli /, and a number of harmonic frequencies. Although these methods reduce the dimensionality of the features for further processing, crucial information about the timing and coupling of the signals yn {f) with the selected stimulus is lost, resulting in suboptimal detection reliability.
Anhand der Merkmale cn,k{f) soll nun zu jedem Zeitpunkt t auf die vom Benutzer getroffene Wahl s(0 geschlossen werden (feature translation). Eine Auswahl von geeigneten Methoden dafür ist z.B. in D. McFarland, C. Anderson, K.-R. Müller, A. Schlögl, and D. Krusienski, "BCI meeting 2005-Workshop on BCI Signal Processing: Feature extraction and translation," Neural Systems and Rehabilitation Engineering, IEEE Transactions on, vol. 14, June 2006 aufgelistet. Alternativ zur Bildung von harten Entscheidungen kann es auch sinnvoll sein, Wahrscheinlichkeitsmaße P(s(f) = i/Cnkit)) für alle möglichen Stimuli /'zu bilden ("weiche Entscheidungen").On the basis of the features cn, k {f), the choice made by the user s (0) is now to be concluded (feature translation) at any time t. A selection of suitable methods therefor is described, for example, in D. McFarland, C. Anderson, K. Müller, A. Schlögl, and D. Krusienski, " BCI meeting 2005 Workshop on BCI Signal Processing: Feature extraction and translation, " Neural Systems and Rehabilitation Engineering, IEEE Transactions on, Volume 14, June 2006 Alternatively to making hard decisions, it may also make sense to form probability measures P (s (f) = i / Cnkit)) for all possible stimuli / '(" soft decisions ").
Die Ergebnisse der Signalverarbeitung können für Steuerungsaufgaben verwendet werden. Z.B. kann bei einem Computer ein Cursor, ein Menü oder ein Texteingabeprogramm gesteuert werden. Wenn der Benutzer den Effekt der Steuerung nicht unmittelbar erkennen kann, sollte irgendeine Form von Benutzerrückmeldung erzeugt werden, um die Aufmerksamkeit des Benutzers zu unterstützen.The results of the signal processing can be used for control tasks. For example, For example, a computer can control a cursor, menu, or text entry program. If the user can not immediately sense the effect of the control, some form of user feedback should be generated to aid the user's attention.
Die WO 2006/073915 beschreibt eine Trainingsroutine für eine biologische Schnittstelle, wobei einzelne Ereignisse wie z.B. die Vorstellung einer Bewegung bezüglich definierter Startzeitpunkte der Stimulationszyklen synchronisiert werden. Die Stimulation ändert sich bei diesen Verfahren dann, wenn ein neues Ereignis „trainiert“ werden soll, also auf einer Zeitskala von Sekunden. Innerhalb dieser Ereignisse verändern sich die Stimuli nicht, ähnlich wie bei den bekannten Verfahren mit Steady-State Evoked Potentials. Deshalb ist es hier weder notwendig noch sinnvoll, eine kontinuierliche Phaseninformation zu übertragen. Das in der WO 2006/073915 verwendete Prinzip beruht auf dem Effekt, dass ein mentaler Status des Gehirns, z.B. die Vorstellung oder Ausführung einer Bewegung, oder ein Gedanken, spezifische und unterscheidbare Muster in den elektrophysiologischen Signalen erzeugt. Stimulation ist hier die Aufforderung des Benutzers zur Erzeugung dieses mentalen Status z.B. mittels visueller oder auditorischer Symbole. Es wird lediglich jeweils ein Zeitpunkt übertragen, mit dem die einzelnen Ereignisse zeitlich synchronisiert werden können.WO 2006/073915 describes a training routine for a biological interface wherein individual events such as e.g. the idea of a movement with respect to defined start times of the stimulation cycles are synchronized. The stimulation changes in these procedures when a new event is to be "trained", ie on a time scale of seconds. Within these events, the stimuli do not change, similar to the known methods with steady-state evoked potentials. Therefore, it is neither necessary nor useful to transmit a continuous phase information. The principle used in WO 2006/073915 is based on the effect that a mental status of the brain, e.g. The idea or execution of a movement, or thought, produces specific and distinguishable patterns in the electrophysiological signals. Stimulation here is the user's request to generate this mental status, e.g. using visual or auditory symbols. Only one time point is transmitted with which the individual events can be synchronized in time.
In dem in der WO 2001/035824 beschriebenen Verfahren wird ein Zeitpunkt von der Auswerteeinheit zur Stimulationseinheit übertragen, um die Stimulation mit der existierenden Gehirnaktivität zu synchronisieren. Aus dem gemessenen Signal wird die Information gebildet, mit der die zeitliche Steuerung der Stimuli erfolgt.In the method described in WO 2001/035824, a point in time is transmitted from the evaluation unit to the stimulation unit in order to synchronize the stimulation with the existing brain activity. From the measured signal, the information is formed, with which the timing of the stimuli takes place.
In ähnlicher Weise wird auch beim in der WO 2004/100766 beschriebenen Verfahren der Zeitpunkt einer Stimulation von der Auswerteeinheit gesteuert, welche also die Stimuli auslöst. Es wird keine Phaseninformation von der Stimulationseinheit zur Auswerteeinheit übertragen, und es existiert keine Phasendefinition der Stimuli in Bezug auf ihre eigene Periodizität. Auch gemäß der WO 2004/100766 werden lediglich Anfangszeitpunkte von Stimulationsereignissen synchronisiert.Similarly, in the case of the method described in WO 2004/100766, the time of a stimulation is also controlled by the evaluation unit, which thus triggers the stimuli. No phase information is transmitted from the stimulation unit to the evaluation unit, and there is no phase definition of the stimuli with respect to their own periodicity. Also according to WO 2004/100766 only start times of stimulation events are synchronized.
In den oben genannten Schriften werden also Stimulationen verwendet und anschließend die direkte Antwort des Gehirns auf diesen einen Stimulus ausgewertet, sog. evozierte Potentiale (EP) als Antworten auf mehrfach hintereinander, aber einzeln ausgeführte Stimulationsereignisse, für deren Auswertung ebenfalls der Startzeitpunkt der einzelnen Ereignisse von besonderer Bedeutung ist. Die Definition einer Phase ist hier ebenfalls nicht sinnvoll, da im Allgemeinen 4 AT 504147 B1 keine Periodizität vorhanden ist. Übertragen wird allein ein einmaliger Zeitpunkt, z.B. über den Aktivierungszeitpunkt eines Stimulus, nicht jedoch eine zusätzliche Phaseninformation. Da die Taktung von Stimulationseinheit und Auswerteeinheit endliche Genauigkeit haben laufen deren Zeitbasen auseinander. Elektrophysiologische Antworten auf kontinuierliche, periodische Stimuli, die unter dem Begriffen Steady-State Visual Evoked Potentials (SSVEP) oder Steady-State Auditory Evoked Potentials (SSAEP) bekannt sind, wurden bislang lediglich spektral ausgewertet, d.h., betragsmäßig, jedoch ohne Phaseninformation.In the above-mentioned writings, therefore, stimulations are used and then the direct response of the brain to this one stimulus is evaluated, so-called evoked potentials (EP) as responses to multiple successive, but individually executed stimulation events, for their evaluation also the starting time of the individual events of is of particular importance. The definition of a phase is also not useful here, since in general 4 AT 504147 B1 there is no periodicity. Only a single time is transmitted, e.g. about the activation time of a stimulus, but not additional phase information. Since the timing of stimulation unit and evaluation have finite accuracy their Zeitbasen run apart. Electrophysiological responses to continuous, periodic stimuli known as Steady State Visual Evoked Potentials (SSVEPs) or Steady State Auditory Evoked Potentials (SSAEPs) have heretofore only been spectrally evaluated, i.e., in magnitude, but without phase information.
Die Aufgabe der vorliegenden Erfindung war eine Verbesserung des eingangs beschriebenen Verfahrens und der Einrichtung dahingehend, dass die Entscheidungsverlässlichkeit als auch die Entscheidungsgeschwindigkeit höher als bei den bisher bekannten Vorschlägen sind.The object of the present invention was an improvement of the method and the device described at the outset in that the decision reliability as well as the decision speed are higher than in the previously known proposals.
Zur Lösung dieser Aufgabe ist das Verfahren erfindungsgemäß dadurch gekennzeichnet, dass die Phase der Stimuli zumindest zu bestimmten Zeitpunkten zur Signalverarbeitungseinheit übertragen und mit der Phase der Signalverarbeitung synchronisiert wird. Durch die Phasensynchronisation enthalten nun auch die Phasen von cn*(f) Informationen über den gewählten Stimulus s(Q, sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt. Mit der Definition einer zu vielen Zeitpunkten vorliegenden, oftmals sogar kontinuierlichen Phaseninformation der Stimuli in Bezug auf deren Periodendauer und dessen Übertragung wie in der vorliegenden Anmeldung vorgesehen ist, kann eine Auswertung erstens deutlich effizienter als mit rein spektralen Maßen erfolgen. Auch ist es durch die oftmalige Übertragung der Phaseninformation überhaupt erst möglich, Stimuli mit unterschiedlicher Phasenlage zu unterschieden, was von großer praktischer Bedeutung ist. Die Phasenlagen der periodischen und im Allgemeinen dauerhaft aktiven Stimuli werden zumindest mehrmals während deren Aktivität, meist sogar kontinuierlich, zur Auswerteeinheit übertragen und anschließend entscheidend für die Auswertung genutzt.To achieve this object, the method according to the invention is characterized in that the phase of the stimuli is transmitted to the signal processing unit at least at certain times and is synchronized with the phase of the signal processing. Through phase synchronization, the phases of cn * (f) now also contain information about the selected stimulus s (Q), so that their inclusion in the evaluation of the features leads to significantly higher decision reliability with the definition of too many times, often even continuous phase information For the stimuli with regard to their period duration and their transmission, as provided in the present application, an evaluation can firstly be carried out much more efficiently than with purely spectral measures.Also, the frequent transmission of the phase information makes it possible to distinguish stimuli with different phase angles The phase positions of the periodic and generally permanently active stimuli are transmitted at least several times during their activity, usually even continuously, to the evaluation unit and subsequently crucial for the evaluation uses.
Vorzugsweise wird dabei die Phase der Stimuli zwischen den Zeitpunkten der Übertragung inter- bzw. extrapoliert.Preferably, the phase of the stimuli between the times of transmission is interpolated or extrapolated.
Gemäß einer anderen Variante des Verfahrens kann die Entscheidungsverlässlichkeit zu jedem Zeitpunkt optimiert werden, indem die Phase der Stimuli kontinuierlich zur Signalverarbeitungseinheit übertragen wird.According to another variant of the method, the decision reliability can be optimized at any time by continuously transmitting the phase of the stimuli to the signal processing unit.
Eine andere erfindungsgemäße Lösungsmöglichkeit sieht dagegen vor, dass eine Phasenfunktion in der Signalverarbeitungseinheit erzeugt und zur Stimulationseinheit übertragen wird, wobei die gemeinsame Phase der Stimuli <p{ts) an die Phase der Signalverarbeitung angepasst wird, so dass der zeitliche Ablauf der Stimuli wird durch die Signalverarbeitungseinheit beeinflusst und gesteuert werden können.On the other hand, another possible solution according to the invention provides that a phase function is generated in the signal processing unit and transmitted to the stimulation unit, wherein the common phase of the stimuli <p {ts) is adapted to the phase of the signal processing, so that the timing of the stimuli becomes the signal processing unit can be influenced and controlled.
Wenn gemäß einem weiteren Merkmal der Erfindung vorgesehen ist, dass Stimuli mit identischer Grundfrequenz jedoch deutlich unterschiedlicher Phase erzeugt werden, kann die Anzahl der unterscheidbaren Stimuli erhöht werden. Bei vorgegebener oder technisch begrenzter Anzahl möglicher Grundfrequenzen für die Stimuli lässt sich die Anzahl voneinander unterscheidbarer Stimuli durch die erhöhte Anzahl der Freiheitsgrade aufgrund der Phasensynchronisation vervielfachen.If, according to a further feature of the invention, it is provided that stimuli with identical fundamental frequency but clearly different phase are generated, the number of distinguishable stimuli can be increased. Given a given or technically limited number of possible basic frequencies for the stimuli, the number of mutually distinguishable stimuli can be multiplied by the increased number of degrees of freedom due to the phase synchronization.
Eine sehr deutliche Unterscheidung lässt sich dabei erzielen, wenn sich die Phasen der Stimuli um einen Betrag von 2tt/ Anzahl der Stimuli zur gleichen Grundfrequenz unterscheiden.A very clear distinction can be made if the phases of the stimuli differ by an amount of 2π / number of stimuli at the same fundamental frequency.
Gemäß einer weiteren vorteilhaften Variante des erfindungsgemäßen Verfahrens kann über eine Fensterfunktion eine Maskierung der Signale der Verstärkerkanäle bewirkt werden, wobei die Fensterfunktion im Frequenzbereich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz fb aller Stimuli hat. Diese Basisfrequenz fb = 1/ Tb ergibt sich aus der Zeit Tb, dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern aller Stimuli. Mit dieser Maskie- 5 AT 504147 B1 rung kann das Übersprechen zwischen Koeffizienten verschiedener Frequenzen verhindert und damit die Entscheidungsverlässlichkeit verbessert werden.According to a further advantageous variant of the method according to the invention, a masking of the signals of the amplifier channels can be effected via a window function, the window function having zeros at all integer multiples of a base frequency fb of all stimuli in the frequency domain. This base frequency fb = 1 / Tb results from the time Tb, the least common multiple of the basic period durations of all stimuli. With this masking, the crosstalk between coefficients of different frequencies can be prevented and thus the reliability of the decision can be improved.
Die eingangs gestellte Aufgabe wird auch durch eine Einrichtung zur Durchführung des bislang beschriebenen Verfahrens gelöst, welche dadurch gekennzeichnet ist, dass eine Einrichtung zur Übertragung der Phaseninformation von der Stimulationseinheit zur Signalverarbeitungseinheit zumindest zu bestimmten Zeitpunkten vorgesehen ist. Diese Übertragung gestattet es, in der Signalverarbeitungseinheit eine Phasensynchronisation durchzuführen. Somit enthalten nun auch die Phasen der aus den Signalen gebildeten Merkmale cn>k(/) Informationen über den gewählten Stimulus s(t), sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt.The object stated at the outset is also achieved by a device for carrying out the method described so far, which is characterized in that a device for transmitting the phase information from the stimulation unit to the signal processing unit is provided at least at certain points in time. This transmission makes it possible to perform phase synchronization in the signal processing unit. Thus, the phases of the signals cn> k (/) also contain information about the selected stimulus s (t), so that their inclusion in the evaluation of the features leads to significantly higher decision reliability.
Vorteilhafterweise kann dabei zusätzlich vorgesehen sein, dass in der Signalverarbeitungseinheit eine Einheit implementiert ist, in welcher die Phase der Stimulationseinheit zwischen den Zeitpunkten der Übertragung inter- bzw. extrapoliert wird.Advantageously, it may additionally be provided that a unit is implemented in the signal processing unit in which the phase of the stimulation unit is interpolated or extrapolated between the times of the transmission.
Auch eine eingangs beschriebene Einrichtung zur Durchführung des Verfahrens, welche dadurch gekennzeichnet ist, dass in der Signalverarbeitungseinheit eine Einheit zur Erzeugung einer Phasenfunktion und zu deren Übertragung zumindest zu bestimmten Zeitpunkten an die Stimulationseinheit implementiert ist, kann zur Lösung der Aufgabe vorgesehen sein.A device described above for carrying out the method, which is characterized in that in the signal processing unit, a unit for generating a phase function and their transmission is implemented at least at certain times to the stimulation unit, may be provided to solve the problem.
Gemäß einer vorteilhaften Ausführungsform der erfindungsgemäßen Einrichtung kann weiters in der Signalverarbeitungseinheit eine Maskierung der Signale der Verstärkerkanäle über eine Fensterfunktion implementiert sein, wobei die Fensterfunktion im Frequenzbereich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz fb aller Stimuli hat, um sowohl ein Übersprechen zwischen Koeffizienten verschiedener Frequenzen zu verhindern und auch die Robustheit der Koeffizienten gegenüber Phasenschwankungen zu erhöhen.According to an advantageous embodiment of the device according to the invention, a masking of the signals of the amplifier channels via a window function can further be implemented in the signal processing unit, wherein the window function in the frequency domain zeros at all integer multiples of a base frequency fb of all stimuli to both a crosstalk between coefficients of different frequencies and also to increase the robustness of the coefficients against phase fluctuations.
Die Anzahl der unterscheidbaren Stimuli kann bei einer vorteilhaften Ausführungsform der erfindungsgemäßen Einrichtung erhöht werden, wenn die Stimulationseinheit zur Erzeugung von Stimuli mit identischer Grundfrequenz jedoch deutlich unterschiedlicher Phase ausgelegt ist.The number of distinguishable stimuli can be increased in an advantageous embodiment of the device according to the invention, if the stimulation unit is designed to generate stimuli with identical fundamental frequency but distinctly different phase.
In der nachfolgenden Beschreibung soll die Erfindung anhand der beigefügten Zeichnungen näher erläutert werden.In the following description, the invention will be explained in more detail with reference to the accompanying drawings.
Dabei zeigt die Fig. 1 schematisch den prinzipiellen Aufbau und Verfahrensablauf für die Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG) gemäß dem Stand der Technik, Fig. 2 zeigt in gleicher Art der Darstellung die erfindungsgemäße Verbesserung durch Phasensynchronisation, und Fig. 3a bis 3h sind Darstellungen der Trajektorienmuster zweier Merkmale in der komplexen Ebene mit und ohne Phasensynchronisation.1 shows schematically the basic structure and procedure for the control of devices using electroencephalograms (EEG) or electrocorticograms (ECoG) according to the prior art, Fig. 2 shows in the same type of representation, the improvement according to the invention by phase synchronization and Figures 3a to 3h are illustrations of the trajectory patterns of two features in the complex plane with and without phase synchronization.
Die in Fig. 2 dargestellte erfindungsgemäße Einrichtung ist vom grundlegenden Aufbau her sehr ähnlich der üblichen, in Fig. 1 gezeigten Einrichtung. Dabei sind, wie auch bereits bei den bekannten Verfahren, alle Stimuli zeitlich periodisch und können deshalb durch die Funktionen s,{ts) = f(exp(j<p(ts))),i = 1...../ beschrieben werden, die von einer komplexen Exponentialfunktion mit linear ansteigender Phase ftts) = abhängen, wobei Tb das kleinste gemeinsame Vielfache der Grundperiodendauern aller Stimuli ist. Da die einzelnen Einheiten des Gesamtgerätes im Allgemeinen unterschiedliche Taktgeneratoren haben und somit nicht mit gleichen Zeitbasen arbeiten, wird mit ts die Zeitbasis der Stimulationseinheit und mit t die Zeitbasis der Signalverarbeitungseinheit bezeichnet. In der Signalverarbeitungseinheit wird, analog zur Stimulationsphase <p(ts), eine Phase ψ(ή gebildet und für die Berechnung der Merkmalsfunktionen (1) 6 AT 504 147 B1 t c„.*(0= Q^(r)w(¥(n-¥(t))e-Mndt' •0$ verwendet. Hierbei maskiert die in der Signalverarbeitungseinheit implementierte Fensterfunktion wfür die Signale y„(t) ein kurzes Zeitintervall in der Vergangenheit von t, d.h., für ψ/(ί)-ψ(ή < 0. Breite Fenster bewirken stabile, aber sich langsam und träge verändernde Werte in ca)t(0, schmale Fenster hingegen lassen die Merkmale rasch den gewählten Stimuli nachfolgen und ermöglichen somit Entscheidungen mit geringen Verzögerungen. Bei ungeeigneter Wahl des Fensters tritt als zusätzlich störender Effekt Übersprechen zwischen Koeffizienten verschiedener Frequenzen auf. Da dies die Entscheidungsverlässlichkeit verringert, wird das Fenster so gewählt, daß die Fensterfunktion im Frequenzbereich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz fb aller Stimuli hat. Die Basisfrequenz fb = 1/ Tb ergibt sich aus der Zeit Tb, dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern aller Stimuli. Dies ist äquivalent dazu, dass die Bedingung $’W(^ - 2π n) Dfl (2) n=-Di erfüllt ist. Unter dieser Bedingung ist die Orthogonalitätsbedingung [$fasin(2/r lfbt) + bcos(2;r lfbt)] w(2π fbt - ö)exp(- j2kfbt)dt = 5k , für alle a,b,9e~, k,le~ und mit der Dirac'schen Deltafunktion erfüllt, d.h., cn,k{f) in (1) ist unabhängig von den Frequenzanteilen lfb in yn(Q. D.h., dass von jeder angeregten Frequenz in yn(t) nur genau ein Merkmal cnik{t) abhängig ist, das von allen anderen beteiligten Frequenzen unabhängig ist. Wird die Fensterfunktion w für einen raschen spektralen Abfall entworfen, also z.B. in Form eines raised cosine window, so bringt dies zusätzlich zur verbesserten Entscheidungsverlässlichkeit den Vorteil einer erhöhten Robustheit der Koeffizienten gegenüber Phasenschwankungen der neuronalen Antworten in den EEG/ECoG Signalen bzw. Abweichungen und Ungenauigkeiten bei der Phasensynchronisation {„Jitter“). Zu beachten ist weiters, dass die Bedingung (2) für die Fenster w impliziert, dass deren minimale Breite 2π ist. Mit anderen Worten bedeutet dies, dass die Mindestbreite des Fensters dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern 1//,· aller Stimuli entspricht. Wählt man also für mehrere Stimuli lauter verschiedene Frequenzen, kann diese Bedingung nur mit einem sehr breiten Fenster eingehalten werden, was wiederum Trägheit in das System bringt. Verwendet man bei einem phasensynchronisierten System phasenverschobene Stimuli, so kann die Bedingung (2) mit deutlich kürzeren Fenstern eingehalten werden.The device according to the invention shown in FIG. 2 is very similar in basic structure to the conventional device shown in FIG. In this case, as in the known methods, all stimuli are temporally periodic and can therefore be described by the functions s, {ts) = f (exp (j <p (ts))), i = 1 ..... / which depend on a complex exponential function with a linearly increasing phase ftts) =, where Tb is the least common multiple of the basic period durations of all stimuli. Since the individual units of the overall device generally have different clock generators and thus do not operate with the same time bases, ts denotes the time base of the stimulation unit and t denotes the time base of the signal processing unit. In the signal processing unit, a phase ψ (ή is formed, analogously to the stimulation phase <p (ts), and for the calculation of the feature functions (1) * (0 = Q ^ (r) w (¥ (n- ¥ (t)) e-Mndt '• 0 $ where the window function w implemented in the signal processing unit masks a short time interval in the past of t for the signals yn (t), ie for ψ / (ί) -ψ (ή <0. Wide windows cause stable but slowly and sluggishly changing values in ca) t (0, narrow windows, on the other hand, allow the features to follow the selected stimuli quickly, thus allowing decisions with little delay Window also experiences crosstalk between coefficients of different frequencies as an additional disturbing effect, since this reduces the decision reliability, the window is chosen such that the window function in the frequency domain zeroes at all integer multiples of a base frequency The basic frequency fb = 1 / Tb results from the time Tb, the lowest common multiple of the basic period durations of all stimuli. This is equivalent to satisfying the condition $ 'W (^ - 2πn) Dfl (2) n = -Di. Under this condition, the orthogonality condition [$ fasin (2 / r lfbt) + bcos (2; r lfbt)] w (2π fbt - ö) exp (- j2kfbt) dt = 5k, for all a, b, 9e ~, k and satisfies with the Dirac delta function, ie, cn, k {f) in (1) is independent of the frequency components lfb in yn (QDh, that of every excited frequency in yn (t) only exactly one feature cnik {t), which is independent of all other frequencies involved. If the window function w is designed for rapid spectral decay, e.g. in the form of a raised cosine window, in addition to improved decision reliability, this provides the advantage of increased robustness of the coefficients over phase variations of the neural responses in the EEG / ECoG signals and jitter variations and inaccuracies, respectively. It should also be noted that condition (2) for the windows w implies that their minimum width is 2π. In other words, this means that the minimum width of the window corresponds to the least common multiple of the basic period durations 1 //, · of all stimuli. So if you select different frequencies for several stimuli, this condition can only be met with a very wide window, which in turn brings inertia into the system. If phase-shifted stimuli are used in a phase-locked system, condition (2) can be met with significantly shorter windows.
Die Beträge der komplexwertigen Funktionen ψ(ή sind, ähnlich wie bei schon bekannten Methoden, auch hier Maße für die Leistungsdichtespektren der Signale yn{f) bei den Frequenzen /k = Berechnet man also den Betrag von cn,k{t) in (1) mit einer lokal in der Signalverarbei tungseinheit erzeugten Phasenfunktion ψ{t) = γς- und einem rechteckigen Fenster w beliebiger Länge, so ist dies äquivalent zu bereits in der Literatur bekannten Methoden basierend auf diskreten Fourier-Transformationen.The amounts of the complex-valued functions ψ (ή are, similarly to already known methods, also here measurements for the power density spectra of the signals yn {f) at the frequencies / k = Calculating the amount of cn, k {t) in (1 ) with a locally generated in the Signalverarbei processing unit phase function ψ {t) = γς- and a rectangular window w of any length, this is equivalent to already known in the literature methods based on discrete Fourier transforms.
Gemäß der vorliegenden Erfindung ist es nun möglich, auch die Phasen der Merkmale cnM{t) sinnvoll nutzen zu können. Dazu wird die Phase ψ(ή mit der Phase qj{ts) synchronisiert, anstatt von der lokalen Zeitbasis t abgeleitet zu werden, so dass die Phasenfunktionen <P(fs) in der Stimulationseinheit und ψ{\) in der Signalverarbeitungseinheit zu jedem Zeitpunkt gleich sind. Wenn sich t und ts voneinander um die unbekannte Abweichung Δ,,(ί) unterscheiden, d.h. 7 AT 504 147 B1 ts(f) = t+ Δ,(ί), muss also ψ{ή = 0(fs(O) = W + Δ,(ί)) sein.According to the present invention, it is now possible to make good use of the phases of the features cnM {t) as well. For this, the phase ψ (ή is synchronized with the phase qj {ts) instead of being derived from the local time base t, so that the phase functions <P (fs) in the stimulation unit and ψ {\) in the signal processing unit at each time point are the same. If t and ts differ from each other by the unknown deviation Δ ,, (ί), i. Therefore, s {ή = 0 (fs (O) = W + Δ, (ί)) must be ts (f) = t + Δ, (ί).
Technisch effizient realisiert wird dies durch direkte Übertragung der Stimulationsphase φ(ίε) vorzugsweise in kurzen zeitlichen Abständen von der Stimulationseinheit zur Signalverarbeitungseinheit und vorteilhafterweise anschließende Interpolation bzw. Extrapolation der fehlenden Werte.This is realized in a technically efficient manner by direct transmission of the stimulation phase φ (εε) preferably at short time intervals from the stimulation unit to the signal processing unit and advantageously subsequent interpolation or extrapolation of the missing values.
Durch die Phasensynchronisation enthalten nun auch die Phasen von cn,/c(0 Informationen über den gewählten Stimulus s(t), sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt.Due to the phase synchronization, the phases of cn, / c (0 also contain information about the selected stimulus s (t), so that their inclusion in the evaluation of the features leads to significantly higher decision reliability.
Die vorteilhaften Auswirkungen der erfindungsgemäßen Phasensynchronisation werden nachfolgend in Zusammenhang mit den Fig. 3a bis 3h erläutert.The advantageous effects of the phase synchronization according to the invention are explained below in connection with FIGS. 3a to 3h.
In Abbildung 3a und 3b sind die Trajektorien zweier Merkmalsfunktionen (1) für zwei Stimuli unterschiedlicher Frequenzen in der komplexen Ebene beispielhaft dargestellt. Der Betrag der Merkmalsfunktion, die mit dem gewählten Stimulus korrespondiert, hat jeweils einen größeren Betrag, die Phase beinhaltet jedoch keine brauchbare Information.In Figures 3a and 3b, the trajectories of two feature functions (1) for two stimuli of different frequencies in the complex plane are exemplified. The amount of feature function that corresponds to the selected stimulus is larger, but the phase does not contain useful information.
In Abbildung 3c und 3d sieht man die Trajektorien der Merkmale unter den selben Bedingungen wie in 3a und 3b, wobei jedoch die Phase ψ(ή in (1) mit 0(fs) synchronisiert ist. Durch die Einführung der Phasensynchronisation lassen sich nun auch Stimuli unterscheiden, die sich ausschließlich durch ihre Phasenlage voneinander unterscheiden. Z.B. können drei Stimuli mit den Sequenzen s,(Z) = f(exp(j</>(ts))), s2(f) = /(exp(/Mfs) + 2ir/3))) und s3{t) = f{exp{j0{ts)-2n/3)) anhand der Phasenunterschiede in cn,k(t) voneinander unterschieden werden. Bei vorgegebener oder technisch begrenzter Anzahl möglicher Grundfrequenzen für die Stimuli lässt sich somit die Anzahl voneinander unterscheidbarer Stimuli vervielfachen. In Abbildung 3c bis 3h sieht man die deutlich unterscheidbaren Trajektorienmuster für sechs verschiedene Stimuli auf zwei Frequenzen und mit drei Phasenlagen. Ohne Phasensynchronisation würde man in den Fällen 3c, 3e und 3g dasselbe Muster wie in 3a erhalten, und in den Fällen 3d, 3f und 3h dasselbe Muster wie in 3b. Zusätzlich zur deutlich verbesserten Detektionsverlässlichkeit der Stimuli bringt die Phasensynchronisation also auch einen signifikanten Vorteil beim Entwurf der Stimuli, da die erhöhte Anzahl der Freiheitsgrade die Anzahl möglicher Stimuli vervielfacht. Vorteilhafterweise werden bei einer Anzahl von N Stimuli auf ein und derselben Grundfrequenz zur deutlichen Unterscheidung Phasenverschiebungen von 2n/N verwendet.In Figures 3c and 3d, the trajectories of the features are seen under the same conditions as in Figures 3a and 3b, but with the phase ψ (ή in (1) being synchronized with 0 (fs), the introduction of phase synchronization now also allows stimuli For example, three stimuli with the sequences s, (Z) = f (exp (j </> (ts)), s2 (f) = / (exp (/ Mfs ) + 2ir / 3))) and s3 {t) = f {exp {j0 {ts) -2n / 3)) can be distinguished from one another by means of the phase differences in cn, k (t). Given a given or technically limited number of possible basic frequencies for the stimuli, the number of mutually distinguishable stimuli can thus be multiplied. Figures 3c to 3h show the clearly distinguishable trajectory patterns for six different stimuli on two frequencies and with three phase positions. Without phase synchronization, the same pattern as in FIG. 3a would be obtained in cases 3c, 3e and 3g, and in the cases 3d, 3f and 3h, the same pattern as in FIG. 3b. Thus, in addition to significantly improving the detection reliability of the stimuli, phase synchronization also provides a significant advantage in designing the stimuli because the increased number of degrees of freedom multiplies the number of possible stimuli. Advantageously, phase shifts of 2n / N are used in a number of N stimuli on the same fundamental frequency for clear distinction.
Weiters ermöglicht die Phasensynchronisation den Entwurf und die Optimierung verallgemeinerter Stimulationssequenzen. Z.B. können die Anzeigedauern einer Abfolge von positiven und negativen Schachbrettmustern visueller Stimuli asymmetrisch oder sogar entsprechend einer Pseudozufallsfolge gewählt werden. Dies eröffnet die Möglichkeit der Optimierung von Stimuli für größtmögliche Detektionswahrscheinlichkeiten. So können Stimuli auch irgendwelche sich periodisch wiederholenden Sequenzen sein, die ein bestimmtes Muster bei den Merkmalsfunktionen erzeugen. Mit Phasensynchronisation können auch Stimulussequenzen unterschieden werden, bei denen sich der Betrag der Merkmalsfunktionen nicht oder nur sehr geringfügig unterscheiden, da über die Phase ein unterscheidbares Muster erzeugt wird. Die Stimuli müssen aber nicht unbedingt durch reine Phasenverschiebung zueinander in der Stimulationseinheit erzeugt werden, können aber mit Hilfe der Phasensynchronisation in der Signalverarbeitungseinheit deutlich besser unterschieden werden.Furthermore, the phase synchronization allows the design and optimization of generalized stimulation sequences. For example, For example, the display durations of a sequence of positive and negative checkerboard patterns of visual stimuli may be chosen asymmetrically or even according to a pseudorandom sequence. This opens up the possibility of optimizing stimuli for the greatest possible detection probabilities. Thus, stimuli may also be any periodically repeating sequences that produce a particular pattern in the feature functions. With phase synchronization it is also possible to distinguish stimulus sequences in which the amount of the feature functions does not differ or only very slightly, since a distinguishable pattern is generated over the phase. However, the stimuli do not necessarily have to be generated by a pure phase shift relative to one another in the stimulation unit, but they can be distinguished much better with the aid of the phase synchronization in the signal processing unit.
Alternativ zum beschriebenen Verfahren für die Phasensynchronisation, in dem die Phase der Stimulationseinheit zur Signalverarbeitungseinheit übertragen wird, kann auch in umgekehrter Weise eine Phasenfunktion in der Signalverarbeitungseinheit erzeugt und zur Stimulationseinheit übertragen werden. Die gemeinsame Phase der Stimuli 0(ts) wird dann an die Phase der Signalverarbeitung angepasst, d.h., der zeitliche Ablauf der Stimuli wird durch die Signalverarbeitungseinheit beeinflusst und gesteuert.As an alternative to the described method for the phase synchronization, in which the phase of the stimulation unit is transmitted to the signal processing unit, a phase function can also be generated in the signal processing unit and transmitted to the stimulation unit in the reverse manner. The common phase of the stimuli 0 (ts) is then adapted to the phase of the signal processing, i.e., the timing of the stimuli is influenced and controlled by the signal processing unit.
Claims (12)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AT0146206A AT504147B1 (en) | 2006-09-01 | 2006-09-01 | METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) |
| PCT/AT2007/000414 WO2008025048A2 (en) | 2006-09-01 | 2007-08-30 | METHOD AND DEVICE FOR CONTROLLING EQUIPMENT WITH THE AID OF ELECTROENCEPHALOGRAMS (EEG) OR ELECTROCORTICOGRAMS (ECoG) |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AT0146206A AT504147B1 (en) | 2006-09-01 | 2006-09-01 | METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| AT504147A1 AT504147A1 (en) | 2008-03-15 |
| AT504147B1 true AT504147B1 (en) | 2008-09-15 |
Family
ID=39015236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| AT0146206A AT504147B1 (en) | 2006-09-01 | 2006-09-01 | METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) |
Country Status (2)
| Country | Link |
|---|---|
| AT (1) | AT504147B1 (en) |
| WO (1) | WO2008025048A2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2474467B (en) * | 2009-10-15 | 2012-05-02 | Univ Nat Central | Brain computer interface system and method |
| WO2012044261A1 (en) * | 2010-09-29 | 2012-04-05 | The Office Of National Telecommunications Commission | System and method for ssvep based control of electrical devices |
| RU2717213C1 (en) * | 2019-07-18 | 2020-03-18 | Общество с ограниченной ответственностью «Битроникс» | Method of controlling devices by means of processing eeg signals |
| CN114098762A (en) * | 2021-11-26 | 2022-03-01 | 江苏科技大学 | Electric model of de novo cortical electroencephalogram (BCG) |
| CN114305429B (en) * | 2022-01-10 | 2023-07-28 | 中国人民解放军军事科学院军事医学研究院 | Electrode cap for synchronizing transcranial direct current stimulation signal and brain electrical signal and testing method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236885B1 (en) * | 1999-06-30 | 2001-05-22 | Capita Research Group Inc. | System for correlating in a display stimuli and a test subject's response to the stimuli |
| WO2001035824A1 (en) * | 1999-11-15 | 2001-05-25 | The State Of Queensland - Queensland Health | Interactive-modified interactive event related potential (imierp) |
| US20020147411A1 (en) * | 2001-04-10 | 2002-10-10 | Lutz William J. | Combination referential and differential amplifier for medical signal monitoring |
| WO2004100766A2 (en) * | 2003-05-06 | 2004-11-25 | George Mason Intellectual Property | Phase and state dependent eeg and brain imaging |
| US20050033154A1 (en) * | 2003-06-03 | 2005-02-10 | Decharms Richard Christopher | Methods for measurement of magnetic resonance signal perturbations |
| WO2006073915A2 (en) * | 2005-01-06 | 2006-07-13 | Cyberkinetics Neurotechnology Systems, Inc. | Patient training routine for biological interface system |
| EP1691682A1 (en) * | 2003-12-12 | 2006-08-23 | Washington University | Brain computer interface |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030176806A1 (en) * | 2002-02-26 | 2003-09-18 | Pineda Jaime A. | Method and system for an intelligent supervisory control system |
| US7546158B2 (en) * | 2003-06-05 | 2009-06-09 | The Regents Of The University Of California | Communication methods based on brain computer interfaces |
-
2006
- 2006-09-01 AT AT0146206A patent/AT504147B1/en not_active IP Right Cessation
-
2007
- 2007-08-30 WO PCT/AT2007/000414 patent/WO2008025048A2/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236885B1 (en) * | 1999-06-30 | 2001-05-22 | Capita Research Group Inc. | System for correlating in a display stimuli and a test subject's response to the stimuli |
| WO2001035824A1 (en) * | 1999-11-15 | 2001-05-25 | The State Of Queensland - Queensland Health | Interactive-modified interactive event related potential (imierp) |
| US20020147411A1 (en) * | 2001-04-10 | 2002-10-10 | Lutz William J. | Combination referential and differential amplifier for medical signal monitoring |
| WO2004100766A2 (en) * | 2003-05-06 | 2004-11-25 | George Mason Intellectual Property | Phase and state dependent eeg and brain imaging |
| US20050033154A1 (en) * | 2003-06-03 | 2005-02-10 | Decharms Richard Christopher | Methods for measurement of magnetic resonance signal perturbations |
| EP1691682A1 (en) * | 2003-12-12 | 2006-08-23 | Washington University | Brain computer interface |
| WO2006073915A2 (en) * | 2005-01-06 | 2006-07-13 | Cyberkinetics Neurotechnology Systems, Inc. | Patient training routine for biological interface system |
Non-Patent Citations (1)
| Title |
|---|
| EBRAHIMI ET AL.: 'BRAIN-COMPUTER INTERFACE IN MULTIMEDIA COMMUNICATION' IEEE SIGNAL PROCESSING MAGAZINE, VOL. 20, NO. 1, JANUARY 2003 (2003-01), PAGES 14-24, XP011093777 PISCATAWAY, NJ, US * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008025048A3 (en) | 2008-04-17 |
| WO2008025048A2 (en) | 2008-03-06 |
| AT504147A1 (en) | 2008-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2704629B1 (en) | Method for consciousness and pain monitoring, module for analyzing eeg signals and eeg narcosis monitor | |
| DE60116132T2 (en) | DEVICE FOR QUICKLY DETERMINING THE CEREBRAL CONDITION OF A PATIENT | |
| McSharry et al. | Linear and non-linear methods for automatic seizure detection in scalp electro-encephalogram recordings | |
| AT504147B1 (en) | METHOD AND DEVICE FOR CONTROLLING DEVICES THROUGH THE USE OF ELECTROENECEPHALOGRAMS (EEG) OR ELECTRIC CORTICOGRAMS (ECOG) | |
| EP0828225A1 (en) | Process and means for analysing EEG data | |
| EP3060112B1 (en) | Method for quantifying the perceptive faculty of a person | |
| EP0355506A1 (en) | Arrangement for measuring local bioelectric currents in biological tissue | |
| WO2013117655A1 (en) | Apparatus and method for calibrating non-invasive desynchronizing neurostimulation | |
| EP1047987A2 (en) | Method and device for representing and monitoring functional parameters of a physiological system | |
| DE2716739A1 (en) | METHOD OF DETECTING SIGNALS | |
| Gao et al. | Granger causal time-dependent source connectivity in the somatosensory network | |
| WO2003085546A1 (en) | Method and device for the electromagnetic modification of cerebral activity | |
| EP2626005A1 (en) | Method for determining the physical and/or mental state of a test subject by analysing variations in their heart rate | |
| DE102015116044A1 (en) | Method and device for quantifying a respiratory sinus arrhythmia and use of such a method or device [ | |
| Osowski et al. | Epileptic seizure characterization by Lyapunov exponent of EEG signal | |
| de Sá et al. | Evaluating the entrainment of the alpha rhythm during stroboscopic flash stimulation by means of coherence analysis | |
| Ali et al. | Time-frequency coherence of multichannel EEG signals: Synchrosqueezing transform based analysis | |
| Schiecke et al. | Advanced nonlinear approach to quantify directed interactions within EEG activity of children with temporal lobe epilepsy in their time course | |
| WO2017028838A1 (en) | Method for analysing a data set of a time-of-flight mass spectrometry measurement, and a device | |
| DE102006053613A1 (en) | Device and method for synchronizing a magnetic resonance system with the heart rhythm of a patient | |
| DE19610847C1 (en) | Electrocardiogram or electroencephalogram time series measurement signal classification system | |
| WO2018184968A1 (en) | Method for determining a plurality of action potentials in the heart | |
| DE102005009190B3 (en) | Data bit sequence generating method for e.g. controlling execution in computer, involves scanning digitized noise signal by trigger pulse such that degree of dependence of signal steps as statistic characteristics of outputted sequence | |
| Chen et al. | Current source density analysis of ongoing neural activity: theory and application | |
| EP2302485A1 (en) | Method for controlling or regulating a machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM01 | Lapse because of not paying annual fees |
Effective date: 20170901 |