EP3713475A1 - System for real-time measurement of the activity of a cognitive function and method for calibrating such a system - Google Patents
System for real-time measurement of the activity of a cognitive function and method for calibrating such a systemInfo
- Publication number
- EP3713475A1 EP3713475A1 EP18811176.9A EP18811176A EP3713475A1 EP 3713475 A1 EP3713475 A1 EP 3713475A1 EP 18811176 A EP18811176 A EP 18811176A EP 3713475 A1 EP3713475 A1 EP 3713475A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- subject
- activity
- cognitive function
- representative
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 153
- 230000003920 cognitive function Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005259 measurement Methods 0.000 title abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 63
- 230000001537 neural effect Effects 0.000 claims abstract description 44
- 239000003550 marker Substances 0.000 claims abstract description 37
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 230000003936 working memory Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000001149 cognitive effect Effects 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 5
- 230000002459 sustained effect Effects 0.000 description 4
- 108010076504 Protein Sorting Signals Proteins 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000002570 electrooculography Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Definitions
- the invention relates to a brain-machine interface system and more particularly to a system for measuring in real time the activity of a cognitive function, as well as a method for calibrating such a system.
- Brain-Machine Interface (CIM) systems allow communication between the brain and its environment. These systems are used in known ways to allow an individual to interact with his environment from a reading and interpretation of brain waves of a subject. Brain-machine interface systems have been more recently used to read or measure cognitive function characteristics.
- Mora Sànchez et al. (Mora Sanchez, AM, Gaume, A., Dreyfus, G., & Vialatte, FB, 2015, September, A cognitive brain-computer interface prototype for the continuous monitoring of visual working memory load, 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP), pp. 1-5, IEEE) describe a system for evaluating the activity of working memory from electrophysiological signals recorded in a database. Calibration of such a system comprises the steps:
- Reading biases such as blinking, manually or automatically by an independent component analysis
- extraction of marker values depending on a state of high or low activity of the working memory such as, for example, the power measured in a given frequency range, on a given acquisition channel, from the signals electrophysiological;
- the system is tested and the activity of the working memory is evaluated from prerecorded electrophysiological signals processed by the classifier. These signals are acquired beforehand during a known task performed by a subject, resulting in low and / or high activity states of the working memory: it is then possible to test the sensitivity or specificity of the classifier thus constructed.
- the system described does not make it possible to measure in real time the activity of a cognitive function of a subject, in particular the working memory.
- the signal measured at the output of the classifier does not allow an accurate evaluation of the activity of the working memory.
- the signal measured at the output of the classifier may depend on the activity of other cognitive functions of the subject during the execution of a task, such as attention or excitation, for example.
- the activity of the working memory thus evaluated may vary and / or present contradictory values as a function of the electrophysiological signals tested.
- An object of the invention is to propose a solution for increasing the accuracy of the measurement of the activity of a function cognitive of a subject a test.
- Another object of the invention is to measure the activity of a cognitive function, such as working memory, in real time.
- each reference electrical signal being representative of the neuronal activity of a reference subject of a first reference population during the execution of the first task by the reference subject; the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
- step c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies; d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to be tested by calculating a value representative of a probability that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested. Since noisy copies of the marker values calculated in step b) are generated in step c), it is possible to control the proportion of signals representative of the neuronal activity of the test subject in the set of signals. in order to reduce the measurement error related to the classifier.
- the variation distribution of the signals can be parameterized to improve the statistical learning of the classifier.
- the cognitive function is the working memory
- the values of the markers are representative of a state of low activity or a state of high activity of the cognitive function of a reference subject
- the markers are ordered according to their correlation with the states of the activity of the cognitive function, determined from the values of the markers and noisy copies of the marker values, then selecting some of the markers ordered according to their rank, step d) being implemented from the values of the selected markers;
- step d) is implemented solely from the values of the selected markers or only from the values of the selected markers and the noisy copies of the values of the selected markers;
- the first task is configured so that its execution by a subject alternately entails at least two states of activity different from the cognitive function of the subject; the first task is configured so that its execution by a subject alternately causes a state of low activity and a state of high activity of the cognitive function of the subject;
- a second task is configured so that its execution by the subject results in simultaneous states of low activity of the cognitive function and high activity of a confusion function, the method comprising steps of:
- the second task is configured so that its execution by a subject alternately causes at least two different states of activity of the cognitive function of the subject;
- the second task is configured so that its execution by a subject alternately causes a state of low activity and a state of high activity of the cognitive function of the subject;
- the value of one of the markers is a value representative of a spectral power of an electrical signal, calculated on at least a part of the frequency spectrum of the signal;
- the part of the frequency spectrum of the signal is chosen from the range a, the range 6, the range g and the range Q;
- the electrical signals representative of the neuronal activity of the subject to be tested are acquired by means of electrodes arranged at the positions Fp1 and / or Cz and / or Oz and / or CP5 of the 10-20 system of the international standard for placement of electrodes.
- Another subject of the invention is a method for measuring in real time the activity of a cognitive function of a test subject comprising a step of acquiring electrical signals representative of the neuronal activity of the subject to be tested and a step of measuring in real time the activity of the cognitive function of the subject to be tested by calculating a value representative of the probability that an electrical signal representative of the neuronal activity of the test subject results from a state of activity predetermined cognitive function, using a system for measuring in real time the cognitive function of the test subject, the system having been previously calibrated according to a calibration method as defined above.
- Another object of the invention is a system for measuring in real time the activity of a cognitive function of a test subject comprising:
- each reference electrical signal being representative of the neuronal activity of a subject of reference of a first reference population during the execution of the first task by the reference subject and the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
- step c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies; d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to testing by calculating a value representative of a probability that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested.
- the cognitive function measured by the system is the working memory.
- FIG. 1 illustrates the execution of a task specific to the working memory
- FIG. 2 illustrates a system for measuring in real time the activity of a cognitive function
- FIG. 3 illustrates a method of calibrating a real-time measurement system of the activity of a cognitive function of a subject to be tested according to one embodiment of the invention
- FIG. 4 schematically illustrates domains of the activity of working memory, the activity of cognitive functions driven by different tasks and the activity of cognitive functions caused by confounding factors;
- FIG. 5 illustrates a method for measuring in real time the activity of the cognitive function
- FIG. 6 illustrates the performance characteristic of the classifier corresponding to the execution of the task specific to the real-time working memory
- FIG. 7 illustrates the performance characteristics of the classifier during the execution of a task by a subject in the presence of a state of high activity of confusion factor
- FIG. 8 illustrates the evolution of the probability that an electrical signal representative of the neuronal activity of the test subject results from a state of high activity of the cognitive function of the subject to be tested over time
- FIG. 9 illustrates the difference between the value of markers between a low activity state and a high activity state for different channels.
- working memory denotes a cognitive function responsible for the temporary information available for the processing of information. It is described by Baddeley et al. (Baddeley, AD, & Hitch, G., 1974, Working memory, Psychology of learning and motivation, 8, 47-89) as a cognitive model, the activity of which can be confirmed for example by resonance imaging measurements. Magnetic (from Esposito, M., Aguirre, GK, Zarahn, E., Ballard, D., Shin, RK, & Lease, J., 1998, Functional MRI studies of spatial and nonspatial working memory, Cognitive Brain Research, 7 (1), 1 -13). The working memory is dependent on the ability to hold short-term information, a few seconds or minutes, to perform cognitive operations on this information. A subject may have different levels or states of activity (or loads) of the working memory depending on the nature of the tasks he performs. DETAILED DESCRIPTION OF AN EMBODIMENT
- Figure 1 illustrates the execution of a first task, specific to a particular cognitive function, in this case the working memory.
- a task specific to the working memory is performed on the one hand by subjects of a first reference population, and on the other hand by the subject to be tested during the calibration of the system 1 and / or during a measurement of the activity of the cognitive function.
- the different subjects are placed in front of a computer screen, on which a collection of figures is displayed, the figures being used during the task to be executed.
- the subjects are asked to give a short name to each of the figures in order to become familiar with all the figures.
- Different sets of figures are presented, and each set corresponds to different semantic fields, such as animals or geometric shapes.
- a target in a state of low activity of the working memory, a target consists of two displayed figures and in a state of high activity of the working memory, a target consists of five or six figures displayed.
- a target corresponding to one of the states (or one of the conditions) is presented to the subject.
- the subject is asked to memorize the target.
- the target then disappears, and a sequence of figures of the same set slides from the right of the screen to the left of the screen.
- the frame rate is 222 pixels per second.
- the subject is asked to press a button when he finds the target in the sequence of figures, which is considered a test. If the subject presses the button before the target appears, or if the target is missed, the test ends and is not analyzed.
- a test lasts an average of 25 seconds.
- Figure 1 illustrates an example of a trial in a low activity state of the working memory.
- Panel A of the Figure 1 illustrates a target, consisting of two figures: a triangle and a rhombus.
- Panel B of Figure 1 illustrates the scrolling of a sequence of figures during a test.
- a target corresponding to the other state of the working memory is then presented to the subject, and a test is performed. Both conditions are alternated.
- the verbalization of the figures makes it possible to use a simple method of storage / retrieval of information: an internal repetition of the names of the elements of the target, using a phonological loop, allows the subject to compare the target with the sliding elements. The various subjects are asked to perform this internal repetition so that the encoding of the information is homogeneous between the subjects. Each subject performs 10 essays of four different semantic fields.
- the design of the first task makes it possible to vary the activity of sub-functions of the working memory, such as storing, maintaining and / or processing elements.
- the sequence of figures comprises distractors, that is to say sets of figures whose composition is close to a target.
- a distractor may be formed by the sequence of figures of the target in which a figure is changed from the third figure in the order of appearance on the screen.
- Distractors prevent a subject from memorizing only part of the target to recognize it.
- the scrolling of the figures is programmed so that a distractor appears with the same probability as a target. This programming prevents the subject from learning and expecting the appearance of a target as a result of a distractor.
- the duration of each test is programmed randomly between 15 and 30 seconds so as to avoid the subject to learn the duration of a test.
- the size of the part of the screen in which the figures scroll is 100 pixels by 300 pixels and the size of each figure is 100 pixels by 100 pixels. This small size prevents eye movements subjects, causing parasitic electrophysiological signals unrelated to cognitive activity.
- the part of the screen used, the size of the figures and the scrolling speed are adapted so that the subject can only have one figure at the same time.
- the distance between the subject and the screen is 60 cm.
- the first task is configured so that its execution by a subject alternately leads to a state of low activity and a state of high activity of the cognitive function of the subject: thus, a drift of an electrical signal, independent of the cognitive function studied, can be reduced or avoided.
- a transverse task, different from the first task, can also be performed by a subject.
- the transversal task is used to induce cognitive function activity on the subject to be tested and designed to be more representative of the tasks performed by subjects in their everyday environment.
- the transversal task corresponds for example to a series of mental calculations. It is for example presented to the subject to test a series of digits ranging from di to d n .
- the transversal task consists, for example, in multiplying di to d 2 , storing the result, then using the result by multiplying it to d 3 , and so on until d n .
- a second task is also designed, configured to cause a low activity state of the cognitive function and a high activity state of a confusion function, caused by confounding factors.
- the second task may consist, for example, in the execution of the first task adapted to cause a state of low activity of the cognitive function in a subject, in which a red dot, or a fly, is added along a random trajectory for a period of time. from 1 to 2 seconds.
- This modification with respect to the first task makes it possible to cause a high activity state of a confounding factor of the working memory, such as for example attention. Acquisition of electrophysiological signals
- Electrical signals representative of neuronal activity of a test subject or subject of a reference population may be electrophysiological signals.
- the electrical signals representative of a neuronal activity of a subject to be tested or of a subject of a reference population can be electrical signals derived from optical, ultrasonic or magnetic neuronal imaging, such as, for example, the functional magnetic resonance imaging (fMRI), functional brain ultrasonography, positron emission imaging, and / or near infra-red spectroscopy.
- Electrophysiological signals are recorded on the test subject or on subjects of one or more reference populations, using an EEG device (Brain Products V-Amp, registered trademark) at a sampling frequency of 500 Hz.
- the electrical signals representative of a neuronal activity of a subject to be tested can be electrophysiological signals measured by electrocardiography (ECG), by electromyography (EMG, representative measurement of the activity of the muscles), by electro-oculography (EOG, representative measurement of a difference in electric potential in the eye), magnetoencephalography (MEG) and / or by an arterial pressure sensor, and / or by a respiration sensor.
- ECG electrocardiography
- EMG electromyography
- EOG electro-oculography
- MEG magnetoencephalography
- the electrical signals representative of a neuronal activity of a subject to be tested may be derived from a combination (s) of the electrical signals representative of a neuronal activity of a test subject previously described.
- FIG. 2 illustrates a system 1 for measuring, in real time, the activity of a cognitive function of a test subject comprising an electrophysiological signal acquisition subsystem 2, and a processing unit 3.
- acquisition system 2 comprises, for example, an EEG headset, EEG electrodes and connectors for connecting the EEG electrodes to the treatment unit 3.
- Figure 2 also illustrates the arrangement of the EEG electrodes around the cranial box of the test subject, according to the international standard of the system 10-20.
- the electrical signals of a reference population are acquired from 20 healthy subjects, aged between 21 and 31, including 10 men and 10 women.
- the electrical signals for the real-time measurement of the activity of a cognitive function are also acquired on this population.
- Electrical signals were also acquired on 6 subjects performing a transversal task. As a result of each task, the mental fatigue of each subject is collected and the tests are stopped if the response is positive.
- the analyzed EEG signal sequences have a duration of 2.5 seconds. 1744 distinct sequences are used as electrical reference signals during the calibration of the real-time measurement system 1 and 90 distinct sequences are used as electrical signals representative of a subject to be tested during the calibration of the real-time measurement system 1 , for each subject.
- the electrical signals representative of the neuronal activity of the test subject consist of a continuous stream of EEG signals acquired in real time.
- a set of parameters Pi, P 2 , P3, P4 and P5 can for example characterize the design of the brain-machine interface.
- the duration Pi of the electrical signal sequences of reference equal to 2.5 seconds is chosen.
- the number P 2 of electrical signal sequences representative of a subject to be tested is selected, during calibration, equal to 90 (45 sequences representative of a high activity state and 45 sequences representative of a state of activity low).
- the proportion P 3 of the electrical calibration signals from the test subject is equal to 65%.
- the standard deviation of a Gaussian noise, of zero average, is equal to P 4 multiplied by the standard deviation of the marker considered, where P 4 is for example equal to 1, 5.
- the number of markers P 5 is equal to 8.
- the standard deviation of a marker considered is for example calculated from the values of a marker, themselves calculated from electrical signals corresponding to different measurement sequences in time, during the execution of a spot.
- FIG. 3 illustrates a method of calibrating a system 1 for measuring in real time the activity of a cognitive function of a subject to be tested according to one embodiment of the invention.
- the cognitive function whose activity is measured is advantageously the working memory.
- a step 101 of the method implements the acquisition of electrical signals representative of the cognitive activity of a test subject during the execution of the first task by the subject to be tested.
- the first task is a task specific to the cognitive function measured by the system 1: it can be for example a task specific to the working memory.
- Each reference electrical signal is representative of the neural activity of a reference subject of a first reference population during the performance of the first task by the reference subject.
- the task specific to the working memory described above causes, when executed by a subject, according to the tests, a low activity state of the working memory or a high activity state of the working memory. from subject.
- the frequencies of signals acquired below 1 Hz and above 45 Hz are erased EEG signals using a Butterworth filter of the 3rd order.
- the acquired EEG signals are then segmented into several sequences of one duration equal to Pi seconds. Each sequence is inspected visually and any sequences with too much noise or muscle bias are not taken into account. In particular, sequences including characteristics of blinking are not taken into account.
- the marker values of the activity of the cognitive function are calculated from the signals representative of a neuronal activity of the subject to be tested, and from electrical reference signals. Each signal is segmented into sequences. The value of a spectral marker is calculated for each sequence using the Welsh method, with a window duration of 0.5 seconds. The values of the spectral markers are calculated in absolute power and in relative power in each of the following frequency ranges: ⁇ (from 1 to 4 Hz), Q (from 4 to 8 Hz), a (from 8 to 12 Hz), b bass (12 to 20 Hz) and b high (20 to 30 Hz).
- the relative power in a frequency range corresponds to the ratio of the power in a frequency range to the power for all the frequencies.
- the use of relative power as a marker makes it possible to compare the markers between different subjects in a more relevant way than the use of absolute power would allow. For each sequence, a total of 192 markers is obtained from 16 acquisition channels, two markers per frequency range and 6 frequency ranges.
- at least two types of electrical signals can be used to calculate the marker values, as implemented during a step 102 of the method. signals representative of the neuronal activity of a subject to be tested and electrical reference signals representative of the neuronal activity of a reference subject of a first reference population. Subsequently, a classifier is trained with the values of markers and noisy copies potentially derived from the two types of signals.
- the proportion of the marker values resulting from signals representative of a first reference population with regard to all the values of the markers it is for example possible to limit its proportion.
- the addition of noise to the marker values from signals representative of the subject to be tested makes it possible to simulate a variation distribution of the markers, compatible with the statistical learning of the classifier.
- the noise added to each of the copies is, for example, a Gaussian noise, of zero average, and whose standard deviation is equal to P 4 times the standard deviation of a marker considered.
- it is possible to minimize the output error of a classifier by adjusting the proportion of marker values derived from the signals representative of the neuronal activity of a test subject with regard to all the signals used (controlled by the parameter P 3 ), and adjusting the noise added to the different copies (eg controlled by parameter P 4 ).
- the markers used in step 102 are ordered according to their correlation with the state or states of the activity of the cognitive function predefined by the first task, determined from the values of the markers and noisy copies of marker values. For example, a Gram-Schmidt orthogonalization (or O.F.R. for orthogonal forward regression in English) or generally supervised variable selection methods for ordering the markers may be used.
- the first marker, after classification is the marker whose value (s) have the strongest correlation with the state of the activity of the cognitive function.
- the second marker, after classification is the marker whose value or values have the strongest correlation with the state of the activity of the cognitive function, after having discarded the data associated with the first marker, and so on.
- step 105 select a number of markers among the most relevant in the order defined above. It is possible to test the error of a classifier constructed with a given set of markers as described in step 105: it is possible to select a pre-defined number of markers and to optimize the number of elements to be selected from the most relevant by testing the error of the classifier so as to reduce his error.
- a classifier is constructed by automatic learning from the values of the calculated markers and the noisy copies generated.
- the classifier is constructed from at least the values of the markers selected in step 104, and preferably only from the values of the markers selected in step 104 and the noisy copies of the values of the selected markers during step 104. of step 104 of the process.
- Such a classifier can for example be a linear analysis classifier discriminant. Learning the classifier is also done with the state of activity of the cognitive function that is associated with each of the selected patterns (low or high activity state for example).
- the classifier may, after learning, present an output signal making it possible to measure the activity of the cognitive function of the subject to be tested by calculating a probability PA that an electrical signal representative of the neuronal activity of the test subject results from a high activity state of the cognitive function of the test subject, or more generally, a value representative of the probability PA, such as a binary result calculated from the probability PA. It is also possible to construct a classifier with n classes, where n is a natural integer, to characterize n states. In this case, patterns and pattern values corresponding to each of the n activity states of the cognitive function will have been calculated beforehand, and the first task is configured so that its execution by the subject results in a state of activity of the cognitive function. the cognitive function of the subject of a first reference population among the n possible states. The markers are thus used to predict the state or states of a cognitive function of a subject to be tested by means of an algorithm using the values of these markers.
- Figure 4 schematically illustrates finite number sets of markers for measuring activity states of cognitive functions when performing a predetermined task.
- the task specific to the measured cognitive function is designed so as to cause in a subject two distinct states of activity of the cognitive function, in this case a state of low activity and a state of high activity.
- measured cognitive function such as working memory
- the different signals acquired may have been driven by confounding factors. These confounders can be Cognitive: Attention, excitement and / or frustration can be confusing for working memory. These confounding factors can also be the result of motor events, such as blinking, sub-vocalization and muscle contractions.
- the area delimited by the ellipse (a) schematically illustrates all the markers representative of the execution of a first task, specific to the cognitive function.
- the area delimited by the ellipse (b) schematically represents all the markers representative of the execution of the transverse task.
- the area delimited by the ellipse (c) schematically represents the set of markers that make it possible to measure the state of activity of the cognitive function, in this case the working memory.
- the area delimited by the ellipse (d) schematically represents all the markers that make it possible to measure the state of activity caused by motor confusion factors
- the area delimited by the ellipse (e) represents schematically all the markers that measure the state of activity caused by cognitive confusion factors.
- the overlap area of the ellipses (a) and (b) schematically illustrates a non-empty set of markers representative of the execution of the first task and the transverse task.
- the overlap area of the ellipses (a), (b) and (c) (noted area (f) in the figure) schematically illustrates a non-empty set of markers representative of the execution of the first task, the transverse task and working memory.
- This set is not empty results from the fact that the first task and the transversal task have been designed so as to involve the working memory.
- the overlap area of the ellipses (a), (b) and (e) (noted area (g) in the figure) schematically represents a non-empty set of markers representative of the execution of the first task, the transversal task , and markers that measure the state activity caused by cognitive confusion factors.
- the markers belonging to the latter set are not taken into account during the construction of a classifier adapted to measure the state of cognitive activity caused by the execution of the first task or the transverse spot.
- the probability PA of an electrical signal representative of the neuronal activity of a subject d is calculated with the classifier, for example constructed during step 105 of the method, a second reference population, performing the second task, results from a state of high activity of the cognitive function of the test subject (the electrical signal representative of a neuronal activity of a subject of a second reference population acquired during the execution of the second task by the subject of the second reference population).
- the electrical signals of a second reference population executing the second task may, for example, be acquired beforehand during a step 106.
- a step 108 of the method it is then possible to compare the probability PA obtained with a threshold value V s previously recorded or determined by a user.
- the probability PA is greater than 0.5, preferably greater than 0.6, and preferentially greater than 0.7
- the classifier informs a state of high activity of the cognitive function while the task is specifically designed. to cause a low activity state of the cognitive function.
- This test shows a construction of the classifier that does not discriminate a high activity state of cognitive function and confounding factor.
- This test can be followed, for example, by a new step of acquiring the subject's electrical signals, so as to lead to the construction of a new classifier adapted to discriminating the cognitive function of the subject. confounding factors, as shown in figure 3 for the condition PA> Vs. This test can also be followed by stopping the measurement.
- Figure 5 illustrates a method for real-time measurement of cognitive function.
- a method for measuring in real time the activity of the cognitive function is preceded by a calibration of the measurement system 1, for example according to a method comprising steps 101 to 106 of the calibration method: a classifier is constructed in such a way as to be adapted to measure the activity of the cognitive function of the subject to be tested by calculating a probability PA that an electrical signal representative of the neuronal activity of the test subject results from a state of high activity of the cognitive function of the subject to test.
- electrical signals representative of the neuronal activity of the subject to be tested are acquired.
- a continuous flow of electrical signal is transmitted from the acquisition subsystem 2 to the processing unit 3 and analyzed by the processing unit 3. For example, the signals included in a sliding window with a duration of 2 are used. , 5 seconds.
- the probability PA is calculated using a system 1 for measuring in real time the activity of a cognitive function of the subject to be tested.
- a measure of the activity of the cognitive function implementing the calculation of the probability PA in months of 10 seconds, and preferably in less than 5 seconds.
- the representative value of the probability PA may for example be a binary prediction calculated from the probability PA.
- FIG. 6 illustrates the performance characteristic of the classifier, or ROC curve (for operating characteristic of the receiver in English) corresponding to the execution of the first task, specific to the real-time working memory.
- the value of the probability PA is measured continuously during the duration of each trial of the first task.
- the required sustained activity time is the time during which cognitive function activity is greater than a threshold value to classify an assay as having a high activity state of cognitive function.
- the values of the required sustained activity time are different according to the tests, but on average, an optimum value of this time is between 2 seconds and 10 seconds, preferably between 4 seconds and 6 seconds and preferably substantially equal to 5 seconds.
- the mean area under the curve of the classifier (or AUC for Area Under Curve in English) in real time is 0.78, higher, with p ⁇ 0.0001, at the value of 0.5 corresponding to a random classifier, illustrated by the black line in Figure 6.
- Figure 7 illustrates the performance characteristics of the classifier when performing a task by a subject in the presence of a high activity state of a confounding factor (in this case excitation).
- Curve (a) corresponds to the performance characteristic of the classifier when performing a task by a subject in the presence of a high activity state of confusion factor and curve (b) corresponds to the same characteristic corrected, after decorrelating the information included in the markers of the excitation.
- the area of curve (b) is 7% lower than the area of curve (a), which does not represent a significant difference.
- Figure 8 illustrates the evolution of the probability PA in the time corresponding to the activity of the working memory. The average of the probability PA measured over 20 tests during the execution of a transverse task is illustrated as a function of time.
- the probability PA usually shows a decrease after 10 seconds. This variation is consistent in view of the switching of the activity state of the working memory, from high to low, to 8.5 seconds and the delay introduced by the system 1 of substantially 2.5 seconds.
- the measure of the probability PA is an overall measure of the activity of the working memory during the 2.5 seconds which preceding the time at which the probability PA is measured.
- the probability PA is again increasing, without reaching values as high as during the period corresponding to a high activity state of the working memory.
- Figure 9 illustrates the difference in marker values between a high activity state and a low activity state for different frequency ranges.
- Panel A of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the frequency range a, for all the channels, when performing a task corresponding to a state high activity of the working memory, and, on the other hand, the corresponding average in a low activity state.
- Panel B of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the low frequency range y, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state.
- FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the low frequency range B, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state.
- Panel D of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the high frequency range B, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state.
- the average of the spectral powers measured is calculated by integrating the powers for 10 seconds.
- the illustrated frequency ranges correspond to the ranges of selected markers frequencies, for example by a method described by step 105 of the calibration method illustrated in Figure 3.
- the selected markers may be preferably selected from the relative power of the low range 6 acquired by an electrode arranged at the Fp1 position , as described by the system standard 10-20, the relative power of the low range 6 acquired by an electrode arranged at the position Cz, the relative power of the low range g acquired by an electrode arranged at the position Fp1, the relative power of the high range 6 acquired by an electrode arranged at the position Cz, the relative power of the range acquired by an electrode arranged at the position Oz and the relative power of the range acquired by an electrode arranged at the position CP5 .
- the system 1 proposed, as well as the methods for calibrating the system 1 and measuring in real time the cognitive function advantageously find their application in:
Abstract
The invention concerns a method for calibrating a system for real-time measurement of the activity of a cognitive function of a test subject, the method comprising the successive steps of: acquiring electrical signals representative of a neural activity of a test subject; calculating values of markers of the cognitive function activity; generating a plurality of copies of calculated values of markers and adding noise to the generated copies; and, constructing a classifier by machine learning, based on the calculated marker values and noisy copies, the classifier being suitable for measuring the activity of the cognitive function of the test subject by calculating a probability that an electrical signal representative of the neural activity of the test subject results from a predetermined activity state of the cognitive function of the test subject.
Description
SYSTEME DE MESURE EN TEMPS REEL DE L'ACTIVITE D'UNE FONCTION COGNITIVE ET PROCEDE DE CALIBRATION D'UN TEL SYSTEME SYSTEM FOR REAL-TIME MEASUREMENT OF THE ACTIVITY OF A COGNITIVE FUNCTION AND METHOD FOR CALIBRATION OF SUCH A SYSTEM
DOMAINE DE L’INVENTION FIELD OF THE INVENTION
L’invention concerne un système d’interface cerveau-machine et plus particulièrement un système de mesure en temps réel de l’activité d’une fonction cognitive, ainsi qu’un procédé de calibration d’un tel système. The invention relates to a brain-machine interface system and more particularly to a system for measuring in real time the activity of a cognitive function, as well as a method for calibrating such a system.
ETAT DE LA TECHNIQUE STATE OF THE ART
Les systèmes d’interface cerveau-machine (ICM) permettent une communication entre le cerveau et son environnement. Ces systèmes sont utilisés de manières connues pour permettre à un individu d’interagir avec son environnement à partir d’une lecture et d’une interprétation des ondes cérébrales d’un sujet. Des systèmes d’interface cerveau-machine ont été plus récemment utilisés pour lire ou mesurer des caractéristiques de fonctions cognitives. Brain-Machine Interface (CIM) systems allow communication between the brain and its environment. These systems are used in known ways to allow an individual to interact with his environment from a reading and interpretation of brain waves of a subject. Brain-machine interface systems have been more recently used to read or measure cognitive function characteristics.
Mora Sànchez et al. (Mora Sànchez, A. M. , Gaume, A., Dreyfus, G., & Vialatte, F. B., 2015, Septembre, A cognitive brain-computer interface prototype for the continuous monitoring of Visual working memory load, 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP), pp. 1 -5, IEEE) décrivent un système d’évaluation de l’activité de la mémoire de travail à partir de signaux électrophysiologiques enregistrés dans une base de données. La calibration d’un tel système comprend les étapes : Mora Sànchez et al. (Mora Sanchez, AM, Gaume, A., Dreyfus, G., & Vialatte, FB, 2015, September, A cognitive brain-computer interface prototype for the continuous monitoring of visual working memory load, 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP), pp. 1-5, IEEE) describe a system for evaluating the activity of working memory from electrophysiological signals recorded in a database. Calibration of such a system comprises the steps:
- d’acquisition de signaux électrophysiologiques de type électroencéphalographiques (EEG) ; - acquisition of electrophysiological signals of the electroencephalographic (EEG) type;
- de suppression des informations des signaux électrophysiologiques introduisant des biais de lecture, comme par exemple le clignement des yeux, manuellement ou de manière automatique par une analyse en composantes indépendantes ;
- d’extraction de valeurs de marqueurs dépendant d’un état d’activité élevée ou basse de la mémoire de travail, comme par exemple la puissance mesurée dans une gamme de fréquence donnée, sur un canal d’acquisition donné, à partir des signaux électrophysiologiques ; - Eliminating information electrophysiological signals introducing reading biases, such as blinking, manually or automatically by an independent component analysis; extraction of marker values depending on a state of high or low activity of the working memory, such as, for example, the power measured in a given frequency range, on a given acquisition channel, from the signals electrophysiological;
- de classement par ordre de pertinence décroissante de marqueurs correspondant à un état d’activité basse ou élevée de la mémoire de travail et d’une sélection de marqueurs parmi les marqueurs classés ; ranking in order of decreasing relevance of markers corresponding to a low or high activity state of the working memory and a selection of markers among the classified markers;
- de construction d’un classifieur à partir des valeurs des marqueurs sélectionnés. constructing a classifier from the values of the selected markers.
Le système est testé et l’activité de la mémoire de travail est évaluée à partir de signaux électrophysiologiques préenregistrés, traités par le classifieur. Ces signaux sont acquis au préalable lors d’une tâche connue exécutée par un sujet, entraînant des états d’activité basse et/ou élevée de la mémoire de travail : il est alors possible de tester la sensibilité ou la spécificité du classifieur ainsi construit. The system is tested and the activity of the working memory is evaluated from prerecorded electrophysiological signals processed by the classifier. These signals are acquired beforehand during a known task performed by a subject, resulting in low and / or high activity states of the working memory: it is then possible to test the sensitivity or specificity of the classifier thus constructed.
Toutefois, le système décrit ne permet pas de mesurer en temps réel l’activité d’une fonction cognitive d’un sujet, en particulier la mémoire de travail. However, the system described does not make it possible to measure in real time the activity of a cognitive function of a subject, in particular the working memory.
Par ailleurs, le signal mesuré en sortie du classifieur ne permet pas une évaluation précise de l’activité de la mémoire de travail. En particulier, le signal mesuré en sortie du classifieur peut dépendre de l’activité d’autres fonctions cognitives du sujet lors de l’exécution d’une tâche, telle que l’attention ou l’excitation par exemple. Moreover, the signal measured at the output of the classifier does not allow an accurate evaluation of the activity of the working memory. In particular, the signal measured at the output of the classifier may depend on the activity of other cognitive functions of the subject during the execution of a task, such as attention or excitation, for example.
Enfin, l’activité de la mémoire de travail ainsi évaluée peut varier et/ou présenter des valeurs contradictoires en fonction des signaux électrophysiologiques testés. Finally, the activity of the working memory thus evaluated may vary and / or present contradictory values as a function of the electrophysiological signals tested.
RESUME DE L’INVENTION SUMMARY OF THE INVENTION
Un but de l’invention est de proposer une solution pour augmenter la précision de la mesure de l’activité d’une fonction
cognitive d’un sujet un tester. Un autre but de l’invention est de mesurer l’activité d’une fonction cognitive, comme la mémoire de travail, en temps réel. An object of the invention is to propose a solution for increasing the accuracy of the measurement of the activity of a function cognitive of a subject a test. Another object of the invention is to measure the activity of a cognitive function, such as working memory, in real time.
Ces buts sont atteints dans le cadre de la présente invention grâce à un procédé de calibration d’un système de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester, le procédé comprenant les étapes successives de : These objects are achieved within the framework of the present invention by means of a method for calibrating a system for measuring in real time the activity of a cognitive function of a subject to be tested, the method comprising the successive steps of:
a) acquisition de signaux électriques représentatifs d’une activité neuronale d’un sujet à tester pendant l’exécution d’une première tâche par le sujet à tester, la première tâche étant configurée pour que son exécution par le sujet entraîne différents états de l’activité de la fonction cognitive du sujet ; a) acquisition of electrical signals representative of a neuronal activity of a test subject during the execution of a first task by the subject to be tested, the first task being configured so that its execution by the subject causes different states of the subject; activity of the cognitive function of the subject;
b) calcul de valeurs de marqueurs de l’activité de la fonction cognitive à partir : b) calculating marker values of the activity of the cognitive function from:
- des signaux acquis lors de l’étape a) ; signals acquired during step a);
- de signaux électriques de référence, chaque signal électrique de référence étant représentatif de l’activité neuronale d’un sujet de référence d’une première population de référence pendant l’exécution de la première tâche par le sujet de référence ; les valeurs des marqueurs étant représentatives d’un état d’activité de la fonction cognitive du sujet à tester ; reference electrical signals, each reference electrical signal being representative of the neuronal activity of a reference subject of a first reference population during the execution of the first task by the reference subject; the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
c) génération d’une pluralité de copies de valeurs de marqueurs calculées lors de l’étape b) et ajout de bruit aux copies générées ; d) construction d’un classifieur par apprentissage automatique à partir des valeurs de marqueurs calculées à l’étape b) et de copies bruitées calculées à l’étape c), le classifieur étant adapté pour mesurer l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative d’une probabilité qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive du sujet à tester.
Comme des copies bruitées des valeurs de marqueurs calculées à l’étape b) sont générées lors de l’étape c), il est possible de contrôler la proportion de signaux représentatifs de l’activité neuronale du sujet à tester dans l’ensemble des signaux de manière à réduire l’erreur de mesure liée au classifieur. c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies; d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to be tested by calculating a value representative of a probability that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested. Since noisy copies of the marker values calculated in step b) are generated in step c), it is possible to control the proportion of signals representative of the neuronal activity of the test subject in the set of signals. in order to reduce the measurement error related to the classifier.
De plus, comme les copies générées lors de l’étape c) sont bruitées, la distribution de variation des signaux peut être paramétrée pour améliorer l’apprentissage statistique du classifieur. In addition, since the copies generated during step c) are noisy, the variation distribution of the signals can be parameterized to improve the statistical learning of the classifier.
L'invention est avantageusement complétée par les caractéristiques suivantes, prises individuellement ou en l’une quelconque de leurs combinaisons techniquement possibles : The invention is advantageously completed by the following characteristics, taken individually or in any of their technically possible combinations:
- la fonction cognitive est la mémoire de travail ; - the cognitive function is the working memory;
- les valeurs des marqueurs sont représentatives d’un état d’activité basse ou d’un état d’activité élevée de la fonction cognitive d’un sujet de référence ; the values of the markers are representative of a state of low activity or a state of high activity of the cognitive function of a reference subject;
- après la mise en œuvre de l’étape c) et avant la mise en œuvre de l’étape d), on ordonne les marqueurs en fonction de leur corrélation avec les états de l’activité de la fonction cognitive, déterminée à partir des valeurs des marqueurs et des copies bruitées des valeurs des marqueurs, puis on sélectionne certains marqueurs parmi les marqueurs ordonnés en fonction de leur rang, l’étape d) étant mise en œuvre à partir des valeurs des marqueurs sélectionnés ; after the implementation of step c) and before the implementation of step d), the markers are ordered according to their correlation with the states of the activity of the cognitive function, determined from the values of the markers and noisy copies of the marker values, then selecting some of the markers ordered according to their rank, step d) being implemented from the values of the selected markers;
- l’étape d) est mise en œuvre uniquement à partir des valeurs des marqueurs sélectionnés ou uniquement à partir des valeurs des marqueurs sélectionnés et des copies bruitées des valeurs des marqueurs sélectionnés ; step d) is implemented solely from the values of the selected markers or only from the values of the selected markers and the noisy copies of the values of the selected markers;
- la première tâche est configurée pour que son exécution par un sujet entraîne en alternance au moins deux états d’activités différentes de la fonction cognitive du sujet ;
- la première tâche est configurée pour que son exécution par un sujet entraîne en alternance un état d’activité basse et un état d’activité élevée de la fonction cognitive du sujet ; the first task is configured so that its execution by a subject alternately entails at least two states of activity different from the cognitive function of the subject; the first task is configured so that its execution by a subject alternately causes a state of low activity and a state of high activity of the cognitive function of the subject;
- une deuxième tâche est configurée pour que son exécution par le sujet entraîne des états simultanés d’activité basse de la fonction cognitive et d’activité élevée d’une fonction de confusion, le procédé comprenant des étapes de : a second task is configured so that its execution by the subject results in simultaneous states of low activity of the cognitive function and high activity of a confusion function, the method comprising steps of:
e) calcul par le classifieur d’une valeur représentative d’une probabilité qu’un signal électrique représentatif de l’activité neuronale d’un sujet d’une seconde population de référence exécutant la deuxième tâche, résulte de l’état d’activité prédéterminé de la fonction cognitive du sujet à tester, le signal électrique représentatif de l’activité neuronale du sujet de la seconde population de référence ayant été acquis pendant l’exécution de la deuxième tâche par le sujet de la seconde population de référence ; et e) calculating by the classifier a value representative of a probability that an electrical signal representative of the neuronal activity of a subject of a second reference population performing the second task results from the activity state predetermined one of the cognitive function of the subject to be tested, the electrical signal representative of the neuronal activity of the subject of the second reference population having been acquired during the execution of the second task by the subject of the second reference population; and
f) comparaison de la valeur représentative de la probabilité calculée lors de l’étape e) et d’une valeur seuil fixée ; f) comparing the value representative of the probability calculated during step e) and a set threshold value;
- la deuxième tâche est configurée pour que son exécution par un sujet entraîne en alternance au moins deux états d’activités différentes de la fonction cognitive du sujet ; the second task is configured so that its execution by a subject alternately causes at least two different states of activity of the cognitive function of the subject;
- la deuxième tâche est configurée pour que son exécution par un sujet entraîne en alternance un état d’activité basse et un état d’activité élevée de la fonction cognitive du sujet ; the second task is configured so that its execution by a subject alternately causes a state of low activity and a state of high activity of the cognitive function of the subject;
- la valeur de l’un des marqueurs est une valeur représentative d’une puissance spectrale d’un signal électrique, calculée sur au moins une partie du spectre de fréquence du signal ; the value of one of the markers is a value representative of a spectral power of an electrical signal, calculated on at least a part of the frequency spectrum of the signal;
- la partie du spectre de fréquence du signal est choisie parmi la gamme a, la gamme 6, la gamme g et la gamme Q ; the part of the frequency spectrum of the signal is chosen from the range a, the range 6, the range g and the range Q;
- les signaux électriques représentatifs de l’activité neuronale du sujet à tester sont acquis au moyen d’électrodes agencées aux positions
Fp1 et/ou Cz et/ou Oz et/ou CP5 du système 10-20 de la norme internationale pour le placement des électrodes. the electrical signals representative of the neuronal activity of the subject to be tested are acquired by means of electrodes arranged at the positions Fp1 and / or Cz and / or Oz and / or CP5 of the 10-20 system of the international standard for placement of electrodes.
Un autre objet de l’invention est un procédé de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester comprenant une étape d’acquisition de signaux électriques représentatifs de l’activité neuronale du sujet à tester et une étape de mesure en temps réel de l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative de la probabilité qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive, à l’aide d’un système de mesure en temps réel de l’activité de la fonction cognitive du sujet à tester, le système ayant été au préalable calibré selon un procédé de calibration tel que défini précédemment. Another subject of the invention is a method for measuring in real time the activity of a cognitive function of a test subject comprising a step of acquiring electrical signals representative of the neuronal activity of the subject to be tested and a step of measuring in real time the activity of the cognitive function of the subject to be tested by calculating a value representative of the probability that an electrical signal representative of the neuronal activity of the test subject results from a state of activity predetermined cognitive function, using a system for measuring in real time the cognitive function of the test subject, the system having been previously calibrated according to a calibration method as defined above.
Un autre objet de l’invention est système de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester comprenant : Another object of the invention is a system for measuring in real time the activity of a cognitive function of a test subject comprising:
un sous-système d’acquisition de signaux électriques ; an electrical signal acquisition subsystem;
une unité de traitement ; a processing unit;
caractérisé en ce que l’unité de traitement est configurée pour : characterized in that the processing unit is configured to:
a) acquérir des signaux électriques représentatifs d’une activité neuronale d’un sujet à tester pendant l’exécution d’une première tâche par le sujet à tester, la première tâche étant configurée pour que son exécution par le sujet entraîne différents états de l’activité de la fonction cognitive du sujet ; a) acquiring electrical signals representative of a neuronal activity of a test subject during the execution of a first task by the test subject, the first task being configured so that its execution by the subject results in different states of the subject; activity of the cognitive function of the subject;
b) calculer les valeurs de marqueurs de l’activité de la fonction cognitive à partir des signaux acquis lors de l’étape a) et de signaux électriques de référence, chaque signal électrique de référence étant représentatif de l’activité neuronale d’un sujet de référence d’une première population de référence pendant l’exécution de la première tâche par le sujet de référence et les valeurs des marqueurs étant
représentatives d’un état d’activité de la fonction cognitive du sujet à tester ; b) calculating the marker values of the activity of the cognitive function from the signals acquired during step a) and electrical reference signals, each reference electrical signal being representative of the neuronal activity of a subject of reference of a first reference population during the execution of the first task by the reference subject and the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
c) générer une pluralité de copies de valeurs de marqueurs calculées lors de l’étape b) et ajouter du bruit aux copies générées ; d) construire un classifieur par apprentissage automatique à partir des valeurs de marqueurs calculées à l’étape b) et de copies bruitées calculées lors de l’étape c), le classifieur étant adapté pour mesurer l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative d’une probabilité qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive du sujet à tester. c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies; d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to testing by calculating a value representative of a probability that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested.
Avantageusement, la fonction cognitive mesurée par le système est la mémoire de travail. Advantageously, the cognitive function measured by the system is the working memory.
PRESENTATION DES DESSINS PRESENTATION OF THE DRAWINGS
D’autres caractéristiques et avantages ressortiront encore de la description qui suit, laquelle est purement illustrative et non limitative, et doit être lue en regard des figures annexées, parmi lesquelles : Other features and advantages will emerge from the description which follows, which is purely illustrative and nonlimiting, and should be read in conjunction with the appended figures, among which:
- la figure 1 illustre l’exécution d’une tâche spécifique à la mémoire de travail ; - Figure 1 illustrates the execution of a task specific to the working memory;
- la figure 2 illustre un système de mesure en temps réel de l’activité d’une fonction cognitive ; FIG. 2 illustrates a system for measuring in real time the activity of a cognitive function;
- la figure 3 illustre un procédé de calibration d’un système de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester selon un mode de réalisation de l’invention ; FIG. 3 illustrates a method of calibrating a real-time measurement system of the activity of a cognitive function of a subject to be tested according to one embodiment of the invention;
- la figure 4 illustre schématiquement des domaines de l’activité de la mémoire de travail, de l’activité des fonctions cognitives entraînée par différentes tâches et de l’activité de fonctions cognitives entraînée par des facteurs de confusion ; FIG. 4 schematically illustrates domains of the activity of working memory, the activity of cognitive functions driven by different tasks and the activity of cognitive functions caused by confounding factors;
- la figure 5 illustre un procédé de mesure en temps réel de l’activité de la fonction cognitive ;
- la figure 6 illustre la caractéristique de performance du classifieur correspondant à l’exécution de la tâche spécifique à la mémoire de travail en temps réel ; FIG. 5 illustrates a method for measuring in real time the activity of the cognitive function; FIG. 6 illustrates the performance characteristic of the classifier corresponding to the execution of the task specific to the real-time working memory;
- la figure 7 illustre les caractéristiques de performance du classifieur lors de l’exécution d’une tâche par un sujet en présence d’un état d’activité élevé de facteur de confusion ; FIG. 7 illustrates the performance characteristics of the classifier during the execution of a task by a subject in the presence of a state of high activity of confusion factor;
- la figure 8 illustre l’évolution de la probabilité qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité élevée de la fonction cognitive du sujet à tester dans le temps ; FIG. 8 illustrates the evolution of the probability that an electrical signal representative of the neuronal activity of the test subject results from a state of high activity of the cognitive function of the subject to be tested over time;
- la figure 9 illustre la différence entre la valeur de marqueurs entre un état d’activité basse et un état d’activité élevée pour différents canaux. FIG. 9 illustrates the difference between the value of markers between a low activity state and a high activity state for different channels.
DEFINITION DEFINITION
On désigne par le terme mémoire de travail une fonction cognitive responsable de l’information temporaire disponible pour le traitement d’information. Elle est décrite par Baddeley et al. (Baddeley, A. D., & Hitch, G. , 1974, Working memory, Psychology of learning and motivation, 8, 47-89) comme un modèle cognitif, dont l’activité peut être par exemple confirmée par des mesures d’imagerie par résonnance magnétique (d'Esposito, M. , Aguirre, G. K. , Zarahn, E. , Ballard, D., Shin, R. K. , & Lease, J. , 1998, Functional MRI studies of spatial and nonspatial working memory, Cognitive Brain Research, 7(1 ), 1 -13). La mémoire de travail est dépendante de la capacité à retenir des informations à court terme, quelques secondes ou quelques minutes, pour réaliser des opérations cognitives sur ces informations. Un sujet peut présenter différents niveaux ou états d’activité (ou charges) de la mémoire de travail selon la nature des tâches qu’il exécute.
DESCRIPTION DETAILLEE D’UN MODE DE REALISATION The term "working memory" denotes a cognitive function responsible for the temporary information available for the processing of information. It is described by Baddeley et al. (Baddeley, AD, & Hitch, G., 1974, Working memory, Psychology of learning and motivation, 8, 47-89) as a cognitive model, the activity of which can be confirmed for example by resonance imaging measurements. Magnetic (from Esposito, M., Aguirre, GK, Zarahn, E., Ballard, D., Shin, RK, & Lease, J., 1998, Functional MRI studies of spatial and nonspatial working memory, Cognitive Brain Research, 7 (1), 1 -13). The working memory is dependent on the ability to hold short-term information, a few seconds or minutes, to perform cognitive operations on this information. A subject may have different levels or states of activity (or loads) of the working memory depending on the nature of the tasks he performs. DETAILED DESCRIPTION OF AN EMBODIMENT
Exécution de tâches par un sujet Performing tasks by a subject
La figure 1 illustre l’exécution d’une première tâche, spécifique à une fonction cognitive particulière, en l’occurrence la mémoire de travail. Une tâche spécifique à la mémoire de travail est exécutée d’une part par des sujets d’une première population de référence, et d’autre part par le sujet à tester lors de la calibration du système 1 et/ou lors d’une mesure de l’activité de la fonction cognitive. Les différents sujets sont placés devant un écran d’ordinateur, sur lequel une collection de figures est affichée, les figures étant utilisées pendant la tâche à exécuter. On demande aux sujets d’attribuer un nom court à chacune des figures de manière à se familiariser avec l’ensemble des figures. Différents ensembles de figures sont présentés, et chacun des ensembles correspond à des champs sémantiques différents, comme par exemple des animaux ou des formes géométriques. Figure 1 illustrates the execution of a first task, specific to a particular cognitive function, in this case the working memory. A task specific to the working memory is performed on the one hand by subjects of a first reference population, and on the other hand by the subject to be tested during the calibration of the system 1 and / or during a measurement of the activity of the cognitive function. The different subjects are placed in front of a computer screen, on which a collection of figures is displayed, the figures being used during the task to be executed. The subjects are asked to give a short name to each of the figures in order to become familiar with all the figures. Different sets of figures are presented, and each set corresponds to different semantic fields, such as animals or geometric shapes.
Deux conditions ou états sont testés lors de l’exécution d’une tâche : dans un état de basse activité de la mémoire de travail, une cible consiste en deux figures affichées et dans un état d’activité élevée de la mémoire de travail, une cible consiste en cinq ou six figures affichées. Two conditions or states are tested during the execution of a task: in a state of low activity of the working memory, a target consists of two displayed figures and in a state of high activity of the working memory, a target consists of five or six figures displayed.
Une cible correspondant à l’un des états (ou à l’une des conditions) est présentée au sujet. Il est demandé au sujet de mémoriser la cible. La cible disparaît ensuite, et une séquence de figures du même ensemble glisse de la droite de l’écran vers la gauche de l’écran. La vitesse de défilement est de 222 pixels par seconde. Il est demandé au sujet d’appuyer sur un bouton lorsque qu’il trouve la cible dans la séquence de figures, ce qui est considéré comme un essai. Si le sujet appuie sur le bouton avant que la cible ne s’affiche, ou s’il manque la cible, l’essai prend fin et n’est pas analysé. Un essai dure en moyenne 25 secondes. La figure 1 illustre un exemple d’essai dans un état de basse activité de la mémoire de travail. Le panneau A de la
figure 1 illustre une cible, consistant en deux figures : un triangle et un losange. Le panneau B de la figure 1 illustre le défilement d’une séquence de figures pendant un essai. A target corresponding to one of the states (or one of the conditions) is presented to the subject. The subject is asked to memorize the target. The target then disappears, and a sequence of figures of the same set slides from the right of the screen to the left of the screen. The frame rate is 222 pixels per second. The subject is asked to press a button when he finds the target in the sequence of figures, which is considered a test. If the subject presses the button before the target appears, or if the target is missed, the test ends and is not analyzed. A test lasts an average of 25 seconds. Figure 1 illustrates an example of a trial in a low activity state of the working memory. Panel A of the Figure 1 illustrates a target, consisting of two figures: a triangle and a rhombus. Panel B of Figure 1 illustrates the scrolling of a sequence of figures during a test.
Une cible correspondant à l’autre état de la mémoire de travail est ensuite présentée au sujet, et un essai est réalisé. Les deux conditions sont alternées. La verbalisation des figures permet d’utiliser une méthode simple de stockage/récupération de l’information : une répétition interne du nom des éléments de la cible, en utilisant une boucle phonologique, permet au sujet de comparer la cible aux éléments glissants. Il est demandé aux différents sujets de réaliser cette répétition interne pour que l’encodage de l’information soit homogène entre les sujets. Chaque sujet réalise 10 essais de quatre champs sémantiques différents. A target corresponding to the other state of the working memory is then presented to the subject, and a test is performed. Both conditions are alternated. The verbalization of the figures makes it possible to use a simple method of storage / retrieval of information: an internal repetition of the names of the elements of the target, using a phonological loop, allows the subject to compare the target with the sliding elements. The various subjects are asked to perform this internal repetition so that the encoding of the information is homogeneous between the subjects. Each subject performs 10 essays of four different semantic fields.
La conception de la première tâche permet de faire varier l’activité de sous-fonctions de la mémoire de travail, telles que le stockage, le maintien et/ou le traitement d’éléments. Lors du défilement, la séquence de figures comporte des distracteurs, c’est-à- dire des ensembles de figures dont la composition est proche d’une cible. Par exemple, un distracteur peut être formé par la séquence des figures de la cible dans laquelle on change une figure, à partir de la troisième figure dans l’ordre d’apparition à l’écran. Les distracteurs empêchent un sujet de mémoriser seulement une partie de la cible pour la reconnaître. Le défilement des figures est programmé de sorte qu’un distracteur apparaisse avec la même probabilité qu’une cible. Cette programmation permet d’éviter au sujet d’apprendre et de s’attendre à l’apparition d’une cible à la suite d’un distracteur. La durée de chaque essai est programmée aléatoirement entre 15 et 30 secondes de manière à éviter au sujet d’apprendre la durée d’un essai. La taille de la partie de l’écran dans laquelle les figures défilent est de 100 pixels sur 300 pixels et la taille de chaque figure est de 100 pixels sur 100 pixels. Cette taille restreinte permet d’éviter des mouvements des yeux
des sujets, entraînant des signaux électrophysiologiques parasites sans rapport avec l’activité cognitive. La partie de l’écran utilisée, la taille des figures et la vitesse de défilement sont adaptés pour que le sujet ne puisse voire qu’une seule figure en même temps. La distance entre le sujet et l’écran est de 60 cm. The design of the first task makes it possible to vary the activity of sub-functions of the working memory, such as storing, maintaining and / or processing elements. During scrolling, the sequence of figures comprises distractors, that is to say sets of figures whose composition is close to a target. For example, a distractor may be formed by the sequence of figures of the target in which a figure is changed from the third figure in the order of appearance on the screen. Distractors prevent a subject from memorizing only part of the target to recognize it. The scrolling of the figures is programmed so that a distractor appears with the same probability as a target. This programming prevents the subject from learning and expecting the appearance of a target as a result of a distractor. The duration of each test is programmed randomly between 15 and 30 seconds so as to avoid the subject to learn the duration of a test. The size of the part of the screen in which the figures scroll is 100 pixels by 300 pixels and the size of each figure is 100 pixels by 100 pixels. This small size prevents eye movements subjects, causing parasitic electrophysiological signals unrelated to cognitive activity. The part of the screen used, the size of the figures and the scrolling speed are adapted so that the subject can only have one figure at the same time. The distance between the subject and the screen is 60 cm.
Avantageusement, la première tâche est configurée pour que son exécution par un sujet entraîne alternativement un état de basse activité et un état d’activité élevée de la fonction cognitive du sujet : ainsi, une dérive d’un signal électrique, indépendante de la fonction cognitive étudiée, peut être réduite ou évitée. Advantageously, the first task is configured so that its execution by a subject alternately leads to a state of low activity and a state of high activity of the cognitive function of the subject: thus, a drift of an electrical signal, independent of the cognitive function studied, can be reduced or avoided.
Une tâche transversale, différente de la première tâche, peut également être exécutée par un sujet. La tâche transversale est utilisée pour entraîner une activité de la fonction cognitive sur le sujet à tester et conçue pour être plus représentative des tâches réalisées par des sujets dans leur environnement quotidien. La tâche transversale correspond par exemple à une série de calculs mentaux. Il est par exemple présenté au sujet à tester une série de chiffres allant de di à dn. La tâche transversale consiste par exemple à multiplier di à d2, mémoriser le résultat, puis à utiliser le résultat en le multipliant à d3, et ainsi de suite jusqu’à dn. A transverse task, different from the first task, can also be performed by a subject. The transversal task is used to induce cognitive function activity on the subject to be tested and designed to be more representative of the tasks performed by subjects in their everyday environment. The transversal task corresponds for example to a series of mental calculations. It is for example presented to the subject to test a series of digits ranging from di to d n . The transversal task consists, for example, in multiplying di to d 2 , storing the result, then using the result by multiplying it to d 3 , and so on until d n .
Une deuxième tâche est également conçue, configurée pour entraîner un état de basse activité de la fonction cognitive et un état d’activité élevée d’une fonction de confusion, entraînée par des facteurs de confusion. La deuxième tâche peut par exemple consister dans l’exécution de la première tâche adaptée à entraîner un état de basse activité de la fonction cognitive chez un sujet, dans lequel on ajoute un point rouge, ou une mouche, suivant une trajectoire aléatoire pendant une durée de 1 à 2 secondes. Cette modification par rapport à la première tâche permet d’entraîner un état d’activité élevée d’un facteur de confusion de la mémoire de travail, comme par exemple l’attention.
Acquisition des signaux électrophysiologiques A second task is also designed, configured to cause a low activity state of the cognitive function and a high activity state of a confusion function, caused by confounding factors. The second task may consist, for example, in the execution of the first task adapted to cause a state of low activity of the cognitive function in a subject, in which a red dot, or a fly, is added along a random trajectory for a period of time. from 1 to 2 seconds. This modification with respect to the first task makes it possible to cause a high activity state of a confounding factor of the working memory, such as for example attention. Acquisition of electrophysiological signals
Les signaux électriques représentatifs d’une activité neuronale d’un sujet à tester ou d’un sujet d’une population de référence peuvent être des signaux électrophysiologiques. En variante, les signaux électriques représentatifs d’une activité neuronale d’un sujet à tester ou d’un sujet d’une population de référence peuvent être des signaux électriques issus d’imagerie neuronale optique, ultrasonore ou magnétique, comme par exemple l’imagerie par résonance magnétique fonctionnelle (IRMf), par échographie fonctionnelle du cerveau, par imagerie par émission de positons, et/ou par spectroscopie en proche infra-rouge. Les signaux électrophysiologiques sont enregistrés sur le sujet à tester ou sur les sujets d’une ou plusieurs populations de référence, en utilisant un appareil EEG (Brain Products V-Amp, marque déposée) à une fréquence d’échantillonnage de 500 Hz. En variante, les signaux électriques représentatifs d’une activité neuronale d’un sujet à tester peuvent être des signaux électrophysiologiques mesurés par électrocardiographie (ECG), par électromyographie (EMG, mesure représentative de l’activité des muscles), par électro-oculographie (EOG, mesure représentative d’une différence de potentiel électrique dans l’œil), par magnétoencéphalographie (MEG) et/ou par un capteur de pression artérielle, et/ou par un capteur de respiration. Les signaux électriques représentatifs d’une activité neuronale d’un sujet à tester peuvent être issus de combinaison(s) des signaux électriques représentatifs d’une activité neuronale d’un sujet à tester décrits précédemment. Electrical signals representative of neuronal activity of a test subject or subject of a reference population may be electrophysiological signals. In a variant, the electrical signals representative of a neuronal activity of a subject to be tested or of a subject of a reference population can be electrical signals derived from optical, ultrasonic or magnetic neuronal imaging, such as, for example, the functional magnetic resonance imaging (fMRI), functional brain ultrasonography, positron emission imaging, and / or near infra-red spectroscopy. Electrophysiological signals are recorded on the test subject or on subjects of one or more reference populations, using an EEG device (Brain Products V-Amp, registered trademark) at a sampling frequency of 500 Hz. , the electrical signals representative of a neuronal activity of a subject to be tested can be electrophysiological signals measured by electrocardiography (ECG), by electromyography (EMG, representative measurement of the activity of the muscles), by electro-oculography (EOG, representative measurement of a difference in electric potential in the eye), magnetoencephalography (MEG) and / or by an arterial pressure sensor, and / or by a respiration sensor. The electrical signals representative of a neuronal activity of a subject to be tested may be derived from a combination (s) of the electrical signals representative of a neuronal activity of a test subject previously described.
La figure 2 illustre un système 1 de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester comprenant un sous-système d’acquisition 2 de signaux électrophysiologiques, et une unité de traitement 3. Le sous-système d’acquisition 2 comprend par exemple un casque EEG, des électrodes EEG et des connectiques
permettant de relier les électrodes EEG à l’unité de traitement 3. La figure 2 illustre également l’agencement des électrodes EEG autour de la boîte crânienne du sujet à tester, selon la norme internationale du système 10-20. FIG. 2 illustrates a system 1 for measuring, in real time, the activity of a cognitive function of a test subject comprising an electrophysiological signal acquisition subsystem 2, and a processing unit 3. acquisition system 2 comprises, for example, an EEG headset, EEG electrodes and connectors for connecting the EEG electrodes to the treatment unit 3. Figure 2 also illustrates the arrangement of the EEG electrodes around the cranial box of the test subject, according to the international standard of the system 10-20.
Les signaux électriques d’une population de référence sont acquis à partir de 20 sujets sains, âgés entre 21 et 31 ans, dont 10 hommes et 10 femmes. Les signaux électriques pour la mesure en temps réel de l’activité d’une fonction cognitive sont également acquis sur cette population. Les signaux électriques ont également été acquis sur 6 sujets exécutant une tâche transversale. A la suite de chaque tâche, la fatigue mentale de chaque sujet est recueillie et les tests sont arrêtés si la réponse est positive. The electrical signals of a reference population are acquired from 20 healthy subjects, aged between 21 and 31, including 10 men and 10 women. The electrical signals for the real-time measurement of the activity of a cognitive function are also acquired on this population. Electrical signals were also acquired on 6 subjects performing a transversal task. As a result of each task, the mental fatigue of each subject is collected and the tests are stopped if the response is positive.
Les séquences de signaux EEG analysées ont une durée de 2,5 secondes. 1744 séquences distinctes sont utilisées comme signaux électriques de référence lors de la calibration du système 1 de mesure en temps réel et 90 séquences distinctes sont utilisées comme signaux électriques représentatifs d’un sujet à tester lors de la calibration du système 1 de mesure en temps réel, pour chacun des sujets. Lors de la mesure en temps réel de l’activité d’une fonction cognitive, les signaux électriques représentatifs de l’activité neuronale du sujet à tester consiste dans un flux continu de signaux EEG acquis en temps réel. The analyzed EEG signal sequences have a duration of 2.5 seconds. 1744 distinct sequences are used as electrical reference signals during the calibration of the real-time measurement system 1 and 90 distinct sequences are used as electrical signals representative of a subject to be tested during the calibration of the real-time measurement system 1 , for each subject. When measuring the activity of a cognitive function in real time, the electrical signals representative of the neuronal activity of the test subject consist of a continuous stream of EEG signals acquired in real time.
Conception et calibration de l’interface cerveau-machine Design and calibration of the brain-machine interface
Un ensemble de paramètres Pi , P2, P3, P4 et P5 peut par exemple caractériser la conception de l’interface cerveau-machine. Par exemple, on choisit la durée Pi des séquences de signaux électriques de référence égale à 2, 5 secondes. On choisit le nombre P2 de séquences de signaux électriques représentatifs d’un sujet à tester, lors de la calibration, égal à 90 (45 séquences représentatives d’un état d’activité élevée et 45 séquences représentative d’un état d’activité basse). La
proportion P3 des signaux électriques de calibration issus du sujet à tester est égale à 65%. L’écart type d’un bruit gaussien, de moyenne nulle, est égal à P4 multiplié par l’écart type du marqueur considéré, où P4 est par exemple égal à 1 , 5. Le nombre de marqueurs P5 est égal à 8. L’écart type d’un marqueur considéré est par exemple calculé à partir des valeurs d’un marqueur, elles-mêmes calculées à partir de signaux électriques correspondant à différentes séquences de mesure dans le temps, lors de l’exécution d’une tâche. A set of parameters Pi, P 2 , P3, P4 and P5 can for example characterize the design of the brain-machine interface. For example, the duration Pi of the electrical signal sequences of reference equal to 2.5 seconds is chosen. The number P 2 of electrical signal sequences representative of a subject to be tested is selected, during calibration, equal to 90 (45 sequences representative of a high activity state and 45 sequences representative of a state of activity low). The proportion P 3 of the electrical calibration signals from the test subject is equal to 65%. The standard deviation of a Gaussian noise, of zero average, is equal to P 4 multiplied by the standard deviation of the marker considered, where P 4 is for example equal to 1, 5. The number of markers P 5 is equal to 8. The standard deviation of a marker considered is for example calculated from the values of a marker, themselves calculated from electrical signals corresponding to different measurement sequences in time, during the execution of a spot.
La figure 3 illustre un procédé de calibration d’un système 1 de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester selon un mode de réalisation de l’invention. La fonction cognitive dont l’activité est mesurée est avantageusement la mémoire de travail. FIG. 3 illustrates a method of calibrating a system 1 for measuring in real time the activity of a cognitive function of a subject to be tested according to one embodiment of the invention. The cognitive function whose activity is measured is advantageously the working memory.
Lors d’une étape 101 du procédé, on met en œuvre l’acquisition de signaux électriques représentatifs de l’activité cognitive d’un sujet à tester pendant l’exécution de la première tâche par le sujet à tester. La première tâche est une tâche spécifique à la fonction cognitive mesurée par le système 1 : elle peut être par exemple une tâche spécifique à la mémoire de travail. During a step 101 of the method, it implements the acquisition of electrical signals representative of the cognitive activity of a test subject during the execution of the first task by the subject to be tested. The first task is a task specific to the cognitive function measured by the system 1: it can be for example a task specific to the working memory.
Préalablement à la calibration, des signaux électriques de référence ont été acquis et transmis au système 1 de mesure. Chaque signal électrique de référence est représentatif de l’activité neuronale d’un sujet de référence d’une première population de référence pendant l’exécution de la première tâche par le sujet de référence. Par exemple, la tâche spécifique à la mémoire de travail décrite précédemment entraîne, lors de son exécution par un sujet, selon les essais, un état d’activité basse de la mémoire de travail ou un état d’activité élevée de la mémoire de travail du sujet. Les fréquences des signaux acquis inférieures à 1 Hz et supérieures à 45 Hz sont effacées des signaux EEG en utilisant un filtre de Butterworth du 3ème ordre. Les signaux EEG acquis sont ensuite segmentés en plusieurs séquences d’une
durée égale à Pi secondes. Chaque séquence est inspectée visuellement et toutes les séquences comprenant trop de bruit ou dans lesquels des biais musculaires sont visibles ne sont pas prises en compte. En particulier, les séquences comprenant des caractéristiques des clignement d’yeux ne sont pas prises en compte. Prior to the calibration, electrical reference signals have been acquired and transmitted to the measurement system 1. Each reference electrical signal is representative of the neural activity of a reference subject of a first reference population during the performance of the first task by the reference subject. For example, the task specific to the working memory described above causes, when executed by a subject, according to the tests, a low activity state of the working memory or a high activity state of the working memory. from subject. The frequencies of signals acquired below 1 Hz and above 45 Hz are erased EEG signals using a Butterworth filter of the 3rd order. The acquired EEG signals are then segmented into several sequences of one duration equal to Pi seconds. Each sequence is inspected visually and any sequences with too much noise or muscle bias are not taken into account. In particular, sequences including characteristics of blinking are not taken into account.
Lors d’une étape 102 du procédé, on calcule les valeurs de marqueurs de l’activité de la fonction cognitive à partir des signaux représentatifs d’une activité neuronale du sujet à tester, et de signaux électriques de référence. Chaque signal est segmenté en séquences. La valeur d’un marqueur spectral est calculée pour chaque séquence en utilisant la méthode de Welsh, avec un fenêtrage d’une durée de 0,5 secondes. Les valeurs des marqueurs spectraux sont calculées en puissance absolue et en puissance relative dans chacune des gammes de fréquences suivantes : ô (de 1 à 4 Hz), Q (de 4 à 8 Hz), a (de 8 à 12 Hz), b basse (de 12 à 20 Hz) et b haute (de 20 à 30 Hz). La puissance relative dans une gamme de fréquences correspond au rapport de la puissance dans une gamme de fréquences sur la puissance pour l’ensemble des fréquences. L’utilisation de la puissance relative comme marqueur permet de comparer les marqueurs entre différents sujets de manière plus pertinente que ne le permettrait l’utilisation de la puissance absolue. Pour chaque séquence, un total de 192 marqueurs est obtenu à partir de 16 canaux d’acquisition, deux marqueurs par gamme de fréquences et 6 gammes de fréquences. During a step 102 of the method, the marker values of the activity of the cognitive function are calculated from the signals representative of a neuronal activity of the subject to be tested, and from electrical reference signals. Each signal is segmented into sequences. The value of a spectral marker is calculated for each sequence using the Welsh method, with a window duration of 0.5 seconds. The values of the spectral markers are calculated in absolute power and in relative power in each of the following frequency ranges: δ (from 1 to 4 Hz), Q (from 4 to 8 Hz), a (from 8 to 12 Hz), b bass (12 to 20 Hz) and b high (20 to 30 Hz). The relative power in a frequency range corresponds to the ratio of the power in a frequency range to the power for all the frequencies. The use of relative power as a marker makes it possible to compare the markers between different subjects in a more relevant way than the use of absolute power would allow. For each sequence, a total of 192 markers is obtained from 16 acquisition channels, two markers per frequency range and 6 frequency ranges.
Il est possible de présenter l’ensemble des valeurs des marqueurs calculées sous la forme d’une matrice de 192 lignes et de M colonnes, dans laquelle M est le nombre de séquences. Cette matrice peut être associée à un vecteur dont les composantes sont binaires, et décrivent un état d’activité élevée ou de basse activité de la fonction cognitive testée spécifiquement par la tâche. It is possible to present all the values of the calculated markers in the form of a matrix of 192 rows and M columns, in which M is the number of sequences. This matrix can be associated with a vector whose components are binary, and describe a state of high activity or low activity of the cognitive function tested specifically by the task.
Lors d’une étape 103 du procédé, on génère une pluralité de copies des valeurs de marqueurs calculées lors de l’étape 102 du
procédé. On ajoute du bruit aux copies générées. De manière générale, lors de la calibration d’un système 1 de mesure en temps réel, au moins deux types de signaux électriques peuvent être utilisés pour calculer les valeurs de marqueurs, comme mis en œuvre lors d’une l’étape 102 du procédé : des signaux représentatifs de l’activité neuronale d’un sujet à tester et des signaux électriques de référence représentatifs de l’activité neuronale d’un sujet de référence d’une première population de référence. Par la suite, un classifieur est entraîné avec les valeurs de marqueurs et de copies bruitées potentiellement issus des deux types de signaux. Néanmoins, plus le nombre de signaux issus d’une première population de référence est grand, moins l’influence des signaux de calibration issus du sujet à tester est grande : la précision de la classification des signaux électriques du sujet à tester par le classifieur peut alors être insuffisante. Ainsi, en générant des copies bruitées des valeurs des marqueurs, et préférentiellement des valeurs des marqueurs des signaux électriques représentatifs d’une activité neuronale d’un sujet à tester, il est possible de contrôler la proportion des valeurs de marqueurs issus de signaux représentatifs d’une première population de référence au regard de l’ensemble des valeurs des marqueurs : il est par exemple possible de limiter sa proportion. In a step 103 of the method, a plurality of copies of the marker values calculated in step 102 of the process. Noise is added to the generated copies. In general, when calibrating a real-time measurement system 1, at least two types of electrical signals can be used to calculate the marker values, as implemented during a step 102 of the method. signals representative of the neuronal activity of a subject to be tested and electrical reference signals representative of the neuronal activity of a reference subject of a first reference population. Subsequently, a classifier is trained with the values of markers and noisy copies potentially derived from the two types of signals. Nevertheless, the greater the number of signals from a first reference population, the less the influence of the calibration signals from the test subject is great: the accuracy of the classification of the electrical signals of the subject to be tested by the classifier can then be insufficient. Thus, by generating noisy copies of the values of the markers, and preferably values of the markers of the electrical signals representative of a neuronal activity of a test subject, it is possible to control the proportion of the marker values resulting from signals representative of a first reference population with regard to all the values of the markers: it is for example possible to limit its proportion.
De plus, l’ajout de bruit aux valeurs de marqueurs issus de signaux représentatifs du sujet à tester permet de simuler une distribution de variation des marqueurs, compatible avec l’apprentissage statistique du classifieur. Le bruit ajouté à chacune des copies est, par exemple, un bruit gaussien, de moyenne nulle, et dont l’écart type est égal à P4 fois l’écart type d’un marqueur considéré. Ainsi, il est possible de minimiser l’erreur en sortie d’un classifieur en ajustant la proportion de valeurs de marqueurs issus des signaux représentatifs de l’activité neuronale d’un sujet à tester au regard de l’ensemble des signaux utilisés (contrôlé par le paramètre P3), et en
ajustant le bruit ajouté aux différentes copies (par exemple contrôlé par le paramètre P4). In addition, the addition of noise to the marker values from signals representative of the subject to be tested makes it possible to simulate a variation distribution of the markers, compatible with the statistical learning of the classifier. The noise added to each of the copies is, for example, a Gaussian noise, of zero average, and whose standard deviation is equal to P 4 times the standard deviation of a marker considered. Thus, it is possible to minimize the output error of a classifier by adjusting the proportion of marker values derived from the signals representative of the neuronal activity of a test subject with regard to all the signals used (controlled by the parameter P 3 ), and adjusting the noise added to the different copies (eg controlled by parameter P 4 ).
Lors d’une étape 104 du procédé, on ordonne les marqueurs utilisés lors de l’étape 102 en fonction de leur corrélation avec le ou les états de l’activité de la fonction cognitive prédéfinis par la première tâche, déterminée à partir des valeurs des marqueurs et des copies bruitées des valeurs des marqueurs. On peut par exemple utiliser une orthogonalisation de Gram-Schmidt (ou O. F. R. pour orthogonal forward régression en anglais) ou de manière générale des procédés de sélection de variables supervisés pour ordonner les marqueurs. Le premier marqueur, après classement, est le marqueur dont la ou les valeurs présentent la plus forte corrélation avec l’état de l’activité de la fonction cognitive. Le second marqueur, après classement, est le marqueur dont la ou les valeurs présentent la plus forte corrélation avec l’état de l’activité de la fonction cognitive, après avoir écarté des données la partie associée au premier marqueur, et ainsi de suite. On sélectionne ensuite un nombre de marqueurs parmi les plus pertinents selon l’ordre défini précédemment. Il est possible de tester l’erreur d’un classifieur construit avec un ensemble de marqueurs donné comme décrit dans l’étape 105 : on peut sélectionner un nombre défini au préalable de marqueurs et optimiser le nombre d’éléments à sélectionner parmi les plus pertinents en testant l’erreur du classifieur de manière à réduire son erreur. During a step 104 of the method, the markers used in step 102 are ordered according to their correlation with the state or states of the activity of the cognitive function predefined by the first task, determined from the values of the markers and noisy copies of marker values. For example, a Gram-Schmidt orthogonalization (or O.F.R. for orthogonal forward regression in English) or generally supervised variable selection methods for ordering the markers may be used. The first marker, after classification, is the marker whose value (s) have the strongest correlation with the state of the activity of the cognitive function. The second marker, after classification, is the marker whose value or values have the strongest correlation with the state of the activity of the cognitive function, after having discarded the data associated with the first marker, and so on. Then select a number of markers among the most relevant in the order defined above. It is possible to test the error of a classifier constructed with a given set of markers as described in step 105: it is possible to select a pre-defined number of markers and to optimize the number of elements to be selected from the most relevant by testing the error of the classifier so as to reduce his error.
Lors d’une étape 105 du procédé, on construit un classifieur par apprentissage automatique à partir des valeurs des marqueurs calculées et des copies bruitées générées. Préférentiellement, le classifieur est construit à partir d’au moins les valeurs des marqueurs sélectionnés lors de l’étape 104, et préférentiellement uniquement à partir des valeurs des marqueurs sélectionnés lors de l’étape 104 et des copies bruitées des valeurs des marqueurs sélectionnés lors de l’étape 104 du procédé. Un tel classifieur peut par exemple être un classifieur à analyse linéaire
discriminante. L’apprentissage du classifieur est également réalisé avec l’état d’activité de la fonction cognitive qui est associé à chacun des motifs sélectionnés (état d’activité basse ou élevée par exemple). In a step 105 of the method, a classifier is constructed by automatic learning from the values of the calculated markers and the noisy copies generated. Preferably, the classifier is constructed from at least the values of the markers selected in step 104, and preferably only from the values of the markers selected in step 104 and the noisy copies of the values of the selected markers during step 104. of step 104 of the process. Such a classifier can for example be a linear analysis classifier discriminant. Learning the classifier is also done with the state of activity of the cognitive function that is associated with each of the selected patterns (low or high activity state for example).
Le classifieur peut, après apprentissage, présenter un signal de sortie permettant de mesurer l’activité de la fonction cognitive du sujet à tester en calculant une probabilité PA qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité élevée de la fonction cognitive du sujet à tester, ou d’une manière plus générale, une valeur représentative de la probabilité PA, telle qu’un résultat binaire calculé à partir de la probabilité PA. Il est également possible de construire un classifieur à n classes, n étant un nombre entier naturel, permettant de caractériser n états. Dans ce cas, des motifs et des valeurs de motifs correspondant à chacun des n états d’activité de la fonction cognitive auront été calculés au préalable, et la première tâche est configurée pour que son exécution par le sujet entraîne un état d’activité de la fonction cognitive du sujet d’une première population de référence parmi les n états possibles. Les marqueurs sont ainsi utilisés pour prédire le ou les d’états d’une fonction cognitive d’un sujet à tester au moyen d’un algorithme utilisant les valeurs de ces marqueurs. The classifier may, after learning, present an output signal making it possible to measure the activity of the cognitive function of the subject to be tested by calculating a probability PA that an electrical signal representative of the neuronal activity of the test subject results from a high activity state of the cognitive function of the test subject, or more generally, a value representative of the probability PA, such as a binary result calculated from the probability PA. It is also possible to construct a classifier with n classes, where n is a natural integer, to characterize n states. In this case, patterns and pattern values corresponding to each of the n activity states of the cognitive function will have been calculated beforehand, and the first task is configured so that its execution by the subject results in a state of activity of the cognitive function. the cognitive function of the subject of a first reference population among the n possible states. The markers are thus used to predict the state or states of a cognitive function of a subject to be tested by means of an algorithm using the values of these markers.
La figure 4 illustre schématiquement des ensembles de marqueurs, en nombre fini, permettant de mesurer des états d’activité de fonctions cognitives lors de l’exécution d’une tâche prédéterminée. La tâche spécifique à la fonction cognitive mesurée est conçue de manière à entraîner chez un sujet deux états distincts d’activité de la fonction cognitive, en l’occurrence un état de basse activité et un état d’activité élevée. En pratique, la fonction cognitive mesurée, telle que la mémoire de travail, peut être une construction multimodale complexe. Les différents signaux acquis peuvent avoir été entraînés par des facteurs de confusion. Ces facteurs de confusion peuvent être
cognitifs : l’attention, l’excitation et/ou la frustration peuvent être des facteurs de confusion au regard de la mémoire de travail. Ces facteurs de confusion peuvent également être issus d’événements moteurs, comme le clignement des yeux, les sous-vocalisations et les contractions musculaires. Figure 4 schematically illustrates finite number sets of markers for measuring activity states of cognitive functions when performing a predetermined task. The task specific to the measured cognitive function is designed so as to cause in a subject two distinct states of activity of the cognitive function, in this case a state of low activity and a state of high activity. In practice, measured cognitive function, such as working memory, can be a complex multimodal construct. The different signals acquired may have been driven by confounding factors. These confounders can be Cognitive: Attention, excitement and / or frustration can be confusing for working memory. These confounding factors can also be the result of motor events, such as blinking, sub-vocalization and muscle contractions.
L’aire délimitée par l’ellipse (a) illustre schématiquement l’ensemble des marqueurs représentatifs de l’exécution d’une première tâche, spécifique à la fonction cognitive. L’aire délimitée par l’ellipse (b) représente schématiquement l’ensemble des marqueurs représentatifs de l’exécution de la tâche transversale. L’aire délimitée par l’ellipse (c) représente schématiquement l’ensemble des marqueurs qui permettent de mesurer l’état d’activité de la fonction cognitive, en l’occurrence la mémoire de travail. L’aire délimitée par l’ellipse (d) représente schématiquement l’ensemble des marqueurs qui permettent de mesurer l’état d’activité entraînée par des facteurs de confusion moteurs, et l’aire délimitée par l’ellipse (e) représente schématiquement l’ensemble des marqueurs qui permettent de mesurer l’état d’activité entraînée par des facteurs de confusion cognitifs. The area delimited by the ellipse (a) schematically illustrates all the markers representative of the execution of a first task, specific to the cognitive function. The area delimited by the ellipse (b) schematically represents all the markers representative of the execution of the transverse task. The area delimited by the ellipse (c) schematically represents the set of markers that make it possible to measure the state of activity of the cognitive function, in this case the working memory. The area delimited by the ellipse (d) schematically represents all the markers that make it possible to measure the state of activity caused by motor confusion factors, and the area delimited by the ellipse (e) represents schematically all the markers that measure the state of activity caused by cognitive confusion factors.
L’aire de recouvrement des ellipses (a) et (b) illustre schématiquement un ensemble non vide de marqueurs représentatifs de l’exécution de la première tâche et de la tâche transversale. L’aire de recouvrement des ellipses (a), (b) et (c) (aire notée (f) sur la figure) illustre schématiquement un ensemble non vide de marqueurs représentatifs de l’exécution de la première tâche, de la tâche transversale et de la mémoire de travail. Le fait que cet ensemble ne soit pas vide résulte du fait que la première tâche et la tâche transversale ont été conçues de manière à faire intervenir la mémoire de travail. L’aire de recouvrement des ellipses (a), (b) et (e) (aire notée (g) sur la figure) représente schématiquement un ensemble non vide de marqueurs représentatifs de l’exécution de la première tâche, de la tâche transversale, et de marqueurs qui permettent de mesurer l’état
d’activité entraînée par des facteurs de confusion cognitifs. Préférentiellement, les marqueurs appartenant à ce dernier ensemble ne sont pas pris en compte lors de la construction d’un classifieur adapté à mesurer l’état d’activité cognitive entraîné par l’exécution de la première tâche ou de la tache transversale. The overlap area of the ellipses (a) and (b) schematically illustrates a non-empty set of markers representative of the execution of the first task and the transverse task. The overlap area of the ellipses (a), (b) and (c) (noted area (f) in the figure) schematically illustrates a non-empty set of markers representative of the execution of the first task, the transverse task and working memory. The fact that this set is not empty results from the fact that the first task and the transversal task have been designed so as to involve the working memory. The overlap area of the ellipses (a), (b) and (e) (noted area (g) in the figure) schematically represents a non-empty set of markers representative of the execution of the first task, the transversal task , and markers that measure the state activity caused by cognitive confusion factors. Preferably, the markers belonging to the latter set are not taken into account during the construction of a classifier adapted to measure the state of cognitive activity caused by the execution of the first task or the transverse spot.
Ainsi, il est possible de tester la dépendance de la mesure de l’activité de la fonction cognitive à un ou plusieurs facteurs de confusion. A cet effet, lors de l’étape 107 du procédé, on calcule avec le classifieur, par exemple construit lors de l’étape 105 du procédé, la probabilité PA qu’un signal électrique représentatif de l’activité neuronale d’un sujet d’une seconde population de référence, exécutant la deuxième tâche, résulte d’un état d’activité élevée de la fonction cognitive du sujet à tester (le signal électrique représentatif d’une activité neuronale d’un sujet d’une seconde population de référence ayant été acquis pendant l’exécution de la deuxième tâche par le sujet de la seconde population de référence). Les signaux électriques d’une deuxième population de référence exécutant la deuxième tâche peuvent par exemple être acquis au préalable lors d’une étape 106. Thus, it is possible to test the dependency of the measure of the activity of the cognitive function on one or more confounding factors. For this purpose, during step 107 of the method, the probability PA of an electrical signal representative of the neuronal activity of a subject d is calculated with the classifier, for example constructed during step 105 of the method, a second reference population, performing the second task, results from a state of high activity of the cognitive function of the test subject (the electrical signal representative of a neuronal activity of a subject of a second reference population acquired during the execution of the second task by the subject of the second reference population). The electrical signals of a second reference population executing the second task may, for example, be acquired beforehand during a step 106.
Lors d’une étape 108 du procédé, on peut ensuite comparer la probabilité PA obtenue à une valeur seuil Vs enregistrée au préalable, ou déterminée par un utilisateur. Ainsi, si la probabilité PA est supérieure à 0,5, préférentiellement supérieure à 0,6, et préférentiellement supérieure à 0,7, alors, le classifieur renseigne un état d’activité élevée de la fonction cognitive alors que la tâche est spécifiquement conçue pour entraîner un état d’activité basse de la fonction cognitive. Ce test permet de constater une construction du classifieur ne permettant pas de discriminer un état d’activité élevée de la fonction cognitive et du facteur de confusion. Ce test peut être suivi par exemple d’une nouvelle étape d’acquisition de signaux électriques du sujet, de manière à aboutir à la construction d’un nouveau classifieur adapté à discriminer la fonction cognitive de
facteurs de confusion, comme illustré par la figure 3 pour la condition PA > Vs. Ce test peut également être suivi de l’arrêt de la mesure. During a step 108 of the method, it is then possible to compare the probability PA obtained with a threshold value V s previously recorded or determined by a user. Thus, if the probability PA is greater than 0.5, preferably greater than 0.6, and preferentially greater than 0.7, then the classifier informs a state of high activity of the cognitive function while the task is specifically designed. to cause a low activity state of the cognitive function. This test shows a construction of the classifier that does not discriminate a high activity state of cognitive function and confounding factor. This test can be followed, for example, by a new step of acquiring the subject's electrical signals, so as to lead to the construction of a new classifier adapted to discriminating the cognitive function of the subject. confounding factors, as shown in figure 3 for the condition PA> Vs. This test can also be followed by stopping the measurement.
Mesure en temps réel de activité de la fonction cognitive Real-time measurement of cognitive function
La figure 5 illustre un procédé de mesure en temps réel de l’activité de la fonction cognitive. Un procédé de mesure en temps réel de l’activité de la fonction cognitive est précédé d’une calibration du système 1 de mesure, par exemple selon un procédé comprenant les étapes 101 à 106 du procédé de calibration : un classifieur est construit de manière à être adapté à mesurer l’activité de la fonction cognitive du sujet à tester en calculant une probabilité PA qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité élevée de la fonction cognitive du sujet à tester. Figure 5 illustrates a method for real-time measurement of cognitive function. A method for measuring in real time the activity of the cognitive function is preceded by a calibration of the measurement system 1, for example according to a method comprising steps 101 to 106 of the calibration method: a classifier is constructed in such a way as to be adapted to measure the activity of the cognitive function of the subject to be tested by calculating a probability PA that an electrical signal representative of the neuronal activity of the test subject results from a state of high activity of the cognitive function of the subject to test.
Lors d’une étape 201 du procédé de mesure en temps réel, on acquiert des signaux électriques représentatifs de l’activité neuronale du sujet à tester. Un flux continu de signal électrique est transmis du sous-système d’acquisition 2 à l’unité de traitement 3 et analysé par l’unité de traitement 3. On utilise par exemple les signaux compris dans une fenêtre glissante d’une durée de 2,5 secondes. During a step 201 of the real-time measurement method, electrical signals representative of the neuronal activity of the subject to be tested are acquired. A continuous flow of electrical signal is transmitted from the acquisition subsystem 2 to the processing unit 3 and analyzed by the processing unit 3. For example, the signals included in a sliding window with a duration of 2 are used. , 5 seconds.
Lors d’une étape 202 du procédé, on calcule la probabilité PA, ou de manière plus générale, une valeur représentative de la probabilité PA, à l’aide d’un système 1 de mesure en temps réel de l’activité d’une fonction cognitive du sujet à tester. On désigne par temps réel une mesure de l’activité de la fonction cognitive mettant en œuvre le calcul de la probabilité PA en mois de 10 secondes, et préférentiellement en moins de 5 secondes. La valeur représentative de la probabilité PA peut par exemple être une prédiction binaire calculée à partir de la probabilité PA. Résultats
La figure 6 illustre la caractéristique de performance du classifieur, ou courbe ROC (pour caractéristique de fonctionnement du récepteur en anglais) correspondant à l’exécution de la première tâche, spécifique à la mémoire de travail en temps réel. La valeur de la probabilité PA est mesurée en continu, pendant la durée de chaque essai de la première tâche. Deux paramètres peuvent être calculés à partir de la courbe ROC : le seuil de classification et le temps d’activité soutenue requis. Le temps d’activité soutenue requis correspond au temps pendant lequel l’activité de la fonction cognitive est supérieure à une valeur seuil pour classer un essai comme présentant un état d’activité élevée de la fonction cognitive. Ainsi, pour chaque seuil de classification et pour chaque temps d’activité soutenue requis, il est possible de calculer un couple correspondant à la spécificité et à la sensibilité, dont les valeurs sont illustrées par les points de la figure 6. Pour une valeur requise de spécificité, il est alors possible de trouver un seuil de classification et un temps requis optimaux pour que la sensibilité soit maximisée. Les valeurs du temps d’activité soutenue requis sont différentes selon les essais, mais en moyenne, une valeur optimum de ce temps est comprise entre 2 secondes et 10 secondes, préférentiellement entre 4 secondes et 6 secondes et préférentiellement sensiblement égale à 5 secondes. L’aire moyenne sous la courbe du classifieur (ou AUC pour Area Under Curve en anglais) en temps réel est de 0,78, supérieure, avec p < 0,0001 , à la valeur de 0,5 correspondant à un classifieur aléatoire, illustré par la droite noire sur la figure 6. During a step 202 of the method, the probability PA, or, more generally, a value representative of the probability PA, is calculated using a system 1 for measuring in real time the activity of a cognitive function of the subject to be tested. In real time, we denote a measure of the activity of the cognitive function implementing the calculation of the probability PA in months of 10 seconds, and preferably in less than 5 seconds. The representative value of the probability PA may for example be a binary prediction calculated from the probability PA. Results FIG. 6 illustrates the performance characteristic of the classifier, or ROC curve (for operating characteristic of the receiver in English) corresponding to the execution of the first task, specific to the real-time working memory. The value of the probability PA is measured continuously during the duration of each trial of the first task. Two parameters can be calculated from the ROC curve: the classification threshold and the required sustained activity time. The required sustained activity time is the time during which cognitive function activity is greater than a threshold value to classify an assay as having a high activity state of cognitive function. Thus, for each classification threshold and for each required sustained activity time, it is possible to calculate a pair corresponding to the specificity and the sensitivity, the values of which are illustrated by the points of Figure 6. For a required value of specificity, it is then possible to find a classification threshold and an optimal time required for the sensitivity to be maximized. The values of the required sustained activity time are different according to the tests, but on average, an optimum value of this time is between 2 seconds and 10 seconds, preferably between 4 seconds and 6 seconds and preferably substantially equal to 5 seconds. The mean area under the curve of the classifier (or AUC for Area Under Curve in English) in real time is 0.78, higher, with p <0.0001, at the value of 0.5 corresponding to a random classifier, illustrated by the black line in Figure 6.
Un total de 92 essais ont été analysés, dans lesquels les signaux électriques permettaient de conclure à une réponse en accord avec la tâche exécutée (bonne réponse) dans 82 % des cas. Les données individuelles sont résumées dans le tableau 1 suivant :
A total of 92 tests were analyzed, in which the electrical signals made it possible to conclude to a response in agreement with the task performed (correct answer) in 82% of cases. The individual data are summarized in the following Table 1:
Tableau 1 Table 1
La figure 7 illustre les caractéristiques de performance du classifieur lors de l’exécution d’une tâche par un sujet en présence d’un état d’activité élevée d’un facteur de confusion (en l’occurrence de l’excitation). La courbe (a) correspond à la caractéristique de performance du classifieur lors de l’exécution d’une tâche par un sujet en présence d’un état d’activité élevé de facteur de confusion et la courbe (b) correspond à la même caractéristique corrigée, après avoir décorrélé les informations comprises dans les marqueurs de l’excitation. L’aire de la courbe (b)) est inférieure de 7% à l’aire de la courbe (a), ce qui ne représente pas une différence significative. La figure 8 illustre l’évolution de la probabilité PA dans le temps correspondant à l’activité de la mémoire de travail. La moyenne de la probabilité PA mesurée sur 20 essais lors de l’exécution d’une tâche transversale est illustrée en fonction du temps. La probabilité PA présente généralement une décroissance après 10 secondes. Cette variation est cohérente compte tenu de la commutation de l’état de l’activité de la mémoire de travail, d’élevée à basse, à 8, 5 secondes et du retard introduit par le système 1 de sensiblement 2, 5 secondes. Autrement dit, la mesure de la probabilité PA est une mesure globale de l’activité de la mémoire de travail pendant les 2,5 secondes qui
précédent le temps auquel la probabilité PA est mesurée. De manière générale, après avoir atteint une valeur minimale, la probabilité PA est de nouveau croissante, sans atteindre des valeurs aussi élevées que pendant la période correspondant à un état d’activité élevée de la mémoire de travail. Figure 7 illustrates the performance characteristics of the classifier when performing a task by a subject in the presence of a high activity state of a confounding factor (in this case excitation). Curve (a) corresponds to the performance characteristic of the classifier when performing a task by a subject in the presence of a high activity state of confusion factor and curve (b) corresponds to the same characteristic corrected, after decorrelating the information included in the markers of the excitation. The area of curve (b) is 7% lower than the area of curve (a), which does not represent a significant difference. Figure 8 illustrates the evolution of the probability PA in the time corresponding to the activity of the working memory. The average of the probability PA measured over 20 tests during the execution of a transverse task is illustrated as a function of time. The probability PA usually shows a decrease after 10 seconds. This variation is consistent in view of the switching of the activity state of the working memory, from high to low, to 8.5 seconds and the delay introduced by the system 1 of substantially 2.5 seconds. In other words, the measure of the probability PA is an overall measure of the activity of the working memory during the 2.5 seconds which preceding the time at which the probability PA is measured. In general, after reaching a minimum value, the probability PA is again increasing, without reaching values as high as during the period corresponding to a high activity state of the working memory.
La figure 9 illustre la différence des valeurs de marqueurs entre un état d’activité élevée et un état d’activité basse pour différentes gammes de fréquences. Le panneau A de la figure 9 illustre la différence entre, d’une part, une moyenne de la puissance spectrale dans la gamme de fréquences a, pour l’ensemble des canaux, lors de l’exécution d’une tâche correspondant à un état d’activité élevée de la mémoire de travail, et, d’autre part, la moyenne correspondante dans un état d’activité basse. Le panneau B de la figure 9 illustre la différence entre, d’une part, une moyenne de la puissance spectrale dans la gamme de fréquences y basse, pour l’ensemble des canaux, lors de l’exécution d’une tâche correspondant à un état d’activité élevée de la mémoire de travail, et, d’autre part, la moyenne correspondante dans un état d’activité basse. Le panneau C de la figure 9 illustre la différence entre, d’une part, une moyenne de la puissance spectrale dans la gamme de fréquences B basse, pour l’ensemble des canaux, lors de l’exécution d’une tâche correspondant à un état d’activité élevée de la mémoire de travail, et, d’autre part, la moyenne correspondante dans un état d’activité basse. Le panneau D de la figure 9 illustre la différence entre, d’une part, une moyenne de la puissance spectrale dans la gamme de fréquences B haute, pour l’ensemble des canaux, lors de l’exécution d’une tâche correspondant à un état d’activité élevée de la mémoire de travail, et, d’autre part, la moyenne correspondante dans un état d’activité basse. La moyenne des puissances spectrales mesurées est calculée en intégrant les puissances pendant 10 secondes. Les gammes de fréquences illustrées correspondent aux gammes de
fréquences des marqueurs sélectionnés, par exemple par un procédé décrit par l’étape 105 du procédé de calibration illustré en figure 3. Les marqueurs sélectionnés peuvent être préférentiellement choisis parmi la puissance relative de la gamme 6 basse acquise par une électrode agencée à la position Fp1 , telle que décrite par la norme du système 10-20, la puissance relative de la gamme 6 basse acquise par une électrode agencée à la position Cz, la puissance relative de la gamme g basse acquise par une électrode agencée à la position Fp1 , la puissance relative de la gamme 6 haute acquise par une électrode agencée à la position Cz, la puissance relative de la gamme a acquise par une électrode agencée à la position Oz et la puissance relative de la gamme a acquise par une électrode agencée à la position CP5. Figure 9 illustrates the difference in marker values between a high activity state and a low activity state for different frequency ranges. Panel A of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the frequency range a, for all the channels, when performing a task corresponding to a state high activity of the working memory, and, on the other hand, the corresponding average in a low activity state. Panel B of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the low frequency range y, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state. Panel C of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the low frequency range B, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state. Panel D of FIG. 9 illustrates the difference between, on the one hand, an average of the spectral power in the high frequency range B, for all the channels, when performing a task corresponding to a high activity state of the working memory, and, on the other hand, the corresponding average in a low activity state. The average of the spectral powers measured is calculated by integrating the powers for 10 seconds. The illustrated frequency ranges correspond to the ranges of selected markers frequencies, for example by a method described by step 105 of the calibration method illustrated in Figure 3. The selected markers may be preferably selected from the relative power of the low range 6 acquired by an electrode arranged at the Fp1 position , as described by the system standard 10-20, the relative power of the low range 6 acquired by an electrode arranged at the position Cz, the relative power of the low range g acquired by an electrode arranged at the position Fp1, the relative power of the high range 6 acquired by an electrode arranged at the position Cz, the relative power of the range acquired by an electrode arranged at the position Oz and the relative power of the range acquired by an electrode arranged at the position CP5 .
Le système 1 proposé, ainsi que les procédés de calibration du système 1 et de mesure en temps réel de la fonction cognitive trouvent avantageusement leur application dans : The system 1 proposed, as well as the methods for calibrating the system 1 and measuring in real time the cognitive function advantageously find their application in:
le contrôle et la surveillance de l’activité de la mémoire de travail lors du pilotage de véhicules (automobile, aviation, navigation, transports ferroviaires, transports militaires incluant les sous-marins) ; the control and monitoring of the work memory activity during the piloting of vehicles (automobile, aviation, navigation, rail transport, military transport including submarines);
l’entraînement des fonctions cognitives dépendantes de la mémoire de travail, telles que l’apprentissage scolaire ; the training of cognitive functions dependent on working memory, such as school learning;
le contrôle et/ou l’entrainement de l’activité de la charge de travail pour la prévention de troubles médicaux ; control and / or training of the workload activity for the prevention of medical disorders;
de manière plus générale le contrôle personnel de l’activité de la mémoire de travail pendant toute sorte d’activité (ou neurofeedback en anglais).
more generally the personal control of the activity of the working memory during any kind of activity (or neurofeedback in English).
Claims
1. Procédé de calibration d’un système (1 ) de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester, le procédé comprenant les étapes successives de : A method of calibrating a system (1) for measuring in real time the activity of a cognitive function of a test subject, the method comprising the successive steps of:
a) acquisition de signaux électriques représentatifs d’une activité neuronale d’un sujet à tester pendant l’exécution d’une première tâche par le sujet à tester, la première tâche étant configurée pour que son exécution par le sujet entraîne différents états de l’activité de la fonction cognitive du sujet ; a) acquisition of electrical signals representative of a neuronal activity of a test subject during the execution of a first task by the subject to be tested, the first task being configured so that its execution by the subject causes different states of the subject; activity of the cognitive function of the subject;
b) calcul de valeurs de marqueurs de l’activité de la fonction cognitive à partir : b) calculating marker values of the activity of the cognitive function from:
- des signaux acquis lors de l’étape a) ; signals acquired during step a);
- de signaux électriques de référence, chaque signal électrique de référence étant représentatif de l’activité neuronale d’un sujet de référence d’une première population de référence pendant l’exécution de la première tâche par le sujet de référence ; les valeurs des marqueurs étant représentatives d’un état d’activité de la fonction cognitive du sujet à tester ; reference electrical signals, each reference electrical signal being representative of the neuronal activity of a reference subject of a first reference population during the execution of the first task by the reference subject; the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
c) génération d’une pluralité de copies de valeurs de marqueurs calculées lors de l’étape b) et ajout de bruit aux copies générées ; d) construction d’un classifieur par apprentissage automatique à partir des valeurs de marqueurs calculées à l’étape b) et de copies bruitées calculées à l’étape c), le classifieur étant adapté pour mesurer l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative d’une probabilité (PA) qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive du sujet à tester. c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies; d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to be tested by calculating a value representative of a probability (PA) that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested.
2. Procédé selon la revendication 1 , dans lequel la fonction cognitive est la mémoire de travail.
The method of claim 1, wherein the cognitive function is the working memory.
3. Procédé selon la revendication 1 ou 2, dans lequel les valeurs des marqueurs sont représentatives d’un état de basse activité ou d’un état d’activité élevée de la fonction cognitive d’un sujet de référence. The method of claim 1 or 2, wherein the values of the markers are representative of a low activity state or a high activity state of the cognitive function of a reference subject.
4. Procédé selon l’une des revendications 1 à 3, dans lequel, après la mise en œuvre de l’étape c) et avant la mise en œuvre de l’étape d), on ordonne les marqueurs en fonction de leur corrélation avec les états de l’activité de la fonction cognitive, déterminée à partir des valeurs des marqueurs et des copies bruitées des valeurs des marqueurs, puis on sélectionne certains marqueurs parmi les marqueurs ordonnées en fonction de leur rang, l’étape d) étant mise en œuvre à partir des valeurs des marqueurs sélectionnés. 4. Method according to one of claims 1 to 3, wherein, after the implementation of step c) and before the implementation of step d), the markers are ordered according to their correlation with states of cognitive function, determined from the marker values and noisy copies of the marker values, then selecting some of the markers ordered according to their rank, step d) being set to works from the values of the selected markers.
5. Procédé selon la revendication 4, dans lequel l’étape d) est mise en œuvre uniquement à partir des valeurs des marqueurs sélectionnés ou uniquement à partir des valeurs des marqueurs sélectionnés et des copies bruitées des valeurs des marqueurs sélectionnés. The method according to claim 4, wherein step d) is implemented only from the values of the selected markers or only from the values of the selected markers and the noisy copies of the values of the selected markers.
6. Procédé selon l’une des revendications 1 à 5, dans lequel la première tâche est configurée pour que son exécution par un sujet entraîne en alternance au moins deux états d’activités différentes de la fonction cognitive du sujet. 6. Method according to one of claims 1 to 5, wherein the first task is configured so that its execution by a subject causes alternately at least two states of different activities of the cognitive function of the subject.
7. Procédé selon l’une des revendications 1 à 6, dans lequel la première tâche est configurée pour que son exécution par un sujet entraîne en alternance un état de basse activité et un état d’activité élevée de la fonction cognitive du sujet. 7. Method according to one of claims 1 to 6, wherein the first task is configured so that its execution by a subject alternately causes a low activity state and a high activity state of the cognitive function of the subject.
8. Procédé selon l’une des revendications 1 à 7, dans lequel une deuxième tâche est configurée pour que son exécution par le sujet
entraîne des états simultanés d’activité basse de la fonction cognitive et d’activité élevée d’une fonction de confusion, le procédé comprenant des étapes de : 8. Method according to one of claims 1 to 7, wherein a second task is configured for its execution by the subject leads to simultaneous states of low activity of the cognitive function and high activity of a confounding function, the method comprising steps of:
e) calcul par le classifieur d’une valeur représentative d’une probabilité (PA) qu’un signal électrique représentatif de l’activité neuronale d’un sujet d’une seconde population de référence exécutant la deuxième tâche, résulte de l’état d’activité prédéterminé de la fonction cognitive du sujet à tester, le signal électrique représentatif de l’activité neuronale du sujet de la seconde population de référence ayant été acquis pendant l’exécution de la deuxième tâche par le sujet de la seconde population de référence ; et e) calculating by the classifier a value representative of a probability (PA) that an electrical signal representative of the neuronal activity of a subject of a second reference population performing the second task results from the state of predetermined activity of the cognitive function of the subject to be tested, the electrical signal representative of the neuronal activity of the subject of the second reference population having been acquired during the execution of the second task by the subject of the second reference population ; and
f) comparaison de la valeur représentative de la probabilité (PA) calculée lors de l’étape e) et d’une valeur seuil fixée (Vs). f) comparing the representative value of the probability (PA) calculated during step e) and a fixed threshold value (Vs).
9. Procédé selon la revendication 8 dans lequel la deuxième tâche est configurée pour que son exécution par un sujet entraîne en alternance au moins deux états d’activités différentes de la fonction cognitive du sujet. 9. The method of claim 8 wherein the second task is configured so that its execution by a subject alternately causes at least two states of different activities of the cognitive function of the subject.
10. Procédé selon l’une des revendications 8 à 9 dans lequel la deuxième tâche est configurée pour que son exécution par un sujet entraîne en alternance un état d’activité basse et un état d’activité élevée de la fonction cognitive du sujet. 10. Method according to one of claims 8 to 9 wherein the second task is configured so that its execution by a subject alternately causes a low activity state and a high activity state of the cognitive function of the subject.
1 1. Procédé selon l’une des revendications 1 à 10, dans lequel la valeur d’un des marqueurs est une valeur représentative d’une puissance spectrale d’un signal électrique, calculée sur au moins une partie du spectre de fréquence du signal.
The method according to one of claims 1 to 10, wherein the value of one of the markers is a value representative of a spectral power of an electrical signal, calculated on at least a part of the frequency spectrum of the signal. .
12. Procédé selon la revendication 1 1 , dans lequel la partie du spectre de fréquence du signal est choisie parmi la gamme a, la gamme 6, la gamme g et la gamme Q. The method of claim 11, wherein the portion of the frequency spectrum of the signal is selected from the range a, range 6, range g and range Q.
13. Procédé selon l’une des revendications 1 à 12, dans lequel les signaux électriques représentatifs de l’activité neuronale du sujet à tester sont acquis au moyen d’électrodes agencées aux positions Fp1 et/ou Cz et/ou Oz et/ou CP5 du système 10-20 de la norme internationale pour le placement des électrodes. 13. Method according to one of claims 1 to 12, wherein the electrical signals representative of the neuronal activity of the test subject are acquired by means of electrodes arranged at the positions Fp1 and / or Cz and / or Oz and / or CP5 of the 10-20 system of the international standard for placement of electrodes.
14. Procédé de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester comprenant : 14. A method for measuring in real time the activity of a cognitive function of a test subject comprising:
une étape de calibration selon un procédé conforme à l’une des revendications 1 à 13, a calibration step according to a method according to one of claims 1 to 13,
une étape d’acquisition de signaux électriques représentatifs de l’activité neuronale du sujet à tester et une étape de mesure en temps réel de l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative de la probabilité (PA) qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive, à l’aide d’un système (1 ) de mesure en temps réel de l’activité de la fonction cognitive du sujet à tester. a step of acquiring electrical signals representative of the neuronal activity of the subject to be tested and a step of measuring in real time the activity of the cognitive function of the subject to be tested by calculating a value representative of the probability (PA) that an electrical signal representative of the neuronal activity of the subject to be tested results from a state of predetermined activity of the cognitive function, using a system (1) for measuring in real time the activity of the cognitive function of the subject to be tested.
15. Système (1 ) de mesure en temps réel de l’activité d’une fonction cognitive d’un sujet à tester comprenant : 15. System (1) for measuring in real time the activity of a cognitive function of a test subject comprising:
- un sous-système d’acquisition (2) de signaux électriques ; a subsystem for acquiring (2) electrical signals;
- une unité de traitement (3) ; a treatment unit (3);
caractérisé en ce que l’unité de traitement (3) est configurée pour : a) acquérir des signaux électriques représentatifs d’une activité neuronale d’un sujet à tester pendant l’exécution d’une première tâche par le sujet à tester, la première tâche étant configurée pour que son
exécution par le sujet entraîne différents états de l’activité de la fonction cognitive du sujet ; characterized in that the processing unit (3) is configured to: a) acquire electrical signals representative of a neuronal activity of a test subject during the execution of a first task by the subject to be tested, the first task being configured so that its Execution by the subject leads to different states of activity of the cognitive function of the subject;
b) calculer les valeurs de marqueurs de l’activité de la fonction cognitive à partir des signaux acquis lors de l’étape a) et de signaux électriques de référence, chaque signal électrique de référence étant représentatif de l’activité neuronale d’un sujet de référence d’une première population de référence pendant l’exécution de la première tâche par le sujet de référence et les valeurs des marqueurs étant représentatives d’un état d’activité de la fonction cognitive du sujet à tester ; b) calculating the marker values of the activity of the cognitive function from the signals acquired during step a) and electrical reference signals, each reference electrical signal being representative of the neuronal activity of a subject referencing a first reference population during the execution of the first task by the reference subject and the values of the markers being representative of a state of activity of the cognitive function of the subject to be tested;
c) générer une pluralité de copies de valeurs de marqueurs calculées lors de l’étape b) et ajouter du bruit aux copies générées ; c) generating a plurality of copies of marker values calculated in step b) and adding noise to the generated copies;
d) construire un classifieur par apprentissage automatique à partir des valeurs de marqueurs calculées à l’étape b) et de copies bruitées calculées lors de l’étape c), le classifieur étant adapté pour mesurer l’activité de la fonction cognitive du sujet à tester en calculant une valeur représentative d’une probabilité (PA) qu’un signal électrique représentatif de l’activité neuronale du sujet à tester résulte d’un état d’activité prédéterminé de la fonction cognitive du sujet à tester. d) constructing a classifier by machine learning from the marker values calculated in step b) and noisy copies calculated in step c), the classifier being adapted to measure the cognitive function of the subject to testing by calculating a value representative of a probability (PA) that an electrical signal representative of the neuronal activity of the test subject results from a state of predetermined activity of the cognitive function of the subject to be tested.
16. Système (1 ) selon la revendication 15 dans lequel la fonction cognitive est la mémoire de travail.
The system (1) of claim 15 wherein the cognitive function is the working memory.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1760970A FR3073727B1 (en) | 2017-11-21 | 2017-11-21 | SYSTEM FOR REAL-TIME MEASUREMENT OF THE ACTIVITY OF A COGNITIVE FUNCTION AND METHOD FOR CALIBRATION OF SUCH A SYSTEM |
| PCT/EP2018/082109 WO2019101807A1 (en) | 2017-11-21 | 2018-11-21 | System for real-time measurement of the activity of a cognitive function and method for calibrating such a system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP3713475A1 true EP3713475A1 (en) | 2020-09-30 |
Family
ID=61258373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP18811176.9A Pending EP3713475A1 (en) | 2017-11-21 | 2018-11-21 | System for real-time measurement of the activity of a cognitive function and method for calibrating such a system |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11950919B2 (en) |
| EP (1) | EP3713475A1 (en) |
| JP (1) | JP7206287B2 (en) |
| FR (1) | FR3073727B1 (en) |
| WO (1) | WO2019101807A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114428555B (en) * | 2022-03-04 | 2024-03-22 | 广州大鱼创福科技有限公司 | Electroencephalogram movement intention recognition method and system based on cortex source signals |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5476137B2 (en) | 2010-01-19 | 2014-04-23 | 株式会社日立製作所 | Human interface based on biological and brain function measurement |
| EP3241489A1 (en) * | 2016-05-04 | 2017-11-08 | Mensia Technologies | Predictive neuromarkers of alzheimer's disease |
-
2017
- 2017-11-21 FR FR1760970A patent/FR3073727B1/en active Active
-
2018
- 2018-11-21 US US16/766,087 patent/US11950919B2/en active Active
- 2018-11-21 EP EP18811176.9A patent/EP3713475A1/en active Pending
- 2018-11-21 WO PCT/EP2018/082109 patent/WO2019101807A1/en unknown
- 2018-11-21 JP JP2020544978A patent/JP7206287B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021504068A (en) | 2021-02-15 |
| WO2019101807A1 (en) | 2019-05-31 |
| US11950919B2 (en) | 2024-04-09 |
| US20210290142A1 (en) | 2021-09-23 |
| FR3073727A1 (en) | 2019-05-24 |
| JP7206287B2 (en) | 2023-01-17 |
| FR3073727B1 (en) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2124736B1 (en) | Electrophysiological analysis system | |
| JP2593625B2 (en) | Biological information automatic identification device | |
| EP2679151B1 (en) | Method for locating brain activity | |
| JP7373555B2 (en) | Quantification of motor function using EEG signals | |
| FR2887425A1 (en) | ELECTROPHYSIOLOGICAL ANALYSIS SYSTEM | |
| EP3586339A1 (en) | Method, device and program for determining at least one cerebral network involved in carrying out a given process | |
| FR3073727B1 (en) | SYSTEM FOR REAL-TIME MEASUREMENT OF THE ACTIVITY OF A COGNITIVE FUNCTION AND METHOD FOR CALIBRATION OF SUCH A SYSTEM | |
| EP3593709A1 (en) | Method for determining the state of stress of an individual | |
| FR3063425A1 (en) | SYSTEM FOR DETERMINING A USER EMOTION | |
| CA3092784A1 (en) | Computing device for detecting heart rhythm disorders | |
| US11610073B2 (en) | Device and method for analyzing the state of a system in a noisy context | |
| CN113143275B (en) | Electroencephalogram fatigue detection method for quantitative evaluation of sample and characteristic quality in combined manner | |
| EP4031005B1 (en) | System for determining an emotion of a user | |
| RU2704547C1 (en) | Method for remote collection and group treatment of psychophysiological reactions with presentation of various information | |
| EP3599988B1 (en) | Biomarker of the colour perception of a mammal subject based on pupil frequency tagging | |
| KR102575596B1 (en) | Electronic device for classifying mental state based on machine learning considering daily stress and method thereof | |
| WO2022064425A1 (en) | Electrodermal apparatus | |
| US20210290145A1 (en) | Information analysis apparatus and information analysis method | |
| EP3841964A1 (en) | Method for determining a function of belonging, intended to be applied for estimating a state of stress of a person. | |
| EP3017754B1 (en) | Method for automated determination of an index representing the sympathovagal activity of a human being or a competition animal | |
| FR3133691A1 (en) | Data labeling process for building a database to configure, validate and/or test an application for monitoring the fatigue level of an individual | |
| EP3017757B1 (en) | Automated method for producing a variation curve of an indicator representing the heart-frequency variability of a human being or a competition animal | |
| EP3998945A1 (en) | Method and system for testing cognition by processing the reaction of a subject to stimuli | |
| CN115399789A (en) | Visual vertigo electroencephalogram signal classification method, device, equipment and medium | |
| JP2023136285A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20200619 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| RAP3 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SORBONNE UNIVERSITE Owner name: ECOLE SUPERIEURE DE PHYSIQUE ET DE CHIMIE INDUSTRIELLES DE LA VILLE DE PARIS Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (CNRS) Owner name: PARIS SCIENCES ET LETTRES |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20240214 |