ES2910273T3 - Sistema de medición y retroalimentación de la actividad cerebral - Google Patents

Sistema de medición y retroalimentación de la actividad cerebral Download PDF

Info

Publication number
ES2910273T3
ES2910273T3 ES16710815T ES16710815T ES2910273T3 ES 2910273 T3 ES2910273 T3 ES 2910273T3 ES 16710815 T ES16710815 T ES 16710815T ES 16710815 T ES16710815 T ES 16710815T ES 2910273 T3 ES2910273 T3 ES 2910273T3
Authority
ES
Spain
Prior art keywords
head
user
eeg
sensors
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16710815T
Other languages
English (en)
Inventor
Tej Tadi
Gangadhar Garipelli
Marcos Daniel Perez
Nicolas Bourdaud
Castaneda Gerardo De Jesus Chavez
Leandre Bolomey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mindmaze SA
Original Assignee
Mindmaze SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mindmaze SA filed Critical Mindmaze SA
Application granted granted Critical
Publication of ES2910273T3 publication Critical patent/ES2910273T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02Details
    • H01L31/0232Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L33/00Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L33/48Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by the semiconductor body packages
    • H01L33/58Optical field-shaping elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/16Details of sensor housings or probes; Details of structural supports for sensors
    • A61B2562/164Details of sensor housings or probes; Details of structural supports for sensors the sensor is mounted in or on a conformable substrate or carrier
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/16Details of sensor housings or probes; Details of structural supports for sensors
    • A61B2562/166Details of sensor housings or probes; Details of structural supports for sensors the sensor is mounted on a specially adapted printed circuit board
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30Input circuits therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6831Straps, bands or harnesses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445Display arrangements, e.g. multiple display units

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Power Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Un conjunto de cabeza (2) que comprende un dispositivo de detección de la actividad eléctrica cerebral (EEG) (3) que comprende sensores de EEG (22) configurados para ser montados en la cabeza de un usuario con el fin de posicionar los sensores de EEG (22) en posiciones seleccionadas de interés sobre el cuero cabelludo del usuario, el dispositivo de detección de EEG que comprende un soporte de sensor (4) y un circuito flexible (6) ensamblado al soporte del sensor, en donde dicho circuito flexible y el soporte están configurados para ser doblados para ajustarse a una forma tridimensional generalmente esférica o elipsoide que se corresponde esencialmente con la morfología general de la mitad superior de una cabeza humana, el soporte del sensor y el circuito flexible que comprende un tronco central (4a, 6a) configurado para extenderse a lo largo de un plano central de la parte superior de la cabeza en una dirección desde el nasión hasta el inión, una rama lateral delantera (4b, 6b) configurada para extenderse a través de una porción frontal de la cabeza del usuario que se extiende lateralmente desde el tronco central, una rama lateral central (4c, 6c) configurada para extenderse a través de una porción superior de la cabeza del usuario esencialmente entre las orejas del usuario, y una rama lateral trasera (4d, 6d) configurada para extenderse a través de una porción trasera de la cabeza del usuario, caracterizado porque el soporte del sensor (4) comprende una pared base (401) que tiene un primer lado para entrar en contacto con la cabeza del usuario y paredes laterales (402) que se extienden a lo largo de los bordes de un lado opuesto de la pared base para formar un canal esencialmente plano en forma de "U" (403) en donde se inserta el circuito flexible (6) y la pared base comprende orificios para el sensor de EEG (404) para recibir un gel que permita establecer contacto eléctrico entre el cuero cabelludo del usuario y los contactos de los sensores de EEG en el circuito flexible.

Description

DESCRIPCIÓN
Sistema de medición y retroalimentación de la actividad cerebral
Campo técnico
La presente invención se refiere a un dispositivo montado en la cabeza para medir o monitorizar la actividad cortical de un usuario, y opcionalmente para generar estímulos y/o proporcionar retroalimentación al usuario. Las aplicaciones para el uso de la invención pueden incluir el juego, el entrenamiento, el aprendizaje de habilidades sensoriomotoras, el diagnóstico o el tratamiento de lesiones o enfermedades neurológicas.
Descripción de la técnica relacionada
La lesión neurológica posterior a un accidente cerebrovascular se manifiesta a menudo como hemiparesia u otra parálisis parcial del cuerpo. Los procedimientos actuales de rehabilitación se basan a menudo en ejercicios realizados por la parte del cuerpo afectada, cuyo movimiento se sigue en tiempo real para proporcionar información al paciente y/o al médico. Los sistemas de actuación mecánica controlados por ordenador se han utilizado para seguir la posición y la fuerza aplicada por una parte del cuerpo, como el brazo de un paciente, a medida que éste ejecuta un patrón de movimiento predeterminado. Para reducir la fatiga del paciente, estos sistemas pueden apoyar al paciente, por ejemplo, mediante actuadores que pueden ayudar durante la ejecución del movimiento. Una desventaja de estos dispositivos es que pueden ser complicados y caros. Además, los sistemas convencionales se basan en el seguimiento de los movimientos reales y, por lo tanto, no están adaptados para el diagnóstico o el tratamiento en las primeras etapas después de un accidente cerebrovascular, cuando el movimiento está deteriorado o muy limitado. Además, pueden suponer un riesgo para la patente si, por ejemplo, la parte del cuerpo se mueve con demasiada rapidez o si parte del pesado equipo de accionamiento cae sobre la patente. Además, no son especialmente portátiles, lo que generalmente prohíbe su uso en casa y en un entorno hospitalario, y también pueden ser difíciles de adaptar a los requerimientos de rehabilitación de un paciente concreto, ya que el rango de movimientos permitidos suele estar limitado por un sistema mecánico.
El documento US 201110054870 describe un sistema basado en la RV para la rehabilitación de un paciente, en donde la posición de una parte del cuerpo de un paciente es seguida por una cámara de movimiento. Se utiliza un software para crear un avatar de movimiento, que se muestra al paciente en una pantalla. En un ejemplo, si un paciente mueve sólo el brazo derecho cuando se prescribe el movimiento de ambos brazos, el avatar puede mostrar también el movimiento del brazo izquierdo.
Un sistema similar se describe en "The design of a real-time, multimodal biofeedback system for stroke patient rehabilitation", Chen, Y y otros, ACM International Conference on Multimedia, 23 de octubre de 2006, en donde se utilizan cámaras infrarrojas para seguir la posición tridimensional de los marcadores en el brazo de un paciente. Mediante una pantalla, en la RV se visualiza la posición del brazo del paciente a medida que se completan patrones de movimiento predefinidos, como por ejemplo el agarre de una imagen visualizada.
Un inconveniente de algunos sistemas basados en la RV es que sólo miden la respuesta de la parte del cuerpo a una tarea instruida. En consecuencia, no miden directamente la actividad cortical en respuesta a un movimiento visualizado de una parte del cuerpo, sino sólo la forma en que un área del cerebro puede controlar una parte del cuerpo. Esto puede dar lugar a que se traten áreas del cerebro distintas de las que están dañadas o, al menos, a que no se pueda controlar directamente una área concreta del cerebro. Además, el paciente no está totalmente inmerso en el entorno de RV, ya que mira a una pantalla de monitor separada para ver el entorno de RV.
En los documentos WO 2011/123059 y US 2013/046206, se describen sistemas basados en la RV con monitorización del cerebro y seguimiento del movimiento, en donde el principal inconveniente de los sistemas conocidos es que no controlan de forma fiable ni precisa la sincronización entre las señales de estimulación o acción y las señales de actividad cerebral, lo que puede dar lugar a un procesamiento y lectura incorrectos o inexactos de las señales de respuesta del cerebro en función de los estímulos o acciones.
En los sistemas convencionales, para sincronizar los datos multimodales (incluidos fisiológicos, conductuales, ambientales, multimedia y táctiles, entre otros) con las fuentes de estimulación (por ejemplo, pantalla, audio o estimulación eléctrica o magnética) se conectan de forma descentralizada varias unidades independientes y dedicadas (es decir, para cada fuente de datos), lo que significa que cada unidad aporta sus propiedades inherentes (latencias y fluctuaciones de los módulos) al sistema. Además, estas unidades pueden tener relojes diferentes, por lo que adquieren datos heterogéneos con formatos diferentes y a distintas velocidades. En particular, no existe un sistema integral que comprenda la visualización estereoscópica de información de realidad virtual y/o aumentada, donde algunos contenidos pueden estar relacionados en cierta medida con la actividad fisiológica/conductual de cualquier usuario relacionado y registrado por el sistema, y/o cualquier información procedente del entorno. El incumplimiento de los requerimientos mencionados puede tener consecuencias negativas en varios casos en diferentes campos de aplicación, como se menciona brevemente en la siguiente lista no exhaustiva de ejemplos:
a) El análisis de las respuestas neuronales a la presentación de estímulos es importante en muchos campos de la neurociencia aplicada. Las soluciones actuales comprometen la calidad de la sincronización, especialmente en la cantidad de fluctuaciones entre la señal neural medida (por ejemplo, EEG) y la señal de simulación (por ejemplo, la presentación de una entrada). Debido a esto, no sólo se reduce la relación señal/ruido de las señales adquiridas, sino que también se limita el análisis a las frecuencias más bajas (normalmente menos de 30 Hz). Una mejor sincronización que garantice una menor fluctuación abriría nuevas posibilidades de exploración de las señales neuronales en las frecuencias más altas, así como una estimulación precisa (por debajo del milisegundo) basada en la temporización (no sólo la estimulación no invasiva, sino también la estimulación invasiva directamente en la cita neuronal y la estimulación subcutánea).
b) Realidad virtual y percepción del cuerpo: Si no se consigue la sincronización entre la captura de los movimientos del usuario y su mapeo en un personaje virtual (avatar) que reproduzca el movimiento en tiempo real, entonces, la retroalimentación visual retardada del movimiento realizado a través de una pantalla o de una pantalla montada en la cabeza dará al usuario la sensación de que no es el autor de dicho movimiento. Esto puede tener importantes consecuencias en la rehabilitación motora, donde se entrena a los pacientes para que recuperen la movilidad, así como para el entrenamiento o la ejecución de operaciones extremadamente peligrosas como desactivar una bomba manipulando un robot a distancia.
c) Interfaces cerebro-ordenador: Si falla la sincronización entre la intención motora (registrada por los datos electroencefalográficos), la actividad muscular y la salida hacia una neuroprótesis controlada por el cerebro y el cuerpo, no es posible vincular las acciones motoras con la activación neuronal, lo que impide conocer los mecanismos neuronales que subyacen a las acciones motoras necesarias para controlar con éxito la neuroprótesis.
d) Exámenes neurológicos: El espectro de los datos electroencefalográficos (EEG) puede alcanzar hasta 100 Hz en el caso de los registros superficiales y no invasivos. En este caso, la resolución temporal es del orden de decenas de milisegundos. Si la sincronización entre el EEG y los eventos que evocan respuestas cerebrales específicas (por ejemplo, la respuesta P300 para una determinada acción que ocurre en entornos virtuales) falla, entonces no es posible relacionar la respuesta cerebral con el evento particular que la provocó.
(e) Entrenamiento de reinervación funcional para utilizar un sofisticado dispositivo de neuroprótesis por parte de un paciente amputado: Un sistema híbrido de interfaz cerebro-ordenador (BCI) acoplado a la FES y a la estimulación subcutánea se puede usar para elaborar y optimizar la reinervación funcional en los músculos residuales alrededor de los muñones u otras partes del cuerpo de un amputado. Para obtener resultados óptimos, es importante contar con una sincronización de alta calidad entre los datos del sensor y los de la estimulación para generar parámetros de estimulación precisos.
En las aplicaciones no médicas, especialmente en las de consumo, como los juegos o el entrenamiento de actividades deportivas, la alta portabilidad y la facilidad de uso de los sistemas de detección y retroalimentación son factores importantes.
Por supuesto, el coste de los dispositivos también es una cuestión importante en las aplicaciones de consumo. En las aplicaciones médicas, el coste del diagnóstico o del tratamiento es importante, por lo que dichos costes se ven afectados no sólo por el coste de los dispositivos utilizados per se, sino también por el coste de utilización de los dispositivos, incluidos: la facilidad de montaje, de manipulación y de obtención e interpretación de los resultados; la reutilización y la esterilización.
La colocación de los electrodos de EEG ha sido ampliamente investigada y uno de los modelos más utilizados es el llamado "sistema de colocación de 10-20 electrodos". Los dispositivos convencionales de detección de electroencefalogramas (EEG) montados en la cabeza que se utilizan en aplicaciones médicas o de investigación suelen constar de un gorro textil con una pluralidad de sensores enganchados en el gorro. El gorro suele estar provista de orificios u otros medios de fijación en las posiciones correspondientes al modelo de colocación de electrodos utilizado. Los electrodos se conectan a un dispositivo de amplificación y cálculo. Las correas de la barbilla se proporcionan para ajustar y posicionar de forma estable y precisa el gorro de manera que los electrodos estén correctamente colocados y presionados contra la cabeza del usuario. La colocación del gorro, la conexión de los electrodos y la correa de la barbilla u otros dispositivos de fijación hacen que estos sistemas convencionales sean poco interesantes para muchas aplicaciones de consumo y tediosos incluso para aplicaciones médicas. Entre los inconvenientes se encuentran los siguientes: no es estético desde el punto de vista visual; sobrecalentamiento del contacto de los electrodos debido a la reducción del flujo de aire; la colocación del gorro consume mucho tiempo debido a los ajustes de la distancia anatómica inión-nasión para garantizar un sistema de 10-20 y una configuración compleja (por ejemplo, la colocación de los electrodos, los contactos, la conectividad, etc.); la necesidad de separar la electrónica y los electrodos del gorro para permitir el lavado de los electrodos.
Los documentos US4967038 y US5038782 describen un gorro de EEG médico que evita las conexiones de cables individuales mediante el montaje y la conexión de los electrodos a un circuito flexible. Otro casco de EEG médico con correas elásticas se describe en el documento EP0541393. Estos tres sistemas anteriores adolecen de muchos de los inconvenientes mencionados anteriormente.
Otros dispositivos de EEG montados en la cabeza se describen en los documentos US2015/0011857, US2013/0172721, WO2013/124366, US2011/0282231, y US2013/0303874, sin embargo, que también sufren al menos algunos de los inconvenientes, incluida la dificultad para ajustarse a diferentes tamaños de cabeza, la colocación no óptima de los electrodos, la dificultad para permitir el lavado del conjunto de electrodos/cabeza para su reutilización, la incomodidad para usarlo y/o los altos costos de fabricación.
Resumen de la invención
Un objetivo de la invención es proporcionar un sistema de medición y retroalimentación de la actividad cerebral que sea conveniente y cómodo de llevar, fiable y simple de usar.
Sería ventajoso proporcionar un sistema que sea fácilmente lavable y esterilizable.
Sería ventajoso proporcionar un sistema que ahorre tiempo de colocación y funcionamiento.
Sería ventajoso proporcionar un sistema de medición y retroalimentación de la actividad cerebral que pueda ser adaptado para uso doméstico, para aplicaciones ambulatorias o para aplicaciones móviles.
Sería ventajoso proporcionar un sistema que sea rentable de fabricar y utilizar.
Sería ventajoso proporcionar un sistema de medición y retroalimentación de la actividad cerebral que proporcione a un usuario un entorno de realidad virtual o aumentada que se pueda usar para mejorar la respuesta del sistema motor cognitivo y sensorial, por ejemplo en el tratamiento de daños cerebrales o en el entrenamiento de habilidades motoras. Sería ventajoso proporcionar un sistema de medición de parámetros fisiológicos y de seguimiento del movimiento (por ejemplo, movimientos de la cabeza y el cuerpo) que garantice una integración precisa en tiempo real de la medición y el control de los estímulos fisiológicos y las señales de respuesta.
Sería ventajoso proporcionar un sistema de medición y retroalimentación de la actividad cerebral que pueda generar una pluralidad de señales de estímulo de diferentes fuentes (por ejemplo, visuales, auditivas, sensoriales del tacto, eléctricas, magnéticas) y/o que pueda medir adicionalmente una pluralidad de señales de respuesta fisiológica de diferentes tipos (por ejemplo, movimiento de una parte del cuerpo, movimiento de los ojos, respuesta galvánica de la piel).
Sería ventajoso reducir las interferencias eléctricas entre los módulos de entrada (mediciones) y los módulos de salida (estímulos) y el funcionamiento del sistema.
Sería ventajoso adaptar fácilmente el sistema a diversos tamaños de cabeza y cuerpo.
Sería ventajoso proporcionar una experiencia de RV más inmersiva.
Sería ventajoso garantizar un contacto eléctrico o electroquímico de alta calidad entre la piel y la punta del electrodo. Sería ventajoso no tener que quitar una red de detección de electrodos cuando un usuario necesita quitarse un conjunto de monitor montado en la cabeza con el fin de mantener los contactos eléctricos o electroquímicos.
Un dispositivo de acuerdo con la invención se define en la reivindicación 1.
De acuerdo con la invención, el soporte del sensor comprende una pared base y paredes laterales que se extienden a lo largo de los bordes de la pared base para formar un canal esencialmente plano en forma de "U" en el que se ensambla el circuito flexible.
De acuerdo con la invención, especialmente para las modalidades que utilizan electrodos húmedos, el circuito flexible comprende orificios adyacentes a los contactos o electrodos del sensor de EEG, en donde los orificios del sensor de EEG se superponen a los orificios del circuito flexible, de manera que se proporciona un pasaje entre una superficie superior y una superficie inferior del soporte del sensor para permitir la inserción de gel conductor desde un lado superior del conjunto de cabeza mientras se coloca en la cabeza del usuario.
Los pasajes también podrían servir, adicional o alternativamente, como pasajes de acceso para insertar electrodos complementarios u otros sensores, por ejemplo para probar o calibrar los electrodos del conjunto de cabeza, o para añadir sensores o dispositivos de estimulación adicionales, como sensores de temperatura y dispositivos NIRS, tDCS, tRNS, tACS. En una modalidad particular, los pasajes se pueden usar ventajosamente para el acceso de emisores y receptores de luz de infrarrojo cercano (NIRS) colocados sobre o en estos pasajes o en otros orificios adicionales. La espectroscopia de infrarrojo cercano puede ser muy útil para medir los niveles de oxígeno en sangre del tejido cerebral, de forma que se pueden registrar conjuntamente los niveles eléctricos y de oxígeno en sangre.
Cada una de las ramas laterales comprende además extensiones que se extienden en dirección de adelante hacia atrás, o de atrás hacia adelante. Los sensores de EEG se colocan en posiciones separadas discretamente a lo largo del tallo, las ramas y las extensiones, por ejemplo en posiciones de acuerdo con el sistema internacional 10-20, o de acuerdo con otros sistemas de posicionamiento de EEG.
De acuerdo con la invención, las ramas laterales centrales comprenden extensiones que se extienden tanto en una dirección de adelante hacia atrás como de atrás hacia adelante, de tal manera que las ramas laterales centrales pueden ser tensadas tanto con respecto a las ramas laterales delanteras como a las ramas laterales traseras.
En una modalidad preferida, un material de sellado flexible se rellena sobre el circuito flexible en el canal con el fin de sellar las pistas del circuito eléctrico y los componentes en el circuito flexible dentro del canal.
En una modalidad preferida, el soporte del sensor es una pieza única.
En una modalidad preferida, el soporte del sensor está moldeado o formado por un material polimérico flexible. En una modalidad preferida, el circuito flexible comprende un sustrato flexible de una sola pieza.
El soporte del sensor del conjunto de cabeza puede comprender además anclajes de tensores configurados para anclar tensores elásticos entre las posiciones del tronco, las ramas y las extensiones del dispositivo de detección del EEG, y también entre el dispositivo de detección del EEG y un soporte del marco del conjunto de cabeza.
Una pared base del soporte del sensor comprende orificios del sensor de EEG para permitir el acceso a los contactos o electrodos del sensor de EEG en el circuito flexible.
En una modalidad ventajosa, cada sensor de EEG en el circuito flexible tiene colocado un amplificador de señal de EEG discreto configurado para amplificar la señal de actividad eléctrica cerebral recogida por el sensor de EEG correspondiente. El sensor de EEG puede comprender, de acuerdo con la variante, sensores pasivos o activos. Los sensores de EEG pueden comprender electrodos en forma de almohadillas de circuito conductoras en una superficie de un sustrato del circuito flexible destinado a orientarse hacia el cuero cabelludo del usuario, o elementos conductores compresibles que sobresalen montados en el sustrato flexible y conectados eléctricamente a un trazado de circuito de un sustrato del circuito flexible. Los sensores de EEG pueden entrar en contacto con el cuero cabelludo a través de un contacto húmedo, por ejemplo, utilizando un gel suave, o una estructura semisólida que actúe de forma similar a un contacto húmedo, o un contacto seco, de acuerdo con la variante. Además, es posible que los sensores de EEG de acuerdo con ciertas variantes no estén en contacto directo con el cuero cabelludo, por ejemplo los sensores basados en luz de infrarrojo cercano o en carga capacitiva.
En ciertas modalidades, el conjunto de cabeza puede comprender una pantalla montada en la cabeza (HMD) fijado a un soporte de marco de montaje en la cabeza y configurado para ser colocado sobre los ojos de un usuario del conjunto de cabeza.
La HMD puede incluir una unidad de visualización con medios de visualización en forma de una pantalla electrónica configurada para ser colocada frente a los ojos del usuario para presentar información visual al usuario y, opcionalmente, otros componentes que proporcionan retroalimentación, estimulación o información al usuario.
La HMD puede albergar varios dispositivos de detección y de captura y transmisión de información, como una o más cámaras, sensores de profundidad, unidad de detección del movimiento de la cabeza, dispositivo de comunicación inalámbrica para interconectar el conjunto de cabeza con dispositivos electrónicos y sistemas informáticos externos de forma inalámbrica, y una fuente de alimentación a bordo para el funcionamiento autónomo del conjunto de cabeza. En ciertas modalidades, el conjunto de cabeza puede incorporar además una pluralidad de sensores configurados para medir diferentes parámetros fisiológicos, seleccionados de un grupo que consiste en sensores de electrocorticograma (ECOG), sensores de movimiento ocular y unidad de detección de movimiento de la cabeza. En ciertas modalidades, el conjunto de cabeza puede incorporar ventajosamente uno o una pluralidad de dispositivos de estimulación cerebral o nerviosa, por ejemplo, dispositivos de estimulación eléctrica funcional (FES), que comprenden, por ejemplo, electrodos configurados para la estimulación transcraneal de corriente alterna (tACS), la estimulación de corriente continua (tDCS), la estimulación magnética transcraneal (TMS) y la estimulación transcraneal ultrasónica.
En ciertas modalidades, el conjunto de cabeza puede incorporar además un sistema de detección de posición/movimiento operable para detectar una posición/movimiento de una parte del cuerpo de un usuario, el sistema de detección de posición/movimiento que comprende una o más cámaras de color y un sensor de profundidad. En esta descripción se describe también un sistema de medición de parámetros fisiológicos que comprende un sistema de control, un sistema de detección y un sistema de estimulación, el sistema de detección comprende uno o más sensores fisiológicos que incluyen al menos sensores de actividad eléctrica cerebral montados en el conjunto de cabeza. El sistema de estimulación puede comprender uno o más dispositivos de estimulación, incluido al menos un sistema de estimulación visual. El sistema de control puede comprender un módulo de adquisición configurado para recibir señales de los sensores del sistema de detección, y un módulo de control configurado para procesar las señales del módulo de adquisición y controlar la generación de señales de estimulación a uno o más dispositivos del sistema de estimulación. El sistema de control comprende además un módulo de reloj en donde el sistema de control está configurado para marcar el tiempo de las señales relacionadas con las señales de estimulación y las señales de los sensores con una señal de reloj del módulo de reloj, que permite que las señales de estimulación se sincronicen con las señales de los sensores por medio de las marcas de tiempo.
Las señales con marcado de tiempo relacionadas con las señales de estimulación pueden ser señales de código de contenido recibidas del sistema de estimulación.
El sistema puede comprender ventajosamente un registro de visualización configurado para recibir contenido de visualización que representa una etapa final antes de que el contenido de visualización se active en la pantalla, el registro de visualización está configurado para generar una señal de código de contenido de visualización para su transmisión al sistema de control, adjuntándose una marca de tiempo a la señal de código de contenido de visualización por el módulo de reloj.
El sistema de detección puede comprender sensores fisiológicos seleccionados entre un grupo que comprende sensores de electromiograma (EMG), sensores de electrooculografía (EOG), sensores de electrocardiograma (ECG), sensores de inercia (INS), sensor de temperatura corporal, sensor galvánico de la piel, sensor de oximetría de pulso y sensores de respiración.
El sistema de estimulación puede comprender dispositivos de estimulación seleccionados entre un grupo que comprende dispositivos de estimulación sonora, dispositivos de estimulación eléctrica funcional (FES) y dispositivos de retroalimentación táctil, dichos dispositivos de estimulación eléctrica funcional están conectados al sistema de control y son operables para estimular eléctricamente una o más partes del cuerpo del usuario. Los dispositivos de estimulación eléctrica funcional se pueden seleccionar de entre un grupo formado por electrodos configurados para estimular nervios o músculos, estimulación transcraneal de corriente alterna (tACS), estimulación de corriente continua (tDCS), estimulación magnética transcraneal (TMS) y estimulación transcraneal ultrasónica.
Cada dispositivo de estimulación puede comprender un sensor integrado cuya señal es registrada por un dispositivo de sincronización.
El sistema puede comprender además, en una modalidad, un sistema robótico para conducir los movimientos de una extremidad del usuario y configurado para proporcionar retroalimentación táctil.
El módulo de reloj puede estar configurado para ser sincronizado con el módulo de reloj de otros sistemas, incluidos ordenadores externos.
El sistema puede comprender ventajosamente una unidad lógica de ejercicio configurada para generar marcos de visualización que incluyen instrucciones y desafíos a la unidad de visualización.
El sistema puede comprender ventajosamente una unidad de gestión de eventos configurada para generar y transmitir parámetros de estimulación a la unidad de estimulación.
Otros objetos y características ventajosas de la invención se desprenden de las reivindicaciones, de la descripción detallada y de los dibujos anexos.
Breve descripción de los dibujos
Para una mejor comprensión de la invención, y para mostrar cómo se pueden llevar a cabo sus modalidades, se hará referencia ahora, a modo de ejemplo, a los dibujos diagramáticos adjuntos en los que:
Las Figuras 1a y 1b son ilustraciones esquemáticas de sistemas de la técnica anterior;
La Figura 2a es un diagrama esquemático que ilustra una modalidad de la invención en la que el contenido de la pantalla que se muestra aun usuario está sincronizado con las señales de respuesta (por ejemplo, señales de actividad cerebral) medidas del usuario;
La Figura 2b es un diagrama esquemático que ilustra una modalidad de la invención en la que el contenido de audio reproducido a un usuario está sincronizado con las señales de respuesta (por ejemplo, señales de actividad cerebral) medidas del usuario;
La Figura 2c es un diagrama esquemático que ilustra una modalidad de la invención en la que una pluralidad de señales aplicadas a un usuario están sincronizadas con señales de respuesta (por ejemplo, señales de actividad cerebral) medidas desde el usuario;
La Figura 2d es un diagrama esquemático que ilustra una modalidad de la invención en la que se incluye un sistema de retroalimentación táctil;
La Figura 2e es un diagrama esquemático que ilustra una modalidad de la invención en la que se aplica una señal de neuroestimulación a un usuario;
La Figura 3a es un diagrama esquemático simplificado de una modalidad de un sistema de medición de parámetros fisiológicos de acuerdo con la invención;
La Figura 3b es un diagrama esquemático detallado de un sistema de control del sistema de la Figura 3a;
La Figura 3c es un diagrama esquemático detallado de un módulo de seguimiento fisiológico del sistema de control de la Figura 3b;
La Figura 4a es una vista en perspectiva de una modalidad de una unidad de visualización montada en la cabeza de un conjunto de cabeza de acuerdo con una modalidad de la invención;
Las Figuras 4b y 4c son vistas en perspectiva frontal y posterior de unos conjunto de cabeza de acuerdo con una modalidad de la invención, montados en la cabeza de un usuario;
La Figura 4d es una vista superior esquemática de un conjunto de cabeza de acuerdo con una modalidad de la invención, montado en la cabeza de un usuario;
Las Figuras 4e y 4f son vistas inferiores y laterales de un dispositivo de detección de EEG de un conjunto de cabeza de acuerdo con una modalidad de la invención;
Las Figuras 4g y 4h son vistas en perspectiva de una parte de un soporte del dispositivo de detección de EEG de acuerdo con una modalidad de la invención;
La Figura 4i es una vista lateral superior de un circuito flexible del dispositivo de detección de EEG de acuerdo con una modalidad de la invención;
La Figura 4j es una vista lateral inferior de un circuito flexible del dispositivo de detección de EEG de acuerdo con una modalidad de la invención;
La Figura 5 es una vista superior que ilustra una disposición de localizaciones de electroencefalografía y su nomenclatura de acuerdo con el sistema internacional 10-20;
La Figura 6 es una vista frontal de una disposición ilustrativa de los sensores de EMG en el cuerpo de un usuario; La Figura 7 es una vista en diagrama de un proceso para entrenar a una víctima de un accidente cerebrovascular utilizando una modalidad del sistema;
La Figura 8 es una vista de las capturas de pantalla que se muestran a un usuario durante el proceso de la Figura 7; La Figura 9 es una vista en perspectiva de una configuración física de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 10 es un diagrama de bloques esquemático de un ejemplo de prueba de estímulo y retroalimentación de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 11 es un diagrama de bloques esquemático de un módulo de adquisición de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 12 es un diagrama que ilustra el marcado de tiempo de una señal por un módulo de reloj de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 13 es un diagrama de flujo de datos que ilustra un método de procesamiento de datos de señales fisiológicas en un sistema de control de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 14 es un diagrama de flujo que ilustra un método de procesamiento de eventos en un sistema de control de un sistema de medición de parámetros fisiológicos de acuerdo con una modalidad ilustrativa de la invención;
La Figura 15a es una vista inferior de una porción del conjunto de cabeza de acuerdo con una modalidad de la invención, mostrando un orificio de electrodo en detalle;
La Figura 15b es una vista superior de la porción del conjunto de cabeza de la Figura 15a;
La Figura 15c es una vista en sección transversal a través de la línea A-A de la Figura 15a;
La Figura 15d es una vista en perspectiva de la sección transversal a través de la línea D-D de la Figura 15b; La Figura 15e es una vista en sección transversal de la porción de conjunto de cabeza de la Figura 15a montada en la cabeza de un usuario.
Descripción detallada de las modalidades ilustrativas
Con referencia a las figuras, un sistema de medición de parámetros fisiológicos y de seguimiento del movimiento de acuerdo con las modalidades de la invención comprende generalmente un sistema de control 12, un sistema de detección 13, y un sistema de estimulación 17.
El sistema de detección comprende uno o más sensores fisiológicos que incluyen al menos sensores de actividad eléctrica cerebral, por ejemplo en forma de sensores de electroencefalograma (EEG) 22. El sistema de detección puede comprender otros sensores fisiológicos seleccionados de entre un grupo que incluye sensores de electromiograma (EMG) 24 conectados a los músculos del cuerpo del usuario, sensores de electrooculografía (EOG) 25 (sensores de movimiento ocular), sensores de electrocardiograma (ECG) 27, sensores de inercia (INS) 29 montados en la cabeza del usuario y, opcionalmente, en otras partes del cuerpo, como las extremidades del usuario, sensor de temperatura corporal, sensor galvánico de la piel. El sistema de detección comprende además sensores de posición y/o movimiento para determinar la posición y/o el movimiento de una parte del cuerpo del usuario. Los sensores de posición y movimiento pueden estar configurados además para medir la posición y/o el movimiento de un objeto en el campo visual del usuario. Cabe señalar que la noción de posición y movimiento está relacionada con la medida en que el movimiento se puede determinar a partir de un cambio de posición. En las modalidades de la invención, los sensores de posición se pueden usar para determinar tanto la posición como el movimiento de un objeto o de una parte del cuerpo, o un sensor de movimiento (como un sensor de inercia) se puede usar para medir el movimiento de una parte del cuerpo o de un objeto sin calcular necesariamente su posición. En una modalidad ventajosa, al menos un sensor de posición/movimiento comprende una cámara 30 y, opcionalmente, un sensor de distancia 28, montados en un conjunto de cabeza 2 configurado para ser llevado por el usuario.
El sistema de estimulación 17 comprende uno o más dispositivos de estimulación que incluyen al menos un sistema de estimulación visual 32. El sistema de estimulación puede comprender otros dispositivos de estimulación seleccionados de entre un grupo que comprende el dispositivo de estimulación sonora 33, y los dispositivos de estimulación eléctrica funcional (FES) 31 conectados al usuario (por ejemplo, para estimular nervios, o músculos, o partes del cerebro del usuario, por ejemplo, para estimular el movimiento de una extremidad), y dispositivos de retroalimentación táctil (por ejemplo, un brazo robótico que un usuario puede agarrar con su mano y que proporciona al usuario retroalimentación táctil). El sistema de estimulación puede comprender además convertidores analógicodigital (ADC) 37a y convertidores digital-analógico (DAC) 37b para la transferencia y el tratamiento de las señales por un módulo de control 51 del sistema de control. Los dispositivos del sistema de estimulación pueden comprender además, ventajosamente, medios para generar señales de código de contenido 39 alimentadas al sistema de control 12 con el fin de marcar el tiempo de dichas señales de código de contenido y sincronizar las señales de estimulación con las señales de medición generadas por los sensores del sistema de detección.
El sistema de control 12 comprende un módulo de reloj 106 y un módulo de adquisición 53 configurados para recibir las señales de código de contenido del sistema de estimulación y las señales de los sensores del sistema de detección y para marcar el tiempo de estas señales con una señal de reloj del módulo de reloj. El sistema de control comprende además un módulo de control que procesa las señales del módulo de adquisición y controla la salida de las señales de estimulación a los dispositivos del sistema de estimulación. El módulo de control comprende además una memoria 55 para almacenar los resultados de las mediciones, los parámetros de control y otra información útil para el funcionamiento del sistema de medición de parámetros fisiológicos y de seguimiento del movimiento.
La Figura 3a es un diagrama esquemático simplificado de un sistema de medición de parámetros fisiológicos y de seguimiento del movimiento 10 de acuerdo con una modalidad de la invención. El sistema 10 comprende un sistema de control 12 que puede estar conectado a una o más de las siguientes unidades: un sistema de detección de parámetros fisiológicos 14; un sistema de detección de posición/movimiento 16; y un conjunto de cabeza 2, todos los cuales se describirán con más detalle a continuación.
El sistema de detección de parámetros fisiológicos 14 comprende uno o más sensores 20 configurados para medir un parámetro fisiológico de un usuario. Los sensores 20 comprenden una pluralidad de sensores de electroencefalograma (EEG) 22 montados en el conjunto de cabeza configurado para medir la actividad cortical de un usuario mediante la medición de la actividad eléctrica en un cerebro de un usuario. Los sensores de EEG miden las fluctuaciones de voltaje resultantes de los flujos de corriente iónica dentro de las neuronas del cerebro.
La Figura 5 muestra una vista superior de una cabeza esquematizada que muestra una nomenclatura conocida de ubicaciones para la disposición de electrodos correspondiente al sistema internacional 10-20, en donde los grupos sombreados comprenden áreas de interés primario en muchos usos de las modalidades de la invención.
Las Figuras 4a, 4b y 4c muestran una disposición de los sensores de electroencefalograma 22 de un conjunto de cabeza de acuerdo con una modalidad de la invención, colocados en la cabeza de un usuario.
El conjunto de cabeza 2 de acuerdo con una modalidad de la invención comprende un soporte de marco de montaje de cabeza 9 configurado para posicionar y mantener el conjunto de cabeza en la cabeza de un usuario, y un dispositivo de detección de actividad cerebral (EEG) 3 unido al soporte de marco de montaje de cabeza.
El conjunto de cabeza puede, en ciertas modalidades, comprender además una pantalla montada en la cabeza 19 fijado al soporte del marco de montaje de la cabeza. La pantalla montada en la cabeza (HMD) 19 está fijado al soporte del marco de montaje de la cabeza y está configurado para ser colocado sobre los ojos de un usuario de los conjunto de cabeza. En algunas modalidades, la HMD 19 se puede fijar de forma removible al soporte del marco de montaje de la cabeza.
La HMD 19 comprende una unidad de visualización 32 montada en un soporte de unidad de visualización 36, la unidad de visualización tiene medios de visualización en forma de una pantalla electrónica configurada para posicionarse frente a los ojos del usuario para presentar información visual al usuario. La HMD puede comprender además otros componentes que proporcionen retroalimentación, estimulación o información al usuario, como una unidad de audio 33 para generar sonido para el usuario. La HMD también puede albergar cómodamente dispositivos electrónicos y de captura de información, como una o más cámaras 30, sensores de profundidad 28, un micrófono y diversos sensores, como una unidad de detección del movimiento de la cabeza 40, 50 o una unidad de detección de la mirada 100. La HMD puede además alojar convenientemente dispositivos de comunicación inalámbricos para la comunicación inalámbrica utilizando uno o más de los diversos protocolos de comunicación inalámbricos conocidos para interconectar el conjunto de cabeza con dispositivos electrónicos externos y sistemas informáticos de forma inalámbrica. La HMD puede albergar además una fuente de alimentación integrada, en forma de batería, para el funcionamiento autónomo del casco. La cabeza también puede estar provista de uno, o una pluralidad de conectores configurados para conectar la cabeza a una fuente de alimentación externa y a sistemas informáticos o sensores. Más adelante en esta especificación se describirán los distintos sensores y componentes de la HMD.
El dispositivo de detección de EEG 3 está fijado al soporte del marco de montaje de la cabeza y está configurado para ser colocado sobre la cabeza de un usuario del conjunto de cabeza de modo que los electrodos se sitúen sobre el cuero cabelludo del usuario en las posiciones seleccionadas de interés para la aplicación en cuestión (por ejemplo, para aplicaciones médicas, para aplicaciones de juegos, para aplicaciones de formación, para aplicaciones de investigación, para aplicaciones de monitorización del cerebro). En una modalidad preferida, las posiciones de los electrodos corresponden a las posiciones conocidas del sistema internacional 10-20, aunque se pueden usar otros sistemas y perfeccionarse las posiciones de los electrodos en función de los resultados de la investigación sobre la actividad eléctrica cerebral.
El dispositivo de detección de EEG 3 comprende un soporte de sensor de EEG 4 y un circuito flexible 6 montado en el soporte de sensor de EEG 4.
El circuito flexible 6 está configurado para captar y procesar las señales eléctricas de la actividad cerebral y comprende un sustrato de circuito flexible 601 sobre o en donde están montados los sensores de EEG 22 y un circuito de procesamiento de señales de EEG 8 que comprende componentes electrónicos 8a y trazados de circuito 8b que interconectan los componentes y los sensores y que interconectan el circuito flexible con la fuente de alimentación y los circuitos externos a través de una porción de conexión 41 en un extremo del circuito flexible. En una modalidad ventajosa, el circuito flexible comprende un conector eléctrico enchufable para conectarlo a un conector eléctrico enchufable complementario en la HMD. Un conector enchufable 41 es especialmente ventajoso porque permite al usuario poder quitarse la HMD sin tener que retirar el conjunto de cabezales de electrodos. Esto permite que los contactos eléctricos o electroquímicos de los electrodos se mantengan en su posición y no se alteren en el cuero cabelludo del usuario.
El sustrato de circuito flexible se puede proporcionar ventajosamente en forma de un sustrato de polímero semirrígido delgado y flexible per sé bien conocido en la técnica de la tecnología de circuitos impresos flexibles. La pluralidad de sensores de EEG 22 comprende electrodos colocados espacialmente en el circuito flexible en las posiciones de medición de la actividad eléctrica cerebral deseada, y junto a cada electrodo se coloca un amplificador de señal de EEG discreto 8b. La proximidad del amplificador al electrodo permite amplificar localmente la actividad eléctrica cerebral captada por el electrodo antes de transmitirla a un circuito de análisis de señales, con el fin de mejorar la relación señal/ruido de las señales de actividad cerebral medidas.
El circuito flexible 6 y el soporte 4 del dispositivo de detección de EEG están configurados de tal manera que cuando se doblan para ajustarse a una forma tridimensional generalmente esférica o elipsoidal que corresponde esencialmente a la morfología general de la mitad superior de una cabeza humana, los sensores de EEG se colocan con precisión en las posiciones deseadas de acuerdo con la colocación elegida del sensor. La precisión y la facilidad de colocación de los electrodos de forma correcta y rápida se debe, entre otras cosas, a la forma ventajosa del dispositivo sensor 3 y, en particular, a la forma del soporte 4 y del circuito flexible 6 montado en el soporte.
En una modalidad ventajosa, el soporte comprende un tronco central 4a configurado para extenderse a lo largo de un plano central de la parte superior de la cabeza en una dirección desde la nariz hasta el centro de la parte posterior de la cabeza del usuario, y que se extiende lateralmente desde el tronco central 4a, una rama lateral delantera 4b configurada para extenderse a través de una porción frontal de la cabeza del usuario, una rama lateral central 4c configurada para extenderse a través de una porción superior de la cabeza del usuario esencialmente entre las orejas del usuario, y una rama lateral trasera 4d configurada para extenderse a través de una porción posterior de la cabeza del usuario. Cada una de las ramas laterales comprende además extensiones, incluidas extensiones traseras y laterales 4b1, 4b2, extensiones delanteras y traseras 4c1, 4c2 y extensiones delanteras y laterales 4d1, 4d2 respectivamente. El sustrato flexible 6 tiene una forma que se ajusta al soporte y, por lo tanto, comprende un tallo central 6a, una rama lateral delantera 6b, una rama lateral central 6c y una rama lateral trasera 6d que están montadas en porciones correspondientes del soporte. Cada una de las ramas laterales comprende además extensiones, incluidas extensiones traseras y laterales 6b1, 6b2, extensiones delanteras y traseras 6c1, 6c2 y extensiones delanteras y laterales 6d1, 6d2 respectivamente que están montadas en extensiones correspondientes del soporte 4. Los sensores de EEG se colocan en posiciones discretas y espaciadas a lo largo del tallo, las ramas y las extensiones. Como se ilustra mejor en la Figura 4d, el tallo, las ramas y las extensiones están configuradas en este ejemplo para colocar los sensores de EEG en determinadas posiciones de interés de acuerdo con el sistema internacional 10-20.
El soporte 4 puede estar hecho ventajosamente de un material elástico o semirrígido flexible (en contraposición a un tejido textil utilizado en los gorros convencionales) que sea lo suficientemente flexible como para doblarse fuera de su plano principal para ajustarse a la forma redondeada de la cabeza de un usuario, pero que tenga suficiente rigidez de autoapoyo junto con el sustrato de circuito flexible montado en él, en una dirección ortogonal al plano de flexión, para mantener generalmente su forma entre las ramas. En efecto, el sustrato de circuito flexible delgado es muy flexible en la dirección B perpendicular a la superficie mayor del sustrato pero relativamente rígido contra la flexión en una dirección P paralela a la superficie mayor. En modalidades ventajosas, el soporte se puede moldear en una sola pieza, por ejemplo, moldeado por inyección, moldeado por prensa o moldeado por soplado, a partir de un material polimérico elástico como un polímero de caucho de silicona o similar. El soporte comprende una pared base 401 y paredes laterales 402 que se extienden a lo largo de los bordes de la pared base para formar un canal esencialmente plano en forma de "U" 403 en donde se inserta el circuito flexible 6. Un material de sellado flexible 5, por ejemplo una resina de encapsulamiento elástica polimérica o un material de encapsulamiento a base de caucho de silicona, se puede rellenar sobre el circuito flexible en el canal, formando así una pared superior del soporte, con el fin de sellar las pistas y los componentes del circuito eléctrico en el circuito flexible. Esto permite ventajosamente que el dispositivo sensor de EEG 3 del conjunto de cabeza 2 sea resistente a los líquidos y sea fácilmente lavable y, si es necesario, esterilizable, sin dañar los circuitos electrónicos contenidos en él. Una pared superior flexible de un material similar o diferente al de la pared inferior también podría montarse sobre el circuito flexible y pegarse, soldarse o sujetarse con medios mecánicos a la pared base.
Como se observa mejor en las Figuras 4g, 4h y 15a-15e, la pared base 401 del soporte comprende ventajosamente orificios 404 del sensor de EEG para permitir el acceso a los contactos o electrodos 221 del sensor de EEG en el sustrato del circuito flexible. En una modalidad, los orificios del sensor de EEG pueden comprender una primera porción 404a por debajo del electrodo 221 y una segunda porción 404b que está alineada con un orificio 602 del circuito flexible o se superpone a él, de manera que se forma un pasaje que se extiende desde la superficie inferior 406 a la superficie superior 506 del soporte 4. El pasaje proporciona acceso desde la parte superior del dispositivo de detección al cuero cabelludo del usuario para inyectar un gel conductor 37 desde la parte superior del dispositivo cuando el dispositivo de detección está montado en el cuero cabelludo del usuario. El gel conductor 37 proporciona un buen contacto eléctrico entre la piel del usuario y los electrodos 221. Alternativamente, un electrodo a base de gel o de agua puede ser rehumedecido inyectando agua en los pasillos sin quitar el dispositivo de detección. Como se ilustra mejor en la Figura 15e, el gel 37 se puede inyectar en la segunda porción 404a del orificio y extenderse lateralmente para llenar la segunda porción 404b del orificio 404 para entrar en contacto con el electrodo 221 dispuesto en un lado inferior del circuito flexible.
Los pasajes también podrían servir, adicional o alternativamente, como pasajes de acceso para insertar electrodos complementarios u otros sensores, por ejemplo para probar o calibrar los electrodos del conjunto de cabeza, o para añadir sensores o dispositivos de estimulación adicionales, como sensores de temperatura y dispositivos NIRS, tDCS, tRNS, tACS. En una modalidad particular, los pasajes se pueden usar ventajosamente para el acceso de emisores y receptores de luz de infrarrojo cercano (NIRS) colocados sobre o en estos pasajes o en otros orificios adicionales. La espectroscopia de infrarrojo cercano puede ser muy útil para medir los niveles de oxígeno en sangre del tejido cerebral. De esta manera se pueden co-registrar los niveles eléctricos y de oxígeno en sangre.
El soporte 4 comprende además anclajes tensores 405, por ejemplo en forma de orificios de fijación, que permiten anclar bridas elásticas 7 u otras formas de tensores elásticos entre las posiciones del tronco, las ramas y las extensiones del dispositivo sensor de EEG, y también entre el dispositivo sensor de EEG y el soporte 9 del marco de montaje de la cabeza. El sustrato del circuito flexible 601 puede estar provisto de los correspondientes orificios tensores 605 alineados con los orificios 405 del soporte. Los tensores elásticos 7 aplican una cierta tensión en la estructura para garantizar que las ramas y extensiones del dispositivo sensor 3 se ajusten a la forma de la cabeza del usuario y, además, para garantizar la posición correcta de los diversos sensores de EEG 22 en el cuero cabelludo del usuario. En particular, la disposición de tronco y rama del dispositivo sensor asegura la posición correcta de los electrodos delanteros, traseros y centrales, por lo que los tensores elásticos permiten un cierto ajuste en la distancia entre el centro y el frente, y entre el centro y la parte trasera, para ajustarse a diferentes tamaños de cabeza. El dispositivo de detección se puede proporcionar en varios tamaños, por lo que con tres tamaños diferentes se puede cubrir más del 95 % de la gama de tamaños de cabeza humana adulta con una colocación precisa de los electrodos. Para los niños se pueden proporcionar tamaños adicionales. Los diferentes tamaños pueden referirse esencialmente a la longitud del tallo central y de la rama lateral central. Para cubrir la mayoría de los rangos anatómicos, los anclajes 405 se colocan en los extremos de cada rama y extensión, y también en posiciones opuestas dentro de las ramas para anclar el extremo opuesto de un tensor elástico 7 conectado a una extremidad, como se ilustra mejor, por ejemplo, en las Figuras 4b, 4c y 4d. La longitud de cada uno de los tensores elásticos puede ser preajustada durante el montaje del dispositivo de detección y a partir de entonces permanecer con longitudes fijas, pero en algunas modalidades algunos o todos los tensores elásticos pueden ser de longitudes ajustables. Los tensores elásticos se pueden proporcionar en diferentes formas, por ejemplo en forma de una banda elástica de base textil.
En una modalidad alternativa, algunos o todos los tensores 7 podrían estar formados integralmente con el soporte 4 como una sola pieza. Por ejemplo, algunos o todos los tensores podrían ser moldeados con el soporte 4, por ejemplo en el mismo material polimérico flexible que el soporte. En dicha modalidad, los tensores elásticos pueden estar provistos de una pared más fina o de un ancho menor, o de secciones serpenteantes para aumentar la elasticidad de los tensores elásticos en comparación con la parte de soporte. Asimismo, durante el proceso de conformación de la parte de soporte integral 4 y de los tensores 7, se pueden incorporar diferentes materiales en diferentes porciones, por ejemplo mediante sobremoldeo o soldando inserciones de otro material en el material de soporte principal inyectado o moldeado, o por ejemplo mediante moldeo por inyección de doble componente.
El soporte del marco de montaje de la cabeza 9 puede tener varias configuraciones, en donde su función es soportar el dispositivo de detección bajo una cierta tensión elástica (como se ha descrito anteriormente) y, en función de la modalidad, soportar aún más la pantalla montada en la cabeza. En una modalidad, como se ilustra esquemáticamente, el soporte de la estructura de montaje en la cabeza 9 puede comprender una banda para la cabeza con un diámetro ajustable para permitir un ajuste correcto alrededor de la cabeza del usuario, la banda para la cabeza es rígida contra la flexión al menos en la dirección de tracción de los tensores elásticos 7. Otras estructuras de montaje en la cabeza, incluidas estructuras similares a un cas
del alcance de esta invención.
En una modalidad ventajosa, el electrodo de EEG puede tener la forma de una almohadilla de circuito conductora en una superficie del sustrato de circuito flexible destinada a orientarse hacia el cuero cabelludo del usuario. Un gel conductor líquido o autoportante o un gel sólido se puede colocar en el electrodo para que entre en contacto con el cuero cabelludo del usuario. En otra modalidad, el puente conductor entre el contacto eléctrico en el sustrato de circuito flexible y el cuero cabelludo del usuario puede ser proporcionado por una cuenta conductora, un perno u otro elemento que sobresale para un electrodo seco o húmedo en contacto con el cuero cabelludo del usuario. El electrodo de EEG también puede tener la forma de un elemento conductor compresible que sobresale, por ejemplo, un contacto de chapa marcado y formado, montado en el sustrato flexible y conectado eléctricamente a un trazado de circuito del sustrato por engarce, soldadura u otras técnicas conocidas per sé para conectar componentes electrónicos en una placa de circuito flexible.
Los sensores de EEG de acuerdo con las variantes de la invención pueden incluir sensores que no requieren ningún contacto eléctrico directo con el cuero cabelludo (o la piel) y, en particular, pueden incluir sensores basados en (i) luz de infrarrojo cercano y (ii) carga capacitiva, de acuerdo con los principios de medición conocidos per sé que se comentan a continuación:
(i) La espectroscopia de infrarrojo cercano (NIRS) utiliza el hecho de que la transmisión y absorción de la luz N|R en los tejidos del cuerpo humano contiene información sobre los cambios de concentración de la hemoglobina. Cuando se activa una área específica del cerebro, el volumen sanguíneo localizado en esa área cambia rápidamente. Las imágenes ópticas pueden medir la localización y la actividad de regiones específicas del cerebro mediante la monitorización continua de los niveles de hemoglobina en sangre a través de la determinación de los coeficientes de absorción óptica. La NIRS se puede usar para la evaluación no invasiva de la función cerebral a través del cráneo intacto en sujetos humanos mediante la detección de cambios en las concentraciones de hemoglobina en sangre asociados a la actividad neuronal.
(ii) Los electrodos capacitivos se basan en la medición de los desplazamientos de carga en la superficie del cuerpo debido a la actividad cerebral. Este cambio de carga puede afectar a su vez a la carga de una placa metálica cercana al cuerpo. Como esta placa eléctrica no requiere un contacto eléctrico directo con el cuerpo, se puede aislar de este. Por lo tanto, la medición del EEG capacitivo (cEEG) también es posible a través del cabello. A esta placa se conecta preferentemente un amplificador de señal supersensible que amplifica la señal cerebral y la procesa.
El uno o más sensores 20 puede comprender adicionalmente sensores 24 configurados para medir el movimiento de un músculo de un usuario, por ejemplo, midiendo el potencial eléctrico generado por las células musculares cuando éstas se activan eléctrica o neurológicamente. Un sensor adecuado es un sensor de electromiograma EMG. Los sensores 24 se pueden montar en varias partes del cuerpo de un usuario para capturar una acción muscular concreta. Por ejemplo, para una tarea de alcance, pueden estar dispuestos en una o más partes de la mano, el brazo y el pecho. La Figura 6 muestra una disposición ilustrativa de sensores, en donde los sensores 24 están dispuestos en el cuerpo en: un primer grupo 24a en el músculo bíceps; un segundo grupo 24b en el músculo tríceps; y un tercer grupo 24c en el músculo pectoral.
Los uno o más sensores 20 pueden comprender adicionalmente sensores 25 configurados para medir el potencial eléctrico debido al movimiento del ojo. Un sensor adecuado es un sensor de electrooculografía (EOG). En una modalidad, como se muestra en la Figura 4a, hay cuatro sensores que pueden estar dispuestos en proximidad operativa al ojo del usuario. Sin embargo, se apreciará que se puede usar otro número de sensores. En una modalidad ventajosa, los sensores 25 están convenientemente conectados a un soporte de unidad de visualización 36 del conjunto de cabeza, por ejemplo, están fijados o incrustados en este.
Los sensores 20 pueden comprender adicional o alternativamente uno o más de los siguientes sensores: electrocorticograma (ECOG); electrocardiograma (ECG); sensor de respuesta galvánica de la piel (GSR); sensor de respiración; sensor de oximetría de pulso; sensor de temperatura; chips de registro de una unidad y de varias unidades para medir la respuesta neuronal utilizando un sistema de microelectrodos. Se apreciará que los sensores 20 pueden ser invasivos (por ejemplo, ECOG, chips de registro de una unidad y de varias unidades) o no invasivos (por ejemplo, EEG). El sensor de oximetría de pulso se utiliza para monitorizar la saturación de oxígeno de un paciente, normalmente se coloca en la punta del dedo y se puede usar para monitorizar el estado del paciente. Esta señal es particularmente útil en el caso de los pacientes sometidos a cuidados intensivos o a cuidados especiales tras la recuperación de problemas cardiovasculares. Se apreciará que para una modalidad con sensores de ECG y/o de respiración, la información proporcionada por los sensores puede ser procesada para permitir el seguimiento del progreso de un usuario. La información también puede ser procesada en combinación con la información del EEG para predecir eventos correspondientes a un estado del usuario, como el movimiento de una parte del cuerpo del usuario antes de que se produzca el movimiento. Se apreciará que para una modalidad con sensores GSR, la información proporcionada por los sensores puede ser procesada para dar una indicación de un estado emocional de un usuario. Por ejemplo, la información se puede usar durante el ejemplo adjunto para medir el nivel de motivación de un usuario durante la tarea.
En una modalidad ventajosa, el conjunto de cabeza 2 del sistema de detección de parámetros fisiológicos 14 comprende un transceptor inalámbrico que es operable para transferir datos de forma inalámbrica a dispositivos externos, por ejemplo a un transceptor inalámbrico del módulo de procesamiento de parámetros fisiológicos 54, o a un transceptor inalámbrico del módulo de seguimiento del esqueleto 52.
El sistema de detección de posición/movimiento 16 comprende uno o más sensores 26 adecuados para seguir el movimiento de la estructura esquelética o de un usuario, o de una parte de la estructura esquelética como un brazo. En una modalidad ventajosa, los sensores comprenden una o más cámaras que pueden estar separadas del usuario o unidas al conjunto de cabeza 2. Al menos una, o cada una de las cámaras, está dispuesta para capturar el movimiento de un usuario y pasar el flujo de imágenes a un módulo de seguimiento del esqueleto que se describirá con más detalle a continuación.
En una modalidad, los sensores 26 pueden incluir tres cámaras: dos cámaras de color 28a, 28b y una cámara con sensor de profundidad 30. Sin embargo, en otra modalidad puede haber una cámara de color 28 y un sensor de profundidad 30. Una cámara de color adecuada puede tener, por ejemplo, una resolución VGA de 640x480 píxeles y una frecuencia de imagen de al menos 60 imágenes por segundo. El campo visual de la cámara también puede coincidir con el de la pantalla montada en la cabeza, como se explicará con más detalle a continuación. Una cámara de profundidad adecuada puede tener una resolución de QQ VGA 160x120 píxeles.
En una modalidad ventajosa, dos cámaras de color 28a y 28b y el sensor de profundidad 30 están dispuestos en un soporte de unidad de visualización 36 del conjunto de cabeza 2 (que se describe con más detalle a continuación), como se muestra en la Figura 4. Las cámaras de color 28a, 28b pueden estar dispuestas sobre los ojos del usuario de forma que estén separadas, por ejemplo, por la distancia entre los ejes de las pupilas de un usuario, que es de unos 65 mm. Esta disposición permite captar una visualización estereoscópica y, por tanto, recrearla en la RV, como se explicará con más detalle a continuación. El sensor de profundidad 30 puede estar dispuesto entre las dos cámaras 28a, 28b.
Con referencia a las Figuras 4a-4c, el conjunto de cabeza 2 comprende una unidad de visualización 32 que tiene un medio de visualización 34a, 34b para transmitir información visual al usuario. En una modalidad ventajosa, los medios de visualización 34 comprenden una pantalla de visualización de cabeza, que está montado en un lado interior de la unidad de visualización frente a los ojos del usuario, de modo que éste no necesita ajustar su mirada para ver la información que se muestra. La pantalla de cabeza puede incluir una pantalla no transparente, como una pantalla LCD o LED, para proporcionar un entorno de RV completo. También puede tener una pantalla transparente, de modo que el usuario pueda ver a través de ella mientras se muestran los datos. Este tipo de monitor es ventajoso para proporcionar una realidad aumentada. Puede haber dos monitores 34a, 34b, uno para cada ojo, o puede haber un solo monitor que pueda ser visto por ambos ojos. La unidad de visualización puede comprender una pantalla 2D o 3D que puede ser una pantalla estereoscópica. Aunque el sistema se describe en el presente documento como una imagen de RV para el usuario, se apreciará que en otras modalidades la imagen puede ser una imagen de realidad aumentada, una imagen de realidad mixta o una imagen de vídeo.
En los ejemplos de las Figuras 4a-4c, la unidad de visualización 32 está montada en un soporte de unidad de visualización 36. El soporte de la unidad de visualización 36 sostiene la unidad de visualización 32 en el usuario y proporciona un soporte extraíble para el conjunto de cabeza 2 en el usuario. En el ejemplo, el soporte de la unidad de visualización 36 se extiende alrededor de los ojos del usuario, como se ve mejor en las Figuras 4a a 4c.
En una modalidad alternativa, la unidad de visualización 32 puede estar separada del conjunto de cabeza. Por ejemplo, el medio de visualización 34 comprende una pantalla o una pantalla de televisión o un proyector y una pantalla de proyección.
En una modalidad ventajosa, el sistema 10 comprende una unidad de detección del movimiento de la cabeza 40. La unidad de detección del movimiento de la cabeza comprende una unidad de detección del movimiento 42 para seguir el movimiento de la cabeza de un usuario cuando éste mueve su cabeza durante el funcionamiento del sistema 10. La unidad de detección del movimiento de la cabeza 42 está configurada para proporcionar datos en relación con la ubicación de las coordenadas X, Y, Z y el balanceo, cabeceo y guiñado de la cabeza de un usuario. Estos datos se proporcionan a un módulo de seguimiento de la cabeza, que se aborda con más detalle a continuación, y procesa los datos de manera que la unidad de visualización 32 puede actualizar las imágenes de RV mostradas de acuerdo con el movimiento de la cabeza. Por ejemplo, cuando el usuario mueve la cabeza para mirar hacia la izquierda, las imágenes de RV mostradas se mueven hacia la izquierda. Aunque esta operación no es esencial, resulta ventajosa para proporcionar un entorno de RV más envolvente. Para mantener el realismo, se ha comprobado que la latencia máxima del bucle definido por el movimiento detectado por la unidad de detección del movimiento de la cabeza 42 y la imagen de RV actualizada es de 20 ms.
En una modalidad ventajosa, la unidad de detección del movimiento de la cabeza 42 comprende un medio de detección de la aceleración 44, como un acelerómetro configurado para medir la aceleración de la cabeza. En una modalidad ventajosa, el sensor 44 comprende tres acelerómetros en el plano, donde cada acelerómetro en el plano está dispuesto para ser sensible a la aceleración a lo largo de una placa perpendicular separada. De este modo, el sensor puede medir la aceleración en tres dimensiones. Sin embargo, se apreciará que son posibles otras disposiciones de los acelerómetros, por ejemplo, sólo puede haber dos acelerómetros en el plano dispuestos para ser sensibles a la aceleración a lo largo de placas perpendiculares separadas, de modo que se mide la aceleración bidimensional. Los acelerómetros adecuados incluyen variantes piezoeléctricas, piezoresistivas y capacitivas.
En una modalidad ventajosa, la unidad de detección del movimiento de la cabeza 42 comprende además un medio de detección de la orientación de la cabeza 47 que es operable para proporcionar datos en relación con la orientación de la cabeza. Ejemplos de medios de detección de la orientación de la cabeza adecuados incluyen un giroscopio y un magnetómetro 48 que están configurados para medir la orientación de la cabeza de un usuario.
En una modalidad ventajosa, la unidad de detección del movimiento de la cabeza 42 puede estar dispuesta en el conjunto de cabeza 2. Por ejemplo, la unidad de detección de movimiento 42 puede estar alojada en un soporte de la unidad de detección de movimiento 50 que está integrada al soporte de la unidad de visualización 36 o unida a este.
En una modalidad ventajosa, el sistema 10 puede comprender una unidad de detección de la mirada 100. La unidad de detección de la mirada 100 comprende uno o más sensores de la mirada 102 para detectar la dirección de la mirada del usuario. En una modalidad ventajosa, el sensor de la mirada 102 comprende una o más cámaras dispuestas en proximidad operativa a uno o ambos ojos del usuario. La o cada cámara 102 puede estar configurada para rastrear la mirada utilizando el centro de la pupila y la luz infrarroja/de infrarrojo cercano no colimada para crear reflejos corneales (RC). Sin embargo, se apreciará que se pueden usar otros medios de detección, por ejemplo: electrooculograma (EOG); o seguimiento de la mirada. Los datos de la unidad de detección del movimiento 42 se proporcionan a un módulo de seguimiento ocular, que se aborda con más detalle a continuación, y procesa los datos de manera que la unidad de visualización 32 puede actualizar las imágenes de RV mostradas de acuerdo con el movimiento del ojo. Por ejemplo, cuando el usuario mueve sus ojos para mirar a la izquierda, las imágenes de RV mostradas se desplazan hacia la izquierda. Aunque esta operación no es esencial, resulta ventajosa para proporcionar un entorno de RV más envolvente. Para mantener el realismo, se ha comprobado que la latencia máxima del bucle definido por el movimiento detectado por la unidad de detección de la mirada 100 y la imagen de RV actualizada es de unos 50 ms, sin embargo en una modalidad ventajosa es de 20 ms o menos.
En una modalidad ventajosa, la unidad de detección de la mirada 100 puede estar dispuesta en el conjunto de cabeza 2. Por ejemplo, la unidad de detección de la mirada 42 puede estar unida al soporte de la unidad de visualización 36, como se muestra en la Figura 4a.
El sistema de control 12 procesa los datos del sistema de detección de parámetros fisiológicos 14 y del sistema de detección de posición/movimiento 16, y opcionalmente uno o ambos de la unidad de detección del movimiento de la cabeza 40 y el módulo de detección de la mirada 100, junto con los datos de entrada del operador suministrados a una unidad de entrada, para generar unos datos de RV (o RA) que se muestran en la unidad de visualización 32. Para llevar a cabo dicha función, en la modalidad ventajosa mostrada en las Figuras 1 y 2, el sistema de control 12 puede estar organizado en una serie de módulos, tales como: un módulo de seguimiento del esqueleto 52; un módulo de procesamiento de parámetros fisiológicos 54; un módulo de generación de RV 58; un módulo de seguimiento de la cabeza 58; y un módulo de seguimiento de la mirada 104 que se describen a continuación.
El módulo de seguimiento del esqueleto 52 procesa los datos sensoriales del sistema de detección de posición/movimiento 16 para obtener datos de posición/movimiento de las articulaciones para el módulo de generación de RV 58. En una modalidad ventajosa, el módulo de seguimiento del esqueleto 52, mostrado en la Figura 3b, comprende una unidad de calibración 60, una unidad de fusión de datos 62 y una unidad de seguimiento del esqueleto 64, cuyas operaciones se analizarán a continuación.
Los sensores 26 del sistema de detección de posición/movimiento 16 proporcionan datos en relación con la posición/movimiento de una parte o la totalidad de una estructura esquelética de un usuario a la unidad de fusión de datos 62. Los datos también pueden incluir información relacionada con el entorno, por ejemplo, el tamaño y la disposición de la habitación en la que se encuentra el usuario. En la modalidad ilustrativa, en la que los sensores 26 comprenden un sensor de profundidad 30 y unas cámaras de color 28a, 28b, los datos comprenden información de píxeles de color y profundidad.
La unidad de fusión de datos 62 utiliza estos datos, y la unidad de calibración 62, para generar una nube de puntos 3D que comprende un modelo de puntos 3D de una superficie externa del usuario y del entorno. La unidad de calibración 62 comprende datos en relación con los parámetros de calibración de los sensores 26 y un algoritmo de correspondencia de datos. Por ejemplo, los parámetros de calibración pueden comprender datos relacionados con la deformación de los elementos ópticos de las cámaras, la calibración del color y el descarte e interpolación de los píxeles calientes y oscuros. El algoritmo de correspondencia de datos se puede operar para hacer coincidir la imagen en color de las cámaras 28a y 28b para estimar un mapa de profundidad que está referenciado con respecto a un mapa de profundidad generado a partir del sensor de profundidad 30. La nube de puntos 3D generada comprende una matriz de píxeles con una profundidad estimada tal que se puede representar en un sistema de coordenadas tridimensional. El color de los píxeles también se estima y se conserva.
La unidad de fusión de datos 62 suministra datos que comprenden la información de la nube de puntos 3D, con la información del color de los píxeles, junto con imágenes en color a la unidad de seguimiento del esqueleto 64. La unidad de seguimiento del esqueleto 64 procesa estos datos para calcular la posición del esqueleto del usuario y, a partir de ahí, estimar las posiciones de las articulaciones en 3D. En una modalidad ventajosa, para lograr esta operación, la unidad de seguimiento del esqueleto se organiza en varios bloques operativos: 1) segmentar al usuario del entorno utilizando los datos de la nube de puntos 3D y las imágenes en color; 2) detectar la cabeza y las partes del cuerpo del usuario a partir de las imágenes en color; 3) recuperar un modelo de esqueleto del usuario a partir de los datos de la nube de puntos 3D; 4) utilizar algoritmos de cinemática inversa junto con el modelo de esqueleto para mejorar la estimación de la posición conjunta. La unidad de seguimiento del esqueleto 64 envía los datos de posición de las articulaciones al módulo de generación de RV 58, que se analiza con más detalle a continuación. Los datos de posición de las articulaciones se marcan con el tiempo mediante un módulo de reloj, de manera que el movimiento de una parte del cuerpo se puede calcular procesando los datos de posición de las articulaciones durante un período de tiempo determinado.
Con referencia a las Figuras 2 y 3, el módulo de procesamiento de parámetros fisiológicos 54 procesa los datos sensoriales del sistema de detección de parámetros fisiológicos 14 para proporcionar datos que son utilizados por el módulo de generación de RV 58. Por ejemplo, los datos procesados pueden comprender información en relación con la intención de un usuario de mover una parte del cuerpo en particular o un estado cognitivo de un usuario (por ejemplo, el estado cognitivo en respuesta a mover una parte del cuerpo en particular o el movimiento percibido de una parte del cuerpo). Los datos procesados se pueden usar para seguir el progreso de un usuario, por ejemplo, como parte de un programa de rehabilitación neural y/o para proporcionar información en tiempo real al usuario para mejorar el tratamiento adaptativo y la recuperación, como se explica con más detalle a continuación.
La actividad cortical se mide y registra mientras el usuario realiza movimientos específicos de la parte del cuerpo/movimientos previstos, que se instruyen en el entorno de RV. En los ejemplos adjuntos se ofrecen ejemplos de dichos movimientos. Para medir la actividad cortical, los sensores 22 del EEG se utilizan para extraer los potenciales eléctricos relacionados con los eventos y las perturbaciones espectrales relacionadas con los eventos, en respuesta a la ejecución y/o la observación de los movimientos/movimientos previstos que se pueden ver en la RV como un avatar del usuario.
Por ejemplo, las siguientes bandas proporcionan datos en relación con diversas operaciones: los potenciales corticales lentos (SCP), que están en el rango de 0,1 - 1,5 Hz y se producen en las áreas motoras del cerebro, proporcionan datos en relación con la preparación para el movimiento; el ritmo mu (8 -12 Hz) en las áreas sensoriales motoras del cerebro proporcionan datos en relación con la ejecución, la observación y la imaginación del movimiento de una parte del cuerpo; las oscilaciones beta (13 -30 Hz) proporcionan datos en relación con la integración sensorial motora y la preparación del movimiento. Se apreciará que se pueden monitorizar uno o más de los potenciales anteriores u otros potenciales adecuados. La monitorización de dichos potenciales durante un período de tiempo se puede usar para proporcionar información en relación con la recuperación o con un usuario.
Con referencia a la Figura 5, se proporciona una disposición ilustrativa de sensores 20 que es adecuada para medir eventos neurales mientras un usuario realiza diversas tareas sensoriomotoras y/o cognitivas. Los sensores 22 del EEG se pueden disponer ventajosamente en grupos para medir áreas motoras en una o más áreas del cerebro, por ejemplo: central (C1-C6, Cz); fronto-central (FC1-FC4, FCZ); centro-parental (CP3, CP4, CPZ). En una modalidad ventajosa, los sensores de EEG contralaterales C1, C2, C3 y C4 están dispuestos para medir los movimientos del brazo y la mano. Los sensores central, fronto-central y centro-parental se pueden usar para medir los SCP. Los sensores de EOG 25 se pueden proporcionar además para medir las señales de los movimientos oculares. De este modo, las señales de movimiento de los ojos pueden aislarse y tenerse en cuenta al procesar las señales de otros grupos para evitar la contaminación.
En una modalidad ventajosa, el módulo de procesamiento de parámetros fisiológicos 54 comprende una unidad de re­ referencia 66 que está dispuesta para recibir datos del sistema de detección de parámetros fisiológicos 14 y está configurada para procesar los datos para reducir el efecto del ruido externo en los datos. Por ejemplo, puede procesar los datos de uno o más de los sensores de EEG, EOG o EMG. La unidad de re-referenciación 66 puede comprender uno o más bloques de re-referenciación: ejemplos de bloques de re-referenciación adecuados incluyen la referencia media del electrodo mastoideo, y la referencia media común. En la modalidad del ejemplo, se aplica una referencia media del electrodo mastoideo a algunos de los sensores y una referencia media común a todos los sensores. Sin embargo, se apreciará que se pueden aplicar otras técnicas adecuadas de filtrado de ruido a varios sensores y grupos de sensores.
En una modalidad ventajosa, los datos procesados de la unidad de re-referenciación 66 se pueden enviar a una unidad de filtrado 68, sin embargo en una modalidad sin unidad de re-referenciación, los datos del sistema de detección de parámetros fisiológicos 14 son alimentados directamente a la unidad de filtrado 68. La unidad de filtrado 68 puede comprender un módulo de filtrado espectral 70 que está configurado para filtrar en paso de banda los datos de uno o más de los sensores de EEG, EOG y EMG. Con respecto a los sensores de EEG, los datos pueden ser filtrados de paso de banda para uno o más de los sensores para obtener la actividad en una o más de las bandas: SCP, theta, alfa, beta, gamma, mu, gamma y delta. En una modalidad ventajosa, las bandas SCP (0,1 -1 ,5 Hz), alfa y mu (8 -12 Hz), beta (18 - 30 Hz) delta (1,5 - 3,5 Hz), theta ( 3 - 8 Hz), gamma baja (30 - 100 Hz) y gamma alta (por encima de 100 Hz) se filtran para todos los sensores de EEG. Con respecto a los sensores de EMG y EOG se puede aplicar un filtrado espectral similar pero con diferentes parámetros de filtrado espectral. Por ejemplo, para los sensores de EMG se puede aplicar un filtrado espectral de paso alto de 30 Hz.
La unidad de filtrado 66 puede comprender adicional o alternativamente un módulo de filtrado espacial 72. En una modalidad ventajosa, el módulo de filtrado espacial 72 se aplica a los datos de la banda SCP de los sensores de EEG (que se extrae mediante el módulo de filtrado espectral 70), aunque también se puede aplicar a otras bandas extraídas. Una forma adecuada de filtrado espacial es el suavizado espacial, que comprende el promedio ponderado de los electrodos vecinos para reducir la variabilidad espacial de los datos. El filtrado espacial también se puede aplicar a los datos de los sensores de EOG y EMG.
La unidad de filtrado 66 puede incluir, de forma alternativa o adicional, un módulo de filtrado laplaciano 74, que generalmente es para los datos de los sensores de EEG, pero que también se puede aplicar a los datos de los sensores de EOG y EMG. En una modalidad ventajosa, el módulo de filtrado laplaciano 72 se aplica a cada uno de los datos de las bandas Alfa, Mu y Beta de los sensores de EEG que son extraídos por el módulo de filtrado espectral 70, aunque se puede aplicar a otras bandas. El módulo de filtrado laplaciano 72 está configurado para reducir aún más el ruido y aumentar la resolución espacial de los datos.
El sistema de detección de parámetros fisiológicos 14 puede comprender además una unidad de marcado de eventos 76. En una modalidad ventajosa, cuando el sistema de detección de parámetros fisiológicos 14 comprende una unidad de re-referenciación y/o una unidad de filtrado 68, la unidad de marcado de eventos 76 está dispuesta para recibir datos procesados de cualquiera de estas unidades o de ambas cuando están dispuestas en serie (como se muestra en la modalidad de la Figura 3c). La unidad de marcado de eventos 76 se puede operar para utilizar los creadores basados en eventos determinados por una unidad lógica de ejercicio (que se describirá con más detalle a continuación) para extraer segmentos de datos sensoriales. Por ejemplo, cuando se envía al usuario una instrucción específica para mover una parte del cuerpo desde la unidad lógica de ejercicio, se extrae un segmento de datos dentro de un marco de tiempo adecuado que sigue a la instrucción. En el ejemplo de un sensor de EEG, los datos pueden comprender datos de un área cortical particular para medir así la respuesta del usuario a la instrucción. Por ejemplo, se puede enviar una instrucción al usuario para que mueva su brazo y el segmento de datos extraído puede comprender la actividad cortical durante un período de 2 segundos después de la instrucción. Otros ejemplos de eventos pueden comprender: potenciales en respuesta a estímulos infrecuentes en los electrodos centrales y centro-parietales; potenciales relacionados con el movimiento que son SCP centrales (potenciales corticales lentos) que aparecen ligeramente antes del movimiento y; potenciales relacionados con el error.
En una modalidad ventajosa, la unidad de marcado de eventos está configurada para realizar una o más de las siguientes operaciones: extraer segmentos de datos de potenciales relacionados con eventos a partir de los datos de la banda SCP; extraer segmentos de datos de marcadores de perturbación espectral relacionados con eventos a partir de los datos de las bandas alfa y beta o mu o gamma; extraer segmentos de datos espontáneos a partir de los datos de la banda beta. En lo anterior, los segmentos de datos espontáneos corresponden a segmentos de EEG sin una marcar de evento, y son diferentes a los potenciales relacionados con el evento, cuya extracción depende de la ubicación temporal del marcador de evento.
El sistema de detección de parámetros fisiológicos 14 puede comprender además una unidad de detección de artefactos 78 que está dispuesta para recibir los segmentos de datos extraídos de la unidad de marcado de eventos 76 y se puede operar para procesar aún más los segmentos de datos para identificar artefactos específicos en los segmentos. Por ejemplo, los artefactos identificados pueden comprender 1) artefactos de movimiento: el efecto de un movimiento del usuario en un sensor/grupo de sensores 2) artefactos de interferencia eléctrica: interferencia, típicamente de 50 Hz de la red eléctrica 3) artefactos de movimiento ocular: tales artefactos pueden ser identificados por los sensores de EOG 25 del sistema de detección de parámetros fisiológicos 14. En una modalidad ventajosa, la unidad de detección de artefactos 78 comprende un módulo detector de artefactos 80 que está configurado para detectar artefactos específicos en los segmentos de datos. Por ejemplo, un segmento erróneo que requiere ser borrado o una porción del segmento que es errónea y requiere ser eliminada del segmento. La modalidad ventajosa comprende además un módulo de eliminación de artefactos 82, que está dispuesto para recibir los segmentos de datos de la unidad de marcado de eventos 76 y el artefacto detectado del módulo detector de artefactos 80 para realizar una operación de eliminación del artefacto detectado del segmento de datos. Dicha operación puede comprender un método estadístico, como un modelo de regresión, que es capaz de eliminar el artefacto del segmento de datos sin que se pierda el segmento. El segmento de datos resultante se envía al módulo de generación de RV 58, en donde se puede procesar para proporcionar información de RV en tiempo real, que se puede basar en la intención de movimiento, como se explicará a continuación. Los datos también se pueden almacenar para permitir el seguimiento del progreso de un usuario.
En las modalidades que comprenden otros sensores, como el ECG, los sensores de respiración y los sensores GSR, se apreciará que los datos de dichos sensores pueden ser procesados utilizando una o más de las técnicas mencionadas anteriormente cuando sea aplicable, por ejemplo: reducción de ruido; filtrado; marcado de eventos para extraer segmentos de datos relacionados con eventos; eliminación de artefactos de los segmentos de datos extraídos.
El módulo de seguimiento de la cabeza 56 está configurado para procesar los datos de la unidad de detección del movimiento de la cabeza 40 para determinar el grado de movimiento de la cabeza. Los datos procesados se envían al módulo de generación de Rv 58, en donde se procesan para proporcionar retroalimentación de RV en tiempo real para recrear el movimiento de la cabeza asociado en el entorno de RV. Por ejemplo, cuando el usuario mueve la cabeza para mirar hacia la izquierda, las imágenes de RV mostradas se mueven hacia la izquierda.
El módulo de seguimiento de la mirada 104 está configurado para procesar los datos de la unidad de detección de la mirada 100 para determinar un cambio en la mirada del usuario. Los datos procesados se envían al módulo de generación de RV 58, en donde se procesan para proporcionar retroalimentación de RV en tiempo real para recrear el cambio de mirada en el entorno de RV.
Refiriéndose ahora a la Figura 3b, el módulo de generación de RV 58 está dispuesto para recibir datos del módulo de seguimiento del esqueleto 52, el módulo de procesamiento de parámetros fisiológicos 54, y opcionalmente uno o ambos del módulo de seguimiento de la cabeza 56 y el módulo de seguimiento de la mirada 104, y está configurado para procesar estos datos de tal manera que se contextualicen con respecto a un estado de una unidad lógica de ejercicio (que se discute con más detalle a continuación), y para generar un entorno de RV basado en los datos procesados.
El módulo de generación de RV puede estar organizado en varias unidades: una unidad lógica de ejercicio 84; una unidad de entorno de RV 86; una unidad de modelo corporal 88; una unidad de generación de postura de avatar 90; una unidad de integración de contenido de RV 92; una unidad de generación de audio 94; y una unidad de generación de retroalimentación 96.
La unidad lógica de ejercicio 84 es operable para interactuar con una entrada de usuario, como un teclado u otro dispositivo de entrada adecuado. La entrada del usuario se puede usar para seleccionar una tarea particular de una biblioteca de tareas y/o establecer parámetros particulares para una tarea.
Una unidad de modelo corporal 88 puede estar dispuesta para recibir datos de la unidad lógica de ejercicio 84 en relación con la parte particular del cuerpo requerida para la tarea seleccionada. Por ejemplo, puede tratarse de toda la estructura ósea del cuerpo o de una parte concreta del mismo, como un brazo. A continuación, la unidad de modelo corporal 88 recupera un modelo de la parte del cuerpo requerida, por ejemplo, de una biblioteca de partes del cuerpo. El modelo puede incluir un modelo de nube de puntos en 3D u otro modelo adecuado.
La unidad de generación de postura del avatar 90 está configurada para generar un avatar basado en el modelo de la parte del cuerpo a partir del modelo de la parte del cuerpo 88.
En una modalidad ventajosa, la unidad de entorno de RV 86 está dispuesta para recibir datos de la unidad lógica de ejercicio 84 en relación con los objetos particulares que se requieren para la tarea seleccionada. Por ejemplo, los objetos pueden incluir un disco o una pelota que se mostrará al usuario.
La unidad de integración de contenidos de RV puede estar preparada para recibir los datos del avatar desde la unidad de generación de postura del avatar 90 y los datos del entorno desde la unidad de entorno de RV 86 e integrar los datos en un entorno de RV. Los datos integrados se transfieren posteriormente a la unidad lógica de ejercicio 58 y también se envían a la unidad de generación de retroalimentación 86. La unidad de generación de retroalimentación 86 está dispuesta para emitir los datos del entorno de RV a los medios de visualización 34 del equipo de cabeza 2.
Durante la operación de la tarea, la unidad lógica de ejercicio 84 recibe datos que comprenden información sobre la posición de las articulaciones desde el módulo de seguimiento del esqueleto 64, datos que comprenden segmentos de datos fisiológicos desde el módulo de procesamiento de parámetros fisiológicos 54, datos desde la unidad de modelo corporal 88 y datos desde la unidad de entorno de RV 86. La unidad lógica de ejercicio 84 se puede operar para procesar los datos de información de posición de las articulaciones que a su vez se envían a la unidad de generación de postura del avatar 90 para su posterior procesamiento y posterior visualización. Opcionalmente, la unidad lógica de ejercicio 84 puede manipular los datos de manera que se puedan usar para proporcionar retroalimentación de RV al usuario. Ejemplos de dicho procesamiento y manipulación incluyen la amplificación del movimiento erróneo; la autocorrección del movimiento para inducir un refuerzo positivo; el mapeo de los movimientos de una extremidad a otra.
A medida que el usuario se mueve, las interacciones y/o colisiones con los objetos, definidos por la unidad de entorno de RV 86, en el entorno de RV, son detectados por la unidad lógica de ejercicio 84 para actualizar aún más la retroalimentación proporcionada al usuario.
La unidad lógica de ejercicio 84 también puede proporcionar retroalimentación de audio. Por ejemplo, una unidad de generación de audio (no mostrada) puede recibir datos de audio de la unidad lógica de ejercicio, que posteriormente son procesados por la unidad de retroalimentación 94 y emitidos al usuario, por ejemplo, por los auriculares (no mostrados) montados en el conjunto de cabeza 2. Los datos de audio se pueden sincronizar con la información visual, por ejemplo, para indicar mejor las colisiones con los objetos del entorno de RV y proporcionar un entorno de RV más inmersivo.
En una modalidad ventajosa, la unidad lógica de ejercicio 84 puede enviar instrucciones al sistema de detección de parámetros fisiológicos 14 para proporcionar información al usuario a través de uno o más de los sensores 20 del sistema de detección de parámetros fisiológicos 14. Por ejemplo, los sensores de EEG 22 y/o EMG 24 pueden recibir un potencial eléctrico que se transfiere al usuario. Con referencia al ejemplo adjunto, dicha retroalimentación puede ser proporcionada durante la tarea. Por ejemplo, en la etapa 5, en la que no hay movimiento del brazo, se puede enviar un potencial eléctrico a los sensores EMG 24 dispuestos en el brazo y/o a los sensores de EEG para intentar estimular al usuario para que mueva su brazo. En otro ejemplo, dicha retroalimentación puede ser proporcionada antes de iniciar la tarea, por ejemplo, un período de tiempo determinado antes de la tarea, para intentar mejorar un estado de memoria y aprendizaje.
En una modalidad ventajosa, el sistema de control comprende un módulo de reloj 106. El módulo de reloj se utiliza para asignar información de tiempo a los datos y a varias etapas de entrada y salida y de procesamiento. La información de tiempo se puede usar para asegurar que los datos se procesan correctamente, por ejemplo, los datos de varios sensores se combinan en los intervalos de tiempo correctos. Esto es particularmente ventajoso para asegurar el procesamiento preciso en tiempo real de las entradas multimodales de los diversos sensores y para generar una retroalimentación en tiempo real para el usuario. El módulo de reloj puede estar configurado para interactuar con uno o más módulos del sistema de control para marcar el tiempo de los datos. Por ejemplo: el módulo de reloj 106 interactúa con el módulo de seguimiento del esqueleto 52 para marcar el tiempo de los datos recibidos del sistema de detección de posición/movimiento 16; el módulo de reloj 106 interactúa con el módulo de procesamiento de parámetros fisiológicos 54 para marcar el tiempo de los datos recibidos del sistema de detección de parámetros fisiológicos 14; el módulo de reloj 106 interactúa con el módulo de seguimiento de la cabeza 58 para marcar el tiempo de los datos recibidos de la unidad de detección del movimiento de la cabeza 40; el módulo de reloj 106 interactúa con el módulo de seguimiento de la mirada 104 para marcar el tiempo de los datos recibidos de la unidad de detección de la mirada 100. Varias operaciones en el módulo de generación de RV 58 también pueden interactuar con el módulo de reloj para marcar el tiempo de los datos, por ejemplo, la salida de datos a los medios de visualización 34.
A diferencia de los complejos sistemas convencionales que conectan varios dispositivos independientes entre sí, en las modalidades de la presente invención la sincronización se produce en la fuente de generación de datos (tanto para la detección como para la estimulación), garantizando así una sincronización precisa con una latencia mínima y, lo que es más importante, con una baja fluctuación. Por ejemplo, para una pantalla estereoscópica montada en la cabeza con una frecuencia de refresco de 60 Hz, el retardo sería tan pequeño como 16,7 ms. Esto no es posible actualmente con una combinación de sistemas convencionales autónomos o independientes. Una característica importante de la presente invención es que es capaz de combinar un conjunto heterogéneo de datos, sincronizándolos en una arquitectura de sistema dedicada en el origen para garantizar la retroalimentación multimodal con latencias mínimas. El dispositivo portátil y compacto montado en la cabeza permite registrar fácilmente los datos fisiológicos del cerebro y otras partes del cuerpo.
Concepto de sincronización:
Latencia o retardo (T): Es la diferencia de tiempo entre el momento de la acción real del usuario o el estado del cerebro y el momento de su correspondiente retroalimentación/estimulación. Es una constante positiva en una aplicación típica. La fluctuación (AT) es la desviación de prueba a prueba en la Latencia o Retraso. Para las aplicaciones que requieren, por ejemplo, RV o RA inmersivas, tanto la latencia T como la fluctuación AT deben minimizarse al máximo. Mientras que en las aplicaciones de interfaz cerebro-ordenador y fuera de línea, la latencia T puede verse comprometida, pero la fluctuación AT debe ser lo más pequeña posible.
Con referencia a las Figuras 1a y 1b, se ilustran esquemáticamente dos arquitecturas de sistemas convencionales de la técnica anterior. En ellas, la sincronización puede garantizarse hasta cierto punto, pero la fluctuación (AT) no se minimiza completamente.
Diseño-I (Figura 1a):
En este diseño, el momento en que se suministra una señal visual al usuario se registra directamente en el ordenador mientras se adquiere la señal de EEG que se adquiere a través de una conexión USB o una conexión en serie. Es decir, el ordenador asume que el momento en que se registra con lo adquirido del cerebro del usuario es el momento en donde se muestra una señal al usuario. Hay que tener en cuenta que hay retrasos y saltos inherentes en este diseño. En primer lugar, debido a la conectividad del puerto USB/serie al ordenador, el registro de la muestra en el ordenador tiene una latencia variable no nula. En segundo lugar, en el momento en que la orden de visualización se libera del ordenador, sufre varios retrasos debido al controlador de visualización subyacente, la unidad de procesamiento gráfico y la propagación de la señal, que tampoco es una constante. Por lo tanto, estos dos tipos de retrasos se suman y comprometen la alineación de los potenciales evocados visualmente.
Diseño-II (Figura 1b):
Para evitar el problema anterior, se sabe que se utiliza un fotodiodo para medir el indicio y sincronizar su señal directamente con un amplificador de EEG. En este diseño, normalmente se coloca un fotodiodo en la pantalla para detectar una luz. Normalmente, se presenta una señal al usuario al mismo tiempo que se ilumina una parte de la pantalla en la que está colocado el fotodiodo. De este modo, el momento en que se presenta la señal se registra con el fotodiodo y se suministra al amplificador de EEG. De este modo, el EEG y la información de la señal visual se sincronizan directamente en la fuente. Este procedimiento es preciso para los pruebas de evocación visual, sin embargo tiene una serie de inconvenientes:
□ el número de señales visuales que puede codificar está limitado al número de fotodiodos. Una estimulación visual típica basada en la realidad virtual tendría un gran número de eventos que registrar junto con las señales fisiológicas de forma precisa.
□ el uso de fotodiodos en una micropantalla típica (por ejemplo, de 1 pulgada cuadrada, con una densidad de píxeles de 800x600) de una pantalla montada en la cabeza sería difícil y, lo que es peor, reduciría la usabilidad. Hay que tener en cuenta también que para que el fotodiodo funcione, se debe suministrar mucha luz al diodo, lo que supone una limitación.
□ los inconvenientes anteriores se complican aún más cuando se necesita una pluralidad de estímulos (como auditivos, magnéticos, eléctricos y mecánicos) para sincronizarlos con una pluralidad de datos de sensores (como EEG, EMG, ECG, cámara de vídeo, sensores de inercia, sensor de respiración, oximetría de pulso, potenciales galvánicos de la piel, etc.).
En las modalidades de la presente invención, los inconvenientes anteriores se abordan para proporcionar un sistema que es preciso y escalable a muchos sensores diferentes y muchos estímulos diferentes. Esto se consigue empleando un sistema de reloj centralizado que suministra una información de marca de tiempo y las muestras de cada sensor se registran en relación con esta marca de tiempo.
En una modalidad, cada dispositivo de estimulación puede estar equipado ventajosamente con un sensor integrado cuya señal es registrada por un dispositivo de sincronización. De esta manera, un controlador puede interpretar una pluralidad de datos de los sensores y los datos de estimulación pueden ser interpretados con precisión para el funcionamiento posterior del sistema.
En una modalidad, para reducir la cantidad de datos a sincronizar de cada sensor, en lugar de utilizar un sensor real, se puede leer el código de contenido de vídeo de un registro de pantalla.
Con referencia a la Figura 2a, se ilustra esquemáticamente una modalidad de la invención en la que el contenido alimentado a una micro-pantalla en los conjunto de cabeza está sincronizado con señales de actividad cerebral (señales EEG).
Por lo general, el contenido visual/vídeo que se genera en el sistema de control se envía primero a un registro de pantalla (una etapa final antes de que el contenido de vídeo se active en la pantalla). En nuestro diseño, junto con el contenido de vídeo, el controlador envía un código a una parte del registro (digamos N bits) correspondiente a uno o más píxeles (no demasiados píxeles, para no molestar al usuario; se recomiendan los píxeles de las esquinas en la micro pantalla, ya que pueden no ser visibles para el usuario). El código será definido por el controlador describiendo cuál es exactamente el contenido de la pantalla. Ahora, mediante una señal de reloj, el módulo de adquisición lee el código del registro de la pantalla, le añade una marca de tiempo y lo envía a los siguientes módulos. Al mismo tiempo, las muestras de EEG también se muestrean y se adjuntan con la misma marca de tiempo. De este modo, cuando las muestras de EEG y las muestras de código de vídeo llegan al controlador, estas muestras pueden interpretarse de forma adecuada.
Hay que tener en cuenta que todos estos módulos se emplean en un sistema integrado que tiene un único reloj. Esto hace que la latencia y la fluctuación sean mínimas.
El mismo principio se puede usar para una estimulación de audio, como se ilustra en la Figura 2b. La estimulación de audio puede ser muestreada por los datos enviados a un convertidor de digital a analógico (CDA).
De forma más general, como se ilustra en la Figura 2c, cualquier tipo de estimulación (como las estimulaciones transcraneales (tACS), tDCS, TMS, etc.) podría dirigirse al módulo de adquisición utilizando un sensor y un convertidor de analógico a digital (CAD). También se puede conseguir enviando las señales digitales suministradas al CDA, como se ilustra en el caso de la estimulación de audio. Los datos plurales de un EEG, los datos de una cámara de vídeo o cualquier otro sensor (por ejemplo, INS: sensor de inercia) se sincronizan en el mismo marco. Hay que tener en cuenta que cada sensor o estimulación se puede muestrear con una frecuencia de muestreo diferente. Un punto importante es que las muestras de datos del sensor o de la estimulación se adjuntan con la marca de tiempo definida con el módulo de reloj.
Ejemplo 1: Funcionamiento del sistema (10) en una tarea ilustrativa de "alcanzar un objeto".
En este ejemplo particular, se muestra un objeto 110, como un disco 3D, en un entorno de RV 112 a un usuario. El usuario recibe instrucciones para alcanzar el objeto utilizando un brazo virtual 114 del usuario. En el primer caso, el brazo 114 se anima basándose en los datos del módulo de seguimiento del esqueleto 16 derivados de los sensores del sistema de detección de posición/movimiento 16. En el segundo caso, cuando el módulo de seguimiento del esqueleto 16 detecta un movimiento insignificante o nulo, el movimiento se basa en los datos relativos al movimiento previsto del módulo de procesamiento de parámetros fisiológicos 52 detectados por el sistema de detección de parámetros fisiológicos 14, y en particular los datos pueden proceder de los sensores de EEG 22 y/o de los sensores EMG 24.
Las Figuras 7 y 8a - 8g describen el proceso con más detalle. En la etapa 1 de la Figura 7, un usuario, como por ejemplo un paciente o un operador, interactúa con una entrada de usuario de la unidad lógica de ejercicio 84 del módulo de generación de RV 58 para seleccionar una tarea de una biblioteca de tareas que puede estar almacenada. En este ejemplo se selecciona una tarea de "alcanzar un objeto". En esta fase, el usuario puede recibir los resultados 108 de tareas similares anteriores, como se muestra en la Figura 8a. Estos resultados se pueden proporcionar para ayudar en la selección de la tarea particular o la dificultad de la tarea. El usuario también puede introducir parámetros para ajustar la dificultad de la tarea, por ejemplo, basándose en el nivel de éxito de la tarea anterior.
En la etapa 2, la unidad lógica de ejercicio 84 inicializa la tarea. Esto comprende los pasos de la unidad lógica de ejercicio 84 que interactúa con la unidad de entorno de RV 86 para recuperar las piezas (como el disco 110) asociadas con la tarea seleccionada de una biblioteca de piezas. La unidad lógica de ejercicio 84 también interactúa con la unidad de modelo corporal 88 para recuperar, de una biblioteca de partes del cuerpo, un modelo de nube de puntos 3D de la parte del cuerpo (en este ejemplo un solo brazo 114) asociado con el ejercicio. Los datos de la parte del cuerpo se suministran entonces a la unidad de generación de la postura del avatar 90 para que se pueda crear un avatar de la parte del cuerpo 114. La unidad de integración de contenidos de RV 92 recibe datos en relación con el avatar de la parte del cuerpo y las partes en el entorno de RV y los integra en un entorno de RV. A continuación, estos datos son recibidos por la unidad lógica de ejercicio 84 y se transmiten a los medios de visualización 34 del conjunto de cabeza 2, como se muestra en la Figura 8b. La trayectoria objetivo 118 para que el usuario mueva una mano 115 del brazo 114 se indica, por ejemplo, coloreándola en azul.
En la etapa 3, la unidad lógica de ejercicio 84 interroga al módulo de seguimiento del esqueleto 16 para determinar si se ha producido algún movimiento del brazo. El movimiento del brazo se deriva de los sensores del sistema de detección de posición/movimiento 16 que lleva el usuario. Si se ha producido una cantidad insignificante de movimiento (por ejemplo, una cantidad inferior a una cantidad predeterminada, que puede ser determinada por el estado del usuario y la ubicación del movimiento) o ningún movimiento, entonces se ejecuta la etapa 5, de lo contrario se ejecuta la etapa 4.
En la etapa 4, la unidad lógica de ejercicio 84 procesa los datos de movimiento para determinar si el movimiento es correcto. Si el usuario ha movido su mano 115 en la dirección correcta, por ejemplo, hacia el objeto 110, a lo largo de la trayectoria objetivo 118, entonces se ejecuta la etapa 4a y el color de la trayectoria objetivo puede cambiar, por ejemplo, se colorea de verde, como se muestra en la Figura 8c. Si el usuario mueve su mano 115 en una dirección incorrecta, por ejemplo, alejándose del objeto 110, entonces se ejecuta la etapa 4b y el color de la trayectoria objetivo puede cambiar, por ejemplo, se colorea de rojo, como se muestra en la Figura 8d.
Después de las etapas 4a y 4b se ejecuta la etapa 4c, en la que la unidad lógica de ejercicio 84 determina si la mano 115 ha alcanzado el objeto 110. Si la mano ha alcanzado el objeto, como se muestra en la Figura 8e, se ejecuta la etapa 6, de lo contrario se vuelve a ejecutar la etapa 3.
En la etapa 5, la unidad lógica de ejercicio 84 interroga al módulo de procesamiento de parámetros fisiológicos 52 para determinar si se ha producido alguna actividad fisiológica. La actividad fisiológica se deriva de los sensores del módulo 14 del sistema de detección de parámetros fisiológicos que lleva el usuario, por ejemplo los sensores de EEG y/o EMG. Los sensores de EEG y EMG pueden combinarse para mejorar las tasas de detección, y en ausencia de una señal de un tipo de sensor se puede usar una señal del otro tipo de sensor. Si dicha actividad existe, entonces puede ser procesada por la unidad lógica de ejercicio 84 y correlacionada con un movimiento de la mano 115. Por ejemplo, una característica del segmento de datos relacionados con el evento del módulo de procesamiento de parámetros fisiológicos 52, como la intensidad o la duración de parte de la señal, se puede usar para calcular una magnitud del movimiento de la mano 115. Posteriormente se ejecuta la etapa 6.
En la etapa 6a, si el usuario ha completado con éxito la tarea, entonces, para proporcionar retroalimentación 116 al usuario, se puede calcular una puntuación de recompensa para el usuario, que puede basarse en la precisión de la trayectoria calculada del movimiento de la mano 115. La Figura 8e muestra la información 116 que se muestra al usuario. También se pueden actualizar los resultados de la tarea anterior.
A continuación, se ejecuta la etapa 6b, en la que se puede usar una intensidad de marcador de los sensores del módulo 14 del sistema de detección de parámetros fisiológicos, por ejemplo los sensores de EEG y EMG, para proporcionar retroalimentación 118. La Figura 8f muestra un ejemplo de la retroalimentación 120 mostrada al usuario, en la que la intensidad del marcador se muestra como un porcentaje de un valor máximo. También se pueden actualizar los resultados de la tarea anterior. A continuación, se ejecuta la etapa 7, en la que se termina la tarea.
Como etapa 8, si no hay datos proporcionados por ninguno de los sensores del módulo 14 del sistema de detección de parámetros fisiológicos o de los sensores del sistema de detección de posición/movimiento 16 en un período de tiempo determinado, se produce un tiempo de espera 122, como se muestra en la Figura 8g, y se ejecuta la etapa 7.
Ejemplo 2: Interfaz cerebro-ordenador híbrida con retroalimentación de realidad virtual con monitor montado en la cabeza, sistema robótico y estimulación eléctrica funcional
Objetivo ; Proporcionar un entrenamiento óptimo a los pacientes con déficits de movimiento de los movimientos superiores derivados de problemas neurológicos (por ejemplo, ELA, ACV, lesiones cerebrales, síndrome de enclaustramiento, enfermedad de Parkinson, etc.). Estos pacientes necesitarían un entrenamiento para reintegrar la función de movimiento perdida/degradada. Un sistema que lea su intención de realizar un movimiento funcional y proporcione asistencia para completar el movimiento podría mejorar el resultado de la rehabilitación.
Para ello, el sistema podría aprovechar el aprendizaje hebbiano para asociar las áreas de entrada y salida del cerebro y reintegrar la función de movimiento perdida. El principio Hebbiano es: "Dos sistemas de células cerebrales que se activan repetidamente al mismo tiempo tienden a "asociarse", de modo que la actividad de uno facilita la actividad del otro".
En este ejemplo, los dos sistemas de células son las áreas del cerebro que participan en el procesamiento sensorial y en la generación de órdenes motoras. Cuando la asociación se pierde debido a una lesión neural, puede restaurarse o reconstruirse mediante el entrenamiento Hebbiano. Para obtener resultados óptimos de este entrenamiento, hay que garantizar una sincronización casi perfecta de las entradas y salidas del sistema y proporcionar al paciente una retroalimentación multisensorial en tiempo real con un pequeño retraso y, lo que es más importante, con una fluctuación casi insignificante.
La modalidad física ilustrada en la Figura 9, comprende un sistema portátil que tiene una pantalla montada en la cabeza (HMD) 19 para mostrar contenido de vídeo 3D de realidad virtual en micropantallas (por ejemplo, en perspectiva de primera persona), una cámara de vídeo estéreo 30 y una cámara de profundidad 28, cuyos datos se utilizan para el seguimiento del propio brazo del usuario, los objetos y cualquier segunda persona dentro del campo visual (unidad de seguimiento de movimiento). Además, los electrodos EEG 22 colocados sobre la cabeza del usuario 1, integrados en un conjunto de cabeza 2 como se ha descrito anteriormente (no se muestra en detalle en esta figura para simplificar), los electrodos EMG 24 colocados en el brazo medirán la actividad eléctrica del cerebro y de los músculos respectivamente, utilizados para inferir la intención del usuario al realizar un movimiento dirigido a un objetivo. Además, existe una unidad de medición de inercia (IMU) 29 que se utiliza para seguir los movimientos de la cabeza. Los movimientos ejecutados o previstos se representan en la pantalla de realidad virtual. En caso de evidencia de los movimientos a través de los datos de los sensores biológicos (es decir, EEG, EMG y trazado de movimiento), los mecanismos de retroalimentación ayudan al paciente a realizar el movimiento dirigido por el objetivo utilizando un sistema robótico 41. Además, el sistema de estimulación eléctrica funcional (FES) 31 activa los músculos del brazo para completar el movimiento planificado. Además, los mecanismos de retroalimentación proporcionarán una estimulación adecuada estrechamente acoplada a la intención de movimiento para garantizar la aplicación del mecanismo de aprendizaje Hebbiano.
El siguiente párrafo describe un prueba típico en la modalidad de una tarea típica dirigida a un objetivo, que el paciente podría repetir varias veces para completar una sesión típica de entrenamiento. Como se muestra en la Figura 10, una señal visual 3D 81, en este caso el pomo de una puerta, cuando se muestra en la HMD podría instruir al paciente 1 para que realice un movimiento correspondiente a la apertura de la puerta. Tras la señal visual, el paciente puede intentar realizar el movimiento sugerido. Los datos de los sensores (EEG, EMG, IMU, datos de movimiento) se adquieren en sincronización con el momento de la presentación de la señal visual. A continuación, el sistema de control 51 extrae los datos de los sensores e infiere la intención del usuario y se llega a un consenso para proporcionar retroalimentación al usuario a través de un robot 41 que mueve el brazo, y la HMD muestra el movimiento de un avatar 83, que se anima basándose en los datos inferidos. También se sincroniza una Estimulación Eléctrica Funcional (FES) 31 junto con otras retroalimentaciones asegurando una congruencia entre ellas.
En la Figura 2d se muestra una arquitectura ilustrativa de este sistema. La unidad de adquisición adquiere datos fisiológicos (es decir, EEG 22, EMG 24, IMU 29 y sistema de cámara 30). Los datos del sistema de cámaras incluyen fotogramas de vídeo estéreo y datos del sensor de profundidad. Además, la unidad de adquisición 53 toma muestras de los datos relacionados con la estimulación, como el momento en que se muestra un fotograma concreto del vídeo en la HMD, los datos del motor del robot y los sensores 23 y los datos de la estimulación FES 31. Esta unidad asocia cada muestra de los sensores y de la estimulación con una marca de tiempo (TS) obtenida de la entrada del reloj. Los datos sincronizados son procesados por el sistema de control y se utilizan para generar el contenido de retroalimentación apropiado para el usuario a través de la pantalla RV HMD, el movimiento robótico y la estimulación FES.
Entradas del sistema:
- Sensores de la unidad de medición de inercia (IMU) 29, que incluyen, por ejemplo, un acelerómetro, un giroscopio y un magnetómetro: El propósito es seguir los movimientos de la cabeza. Estos datos se utilizan para la representación de contenidos de RV, así como para segmentar los datos de EEG cuando la calidad de los datos puede degradarse debido al movimiento.
- Sistema de cámaras 30, 28: El sistema de cámaras comprende una cámara estéreo 30, y un sensor de profundidad 28. Los datos de estos dos sensores se combinan para calcular los datos de seguimiento de los movimientos de las extremidades superiores del usuario y para el seguimiento de los movimientos del brazo del usuario. Estos movimientos se utilizan entonces en la animación del avataren la realidad virtual en las micro pantallas 32 y en la detección de si hubo un movimiento dirigido a un objetivo, que se utiliza entonces para activar la retroalimentación a través de la pantalla 32, el robot 41 y el dispositivo de estimulación FES 31. En una aplicación ilustrativa de la invención, los sensores de EEG 22 y EMG 24 se pueden usar para inferir si hubo una intención de realizar un movimiento dirigido a un objetivo.
Salidas del sistema/Sistemas de retroalimentación
- Micropantallas 34 del conjunto de cabeza 2: Producen contenidos de realidad virtual 2D/3D, donde el usuario experimenta la perspectiva en primera persona del mundo virtual así como de su propio avatar con sus brazos moviéndose en relación a sus propios movimientos.
- Sistema robótico 41: El sistema robótico descrito en esta invención se utiliza para conducir los movimientos del brazo, donde el usuario 1 sostiene un mando táctil. El sistema proporciona un rango de movimientos, así como retroalimentación táctil de los movimientos naturales de las actividades de la vida diaria.
- Dispositivo de estimulación eléctrica funcional (FES) 31: Los electrodos adhesivos del sistema FES se colocan en los brazos del usuario para estimular los nervios, que al activarse pueden restaurar los movimientos voluntarios perdidos del brazo. Además, los movimientos resultantes de la mano dan lugar a una retroalimentación cinestésica al cerebro.
Procesamiento de datos
Los siguientes párrafos describen las gestiones de datos desde las entradas hasta las salidas.
Unidad de adquisición 53:
La descripción de la unidad de adquisición 53 garantiza una sincronización casi perfecta de las entradas/datos de los sensores y las salidas/estimulación/retroalimentación del sistema, como se ilustra en la Figura 11. Cada uno de los datos de los sensores puede tener una frecuencia de muestreo diferente y cuyo muestreo puede no haberse iniciado en el mismo momento exacto debido a un reloj interno no compartido. En este ejemplo, la frecuencia de muestreo de los datos del EEG es de 1 kHz, la de los datos del EMG es de 10 KHz, la de los datos de la IMU es de 300 Hz, la de los datos de la cámara de vídeo es de 120 cuadros por segundo (fps). Del mismo modo, las señales de estimulación tienen diferentes frecuencias, donde la frecuencia de refresco de la pantalla es de 60 Hz, los sensores del robot de 1 KHz, y los datos FES de 1 KHz.
La unidad de adquisición 53 tiene como objetivo resolver el problema de la sincronización de las entradas y salidas con precisión. Para ello, las salidas del sistema se detectan con sensores dedicados o se registran indirectamente desde una etapa anterior a la estimulación, por ejemplo, de la siguiente manera:
Detección de la micropantalla: Generalmente, el contenido de vídeo que se genera en el sistema de control se empuja primero a un registro de pantalla 35 (una etapa final antes de que el contenido de vídeo se active en la pantalla). Junto con el contenido de vídeo, el controlador envía un código a una parte del registro (digamos N bits) correspondiente a uno o más píxeles (no demasiados píxeles, para no molestar al usuario). Se prefieren los píxeles de las esquinas de la micro pantalla, ya que pueden no ser visibles para el usuario. Los códigos (un total de 2AN) pueden ser definidos por el controlador o la unidad lógica de ejercicio que describe el contenido de la pantalla. □ Detección de FES: Los datos del FES pueden ser rojos desde su última etapa de generación, es decir, desde el CDA.
Detección de los movimientos del robot: Los motores de los robots llevan incorporados sensores que proporcionan información sobre el desplazamiento angular, el par y otros parámetros de control de los motores.
Ahora, utilizando una señal de reloj con una frecuencia preferiblemente mucho más alta que la de las entradas y salidas (por ejemplo, 1GHz), pero al menos el doble de la frecuencia de muestreo más alta entre los sensores y las unidades de estimulación, el módulo de adquisición lee las muestras de los sensores y adjunta una marca de tiempo como se ilustra en la Figura 12. Cuando una muestra de un sensor llega desde su ADC 37a, su hora de llegada se anota con el siguiente flanco ascendente inmediato de la señal de reloj. Del mismo modo, se asocia una marca de tiempo a cada sensor y a cada dato de estimulación. Cuando estas muestras llegan al controlador, éste las interpreta de acuerdo con la marca de tiempo de llegada, lo que conduce a minimizar las fluctuaciones entre los sensores y las estimulaciones.
Análisis de datos fisiológicos
Las señales de datos fisiológicos EEG y EMG son señales eléctricas ruidosas y preferiblemente se procesan previamente utilizando métodos estadísticos adecuados. Además, el ruido también se puede reducir sincronizando mejor los eventos de estimulación y comportamiento con las mediciones de datos fisiológicos con una fluctuación insignificante.
La Figura 13 ilustra varias etapas del procesamiento previo (filtrado 68, extracción de épocas y etapas de extracción de características). Las muestras de EEG de todos los electrodos se filtran primero espectralmente en varias bandas (por ejemplo, de 0,1-1Hz, para los potenciales corticales lentos, de 8-12 Hz para las ondas alfa y los ritmos mu rolándicos, de 18-30 Hz para la banda beta y de 30-100 Hz para la banda gamma). Cada una de estas bandas espectrales contiene diferentes aspectos de las oscilaciones neuronales en diferentes lugares. Tras esta etapa, las señales se someten a un filtrado espacial para mejorar adicionalmente la relación señal-ruido. Los filtros espaciales incluyen procesos sencillos como la eliminación de la media común hasta la convolución espacial con ventanas gaussianas o ventanas de Laplace. Después de esta etapa, las muestras entrantes se segmentan en ventanas temporales basadas en marcadores de eventos que llegan desde el gestor de eventos 71. Estos eventos corresponden al momento en que el paciente recibe un estímulo o realiza una respuesta.
Estos segmentos de EEG se envían a la unidad de extracción de características 69, donde se realiza una corrección temporal. Un ejemplo sencillo de corrección temporal es la eliminación de la línea de base o el desplazamiento de los datos de los pruebas de una banda espectral seleccionada. La calidad de estas pruebas se puede evaluar mediante métodos estadísticos como la detección de valores atípicos. Además, si los datos del sensor IMU registran un movimiento de cabeza, los pruebas se anotan como pruebas de artefactos. Por último, se calculan las características de cada prueba que describen bien el procesamiento neuronal subyacente. Estas características se introducen en una unidad estadística 67.
Del mismo modo, las muestras de los electrodos EMG se filtran primero espectralmente y se les aplica un filtro espacial. La información sobre el movimiento se obtiene a partir de la envolvente o potencia de las señales EMG. De forma similar a las pruebas de EEG, los datos espectrales de EMG se segmentan y se pasan a la unidad de extracción de características 69. La salida de los datos de características de EMG se envía entonces a la unidad estadística 67.
La unidad estadística 67 combina varias señales fisiológicas y datos de movimiento para interpretar la intención del usuario al realizar un movimiento dirigido a un objetivo. Esta unidad de programa incluye principalmente métodos de aprendizaje automático para la detección, clasificación y análisis de regresión en la interpretación de las características. Las salidas de este módulo son las probabilidades de intención y los parámetros relacionados que dirigen la lógica de ejercicio en la unidad lógica de ejercicio 84. Esta unidad lógica de ejercicio 84 genera parámetros de estimulación que luego se envían a una unidad de generación de retroalimentación/estimulación del sistema de estimulación 17.
A lo largo de estas etapas, se garantiza un retardo mínimo y, lo que es más importante, la menor fluctuación.
Detección de eventos y Gestor de eventos
Para la interpretación de los datos fisiológicos son necesarios eventos como el momento en que se estimula al paciente o se le presenta una instrucción en la pantalla de RV, o el momento en que el paciente realiza una acción. La Figura 14 ilustra la detección de eventos. Es necesario detectar los eventos correspondientes a los movimientos y los de los objetos externos o de una segunda persona. Para ello, los datos del sistema de cámaras 30 (cámaras estereoscópicas y la nube de puntos 3D del sensor de profundidad) se integran en el módulo de la unidad de seguimiento 73 para producir diversas informaciones de seguimiento, tales como: (i) datos de seguimiento del esqueleto del paciente, (ii) datos de seguimiento de objetos, y (iii) un segundo dato de seguimiento del usuario. En función de los requerimientos del análisis del comportamiento, estos datos de seguimiento se pueden usar para generar diversos eventos (por ejemplo, el momento en que el paciente levanta la mano para sujetar el pomo de la puerta).
Los datos de la IMU proporcionan información sobre el movimiento de la cabeza. Estos datos se analizan para obtener eventos como el movimiento de la cabeza del usuario para mirar el pomo de la puerta virtual.
Los códigos de visualización de vídeo corresponden al contenido del vídeo (por ejemplo, la visualización del pomo de la puerta virtual o cualquier estimulación visual). Estos códigos también representan eventos visuales. Del mismo modo, los eventos de estimulación FES, el movimiento del robot y los eventos de retroalimentación táctil se detectan y se transfieren al gestor de eventos 71. Los módulos analizadores 75, incluyendo un analizador de movimiento 75a, un analizador IMU 75b, un analizador FES 75c y un analizador de sensores del robot 75d, procesan las diversas señales de sensores y de estimulación para el gestor de eventos 71.
El gestor de eventos 71 envía entonces estos eventos para etiquetar los datos fisiológicos, los datos de seguimiento del movimiento, etc. Además, estos eventos también se envían a la unidad lógica de ejercicio para adaptar la dinámica de ejercicio o los retos para el paciente.
Otros aspectos del sistema de control
El sistema de control interpreta los datos de movimiento entrantes, las probabilidades de intención de los datos fisiológicos y activa la unidad lógica de ejercicio y genera parámetros de estimulación/retroalimentación. Los siguientes bloques son las partes principales del sistema de control.
- Retroalimentación de RV: Los datos de movimiento (datos de seguimiento del esqueleto, seguimiento de objetos y seguimiento del usuario) se utilizan para representar la información de RV en 3D en las pantallas montadas en la cabeza, en forma de avatares y objetos virtuales.
- Unidad lógica de ejercicio 84: La unidad lógica de ejercicio implementa la secuencia de marcos de visualización que incluyen instrucciones y desafíos (tarea objetivo a realizar, en varios niveles de dificultad) para el paciente. La unidad lógica también reacciona a los eventos del gestor de eventos 71. Por último, esta unidad envía los parámetros de estimulación a la unidad de estimulación.
- Robot y unidad de generación de estimulación FES: esta unidad genera las entradas requeridas para realizar un movimiento dirigido del sistema robótico 41 y la retroalimentación háptica asociada. Además, los patrones de estimulación (intensidad de la corriente y ubicación de los electrodos) para el módulo FES podrían ser sincronizados y congruentes con el paciente.
Ejemplo 3: Interfaz cerebro-ordenador y estimulación neural activada por datos de movimiento con retroalimentación de realidad aumentada
Objetivo
Un sistema podría proporcionar una estimulación neural precisa en relación con las acciones realizadas por un paciente en el mundo real, lo que daría lugar a un refuerzo de los patrones neurales para los comportamientos previstos.
Descripción
Las acciones del usuario y las de una segunda persona y los objetos de la escena se capturan con un sistema de cámaras para el análisis del comportamiento. Además, los datos neuronales se registran con una de las modalidades (EEG, ECOG, etc.) y se sincronizan con los datos de la IMU. El vídeo capturado por el sistema de cámaras se intercala con objetos virtuales para generar información de realidad aumentada en 3D y se proporciona al usuario a través de una pantalla montada en la cabeza. Por último, se generan los parámetros de estimulación neural adecuados en el sistema de control y se envían a la estimulación neural.
El retardo y la fluctuación entre las medidas fisiológicas y de comportamiento del usuario y la estimulación neural se deben optimizar para un refuerzo eficaz de los patrones neurales.
La implementación de este ejemplo es similar a la del Ejemplo 2, salvo que la pantalla montada en la cabeza (HMD) muestra contenidos de Realidad Aumentada en lugar de Realidad Virtual (véase la Figura 2e). Es decir, los objetos virtuales se incrustan en una imagen 3D capturada mediante una cámara estereoscópica y se muestran en micropantallas que aseguran una perspectiva de la escena en primera persona. Además, se implementa la estimulación neural directa a través de la estimulación cerebral profunda y la estimulación cortical, y estimulaciones no invasivas como la estimulación transcraneal de corriente directa (tDCS), la estimulación transcraneal de corriente alterna (tACS), la estimulación transcraneal magnética (TMS) y la estimulación transcraneal ultrasónica. El sistema puede utilizar ventajosamente una o más modalidades de estimulación a la vez para optimizar el efecto. Este sistema aprovecha la unidad de adquisición descrita en el ejemplo 1.
Lista de referencias
10 Sistema de medición de parámetros fisiológicos y seguimiento del movimiento
2 Conjunto de cabeza
3 Dispositivo de detección de EEG
4 Soporte del sensor de EEG
4a rama central
4b rama lateral delantera
4b1, 4b2 extensiones traseras y laterales
4c rama lateral central
4c1, 4c2 extensiones delanteras y traseras
4d rama lateral trasera
4d1, 4d2 extensiones frontales y laterales
401 pared base
404 orificios del electrodo
404a porción de orificio del electrodo
404b porción de pasaje
405 orificios de anclajes ^ fijación del tensor
406 superficie inferior
402 paredes laterales
403 canal
5 material de encapsulado (pared superior)
506 superficie superior
6 Circuito flexible
22 Sensores de EEG
221 Electrodos de EEG
8 Circuito de procesamiento de señales de EEG
8a amplificadores de señal de EEG discreta
8b trazados de circuito
601 sustrato de circuito flexible
602 orificio del electrodo
605 orificio del tensor
6a rama central
6b rama lateral delantera
6b1, 6b2 prolongaciones posteriores y laterales
6c rama lateral central
6c1, 6c2 extensiones delanteras y traseras
6d rama lateral trasera
6d1, 6d2 extensiones delanteras y laterales
41 parte de conexión
7 amarres tensores ^ elásticos
37 gel conductor
9 soporte del marco de montaje de la cabeza
correa
botón de ajuste
19 Pantalla montada en la cabeza
32 Unidad de visualización
34 Medios de visualización
35 Registro de la pantalla
36 Soporte de la unidad de visualización
33 Unidad de audio
100 Unidad de detección de la mirada
102 Sensor de la mirada
40 Unidad de detección del movimiento de la cabeza
42 Unidad de detección del movimiento
44 Medios de detección de la aceleración
47 Medios de detección de la orientación de la cabeza
46 Giroscopio
48 Magnetómetro
50 Soporte de la unidad de detección de movimientos (montaje en el sistema HMD) 12 Sistema de control
51 Módulo de control
57 señales de salida (vídeo, audio, estimulación)
53 Módulo de adquisición
55 Memoria
52 Módulo de seguimiento del esqueleto
60 Unidad de fusión de datos
62 Unidad de calibración
64 Unidad de seguimiento del esqueleto
54 Módulo de procesamiento de parámetros fisiológicos
66 Unidad de re-referenciación
68 Unidad de filtrado
70 Módulo de filtrado espectral
72 Módulo de filtrado de suavizado espacial
74 Módulo de filtrado laplaciano
76 Unidad de marcado de eventos
78 Unidad de artefactos
80 Módulo de detección de artefactos
82 Módulo de eliminación de artefactos
69 unidad de extracción de características
67 unidad estadística
56 Módulo de seguimiento de la cabeza
104 Módulo de seguimiento de la mirada
58 Módulo de generación de RV
84 Unidad de lógica de ejercicio
Unidad de entrada
86 Unidad de entorno de RV
88 Unidad de modelo corporal
90 Unidad de generación de la postura del avatar
92 Unidad de integración de contenidos de RV
94 Unidad de generación de audio
96 Unidad de generación de retroalimentación
106 Módulo de reloj
71 Gestor de eventos
73 Unidad de seguimiento
Seguimiento del usuario
^■64 Unidad de seguimiento del esqueleto
^■104 Módulo de seguimiento de la mirada
Seguimiento de objetos
75 Módulos de análisis
75a Movimiento
75b IMU
75c FES
75d Sensor del robot
13 Sistema de detección
14 Sistema de detección de parámetros fisiológicos
20 Sensores
22 Sensores de electroencefalograma (EEG)
24 Electromiograma (EMG) - conectado a los músculos del cuerpo
25 Electrooculografía (EOG) - sensor de movimiento ocular
27 Electrocardiograma (ECG)
29 Sensor de inercia (INS)/sensor de la unidad de medición de inercia (IMU) 40 Unidad de detección del movimiento de la cabeza
Sensor de temperatura corporal
Sensor galvánico de la piel
16 Sistema de detección de posición/movimiento
26 Sensores
28 Sensor de profundidad/distancia
30 Cámara (color)
21 señales de salida del sensor
17 Sistema de estimulación
31 Sistema de estimulación eléctrica funcional (FES)
33 Sistema de estimulación de audio ^ unidad de audio
32 Sistema de estimulación por vídeo ^ unidad de visualización
37a Convertidor analógico-digital (ADC)
37b Convertidor de digital a analógico (DAC)
39 Señal de código de contenido
41 Dispositivo de retroalimentación táctil ^ robot
23 sensores de retroalimentación del usuario

Claims (14)

REIVINDICACIONES
1. Un conjunto de cabeza (2) que comprende un dispositivo de detección de la actividad eléctrica cerebral (EEG) (3) que comprende sensores de EEG (22) configurados para ser montados en la cabeza de un usuario con el fin de posicionar los sensores de EEG (22) en posiciones seleccionadas de interés sobre el cuero cabelludo del usuario, el dispositivo de detección de EEG que comprende un soporte de sensor (4) y un circuito flexible (6) ensamblado al soporte del sensor, en donde dicho circuito flexible y el soporte están configurados para ser doblados para ajustarse a una forma tridimensional generalmente esférica o elipsoide que se corresponde esencialmente con la morfología general de la mitad superior de una cabeza humana, el soporte del sensor y el circuito flexible que comprende un tronco central (4a, 6a) configurado para extenderse a lo largo de un plano central de la parte superior de la cabeza en una dirección desde el nasión hasta el inión, una rama lateral delantera (4b, 6b) configurada para extenderse a través de una porción frontal de la cabeza del usuario que se extiende lateralmente desde el tronco central, una rama lateral central (4c, 6c) configurada para extenderse a través de una porción superior de la cabeza del usuario esencialmente entre las orejas del usuario, y una rama lateral trasera (4d, 6d) configurada para extenderse a través de una porción trasera de la cabeza del usuario, caracterizado porque el soporte del sensor (4) comprende una pared base (401) que tiene un primer lado para entrar en contacto con la cabeza del usuario y paredes laterales (402) que se extienden a lo largo de los bordes de un lado opuesto de la pared base para formar un canal esencialmente plano en forma de "U" (403) en donde se inserta el circuito flexible (6) y la pared base comprende orificios para el sensor de EEG (404) para recibir un gel que permita establecer contacto eléctrico entre el cuero cabelludo del usuario y los contactos de los sensores de EEG en el circuito flexible.
2. Un conjunto de cabeza de acuerdo con la reivindicación 1, en donde cada una de las ramas laterales comprende además extensiones (4b1, 4b2; 6bI, 6b2; 4c1, 4c2; 6c1, 6c2; 4dI, 4d2; 6d1, 6d2), las extensiones se extienden en una dirección de adelante hacia atrás o de atrás hacia adelante, y en donde los sensores de EEG están colocados en posiciones discretas separadas a lo largo del tallo, las ramas y las extensiones.
3. Un conjunto de cabeza de acuerdo con la reivindicación 1 o la reivindicación 2, en donde una pared superior o un material de sellado flexible (5) está montado o rellenado sobre el circuito flexible en el canal con el fin de sellar de manera impermeable las pistas del circuito eléctrico y los componentes en el circuito flexible dentro del canal.
4. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el soporte del sensor es una pieza única moldeada o formada a partir de un material polimérico flexible.
5. Conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el circuito flexible comprende un sustrato flexible de una sola pieza.
6. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el soporte del sensor comprende además anclajes de tensores (405) configurados para anclar tensores elásticos (7) entre las posiciones del tronco, las ramas y las extensiones del dispositivo sensor de EEG, y también entre el dispositivo sensor de EEG y un soporte del marco de montaje de la cabeza (9).
7. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde junto a cada sensor de EEG en el circuito flexible se sitúa un amplificador de señal de EEG discreto (8b) configurado para amplificar la señal de actividad eléctrica cerebral captada por el correspondiente sensor de EEG.
8. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde los sensores de EEG comprenden elementos conductores compresibles que sobresalen montados en el sustrato flexible y conectados eléctricamente a un trazado de circuito de un sustrato del circuito flexible.
9. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior 1, que comprende además una pantalla montada en la cabeza (HMD) fijada a un soporte del marco de montaje de la cabeza y configurada para ser colocada sobre los ojos de un usuario del conjunto de cabeza, en donde la HMD comprende una unidad de visualización que tiene una pantalla que comprende una pantalla electrónica configurada para ser colocada frente a los ojos del usuario para presentar información visual al usuario, en donde dicha información visual se proporciona como parte de un entorno de RV (realidad virtual) o de un entorno de RA (realidad aumentada), el conjunto de cabeza que comprende además un sistema de detección de posición/movimiento operable para detectar una posición/movimiento de una parte del cuerpo de un usuario, el sistema de detección de posición/movimiento que comprende una o más cámaras de color, y un sensor de profundidad.
10. Un conjunto de cabeza de acuerdo con la reivindicación 9, en donde la HMD alberga un dispositivo de comunicación inalámbrica para interconectar el conjunto de cabeza con dispositivos electrónicos y sistemas informáticos externos de forma inalámbrica.
11. Un conjunto de cabeza de acuerdo con la reivindicación 9 o la reivindicación 10, en donde la HMD alberga una fuente de alimentación a bordo para el funcionamiento autónomo del conjunto de cabeza.
12. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el conjunto de cabeza incorpora además una pluralidad de sensores configurados para medir diferentes parámetros fisiológicos, seleccionados de un grupo que consiste en sensores ECOG, sensores de movimiento de los ojos y unidad de detección de movimiento de la cabeza.
13. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el circuito flexible comprende un conector eléctrico enchufable (41) para conectarse a un conector eléctrico enchufable complementario en la HMD.
14. Un conjunto de cabeza de acuerdo con cualquier reivindicación anterior, en donde el circuito flexible comprende orificios adyacentes a los contactos o electrodos del sensor de EEG, y en donde los orificios del sensor de EEG (404) se superponen a los orificios del circuito flexible de manera que se proporciona un paso entre una superficie superior (506) y una superficie inferior (406) del dispositivo sensor (3).
ES16710815T 2015-03-02 2016-03-01 Sistema de medición y retroalimentación de la actividad cerebral Active ES2910273T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15157206.2A EP3064130A1 (en) 2015-03-02 2015-03-02 Brain activity measurement and feedback system
PCT/IB2016/051125 WO2016139576A2 (en) 2015-03-02 2016-03-01 Brain activity measurement and feedback system

Publications (1)

Publication Number Publication Date
ES2910273T3 true ES2910273T3 (es) 2022-05-12

Family

ID=52598621

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16710815T Active ES2910273T3 (es) 2015-03-02 2016-03-01 Sistema de medición y retroalimentación de la actividad cerebral

Country Status (5)

Country Link
US (2) US20180239430A1 (es)
EP (2) EP3064130A1 (es)
CN (1) CN107405101A (es)
ES (1) ES2910273T3 (es)
WO (1) WO2016139576A2 (es)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11673042B2 (en) 2012-06-27 2023-06-13 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
US10096265B2 (en) 2012-06-27 2018-10-09 Vincent Macri Methods and apparatuses for pre-action gaming
US11904101B2 (en) 2012-06-27 2024-02-20 Vincent John Macri Digital virtual limb and body interaction
EP2997511A1 (en) 2013-05-17 2016-03-23 Vincent J. Macri System and method for pre-movement and action training and control
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10111603B2 (en) 2014-01-13 2018-10-30 Vincent James Macri Apparatus, method and system for pre-action therapy
US9747546B2 (en) 2015-05-21 2017-08-29 Google Inc. Neural network processor
US10192162B2 (en) 2015-05-21 2019-01-29 Google Llc Vector computation unit in a neural network processor
US9805303B2 (en) 2015-05-21 2017-10-31 Google Inc. Rotating data for neural network computations
US10049322B2 (en) 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
US10438117B1 (en) 2015-05-21 2019-10-08 Google Llc Computing convolutions using a neural network processor
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
CN105468140A (zh) * 2015-11-05 2016-04-06 京东方科技集团股份有限公司 佩戴设备、应用设备系统
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
GB2550843A (en) * 2016-05-18 2017-12-06 Univ Ulster Headgear incorporating electrical measurement apparatus
US11327566B2 (en) * 2019-03-29 2022-05-10 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
CA3033504C (en) * 2016-08-12 2023-04-18 Francois GAND Portable alzheimer detector
AU2016425291B2 (en) 2016-09-28 2020-06-25 Archeoptix Biomedical Inc. Optical imaging device and cap
US11701046B2 (en) * 2016-11-02 2023-07-18 Northeastern University Portable brain and vision diagnostic and therapeutic system
EP3859495B1 (en) * 2016-12-06 2023-05-10 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
CN106671084B (zh) * 2016-12-20 2019-11-15 华南理工大学 一种基于脑机接口的机械臂自主辅助方法
US10796246B2 (en) 2016-12-29 2020-10-06 Arizona Board Of Regents On Behalf Of Arizona State University Brain-mobile interface optimization using internet-of-things
CN110325112A (zh) 2017-01-04 2019-10-11 斯托瑞阿普股份有限公司 使用虚拟现实疗法修改生物测定活动的系统和方法
IT201700005161A1 (it) * 2017-01-18 2018-07-18 Viktor S R L Metodo ed apparecchiatura di elettrostimolazione
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
EP3568804A2 (en) 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
US20200073476A1 (en) * 2017-03-15 2020-03-05 Samsung Electronics Co., Ltd. Systems and methods for determining defects in visual field of a user
CN110178102A (zh) * 2017-03-21 2019-08-27 惠普发展公司,有限责任合伙企业 显示器内的估计
US11402909B2 (en) 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
US10990175B2 (en) * 2018-10-29 2021-04-27 Cognixion Brain computer interface for augmented reality
CN107362465A (zh) * 2017-07-06 2017-11-21 上海交通大学 一种用于人体经颅超声刺激与脑电记录同步的系统
US20190018484A1 (en) * 2017-07-17 2019-01-17 Thalmic Labs Inc. Dynamic calibration systems and methods for wearable heads-up displays
EP3441030B1 (en) 2017-08-11 2020-05-13 Stryker European Holdings I, LLC Deformable cranial burr hole plate and deformation instrument therefor
US10987016B2 (en) 2017-08-23 2021-04-27 The Boeing Company Visualization system for deep brain stimulation
KR102022586B1 (ko) 2017-08-24 2019-09-18 김경모 Vr 장치 및 밴드를 이용한 뇌파 측정 시스템
US10444840B2 (en) * 2017-08-30 2019-10-15 Disney Enterprises, Inc. Systems and methods to synchronize visual effects and haptic feedback for interactive experiences
AT520461B1 (de) * 2017-09-15 2020-01-15 Dipl Ing Dr Techn Christoph Guger Vorrichtung zum Erlernen der willentlichen Steuerung eines vorgegebenen Körperteils durch einen Probanden
US10863469B2 (en) 2017-10-11 2020-12-08 Google Llc System and method for accurate timestamping of virtual reality controller data
HRP20171555A2 (hr) 2017-10-13 2019-04-19 Umo Neuroscience J.D.O.O. Sustav i postupak za izvođenje neurološke povratne veze koji uključuje druge životinjske vrste u samom lancu povratne veze
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11594315B2 (en) 2017-10-23 2023-02-28 The Regents Of The University Of California Systems and methods for automatic activity tracking
JP7069716B2 (ja) * 2017-12-28 2022-05-18 株式会社リコー 生体機能計測解析システム、生体機能計測解析プログラム及び生体機能計測解析方法
CN110234273B (zh) * 2018-01-04 2022-10-25 英特埃克森有限公司 可穿戴计算设备
CN108334195B (zh) * 2018-01-17 2019-10-18 西安交通大学 基于调制的生物运动视觉感知的脑-机接口方法
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
JP7108174B2 (ja) * 2018-01-30 2022-07-28 日本電信電話株式会社 ウェアラブルインタフェース、情報提供装置及び情報提供方法
US10601960B2 (en) 2018-02-14 2020-03-24 Eingot Llc Zero-knowledge environment based networking engine
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
CN108563334B (zh) * 2018-04-23 2021-09-03 京东方科技集团股份有限公司 一种虚拟现实头戴式显示设备、系统及其定位定姿方法
IT201800005095A1 (it) * 2018-05-07 2019-11-07 Sistema e metodo per la riabilitazione di persone affette da ictus mediante realtà virtuale e gestione dello stato di affaticamento
CN108606789A (zh) * 2018-05-18 2018-10-02 东南大学 一种应用于抑郁情绪监测的脑电头箍
KR102200414B1 (ko) * 2018-08-28 2021-01-08 주식회사 룩시드랩스 생체 데이터 획득용 탈착식 기능모듈 및 이를 포함하는 헤드 마운트 디스플레이 장치
WO2019240564A1 (ko) * 2018-06-15 2019-12-19 주식회사 룩시드랩스 생체 데이터 획득용 탈착식 기능모듈 및 이를 포함하는 헤드 마운트 디스플레이 장치
CN108670241A (zh) * 2018-06-27 2018-10-19 华南理工大学 一种新型柔性印刷贴面电极阵列
EP3594925B1 (en) * 2018-07-13 2022-09-28 Wolfgang Vogel Device, system and method for entrainment and training of the human brain
US10564717B1 (en) * 2018-07-16 2020-02-18 Facebook Technologies, Llc Apparatus, systems, and methods for sensing biopotential signals
US11589749B2 (en) * 2018-07-23 2023-02-28 Northeastern University Optically monitoring brain activities using 3D-aware head-probe
CN108922299B (zh) * 2018-07-24 2020-12-01 淮北市荣恋科技有限公司 一种消防演习虚拟训练的方法
CN109009173B (zh) * 2018-08-30 2022-02-01 北京机械设备研究所 一种基于脑电-眼动双模态信号的疲劳检测与调控方法
WO2020056025A1 (en) 2018-09-12 2020-03-19 California Institute Of Technology A wearable inductive damping sensor
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
EP3864575A4 (en) * 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
KR102020598B1 (ko) * 2018-12-11 2019-09-10 전자부품연구원 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템
KR102238067B1 (ko) * 2018-12-12 2021-04-08 광운대학교 산학협력단 3d 헤드업 디스플레이와 연동된 웨어러블 eeg 헤드셋을 구비하는 eeg 측정 및 자극 시스템 및 방법
US11642081B2 (en) 2019-02-01 2023-05-09 X Development Llc Electrode headset
US11583231B2 (en) 2019-03-06 2023-02-21 X Development Llc Adjustable electrode headset
CN109924976A (zh) * 2019-04-29 2019-06-25 燕山大学 小鼠经颅超声刺激及脑肌电信号同步采集系统
EP4033965A4 (en) * 2019-05-07 2023-11-01 The Trustees of Princeton University SYSTEM AND METHOD FOR MAIN STREAM EXHALATED OXYGEN SENSOR
WO2020260085A1 (en) * 2019-06-28 2020-12-30 Sony Corporation Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
WO2021011391A1 (en) * 2019-07-12 2021-01-21 The Regents Of The University Of California Systems and methods for memory specificity with virtual reality
WO2021096308A1 (ko) * 2019-11-15 2021-05-20 주식회사 룩시드랩스 생체 신호 감지 장치
KR102320078B1 (ko) * 2019-11-28 2021-10-29 서울대학교산학협력단 가상현실을 이용한 시촉각통합 평가 방법 및 장치
US11243405B2 (en) * 2020-03-27 2022-02-08 ResMed Pty Ltd Positioning and stabilising structure and system incorporating same
RU2741215C1 (ru) * 2020-02-07 2021-01-22 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
US11890097B2 (en) 2020-02-19 2024-02-06 California Institute Of Technology Inductive damping brain sensor
US11686948B2 (en) 2020-03-27 2023-06-27 ResMed Pty Ltd Positioning, stabilising, and interfacing structures and system incorporating same
US11598967B2 (en) 2020-03-27 2023-03-07 ResMed Pty Ltd Positioning and stabilising structure and system incorporating same
US20210392243A1 (en) * 2020-06-10 2021-12-16 Sam Salemnia Head mountable camera system
CN111831118B (zh) * 2020-07-10 2022-12-30 清华大学 一种基于增强现实的三维脑电显示方法及其显示系统
WO2022055948A1 (en) * 2020-09-08 2022-03-17 Beacon Biosignals, Inc. Systems and methods for measuring neurotoxicity in a subject
WO2022061322A1 (en) * 2020-09-18 2022-03-24 University Of Florida Research Foundation Removing latent noise components from data signals
TWI726821B (zh) * 2020-10-06 2021-05-01 國立臺灣科技大學 具有多通道的腦機介面裝置
TWI758993B (zh) * 2020-12-04 2022-03-21 高雄醫學大學 基於整合實境與腦機介面之下肢復健系統
US11609633B2 (en) * 2020-12-15 2023-03-21 Neurable, Inc. Monitoring of biometric data to determine mental states and input commands
US11500463B2 (en) * 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same
CN112751882A (zh) * 2021-01-19 2021-05-04 华南理工大学 一种基于混合脑机接口的实时通讯方法
US11199903B1 (en) * 2021-03-26 2021-12-14 The Florida International University Board Of Trustees Systems and methods for providing haptic feedback when interacting with virtual objects
WO2022204726A1 (en) * 2021-03-26 2022-09-29 Wave Neuroscience, Inc. Electroencephalogram (eeg) based transcranial magnetic stimulation (tms) therapies
CN113040790B (zh) * 2021-03-29 2022-01-28 中国科学院自动化研究所 基于内源性脑信号的闭环神经调控系统、方法和设备
WO2022212798A1 (en) * 2021-03-31 2022-10-06 University Of Mississippi Medical Center A virtual immersive sensorimotor device and methods to detect neurological impairments
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
BE1029415B1 (fr) * 2021-05-19 2022-12-19 P³Lab Un système et un procédé de mesure de réactions d’un sujet, un programme d’ordinateur et un support lisible par ordinateur
CN113456080B (zh) * 2021-05-25 2024-06-11 北京机械设备研究所 一种干湿通用型传感电极及其应用方法
JP2022187926A (ja) * 2021-06-08 2022-12-20 本田技研工業株式会社 操作システム、および、操作方法
CA3221059A1 (en) * 2021-08-05 2023-02-09 Starcat LLC Modular electroencephalograph (eeg) system
US11399762B1 (en) 2021-08-05 2022-08-02 Starcat LLC Modular electroencephalograph (EEG) system
WO2023015006A1 (en) * 2021-08-05 2023-02-09 Zeto, Inc. Flexible electroencephalography headset
WO2023027880A1 (en) * 2021-08-25 2023-03-02 Battelle Memorial Institute Neuromuscular electrical stimulation controlled by computer vision
US20230095350A1 (en) * 2021-09-17 2023-03-30 Smart Science Technology, LLC Focus group apparatus and system
CN113951897B (zh) * 2021-10-09 2023-05-05 中国科学院自动化研究所 一种多模态静息脑电数据干扰消除和标记方法及装置
US11995233B2 (en) * 2021-10-21 2024-05-28 Sony Interactive Entertainment LLC Biometric feedback captured during viewing of displayed content
CN114010197B (zh) * 2021-11-05 2023-06-20 哈工大机器人(合肥)国际创新研究院 一种基于空间树状网络结构的干湿混合脑电电极
JP7327708B1 (ja) * 2021-12-15 2023-08-16 住友ベークライト株式会社 脳波測定装置および脳波測定方法
KR102420359B1 (ko) * 2022-01-10 2022-07-14 송예원 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법
WO2023177946A1 (en) * 2022-03-18 2023-09-21 Apple Inc. Flexible mounting structures
US11944870B2 (en) * 2022-03-31 2024-04-02 bOMDIC Inc. Movement determination method, movement determination device and computer-readable storage medium
WO2023228131A1 (en) * 2022-05-25 2023-11-30 Sens.Ai Inc Method and apparatus for wearable device with timing synchronized interface for cognitive testing
WO2023239361A1 (en) * 2022-06-08 2023-12-14 Hewlett-Packard Development Company, L.P. Intended angle based on muscle emg values
IL294216A (en) * 2022-06-22 2024-01-01 Mor Research Applic Ltd Devices, systems and methods for brain protection in craniectomy patients
HUP2200356A1 (hu) * 2022-09-06 2024-03-28 Kiserleti Orvostudomanyi Ki Rendszer és eljárások biológiai adatok valós idõben milliszekundumos idõbeli pontossággal történõ szinkronizációjára
CN115810138A (zh) * 2022-11-18 2023-03-17 天津大学 基于多电极阵列体外培养神经元网络的图像识别方法
CN115919321A (zh) * 2022-12-29 2023-04-07 中电云脑(天津)科技有限公司 一种便携式无创神经电生理信号采集计算装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038782A (en) 1986-12-16 1991-08-13 Sam Technology, Inc. Electrode system for brain wave detection
US4967038A (en) 1986-12-16 1990-10-30 Sam Techology Inc. Dry electrode brain wave recording system
AU667199B2 (en) 1991-11-08 1996-03-14 Physiometrix, Inc. EEG headpiece with disposable electrodes and apparatus and system and method for use therewith
US6301493B1 (en) * 1999-07-10 2001-10-09 Physiometrix, Inc. Reservoir electrodes for electroencephalograph headgear appliance
KR20020068825A (ko) * 2001-02-23 2002-08-28 학교법인 한양학원 가상 현실과 바이오 피드백을 이용한 집중력 향상 시스템및 방법
KR20020069382A (ko) * 2001-02-26 2002-09-04 학교법인 한양학원 바이오피드백 센서가 부착된 가상 현실 영상 제시 장치
EP1903935B1 (en) * 2005-05-06 2016-11-16 The General Hospital Corporation Apparatuses for electrophysiological signal delivery and recording during mri
WO2009061920A1 (en) * 2007-11-06 2009-05-14 Hydrodot, Inc. Device and method for performing electroencephalography
US8948849B2 (en) * 2008-04-28 2015-02-03 The Trustees Of Dartmouth College System and method for optode and electrode positioning cap for electroencephalography, diffuse optical imaging, and functional neuroimaging
US20110054870A1 (en) 2009-09-02 2011-03-03 Honda Motor Co., Ltd. Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
WO2011038103A1 (en) * 2009-09-25 2011-03-31 Neuronetrix Solutions, Llc Electrode system with rigid-flex circuit
US9250444B2 (en) * 2009-11-21 2016-02-02 Immy Inc. Head mounted display device
WO2011123059A1 (en) 2010-03-31 2011-10-06 Agency For Science, Technology And Research Brain- computer interface system and method
US20110282231A1 (en) * 2010-05-12 2011-11-17 Neurofocus, Inc. Mechanisms for collecting electroencephalography data
US9993190B2 (en) 2011-08-16 2018-06-12 Intendu Ltd. System and method for neurocognitive training and/or neuropsychological assessment
GB2499595A (en) * 2012-02-21 2013-08-28 James Roche Infant EEG electrode system
US10188307B2 (en) * 2012-02-23 2019-01-29 Bio-Signal Group Corp. Shielded multi-channel EEG headset systems and methods
CN103961090B (zh) * 2013-01-31 2016-03-30 香港理工大学 一种可头部安装并具有脑电图用电极的装置
US9622702B2 (en) * 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data

Also Published As

Publication number Publication date
WO2016139576A2 (en) 2016-09-09
EP3064130A1 (en) 2016-09-07
US20210208680A1 (en) 2021-07-08
WO2016139576A3 (en) 2016-10-27
US20180239430A1 (en) 2018-08-23
EP3264977A2 (en) 2018-01-10
EP3264977B1 (en) 2021-12-29
CN107405101A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
ES2910273T3 (es) Sistema de medición y retroalimentación de la actividad cerebral
CN109875501B (zh) 生理参数测量和反馈系统
US20240207605A1 (en) Neural sleeve for neuromuscular stimulation, sensing and recording
US20190286234A1 (en) System and method for synchronized neural marketing in a virtual environment
Reis et al. Methodological aspects of EEG and body dynamics measurements during motion
AU2014225626B2 (en) Form factors for the multi-modal physiological assessment of brain health
Ranky et al. Analysis of a commercial EEG device for the control of a robot arm
KR20160055103A (ko) 뇌 건강의 다중-모드 생리적 자극 및 평가를 위한 시스템 및 시그너처
WO2007138598A2 (en) Brain stimulation and rehabilitation
US9372533B1 (en) Facial movement measurement and stimulation apparatus and method
Bulea et al. Simultaneous scalp electroencephalography (EEG), electromyography (EMG), and whole-body segmental inertial recording for multi-modal neural decoding
Powell et al. Openbutterfly: Multimodal rehabilitation analysis of immersive virtual reality for physical therapy
JP6145663B2 (ja) 生体信号計測システム、および生体信号計測方法
JP6755507B2 (ja) 脳活動訓練システム及び脳活動訓練システムの作動方法
Pradhapan et al. Toward practical BCI solutions for entertainment and art performance
SIONG Training and assessment of hand-eye coordination with electroencephalography
Bansal et al. EEG Based BCI—Control Applications
Rihana Begum et al. Making Hospital Environment Friendly for People: A Concept of HMI
Hema Priyadarshini et al. Epocalypse Telepathy of Objects Using Brain Force
Méndez-Gordillo et al. Design and Construction of a Brain-Computer Interface for Applications in Neuro-Robotics
Lei A Virtual Reality Rehabilitation Interface with Augmented Sensing, Interaction, and Visualization Techniques
Grzeczkowski et al. NeuroHub: Portable and Scalable Time Synchronization Instrument for Brain-Computer Interface and Functional Neuroimaging Research
CN117724606A (zh) 集成健康传感器
Schombs Low Cost Devices for Research in Brain-Computer Interfaces
Lee et al. Training and measuring the hand-eye coordination capability of mentally ill patients