BRPI1100261B1 - Processo e dispositivo para interface cérebro-computador - Google Patents

Processo e dispositivo para interface cérebro-computador Download PDF

Info

Publication number
BRPI1100261B1
BRPI1100261B1 BRPI1100261-1A BRPI1100261A BRPI1100261B1 BR PI1100261 B1 BRPI1100261 B1 BR PI1100261B1 BR PI1100261 A BRPI1100261 A BR PI1100261A BR PI1100261 B1 BRPI1100261 B1 BR PI1100261B1
Authority
BR
Brazil
Prior art keywords
brain
signals
eeg
pattern
classification
Prior art date
Application number
BRPI1100261-1A
Other languages
English (en)
Inventor
Marco Antônio Meggiolaro
Alexandre Ormiga Galvão Barbosa
Original Assignee
Faculdades Católicas Mantenedora Da Pontifícia Universidade Católica Do Rio De Janeiro - Puc Rio
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faculdades Católicas Mantenedora Da Pontifícia Universidade Católica Do Rio De Janeiro - Puc Rio filed Critical Faculdades Católicas Mantenedora Da Pontifícia Universidade Católica Do Rio De Janeiro - Puc Rio
Publication of BRPI1100261A2 publication Critical patent/BRPI1100261A2/pt
Publication of BRPI1100261B1 publication Critical patent/BRPI1100261B1/pt

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Mathematical Physics (AREA)
  • Neurosurgery (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

processo e dispositivo para interface cérebro-computador a presente invenção fornece uma interface cérebro-computador como um canal de comunicação alternativo para ser utilizada em diversas aplicações, tais como a robótica. em uma concretização da invenção, é fornecido um processo para a análise e conversão de sinais de eeg obtidos a partir do cérebro em comandos de movimento através de dispositivos elétricos e/ou mecânicos. o processo da presente invenção proporciona vantagens substanciais sobre sistemas/técnica similares conhecidas na arte, tais como uma taxa de acerto média de 91%, obtida em tentativas de controlar um robô móvel. em outra concretização da invenção, é fornecido um aparelho compreendendo: meios para a obtenção de sinais cerebrais; um eletroencefalograma (eeg); e meios de transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. o ditos meios de transdução dos sinais mentais é o cerne da invenção, e proporciona um número de vantagens técnicas sobre sistemas/técnicas similares conhecidas na arte de identificação de atividades mentais.

Description

Campo da Invenção
A invenção é do campo de dispositivos e processos controlados pelo cérebro. Mais especificamente, a presente invenção fornece uma interface cérebro-computador como um canal de comunicação alternativo para ser utilizada em diversas aplicações, tais como a robótica. Em uma concretização da invenção, é fornecido um processo para a análise e conversão de sinais de EEG obtidos a partir do cérebro em comandos de movimento através de dispositivos elétricos e/ou mecânicos. O processo da presente invenção proporciona vantagens substanciais sobre os sistemas/técnicas similares conhecidas na arte, como uma taxa de acerto de 91% em média, obtido nas tentativas para controlar um robô móvel. Em outra concretização da invenção, é fornecido um aparelho compreendendo: meios para a obtenção de sinais cerebrais; um eletroencefalograma (EEG); e meios de transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. Os ditos meios de transdução de sinais mentais é o cerne da invenção e fornece uma série de vantagens técnicas sobre os sistemas/técnicas similares técnicas conhecidas na arte de identificação de atividades mentais.
Antecedentes da Invenção
O desenvolvimento de interfaces entre humanos e máquinas tem sido um campo em expansão nas últimas décadas. Ele inclui diversas interfaces usando a voz, visão, tato, eletromiografia, eletroencefalografia (EEG) e combinações entre eles como um suporte de comunicação [1]. Um sistema que analisa as ondas cerebrais para obter informações sobre o estado metal dos indivíduos é chamado de Brain Computer Interface (BCI) [2].
As pessoas que estão parcialmente ou totalmente paralisadas (por exemplo, esclerose lateral amiotrófica (ELA) ou acidente vascular cerebral do tronco cerebral) ou que tenham outras deficiências motoras graves, pode encontrar no BCI urn canal alternativo de comunicação [3]. Sistemas BCI sao usados para operar uma série de aplicações acionadas pelo cérebro que aumentam as capacidades de comunicação entre as pessoas, fornecer novas formas de educação e entretenimento, além de permitir o funcionamento de dispositivos físicos [2].
Existem dois tipos de BCI: invasivas, que são baseados em sinais gravados a partir de eletrodos implantados no córtex cerebral (requer cirurgia), e não-invasivas, com base na análise de fenômenos EEG associada a vários aspectos do funcionamento cerebral [1].
Birbaumer [4] mediu potenciais corticais lentos (SCP) sobre o vértice (parte superior do couro cabeludo). SCP são mudanças no nível de despolarização dos dendritos corticais superiores, que indicam o nível de excitação geral de preparação de uma rede cortical. Outros grupos observaram as variações locais dos ritmos do EEG. Os mais utilizados desses ritmos estão relacionados com a imaginação de movimentos, gravado a partir da região central do couro cabeludo que recobre o córtex sensório-motor e o pré- sensório-motor. A este respeito, existem dois principais paradigmas. A equipe de Pfurtscheller [5-6] trabalhou com dessincronização relacionados a eventos (ERD) calculados em intervalos fixos de tempo após o indivíduo ser ordenado a imaginar movimentos específicos dos membros. Alternativamente, Wolpaw [7] e colaboradores analisaram as mudanças contínuas em amplitudes de ritmos mu (12/08 Hz) ou beta (13-28 Hz).
Finalmente, além de ritmos relacionados com motor, Anderson [8] e Millán [9] analisaram as variações contínuas de ritmos do EEG, mas não só sobre o córtex sensório-motor e nas faixas de frequência específicas. A razão é que uma série de estudos neurocognitivos descobriu que diferentes atividades mentais (como a imaginação de movimentos, operações aritméticas, ou idioma) ativam áreas corticais locais em diferentes dimensões. As impressões obtidas a partir desses estudos indicam a colocação de eletrodos para receber sinais de mais relevante para as diferentes tarefas a serem reconhecidas.
Aplicações de BCI incluem o controle dos elementos em um ambiente computacional-renderizado, tal como o posicionamento do cursor [1,3] ou visitando um aposento virtual [10], softwares de reconhecimento de voz [11], e comando de um dispositivo externo, tal como um robô [12] ou prótese [13]. Aplicações recentes em Robótica são o controle de uma cadeira de rodas [14- 16] e o controle do robô móvel Khepera [17].
Na presente invenção, um processo e um dispositivo para BCI não- invasivo com base na análise de EEG foi desenvolvido. Em uma concretização preferida, o dito dispositivo é usado para controlar um robô móvel, onde o controle é fornecido através de quatro atividades mentais específicas: movimentos imaginários dos pés, língua, braço esquerdo e braço direito. Estas atividades estão relacionadas com quatro movimentos robóticos, respectivamente: parar, avançar, virar à esquerda e vire à direita. A interface classifica a atividade mental do usuário, enviando o comando correspondente para ativar o robô móvel. Note que o usuário não precisa ser capaz de realizar tais movimentos dos pés, da língua ou do braço; apenas imaginá-los é o suficiente para ativar o robô.
A literatura científica que aparece neste trabalho é a seguinte: [1] G. N. Garcia, “Direct brain-computer communication through scalp recorded EEG signals,” Doctor’s thesis, Department of Electricity, Ecole Polytechnique Fédérale de Lausanne, Suíça, 2004. [2] J. d. R. Millan, Brain-Computer Interfaces, Handbook of Brain Theory and Neural Networks, 2nd ed., Cambridge, MA, The MIT Press, 2002. [3] J. R. Wolpaw, D. J. McFarland, T. M. Vaughan, “Brain Computer Interface Research at the Wadsworth Center,” IEEE Transactions on Neural Systems and Rehab. Eng., vol. 8, pp. 222-226, 2000. [4] N. Birbaumer, “A spelling device for the paralyzed,” Nature, vol. 398, pp. 297-298, 1999. [5] J. Kalcher, “Graz brain-computer interface II,” Med. & Biol. Eng. & Comput., vol. 34, pp.382-388. 1996. [6] B. Obermaier, C. Neuper, C. Guger, G. Pfurtscheller, “Information Transfer Rate in a Five-Classes Brain Computer Interface,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 9, n° 3, pp. 283-288, 2001. [7] J. R. Wolpaw, D. J. McFarland, “Multichannel EEG-based brain-computer communication,” Electroenceph. Clin. Neurophysiol., vol. 90, pp.444-449, 1994. [8] C. W. Anderson, “Effects of variations in neural network topology and output averaging on the discrimination of mental tasks from spontaneous EEG,” Journal of Intelligent Systems, vol. 7, pp. 165-190, 1997. [9] J. d. R. Millán, Brain-Computer Interfaces, Handbook of Brain Theory and Neural Networks, Second edition, Cambridge, MA, The MIT Press, 2002. [10] J. D. Bayliss, “Use of the Evoked Potential P3 Component for Control in a Virtual Apartment,” IEEE Transactions Rehabilitation Engineering, vol. 11, n°2, pp. 113-116, 2003. [11] B. Obermaier, G. Müller, G. Pfurtscheller, ‘“Virtual Keyboard’ controlled by spontaneous EEG activity,” Proc, of the Int. Conference on Artificial Neural Networks, Heidelberg: Springer-Verlag, 2001. [12] J. del R. Millán and J. Mourino, “Asynchronous BCI and local neural classifiers: an overview of the adaptive brain interface project,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 11, n° 2, pp. 159-161, 2003. [13] G. Pfurtscheller, C. Neuper, G. R. Muller, B. Obermaier, G. Krausz, A. Schlogl, R. Scherer, B. Graimann, C. Keinrath, D. Skiiris, M. Wortz, G. Supp, C.Schrank, “Graz-bci: State of the Art and Clinical Applications,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 11, n° 2, pp.177-180, 2003. [14] B. Rebsamen , E. Burdet, C. Guan, C. L. Teo, Q. Zeng, M. Ang, C. Laugier, “Controlling a wheelchair using a BCI with low information transfer rate,” IEEE International Conference on Rehabilitation Robotics (ICORR), pp. 1003-1008, 2007. [15] F. Galán, M. Nuttin, E. Lew, P. W. Ferrez, G. Vanacker, J. Philips and J. del R. Millán, “A Brain-Actuated Wheelchair: Asynchronous and Non- Invasive Brain-Computer Interfaces for Continuous Control of Robots,” Clinical Neurophysiology, vol. 119, pp. 2159-2169, 2008. [16] I. Iturrate, J. Antelis, A. Kübler, J. Minguez, “A noninvasive brain-actuated wheelchair based on a P300 neurophysiological protocol and automated navigation,” IEEE Transactions on Robotics, vol. 99, pp. 1-14, 2009. [17] J. d. R. Millán, F. Renkens, J. Mourino, W. Gerstner, “Noninvasive Brain- Actuated Control of a Mobile Robot by Human EEG,” IEEE Transactions on Biomedical Engineering, vol. 51, n°6, pp 1026-1033, 2004. [18] A. R. Cotrina, “Sistemas de adquisición y procesamiento de las senales del cerebro,” B.Sc. Thesis, Departamento de Ingeniería Eléctrica y Electrónica, Universidad Nacional de Ingeniería, Lima, Peru, 2003. [19] M. Benning, S. Boyd, A. Cochrane, D. Uddenberg, “The Experimental Portable EEG/EMG Amplifier,” ELEC 499A Report, University of Victoria, Faculty of Engineering, Agosto 2003. [20] National Instruments, “Build Your Own Nl CompactDAQ System.” [Online]. Disponível em: http://ohm.ni.com/advisors/compactdaq [21] C. Tandonnet, B.Burle, T.Hasbroucq, F.Vidal, “Spatial enhancement of EEG traces by surface Laplacian estimation: comparison between local and global methods,” Clinical Neurophysiology, vol. 116, n° 1, pp. 18-24, 2005. [22] P. Jahankhani, V. Kodogiannis, K. Revett, “EEG signal classification using wavelet feature extraction and neural networks,” IEEE John Vincent Atanasoff International Symposium on Modern Computing, pp. 120-124, 2006. [23] M. Van de Velde, G. Van Erp, P. J. M. Cluitmans, “Detection of muscle artifact in the normal human awake EEG,” Electroencephalography and Clinical Neurophysiology, vol. 107, n° 2, pp. 149-158, 1998. [24] D.R. Achanccaray, M.A. Meggiolaro, “Brain Computer Interface Based on Electroencephalographic Signal Processing,” XVI IEEE International Congress of Electrical, Electronic and Systems Engineering - INTERCON 2009, Arequipa, Peru, 2009. [25] A.O.G. Barbosa, D.R. Achanccaray, M. Vellasco, M.A. Meggiolaro, R. Tanscheit, “Mental Tasks Classification for a Noninvasive BCI Application”, 19th International Conference on Artificial Neural Networks, ICANN'09, Limassol, Chipre, 2009. [26] F. Findji, P. Catani, C. Liard, “Topographical distribution of delta rhythms during sleep: Evolution with age,” Electroencephalography and Clinical Neurophysiology, vol. 51, n°6, pp. 659-665, 1981. [27] Tolerância R/C, “PCTx - PC to Transmitter Interface.” [Online]. Disponível em: http://www.endurance-rc.com/pctx.html
Do que se depreende da literatura pesquisada, não foram encontrados documentos antecipando ou sugerindo os ensinamentos da presente invenção, de forma que a solução aqui proposta, aos olhos dos inventores, possui novidade e atividade inventiva frente ao estado da técnica.
Sumário da Invenção
Resumidamente, a presente invenção compreende um processo e um dispositivo para BCI não-invasiva baseados na análise eletroencefalograma (EEG). Em uma concoretização preferencial, o referido dispositivo é usado para controlar um robô móvel, o controle sendo provido através de diferentes atividades mentais - tais como movimentos imaginários de um membro específico. Estas atividades são correlacionadas com quatro movimentos do robô, respectivamente. A interface classifica atividade mental do usuário, enviando comando correspondente para ativar o robô movei. Note que o usuário não necessita ter habilidade/capacidade de realizar nenhum movimento; apenas a imaginação de tais movimentos é suficiente para ativar o robô.
É um dos objetos da presente invenção para fornecer uma interface de computador-cérebro melhorada.
Em uma concretização da invenção, sendo, portanto, outro de seus objetos, é fornecido um processo para funções controladas por cérebro compreendendo as etapas de: sinais cerebrais obtidos de forma não-invasiva através de conjunto de eletrodos; o processamento e registro dos ditos sinais com um eletroencefalograma (EEG); e transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. A etapa de transdução de sinais (a interface) é composta por análises do sinal EEG, que extraem características que podem ser classificadas como atividades mentais específicas. A etapa de transdução de sinais compreende de preferência três etapas: pré-processamento de sinal; diferentes modelos de redes neurais para classificar atividades mentais; e uso de implementações de diferentes classificadores baseados em clasificação de múltiplas tentativas. Em uma concretização preferida do processo da invenção, a etapa de transdução de sinais tem a seguinte composição: primeiro, um pré-processamento de sinal é realizado a partir dos dados do EEG, filtragem de ruído, utilizando um filtro espacial para aumentar a resolução do sinal do escalpe e extração de características relevantes; em seguida, diferentes modelos de classificação baseados em redes neurais são propostos, avaliados e comparados; por fim, duas implementações dos classificadores desenvolvidos, baseados em classificações de múltiplas tentativas são propostas para melhorar a taxa de sucesso de comandos através de uma interace.
Em uma concretização preferida da invenção, é fornecido um processo para funções controladas por cérebro compreendendo as etapas de: a) obtenção de sinais cerebrais de forma não-invasiva; b) processamento dos ditos sinais com um eletroencefalograma (EEG); e c) transdução dos ditos sinais em comandos funcionais por meio da extração de características de sinais de EEG, em que os ditos sinais são classificados como atividades mentais específicas por: I. pré-processamento de sinal; II. implementação de modelos de classificação; e III. classificação dθ tentativas múltiplas para aumentar a taxa de sucesso dos comandos.
Em uma concretização preferida do processo da invenção, a etapa de classificar modelos compreende a análise e avaliação de pelo menos uma ou uma combinação das seguintes características: • um arranjo de redes neurais artificiais MLP, o qual é proposto como um classificador devido ao seu conhecido desempenho para generalização. Tal conjunto tem o mesmo número de redes neurais MLP e padrões (por exemplo, 4), e cada uma classifica melhor um dos padrões, resultando em uma classificação melhorada quando as respostas de cada rede neural são combinadas. Tal método pode ser, por exemplo, o Ensemble of MLP Neural Networks with Driven Pattern Replication (MLP-DPR) (Fig- 3); • um sistema onde um certo número de redes neurais são utilizadas, uma para cada padrão. Cada rede classifica os vetores característicos como pertencentes ou não ao seu respectivo padrão e associa um valor para mensurar a relação entre essas saídas. Tal sistema pode ser, por exemplo, o Modular Multi-Net System (MMN) (Fig. 4); quando mais de uma rede neural classifica um vetor característico como pertencente ao seu respectivo padrão, a classificação é obtida como aquela com maior valor de saída. • uma estrutura hierárquica onde o primeiro nível classifica entre padrões mesclados resultantes da união de padrões confusos, e o segundo nível classifica entre os padrões confusos quando seus respectivos padrões mesclados são pré-classificados no primeiro nível.
Em uma concretização preferida do processo da invenção, a etapa de classificação de múltiplas tentativas para melhorar a taxa de sucesso dos comandos é composta por duas implementações dos métodos propostos: • uma implementação que utiliza o terceiro sistema descrito anteriormente, como o Threshold implementation with MMN. Notas atribuídas a cada saída - correspondentes a cada padrão - são adicionadas às suas respectivas notas na tentativa seguinte. Quando a soma das notas de algum padrão atinge um limite predeterminado, esse padrão é escolhido e convertido. Se mais de um padrão atingir o limite na mesma tentativa ou mesmo se nenhum padrão atingir o limite definido em um número máximo de tentativas, então o comando é classificado como "não-claro" e nenhuma ação é tomada. O valor limite é definido de acordo com a habilidade do usuário para gerar padrões repetidamente. • uma implementação que utiliza o terceiro sistema descrito anteriormente, tal como o Statistical implementation with HM. Cada tentativa é classificada utilizando o terceiro modelo descrito anteriormente, por exemplo, o HM. Para m padrões diferentes, a ocorrência de cada uma e a taxa limite de ocorrência são avaliadas de acordo com m. Se a taxa limite de ocorrência de um padrão é alcançada, então ele é escolhido e convertido. Se o número de tentativas alcançar um número pré- especificado sem ter escolhido um padrão, então o comando é classificado como "não-claro" e nenhuma ação é tomada.
Em uma outra concretização preferida do processo da invenção, a taxa de acerto é de cerca de 91% ou superior, e/ou a taxa de comandos errados de cerca de 1,25% ou menos, depois de 400 tentativas de gerar um sinal de controle.
Em outra concretização da invenção, sendo, portanto, outro de seus objetos, é fornecido um dispositivo/aparato para funções controladas por cérebro controladas compreendendo: meios não-invasivos para obtenção de sinais cerebrais; um eletroencefalograma (EEG); e meios de transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. Em uma concretização preferida, o dito dispositivo é aplicado para o controle dos movimentos de um robô móvel de 120 lb pelo cérebro, associando-se quatro atividades mentais diferentes aos comandos do robô.
Em uma concretização preferida, o dispositivo da invenção proporciona o controle pelo cérebro de dispositivos/equipamentos eletromecânicos, tais como cadeiras de rodas elétricas ou manipuladores/próteses robóticas.
Em outra concretização da invenção, o dispositivo da invenção proporciona o controle pelo cérebro de um software que permite ao usuário rolar através de um menu funcional com várias funções utilizando atividades mentais, e selecionando aquela que for escolhida por atividade mental ou por uma piscada de olho. O software pode usar todas as atividades mentais ou apenas um subconjunto de apenas duas ou três atividades, para reduzir o tempo de resposta enquanto aumenta a taxa de acerto do sistema para valores próximos de 100%.
Estes e outros objetos da invenção será mais facilmente entendida pela descrição detalhada da invenção.
Breve Descrição das Figuras A Figura 1 apresenta as posições do eletrodo a partir do Sistema Internacional 10-20. A Figura 2 mostra a decomposição do DWT da faixa de frequência, onde as letras de (a) até (q) significam as faixas de frequência das ondas cerebrais. A Figura 3 mostra o modelo do conjunto, onde (a) significa "NET 1”, (b) significa "NET 2", (c) significa "NET 3", (d) significa "NET 4", (e) significa "Padrão Médio 'RM'", (f) significa " Padrão Médio 'LM'", (g) significa " Padrão Médio 'UM’”, (h) significa “Padrão Médio ‘DM’", (i) significa " MAX ". A Figura 4 ilustra o sistema modular multi-net, onde (a) significa "NET ‘RM’", (b) significa "NET ‘LM’", (c) significa "NET ‘UM’", (d) significa "NET ‘DM’", (e) significa "pertence", (f) significa "não pertence", (g) significa "MAX", e (h) significa "resposta". A Figura 5 apresenta o modelo hierárquico, onde (a) significa "NET RM", (b) significa "NET ‘LM", (c) significa NET ‘UM ou DM’", (d) significa “NET 'DM’", (e) significa "RM", (f) significa "LM", (g) significa “’UM ou DM’", (h) significa “DM", (i) significa "UM", (j) significa "MAX primeiro passo", (k) significa "MAX segundo passo", (I) significa "UM ou DM", (m) significa "não", (n) significa "sim", (o) significa "Padrão - MAX primeiro passo ", (p) significa" PADRÃO - MAX segundo passo".
Descrição Detalhada da Invenção
A presente invenção proporciona uma interface computador-cérebro melhorada. O conceito inventivo em comum sobre os objetos da invenção é o meio para a transdução de sinais obtidos a partir do cérebro, os ditos meios de transdução compreendendo algoritmos melhorados.
A invenção proporciona um processo para funções controladas pelo cérebro compreendendo as etapas de: sinais cerebrais obtidos de forma não- invasiva através de conjunto de eletrodos; o processamento e registro dos ditos sinais com um eletroencefalograma (EEG); e transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. A etapa de transdução de sinais (a interface) é composta por análises do sinal EEG, que extraem características que podem ser classificadas como atividades mentais específicas. A etapa de transdução de sinais compreende de preferência três etapas: pré-processamento de sinal; diferentes modelos de redes neurais para classificar atividades mentais; e uso de implementações de diferentes classificadores baseados em clasificação de múltiplas tentativas. Em uma concretização preferida do processo da invenção, a etapa de transdução de sinais tem a seguinte composição: primeiro, um pré-processamento de sinal é realizado a partir dos dados do EEG, filtragem de ruído, utilizando um filtro espacial para aumentar a resolução do sinal do escalpe e extração de características relevantes; em seguida, diferentes modelos de classificação baseados em redes neurais são propostos, avaliados e comparados; por fim, duas implementações dos classificadores desenvolvidos, baseados em classificações de múltiplas tentativas são propostas para melhorar a taxa de sucesso de comandos a um robô móvel. Em uma das implementações, a taxa de acerto é de cerca de 91% ou superior, com apenas 1,25% de comandos errados após 400 tentativas de controlar um robô móvel.
A invenção também fornece um dispositivo/aparato para funções controladas por cérebro controladas compreendendo: meios para obtenção de sinais cerebrais; um eletroencefalograma (EEG); e meios de transdução dos ditos sinais em comandos funcionais úteis em várias aplicações. Em uma concretização preferida, o dito dispositivo é aplicado para o controle dos movimentos de um robô móvel de 120 lb pelo cérebro, associando-se quatro atividades mentais diferentes aos comandos do robô.
Os detalhes e as concretizações preferidas indicadas abaixo são destinados a facilitar a reprodução da invenção, e devem ser entendidos como sendo meramente ilustrativos, sem restringir o escopo da invenção. Assim, as concretizações preferidas da invenção são referidas como sendo o movimento de um robô móvel através da análise, interpretação e conversão de ondas cerebrais para este movimento, embora haja muitas outras aplicações da invenção. Exemplo 1. Pré-Processamento
Pré-processamento é realizado em um PC notebook ou em uma placa de processamento eletrônico dedicada em basicamente quatro etapas: filtragem de ruídos, filtragem espacial, extração de características e detecção de objeto-artefato. A. Ruído Elétrico
A maioria das fontes de ruído externo pode ser evitada controlando adequadamente o ambiente em que a medição é realizada. Mas nem todas as interferências podem ser eliminadas desta maneira. Mesmo se os componentes eletrônicos forem colocados em uma caixa de metal e devidamente aterrados, os sinais de EEG não serão totalmente isentos de linha de energia e outros ruídos. Assim, um filtro digital Butterworth passa-baixa de oitava ordem com frequência de corte de 35Hz foi concebido para eliminar qualquer ruído residual, mantendo apenas as frequências de EEG de interesse. B. Filtragem Espacial
Registros eletroencefalográficos (EEG) monopolares convencionais têm uma baixa resolução espacial. A distribuição potencial do escalpe pode ser vista como uma cópia "borrada" da distribuição potencial cortical original. No entanto, uma estimativa local pode ser obtida, pelo método Hjorth, computando a diferença entre o potencial de cada local do eletrodo e o potencial médio de seus vizinhos mais próximos [21]
Figure img0001
onde Vn é o potencial registrado no eletrodo nodal, VA, VB, VC são os potenciais registrados nos eletrodos adjacentes, e d é a distância entre o nó e os eletrodos adjacentes. C. Extração de Características
Devido à especialização do cérebro, eletrodos colocados nas regiões frontal (localizado próximo à área do córtex pré-motor), central (na área do córtex motor) e parietal são escolhidos para adquirir sinais de EEG. Eles correspondem ás localizações F3, Fz, F4, C3, Cz, C4, P3 e P4, de acordo com o Sistema Internacional 10-20 de colocação dos eletrodos, mostrado na figura 1.
Sinais de EEG de cada um dos oito canais são decompostos por meio de uma Discrete Wavelet Transform (DWT), até atingir a faixa de freqüência das ondas cerebrais. O DWT é aplicado em sete níveis, mostrados na figura 2, para aproximadamente representar as quatro faixas de frequência principal das ondas cerebrais [22]: • Banda Delta [0-4 Hz]: (n). • Banda Theta [4-8 Hz]: (o). • Banda Alfa [8-13 Hz]: (m). • Banda Beta [13-30 Hz]: (k).
A taxa de amostragem escolhida é 1 kHz, então a decomposição de faixas de frequência começa no intervalo entre 0 e 500 Hz.
A maioria das tarefas mentais relacionadas com o movimento de imagens mostrou maior atividade nas bandas alfa e beta [3]; portanto, essas frequências são escolhidas para serem processadas.
A Multi Layer Perceptron Neural Network é concebida para avaliar a importância de algumas características extraídas a partir dos níveis selecionados da decomposição DWT. Em uma concretização da presente invenção, uma série de 10 conjuntos compostos cada um por 700 amostras de EEG do mesmo tópico é usada para preparação, validação e testes adicionais. Cada amostra é adquirida dentro de um período de 1 segundo, incluindo as informações a partir de 8 eletrodos (canais). O usuário é solicitado a realizar 175 tentativas de cada um dos quatro movimentos imaginários: braço esquerdo, braço direito, língua e pés, totalizando 700 amostras. A partir deste conjunto de dados, 400 tentativas são usadas para preparação, 100 para a validação de preparação, e 200 para o teste.
Algumas características, como média, passagem por zero e energia a partir de diferentes níveis de DWT são combinadas como entradas de vetores característicos para a rede neural MLP. O vetor característico foi escolhido como aquele que levou o maior número de classificações corretas dos experimentos.
O vetor característico escolhido VF é composto pelas energias dos níveis de"m" (Banda Alfa), "k"(Banda Beta) e "h" (todo o espectro do EEG) a partir da decomposição DWT. A energia E é definida como:
Figure img0002
onde n é o comprimento do vetor VDWT a partir da decomposição DWT de cada banda escolhida de cada um dos 8 canais, e VDWTj é o i-ésimo elemento do vetor.
Havendo 3 bandas por cada um dos 8 canais, o vetor característico escolhido VF tem 24 elementos, correspondendo a um teste de uma tarefa mental adquirida durante um período de 1 segundo. D. Detecção de Artefato
A presença de movimentos oculares, piscada dos olhos e artefatos musculares nos sinais EEG pode ser facilmente detectada a partir da observação simples. Na realidade, cada tipo de artefato tem características de tempo e de frequência que o fazem distinguir-se dos sinais EEG regulares [1].
O conteúdo espectral de artefatos oculares está concentrado principalmente na banda teta (4 - 8Hz), com amplitudes relativamente altas. Eles são mais proeminentes em eletrodos pólos frontais, ou seja, Fp1 e Fp2 [23]. Artefatos podem ser considerados como eventos singulares no plano tempo-frequência que aparecem aleatoriamente em sinais de EEG. Assim, devido às suas características, podem ser estatisticamente detectada em um conjunto de dados.
Nesta concretização da invenção, apenas artefatos oculares são detectados e removidos do conjunto de dados de preparação. A detecção é feita computando a média da energia do sinal a partir dos eletrodos frontais (F3, F4 e Fz) ao nível "h" de DWT. Experimentos mostraram que os artefatos podem ser detectados como os que são maiores que 3 vezes o desvio do conjunto de dados. Além disso, um filtro passa-alta digital Butterworth de terceira ordem, com frequência de corte de 4 Hz, é projetado para atenuar artefatos oculares durante a aplicação. Exemplo 2. Processamento
Uma vez que os sinais de EEG foram pré-processados no computador para gerar vetores característicos, eles são classificados (no mesmo computador) como uma das quatro tarefas mentais escolhidas: o movimento imaginário do braço direito (Right Movement, RM), braço esquerdo (Left Movement, LM), língua (Up Movement, UM, que será associado com o robô se movendo para a frente) e pés (Down Movement, DM, associado à parada do robô). Estas tarefas mentais foram escolhidas devido às suas características acentuadas na atividade cerebral, tornando-as fáceis para correlacionar uma ação do robô móvel desejado. Nesta concretização da invenção, os classificadores baseados em redes neurais artificiais são utilizados.
Em um trabalho anterior dos autores, Achanccaray comparou uma Probabilistic Neural Network (PNN) e uma Multilayer Perceptron Neural Network (MLP) [24]. O método proposto acabou usando um PNN baseado na decomposição DWT na banda delta, mas com resultados modestos.
Os métodos propostos anteriormente por Barbosa em mostraram um desempenho muito bom nos testes preliminares [25]. No entanto, o número de experimentos não foi estatisticamente significativo - um número muito limitado de testes foi realizado para validar a metodologia proposta.
Em uma concretização da invenção, um extenso programa experimental composto de 10 conjuntos de 700 atividades mentais cada é realizado para avaliar corretamente as estatísticas da taxa de acerto. Quatro métodos de classificação são considerados e avaliados: o método PNN Delta Band [24], e três novos métodos baseados na melhoria dos modelos apresentados por Barbosa: um conjunto de modelos MLP, um sistema modular multi-net, e um modelo hierárquico, descritos a seguir [25]. A. Conjunto de Redes Neurais MLP com Driven Pattern Replication (MLP- DPR)
Um conjunto de redes neurais artificiais MLP (figura 3) foi desenvolvido no presente invenção como um classificador para este problema, devido ao seu conhecido desempenho para generalização. Este conjunto é composto por quatro diferentes redes neurais MLP, onde cada uma classifica melhor um dos quatro padrões de RM, LM, UM e DM. Driven Pattern Replication é usada no conjunto de dados de preparação para criar diferentes redes neurais. Redes especializadas em cada padrão são usadas com seus respectivos vetores característicos de preparação replicados quatro vezes, além de outros vetores característicos padrão. Portanto, o vetor característico é aplicado a cada rede neural. A classificação final é obtida combinando os valores de saída de cada membro pelo seu valor médio, selecionando então o maior valor médio de saída. 5. Modular Multi-Net System (MMN)
Neste sistema, quatro redes neurais são utilizadas, ver figura 4. Cada rede classifica os vetores característicos como pertencentes ou não ao seu respectivo padrão. Quando mais de uma rede neural classifica um vetor característico como pertencente ao seu respectivo padrão, a classificação é obtida como aquele com maior valor de saída. A fim de simplificar o algoritmo, uma nota atribuída a cada padrão é calculada como a relação entre as duas saídas das redes neurais (saída "pertence ao grupo" dividido pela saída "não pertence ao grupo"). C. Modelo Hierárquico (HM)
O modelo hierárquico foi proposto depois de avaliar o desempenho da classificação do sistema modular multi-net (MMN). Ao analisar a matriz de confusão resultante do MMN (Tabela I), verifica-se que a maioria da classificação perdida entre os padrões UM e DM. Tabela 1: Matriz de confusão do sistema modular multi-net
Figure img0003
Portanto, uma estrutura hierárquica é modelada, como mostrado na figura 5. É composto por três classificadores na primeira etapa, treinados para reconhecer padrões como pertencentes ou não pertencentes à RM, LM, e {UM ou DM}. Na segunda etapa, outra rede neural MLP é usada para identificar entre os padrões UM e DM quando {DM ou UM} tem sido pré-classificados pelo seu respectivo subsistema na primeira etapa. O mesmo vetor classificatório é aplicado a todos os classificadores. A resposta final do sistema depende dos classificadores do primeiro passo. Se o subsistema do primeiro passo treinado para identificar {UM ou DM} fornecer o nível de saída mais alto entre todos os subsistemas, então a resposta do sistema hierárquico é dada pela classificação de rede MLP da segunda etapa (valor máximo entre as saídas UM e DM). Caso contrário, a resposta final é fornecida pelo subsistema com o maior valor de saída. Como resultado, a nova matriz de confusão resultante (Tabela 2) mostra resultados melhores que o modelo MMN, aumentando a taxa de acerto da classificação. Na próxima seção, os modelos de classificação são experimentalmente avaliados e comparados.
Figure img0004
Exemplo 3. Experimentos Classificatórios
Os quatro métodos de classificação descritos nas seções anteriores são 5 avaliados com e sem descarte de artefatos oculares do conjunto de dados de preparação. A avaliação utiliza 2.000 atividades mentais, dos 200 dados de teste de cada um dos 10 conjuntos anteriormente mencionados, obtidos a partir de um único usuário. A tabela 3 mostra as taxas de acerto de classificações corretas para os 10 conjuntos de dados com e sem detecção de artefato ocular.
Vê-se que o pré-processamento de artefatos oculares, presente devido à piscagem ou à leitura de instruções no computador de teste, não leva a melhorias significativas nas taxas de sucesso.
Figure img0005
Como visto na Tabela 3, os resultados do método PNN-DB em uma baixa taxa média de sucesso de 36%. Este baixo desempenho pode ser explicado pela escolha da Banda Delta, que é comumente relacionada com o sono profundo [26] e, possivelmente, devido a ter descartado eletrodos relevantes, tais como C4 e Fz.
Os outros três métodos apresentam melhores índices de sucesso, cerca de 60%. No entanto, tais taxas de sucesso podem ainda ser insuficientes para várias tarefas entre cérebro-máquina. Portanto, não é uma boa ideia usar uma única tentativa para ser classificada e convertida em uma ação do robô. Duas diferentes implementações dos métodos propostos são considerados para conectar o usuário a um robô, utilizando vários testes (e sem a necessidade de detectar artefatos). Ambas as implementações usam tentativas consecutivas de um segundo cada, que são registradas, processadas e combinadas para resultar na classificação final, conforme descrito a seguir. A. Implementação de disparo com o MMN
Na implementação de disparo, o sistema modular multi-rede (MMN) é usado, porque ele tem um desempenho semelhante ao MLP-DPR e HM, enquanto fornece uma nota estimada da mesma forma que os quatro padrões (HM, por exemplo, usa redes diferentes, além de sua divisão em duas etapas). Notas atribuídas a cada saída - que correspondem aos quatro padrões de RM, LM, UM e DM - são adicionados às suas respectivas classificações na tentativa seguinte, até que um limite é atingido por um único padrão, quando é escolhida e transformada em uma ação do robô. Neste exemplo, a maior nota em cada tentativa está marcada para 3, e o limite é definido como 5 (pois, pelo menos, duas tentativas são necessárias para atingir o limite), mas outros valores podem ser escolhidos. Se mais de um padrão atingir o limite na mesma tentativa ou mesmo se nenhum padrão atinge o limite inferior definido, por exemplo, 15 tentativas, o comando é classificado como "não-claro" e nenhuma ação é tomada.
O valor limite é definido pelo usuário, relacionada com sua capacidade de se concentrar nos movimentos imaginários. Durante a primeira vez que utiliza a interface, é natural que o usuário precise definir um valor limite elevado para acabar com a avaliação de cada comando durante um maior número de tentativas. Quando o usuário aumenta a sua capacidade para gerar padrões corretos, é possível diminuir o valor do limite, e assim o tempo necessário para obter o comando resultante. 8. Implementação Estatística com HM
Como na aplicação de limiar, a aplicação de estatística exige mais do que uma tentativa de dar uma resposta. Mas, ao invés de usar o sistema modular multi-net (MMN), o modelo hierárquico (HM) é usado.
Nesta implementação, cada tentativa é classificado usando o HM. Para m padrões diferentes, a ocorrência de cada um é avaliada após um número pré-definido mínimo de tentativas (por exemplo, um mínimo de m+1 tentativas). Se um determinado padrão atinge uma taxa de ocorrência de pelo menos 2/m, então ele é escolhido e convertido em uma ação do robô. Nesta concretização da invenção, 4 padrões são considerados, RM, LM, UM e DM, pois m = 4. Como resultado, a taxa de ocorrência de cada padrão, após m+1 = 5 ou mais tentativas é avaliada após cada tentativa, até que uma das taxas atinja pelo menos 2/m = 50%. O número de tentativas é limitado ao valor heurístico 3 (m +1) = 15 nesta implementação, após as quais o comando é classificado como "não-claro" e nenhuma ação é tomada. Ambas as implementações são avaliadas a seguir. Exemplo 4. Aplicação a um robô móvel
Em uma concretização preferida, o processo da invenção foi usado em um dispositivo (o BCI desenvolvido) para o controle de um robô móvel de 2 rodas e 120 lb. O robô móvel escolhido, chamado "Touro", foi desenvolvido pelo Laboratório de Robótica da Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). O dito robô foi programado para seguir comandos em rádio- frequência (RF) e nenhum desenvolvimento adicional foi necessário. Além disso, tal sistema é análogo a uma cadeira de rodas elétrica, uma das possíveis aplicações do BCI: é dirigido por apenas duas rodas ativa utilizando a unidade diferencial, e tem tração suficiente para transportar um adulto.
Os comandos BCI são traduzidos em quatro movimentos distintos: virar 30 graus para a direita (RM), virar 30 graus para a esquerda (LM), avançar 500 mm (UM), e parar (DM). Note-se que quaisquer valores sem serem 30 graus e 500 mm podem ser utilizados.
A comunicação com o robô é feita através de um módulo PCTx [27], que recebe os valores de uma conexão USB e traduz em comandos para um transmissor Futaba RF 75MHz que aciona o robô.
A porção de PC do aplicativo é implementada no ambiente MATLAB®, incluindo aquisição de dados do conversor A/D de EEG, pré-processamento, processamento e envio de comandos para o módulo PCTx. O PC utilizado no experimento é um notebook Core 2 Duo 2.2GHz.
A calibração do sistema é realizada em duas etapas. Na primeira etapa, o usuário precisa, para realizar atividades mentais solicitadas pelo software, calibrá-lo. Primeiro, o usuário é solicitado a testar (sem qualquer movimento do corpo) um movimento imaginário de seus pés por onze segundos (um bip curto começa a contagem e um longo bip indica o fim da aquisição), dos quais apenas os últimos dez os segundos são registrados. Então, depois de uma pausa de cinco segundos, a próxima atividade mental (neste caso o movimento imaginário de sua língua) é registrada da mesma forma, e assim por diante para as atividades do braço esquerdo e direito.
Observe que as pausas de 5 segundos entre as gravações são importantes para o usuário relaxar e se preparar para a próxima etapa. Além disso, descartar o primeiro segundo de cada gravação é importante para uma calibração eficiente, para garantir que nenhum artefato auditivo esteja presente devido ao curto bip que indica o início de cada contagem. Este processo é repetido até 700 que tentativas sejam registadas (400 são usadas para preparação), levando cerca de 20 minutos para tentativas de 1 segundo e pausas de 5 segundos.
Na segunda etapa da calibração, o conjunto de dados obtidos é usado para preparar o classificador. A preparação de 4 redes neurais leva menos de 30 segundos no notebook usado.
Após a preparação, o sistema está pronto para continuar a identificar as atividades mentais para controlar o robô móvel. Cada teste leva menos de 30ms a ser computado, o que é insignificante se comparado com a duração de
Is cada tentativa. A maioria destes 30ms são gastos com interface de entrada e saída, e não nos cálculos da metodologia.
Ambas as implementações de disparo e estatísticas são avaliados ao pedir ao usuário para executar 100 vezes cada atividade mental, enquanto olha para o robô móvel. Então, o número de sucesso, os comandos “não-claro” (quando nenhuma tarefa mental é escolhida dentro do número limite de tentativas) e errado são armazenados.
A Tabela 4 mostra os resultados para a tarefa de ativação robô móvel após 400 tentativas. Ambas as implementações resultam em uma taxa muito elevada de comandos de sucesso, quase 90%, com um desempenho ligeiramente melhor para a implementação estatística. A maior vantagem da implementação estatística sobre a de disparo está relacionado com os comandos errados, apenas 1,25%, ao invés de 6,75%. Na implementação estatística, a maioria dos comandos mal-sucedidos não são classificados como não-claro, que não se traduz em qualquer ação para o robô, geralmente um resultado melhor do que o envio de um comando errado. Tabela 4: Percentagens de comandos bem-sucedidos, não-claros e errados pelas implementações utilizando MMN e HM
Figure img0006
Como explicado anteriormente, o número de tentativas para identificar um comando não é fixo, depende da capacidade do usuário para alcançar o valor limite (na implementação de disparo) ou para obter uma alta taxa de uma certa classificação (na implementação estatística). Assim, o tempo necessário para executar uma ação do robô não é fixo. Aqui, as 400 tentativas envolveram cerca de 2.000 tentativas para qualquer aplicação, sendo assim, cada comando teve uma média de 2.000/400 = 5 tentativas de 1 segundo cada, resultando em segundos. Mais testes estão sendo realizados utilizando tentativas mais curtas do que 1 segundo, resultando em cerca de 2 segundos para cada comando, com taxas de acerto semelhantes como as mostradas na Tabela 4. Exemplo 6. Conclusões
Na presente invenção um processo e dispositivo para o condicionamento operante síncrono de um BCI foi desenvolvido, operando com quatro atividades mentais para a ativação de um robô móvel. O BCI usa atividades mentais intuitivas, como um movimento imaginário do braço esquerdo para virar o robô à esquerda, sem a necessidade de imaginar operações aritméticas ou sólidos rotativos. Foram avaliadas a partir de 2.000 tentativas de teste sem o robô móvel e 400 tentativas com o robô. Verificou-se que as características relacionadas com a potência do sinal nas bandas Alpha e Beta representa adequadamente o comportamento dos sinais de EEG no domínio tempo- freqüência durante as funções motoras imaginárias. O processo da invenção não só proporciona uma elevada taxa de comandos bem-sucedidos - cerca de 90% para ambos as implementações de disparo e estatísticas -, mas também diminui consideravelmente o número de comandos errados - tão baixo quanto 1,25% para a implementação estatística - devido ao seu conceito de um comando 'não-claro', quando não forem tomadas medidas. Cada comando para robôs móveis foi identificado em média depois de 5 tentativas, o que poderia traduzir-se em 5 segundos ou menos, dependendo do período escolhido de tentativa. Outros testes mostraram intervalos de tempo tão baixos quanto 2 segundos entre os comandos do robô móvel com taxas de sucesso semelhantes. Outra vantagem de ambas as metodologias é que a calibração do sistema para um determinado usuário leva apenas cerca de 20 minutos.
Apesar do número relativamente elevado de comandos de errado da implementação de disparo, o processo da invenção fornece meios para a geração de comandos combinados, por exemplo, fazer o robô se mover para a frente direita, enquanto o usuário imagina que o movimento da língua e do braço direito. O BCI implementado pode, alternativamente, incluir um Brain
Machine Interface (BMI) incorporado, que oferece portabilidade e maior facilidade de utilização.
Aqueles hábeis na arte apreciarão prontamente a invenção, e reconhecerão que variações sutis nas formas de concretizar o conceito inventivo da invenção devem ser consideradas como dentro do escopo da invenção e das reivindicações anexas.

Claims (11)

1. Processo para funções de controle por cérebro, caracterizado por compreender as etapas de: obtenção não-invasiva de sinais cerebrais adquiridos de perto da área do córtex pré-motor ou da área do córtex motor; processamento dos referidos sinais cerebrais em sinais eletroencefalográficos (EEG); e transdução dos sinais em comandos funcionais por meio da extração de características de sinais de EEG, em que os ditos sinais são classificados como atividades mentais específicas por: pré-processamento de sinal EEG; implementação de modelos de classificação para os referidos sinais EEG, incluindo a implementação de pelo menos um ou uma combinação dos seguintes modelos de classificação: a) um conjunto de redes neurais artificiais (MLP), tendo o referido conjunto um número igual de redes neurais MLP artificial e respectivos padrões; e b) um sistema modular multi-rede (MMN) onde um certo número de redes neurais é usado, uma para cada um dos respectivos padrões, cada rede classificando um vetor de característica como pertencente ou não a seu respectivo padrão, e quando mais de uma rede neural classifica o vetor de característica como pertencente a seu respectivo padrão, então a classificação é obtida como aquela com maior valor de saída, em que o respectivo padrão é selecionado a partir do grupo que consiste de movimento à direita (RM), movimento à esquerda (LM), movimento à frente (UM) e movimento de parada (DM); e conduzindo a classificação de múltiplos ensaios para melhorar uma taxa de acertos de comandos funcionais bem sucedidos.
2. Processo de acordo com a reivindicação 1, caracterizado pela etapa de pré-processamento de sinal compreender: filtragem de ruído, utilizando um filtro espacial para aumentar a resolução do sinal do escalpe; extração de características relevantes.
3. Processo de acordo com a reivindicação 3, caracterizado pelo sistema em b) compreender: a. modelo sendo preferivelmente utilizado para analisar a matriz de confusão resultante do MMN, e verificando a maioria das classificações perdidas; e b. modelando uma estrutura hierárquica, de modo a dividir o problema em níveis, resultando em uma melhor classificação em padrões confusos.
4. Processo de acordo com as reivindicações 1, caracterizado pela etapa de classificação de múltiplas tentativas para melhorar a taxa de sucesso dos comandos ser composta por pelo menos duas implementações, a seguir: a. uma implementação fornecendo notas estimadas para cada padrão, ditas notas atribuídas a cada saída e correspondentes a cada padrão, sendo adicionados às suas respectivas notas na tentativa seguinte; quando a soma das notas de algum padrão atinge um limite predeterminado, esse padrão é escolhido e convertido; se mais de um padrão atingir o limite na mesma tentativa ou mesmo se nenhum padrão atingir o limite definido em um número máximo de tentativas, então o comando é classificado como "não-claro" e nenhuma ação é tomada; b. uma implementação na qual cada tentativa é classificada; para m padrões diferentes, a ocorrência de cada uma e a taxa limite de ocorrência são avaliadas de acordo com m; se a taxa limite de ocorrência for alcançada, então ele é escolhido e convertido; se o número de tentativas chegar ao limite, então o comando é classificado como "não-claro" e nenhuma ação é tomada.
5. Processo de acordo com as reivindicações 1, caracterizado pela taxa de acerto ser de cerca de 91 % ou superior, e/ou a taxa de comandos errados ser de cerca de 1,25% ou menos, depois de 400 tentativas de gerar um sinal de controle.
6. Dispositivo para funções controladas por cérebro, caracterizado por compreender: a) meios para a obtenção não invasiva de sinais cerebrais adquiridos nas proximidades da área do córtex pré-motor ou da área do córtex motor; b) um eletroencefalógrafo (EEG) para processar os referidos sinais cerebrais em sinais EEG; e, c) uma placa de processamento eletrônico dedicada configurada para converter os referidos sinais EEG em comandos funcionais por extração de características dos referidos sinais EEG, onde os referidos sinais EEG são classificados como pelo menos uma atividade mental específica com um padrão respectivo por: I. pré-processamento dos ditos sinais EEG; II. implementação de modelos de classificação para os referidos sinais EEG, incluindo a implementação de pelo menos um ou uma combinação dos seguintes modelos de classificação: a) um conjunto de redes neurais artificiais (MLP), tendo o referido conjunto um número igual de redes neurais artificiais MLP e respectivos padrões; e b) um sistema modular multi-rede (MMN) onde um certo número de redes neurais é utilizado, uma para cada um dos respectivos padrões, cada rede classificando um vetor de característica como pertencente ou não a seu respectivo padrão, e quando mais de uma rede neural classifica o vetor de característica como pertencente a seu respectivo padrão, então a classificação é obtida como aquela com maior valor de saída; em que o respectivo padrão é selecionado a partir do grupo que consiste em movimento à direita (RM), movimento à esquerda (LM), movimento à frente (UM), e movimento de parada (DM); e III. implementar a classificação de múltiplos testes para melhorar uma taxa de acerto de comandos funcionais bem sucedidos.
7. Dispositivo de acordo com a reivindicação 6, caracterizado pelos meios para pré-processamento de sinais compreenderem: meios para filtragem de ruídos; utilização de um filtro espacial para aumentar a resolução do sinal do escalpo; extração de características relevantes.
8. Dispositivo de acordo com as reivindicações 6, caracterizado pelo controle cerebral dos dispositivos/equipamentos eletromecânicos.
9. Dispositivo de acordo com as reivindicações 6, caracterizado pelo controle cerebral de cadeiras de roda.
10. Dispositivo de acordo com a reivindicação 6, caracterizado pelo controle pelo cérebro de um manipulador/prótese robótica.
11. Dispositivo de acordo com a reivindicação 6, caracterizado pelo controle pelo cérebro de um sistema software de computador com um menu funcional linear, incluindo todas as atividades cerebrais, ou um subconjunto de dois ou três atividades para aumentar a performance do sistema, além da detecção de piscadas de olho.
BRPI1100261-1A 2010-09-03 2011-02-28 Processo e dispositivo para interface cérebro-computador BRPI1100261B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/875,544 2010-09-03
US12/875,544 US9211078B2 (en) 2010-09-03 2010-09-03 Process and device for brain computer interface

Publications (2)

Publication Number Publication Date
BRPI1100261A2 BRPI1100261A2 (pt) 2014-04-29
BRPI1100261B1 true BRPI1100261B1 (pt) 2021-07-06

Family

ID=45771203

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1100261-1A BRPI1100261B1 (pt) 2010-09-03 2011-02-28 Processo e dispositivo para interface cérebro-computador

Country Status (2)

Country Link
US (1) US9211078B2 (pt)
BR (1) BRPI1100261B1 (pt)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130266A1 (en) * 2010-11-24 2012-05-24 Honeywell International Inc. Cognitive efficacy estimation system and method
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
WO2014025765A2 (en) * 2012-08-06 2014-02-13 University Of Miami Systems and methods for adaptive neural decoding
US9389685B1 (en) 2013-07-08 2016-07-12 University Of South Florida Vision based brain-computer interface systems for performing activities of daily living
US10069867B2 (en) * 2013-11-29 2018-09-04 Nokia Technologies Oy Method and apparatus for determining privacy policy for devices based on brain wave information
CN104102348A (zh) * 2014-07-16 2014-10-15 英华达(上海)科技有限公司 电子装置的控制系统及其方法
AT516020B1 (de) * 2014-12-09 2016-02-15 Guger Christoph Dipl Ing Dr Techn Verfahren zur Quantifizierung der Wahrnehmungsfähigkeit einer Person
JP2016129660A (ja) * 2015-01-09 2016-07-21 パナソニックIpマネジメント株式会社 判定システム、制御信号出力システム、リハビリシステム、判定方法、制御信号出力方法、コンピュータプログラム
US20190054631A1 (en) * 2015-12-28 2019-02-21 Niranjan Chandrika Govindarajan System and method for operating and controlling a hyper configurable humanoid robot to perform multiple applications in various work environments
TWI676536B (zh) * 2016-01-22 2019-11-11 大陸商鴻富錦精密工業(武漢)有限公司 基於腦電訊號控制之智慧型機器人系統和方法
KR101970700B1 (ko) * 2016-09-30 2019-04-19 고려대학교 산학협력단 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법
RU2627075C1 (ru) * 2016-10-28 2017-08-03 Ассоциация "Некоммерческое партнерство "Центр развития делового и культурного сотрудничества "Эксперт" Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности
CN106625656A (zh) * 2016-11-03 2017-05-10 北京石油化工学院 一种绘图机器人的控制方法与装置
KR20180070103A (ko) 2016-12-16 2018-06-26 삼성전자주식회사 인식 방법 및 인식 장치
CN106901916A (zh) * 2017-03-13 2017-06-30 上海大学 一种采用脑电信号控制的可行走座椅装置及其控制系统
US11402906B2 (en) 2017-03-31 2022-08-02 Agency For Science, Technology And Research System and method for detecting eye activity
CN107212883B (zh) * 2017-05-24 2019-10-18 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11175736B2 (en) 2017-11-10 2021-11-16 South Dakota Board Of Regents Apparatus, systems and methods for using pupillometry parameters for assisted communication
US10582316B2 (en) * 2017-11-30 2020-03-03 Starkey Laboratories, Inc. Ear-worn electronic device incorporating motor brain-computer interface
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
EP3731749A4 (en) 2017-12-31 2022-07-27 Neuroenhancement Lab, LLC NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE
CN108415554B (zh) * 2018-01-18 2020-11-10 大连理工大学 一种基于p300的脑控机器人系统及其实现方法
US20210173483A1 (en) * 2018-02-23 2021-06-10 Hewlett-Packard Development Company, L.P. Brain activity signal input device control
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US20190336024A1 (en) * 2018-05-07 2019-11-07 International Business Machines Corporation Brain-based thought identifier and classifier
US10925509B2 (en) * 2018-05-28 2021-02-23 The Governing Council Of The University Of Toronto System and method for generating visual identity and category reconstruction from electroencephalography (EEG) signals
CN109078262B (zh) * 2018-08-15 2022-11-01 北京机械设备研究所 一种基于外周神经电刺激的mi-bci训练方法
CN113382683A (zh) 2018-09-14 2021-09-10 纽罗因恒思蒙特实验有限责任公司 改善睡眠的系统和方法
CN109814720B (zh) * 2019-02-02 2021-01-26 京东方科技集团股份有限公司 一种设备的脑控方法及系统
US11720081B2 (en) * 2019-03-18 2023-08-08 Duke University Mobile brain computer interface
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110955330B (zh) * 2019-11-22 2021-05-18 燕山大学 基于复杂对象控制的高唤醒度的脑电意图辨析方法
CN111012337B (zh) * 2019-12-13 2024-06-04 燕山大学 基于脑网络和正则化判别分析的脑电分析方法
US20230055867A1 (en) * 2020-07-24 2023-02-23 Tianjin University Method and apparatus for performing spatial filtering and augmenting electroencephalogram signal, electronic device, and storage medium
CN112936259B (zh) * 2021-01-26 2023-06-20 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN113729731B (zh) * 2021-09-06 2022-12-06 上海觉觉健康科技有限公司 基于脑电信号识别大脑意识状态的系统和方法
CN113679394B (zh) * 2021-09-26 2022-09-27 华东理工大学 基于相关性的运动想象的导联选择方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209788B2 (en) * 2001-10-29 2007-04-24 Duke University Closed loop brain machine interface
EP1450737A2 (en) * 2001-11-10 2004-09-01 ARIZONA BOARD OF REGENTS, acting on behalf of ARIZONA STATE UNIVERSITY Direct cortical control of 3d neuroprosthetic devices
WO2008137346A2 (en) * 2007-05-02 2008-11-13 University Of Florida Research Foundation, Inc. System and method for brain machine interface (bmi) control using reinforcement learning
US20120101402A1 (en) * 2009-04-21 2012-04-26 University Of Technology, Sydney method and system for controlling a device

Also Published As

Publication number Publication date
US9211078B2 (en) 2015-12-15
BRPI1100261A2 (pt) 2014-04-29
US20120059273A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
BRPI1100261B1 (pt) Processo e dispositivo para interface cérebro-computador
Barbosa et al. Activation of a mobile robot through a brain computer interface
Ramadan et al. Basics of brain computer interface
Stopczynski et al. Smartphones as pocketable labs: Visions for mobile brain imaging and neurofeedback
Petrantonakis et al. Emotion recognition from brain signals using hybrid adaptive filtering and higher order crossings analysis
Alomari et al. Automated classification of L/R hand movement EEG signals using advanced feature extraction and machine learning
Wei et al. A real-time wearable emotion detection headband based on EEG measurement
Paek et al. Decoding repetitive finger movements with brain activity acquired via non-invasive electroencephalography
Kasim et al. User-friendly labview gui for prosthetic hand control using emotiv eeg headset
Prashant et al. Brain computer interface: A review
Collinger et al. Motor-related brain activity during action observation: a neural substrate for electrocorticographic brain-computer interfaces after spinal cord injury
Rahman et al. A review on the components of EEG-based motor imagery classification with quantitative comparison
Reust et al. Extracting motor imagery features to control two robotic hands
Kumar et al. Classification of error-related potentials evoked during stroke rehabilitation training
Gualsaquí et al. Convolutional neural network for imagine movement classification for neurorehabilitation of upper extremities using low-frequency EEG signals for spinal cord injury
Malik et al. EEG signals classification and determination of optimal feature-classifier combination for predicting the movement intent of lower limb
Barbosa et al. Implementation of a wheelchair control using a four-command brain computer interface
Prabhakara et al. Real time analysis of EEG signals on Android application
Palumbo et al. An embedded system for EEG acquisition and processing for brain computer interface applications
Alzahrani p300 wave detection using emotiv epoc+ headset: effects of matrix size, flash duration, and colors
Matsuno et al. Machine learning using brain computer interface system
Venuto et al. A mobile health system for neurocognitive impairment evaluation based on P300 detection
Islam et al. Auditory Evoked Potential (AEP) Based Brain-Computer Interface (BCI) Technology: A Short Review
Goel An overview of brain computer interface
Khan et al. EMG data acquisition and flight control of quadcopter on different EMG signals

Legal Events

Date Code Title Description
B15L Others concerning applications: renumbering

Free format text: RENUMERADO O PEDIDO DE PI1100261-1 PARA PP1100261-1.

B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 28/02/2011, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO.