KR20240068360A - Apparatus for supporting learning based on real time neuro-feedback and operation method for the same - Google Patents
Apparatus for supporting learning based on real time neuro-feedback and operation method for the same Download PDFInfo
- Publication number
- KR20240068360A KR20240068360A KR1020220149693A KR20220149693A KR20240068360A KR 20240068360 A KR20240068360 A KR 20240068360A KR 1020220149693 A KR1020220149693 A KR 1020220149693A KR 20220149693 A KR20220149693 A KR 20220149693A KR 20240068360 A KR20240068360 A KR 20240068360A
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- task
- signal
- subject
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 23
- 230000003925 brain function Effects 0.000 claims abstract description 73
- 210000004556 brain Anatomy 0.000 claims description 96
- 230000015654 memory Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000005283 ground state Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000003920 cognitive function Effects 0.000 description 7
- 230000000638 stimulation Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000004497 NIR spectroscopy Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 210000000976 primary motor cortex Anatomy 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000004092 somatosensory cortex Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/375—Electroencephalography [EEG] using biofeedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
- A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/37—Intracranial electroencephalography [IC-EEG], e.g. electrocorticography [ECoG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 개시의 일 실시 예에 따른 학습 지원 장치의 동작 방법은 각 단계가 프로세서에 의해 수행되는 방법으로서, 대상자 또는 피험자들의 기저 상태에서 뇌 기능 과제를 위한 제1 과제 데이터를 출력하고, 대상자 또는 피험자들로부터 측정된 제1 뇌파 신호에 기반하여 기저 상태 기준을 설정하는 단계, 뇌 기능 과제를 위한 제2 과제 데이터를 출력하고, 대상자로부터 측정된 제2 뇌파 신호를 입력 받는 단계 및 제2 뇌파 신호를 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하는 단계를 포함할 수 있다. A method of operating a learning support device according to an embodiment of the present disclosure is a method in which each step is performed by a processor, outputting first task data for a brain function task in the baseline state of the subjects or subjects, and A step of setting a baseline state based on the first EEG signal measured from the subject, outputting second task data for the brain function task, receiving the second EEG signal measured from the subject, and setting the second EEG signal to the basis. It may include determining whether to provide a neurofeedback signal by comparing it with a state standard.
Description
본 개시는 학습자의 학습을 지원하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 실시간으로 학습자의 뉴로 피드백 필요성을 판단하여 뉴로 피드백을 제공함으로써 뇌 기능 과제를 수행 중인 학습자의 학습을 지원하는 방법 및 장치에 관한 것이다.The present disclosure relates to a device and method for supporting the learning of a learner. More specifically, a method and device for supporting the learning of a learner performing a brain function task by determining the learner's need for neurofeedback in real time and providing neurofeedback. It's about.
불수의근이나 자율신경계를 우리 의지로 제어하는 기술인 바이오 피드백의 한 종류로서, 특히 뇌파를 통제하는 기술인 뉴로 피드백 기술이 종래 존재한다.As a type of biofeedback, a technology that controls involuntary muscles or the autonomic nervous system with our will, in particular, neurofeedback technology, a technology that controls brain waves, exists in the past.
뉴로 피드백 기술은 대상자의 뇌에서 발생하는 뇌파의 정보를 사용자에게 알려 주는 피드백 방식의 기술에서, 음향적 자극, 시각적 자극 등의 자극을 대상자에게 제공하여 뇌의 기능성을 향상시키는 기술로 발전하였다.Neurofeedback technology has evolved from a feedback-type technology that informs users of brain wave information generated in the subject's brain to a technology that improves brain functionality by providing stimulation such as acoustic stimulation and visual stimulation to the subject.
다만, 종래 뉴로 피드백 기술은 대상자의 현재 뇌파(예를 들면, 특정 뇌파 대역의 세기 등을 기준으로 하는 임계값)를 기준으로만 뉴로 피드백을 위한 자극을 제공하는 방식이 대부분으로서, 대상자 개개인의 서로 다른 상태 또는 상황을 반영하지 못하는 문제점이 있다.However, most conventional neurofeedback technologies provide stimulation for neurofeedback only based on the subject's current brain waves (for example, a threshold based on the intensity of a specific brain wave band, etc.), and each subject's individual There is a problem in that it cannot reflect other states or situations.
예를 들어, 선행기술 1은 심전도 또는 대상자의 디스플레이부의 응시 횟수 등을 포함하는 신체 상태에 기반하여 뉴로 피드백 신호를 생성하거나, 선행기술 2는 대상자에서 과제 수행 중에 생성되는 뇌파에 기반하여 집중도를 판단하여 뉴로 피드백 신호를 생성하고 있다.For example, prior art 1 generates a neurofeedback signal based on the physical state, including the electrocardiogram or the number of times the subject gazes at the display unit, or prior art 2 determines concentration based on brain waves generated while the subject is performing a task. This generates a neurofeedback signal.
본 개시의 실시 예들은 사용자의 상태 또는 상황을 반영하여 실시간으로 뉴로 피드백 신호의 제공 여부를 결정하는 장치 및 방법을 제공한다.Embodiments of the present disclosure provide an apparatus and method for determining whether to provide a neurofeedback signal in real time by reflecting the user's state or situation.
본 개시의 일 실시 예는 사용자의 기저 상태와 비교를 통해 뉴로 피드백 신호의 제공 여부를 결정하는 장치 및 방법을 제공한다. One embodiment of the present disclosure provides an apparatus and method for determining whether to provide a neurofeedback signal through comparison with the user's baseline state.
본 개시의 다른 실시 예는 기저 상태에서 수행된 뇌 기능 과제의 성공 시 기저 상태와 비교를 통해 뉴로 피드백 신호의 제공 여부를 결정하는 장치 및 방법을 제공한다.Another embodiment of the present disclosure provides an apparatus and method for determining whether to provide a neurofeedback signal through comparison with the baseline state when a brain function task performed in the baseline state is successful.
본 개시의 일 실시 예에 따른 학습 지원 장치의 동작 방법은 각 단계가 프로세서에 의해 수행되는 방법으로서, 대상자 또는 피험자들의 기저 상태에서 뇌 기능 과제를 위한 제1 과제 데이터를 출력하고, 대상자 또는 피험자들로부터 측정된 제1 뇌파 신호에 기반하여 기저 상태 기준을 설정하는 단계, 뇌 기능 과제를 위한 제2 과제 데이터를 출력하고, 대상자로부터 측정된 제2 뇌파 신호를 입력 받는 단계 및 제2 뇌파 신호를 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하는 단계를 포함할 수 있다. A method of operating a learning support device according to an embodiment of the present disclosure is a method in which each step is performed by a processor, outputting first task data for a brain function task in the baseline state of the subjects or subjects, and A step of setting a baseline state based on the first EEG signal measured from the subject, outputting second task data for the brain function task, receiving the second EEG signal measured from the subject, and setting the second EEG signal to the basis. It may include determining whether to provide a neurofeedback signal by comparing it with a state standard.
본 개시의 일 실시 예에 따른 학습 지원 장치는 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 대상자 또는 피험자들의 기저 상태에서 뇌 기능 과제를 위한 제1 과제 데이터를 출력하고, 대상자 또는 피험자들로부터 측정된 제1 뇌파 신호에 기반하여 기저 상태 기준을 설정하고, 뇌 기능 과제를 위한 제2 과제 데이터를 출력하고, 대상자로부터 측정된 제2 뇌파 신호를 입력 받고, 제2 뇌파 신호를 상기 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하도록 야기하는 코드를 저장할 수 있다.A learning support device according to an embodiment of the present disclosure includes a processor and a memory that is electrically connected to the processor and stores at least one code to be executed by the processor, and when the memory is executed through the processor, the processor: Output first task data for the brain function task in the baseline state of the subject or subjects, set a baseline state standard based on the first EEG signal measured from the subject or subjects, and second task data for the brain function task. A code may be stored that outputs a second EEG signal measured from the subject, inputs the second EEG signal, compares the second EEG signal with the baseline state, and determines whether to provide a neurofeedback signal.
본 개시의 실시 예에 따른 학습 지원 장치 및 방법은 사용자 개개인의 상태 또는 상황에 적합한 뉴로 피드백 신호를 제공함으로써, 학습 능률을 효율적으로 향상시킬 수 있다.The learning support device and method according to an embodiment of the present disclosure can efficiently improve learning efficiency by providing neurofeedback signals suitable for each user's state or situation.
본 개시의 실시 예에 따른 학습 지원 장치 및 방법은 사용자 개개인의 뇌 기능 과제 성공 시 기저 상태와 비교를 통해 뉴로 피드백 신호의 제공 여부를 결정함으로써 뉴로 피드백 신호의 필요 여부를 정확하게 결정할 수 있다.The learning support device and method according to an embodiment of the present disclosure can accurately determine whether a neurofeedback signal is needed by determining whether or not a neurofeedback signal is provided through comparison with the baseline state when each user succeeds in a brain function task.
도 1은 본 개시의 일 실시 예에 따른 학습 지원 방법을 수행하거나 학습 지원 장치가 구동하기 위한 환경을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 학습 지원 장치의 구성을 나타낸 블록도이다.
도 3 및 4는 본 개시의 일 실시 예에 따른 학습 지원 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5는 본 개시의 일 실시 예에 따른 뇌 기능 과제의 종류에 따라 서로 다르게 저장된 사용자 기저 상태의 판단 기준 데이터를 설명하기 위한 도면이다.1 is a diagram illustrating an environment for performing a learning support method or driving a learning support device according to an embodiment of the present disclosure.
Figure 2 is a block diagram showing the configuration of a learning support device according to an embodiment of the present disclosure.
3 and 4 are flowcharts for explaining the operation method of the learning support device according to an embodiment of the present disclosure.
FIG. 5 is a diagram illustrating judgment standard data of a user's baseline state stored differently depending on the type of brain function task according to an embodiment of the present disclosure.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of reference numerals, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
본 개시의 실시 예에 따른 학습 지원 장치를 실행하기 위한 환경은 학습 지원 장치(100), 네트워크, 대상자 및 학습 지원 서버(200)를 포함할 수 있다.An environment for executing a learning support device according to an embodiment of the present disclosure may include a
학습 지원 장치(100)는 대상자의 뉴로 피드백 신호 제공 여부를 판단하는 기준을 수신하거나, 기준을 설정하거나, 대상자에게 제공되는 학습 컨텐츠를 학습 지원 서버(200)로부터 수신할 수 있다.The
일 실시 예에서, 학습 지원 장치(100)는 대상자로부터 입력 받은 뇌파 신호를 전 처리한 입력 데이터를 분석하여 특정 지표의 값을 산출하는 방식으로 대상자의 현재 뇌 상태를 분석할 수 있다. 뇌파 신호의 분석은 뇌파의 특정 영역, 특정 주파수 대역의 뇌파의 세기 등의 뇌 활동성뿐 아니라 뇌 네트워크 연결성 특징을 분석하는 것일 수 있다.In one embodiment, the
본 명세서에서 사용되는 용어 "뇌파"는 사용자의 뇌의 활성화 및 상태에 따라 변화되는 전기적 또는 자기적 신호들을 의미한다. 뇌파는 뇌전도(EEG: Electroencephalogram), 피질전도(ECoG: Electrocorticogram), 또는 뇌 자도(MEG; Magnetoencephalogram) 등의 뇌의 신경 활동으로 인하여 발생하는 전기적 또는 자기적 신호를 의미하는 포괄적인 용어이다.The term “brain wave” used herein refers to electrical or magnetic signals that change depending on the activation and state of the user's brain. EEG is a comprehensive term that refers to electrical or magnetic signals generated by neural activity in the brain, such as electroencephalogram (EEG), electrocorticogram (ECoG), or magnetoencephalogram (MEG).
일 실시 예에서, 학습 지원 장치(100)는 뇌 인지 기능 과제를 수행하는 대상자의 뇌파 신호를 뇌 신호 측정부(140)를 통하여 실시간으로 측정하고, 전처리한 뇌파 신호를 기 저장된 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정한 후, 대상자에게 뉴로 피드백 처리부(160)를 통하여 뉴로 피드백 신호를 제공할 수 있다.In one embodiment, the
본 명세서에서 기저 상태는 측정 중인 뇌 기능 과제를 수행하기 이전에 미리 수행된 뇌 기능 과제의 성공 시를 의미한다.In this specification, the baseline state refers to the success of a brain function task performed in advance before performing the brain function task being measured.
기저 상태 기준은 뇌파 신호를 분석한 특정 지표의 값이거나 특정 상태의 뇌파 신호들로 훈련한 학습 모델일 수 있다.The base state standard may be the value of a specific index obtained by analyzing EEG signals or a learning model trained with EEG signals in a specific state.
학습 지원 장치(100)는 대상자로부터 뇌파를 측정하기 위해 전극을 포함하는 뇌 신호 측정부(140) 및 뉴로 피드백 신호를 결정된 파라미터에 적합하게 출력하는 뉴로 피드백 처리부(160)를 포함할 수 있다. 도 2를 참조하여 자세히 설명한다.The
도 2를 참조하여 본 개시의 일 실시 예에 따른 학습 지원 장치(100)의 구성을 설명한다.The configuration of the
학습 지원 장치(100)는 학습 지원 서버(200)로부터 기저 상태 기준을 수신하거나, 학습 모델을 수신하는 통신부(110), 뇌 기능 과제를 수행 중이거나 다른 조작자의 제어 또는 인터페이싱을 위한 인터페이스부(120), 프로세서(170)로 하여금 본 발명의 실시 예들에 따른 동작을 수행하도록 제어하는 코드, 학습 지원 서버(200)로부터 수신한 뇌 기능 과제를 위한 컨텐츠 또는 학습 모델을 저장하는 메모리(130), 대상자로부터 실시간으로 뇌파 신호를 측정하는 뇌 신호 측정부(140), 대상자로부터 측정한 뇌파 신호를 전 처리하는 뇌 신호 처리부(150) 및 뉴로 피드백 신호를 출력하는 뉴로 피드백 처리부(160)를 포함할 수 있다. The
일 실시 예에서, 뇌 신호 측정부(140)는 ECoG (Electrocorticogram, 피질전도), EEG (Electroencephalogram, 뇌전도) 형태의 뇌파 신호 측정을 위한 전극을 포함하거나, 별도의 뇌파 신호 측정 장치로부터 측정된 뇌파 신호(뇌와 관련된 신경 신호)를 전기적 신호 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.In one embodiment, the brain
또한, 뇌 신호 측정부(140)는 MEG(뇌자도, Magnetoencephalography) 측정기로부터 측정된 자기적 형태의 뇌 신경 신호를 전기적 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.In addition, the brain
또한, 뇌 신호 측정부(140)는 NIRS(근적외선 분광 영상, Near Infrared Spectroscopy) 측정을 위한 광원 및 디텍터를 포함하거나, 별도의 NIRS 측정기로부터 측정된 뇌 신경 신호를 전기적 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.In addition, the brain
뇌파 신호는 대상체의 복수의 뇌 영역에서 획득된 신호일 수 있다.The EEG signal may be a signal obtained from a plurality of brain regions of the subject.
뇌파 신호는 일 실시 예로 the dorsolateral prefrontal cortex(DLPFC), premotor cortex(PM), supplementary motor area(SMA), primary motor cortex(M1), primary somatosensory cortex(S1), posterior parietal cortex(PPC) 및 primary visual cortex(V1) 영역들에 대해 뇌의 좌반구 및 우반구 각각에서 획득된 뇌파 신호들일 수 있다. In one embodiment, the EEG signal includes the dorsolateral prefrontal cortex (DLPFC), premotor cortex (PM), supplementary motor area (SMA), primary motor cortex (M1), primary somatosensory cortex (S1), posterior parietal cortex (PPC), and primary visual cortex. The cortex (V1) regions may be EEG signals obtained from each of the left and right hemispheres of the brain.
뇌 신호 처리부(150)는 뇌파 신호를 증폭하기 위한 저 잡음 증폭기(LNA, Low Noise Amplifier) 및 아날로그 디지털 컨버터(ADC, Analog-Digital Converter)를 포함한 아날로그 전단부와 디지털 필터를 포함하거나, 디지털 신호로 뇌파 신호를 입력 받은 경우를 위한 디지털 필터 또는 디지털 전 처리 모듈을 포함할 수 있다.The brain
뇌 신호 처리부(150)는 노이즈 제거와 필터링, 에포킹(Epoching)을 수행할 수 있다.The brain
뇌 신호 처리부(150)는 노치(notch) 필터를 이용하여 60Hz 전원 노이즈의 제거 또는 대역 통과 필터를 이용하여 특정 인지 기능과 관련이 있다고 추정되는 각 대역 별로 대역통과 필터링을 수행할 수 있다.The brain
뇌 신호 처리부(150)는 분석에 용이하도록 잡음이 제거된 뇌파 신호를 특정 구간(예를 들어, 학습 컨텐츠의 제시로부터 일정 시간까지의 뇌파 신호)으로 잘라 신호 처리를 해줄 수 있도록 에포킹과 사람 간 뇌파 신호의 차이와 사람 내 뇌파 신호의 차이를 줄이기 위한 정규화(normalization), 오버피팅 (over-fitting)을 막기 위한 다운 샘플링 (down sampling)을 수행할 수 있다. 에포킹은 데이터 처리를 위해 수십 밀리초(millisecond)에서 초(second) 단위로 수행될 수 있다. The brain
프로세서(170)는 대상체의 복수의 뇌 영역으로부터 획득된 뇌파 신호들의 뇌 네트워크 연결성을 분석하거나 뇌파 신호의 특정 영역의 활동량을 결정할 수 있다. The processor 170 may analyze brain network connectivity of EEG signals obtained from a plurality of brain regions of the subject or determine the amount of activity of a specific region of the EEG signal.
뇌 네트워크 연결성은 상호 정보(mutual information)에 기반할 수 있으며, 상호 정보 이외에 Dynamic Causal Modeling(DCM), coherence, partial directed coherence 등의 지표를 활용한 기능적 연결성 및 betweeness, centrability, degree of node, small worldness 등의 신경 생리학 기반의 뇌 모델에 기반할 수 있다. Brain network connectivity can be based on mutual information, and in addition to mutual information, functional connectivity and betweeness, centrability, degree of node, small worldness using indicators such as Dynamic Causal Modeling (DCM), coherence, partial directed coherence, etc. It may be based on a neurophysiology-based brain model, such as.
프로세서(170)는 대상체의 복수의 뇌 영역으로부터 획득된 뇌파 신호들의 연결성 값을 행렬로 표현하여 입력 데이터를 생성할 수 있다. 따라서, 복수의 뇌 영역들 사이의 데이터 처리를 용이하게 수행할 수 있다.The processor 170 may generate input data by expressing connectivity values of brain wave signals obtained from a plurality of brain regions of the subject as a matrix. Therefore, data processing between multiple brain regions can be easily performed.
프로세서(170)는 한 쌍의 피질 관심 영역(ROI: region of interest)에서 신호 간의 비선형 통계적 의존성에 대한 메트릭(metric)으로 상호 정보를 이용할 수 있다. 예를 들어, 총 14개의 관심 영역 사이에서 총 91 개의 엣지(edge)가 존재할 수 있다.Processor 170 may use mutual information as a metric for non-linear statistical dependence between signals in a pair of cortical regions of interest (ROI). For example, a total of 91 edges may exist between a total of 14 regions of interest.
프로세서(170)는 뇌파 신호에서 세타(theta), 알파(alpha), 베타(beta) 혹은 감마(gamma) 밴드 파워의 평균값(mean), 중간값(median), 최대값(maximum) 또는 최소값(minimum)에 기반하여 뇌파 신호의 특정 영역의 활동량을 결정할 수 있다.The processor 170 sets the mean, median, maximum, or minimum value of theta, alpha, beta, or gamma band power in the brain wave signal. ) Based on this, the amount of activity in a specific area of the brain wave signal can be determined.
학습 지원 장치(100)는 학습 지원 서버(200)와 통신을 수행하기 위한 통신부(110)를 포함할 수 있다.The
통신부(110)는 무선 통신부 또는 유선 통신부를 포함할 수 있다.The communication unit 110 may include a wireless communication unit or a wired communication unit.
무선 통신부는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The wireless communication unit may include at least one of a mobile communication module, a wireless Internet module, a short-range communication module, and a location information module.
이동통신 모듈은, 이동통신을 위한 통신방식인 LTE(Long Term Evolution) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. The mobile communication module transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network built according to LTE (Long Term Evolution), a communication method for mobile communication.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 학습 지원 장치(100)에 내장되거나 외장될 수 있고, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance) 등이 사용될 수 있다.The wireless Internet module is a module for wireless Internet access and can be built into or external to the
근거리 통신 모듈은 근거리 통신을 통하여 데이터 송수신을 위한 모듈로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등을 사용할 수 수 있다.The short-range communication module is a module for transmitting and receiving data through short-distance communication, including Bluetooth™, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and NFC (Near Field). Communication), etc. can be used.
위치정보 모듈은 학습 지원 장치(100)의 위치를 획득하기 위한 모듈로서, 위성 항법 기술에 기반한 GPS(Global Positioning System) 모듈이거나, 무선 통신 기지국, 무선 액세스 포인트와의 무선 통신에 기반하여 위치를 획득하는 모듈일 수 있다. 위치정보 모듈은 WiFi 모듈을 포함할 수 있다.The location information module is a module for acquiring the location of the
학습 지원 장치(100)는 대상자 또는 조작자의 입력을 위한 입력부 또는 출력부를 포함할 수 있다.The
입력부는 마이크로폰, 사용자로부터 정보를 입력 받기 위한 터치 인터페이스를 포함하는 사용자 인터페이스(UI: User Interface)를 포함하고, 사용자 인터페이스는 마우스, 키보드뿐만 아니라 장치에 구현된 기계식, 전자식 인터페이스 등을 포함할 수 있고 사용자의 명령을 입력 가능한 것이라면 특별히 그 방식과 형태를 한정하지 않는다. 전자식 인터페이스는 터치 입력 가능한 디스플레이를 포함한다.The input unit includes a user interface (UI: User Interface) including a microphone and a touch interface for receiving information from the user, and the user interface may include a mouse, a keyboard, as well as mechanical and electronic interfaces implemented in the device. As long as the user's command can be input, the method and form are not particularly limited. The electronic interface includes a display capable of touch input.
출력부는 학습 지원 장치(100)의 출력을 외부에 표출하여 사용자에게 정보를 전달하기 위한 것으로서, 시각적 출력, 청각적 출력 또는 촉각적 출력을 표출하기 위한 디스플레이, LED, 스피커 등을 포함할 수 있다.The output unit is used to deliver information to the user by displaying the output of the
학습 지원 장치(100)는 다양한 종류의 연결된 외부 기기와의 데이터 전송을 위한 주변 장치 인터페이스부를 포함할 수 있고, 메모리 카드(memory card) 포트, 외부 장치 I/O(Input/Output) 포트(port) 등을 포함할 수 있다. The
학습 지원 장치(100)는 뉴로 피드백 신호의 파라미터에 기반하여 뉴로 피드백 신호를 변경하는 뉴로 피드백 처리부(160)를 포함할 수 있다.The
뉴로 피드백의 신호는 기계음의 'beep' 사운드이거나, 이 외에 LED 등에 기반한 광 신호를 포함하는 시각 또는 시청각 자극과 관련된 것일 수 있다. 프로세서(170)는 뇌 기능 과제를 수행중인 대상자의 뇌파 신호와 기저 상태의 기준과 비교한 차이에 기반하여 뉴로 피드백 신호의 세기, 자극 간격 등의 파라미터를 변경할 수 있다. 뉴로 피드백 신호는 대상자가 학습해야 하는 뇌 기능 과제의 제시 이후에 출력될 수 있다.The signal of neurofeedback may be a mechanical 'beep' sound, or may be related to visual or audiovisual stimulation, including light signals based on LEDs, etc. The processor 170 may change parameters such as the strength of the neurofeedback signal and stimulation interval based on the difference compared to the baseline state standard and the EEG signal of the subject performing the brain function task. The neurofeedback signal may be output after presenting a brain function task that the subject must learn.
본 명세서에서 출력은 시각적 표시 장치뿐 아니라 청각적, 촉각적 장치를 통하여 대상자에게 자극을 가하는 모든 장치를 통하여 신호가 제시되는 것을 포함한다.In this specification, output includes the presentation of a signal through any device that provides stimulation to the subject through auditory and tactile devices as well as visual display devices.
도 3 및 도 4를 참조하여 본 개시의 일 실시 예에 따른 학습 지원 장치(100)의 동작 방법을 설명한다.A method of operating the
학습 지원 장치(100)는 대상자가 학습해야 하는 뇌 기능 과제를 수행 전에 사용자의 기저 상태 기준을 설정할 수 있다(S110).The
대상자의 기저 상태 기준은 뇌 기능 과제를 위한 제1 과제 데이터를 시각적, 청각적 등의 형태로 출력하고(S111), 대상자의 제1 과제 데이터에 대한 응답을 수신하여 성공 여부를 평가한 후(S113), 성공한 것으로 평가된 과제 데이터들에 대한 뇌파 신호에서 뇌파 신호의 특정 지표 값을 기저 상태 기준으로 설정하거나, 제1 과제 데이터 수행 중에 획득된 뇌파 신호를 성공 또는 실패로 레이블링한 훈련 데이터로 학습 모델을 훈련하는 것일 수 있다(S115). 훈련이 완료된 학습 모델은 메모리(130)에 저장되어(S117) 대상자에게 뉴로 피드백 신호 제공 여부를 결정하는 데 사용될 수 있다.The baseline condition of the subject is to output the first task data for the brain function task in a visual, auditory, etc. form (S111), receive the response to the subject's first task data, and evaluate success (S113). ), a specific index value of the EEG signal from the EEG signal for task data evaluated as successful is set as the baseline state, or a learning model is used as training data labeling the EEG signal acquired during the performance of the first task data as success or failure. It may be training (S115). The trained learning model is stored in the memory 130 (S117) and can be used to determine whether to provide a neurofeedback signal to the subject.
일 실시 예에서, 훈련 데이터는 제1 과제 데이터 수행 중에 획득된 뇌파 신호의 특정 지표의 값 또는 뇌 네트워크 연결성을 추출한 데이터를 성공 또는 실패로 레이블링한 것이거나, 뇌파 신호의 시 계열적 값을 성공 또는 실패로 레이블링한 것일 수 있다.In one embodiment, the training data is the value of a specific index of the EEG signal acquired during the performance of the first task data or data extracting brain network connectivity, labeled as success or failure, or the time series value of the EEG signal is labeled as success or failure. It may be labeling it as a failure.
기저 상태 기준을 설정하는 다른 실시 예에서, 학습 지원 서버(200)가 복수의 대상자들 또는 특정 대상자로부터 미리 분류된 뇌 기능 종류별 뇌 기능 과제를 수행하면서 획득한 뇌파 신호들을 뇌 기능 과제의 종류로 레이블링(labeling)한 훈련 데이터를 사용하여, 뇌 기능 과제를 수행 중인 대상자의 뇌파 신호를 뇌 기능 과제의 복수의 종류 중 어느 한 가지로 판단하는 학습 모델을 훈련시키는 것일 수 있다. In another embodiment of setting a baseline state standard, the
학습 지원 장치(100)는 학습 지원 서버(200)로부터 상기 학습 모델을 수신하는 것으로서 기저 상태 기준을 설정하고(S110), 대상자로부터 측정된 뇌파 신호에 기반하여(S120) 대상자가 현재 어떤 뇌 인지 기능을 수행하는 것인지 추정하거나 특정 뇌 인지 기능을 수행하는 중인지 판단할 수 있다(S130). The
학습 지원 서버(200)는 지도 학습 또는 비 지도 학습에 기반하여 학습 모델을 생성할 수 있다.The
학습 모델은 서포트 벡터 머신(SVM: Support Vector Machine), 딥 러닝에 기반한 인공 신경망, 다중 선형 회귀 (Multiple Linear Regression), 선형 회귀 (Linear Regression)등의 회귀방법에 기반할 수 있고, 교사 학습(Supervised Learning), 비교사 학습(Unsupervised Learning), 준교사 학습(Semi-supervised Learning) 등 그 모델 생성 방법을 한정하지 않는다.The learning model may be based on regression methods such as Support Vector Machine (SVM), artificial neural network based on deep learning, Multiple Linear Regression, and Linear Regression, and may be supervised. There is no limitation to the model creation method such as Learning, Unsupervised Learning, or Semi-supervised Learning.
머신 러닝 기반의 학습 모델은 학습 모델은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector)구조의 신경망 또는 RNN(Recurrent neural network), LSTM(Long Short-Term Memory) 등의 시 계열 기반 신경망을 포함할 수 있다.Machine learning-based learning models include CNN or R-CNN (Region based CNN), C-RNN (Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, and R-FCN (Region based Fully Convolutional Network). ), YOLO (You Only Look Once), or SSD (Single Shot Multibox Detector)-structured neural networks, or time-series-based neural networks such as RNN (Recurrent neural network) and LSTM (Long Short-Term Memory).
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.The learning model may be implemented in hardware, software, or a combination of hardware and software. If part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in memory.
아래의 실시 예들에서 학습 지원 장치(100)에서 수행하는 것으로 설명하는 동작 또는 구성의 일부 또는 전체는 학습 지원 서버(200)에서 수행되거나 구성될 수 있으며, 학습 지원 장치(100) 또는 학습 지원 서버(200)의 명칭에 구애 받지 않는다. 즉, 학습 지원 장치(100)는 대상자의 뇌파를 측정하고 전처리 하여 학습 지원 서버(200)로 전송하고 학습 지원 서버(200)가 결정한 뉴로 피드백 신호 제공의 여부 또는 뉴로 피드백 신호의 종류 또는 뉴로 피드백 신호의 파라미터 등에 따라 대상자에게 뉴로 피드백 신호를 제공할 수 있다. 본 명세서에서는 실시 예들에 따른 동작 또는 구성이 학습 지원 장치(100)에서 수행되는 것으로 전제하여 설명하지만, 학습 지원 서버(200)에서 일부가 수행되는 것을 배제하지 않는다.In the embodiments below, some or all of the operations or configurations described as being performed by the
성공한 것으로 평가된 과제 데이터들에 대한 뇌파 신호에서 뇌파 신호의 특정 지표 값을 기저 상태 기준으로 설정(S110)하는 것은, 앞에서 설명한 것처럼 대상체가 기저 상태에서 뇌 기능 과제를 성공한 것으로 평가된 과제 수행 중에 획득된 뇌파 신호들의 뇌 네트워크 연결성을 분석하거나 뇌파 신호의 특정 영역의 활동량에 기반하는 것일 수 있다. Setting (S110) a specific index value of the EEG signal from the EEG signal for the task data evaluated as successful as the baseline state is obtained while the subject is performing the task evaluated as successful in the brain function task in the baseline state, as described previously. It may be based on analyzing the brain network connectivity of the EEG signals or based on the amount of activity in a specific area of the EEG signals.
예를 들어, 뇌 네트워크 연결성을 분석하여 기저 상태 기준을 설정하는 것은 기저 상태의 뇌 기능 과제 성공과 관련된 뇌 네트워크 특징을 도출하여 임계치로 이용한다. 예를 들어 여러 가지 뇌 네트워크 연결성 분석 방법 중 하나인 Default Mode Network에 해당하는 뇌 영역들의 기능적 연결성을 주파수 밴드별로 상호 정보량(MI)를 이용하여 계산하고, 기저 상태에서 뇌 기능 과제의 수행 성공 또는 실패 경우들을 t-test 하여 p-value 0.05 이하로 통계적으로 두 조건 간에 유의한 차이를 보이는 연결성 정도를 기저 상태 기준으로 설정할 수 있다.For example, establishing a baseline by analyzing brain network connectivity derives brain network characteristics related to success in a baseline brain function task and uses them as a threshold. For example, the functional connectivity of brain regions corresponding to the Default Mode Network, one of several brain network connectivity analysis methods, is calculated using mutual information (MI) for each frequency band, and the success or failure of performing the brain function task in the baseline state is calculated. By t-testing the cases, the degree of connectivity that shows a statistically significant difference between the two conditions with a p-value of 0.05 or less can be set as the base state standard.
다른 예로서, 뇌파 신호의 특정 영역의 활동량을 분석하여 기저 상태 기준을 설정하는 것은, 단일 뇌 영역에서 나타나는 뇌파의 활동량을 기준으로 할 때, 기저 상태의 뇌 기능 과제 성공과 관련된 과제 수행의 특정 뇌 영역의 세타(theta), 알파(alpha), 베타(beta) 혹은 감마(gamma) 밴드 파워의 평균값(mean), 중간값(median), 최대값(maximum) 또는 최소값(minimum)을 실패한 과제 수행의 값과 비교하여 임계치를 결정하는 것으로 기저 상태 기준으로 설정할 수 있다.As another example, establishing a baseline by analyzing the amount of activity in a specific area of the brain wave signal is based on the amount of activity of the brain wave appearing in a single brain region, and the specific brain function in the task performance related to the success of the task is based on the baseline state. The mean, median, maximum, or minimum of the theta, alpha, beta, or gamma band power of the region was determined for failing task performance. It can be set as a base state standard by comparing the value to determine the threshold.
학습 지원 장치(100)는 기저 상태 기준이 설정된 이후에, 뇌 기능 과제인 컨텐츠를 출력할 수 있다. 컨텐츠는 뇌 기능의 하위 인지 기능인 지남력, 기억력, 언어능력, 시공간 파악 능력, 주의집중력, 판단력 및 추상적인 사고력 등의 하위 기능들로 미리 분류된 컨텐츠이거나, 특별히 하위 인지 기능으로 분류되지 않고 출력될 수 있다.The
학습 지원 장치(100)는 뇌 기능 과제인 컨텐츠를 출력을 시작한 이후에 컨텐츠의 출력 중 컨텐츠를 학습 중인 대상자의 제2 뇌파 신호를 입력 받는다(S120). After the
이후, 학습 지원 장치(100)는 미리 설정된 기저 상태 기준에 따라 대상자의 제2 뇌파 신호를 분석한 평가 값을 기저 상태 기준과 비교하거나 미리 훈련된 학습 모델에 입력하여 뇌 기능 과제의 수행 성공 여부를 판단하는 것으로서 기저 상태 기준과 비교할 수 있다(S130).Thereafter, the
예를 들어, 제2 뇌파 신호를 뇌 활동량에 기반하여 기저 상태 기준과 비교하는 것은 특정 뇌 영역의 세타, 알파, 혹은 감마 밴드 파워에 기반하여 임계치로 설정된 기저 상태 기준과 제2 뇌파 신호의 뇌 영역의 세타, 알파, 베타 혹은 감마 밴드 파워 값을 비교하는 것일 수 있다.For example, comparing the second EEG signal to a baseline reference based on brain activity may involve comparing the second EEG signal to a baseline threshold set based on the theta, alpha, or gamma band power of a specific brain region. This may be comparing the theta, alpha, beta or gamma band power values.
다른 예로서, 제2 뇌파 신호를 뇌 네트워크 연결성에 기반하여 기저 상태 기준과 비교하는 것은 기저 상태에서 뇌 기능 과제의 수행 성공 또는 실패 경우들을 t-test 하여 p-value 0.05 이하로 통계적으로 두 조건 간에 유의한 차이를 보이는 연결성 정도와 제2 뇌파 신호의 뇌 네트워크 연결성을 비교하는 것일 수 있다.As another example, comparing the second EEG signal to a baseline baseline based on brain network connectivity can be done by t-testing cases of success or failure in performing a brain function task in the baseline state, and there is a statistically significant difference between the two conditions with a p-value of 0.05 or less. This may be comparing the degree of connectivity showing a significant difference with the brain network connectivity of the second EEG signal.
다른 예로서, 제2 뇌파 신호를 학습 모델에 기반하여 기저 상태 기준과 비교하는 것은 제2 뇌파 신호 또는 제2 뇌파 신호를 분석하여 획득한 뇌 영역의 활동량, 뇌 네트워크 연결성 등의 특정 지표 값을 기저 상태의 훈련 데이터로 훈련한 학습 모델에 입력하여 기저 상태와 비교하는 것일 수 있다.As another example, comparing the second EEG signal to a baseline state based on a learning model is based on the second EEG signal or specific index values such as the amount of activity of the brain region and brain network connectivity obtained by analyzing the second EEG signal. This may be input to a learning model trained with the training data of the state and compared with the base state.
학습 지원 장치(100)는 제2 뇌파 신호를 기저 상태 기준과 비교한 결과에 기반하여 뉴로 피드백 신호의 제공 여부, 뉴로 피드백 신호의 종류, 뉴로 피드백 신호의 파라미터 등을 결정할 수 있다(S140). The
예를 들어, 제2 뇌파 신호의 뇌 네트워크 연결성, 뇌 영역의 세타, 알파, 베타 혹은 감마 밴드 파워 값을 기저 상태 기준과 비교하여 낮거나 혹은 미리 설정된 범위 이상으로 차이를 보이는 경우 뉴로 피드백 신호를 제공하는 것으로 결정할 수 있다.For example, if the brain network connectivity of the second EEG signal and the theta, alpha, beta or gamma band power value of the brain region are lower than the baseline standard or show a difference above a preset range, a neurofeedback signal is provided. You can decide to do it.
제2 뇌파 신호 또는 제2 뇌파 신호를 분석하여 획득한 뇌 영역의 활동량, 뇌 네트워크 연결성 등의 특정 지표 값을 기저 상태의 훈련 데이터로 훈련한 학습 모델에 입력한 결과 기저 상태 기준과 같지 않은 것으로 추정되는 경우 뉴로 피드백 신호를 제공하는 것으로 결정할 수 있다.As a result of inputting the second EEG signal or specific indicator values such as the amount of activity of the brain region and brain network connectivity obtained by analyzing the second EEG signal into a learning model trained with the training data of the baseline state, it is estimated that it is not the same as the baseline state. If so, it may be decided to provide a neurofeedback signal.
도 5를 참조하여 본 개시의 일 실시 예에 따른 학습 지원 방법의 다른 실시 예를 설명한다. 앞서 설명한 실시 예들과 중복되는 부분은 자세한 설명을 생략한다.Another embodiment of a learning support method according to an embodiment of the present disclosure will be described with reference to FIG. 5 . Detailed descriptions of parts that overlap with the previously described embodiments will be omitted.
학습 지원 장치(100)는 기저 상태에서 서로 다른 복수의 뇌 기능으로 분류된 제1 과제 데이터를 복수의 대상자 또는 컨텐츠를 학습하는 대상자 또는 복수의 다른 피험자들에게 출력하고, 뇌 기능의 분류 별로 제1 뇌파 신호를 분석하여 뇌 기능 분류 별로 기저 상태 기준을 설정할 수 있다.The
예를 들어, 학습 지원 장치(100)는 뇌 인지 기능에 관련된 뇌 기능 과제들을 지남력, 기억력, 언어능력, 시공간 파악 능력, 주의집중력, 판단력 및 추상적인 사고력 등의 하위 기능들로 분류하고, 대상자 또는 복수의 피험자들에게 각 분류별 뇌 기능 과제를 출력한 후 대상자 또는 복수의 피험자들의 뇌파 신호에 기반하여 각 분류 별 뇌 기능에 따라 기저 상태 기준을 설정할 수 있다.For example, the
이후, 대상자의 특정 분류의 뇌 기능 과제를 학습 시 현재 대상자의 뇌파 신호로부터 판단된 뇌 인지 기능들이 대상자가 학습하는 분류에 따른 뇌 기능 과제의 기저 상태 기준에 맞지 않는 경우 뉴로 피드백 신호가 필요한 것으로 판단할 수 있다. Afterwards, when learning a brain function task of a specific classification of a subject, if the brain cognitive functions determined from the subject's current EEG signals do not meet the baseline criteria for the brain function task according to the classification the subject is learning, a neurofeedback signal is determined to be necessary. can do.
다른 예로서, 학습 지원 장치(100)는 대상자 또는 복수의 피험자가 기저 상태에서 각 분류에 해당하는 뇌 기능에 관련된 뇌 기능 과제를 수행하면서 대상자 또는 복수의 피험자로부터 측정된 뇌파 신호로 학습한 학습 모델에, 대상자가 각 분류별 뇌 기능 과제를 수행하면서 측정된 뇌파 신호를 학습 모델에 입력하여 해당 대상자가 특정 분류의 뇌 기능 과제에 성공한 뇌파 신호와 다른 것으로 판단하는 경우 뉴로 피드백 신호의 제공을 결정할 수 있다. 이 경우, 학습 지원 장치(100)는 대상자에게 뇌 기능 과제를 위한 과제 데이터를 출력하기 전에, 과제 데이터가 분류된 뇌 기능을 확인하고 과제 데이터와 동일한 분류의 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정할 수 있다.As another example, the
복수의 분류의 뇌 기능 별로 각각 기저 상태 기준이 설정될 수 있고, 각 분류에 따른 뇌 기능 별 뇌파 영역 활동량에 기반한 기저 상태 기준, 뇌 네트워크 연결성에 기반한 기저 상태 기준 또는 학습 모델이 각각 설정될 수 있다.A baseline state standard may be set for each brain function of a plurality of classifications, and a baseline state standard based on the amount of EEG region activity for each brain function according to each classification, a baseline state standard or a learning model based on brain network connectivity may be set, respectively. .
일 실시 예에서, 학습 모델은 복수의 피험자들로부터 미리 분류된 뇌 기능 종류별 뇌 기능 과제를 수행하면서 과제의 성공 시에 획득한 뇌파 신호들을 뇌 기능 과제의 종류로 레이블링한 훈련 데이터를 사용하여 훈련된 학습 모델을 특정 대상자의 뇌 기능 종류별 뇌 기능 과제를 수행하면서 과제의 성공 시에 획득한 뇌파 신호들로 전이 학습한 학습 모델일 수 있다.In one embodiment, the learning model is trained using training data labeled with the type of brain function task using EEG signals obtained when the task is successful while performing a brain function task for each brain function type that is pre-classified from a plurality of subjects. The learning model may be a learning model that is transfer-learned using brain wave signals acquired when a specific subject succeeds in a task while performing a brain function task for each type of brain function.
일 실시 예에서, 학습 지원 장치(100)는 뇌 기능 종류별 뇌 기능 과제에 따라 대상자에게 제공할 뉴로 피드백 신호의 종류를 다르게 설정할 수 있다. 예를 들어, 주의 기능 과제는 사운드 신호를 기반으로 뉴로 피드백 신호를 설정하고, 기억 기능 과제는 광 출력을 기반으로 뉴로 피드백 신호를 설정할 수 있다. 학습 지원 장치(100)는 대상자 또는 복수의 피험자들에게 출력한 기저 상태의 제1 과제 데이터에 대한 응답의 성공 및 실패 결과에 기반하여 뇌 기능 종류별 뇌 기능 과제에 따라 대상자에게 제공할 뉴로 피드백 신호의 종류를 다르게 설정할 수 있다.In one embodiment, the
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.The present disclosure described above can be implemented as computer-readable code on a program-recorded medium. Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is. Additionally, the computer may include a processor for each device.
한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the program may be specially designed and configured for the present disclosure, or may be known and usable by those skilled in the art of computer software. Examples of programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification (particularly in the claims) of the present disclosure, the use of the term “above” and similar referential terms may refer to both the singular and the plural. In addition, when a range is described in the present disclosure, the invention includes the application of individual values within the range (unless there is a statement to the contrary), and each individual value constituting the range is described in the detailed description of the invention. It's the same.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.Unless there is an explicit order or description to the contrary regarding the steps constituting the method according to the present disclosure, the steps may be performed in any suitable order. The present disclosure is not necessarily limited by the order of description of the steps above. The use of any examples or illustrative terms (e.g., etc.) in the present disclosure is merely to describe the present disclosure in detail, and unless limited by the claims, the scope of the present disclosure is limited by the examples or illustrative terms. It doesn't work. In addition, those skilled in the art will recognize that various modifications, combinations and changes may be made according to design conditions and factors within the scope of the appended claims or their equivalents.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present disclosure should not be limited to the above-described embodiments, and the scope of the patent claims described below as well as all scopes equivalent to or equivalently changed from the claims are within the scope of the spirit of the present disclosure. It will be said to belong to
100: 학습 지원 장치
200: 학습 지원 서버100: Learning support device
200: Learning support server
Claims (16)
대상자 또는 피험자들의 기저 상태에서 뇌 기능 과제를 위한 제1 과제 데이터를 출력하고, 상기 대상자 또는 상기 피험자들로부터 측정된 제1 뇌파 신호에 기반하여 기저 상태 기준을 설정하는 단계;
뇌 기능 과제를 위한 제2 과제 데이터를 출력하고, 상기 대상자로부터 측정된 제2 뇌파 신호를 입력 받는 단계; 및
상기 제2 뇌파 신호를 상기 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
How each step is performed by a processor, comprising:
Outputting first task data for a brain function task in the baseline state of the subject or subjects, and setting a baseline state standard based on the first EEG signal measured from the subject or subjects;
Outputting second task data for a brain function task and receiving a second brain wave signal measured from the subject; and
Comprising the step of determining whether to provide a neurofeedback signal by comparing the second brain wave signal with the baseline state,
How learning support devices work.
상기 제1 뇌파 신호에 기반하여 상기 기저 상태 기준을 설정하는 단계는,
상기 대상자에게 뇌 기능 과제를 위한 상기 제1 과제 데이터를 출력하는 단계; 및
상기 제1 과제 데이터에 대한 상기 대상자의 응답을 평가하여 성공한 뇌 기능 과제의 상기 제1 뇌파 신호를 분석하여 기저 상태 기준 값을 상기 기저 상태 기준으로서 설정하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
The step of setting the baseline state based on the first brain wave signal is,
outputting the first task data for a brain function task to the subject; and
Comprising the step of evaluating the subject's response to the first task data, analyzing the first EEG signal of a successful brain function task, and setting a baseline state reference value as the baseline state reference,
How learning support devices work.
상기 제1 뇌파 신호에 기반하여 상기 기저 상태 기준을 설정하는 단계는,
상기 대상자에게 뇌 기능 과제를 위한 복수의 상기 제1 과제 데이터를 출력하는 단계; 및
상기 제1 과제 데이터에 대한 상기 대상자의 응답을 평가한 결과로 레이블링한 상기 제1 뇌파 신호로 학습 모델을 훈련하는 단계를 포함하고,
상기 제2 뇌파 신호를 상기 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하는 단계는,
상기 제2 뇌파 신호를 상기 학습 모델에 입력하여 뉴로 피드백 신호의 제공 여부를 결정하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
The step of setting the baseline state based on the first brain wave signal is,
outputting a plurality of first task data for a brain function task to the subject; and
Comprising the step of training a learning model with the first EEG signal labeled as a result of evaluating the subject's response to the first task data,
The step of determining whether to provide a neurofeedback signal by comparing the second brain wave signal with the baseline state,
Including the step of inputting the second brain wave signal into the learning model to determine whether to provide a neurofeedback signal,
How learning support devices work.
상기 뉴로 피드백 신호의 제공 여부를 결정하는 단계는,
상기 제2 뇌파 신호 데이터의 미리 설정된 뇌파 영역의 활동량을 평가하는 단계; 및
상기 제2 뇌파 신호 데이터의 미리 설정된 뇌파 영역의 활동량을 상기 기저 상태 기준과 비교하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
The step of determining whether to provide the neurofeedback signal is:
Evaluating the amount of activity of a preset brain wave region of the second brain wave signal data; and
Comprising the step of comparing the amount of activity of a preset EEG region of the second EEG signal data with the baseline state reference,
How learning support devices work.
상기 뉴로 피드백 신호의 제공 여부를 결정하는 단계는,
상기 제2 뇌파 신호 데이터의 뇌 네트워크 연결성을 평가하는 단계; 및
상기 제2 뇌파 신호 데이터의 뇌 네트워크 연결성을 상기 기저 상태 기준과 비교하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
The step of determining whether to provide the neurofeedback signal is:
Evaluating brain network connectivity of the second EEG signal data; and
Comparing brain network connectivity of the second EEG signal data to the baseline state reference,
How learning support devices work.
상기 제2 뇌파 신호 데이터를 분석하여 획득한 평가 값과 상기 기저 상태 기준을 비교한 결과에 기반하여 상기 뉴로 피드백 신호를 결정하거나 또는 가공하는 단계를 더 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
Further comprising determining or processing the neurofeedback signal based on a result of comparing an evaluation value obtained by analyzing the second EEG signal data and the baseline state standard,
How learning support devices work.
상기 제1 뇌파 신호에 기반하여 상기 기저 상태 기준을 저장하는 단계는,
상기 대상자 또는 피험자들에게 뇌 기능 과제를 위한 뇌 기능에 따라 분류된 복수의 상기 제1 과제 데이터를 출력하는 단계; 및
뇌 기능에 따라 분류된 상기 제1 과제 데이터에 대한 상기 대상자 또는 상기 피험자들의 응답을 평가하고, 상기 제1 뇌파 신호에 기반하여 상기 기저 상태 기준을 설정하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to claim 1,
The step of storing the ground state reference based on the first brain wave signal,
outputting a plurality of first task data classified according to brain function for a brain function task to the subject or test subjects; and
Comprising the step of evaluating the subject or the subjects' response to the first task data classified according to brain function and setting the baseline state criterion based on the first EEG signal,
How learning support devices work.
상기 제2 뇌파 신호 데이터를 상기 기저 상태 기준과 비교하여 상기 뉴로 피드백 신호의 제공 여부를 결정하는 단계는,
상기 제2 과제 데이터의 분류를 확인하는 단계; 및
상기 제2 과제 데이터의 분류와 동일한 분류의 상기 제1 과제 데이터에 기반한 상기 기저 상태 기준과 비교하는 단계를 포함하는,
학습 지원 장치의 동작 방법.
According to clause 7,
The step of determining whether to provide the neurofeedback signal by comparing the second brain wave signal data with the baseline state,
Confirming the classification of the second task data; and
Comparing the classification of the second task data with the base state criterion based on the first task data of the same classification,
How learning support devices work.
상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
대상자 또는 피험자들의 기저 상태에서 뇌 기능 과제를 위한 제1 과제 데이터를 출력하고, 상기 대상자 또는 상기 피험자들로부터 측정된 제1 뇌파 신호에 기반하여 기저 상태 기준을 설정하고, 뇌 기능 과제를 위한 제2 과제 데이터를 출력하고, 상기 대상자로부터 측정된 제2 뇌파 신호를 입력 받고, 상기 제2 뇌파 신호를 상기 기저 상태 기준과 비교하여 뉴로 피드백 신호의 제공 여부를 결정하도록 야기하는 코드를 저장하는,
학습 지원 장치.
processor; and
A memory electrically connected to the processor and storing at least one code executed by the processor,
When the memory is executed through the processor, the processor
Output first task data for a brain function task in the baseline state of the subject or subjects, set a baseline state standard based on the first EEG signal measured from the subject or subjects, and set a second task data for the brain function task. Storing a code that outputs task data, receives a second brain wave signal measured from the subject, compares the second brain wave signal with the baseline state, and determines whether to provide a neurofeedback signal.
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 대상자에게 뇌 기능 과제를 위한 상기 제1 과제 데이터를 출력하고, 상기 제1 과제 데이터에 대한 상기 대상자의 응답을 평가하여 성공한 뇌 기능 과제의 상기 제1 뇌파 신호를 분석하여 기저 상태 기준 값을 상기 기저 상태 기준으로서 설정하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
Output the first task data for the brain function task to the subject, evaluate the subject's response to the first task data, analyze the first EEG signal of the successful brain function task, and determine the baseline state reference value. further storing code that causes it to be set as a base state reference,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 대상자에게 뇌 기능 과제를 위한 복수의 상기 제1 과제 데이터를 출력하고, 상기 제1 과제 데이터에 대한 상기 대상자의 응답을 평가한 결과로 레이블링한 상기 제1 뇌파 신호로 학습 모델을 훈련시키고,
상기 제2 뇌파 신호를 상기 학습 모델에 입력하여 뉴로 피드백 신호의 제공 여부를 결정하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
Outputting a plurality of first task data for a brain function task to the subject, training a learning model with the first EEG signal labeled as a result of evaluating the subject's response to the first task data,
Further storing a code that causes the second brain wave signal to be input to the learning model to determine whether to provide a neurofeedback signal,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 제2 뇌파 신호 데이터의 미리 설정된 뇌파 영역의 활동량을 평가하고, 상기 제2 뇌파 신호 데이터의 미리 설정된 뇌파 영역의 활동량을 상기 기저 상태 기준과 비교하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
Further storing a code that causes the amount of activity of the preset brainwave region of the second EEG signal data to be evaluated and the activity amount of the preset EEG region of the second EEG signal data to be compared with the baseline state reference,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 제2 뇌파 신호 데이터의 뇌 네트워크 연결성을 평가하고, 상기 제2 뇌파 신호 데이터의 뇌 네트워크 연결성을 상기 기저 상태 기준과 비교하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
further storing code that causes the brain network connectivity of the second EEG signal data to be evaluated and the brain network connectivity of the second EEG signal data to be compared to the baseline reference,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 제2 뇌파 신호 데이터를 분석하여 획득한 평가 값과 상기 기저 상태 기준을 비교한 결과에 기반하여 상기 뉴로 피드백 신호를 결정하거나 또는 가공하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
Further storing a code that causes the neurofeedback signal to be determined or processed based on a result of comparing the evaluation value obtained by analyzing the second EEG signal data and the baseline state standard,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 대상자 또는 피험자들에게 뇌 기능 과제를 위한 뇌 기능에 따라 분류된 복수의 상기 제1 과제 데이터를 출력하고, 뇌 기능에 따라 분류된 상기 제1 과제 데이터에 대한 상기 대상자 또는 상기 피험자들의 응답을 평가하고, 상기 제1 뇌파 신호에 기반하여 상기 기저 상태 기준을 설정하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to clause 9,
The memory allows the processor to:
Output a plurality of first task data classified according to brain function for a brain function task to the subject or subjects, and evaluate the subject or subjects' responses to the first task data classified according to brain function. and further storing code causing to set the ground state reference based on the first brain wave signal,
Learning support devices.
상기 메모리는 상기 프로세서로 하여금,
상기 제2 과제 데이터의 분류를 확인하고, 상기 제2 과제 데이터의 분류와 동일한 분류의 상기 제1 과제 데이터에 기반한 상기 기저 상태 기준과 비교하도록 야기하는 코드를 더 저장하는,
학습 지원 장치.
According to claim 15,
The memory allows the processor to:
further storing code that causes the classification of the second task data to be checked and compared to the base state criterion based on the first task data of the same classification as the classification of the second task data,
Learning support devices.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240068360A true KR20240068360A (en) | 2024-05-17 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891313B2 (en) | Systems and methods for sensory and cognitive profiling | |
| US10671164B2 (en) | Interface for electroencephalogram for computer control | |
| JP2015507516A5 (en) | ||
| US20190320979A1 (en) | Method and system for collecting and processing bioelectrical signals | |
| Sciaraffa et al. | Evaluation of a new lightweight EEG technology for translational applications of passive brain-computer interfaces | |
| Ogino et al. | Semi-supervised learning for auditory event-related potential-based brain–computer interface | |
| Zhao et al. | Human-computer interaction for augmentative communication using a visual feedback system | |
| Raghu et al. | Automated biomedical signal quality assessment of electromyograms: Current challenges and future prospects | |
| Puwakpitiyage et al. | A proposed web based real time brain computer interface (BCI) system for usability testing | |
| KR20240068360A (en) | Apparatus for supporting learning based on real time neuro-feedback and operation method for the same | |
| KR102344532B1 (en) | Explainable artificial intelligence system for diagnosis of mental diseases and method for diagnosing of mental diseases | |
| WO2014191805A1 (en) | Devices and methods for determination of cognitive load | |
| Rajasekharan et al. | EEG-based Mental Workload Assessment using a Graph Attention Network | |
| KR102404708B1 (en) | Motor imagery training apparatus and operating method thereof | |
| US11950919B2 (en) | System for real-time measurement of the activity of a cognitive function and method for calibrating such a system | |
| Rudas et al. | On activity identification pipelines for a low-accuracy EEG device | |
| Raj et al. | Analysis of Brain Wave Due to Stimulus Using EEG | |
| Tavakkoli et al. | A spherical phase space partitioning based symbolic time series analysis (SPSP—STSA) for emotion recognition using EEG signals | |
| Corsi et al. | Measuring brain critical dynamics to inform Brain-Computer Interfaces | |
| KR102613879B1 (en) | Apparatus and method for decoding brain signal based on a basis beat of brainwave | |
| KR102610810B1 (en) | An artificial intelligence system decoding the user's thoughts | |
| WO2022038776A1 (en) | Stress inference device, inference method, program, and storage medium | |
| KR102575596B1 (en) | Electronic device for classifying mental state based on machine learning considering daily stress and method thereof | |
| KR102180762B1 (en) | Apparatus and method for enhancing memory function using brain stimulation | |
| Liebherr et al. | Additive effects of cognitive load, motor demand, and environmental complexity on attention: A real-world eeg-study |