CN111443799A - 基于脑机接口的辅助学习方法、终端及计算机存储介质 - Google Patents

基于脑机接口的辅助学习方法、终端及计算机存储介质 Download PDF

Info

Publication number
CN111443799A
CN111443799A CN202010212413.1A CN202010212413A CN111443799A CN 111443799 A CN111443799 A CN 111443799A CN 202010212413 A CN202010212413 A CN 202010212413A CN 111443799 A CN111443799 A CN 111443799A
Authority
CN
China
Prior art keywords
learner
learning
brain
terminal
computer interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010212413.1A
Other languages
English (en)
Inventor
周林文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010212413.1A priority Critical patent/CN111443799A/zh
Publication of CN111443799A publication Critical patent/CN111443799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及教育技术领域,公开了一种基于脑机接口的辅助学习方法、终端及计算机存储介质,其公开了步骤:辅助学习终端显示教学画面,并通过脑电图头环接收学习者的脑电波;辅助学习终端根据脑电波中的稳态视觉诱发电位识别学习者的意图;辅助学习终端监测学习者的脑电波,通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端终端设备检测到学习者脑电波中是否出现慢波峰,并在会出现检测到慢波峰时,随即通过音频重复播放学习内容,让用户在深度放松或者睡眠的状态下学习。本发明降低了脑机互动过程对学习者的专注力要求,且可通过慢波学习帮助学习者掌握学习内容,提高学习效率。

Description

基于脑机接口的辅助学习方法、终端及计算机存储介质
技术领域
本发明涉及教育技术领域,特别是涉及一种基于脑机接口的辅助学习方法及计算机存储介质。
背景技术
脑机交互技术,或脑机界面(Brain-Computer Interface,BCI)技术,是借助非侵入式的脑电图(EEG)头环(带有多个电极),对用户脑电波进行监测,并分析脑电波波型,根据脑电波中特殊的波型做出相应的反应。
目前脑机交互技术主要用于外部设备控制(即通过脑电波控制轮椅等外设工作)和游戏交互。而此类的脑机交互技术在教育上多用于用户的专注力训练。在专注力训练过程中,用户必须在大脑中先想象自己在移动四肢,让脑电设备探测到大脑在想象时出现的特殊的波型,随后软件会记录下这些波型,并把它们作为信号,让用户在接下来的游戏过程中,用想象自己肢体的移动来控制游戏中的对象。由于用户必须注意力高度集中才能实现用脑电波来控制游戏中的对象,所以这样的方法能够训练专注力。
而在现有的教学过程中,学习内容(例如英语单词)主要是通过阅读(主动式)、教员教学或音视频输入(被动式)进行学习记忆。然而此类学习方法的效率较低,特别是对于一些专注力较差的学生尤为明显。
可见,现有教育的学习方法效率低,对需要记忆的内容不易掌握,对于一些专注力较差的学生尤为明显。并且,现有的脑机交互技术应用单一,仅用于游戏交互或外部设备控制,由于专注力训练过程中,用户的每一个动作都需要非常集中注意力,所以每完成一个稍微复杂一点的任务都会让用户筋疲力尽。
发明内容
为此,需要提供一种基于脑机接口的辅助学习方法,用于解决现有技术中传统学习方法效率低,以及脑机交互技术应用单一,且易疲劳的技术问题。
为实现上述目的,发明人提供了一种基于脑机接口的辅助学习方法,包括以下步骤:
辅助学习终端显示教学画面,并通过脑电图头环接收学习者的脑电波;
辅助学习终端根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据所识别的意图与学习者进行学习互动;
辅助学习终端监测学习者的脑电波,并通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端检测到学习者脑电波中是否出现慢波峰,并在检测到慢波峰时,通过音频重复播放学习内容。
进一步的,辅助学习终端显示教学画面包括英文字母或词根;
辅助学习终端根据识别到的学习者的意图进行词根拼写。
进一步的,还包括步骤:
辅助学习终端通过机器学习分类器识别学习者的脑电波中包含的情绪信息;
辅助学习终端识别出学习者出现疲劳走神或焦躁等情绪时,播放特定的音乐或者展示特定的图片调节学习者情绪。
进一步的,所述机器学习分类器包括:监督机器学习的Fisher、贝叶斯、SVM中的一种以上,或无监督机器学习的DBN分类器;
进一步的,所述辅助学习终端显示教学画面包括虚拟空间图像,所述虚拟空间图像中包括虚拟对象,以及在虚拟空间图像的不同位置标记有不同的知识点;
辅助学习终端根据识别到的学习者的意图,控制所述虚拟对象活动,辅助学习者将知识点与虚拟空间图像关联。
进一步的,所述辅助学习终端内预存有所述虚拟空间图像,所述虚拟空间图像为学习者熟悉的3D空间模型的图像。
进一步的,所述辅助学习终端通过检测学习者的脑电波中低频率的α波和θ波数量,以及波形的幅度变化速度,判断学习者是否已进入深度放松状态。
为解决上述技术问题,本发明还提供了另一技术方案:
一种基于脑机接口的辅助学习终端,所述辅助学习终端包括:播放模块、脑电波接收模块和处理模块;
所述播放模块用于显示教学画面;
所述脑电波接收模块用于通过脑电图头环接收学习者的脑电波;
所述处理模块用于根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据所识别的意图与学习者进行学习互动;以及
监测学习者的脑电波,并通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端检测到学习者脑电波中是否出现慢波峰,并在检测到慢波峰时,通过音频重复播放学习内容。
进一步的,所述播放模块显示的教学画面包括虚拟空间图像,所述虚拟空间图像中包括虚拟对象,以及在虚拟空间图像的不同位置标记有不同的知识点;
所述处理模块还用于根据识别到的学习者的意图,控制所述虚拟对象活动,辅助学习者将知识点与虚拟空间图像关联。
为解决上述技术问题,本发明还提供了另一技术方案:
一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上任一项技术方案所述的步骤。
区别于现有技术,上述技术方案将脑机接口技术应用于学习中,通过脑电波中的稳态视觉诱发电位识别学习者的在学习过程中的意图,并进行教学互动,相对于现有脑机交互过程中,用户需要想象自己的肢体移动来控制游戏中的对象,本方案大大降低了脑机互动过程对学习者的专注力要求。并且,本方案还包括深度放松或睡眠状态下的学习环节,在学习者注意力不集中时,通过神经反馈技术辅助学习者进行深度放松,并在检测到学习者脑电波中会出现慢波峰时,通过音频重复播放学习内容,不但提升学习效率,还解决了学习者长时间学习的抵触情绪,并把休息时间充分利用起来。
附图说明
图1为具体实施方式所述辅助学习终端的模块示意图;
图2为具体实施方式所述基于脑机接口的辅助学习方法的流程图;
图3为具体实施方式所述辅助学习终端在使用时的示意图;
图4为具体实施方式所述基于脑机接口的辅助学习方法的示意图;
图5为具体实施方式所述深度放松时慢波学习的示意图;
图6为具体实施方式所述深度放松时慢波学习时脑电波与播放内容的时序图;
图7为具体实施方式所述情绪监控和调节流程图;
图8为具体实施方式所述“记忆宫殿”学习法的示意图;
图9为具体实施方式基于脑机接口的辅助学习方法用于英语学习的流程图;
图10为具体实施方式计算同可读存储介质的示意图;
附图标记说明:
20、辅助学习终端;
21、播放模块;
22、处理模块;
23、脑电波接收模块;
100、计算机可读存储介质;
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1至图10,本实施例了一种基于脑机接口的辅助学习方法、终端及计算机可读存储介质。如图1所示,为辅助学习终端的模块示意图,该辅助学习终端融合了脑机交互技术,通过脑机接口技术接收并处理学习者的脑电波,并对学习者的脑电波进行分析处理,然后再应用于学习过程的交互中。该基于脑机接口的辅助学习终端20包括:播放模块21、脑电波接收模块23和脑机信号处理模块22。
其中,播放模块21用于播放学习过程中的音视频数据,播放模块21可包括用于显示图像信息的显示器,以及用于播放音频信息的扬声器,例如,在英语学习过程中,播放模块21可用于播放英语的词根图片、词根的发音以及教员的讲解等等。所述脑电波接收模块23用于地监测学习者在学习过程的脑电波,其中,脑电波接收模块23可以选用非侵入式的脑电图(EEG)头环(带有多个电极),对用户脑电波进行监测。所述脑机信号处理模块22用于对监测和接收到的脑电波进行分析处理,进而识别学习者在学习过程的意图,并根据该意图进行学习交互,最后将交互的结果通过播放模块21呈现。
如图2所示,为基于脑机接口的辅助学习方法的示意图,该基于脑机接口的辅助学习方法包括步骤:
S201、辅助学习终端显示教学画面,并通过脑电图头环接收学习者的脑电波;
S202、辅助学习终端根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据所识别的意图与学习者进行学习互动;
S203、辅助学习终端监测学习者的脑电波,并通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端检测到学习者脑电波中是否出现慢波峰,并在检测到慢波峰时,通过音频重复播放学习内容。
其中,步骤S201和S202为清醒状态下的学习环节。在步骤S201中,所述教学画面可由辅助学习终端20的播放模块21播放,教学画面的内容可以为英语单词、词根等学习者需要学习的内容。在学习的过程,通过非侵入式的脑电图(EEG)头环监测并接收学习者的脑电波。
在步骤S202中,通过稳态视觉诱发电位识别学习者的意图。当人体受到一个固定频率的闪烁或者变换模式的视觉刺激时,大脑皮层的电位活动将被调制,从而产生一个连续的且与刺激频率有关(刺激频率的基频或倍频处)的响应,这个响应具有和视觉刺激类似的周期性节律,即为稳态视觉诱发电位(SSVEP)。稳态视觉诱发电位(SSVEP)信号表现在EEG脑电波信号中,则是在功率谱中能在刺激频率或谐波上出现谱峰。通过分析检测谱峰处对应的频率,即能检测到用户视觉注视的刺激源,从而能识别用户的意图。
相对于通过神经反馈(Neurofeedback,NFB)的方式,学习者必须在大脑中想象自己有肢体运动,来产生特殊的波型,并通过监测这些特殊的波形识别学习者的意图,然后再进行交互,本实施方式中,通过稳态视觉诱发电位(SSVEP)识别学习者的意图,可大大降低对学习者注意力的要求,从而使该学习方法更易掌握和推广。
在步骤S202中,当辅助学习终端20识别到学习者的意图后,可即可根据学习者在学习过程中的意图进行学习交互,从而使学习过程不断的向前推进,对学习者进行学习训练。在具学习中,可通过稳态视觉诱发电位(SSVEP)进行英语词根拼写练习,在辅助学习终端20的显示屏中可显示常用英文词根,并且显示对应的字母供学习者选择,而辅助学习终端20的脑电波接收模块23监测学习者的脑电波,脑机信号处理模块22根据稳态视觉诱发电位(SSVEP)识别学习者所选择的字母,然后再由脑机信号处理模块22产生相应的指令,使显示屏的内容更新,实现交互过程。如图3和图4所示,在英文词根学习时,先学习一个英文词根的意思,并展示相关图片让用户产生联想,而后用稳态视觉诱发电位SSVEP方式练习这个英文词根的拼写。
然后,在不同单词中找出这个词根,并猜出这些单词的意思,再把这些单词跟特定的图片匹配起来(手动)。
步骤S203为深度放松或睡眠状态下的学习环节,在该环节中,可根据用户脑电波的状态提供对应的学习内容。由于在学习过程中,注意力是否集中直接影响着学习效果,因此,在步骤S203中,辅助学习终端监测学习者的脑电波,并显示用户的注意力状态,辅助学习终端20在学习者注意力不集中时,通过神经反馈的技术,引导学习者进入休息状态(放松、睡眠或深度放松状态),并在检测到学习者脑电波中会出现慢波峰时,随即通过音频重复播放学习内容,通过音频重复播放学习内容,让用户在深度放松或者睡眠的状态下学习。
有研究表明,当人处于睡眠或者深度放松的状态时,脑电波中会出现慢波峰,这时候大脑的海马体编码词汇信息的效率显著增强。如果伴随着慢波峰的出现重复地播放需要记忆的知识点(例如英文词汇),那么就能够在这个状态下学习新的知识点。在醒来之后,海马体能够成功的激活之前编码的词知识点。因此,本实施方式通过脑电监测,在用户处于深度放松的状态下,出现慢波峰时插入学习内容(比如播放相关词汇的音频),让用户在下意识中接收信息。
如图5和图6所示,在具体实施方式中,先通过脑机接口神经反馈技术辅助学习者进行深度放松。在这个过程中,辅助学习终端20会监测用户的脑电波。当大脑中低频率的α波和θ波数量明显增加,而且波形的幅度变化比较平稳时,代表用户进入放松状态。相应地,此时本实施方式中会在显示屏中提供视觉提示给出反馈,让用户保持这个放松状态,直至进入深度放松的状态。并在学习者进入深度放松状态过程中,检测是否出脑慢波峰,以及在检测到慢波峰阶段播放学习内容。
需要说明的中,神经反馈技术在使用时主要包括信号提取,信号处理和计算与信号反馈三个部分。信号提取主要是基于脑机接口系统,实时地将脑电波(神经活动信号)传输出来,而信号处理和计算主要借助各类现有的处理工具箱进行信号的预处理,信号反馈部分则是将计算的结果以各类感觉形式(包括视觉图形、音频、虚拟现实、以及外接设备的震动和温度变化等触觉方式)反馈给学习者,以促进其学习。优选的,本实施方式中,可利用国际上开源的OpenViBE脑电分析工具,通过其自带的神经反馈工具箱来预处理信号。
如图7所示,在一实施方式中,上述基于脑机接口的辅助学习方法还包括情绪监控和调节机制,情绪监控和调节机制包括步骤:
辅助学习终端监测学习者的脑电波,并通过机器学习分类器识别学习者的脑电波中包含的情绪信息;
辅助学习终端识别出学习者出现疲劳走神或焦躁等情绪时,转换成反馈指令,该反馈指令可包括播放特定的音乐或者展示特定的图片调节学习者情绪,反馈指令由辅助学习终端(即图7中的客户端)执行,从而实现情绪反馈和调节。
由于学习过程是需要大量精力,且相对枯燥无味的过程,因此较容易出现疲劳走神、焦躁等情绪,影响学习效率。人的情绪变化本质是大脑皮层上的高级神经活动,每种情绪都会有对应的脑电波波型。本实施方式使用多种机器学习分类器来对情绪进行识别,选择有监督机器学习的Fisher、贝叶斯、SVM和无监督机器学习的DBN分类器对各种情绪对应的波型进行识别分类。当学习者出现疲劳走神、焦躁等情绪时,播放学习者偏好的音乐或者展示学习者喜好的图片来调节情绪,使学习者情绪舒缓,再次进入高效学习状态。这个过程需要利用机器学习来辨别学习者在不同情绪和心理状态下脑电波波型的特点,同时了解学习者的偏好,比如喜欢的音乐等等。
如图8所示,在一实施方式中,基于脑机接口的辅助学习方法还包括步骤:
所述辅助学习终端显示教学画面包括虚拟空间图像(即记忆宫殿的图像),以及在虚拟空间图像的不同位置标记有不同的知识点,即将需要学习的知识点播入至记忆宫殿的不同位置。在虚拟空间内还设置有一可活动的虚拟对象,该虚拟对象可以是代表学习者自身的人物对象也可以其他动物对象等,该虚拟对象受控于学习者。辅助学习终端通过监测学习者的脑电波,并识别到的学习者的意图,从而控制所述虚拟对象在记忆宫殿内不同位置之间活动,而学习者每控制虚拟对象移动到一个位置,就接收该位置内插入的知识点,从而将知识点与空间位置以及自身的运动结合起来,即辅助学习者将知识点与虚拟空间图像位置关联,或将知识点、虚拟空间图像位置以及自身运动过程相关联。本实施方式中,使用运动想象和具身认知来降低用户使用记忆宫殿记忆法的难度,同时提高记忆效率,让用户在虚拟空间中通过想象肢体动作来完成学习任务。
该学习方法将神经反馈训练和“记忆宫殿”记忆术相结合,用于帮助学习者掌握学习内容。其中,神经反馈训练主要包括信号提取,信号处理和计算与信号反馈三个部分。信号提取主要是基于脑电系统,实时地将神经活动信号传输出来,而信号处理和计算主要借助各类现有的处理工具箱进行信号的预处理,信号反馈部分则是将计算的结果以各类感觉形式反馈给学习者,以促进其学习。而“记忆宫殿”记忆术则是充分利用具身认知的原理,帮助学习者快速掌握学习内容。
具身认知(Embodied Cognition):自20世纪60年代以来,认知心理学一直是西方心理学的主流。具身认知的研究纲领强调的是身体在有机体认知过程中所扮演的角色,它赋予身体在认知的塑造中以一种枢轴的作用和决定性的意义,在认知的解释中提高身体及其活动的重要性。
现代心理学研究表明,认知是包括大脑在内的身体的认知,身体的解剖学结构、身体的活动方式、身体的感觉和运动体验决定了我们怎样认识和看待世界,我们的认知是被身体及其活动方式塑造出来的。而是因为我们的知觉和运动系统在概念形成和理性推理中扮演了一种基础性的角色。
记忆宫殿法也叫地点法,就是按照一定的顺序,选择一些固定的、自己熟悉的地点,按照地理位置或者自己指定的顺序进行编号,然后把需要记忆的信息,一个个依次联想在地点上面,这样只要想起了地点,就能够快速的回忆记忆过的信息。学习者在大脑中想象出一个宫殿,有很多间房子,每个房间有很多格子,这样把需要记忆的东西都放在里面,同时通过生动的联想,越是奇特夸张的越记忆犹新。记忆宫殿是一个暗喻,象征任何我们熟悉的、能够轻易地想起来的地方。记忆宫殿方法就是人在自己记忆世界里创建一座记忆宫殿。一般情况下,使用记忆宫殿的方法需要经过长期训练,并且十分依赖用户的想象力——需要把抽象的信息跟某个地点对应起来,而且最好是比较熟悉的地点。这个过程需要用户高度集中注意力,同时反复训练才能够把宫殿想象地非常具体形象,在脑海中有清晰的图像。想象这种细致的场景,并且把每个地点跟要记忆的信息结合起来,需要耗费大量脑力,所以一般只有专业的参加记忆大赛的选手才能够自如地掌握这个方法。但一旦掌握了这个方法,就能迅速记住大量的相互之间没有内在联系的信息,比如一本字典里所有条目以及它们对应的页码。
优选的,为了进一步的提高学习者掌握知识点,所述虚拟空间图像为3D空间模型,从而使学习者在学习过程具有更强烈浸入式的体验。并且,所述虚拟空间图像还可以选用学习者所熟悉的空间场景,例如,学习者家里的空间模型或学习者学校教室的空间模型,因此,在辅助学习终端内可设置有一存储空间,用于预存不同学习者所熟悉的3D空间模型(即记忆宫殿模型),在学习时,学习者可从根据将要学习的内容,从存储空间内选择易与学习内容关联的3D空间模型,然后再将学习的内容插入至3D空间模型的不同位置,最后再使用该3D空间模型进行学习。
本实施方式通过脑机接口设备识别学习者脑电波中的意图,并根据学习者的意图控制虚拟空间中虚拟对象的运动,从而达到传统记忆宫殿中想象功能,让未经过专业训练的学习者也能够轻松使用记忆宫殿法。学习者通过运动想象来控制虚拟空间图像中的虚拟对象,在虚拟的宫殿中寻找所学习的知识点(例如英文词根的派生词)。这个过程中充分调用大脑的多个部位——躯体运动和感觉皮层、前额叶皮层、视觉皮层、海马体等,加深学习者对学习过程的印象,其效果类似于让用户真正置身于一个到处是英文词汇的宫殿里,在注意力高度集中的情况下探索、学习和记忆。
如图9所示,具体实施方式基于脑机接口的辅助学习方法用于英语学习的流程图。在该英语学习过程中,融合了以上不同实施方式中记载的基于脑机接口的辅助学习方法,具体的,其包括步骤:
首先,如图3和图4所示,可通过以上实施方式所述的稳态视觉诱发电位(SSVEP),进行英文词根学习和同词根派生词学习匹配图片;
然后,如图8所示,可通过以上实施方式所述的神经反馈训练和“记忆宫殿”(即图9中的运动想象记忆迷宫游戏)进行英文单词学习;
当学习者经过一段时间学习,其注意力明显下降时,可通过以上实施方式中记载的脑机接口技术辅助学习者进行深度放松,并当学习者进入至深度放松状态后(即检测到慢波峰时),重复播放知识点(即图9中的慢波学习)。
最后,可进行学习效果评估或小测验,来检验学习者的学习效果。
如图1所示,在另一实施方式中,还提供了一种基于脑机接口的辅助学习终端20。所述辅助学习终端包括:播放模块21、脑电波接收模块23和处理模块22。其中,所述播放模块21用于显示教学画面;所述脑电波接收模块23用于通过脑电图头环接收学习者的脑电波;所述处理模块22用于根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据学习者的意图更新教学画面;以及监测学习者的脑电波,判断学习者的注意力是否集中,并在学习者的注意力低于预设值时,通过神经反馈技术辅助学习者进行深度放松,并在检测到学习者脑电波中会出现慢波峰时,通过音频重复播放学习内容。
该基于脑机接口的辅助学习终端20,还可用于实现以上任一实施方式中记载的辅助学习。
如图10所示,在另一实施方式中,提供了一种计算机可读存储介质100,其上存储有计算机程序,所述程序被处理器执行时实现以上任一实施方式所记载的基于脑机接口的辅助学习方法。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于脑机接口的辅助学习方法,其特征在于,包括以下步骤:
辅助学习终端显示教学画面,并通过脑电图头环接收学习者的脑电波;
辅助学习终端根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据所识别的意图与学习者进行学习互动;
辅助学习终端监测学习者的脑电波,并通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端检测到学习者脑电波中是否出现慢波峰,并在检测到慢波峰时,通过音频重复播放学习内容。
2.根据权利要求1所述的基于脑机接口的辅助学习方法,其特征在于,辅助学习终端显示教学画面包括英文字母或词根;
辅助学习终端根据识别到的学习者的意图进行词根拼写。
3.根据权利要求1所述的基于脑机接口的辅助学习方法,其特征在于,还包括步骤:
辅助学习终端通过机器学习分类器识别学习者的脑电波中包含的情绪信息;
辅助学习终端识别出学习者出现疲劳走神或焦躁等情绪时,播放特定的音乐或者展示特定的图片调节学习者情绪。
4.根据权利要求3所述的基于脑机接口的辅助学习方法,其特征在于,所述机器学习分类器包括:监督机器学习的Fisher、贝叶斯、SVM中的一种以上,或无监督机器学习的DBN分类器。
5.根据权利要求1所述的基于脑机接口的辅助学习方法,其特征在于,所述辅助学习终端显示教学画面包括虚拟空间图像,所述虚拟空间图像中包括虚拟对象,以及在虚拟空间图像的不同位置标记有不同的知识点;
辅助学习终端根据识别到的学习者的意图,控制所述虚拟对象活动,辅助学习者将知识点与虚拟空间图像关联。
6.根据权利要求1所述的基于脑机接口的辅助学习方法,其特征在于,所述辅助学习终端内预存有所述虚拟空间图像,所述虚拟空间图像为学习者熟悉的3D空间模型的图像。
7.根据权利要求1所述的基于脑机接口的辅助学习方法,其特征在于,所述辅助学习终端通过检测学习者的脑电波中低频率的α波和θ波数量,以及波形的幅度变化速度,判断学习者是否已进入深度放松状态。
8.一种基于脑机接口的辅助学习终端,其特征在于,所述辅助学习终端包括:播放模块、脑电波接收模块和处理模块;
所述播放模块用于显示教学画面;
所述脑电波接收模块用于通过脑电图头环接收学习者的脑电波;
所述处理模块用于根据脑电波中的稳态视觉诱发电位识别学习者的意图,并根据所识别的意图与学习者进行学习互动;以及
监测学习者的脑电波,并通过神经反馈技术辅助学习者进行深度放松;在用户进入深度放松或睡眠状态时,辅助学习终端检测到学习者脑电波中是否出现慢波峰,并在检测到慢波峰时,通过音频重复播放学习内容。
9.根据权利要求8所述的基于脑机接口的辅助学习终端,其特征在于,所述播放模块显示的教学画面包括虚拟空间图像,所述虚拟空间图像中包括虚拟对象,以及在虚拟空间图像的不同位置标记有不同的知识点;
所述处理模块还用于根据识别到的学习者的意图,控制所述虚拟对象活动,辅助学习者将知识点与虚拟空间图像关联。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7任一项所述的步骤。
CN202010212413.1A 2020-03-24 2020-03-24 基于脑机接口的辅助学习方法、终端及计算机存储介质 Pending CN111443799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010212413.1A CN111443799A (zh) 2020-03-24 2020-03-24 基于脑机接口的辅助学习方法、终端及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010212413.1A CN111443799A (zh) 2020-03-24 2020-03-24 基于脑机接口的辅助学习方法、终端及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111443799A true CN111443799A (zh) 2020-07-24

Family

ID=71629523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212413.1A Pending CN111443799A (zh) 2020-03-24 2020-03-24 基于脑机接口的辅助学习方法、终端及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111443799A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554907A (zh) * 2021-07-26 2021-10-26 西安领跑网络传媒科技股份有限公司 学生作业辅助学习系统及方法
CN114041796A (zh) * 2022-01-13 2022-02-15 深圳市心流科技有限公司 一种基于脑电波信号的专注力评估方法、装置及存储介质
CN114326878A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 关爱学习者安全的环境识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040078383A (ko) * 2003-03-04 2004-09-10 김지연 두뇌 훈련을 통한 속독 학습법
CN103083014A (zh) * 2013-01-08 2013-05-08 北京理工大学 一种利用脑电控制车辆的方法和利用该方法的智能车辆
CN204423661U (zh) * 2015-02-04 2015-06-24 王泰来 一种脑波输入式英语单词学习机
CN107657868A (zh) * 2017-10-19 2018-02-02 重庆邮电大学 一种基于脑电波的教学跟踪辅助系统
CN110688013A (zh) * 2019-10-11 2020-01-14 南京邮电大学 一种基于ssvep的英文键盘拼写系统及拼写方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040078383A (ko) * 2003-03-04 2004-09-10 김지연 두뇌 훈련을 통한 속독 학습법
CN103083014A (zh) * 2013-01-08 2013-05-08 北京理工大学 一种利用脑电控制车辆的方法和利用该方法的智能车辆
CN204423661U (zh) * 2015-02-04 2015-06-24 王泰来 一种脑波输入式英语单词学习机
CN107657868A (zh) * 2017-10-19 2018-02-02 重庆邮电大学 一种基于脑电波的教学跟踪辅助系统
CN110688013A (zh) * 2019-10-11 2020-01-14 南京邮电大学 一种基于ssvep的英文键盘拼写系统及拼写方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554907A (zh) * 2021-07-26 2021-10-26 西安领跑网络传媒科技股份有限公司 学生作业辅助学习系统及方法
CN114326878A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 关爱学习者安全的环境识别方法及系统
CN114041796A (zh) * 2022-01-13 2022-02-15 深圳市心流科技有限公司 一种基于脑电波信号的专注力评估方法、装置及存储介质
CN114041796B (zh) * 2022-01-13 2022-05-17 深圳市心流科技有限公司 一种基于脑电波信号的专注力评估方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111063416A (zh) 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统
CN111443799A (zh) 基于脑机接口的辅助学习方法、终端及计算机存储介质
KR20180065709A (ko) 발달 장애 기능 개선을 위한 뉴로피드백 장치와 영상 콘텐츠를 이용하는 훈련 시스템 및 그 방법
CN112244774A (zh) 脑机接口康复训练系统及方法
CN110993056A (zh) 基于镜像神经元和脑机接口的混合式主动康复方法、装置
Granger Somaesthetics and racism: Toward an embodied pedagogy of difference
CN117389441B (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN110737331B (zh) 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备
Stuart The union of two nervous systems: neurophenomenology, enkinaesthesia, and the Alexander technique.
Mavilidi et al. Embodiment as a pedagogical tool to enhance learning
Aslan et al. PiHearts: Resonating Experiences of Self and Others Enabled by a Tangible Somaesthetic Design
Kenny et al. Embodied conversational virtual patients
Luz Maria et al. Enrichment of Human‐Computer Interaction in Brain‐Computer Interfaces via Virtual Environments
Stevens Memory and dance:‘Bodies of Knowledge’in contemporary dance
US11660038B2 (en) System based on multi-sensory learning and EEG biofeedback for improving reading ability
Lang Imagery in therapy: an information processing analysis of fear–republished article
Hsieh et al. Home care by auditory Brain Computer Interface for the blind with severe physical disabilities
CN101127160A (zh) 单词、词语的诱发和脑波识别方法及其语言学习仪
Krantz Let the body speak: Commentary on paper by Jon Sletvold
CN215132645U (zh) 基于脑机接口技术和多重反馈的肢体康复训练系统
Yean et al. A human-robot interface to improve facial expression recognition in subjects with Autism Spectrum Disorder
WO2022165832A1 (zh) 在大脑中产生反馈的方法、系统及大脑键盘
Francesconi The embodied mind: Mindfulness meditation as experiential learning in adult education
Zaporozhets Perception, movement, and action
Dimon The undivided self: Alexander technique and the control of stress

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200724

WD01 Invention patent application deemed withdrawn after publication