CN117883673A - 一种基于便携式bci-ar的智能认知训练方法及系统 - Google Patents
一种基于便携式bci-ar的智能认知训练方法及系统 Download PDFInfo
- Publication number
- CN117883673A CN117883673A CN202410003387.XA CN202410003387A CN117883673A CN 117883673 A CN117883673 A CN 117883673A CN 202410003387 A CN202410003387 A CN 202410003387A CN 117883673 A CN117883673 A CN 117883673A
- Authority
- CN
- China
- Prior art keywords
- cognitive
- training
- test
- game
- brain electrical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 249
- 238000012549 training Methods 0.000 title claims abstract description 232
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012360 testing method Methods 0.000 claims abstract description 171
- 210000004556 brain Anatomy 0.000 claims abstract description 79
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 230000003930 cognitive ability Effects 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 17
- 230000003920 cognitive function Effects 0.000 description 14
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 206010012289 Dementia Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008035 nerve activity Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001112258 Moca Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006886 spatial memory Effects 0.000 description 2
- 238000012030 stroop test Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Dermatology (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Neurology (AREA)
- Social Psychology (AREA)
- Primary Health Care (AREA)
Abstract
本发明涉及认知能力训练技术领域,特别是指一种基于便携式BCI‑AR的智能认知训练方法及系统。一种基于便携式BC I‑AR的智能认知训练方法包括:根据预设的认知量表进行认知能力测试,获得认知测试结果;根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;采用认知训练游戏进行认知训练;在训练前和训练后分别使用认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号;根据测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;根据训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价结果。本发明是一种便于携带使用的高效、准确的智能认知能力训练方法。
Description
技术领域
本发明涉及认知能力训练技术领域,特别是指一种基于便携式BCI-AR的智能认知训练方法及系统。
背景技术
脑机接口(Brain-Computer Interface,BCI)技术通过建立大脑与外部设备之间直接的信息交流和信号控制通道,实现脑思维活动与外界通信和交互作用,从而进行脑信息读取、外部执行设备的控制,以及脑活动的调整和控制。作为新型人机交互技术,脑机接口通过检测大脑内神经活动信息,建立不可见的神经活动信息和可见行为反应之间的直接关系,将大脑神经活动转化为运动指令直接操控外界设备从而进行人机交互,从而跳过了大脑中转到肌肉组织或外周神经操控肌肉组织的中间过程,将成为可以破解人脑神经信息运行机制、攻克脑疾病以及辅助人类智能活动的重要技术。
通过脑机接口读取到的脑电信号还可以在临床应用中用于评估认知功能的变化,例如在认知疾病、脑损伤或老年痴呆等情况下,对认知能力进行量化和监测。脑机接口技术在认知功能评估中的应用为临床医生和研究人员提供了一种新的手段,可以更全面、准确地了解患者的认知功能状况。
增强现实(Augmented Reality)技术,可以将数字信息、图像或其他虚拟内容与现实世界中的实际环境相结合,以创造出一种增强的感知体验。AR利用计算机技术将虚拟的数字信息叠加在真实世界中,使用户可以在现实世界的场景中看到并与虚拟内容进行交互。
认知训练是一种旨在改善个体思维和知觉能力的训练方法。认知训练旨在增强认知功能,如记忆、注意力、问题解决、逻辑推理、语言能力和空间感知等。认知训练可以通过不同的活动和练习来实现,旨在帮助个体更好地处理信息、解决问题、做决策和提高大脑功能。通过电子游戏进行认知训练是一种有趣和有效的方法。然而,已有的认知训练方法中往往受限于认知训练的场地环境,行动不便的用户不能很好地进行认知训练;对用户的认知能力的评价来源于面部表情追踪以及身体动作采集,基于用户个人的差异性导致认知能力评估并不准确。
在现有技术中,缺乏一种便于携带使用的高效、准确的智能认知能力训练方法。
发明内容
为了解决现有技术存在的认知训练场地制约和训练效果不佳的技术问题,本发明实施例提供了一种基于便携式BCI-AR的智能认知训练方法及系统。所述技术方案如下:
一方面,提供了一种基于便携式BCI-AR的智能认知训练方法,该方法由智能认知训练设备实现,该方法包括:
根据预设的认知量表进行认知能力测试,获得认知测试结果;
根据所述认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;
在AR环境下,采用所述认知训练游戏进行认知训练;在训练前和训练后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号;
根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;
根据所述训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价结果。
可选地,所述根据所述认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏,包括:
根据所述认知测试结果,获得需要训练的认知域;
根据所述认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
可选地,所述采用所述认知训练游戏进行认知训练;在训练前和训练后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号,包括:
在训练前使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据所述认知训练游戏进行周期认知训练;在训练完成后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据所述训练前的测试脑电信号以及所述训练后的测试脑电信号,获得测试脑电信号。
可选地,所述根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果,包括;
对所述测试脑电信号进行预处理,获得处理后脑电信号;
对所述处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据所述脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
另一方面,提供了一种基于便携式BCI-AR的智能认知训练系统,该系统应用于基于便携式BCI-AR的智能认知训练方法,该系统包括脑电采集装置、电子设备和AR装置,其中:
所述脑电采集装置,用于在训练前和训练后进行脑电信号采集,获得测试脑电信号;
所述电子设备,用于根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;根据所述训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价;
所述AR装置,用于根据预设的认知量表进行认知能力测试,获得认知测试结果;在AR环境下,采用所述认知训练游戏进行认知训练,在训练前和训练后使用所述认知测试游戏进行测试。
可选地,所述电子设备,进一步用于:
根据所述认知测试结果,获得需要训练的认知域;
根据所述认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
可选地,所述脑电采集装置,进一步用于:
在训练前使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据所述认知训练游戏进行周期认知训练;在训练完成后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据所述训练前的测试脑电信号以及所述训练后的测试脑电信号,获得测试脑电信号。
可选地,所述电子设备,进一步用于:
对所述测试脑电信号进行预处理,获得处理后脑电信号;
对所述处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据所述脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
另一方面,提供一种智能认知训练设备,所述智能认知训练设备包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上述基于便携式BCI-AR的智能认知训练方法中的任一项方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述基于便携式BCI-AR的智能认知训练方法中的任一项方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明提出一种基于便携式BCI-AR的智能认知训练方法,采用AR设备来进行训练场景的展示,AR设备的优点是可以做到既能看到真实场景又能看到虚拟场景,做到了虚实结合,很好地呈现训练画面。AR设备可以很方便地进行部署,不受场地限制,使得该系统能够做到轻量化、便携化,针对行动不便或者卧床的用户能够很好地进行认知训练,同时也能够支持在多种场景下的使用。该方法能够广泛地适用于各种不同的认知域的认知功能训练。采取训练前后的脑电信号差异作为训练效果评估指标,能够改善当前对认知训练效果评估不足的问题。本发明是一种便于携带使用的高效、准确的智能认知能力训练方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于便携式BCI-AR的智能认知训练方法流程图;
图2是本发明实施例提供的一种基于便携式BCI-AR的智能认知训练系统框图;
图3是本发明实施例提供的一种智能认知训练设备的结构示意图。
具体实施方式
下面结合附图,对本发明中的技术方案进行描述。
在本发明实施例中,“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。此外,在本发明实施例中,“和/或”所表达的含义可以是两者都有,或者可以是两者任选其一。
本发明实施例中,“图像”,“图片”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。“的(of)”,“相应的(corresponding,relevant)”和“对应的(corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
本发明实施例中,有时候下标如W1可能会笔误为非下标的形式如W1,在不强调其区别时,其所要表达的含义是一致的。
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于便携式BCI-AR的智能认知训练方法,该方法可以由智能认知训练设备实现,该智能认知训练设备可以是终端或服务器。如图1所示的基于便携式BCI-AR的智能认知训练方法流程图,该方法的处理流程可以包括如下的步骤:
S1、根据预设的认知量表进行认知能力测试,获得认知测试结果。
一种可行的实施方式中,本发明使用的设备为便携式脑机接口-增强现实设备(Brain Computer Interface-Augmented Reality,BCI-AR),采用的认知量表涉及多种技术领域,电子量表在AR装置中显示,用户完成这些电子量表测试来检查自己的认知能力。
经典的认知量表测试需要实验人员在旁讲解和监督,有的量表甚至需要交流和演示,这样有时会加大被试的心理负担,影响用户正常完成认知测试任务,并且测试还需要实验人员参与,不能做到居家进行测试。
如果将认知量表进行电子化,可以实现在任意场景下进行量表测试。在使用电子量表时,用户可处于安静自在的环境下完成测试任务,进一步提高采集数据的鲁棒性。自动保存量表的测试时间、得分等数据信息,方便进行统计。
简明精神状态检查量表(Mini-Mental State Examination,MMSE)是常用的简便综合认知功能筛查量表,也是在国际上使用频率最高的认知功能评估工具。该量表包括定向力、记忆力、注意力和计算力、回忆、语言5个方面的内容。蒙特利尔认知评估量表(Montreal cognitive assessment,MoCA)。MoCA量表是用来对异常认知功能进行快速筛查的工具,包括视空间功能、命名、注意力、重复句子、流畅性、抽象能力、延迟回忆、定向力8个认知领域的11个检查项目。改良版长谷川痴呆量表(Revised Hasegawa Dementia Scale,HDS-R)是在长谷川痴呆量表的基础上改良形成的。HDS-R对受检人群的定向力、记忆力、近记忆力、计算力及常识5个维度进行评价。
在空间认知领域主要采用吉尔福德-齐默尔曼空间定向测试量表(Guilford-Zimmerma Spatial Orientation Test,GZSOT)、透视进行空间定位测试量表(PerspectiveTaking Spatial Orientation Test,PTSOT)、Corsi块敲击任务量表等量表对空间认知能力进行测试。GZSOT量表是一种传统常用的测试空间定位能力的量表,GZSOT量表利用Python的图形界面库tkinter进行开发,tkinter库简洁易使用,开发界面为全屏显示,防止用户被干扰,并会展示例题让用户理解题意。PTSOT量表可以测试用户的空间想象和空间定位能力,量表中一共有12道题,要求在5分钟内完成,得分为平均误差的百分比。该量表同样使用Python的图形界面库tkinter进行开发并打包成离线应用。Corsi块敲击任务(CorsiBlock-Tapping Task,CBTT)量表用于检测空间记忆,常用来评估短期视觉空间记忆。
在注意力领域可以使用舒尔特方格量表评估注意力水平,并对该量表进行了电子化开发。舒尔特方格量表是一种心理测量工具,用于评估个体的注意力、集中力和视觉搜索能力。在执行功能领域可使用Stroop色词干扰测验(Stroop color words test,SCWT)进行测试。SCWT涉及执行功能中的抽象概括能力、信息处理速度、干扰抑制能力等成分,可以反映被试的抗干扰能力和判断力,是常用的简短的执行功能检测方法。
在该步骤中本发明所采用的各类认知域对应量表,包括但并不限于上述量表示例。
S2、根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
可选地,根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏,包括:
根据认知测试结果,获得需要训练的认知域;
根据认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;
一种可行的实施方式中,根据量表的测试结果,可以分析出用户当前状态需要训练的认知功能的认知域,用户可根据自己需要训练的认知域选择相应的游戏和设置游戏难度进行认知训练。游戏的画面会通过AR装置呈现给用户,用户可方便的在多种场景使用系统进行认知训练。
认知游戏库包括认知测试游戏和认知训练游戏;认知测试游戏是一类设计用于评估个体认知能力和功能的游戏或任务。不同的认知域在认知游戏库对应着不同的认知测试游戏,这些游戏能够提供对应认知领域的认知能力的客观度量。
认知训练游戏是一类旨在锻炼和改进用户认知功能的游戏。不同的认知域在认知游戏库对应着不同的认知训练游戏,认知训练游戏能通过反复练习和挑战性任务,提高用户对应认知领域的认知能力。
用于训练注意力的城市跑酷游戏,游戏要求用户迅速对变化做出反应,如突然出现的奖励或者障碍。用于训练空间认知游戏的迷宫游戏,训练内容包括基本的空间方位感、空间记忆能力。用于训练记忆力的隐藏物品寻找游戏,要求用户找出隐藏在复杂场景中的特定物品,有助于提高观察力和记忆力。
在该步骤中本发明所采用的各类认知域对应训练游戏,包括但并不限于上述训练游戏示例。
S3、在AR环境下,采用认知训练游戏进行认知训练;在训练前和训练后使用认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号。
可选地,采用所述认知训练游戏进行认知训练;在训练前和训练后使用认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号,包括:
在训练前使用认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据认知训练游戏进行周期认知训练;在训练完成后使用认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据训练前的测试脑电信号以及训练后的测试脑电信号,获得测试脑电信号。
一种可行的实施方式中,本发明使用脑电帽对用户的脑电信号进行采集。脑电帽中的电极使用非侵入式电极,电极的摆放方法依据是国际标准导联10-20标准对电极位置进行配置,用户可在家人的帮助下完成电极的安放及脑电脑的佩戴。为了提高信号采集的质量,可针对不同的认知领域采集不同脑区的脑电信号,这样采集到的脑电信号更具有针对性。脑电帽采集训练前后的脑电信号,并发送至电子设备等待下一步处理。
S4、根据测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果。
可选地,根据测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果,包括;
对测试脑电信号进行预处理,获得处理后脑电信号;
对处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
一种可行的实施方式中,在本发明中预处理的主要处理方式包括去除漂移数据、滤波、去除伪迹和基线校正等方式。
漂移是指脑电信号中由于各种原因引起的慢速波动,如呼吸、心跳、电极移动等,它们不是与感兴趣的脑电活动相关的,因此需要被去除以提高信号质量和准确性。
滤波包括凹陷滤波和带通滤波,凹陷滤波的目的是去除50Hz的市电干扰。带通滤波的目的是为了选择研究所需的频段,在认知领域的脑电研究中,通常使用的带通滤波范围是1Hz到50Hz。这个频率范围被广泛应用于大多数认知任务,涵盖了大部分与认知功能相关的脑电活动。因此,使用1-50Hz的带通滤波器对脑电信号进行滤波操作。
伪迹可能由多种原因引起,如电极接触不良、运动伪影、电源线干扰、肌电干扰等。对于此类型的干扰数据可以使用独立成分分析法去除脑电信号中的干扰成分,提高脑电信号的信噪比。
基线校正旨在调整脑电信号的整体偏移,使得信号的均值在一个合适的范围内。在脑电信号中,可能存在直流偏移,即信号整体上移或下移,导致信号的均值偏离零。基线校正的目的是消除这种偏移,使得信号的均值接近零,以便进行后续的分析和解释。
本发明采用的特征提取方式采用互信息(Mutual Information,MI)来提取脑电信号的耦合特征。MI是用来分析二元神经群体的耦合方向,该方法一种非线性耦合特征脑电信号分析方法,互信息算法被广泛应用于特征提取,以揭示脑电信号中不同区域之间的关联性和信息传递。
互信息通常用于衡量不同脑区域之间的相互依赖关系。通过计算脑电信号的互信息,可以揭示不同脑区域之间的信息传递、功能性连接性以及潜在的非线性关系。MI方法可分析两个不同脑区信号之间耦合关系,具有很强的鲁棒性。在MI中一般不用考虑X信号到X信号自己的耦合强度,并且脑电信号分成7个频段之后,每个频段都具有不同的MI矩阵,最后经过特征提取可以得到若干个脑电信号耦合特征。之后将得到的一维向量作为神经网络分类器的输入。
脑电信号评估思路是借助数据挖掘、深度学习、神经网络等方法对进行认知训练之前与之后的脑电信号进行二分类。如果分类的效果比较好,说明前测与后测的脑电信号的区分度比较大,因此可以认为训练前后用户的认知能力发生了显著变化。
利用神经网络进行训练前后的脑电信号二分类,经过上述特征提取得到的耦合特征,作为分类器的输入,构建分类模型,将数据划分训练集和测试集,比例为9:1,采用网格搜索法优化模型中的参数,对训练集使用类似K折交叉验证的方法进行训练,对测试集进行预测并且评价性能。
采用类似K折交叉验证为了防止模型过拟合,提高泛化能力,将训练集划分为5折,分别进行5次训练,每次训练模型学习80%的数据,模型预测20%的数据,将5个模型的20%预测结果和测试集结果分别取平均得到最后的评价指标。
S5、根据训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价结果。
一种可行的实施方式中,本发明用几种常用的分类评价指标对分类的效果进行评估,衡量分类模型性能的常见评价指标有准确度、精确度、召回率、F1值(F1-score,F1)、ROC曲线(Receiver Operating Characteristic Curve,ROC)、ROC曲线下方面积值(AreaUnder Curve,AUC),将其中的准确度作为认知训练效果的评价指标。
本发明提出一种基于便携式BCI-AR的智能认知训练方法,采用AR设备来进行训练场景的展示,AR设备的优点是可以做到既能看到真实场景又能看到虚拟场景,做到了虚实结合,很好地呈现训练画面。AR设备可以很方便地进行部署,不受场地限制,使得该系统能够做到轻量化、便携化,针对行动不便或者卧床的用户能够很好地进行认知训练,同时也能够支持在多种场景下的使用。该方法能够广泛地适用于各种不同的认知域的认知功能训练。采取训练前后的脑电信号差异作为训练效果评估指标,能够改善当前对认知训练效果评估不足的问题。本发明是一种便于携带使用的高效、准确的智能认知能力训练方法。
图2是根据一示例性实施例示出的一种基于便携式BCI-AR的智能认知训练系统框图,该系统用于基于便携式BCI-AR的智能认知训练方法。参照图2,该系统包括脑电采集装置210、电子设备220以及AR装置230。为了便于说明,图2仅示出了该全流程可视化系统200的主要部件:
脑电采集装置210,用于在训练前和训练后进行脑电信号采集,获得测试脑电信号;
电子设备220,用于根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;根据测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;根据训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价;
AR装置230,用于根据预设的认知量表进行认知能力测试,获得认知测试结果;在AR环境下,采用认知训练游戏进行认知训练,在训练前和训练后使用认知测试游戏进行测试。
可选地,电子设备220,进一步用于:
根据认知测试结果,获得需要训练的认知域;
根据认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
可选地,脑电采集装置210,进一步用于:
在训练前使用认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据认知训练游戏进行周期认知训练;在训练完成后使用认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据训练前的测试脑电信号以及训练后的测试脑电信号,获得测试脑电信号。
可选地,电子设备220,进一步用于:
对测试脑电信号进行预处理,获得处理后脑电信号;
对处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
本发明提出一种基于便携式BCI-AR的智能认知训练方法,采用AR设备来进行训练场景的展示,AR设备的优点是可以做到既能看到真实场景又能看到虚拟场景,做到了虚实结合,很好地呈现训练画面。AR设备可以很方便地进行部署,不受场地限制,使得该系统能够做到轻量化、便携化,针对行动不便或者卧床的用户能够很好地进行认知训练,同时也能够支持在多种场景下的使用。该方法能够广泛地适用于各种不同的认知域的认知功能训练。采取训练前后的脑电信号差异作为训练效果评估指标,能够改善当前对认知训练效果评估不足的问题。本发明是一种便于携带使用的高效、准确的智能认知能力训练方法。
图3是本发明实施例提供的一种智能认知训练设备的结构示意图,如图3所示,智能认知训练设备可以包括上述图3所示的基于便携式BCI-AR的智能认知训练系统。可选地,智能认知训练设备310可以包括处理器2001。
可选地,智能认知训练设备310还可以包括存储器2002和收发器2003。
其中,处理器2001与存储器2002以及收发器2003,如可以通过通信总线连接。
下面结合图3对智能认知训练设备310的各个构成部件进行具体的介绍:
其中,处理器2001是智能认知训练设备310的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器2001是一个或多个中央处理器(centralprocessing unit,CPU),也可以是特定集成电路(application specific integratedcircuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmARle gate array,FPGA)。
可选地,处理器2001可以通过运行或执行存储在存储器2002内的软件程序,以及调用存储在存储器2002内的数据,执行智能认知训练设备310的各种功能。
在具体的实现中,作为一种实施例,处理器2001可以包括一个或多个CPU,例如图3中所示出的CPU0和CPU1。
在具体实现中,作为一种实施例,智能认知训练设备310也可以包括多个处理器,例如图3中所示的处理器2001和处理器2004。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
其中,所述存储器2002用于存储执行本发明方案的软件程序,并由处理器2001来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
可选地,存储器2002可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasARle programmARle read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器2002可以和处理器2001集成在一起,也可以独立存在,并通过智能认知训练设备310的接口电路(图3中未示出)与处理器2001耦合,本发明实施例对此不作具体限定。
收发器2003,用于与网络设备通信,或者与终端设备通信。
可选地,收发器2003可以包括接收器和发送器(图3中未单独示出)。其中,接收器用于实现接收功能,发送器用于实现发送功能。
可选地,收发器2003可以和处理器2001集成在一起,也可以独立存在,并通过智能认知训练设备310的接口电路(图3中未示出)与处理器2001耦合,本发明实施例对此不作具体限定。
需要说明的是,图3中示出的智能认知训练设备310的结构并不构成对该路由器的限定,实际的知识结构识别设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
此外,智能认知训练设备310的技术效果可以参考上述方法实施例所述的基于便携式BCI-AR的智能认知训练方法的技术效果,此处不再赘述。
应理解,在本发明实施例中的处理器2001可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmARle gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本发明实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmARle ROM,PROM)、可擦除可编程只读存储器(erasARle PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备、系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于便携式BCI-AR的智能认知训练方法,其特征在于,所述方法包括:
根据预设的认知量表进行认知能力测试,获得认知测试结果;
根据所述认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;
在AR环境下,采用所述认知训练游戏进行认知训练;在训练前和训练后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号;
根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;
根据所述训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价结果。
2.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练方法,其特征在于,所述根据所述认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏,包括:
根据所述认知测试结果,获得需要训练的认知域;
根据所述认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
3.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练方法,其特征在于,所述采用所述认知训练游戏进行认知训练;在训练前和训练后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得测试脑电信号,包括:
在训练前使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据所述认知训练游戏进行周期认知训练;在训练完成后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据所述训练前的测试脑电信号以及所述训练后的测试脑电信号,获得测试脑电信号。
4.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练方法,其特征在于,所述根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果,包括;
对所述测试脑电信号进行预处理,获得处理后脑电信号;
对所述处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据所述脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
5.一种基于便携式BCI-AR的智能认知训练系统,其特征在于,所述系统包括脑电采集装置、电子设备和AR装置,其中:
所述脑电采集装置,用于在训练前和训练后进行脑电信号采集,获得测试脑电信号;
所述电子设备,用于根据认知测试结果以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏;根据所述测试脑电信号,通过预设的神经网络进行评估,获得训练评估结果;根据所述训练评估结果以及预设的分类评价指标进行分析,获得认知训练评价;
所述AR装置,用于根据预设的认知量表进行认知能力测试,获得认知测试结果;在AR环境下,采用所述认知训练游戏进行认知训练,在训练前和训练后使用所述认知测试游戏进行测试。
6.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练系统,其特征在于,所述电子设备,进一步用于:
根据所述认知测试结果,获得需要训练的认知域;
根据所述认知域以及认知游戏库进行匹配,获得认知测试游戏以及认知训练游戏。
7.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练系统,其特征在于,所述脑电采集装置,进一步用于:
在训练前使用认知测试游戏进行测试,并进行脑电信号采集,获得训练前的测试脑电信号;
根据所述认知训练游戏进行周期认知训练;在训练完成后使用所述认知测试游戏进行测试,并进行脑电信号采集,获得训练后的测试脑电信号;
根据所述训练前的测试脑电信号以及所述训练后的测试脑电信号,获得测试脑电信号。
8.根据权利要求1所述的一种基于便携式BCI-AR的智能认知训练系统,其特征在于,所述电子设备,进一步用于:
对所述测试脑电信号进行预处理,获得处理后脑电信号;
对所述处理后脑电信号进行特征提取,获得脑电信号特征矩阵;
根据所述脑电信号特征矩阵,通过预设的神经网络进行评估,获得训练评估结果。
9.一种智能认知训练设备,其特征在于,所述智能认知训练设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410003387.XA CN117883673A (zh) | 2024-01-02 | 2024-01-02 | 一种基于便携式bci-ar的智能认知训练方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410003387.XA CN117883673A (zh) | 2024-01-02 | 2024-01-02 | 一种基于便携式bci-ar的智能认知训练方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117883673A true CN117883673A (zh) | 2024-04-16 |
Family
ID=90644099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410003387.XA Pending CN117883673A (zh) | 2024-01-02 | 2024-01-02 | 一种基于便携式bci-ar的智能认知训练方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117883673A (zh) |
-
2024
- 2024-01-02 CN CN202410003387.XA patent/CN117883673A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Steyrl et al. | Random forests in non-invasive sensorimotor rhythm brain-computer interfaces: a practical and convenient non-linear classifier | |
JP3581319B2 (ja) | 脳活動自動判定装置 | |
Shin et al. | Simple adaptive sparse representation based classification schemes for EEG based brain–computer interface applications | |
CN115349857B (zh) | 一种基于fNIRS脑功能图谱的动态康复评估方法和系统 | |
CN112363627A (zh) | 基于脑机交互的注意力训练方法和系统 | |
Chen et al. | Scalp EEG-based pain detection using convolutional neural network | |
Boswell et al. | Smartphone videos of the sit-to-stand test predict osteoarthritis and health outcomes in a nationwide study | |
CN115329818A (zh) | 基于vr的多模态融合注意力评估方法、系统及存储介质 | |
CN108962379B (zh) | 一种脑神经系统疾病的手机辅助检测系统 | |
Tian et al. | ResNet-50 based technique for EEG image characterization due to varying environmental stimuli | |
CN117158938A (zh) | 一种应用于智能手表的健康监测方法、装置及电子设备 | |
Mirmomeni et al. | From wearables to THINKables: artificial intelligence-enabled sensors for health monitoring | |
Wang et al. | Application of optimized convolutional neural networks for early aided diagnosis of essential tremor: automatic handwriting recognition and feature analysis | |
Ahamad | System architecture for brain-computer interface based on machine learning and internet of things | |
Ribeiro et al. | A New Intelligent Approach for Automatic Stress Levels Assessment based on Multiple Physiological Parameters Monitoring | |
Wang et al. | A novel model based on a 1D-ResCNN and transfer learning for processing EEG attenuation | |
CN116186502B (zh) | 一种多模态视觉神经功能检测方法及其系统 | |
CN116687411B (zh) | 一种游戏综合分数获取方法、装置、智能终端和存储介质 | |
CN117133404A (zh) | 一种针对胸廓出口综合征的智能化康复护理装置 | |
CN117883673A (zh) | 一种基于便携式bci-ar的智能认知训练方法及系统 | |
Wan et al. | Segment alignment based cross-subject motor imagery classification under fading data | |
EP3925534B1 (en) | Method and system for assessment of cognitive load from bio-potentials measured using wearable endosomatic device | |
Winnick et al. | Automated nystagmus detection: Accuracy of slow-phase and quick-phase algorithms to determine the presence of nystagmus | |
Li et al. | MST-net: A multi-scale swin transformer network for EEG-based cognitive load assessment | |
CN112656430A (zh) | 基于站立位失衡诱发脑电的卒中平衡康复评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |