CN116530938A - 一种认知增强训练系统及方法 - Google Patents

一种认知增强训练系统及方法 Download PDF

Info

Publication number
CN116530938A
CN116530938A CN202310517018.8A CN202310517018A CN116530938A CN 116530938 A CN116530938 A CN 116530938A CN 202310517018 A CN202310517018 A CN 202310517018A CN 116530938 A CN116530938 A CN 116530938A
Authority
CN
China
Prior art keywords
cognitive
training
user
module
near infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310517018.8A
Other languages
English (en)
Other versions
CN116530938B (zh
Inventor
魏慧琳
韦新
马天
李晨明
刘凯峰
康越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Lannao Technology Co ltd
Institute of Systems Engineering of PLA Academy of Military Sciences
Original Assignee
Xi'an Lannao Technology Co ltd
Institute of Systems Engineering of PLA Academy of Military Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Lannao Technology Co ltd, Institute of Systems Engineering of PLA Academy of Military Sciences filed Critical Xi'an Lannao Technology Co ltd
Priority to CN202310517018.8A priority Critical patent/CN116530938B/zh
Publication of CN116530938A publication Critical patent/CN116530938A/zh
Application granted granted Critical
Publication of CN116530938B publication Critical patent/CN116530938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/386—Accessories or supplementary instruments therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/0404—Electrodes for external use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/20—Applying electric currents by contact electrodes continuous direct currents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014—External stimulators, e.g. with patch electrodes
    • A61N1/36025—External stimulators, e.g. with patch electrodes for treating a mental or cerebral condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014—External stimulators, e.g. with patch electrodes
    • A61N1/3603—Control systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Dermatology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种认知增强训练系统及方法，包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；虚拟现实头显及脑电采集一体机包括VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元，用于进行视觉任务、听觉任务的呈现及认知相关信号的同步采集；认知增强训练与认知能力评估模块，用于接收认知相关的脑电、近红外、眼动信号，并进行认知相关的信号处理，得到用户的认知能力评估结果；认知增强训练与认知能力评估模块，根据用户的认知能力评估结果，通过训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。本发明将基于虚拟现实的认知训练和大脑刺激进行组合，从而提高了认知增强训练的效果。

Description

一种认知增强训练系统及方法
技术领域
本发明涉及认知增强训练技术领域，尤其涉及一种认知增强训练与认知能力评估系统及方法。
背景技术
认知增强是指有针对性地增强或者扩展认知能力或者情感能力的技术，其以神经可塑性为基础，通过加强或抑制神经元之间的连接，改变大脑不同区域之间的联接关系，从而改变相关的认知能力。
认知增强训练一般采用认知神经科学研究中所采用的标准化实验范式来进行测评项目和训练项目的设计，实现了对注意力、感知觉、记忆力、执行功能、情绪能力、认知灵活性等多种认知能力的测评和训练功能，并通过精心设计的不同训练课程来指导用户根据自身情况进行针对性训练。认知训练的应用十分广泛，从幼儿认知训练到老年认知训练，每个年龄段都有不同的认知训练方法以及侧重点。认知训练在一些病症中应用广泛，如：脑外伤患者的认知训练，阿兹海默症认知训练，还有对脑卒中的认知训练。认知训练同时在一些特定岗位及特殊人群中也有应用，如：军事特种作战人员、运动员等，用于针对性提升特定人员的认知表现与行为效能。
脑功能活动包括神经元活动和局部能量代谢等多个过程，复杂的功能活动使得脑汇集了多个模态的信息，其中最为重要的是神经元的电活动和激活区域的血氧代谢变化，只有实现这两种信息的有效提取、分析和融合，才能将脑功能活动有机地联系起来。脑电技术主要通过测量大脑神经元的电活动变化获得大脑的功能信息，具有很高的时间分辨率。眼动在人机交互、认知、心理学等方面的研究上起重要作用。近红外光谱技术是从20世纪70年代发展起来的一种无创新型脑功能成像方法，其检测原理主要是基于近红外光对大脑组织的良好穿透性实现对大脑皮层的功能活动的检测。但是到目前为止，认知训练和刺激组合方法研究仍存在一些不足，认知增强训练和刺激组合方法中，组合方式以及相应的刺激参数，如刺激时间、刺激频次、电流强度目前仍不明确；同一刺激位置和同一训练范式下的结果也呈现出较大的个体化差异，可能与人类的基线水平等因素有关，仍需要进行系统性研究。
发明内容
本发明所要解决的技术问题在于，提供一种认知增强训练系统及方法，能够通过利用虚拟现实头显及脑电采集一体机同步采集认知信号，利用信号放大器对认知信号进行放大，并转换成数字认知信号；利用无线通信模块将数字认知信号发送到认知增强训练与认知能力评估模块；利用认知增强训练与认知能力评估模块，对数字认知信号进行处理，得到用户的认知能力评估结果；利用认知增强训练与认知能力评估模块，根据认知能力评估结果，为用户提供认知增强训练，并给出认知训练分析报告。
为了解决上述技术问题，本发明实施例第一方面公开了一种认知增强训练系统，所述系统包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；
所述虚拟现实头显及脑电采集一体机用于进行视觉任务、听觉任务的呈现和进行认知信号的同步采集；所述认知信号包括近红外信号、脑电信号和眼动信号；
所述认知增强训练与认知能力评估模块由蓝脑云平台实现，用于接收所述认知信号，并进行所述认知信号处理，得到用户的认知能力评估结果；
所述认知增强训练与认知能力评估模块，根据所述用户的认知能力评估结果，通过所述训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。
作为一种可选的实施方式，本发明实施例第一方面中，所述虚拟现实头显及脑电采集一体机包括VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元；
所述VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元集成在头戴式装备上；
所述VR模块包括VR显示单元、眼动追踪单元和动作捕捉单元；
所述电刺激模块包括直流电刺激单元、交流电刺激单元和控制单元；
所述控制单元包括无线通信模块和安全控制模块；
所述脑电采集单元包括干电极传感器和信号放大器；
所述近红外信号采集单元包括激光光源和雪崩二极管；
所述眼动采集单元包括近红外LED发光模块和近红外图像传感器；
所述近红外LED发光模块包括16个近红外LED，每只眼睛8个，用于提供红外光；
所述近红外图像传感器共2个，每只眼睛1个，用于采集眼动信号；
用户利用所述VR显示单元进行认知增强训练；
所述眼动追踪单元用于追踪用户的眼动信息；
所述动作捕捉单元用于捕捉用户的动作信息；
所述头戴式装备上设置32个干电极；所述干电极一端连接导线，另一端连接硅胶套；所述干电极用于提供电刺激、采集脑电信号；
所述激光光源为730nm和850nm的近红外激光光源；
所述近红外激光光源和所述雪崩二极管接收器用于采集近红外信号；
所述信号放大器用于将所述近红外信号、脑电信号和眼动信号进行放大，并转换成数字认知信号；
所述无线通信模块用于将所述数字认知信号发送给所述认知增强训练与认知能力评估模块；
所述安全控制模块用于为用户提供安全防护；
所述刺激模块用于为用户提供电刺激。
作为一种可选的实施方式，本发明实施例第一方面中，所述刺激模块采用经颅电刺激的工作方式；
所述安全控制模块在检测到电刺激超过预设的阈值时，中断所述虚拟现实头显及脑电采集一体机的工作。
作为一种可选的实施方式，本发明实施例第一方面中，所述电刺激包括刺激的电流、频率、电压和刺激的持续时间；
所述刺激的电流小于2mA。
作为一种可选的实施方式，本发明实施例第一方面中，所述认知增强训练与认知能力评估模块，包括训练评估单元、后台管理单元、视觉呈现模块、听觉呈现模块、VR场景数据库；
所述训练评估单元用于根据用户的认知能力评估结果，为用户提供认知增强训练；
所述认知增强训练包括：记忆增强训练、注意增强训练、感知增强训练、判断运算能力增强训练和执行能力增强训练；
所述训练评估单元根据用户的认知增强训练结果，给出认知训练分析报告；
所述后台管理单元，用于进行用户数据的后台存储与分析；
所述视觉呈现模块，用于为用户呈现视觉信息；
所述听觉呈现模块，用于为用户呈现听觉信息；
所述VR场景数据库存储VR场景图，用于为用户提供认知增强训练。
作为一种可选的实施方式，本发明实施例第一方面中，所述训练评估单元，利用虚拟现实可视化技术、计算机网络、图形系统工具和图像信息处理方法，实现拟真化交互，对用户进行认知增强训练与认知能力评估。
作为一种可选的实施方式，本发明实施例第一方面中，所述记忆增强训练包括桌球记忆训练、文字再认训练、视觉搜索、无人机目标识别、工作记忆任务、空间工作记忆和视觉工作记忆，用于训练用户信息短暂存储和处理加工能力；
所述注意增强训练用于训练用户对输入的感觉信息进行筛选以达到视空间定向的能力，包括舒尔特方格、注意广度、注意网络、观察自己、确定任务优先级、加深专注力、抵御数字媒体的干扰和信息过量的应对；
所述感知增强训练用于训练用户接受感官刺激的反应能力及作出反应的能力，包括速度匹配、心理旋转、三维空间表征、情绪理解和空间观点采择；
所述判断运算能力增强训练用于训练用户大脑的计算能力，训练方法包括究极心算训练和色词挑战训练；
所述执行能力增强训练用于利用卡片分类，训练用户在既定的方案和愿景的前提下，组织对内部外部可利用资源进行综合协调。
本发明实施例第二方面公开了一种认知增强训练方法，所述方法包括：
S1，利用所述虚拟现实头显及脑电采集一体机同步采集认知信号；所述认知信号包括近红外信号、脑电信号和眼动信号；
S2，利用所述信号放大器对所述认知信号进行放大，并转换成数字认知信号；
S3，利用所述无线通信模块将所述数字认知信号发送到所述认知增强训练与认知能力评估模块；
S4，利用所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果；
S5，利用认知增强训练与认知能力评估模块，根据所述认知能力评估结果，为用户提供认知增强训练，并给出认知训练分析报告。
作为一种可选的实施方式，本发明实施例第二方面中，所述利用所述虚拟现实头显及脑电采集一体机同步采集认知信号，包括：
S11，利用头戴式装备上的脑电采集单元采集脑电信号；
S12，利用头戴式装备上的眼动采集单元采集眼动信号；
S13，利用头戴式装备上的近红外激光光源照射头皮，通过雪崩二极管接收器，采集经过颅脑折射散射后的近红外光衰减信号；
所述近红外光衰减信号包括波长λ1时近红外光衰减信号和波长λ2时近红外光衰减信号；
S14，利用近红外信号生成模型，对所述近红外光衰减信号进行处理，得到氧合血红蛋白浓度变化的近红外信号；
所述近红外信号生成模型为：
其中，rSO2为氧合血红蛋白浓度变化的近红外信号，为波长λ1时颅脑折射散射后的衰减系数，/>为波长λ2时颅脑折射散射后的衰减系数，/>为波长λ1时脱氧血红蛋白摩尔消光系数，/>为波长λ2时脱氧血红蛋白摩尔消光系数，/>为波长λ1时氧合血红蛋白摩尔消光系数，/>为波长λ2时氧合血红蛋白摩尔消光系数；
其中，r为近红外激光光源与雪崩二极管接收器的距离，为波长λ1时近红外光衰减信号，/>为波长λ2时近红外光衰减信号。
作为一种可选的实施方式，本发明实施例第二方面中，所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果，包括：
S41，对所述数字认知信号进行预处理，得到预处理认知信号；
S42，对所述预处理认知信号进行时频特征提取，得到时频特征参数；
S43，利用预设的认知能力评估模型，对所述时频特征参数进行处理，得到用户的认知能力评估结果。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，提供了一种认知增强训练系统及方法，该系统包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块，虚拟现实头显及脑电采集一体机用于进行视觉任务、听觉任务的呈现及认知信号的同步采集；认知增强训练与认知能力评估模块，用于接收所述认知信号，并进行认知信号处理，得到用户的认知能力评估结果；认知增强训练与认知能力评估模块根据用户的认知能力评估结果，通过训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。本发明将认知训练和大脑刺激进行组合，从而提高了认知增强训练的效果，经颅电刺激可以使训练的认知能力提升更容易达到长期效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种认知增强训练系统的结构示意图；
图2是本发明实施例公开的一种认知增强训练系统的干电极示意图；
图3是本发明实施例公开的一种认知增强训练方法的流程示意图；
图4是本发明实施例公开的认知增强训练与认知能力评估软件的结构示意图；
图5是本发明实施例公开的认知增强训练与认知能力评估软件的主界面示意图；
图6是本发明实施例公开的认知增强训练与认知能力评估软件的记忆增强训练界面示意图；
图7是本发明实施例公开的认知增强训练与认知能力评估软件的注意增强训练界面示意图；
图8是本发明实施例公开的认知增强训练与认知能力评估软件的感知增强训练界面示意图；
图9是本发明实施例公开的认知增强训练与认知能力评估软件的执行功能增强训练界面示意图；
图10是本发明实施例公开的认知增强训练与认知能力评估软件的判断运算增强训练界面示意图；
图11是本发明实施例公开的认知增强训练与认知能力评估软件的基于VR的注意力训练界面示意图；
图12是本发明实施例公开的认知增强训练与认知能力评估软件的基于VR的感知觉训练界面示意图；
图13是本发明实施例公开的认知增强训练与认知能力评估软件的基于VR的巷战训练界面示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种认知增强训练系统及方法，包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；所述虚拟现实头显及脑电采集一体机用于进行视觉任务、听觉任务的呈现及认知信号的同步采集；所述认知信号包括近红外信号、脑电信号和眼动信号；所述认知增强训练与认知能力评估模块，用于接收所述认知信号，并进行所述认知信号处理，得到用户的认知能力评估结果；所述认知增强训练与认知能力评估模块，根据所述用户的认知能力评估结果，通过所述训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。本发明将基于虚拟现实的认知训练和大脑刺激进行组合，从而提高了认知增强训练的效果。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种认知增强训练系统的结构示意图。其中，图1所描述的认知增强训练系统应用于认知训练系统中，如用于正常人(如：特种作战人员、运动员等)感知能力、注意力、工作记忆、决策能力等认知功能的提升，还可以用于患者(如：脑卒中、抑郁症、阿尔兹海默病等)认知障碍的康复中，本发明实施例不做限定。如图1所示，该认知增强训练系统包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；
所述系统包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；
所述虚拟现实头显及脑电采集一体机用于进行视觉任务、听觉任务的呈现和进行认知信号的同步采集；所述认知信号包括近红外信号、脑电信号和眼动信号；
所述认知增强训练与认知能力评估模块由蓝脑云平台实现，用于接收所述认知信号，并进行所述认知信号处理，得到用户的认知能力评估结果；
所述认知增强训练与认知能力评估模块，根据所述用户的认知能力评估结果，通过所述训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。
可选的，所述虚拟现实头显及脑电采集一体机包括VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元；
所述VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元集成在头戴式装备上；
所述VR模块包括VR显示单元、眼动追踪单元和动作捕捉单元；
所述电刺激模块包括直流电刺激单元、交流电刺激单元和控制单元；
所述控制单元包括无线通信模块和安全控制模块；
所述脑电采集单元包括干电极传感器和信号放大器；
所述近红外信号采集单元包括激光光源和雪崩二极管；
所述眼动采集单元包括近红外LED发光模块和近红外图像传感器；
所述近红外LED发光模块包括16个近红外LED，每只眼睛8个，用于提供红外光；
所述近红外图像传感器共2个，每只眼睛一个，用于采集眼动信号；
用户利用所述VR显示单元进行认知增强训练；
所述眼动追踪单元用于追踪用户的眼动信息；
所述动作捕捉单元用于捕捉用户的动作信息；
所述头戴式装备上设置32个干电极；所述干电极一端连接导线，另一端连接硅胶套；所述干电极用于提供电刺激、采集脑电信号；
所述激光光源为730nm和850nm的近红外激光光源；
所述近红外激光光源和所述雪崩二极管接收器用于采集近红外信号；
所述信号放大器用于将所述近红外信号、脑电信号和眼动信号进行放大，并转换成数字认知信号；
所述无线通信模块用于将所述数字认知信号发送给所述认知增强训练与认知能力评估模块；
所述安全控制模块用于为用户提供安全防护；
所述刺激模块用于为用户提供电刺激。
可选的，所述刺激模块采用经颅电刺激的工作方式；
所述安全控制模块在检测到电刺激超过预设的阈值时，中断所述虚拟现实头显及脑电采集一体机的工作。
可选的，所述电刺激包括刺激的电流、频率、电压和刺激的持续时间；
所述刺激的电流小于2mA。
可选的，所述认知增强训练与认知能力评估模块，包括训练评估单元、后台管理单元、视觉呈现模块、听觉呈现模块、VR场景数据库；
所述训练评估单元用于根据用户的认知能力评估结果，为用户提供认知增强训练；
所述认知增强训练包括：记忆增强训练、注意增强训练、感知增强训练、判断运算能力增强训练和执行能力增强训练；
所述训练评估单元根据用户的认知增强训练结果，给出认知训练分析报告；
所述后台管理单元，用于进行用户数据的后台存储与分析；
所述视觉呈现模块，用于为用户呈现视觉信息；
所述听觉呈现模块，用于为用户呈现听觉信息；
所述VR场景数据库存储VR场景图，用于为用户提供认知增强训练。
可选的，所述训练评估单元，利用虚拟现实可视化技术、计算机网络、图形系统工具和图像信息处理方法，实现拟真化交互，对用户进行认知增强训练与认知能力评估。
可选的，所述记忆增强训练包括桌球记忆训练、文字再认训练、视觉搜索、无人机目标识别、工作记忆任务、空间工作记忆和视觉工作记忆，用于训练用户信息短暂存储和处理加工能力；
可选的，所述注意增强训练用于训练用户对输入的感觉信息进行筛选以达到视空间定向的能力，包括舒尔特方格、注意广度、注意网络、观察自己、确定任务优先级、加深专注力、抵御数字媒体的干扰和信息过量的应对；
可选的，所述感知增强训练用于训练用户接受感官刺激的反应能力及作出反应的能力，包括速度匹配、心理旋转、三维空间表征、情绪理解和空间观点采择；
可选的，所述判断运算能力增强训练用于训练用户大脑的计算能力，训练方法包括究极心算训练和色词挑战训练；
可选的，所述执行能力增强训练用于利用卡片分类，训练用户在既定的方案和愿景的前提下，组织对内部外部可利用资源进行综合协调。
图2是本发明实施例公开的一种认知增强训练系统的干电极示意图。
实施例二
请参阅图3，图3是本发明实施例公开的一种认知增强训练方法的流程示意图。其中，图3所描述的认知增强训练方法应用于认知训练系统中，如用于正常人(如：特种作战人员、运动员等)感知能力、注意力、工作记忆、决策能力等认知功能的提升，还可以用于患者(如：脑卒中、抑郁、阿尔兹海默病等)认知障碍的康复中，本发明实施例不做限定。如图3所示，该认知增强训练方法包括：
S1，利用所述虚拟现实头显及脑电采集一体机同步采集认知信号；所述认知信号包括近红外信号、脑电信号和眼动信号；
S2，利用所述信号放大器对所述认知信号进行放大，并转换成数字认知信号；
S3，利用所述无线通信模块将所述数字认知信号发送到所述认知增强训练与认知能力评估模块；
S4，利用所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果；
S5，利用认知增强训练与认知能力评估模块，根据所述认知能力评估结果，为用户提供认知增强训练，并给出认知训练分析报告。
可选的，所述利用所述虚拟现实头显及脑电采集一体机同步采集认知信号，包括：
S11，利用头戴式装备上的脑电采集单元采集脑电信号
S12，利用头戴式装备上的眼动采集单元采集眼动信号；
S13，利用头戴式装备上的近红外激光光源照射头皮，通过雪崩二极管接收器，采集经过颅脑折射散射后的近红外光衰减信号；
所述近红外光衰减信号包括波长λ1时近红外光衰减信号和波长λ2时近红外光衰减信号；
S14，利用近红外信号生成模型，对所述近红外光衰减信号进行处理，得到氧合血红蛋白浓度变化的近红外信号；
所述近红外信号生成模型为：
其中，rSO2为氧合血红蛋白浓度变化的近红外信号，为波长λ1时颅脑折射散射后的衰减系数，/>为波长λ2时颅脑折射散射后的衰减系数，/>为波长λ1时脱氧血红蛋白摩尔消光系数，/>为波长λ2时脱氧血红蛋白摩尔消光系数，/>为波长λ1时氧合血红蛋白摩尔消光系数，/>为波长λ2时氧合血红蛋白摩尔消光系数；
其中，r为近红外激光光源与雪崩二极管接收器的距离，为波长λ1时近红外光衰减信号，/>为波长λ2时近红外光衰减信号。
可选的λ1为730nm和λ2为850nm。摩尔消光系数为常数，与吸收体种类和波长有关。
所述眼动采集单元与头戴式装备适配，包括近红外图像传感器，每只眼睛1个，近红外LED，每只眼睛8个，实现双眼同步追踪，红外光波长850nm，通信方式为无线通信，或者用USB接口通信，追踪视场角：>110°，可以提供的眼动数据包括视线方向、瞳孔长轴直径、瞳孔短轴直径、眼睛张合度、瞳孔在眼图中的位置和眼睛原图等。
可选的，所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果，包括：
S41，对所述数字认知信号进行预处理，得到预处理认知信号；
S42，对所述预处理认知信号进行时频特征提取，得到时频特征参数；
S43，利用预设的认知能力评估模型，对所述时频特征参数进行处理，得到用户的认知能力评估结果。
在利用认知能力评估模型进行评估之前，先进行实验数据采集，招募了50名健康被试参与研究，其中男生女生各一半，人口统计学无显著差异。采集受试者不同测试和训练状态下的脑电信号、眼动信号和近红外信号，形成数据集，并对数据集进行划分，将认知能力评估结果分成5个等级，优秀、良好、中等、及格和不及格。
预处理为去均值化。时频特征提取为提取时频变换信息，方法为：
式中，S(m,n)为时频谱图，x(t)表示时域信号，g(t)表示窗函数，T表示滑动窗口长度，N表示离散傅里叶变换长度，m,n分别表示时频谱图频点和时刻，L表示信号长度，i表示信号样点，M表示离散傅里叶变换长度。
对所述时频谱图进行滤波，得到降噪后的时频谱图，包括：
设置初始阈值δth的目标区间[α,β],其中0≤α＜β≤max{S(m,n)}，S(m,n)为时频谱图；
将所述目标区间[α,β]划分为L等份；
将初始阈值δth设置为α，按照的步长进行递增迭代，得到阈值/>
利用阈值计算每一次迭代后的时频谱图/>
其中，S(m,n)表示原时频谱图，表示滤波处理后的时频谱图，a,b表示阈值中的时间、频率参量；
计算每一次迭代与上一次迭代的得到的时频谱图的差值εi,i＝1,2,…为迭代次数；
将差值εi进行曲线拟合，得到曲线C，当曲线C出现拐点时，对应的阈值为最优阈值；
利用所述最优阈值，对所述时频谱图S(m,n)进行最优阈值滤波，得到降噪后的时频谱图。
利用特征分析模型，对提取的脑电信号特征、眼动信号特征和近红外信号特征进行特征融合，得到融合认知信号特征。典型相关分析的流程为：假设需要融合的两种特征矩阵分别是X和Y，X是n×m维矩阵，Y是p×m维矩阵。M代表样本数，n和p代表两种特征的维数。将两个矩阵投影到1维进行线性表示，分别对应投影向量a和b，则投影后的特征矩阵变为：
X'＝aTX,Y'＝bTY
目的是使X'与Y'之间的相关系数最大，从而得到相关系数最大时的投影向量a和b。即：
投影前先对数据进行标准化，标准化的目的是使数据的均值为0，方差为1。这种条件下，可以得到：
cov(X',Y')＝cov(aTX,bTY)＝E(＜aTX,bTY＞)＝E((aTX)(bTY)T)＝aTE(XYT)b
D(X')＝D(aTX)＝aTE(XXT)a
D(Y')＝D(bTY)＝bTE(YYT)b
因为X和Y经过标准化后均值为0，所以
D(X)＝cov(X,X)＝E(XXT)
D(Y)＝cov(Y,Y)＝E(YYT)
cov(X,Y)＝E(XYT),cov(Y,X)＝E(YXT)
设SXX＝cov(X,X)，则求解目标转化为：
Step1：计算X，Y的方差SXX以及SYY，XY和YX的协方差SXY＝SYX T。
Step2：计算矩阵
Step3：求解M的奇异值，获得最大的奇异值和它的前后奇异向量u,v。
Step4：X与Y的投影向量a和b分别为：
利用认知能力评估模型，先使用n个训练样本训练得到一个分类器，然后将一个样本的输入向量(长度为d)输入到分类器中，分类器通过计算判断它的所属类别。在线性分类器中，输入向量的d个成分只是d个简单观察到的特征。而一般情况下，输入向量的d个成分是由观察到的特征计算出的基函数的值，这个值可能是非线性的。在后种情况中的d是基函数的数量，而不再是原始特征的数量。
假设共有m个类别，用1～m表示，这些类别对应的编码向量为：y＝[y(1),y(2),…y(m)]Τ。若样本x属于第i个类别，则y(i)＝1，否则y(i)＝0。训练样本集由n个训练样本构成D＝{(x1,y1),…,(xn,yn)}。在MLR分类器中，样本x属于类别i的概率为：
其中i∈{1,…,m}，ω(i)是类别i对应的加权特征向量，上标Τ是矩阵的转置。当解决二分类问题时，该模型被称作逻辑回归模型(Logistic Regression，LR)；而对于m＞2的多分类问题，该模型称为多项式逻辑回归模型(MLR)。这是由于归一化条件为：
其中，一个类别的权值向量不需要估计。一般情况下，我们令ω(m)＝0，唯一需要被学习的参数是权值向量ω(i)，其中i∈{1,…,m-1}。下面用ω表示将要被学习的d(m-1)维的权值向量参数。
在监督学习框架中，ω的组成是通过训练样本集D估计的。要对ω进行最大似然估计(ML)，需要将这个对数似然函数最大化，具体表达式如下式：
这通常是使用牛顿法实现的，在这种情况下，也被称为迭代重加权最小二乘法(IRLS)。如果训练数据是可分的，l(ω)函数可以任意大，所以ω是重要的。表达式如下：
其中，p(ω)是ω的，表达式如下：
p(ω)∝exp(-λ||ω||1)
其中的||ω||1＝∑l|wl|，表示l1范数。
实施例三
请参阅图4，图4是本发明实施例公开的认知增强训练与认知能力评估软件的结构示意图。其中，图4所描述的认知增强训练与认知能力评估软件应用于认知训练系统中，如用于正常人(如：特种作战人员、运动员等)感知能力、注意力、工作记忆、决策能力等认知功能的提升，还可以用于患者(如：脑卒中、抑郁症、阿尔兹海默病等)认知障碍的康复中，本发明实施例不做限定。如图4所示，该认知增强训练与认知能力评估软件架构分为被试端和管理端两部分组成。其中被试端使用平板和VR设备相结合，主试端采用PC后台管理系统。认知增强训练与认知能力评估软件功能有用户管理、训练评估、后台管理三个部分组成，以数字化信息为基础，对学员进行全面的数字化训练，主要使用虚拟现实可视化技术、计算机网络、图形系统工具、图像信息处理，满足拟真化交互、训练和考核的需要。
具体功能项如下：
1、用户管理
(1)登录功能
负责用户登录，以及用户的登录鉴权，用户登录后由服务端进行用户的信息检测，信息正确则登录成功，否则登录失败。
(2)注册功能
新用户的注册功能，用户通过输入账号密码以及基础用户信息便可注册到系统内。
(3)个人资料管理
用户登录成功后可通过个人中心查看或者更新个人资料信息。
(4)用户注销
用户可通过注销功能，退出当前系统。
(5)训练评估
训练评估主要包含有“记忆增强训练”，“注意增强训练”，“感知增强训练”，“判断运算能力增强训练”，“执行能力增强训练”五大模块组成。
可选的，所述记忆增强训练用于训练用户信息短暂存储和处理加工能力，包括桌球记忆、文字再认、视觉搜索、无人机目标识别、工作记忆任务、空间工作记忆和视觉工作记忆；
可选的，所述注意增强训练用于训练用户对输入的感觉信息进行筛选以达到视空间定向的能力，包括舒尔特方格、注意广度、注意网络、观察自己、确定任务优先级、加深专注力、抵御数字媒体的干扰和信息过量的应对；
可选的，所述感知增强训练用于训练用户接受感官刺激的反应能力及作出反应的能力，包括速度匹配、心理旋转、三维空间表征、情绪理解和空间观点采择；
可选的，所述判断运算能力增强训练用于训练用户大脑的计算能力，包括究极心算、色词挑战和Stroop任务；
可选的，所述执行能力增强训练用于利用卡片分类，训练用户在既定的方案和愿景的前提下，组织对内部外部可利用资源进行综合协调，制定出可行性的战略，并通过有效的执行措施从而达成最终目标的能力。
图5是发明实施例公开的认知增强训练与认知能力评估软件的主界面示意图，主界面分为标题栏和内容栏两个部分，用户可以通过标题栏修改更新个人资料，可通过内容栏选择指定的训练科目进行训练。
图6是发明实施例公开的认知增强训练与认知能力评估软件的记忆增强训练界面示意图，训练一共包含5大类：记忆增强训练，注意增强训练，感知增强训练，执行能力增强训练，判断运算增强训练。
记忆增强主要包含以下训练科目：桌球记忆，桌球记忆主要训练瞬时记忆能力，以及空间结构记忆能力，通过桌球的位置，障碍物的位置，弹射的路径以及球的落点完成瞬时记忆以及空间结构记忆的强化训练。点击开始训练进入训练模式，训练过程中通过点击桌球弹射后的最终落点位置区域的按钮进行确定位置，根据选择正确与否记录成绩，给出认知训练分析报告，提示训练结果后进入下一轮测验。文字再认，根据屏幕显示的汉字并记录汉字内容，开始训练后首先显示20个文字，训练人员需要快速记忆，然后播放一段视频进行记忆干扰，视频播放一分钟后返回训练模式，屏幕会以此显示40个汉字，用户需要根据记忆判断这些文字是否出现在开始的20个文字内，出现过点击“有”按钮，未出现过点击“没有”按钮。训练之后，系统根据训练成绩，给出认知训练分析报告，结果为优、良、中、及格、不及格和训练建议。视觉搜索，点击开始进入训练，训练过程中屏幕会出现一个+号，之后出现一张包含几个0的图片，图片中可能包含Q，需要尽快确定是否含有Q，如果有按“有”按钮，如果无点击“无”按钮。无人机目标识别，点击开始进入训练，训练过程中屏幕会出现一个+号，之后出现一张包含几个装备的图片，图片中可能包含无人机，需要尽快确定是否含有无人机，如果有按“有”按钮，如果无点击“无”按钮。工作记忆任务主要侧重与短时记忆，指对信息短暂存储和处理加功能能力，提取整合出有用的信息。屏幕会出现三张不同的扑克牌，其中一张是黑桃A，记住黑桃A的位置，然后三张牌倒扣，他们的位置会随机更换，需要注意盯住黑桃A的位置，当三张牌位置变化完毕后，通过点击找出黑桃A位置并点击，确定位置后显示测试结果，如果正确累加成绩，无论正确与否进入下一轮测验。训练完成后显示当前训练的成绩界面，点击下一步进入历史成绩界面，可进行重新训练或退出训练。空间工作记忆通过程序随机生成物体的位置，记忆藏物的位置，并确定点击所有物体的位置，正确点击后显示物体位置，并累计得分，错误点击结束本轮训练，无论是否正确进行下一轮测试，被试一共有5次错误的机会，训练过程中根据被试的测试情况自动调节难度，并在物体隐藏的情况下添加旋转，所有错误机会使用完毕后结束训练。视觉工作记忆一次显示10个图案，每个图案显示10秒钟，显示完成后要求受试者再现所显示的图案，本顿视觉保持测验(BVRT)是评估视觉工作记忆能力的标准化神经认知工具，先在屏幕呈现一幅目标图，保持500ms后，出现包含目标图的四幅图，要求被试以最快的速度从当前四幅图中选出目标图，应答限时800ms自动超时，评估标准为准确反应时间与正确率。
图7是发明实施例公开的认知增强训练与认知能力评估软件的注意增强训练界面示意图，舒尔特方格是一个5×5的正方形方格，共25个格子。格子内任意写有1～25共25个数字。训练时，要求被测者用手指按1～25的顺序依次指出其所在位置，并记录所用时间。数完25个数字所用的时间越短，则说明注意力水平越高。18岁以上的成年人，12秒内为优秀，13～16秒为良好，17～19秒为中等，20秒内为及格。训练开始后训练人员需要集中注意力观察屏幕上的格子，并按照从小到大的顺序进行点击，训练难度会随着使用者的进度不断增加，如果用户正确点击，则会增加训练时间，倒计时完毕后训练结束。注意广度开始训练后屏幕中央会出现一个“+”，会闪烁多个装备图片，这些图片呈现时间很短，训练人员需要集中注意力，准确识别图片的个数，并输出图片的个数，无论正确与否系统自动统计训练成绩，并完成72轮训练，输出成绩。注意网络开始训练后屏幕会出现一组箭头，注意中间箭头的方向，如果朝左点击“<-”，如果朝右点击“->”,当上面或者下面只显示一个*号时，代表箭头将要出现的位置，训练人员需要点击正确的箭头进行下一轮测验，在完成测验后显示当前测验的成绩内容。察视自我通过正念引导语，提升元认知。确定任务优先级通过正念引导语，审视任务的优先级，合理规划时间。加深专注力通过正念引导语，提升专注度。抵御数字媒体的干扰通过正念引导语，抵御数字媒体的干扰。信息过量的应对通过正念引导语，应对信息的过量。
图8是发明实施例公开的认知增强训练与认知能力评估软件的感知增强训练界面示意图，速度匹配训练会首先显示一张图，显示后训练人员需要确认是否和上一张图一致，如果一致点击“是”，否则点击“否”，训练一共持续60秒，训练人员需要尽可能快速地进行训练以获取更高的得分成绩，训练完成后显示本次训练的成绩信息。心理旋转任务根据要求建立图片基础库，50张正像，角度范围在0～360度，50张镜像图片库，角度范围在0～360度。训练过程中卡片随机出现，记录被试的训练用时、反应时间以及不同状态下的正确率。新手引导，开始测验阶段，软件首先会进入新手帮助模式，新手帮助模式会引导被试熟悉软件的操作步骤，完成新手引导模式后经过确定进入实际的训练模式。训练模式，训练模式种一共包含30道训练题目，训练题目完全随机，训练过程中记录被试在不同角度、镜像与否下的响应时间与正确率，训练完成后显示被试此次测试的数据结果。分值记录，训练完成后被试可查看当前项目的历史成绩记录，以及自己最佳成绩。
图9是发明实施例公开的认知增强训练与认知能力评估软件的执行功能增强训练界面示意图。卡片分类，卡片共有颜色、图形、数量三种，下方卡片可能和任何一个卡片是同一个分类，训练人员需要根据训练过程中的结果自行分辨当前卡片属于哪一类，在训练连续正确6次后切换下一轮分类，训练一共64次，完成训练后显示训练成绩。威斯康星卡片分类测验测查的是根据以往经验进行分类、概括、工作记忆和认知转移的能力，反映的认知功能包括：抽象概括，认知转移，注意，工作记忆，信息提取，分类维持，分类转换，刺激再识和加工，感觉输入和运动输出等。病理生理学意义：能够较敏感地检测有无额叶局部脑损害，尤其是对额叶背外侧部病变较为敏感。临床应用常见反应：有些人能从一个动作(按颜色分类)转移到另一个动作(按形状分类)，但对开始的动作有强迫性重复，没等完成第二个分类，就又回到第一个动作中，始终在两个动作间徘徊，只是不能完成任何一个动作。有时患者能根据外部标准察觉到自身行为上所发生的错误，但是不能根据他的知识去改变他的行为，在测验时，即使能记住指导语，但却不能按照指导语做出正确反应。一些病人在做了错误反应时，能马上认识到了错误，但仍以当前不正确的分类去匹配卡片。有时候说得是对的，做的却是错的。习惯重复旧的行为模式，一旦执行了一项要求(如按照颜色分类)，就会一直做下去，即使主试一再指出是错误的，病人仍坚持下去，有些患者能根据外部的标准察觉到他自己的行为是错的，但不能根据自己的知识改变自己的行为，有时即使说得是对的，但做的(放的)却是错的。
图10是发明实施例公开的认知增强训练与认知能力评估软件的判断运算增强训练界面示意图，stroop训练通过语音和屏幕结合的方式进行训练，点击开始训练后，单词“right”或“left”通过耳机或设备的音响随机呈现给右耳或左耳，当一个单词和其呈现的耳朵方向性一致时需判断为正确，反之则为不正确；评估指标为准确性和反应时间，训练人员根据听到的声音方向点击对应按钮，如果按钮方向和单词意义一致则为正确，否则为错误，本轮测试一共20道题目，每次题目内容完全随机。
在每一项训练之后，都会根据训练的成绩给出认知训练分析报告：
1、完成测查总应答数(RA)：为128或是完成6个分类所用的应答数。正常值60-128，提示认知功能区间；
2、完成分类数(CC)：测查结束后所完成的归类数。其值范围为(0-6)，提示认知功能，用来测量被试掌握分类到不同类别的概念的程度；
3、正确应答数(RC)：测查过程中，正确的应答数目，即符合所要求应对原则的所有应答；
4、错误应答数(RE)：测查过程中，错误的应答数目，即不符合所要求应对原则的所有应答。正常值≤45，提示被试的认知转移能力；
5、正确应答百分比(RCP)：即正确应答数所占总应答数的百分比。反映抽象概括能力；
6、完成第一个分类所需应答数(RF)：正常值10-20，高分提示抽象概括能力差，特别是最初概念形成能力差；
7、概念化水平百分数(RFP)：整个测查过程中，连续完成3-10个正确应答的总数，占总应答数的百分比。正常值≥60％，低分提示概念形成的洞察力较差；
8、持续性应答数(RP)：指明明知道根据某一属性来分类是错误的，但是还是继续用这一属性来分类，它是威斯康星卡片分类测验所有指标中提示有无脑损伤以及是否有额叶局灶性损伤的一项最好指标。正常值≤27，反映认知转移能力；
9、持续性错误数(RPE)：指在分类原则改变后，被试者不能放弃旧的分类原则，固执地继续按原来的分类原则进行分类；它可反映概念形成、校正的利用和概念的可塑性等方面的问题。提示脑额叶功能损伤；
10、持续性错误的百分数(RPEP)：持续性错误占总应答数的百分比。正常值≤19％，高分提示脑额叶功能损伤；
11、非持续性错误(NRPE)：即总错误数与持续性错误数之差。正常值≤24，高分提示注意力不集中或思维混乱；
12、不能维持完整分类数(规则坚持失败FM)：指测试过程中，连续完成5－9个正确应答的次数，即已发现分类规则但不能坚持完成分类的次数。正常值≤2，高分指有一定的概念形成能力，但不能成功运用已经形成的概念进行操作。
13、学习到学会(L-L)：只有完成三个或三个以上的分类才能计算，即相邻两个分类阶段错误应答百分数差值的平均数。正常值≥-10，低分表示不能有效应用以往经验，提示学习能力有一定障碍。
2、VR训练
所述软件还包括VR训练，受训者通过佩戴VR头显，参加认知训练。在佩戴VR头显的状态下，进行巷战训练。在巷战训练前测、后测认知功能，也是在VR头显里完成。VR里有3个内容，一个巷战模块，2个认知功能测量模块。
(1)注意力训练
图11是基于VR的注意力训练。开始训练后屏幕会出现一组箭头，注意中间箭头的方向，如果朝左点击“<-”，如果朝右点击“->”,当上面或者下面只显示一个*号时，代表箭头将要出现的位置，训练人员需要点击正确的箭头进行下一轮测验，在完成测验后显示当前测验的成绩内容。
(2)感知觉训练
图12是基于VR的感知觉训练。使用折叠箱不同角度，不同方位，并添加一部分随机性干扰物来训练被试的大脑想象与对象交互操作能力。点击开始后开始训练，训练过程中需要确定哪个位置在折叠后不会被重叠遮挡，选择后记录得分信息并继续进行下一轮测验。训练过程中用户需点击四个黄色未知按钮中的任意一个，点击后箱子开始折叠，如果折叠后物品未发生重叠，则通过测试，记录正确成绩，否则记录错误成绩，无论正确与否进入下一轮测验，直到完成20轮测试。
(3)巷战训练
图13是基于VR的巷战训练。使用手柄，模拟双手持枪，参加巷战。
3、后台管理
采用管理员用户admin登录即可进入后台管理界面，如果未注册请首选注册admin用户，然后使用此用户登录。
(1)更新资料
点击标题栏个人信息图标进入个人信息修改界面。
(2)档案管理
使用admin用户登录成功后默认显示档案管理界面
(3)系统管理
系统管理主要分为两大块，人员管理和部门管理。
(4)信息统计
信息统计界面主要显示当前的人员数量，学历统计信息，政治面貌以及婚姻状态信息。
(5)注销登录
点击标题栏右上角的更多按钮弹出注销选择框，点击注销按钮返回到登录前状态。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种认知增强训练系统及方法所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种认知增强训练系统，其特征在于，所述系统包括虚拟现实头显及脑电采集一体机和认知增强训练与认知能力评估模块；
所述虚拟现实头显及脑电采集一体机用于进行视觉任务、听觉任务的呈现和进行认知信号的同步采集；所述认知信号包括近红外信号、脑电信号和眼动信号；
所述认知增强训练与认知能力评估模块由蓝脑云平台实现，用于接收所述认知信号，并进行所述认知信号处理，得到用户的认知能力评估结果；
所述认知增强训练与认知能力评估模块，根据所述用户的认知能力评估结果，通过所述训练评估单元、VR模块及电刺激模块为用户提供认知增强训练，并根据用户认知增强训练的结果给出认知训练分析报告。
2.根据权利要求1所述的认知增强训练系统，其特征在于，所述虚拟现实头显及脑电采集一体机包括VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元；
所述VR模块、电刺激模块、脑电采集单元、近红外信号采集单元和眼动采集单元集成在头戴式装备上；
所述VR模块包括VR显示单元、眼动追踪单元和动作捕捉单元；
所述电刺激模块包括直流电刺激单元、交流电刺激单元和控制单元；
所述控制单元包括无线通信模块和安全控制模块；
所述脑电采集单元包括干电极传感器和信号放大器；
所述近红外信号采集单元包括激光光源和雪崩二极管；
所述眼动采集单元包括近红外LED发光模块和近红外图像传感器；
所述近红外LED发光模块包括16个近红外LED，每只眼睛8个，用于提供红外光；
所述近红外图像传感器共2个，每只眼睛1个，用于采集眼动信号；
用户利用所述VR显示单元进行认知增强训练；
所述眼动追踪单元用于追踪用户的眼动信息；
所述动作捕捉单元用于捕捉用户的动作信息；
所述头戴式装备上设置32个干电极；所述干电极一端连接导线，另一端连接硅胶套；所述干电极用于提供电刺激、采集脑电信号；
所述激光光源为730nm和850nm的近红外激光光源；
所述近红外激光光源和所述雪崩二极管接收器用于采集近红外信号；
所述信号放大器用于将所述近红外信号、脑电信号和眼动信号进行放大，并转换成数字认知信号；
所述无线通信模块用于将所述数字认知信号发送给所述认知增强训练与认知能力评估模块；
所述安全控制模块用于为用户提供安全防护；
所述刺激模块用于为用户提供电刺激。
3.根据权利要求2所述的认知增强训练系统，其特征在于，所述刺激模块采用经颅电刺激的工作方式；
所述安全控制模块在检测到电刺激超过预设的阈值时，中断所述虚拟现实头显及脑电采集一体机的工作。
4.根据权利要求3所述的认知增强训练系统，其特征在于，所述电刺激包括刺激的电流、频率、电压和刺激的持续时间；
所述刺激的电流小于2mA。
5.根据权利要求1所述的认知增强训练系统，其特征在于，所述认知增强训练与认知能力评估模块，包括训练评估单元、后台管理单元、视觉呈现模块、听觉呈现模块、VR场景数据库；
所述训练评估单元用于根据用户的认知能力评估结果，为用户提供认知增强训练；
所述认知增强训练包括：记忆增强训练、注意增强训练、感知增强训练、判断运算能力增强训练和执行能力增强训练；
所述训练评估单元根据用户的认知增强训练结果，给出认知训练分析报告；
所述后台管理单元，用于进行用户数据的后台存储与分析；
所述视觉呈现模块，用于为用户呈现视觉信息；
所述听觉呈现模块，用于为用户呈现听觉信息；
所述VR场景数据库存储VR场景图，用于为用户提供基于虚拟现实的认知增强训练。
6.根据权利要求5所述的认知增强训练系统，其特征在于，所述训练评估单元，利用虚拟现实可视化技术、计算机网络、图形系统工具和图像信息处理方法，实现拟真化交互，对用户进行认知增强训练与认知能力评估。
7.根据权利要求5所述的认知增强训练系统，其特征在于，所述记忆增强训练包括桌球记忆训练、文字再认训练、视觉搜索、无人机目标识别、工作记忆任务、空间工作记忆和视觉工作记忆，用于训练用户信息短暂存储和处理加工能力；
所述注意增强训练用于训练用户对输入的感觉信息进行筛选以达到视空间定向的能力，包括舒尔特方格、注意广度、注意网络、观察自己、确定任务优先级、加深专注力、抵御数字媒体的干扰和信息过量的应对；
所述感知增强训练用于训练用户接受感官刺激的反应能力及作出反应的能力，包括速度匹配、心理旋转、三维空间表征、情绪理解和空间观点采择；
所述判断运算能力增强训练用于训练用户大脑的计算能力，训练方法包括究极心算训练和色词挑战训练；
所述执行能力增强训练用于利用卡片分类，训练用户在既定的方案和愿景的前提下，组织对内部外部可利用资源进行综合协调。
8.一种认知增强训练方法，其特征在于，所述方法应用于权利要求1-7所述的认知增强训练系统，所述方法包括：
S1，利用所述虚拟现实头显及脑电采集一体机同步采集认知信号；所述认知信号包括近红外信号、脑电信号和眼动信号；
S2，利用所述信号放大器对所述认知信号进行放大，并转换成数字认知信号；
S3，利用所述无线通信模块将所述数字认知信号发送到所述认知增强训练与认知能力评估模块；
S4，利用所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果；
S5，利用认知增强训练与认知能力评估模块，根据所述认知能力评估结果，为用户提供认知增强训练，并给出认知训练分析报告。
9.根据权利要求8所述的认知增强训练方法，其特征在于，所述利用所述虚拟现实头显及脑电采集一体机同步采集认知信号，包括：
S11，利用头戴式装备上的脑电采集单元采集脑电信号
S12，利用头戴式装备上的眼动采集单元采集眼动信号；
S13，利用头戴式装备上的近红外激光光源照射头皮，通过雪崩二极管接收器，采集经过颅脑折射散射后的近红外光衰减信号；
所述近红外光衰减信号包括波长λ1时近红外光衰减信号和波长λ2时近红外光衰减信号；
S14，利用近红外信号生成模型，对所述近红外光衰减信号进行处理，得到氧合血红蛋白浓度变化的近红外信号；
所述近红外信号生成模型为：
其中，rSO2为氧合血红蛋白浓度变化的近红外信号，为波长λ1时颅脑折射散射后的衰减系数，/>为波长λ2时颅脑折射散射后的衰减系数，/>为波长λ1时脱氧血红蛋白摩尔消光系数，/>为波长λ2时脱氧血红蛋白摩尔消光系数，/>为波长λ1时氧合血红蛋白摩尔消光系数，/>为波长λ2时氧合血红蛋白摩尔消光系数；
其中，r为近红外激光光源与雪崩二极管接收器的距离，为波长λ1时近红外光衰减信号，/>为波长λ2时近红外光衰减信号。
10.根据权利要求8所述的认知增强训练方法，其特征在于，所述认知增强训练与认知能力评估模块，对所述数字认知信号进行处理，得到用户的认知能力评估结果，包括：
S41，对所述数字认知信号进行预处理，得到预处理认知信号；
S42，对所述预处理认知信号进行时频特征提取，得到时频特征参数；
S43，利用预设的认知能力评估模型，对所述时频特征参数进行处理，得到用户的认知能力评估结果。
CN202310517018.8A 2023-05-09 2023-05-09 一种认知增强训练系统及方法 Active CN116530938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310517018.8A CN116530938B (zh) 2023-05-09 2023-05-09 一种认知增强训练系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310517018.8A CN116530938B (zh) 2023-05-09 2023-05-09 一种认知增强训练系统及方法

Publications (2)

Publication Number Publication Date
CN116530938A true CN116530938A (zh) 2023-08-04
CN116530938B CN116530938B (zh) 2024-03-08

Family

ID=87455562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310517018.8A Active CN116530938B (zh) 2023-05-09 2023-05-09 一种认知增强训练系统及方法

Country Status (1)

Country Link
CN (1) CN116530938B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881853A (zh) * 2023-09-08 2023-10-13 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质
CN117747062A (zh) * 2023-09-22 2024-03-22 中央美术学院 一种基于vr迷宫的认知训练系统
CN118512713A (zh) * 2024-07-18 2024-08-20 杭州南粟科技有限公司 结合经颅电和数字疗法的联合康复辅助系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106693161A (zh) * 2016-12-26 2017-05-24 南京沃高医疗科技有限公司 一种经颅直流电刺激装置
CN110573065A (zh) * 2017-03-08 2019-12-13 哈洛纽罗公司 用于电刺激的系统
CN113948212A (zh) * 2020-11-25 2022-01-18 北京未名脑脑科技有限公司 认知功能的训练系统和训练方法
KR20220053378A (ko) * 2020-10-22 2022-04-29 주식회사 하이 인지 예비능 강화를 위한 디지털 인지 강화 훈련 장치 및 그 방법
WO2022106850A1 (en) * 2020-11-23 2022-05-27 The University Of Birmingham Improving cognitive function
CN114694837A (zh) * 2020-12-31 2022-07-01 浙江凡聚科技有限公司 一种基于虚拟现实的认知功能障碍训练系统
CN115462755A (zh) * 2022-08-31 2022-12-13 北京津发科技股份有限公司 飞行员认知能力评估方法、系统和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106693161A (zh) * 2016-12-26 2017-05-24 南京沃高医疗科技有限公司 一种经颅直流电刺激装置
CN110573065A (zh) * 2017-03-08 2019-12-13 哈洛纽罗公司 用于电刺激的系统
KR20220053378A (ko) * 2020-10-22 2022-04-29 주식회사 하이 인지 예비능 강화를 위한 디지털 인지 강화 훈련 장치 및 그 방법
WO2022106850A1 (en) * 2020-11-23 2022-05-27 The University Of Birmingham Improving cognitive function
CN113948212A (zh) * 2020-11-25 2022-01-18 北京未名脑脑科技有限公司 认知功能的训练系统和训练方法
CN114694837A (zh) * 2020-12-31 2022-07-01 浙江凡聚科技有限公司 一种基于虚拟现实的认知功能障碍训练系统
CN115462755A (zh) * 2022-08-31 2022-12-13 北京津发科技股份有限公司 飞行员认知能力评估方法、系统和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
应用语言学 核心话题系列丛书 心理语言学: "《应用语言学 核心话题系列丛书 心理语言学》", 外语教学与研究出版社, pages: 67 - 69 *
缪辉: "基于近红外连续波的无创组织体血氧检测系统", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ》, no. 4, pages 9 - 18 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881853A (zh) * 2023-09-08 2023-10-13 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质
CN116881853B (zh) * 2023-09-08 2024-01-05 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质
CN117747062A (zh) * 2023-09-22 2024-03-22 中央美术学院 一种基于vr迷宫的认知训练系统
CN118512713A (zh) * 2024-07-18 2024-08-20 杭州南粟科技有限公司 结合经颅电和数字疗法的联合康复辅助系统和方法

Also Published As

Publication number Publication date
CN116530938B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN116530938B (zh) 一种认知增强训练系统及方法
US11488726B2 (en) System, method and apparatus for treatment of neglect
CN105069294B (zh) 一种用于认知能力值测试的计算和分析方法
EP3474743B1 (en) Method and system for detection and analysis of cognitive flow
Pinheiro et al. Wheelchair simulator game for training people with severe disabilities
Tot et al. Software platform for learning about brain wave acquisition and analysis
WO2019141017A1 (zh) 一种人体感官数据测量系统及方法
CN113974589B (zh) 多模态行为范式评估优化系统及认知能力评价方法
WO2022057840A1 (zh) 脑认知功能检测系统
Das et al. Analyzing gaming effects on cognitive load using artificial intelligent tools
Hernandez-Ortega et al. Heart rate estimation from face videos for student assessment: experiments on edBB
WO2021090331A1 (en) A system and method of diagnosing or predicting the levels of autism spectrum disorders (asd) using xr-ai platform
US11317849B2 (en) Virtual reality device for diagnosis of nerve disorder, system and method for thereof
CN111738234B (zh) 基于个体眼动特征的自动化共情能力识别方法
Díaz-Orueta Advances in neuropsychological assessment of attention
Faria et al. Towards ai-based interactive game intervention to monitor concentration levels in children with attention deficit
Kołakowska et al. Applications for investigating therapy progress of autistic children
CN104992080B (zh) 一种潜能值测验的刺激信息编制方法
Peña et al. Use of a Low Cost Neurosignals Capture System to Show the Importance of Developing Didactic Activities Within a Class to Increase the Level of Student Engagement (Case Study)
Zhang et al. Application of computer games in the visual perception assessment of children with autism spectrum disorder
Kumar et al. Learning Brain Computer Interface model for Amyotrophic Lateral Sclerosis (ALS) people using Random Forest–Linear Discriminant Analysis (RF-LDA) Algorithm
Reynolds Adversarial uses of affective computing and ethical implications
Ji et al. Diagnostic and rehabilitation system for Alzheimer’s disease based on virtual reality technology in rehabilitation rooms
US20220054072A1 (en) Brain Activation Matching
Iijima et al. The Catcher in the Eye: Recognizing Users by their Blinks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant