CN110801237B - 一种基于眼动和脑电特征的认知能力评估系统 - Google Patents

一种基于眼动和脑电特征的认知能力评估系统 Download PDF

Info

Publication number
CN110801237B
CN110801237B CN201911091411.5A CN201911091411A CN110801237B CN 110801237 B CN110801237 B CN 110801237B CN 201911091411 A CN201911091411 A CN 201911091411A CN 110801237 B CN110801237 B CN 110801237B
Authority
CN
China
Prior art keywords
scheme
eye movement
electroencephalogram
module
experimental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911091411.5A
Other languages
English (en)
Other versions
CN110801237A (zh
Inventor
张鑫
张志勇
张楷隋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkebokang Beijing Medical Equipment Co ltd
Casibrain Beijing Technology Co ltd
Original Assignee
Zhongkebokang Beijing Medical Equipment Co ltd
Casibrain Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkebokang Beijing Medical Equipment Co ltd, Casibrain Beijing Technology Co ltd filed Critical Zhongkebokang Beijing Medical Equipment Co ltd
Priority to CN201911091411.5A priority Critical patent/CN110801237B/zh
Publication of CN110801237A publication Critical patent/CN110801237A/zh
Application granted granted Critical
Publication of CN110801237B publication Critical patent/CN110801237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4863—Measuring or inducing nystagmus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于眼动和脑电特征的认知能力评估系统及其方法，系统包括实验方案设计模块、实验方案显示装置、眼动采集装置、脑电采集装置、数据存储模块、眼动分析模块、脑电分析模块和方案评价模块，被试通过佩戴实验方案显示装置，评估实验方案在显示屏幕上播放，供被试查看；眼动采集装置和脑电采集装置分别记录评估实验方案呈现过程中被试的相关视线参数和脑电参数，并对眼动参数和脑电参数进行模型构建和能力测评；将对眼动参数和脑电参数的分析结果存储在数据存储模块中；通过方案评价模块得到认知评价分数，并对外显示认知评价分数，采用实验范式中的眼动参数特征和脑电参数对认知能力进行客观评价，准确度明显提升。

Description

一种基于眼动和脑电特征的认知能力评估系统
技术领域
本发明涉及认知能力客观评价技术领域，具体涉及一种基于眼动和脑电特征的认知能力评估系统及其方法。
背景技术
随着中国社会老龄化进程加速，我国脑部疾病有爆发式增长的态势，认知障碍则是脑部疾病的主要表现形式之一。
以阿兹海默症为例，截至2015年，全球痴呆患者人数已达4680万人，其中50％-75％为阿兹海默症(也就是我们俗称的老年痴呆症)患者。每年全球将新增990万名痴呆患者，平均每3秒新增1人。在社会人口老龄化的基础上，我国已成为阿兹海默症重灾区，目前，中国阿兹海默症患者人数已居世界第一，而只有21％的患者得到了规范诊断。
现在临床上使用认知评价量表评估患者认知能力水平，评价流程：
(1)首先通过详细病史询问和简易神经心理学测验量表测试快速筛查；
(2)对初筛出的患者进行成套神经心理学测验量表测试，全面评价认知功能；
(3)针对某一认知域进行特定检测。
现行的认知障碍诊断是以医生问诊为主，结合生理指标和认知评价量表进行诊断，这种诊断方法效率较低，且受到测试者主观判断影响，很难进行纵向比较和随访追踪，无法做到快速诊断。因此，社会对高精度、易操作，认知评价系统的需求会越来越高。
发明内容
本发明针对现有评价量表客观性不足、对患者教育水平敏感等问题，本发明提供了一种基于眼动和脑电特征的认知能力评估系统及其方法。
本发明采用如下技术方案：
一方面，本发明提供了一种基于眼动和脑电特征的认知能力评估系统，所述系统包括：
实验方案设计模块，集成于电脑中，用于建立刺激素材和实验方案，并对方案及刺激素材进行管理；
实验方案显示装置，其提取所述实验方案设计模块中的刺激素材，并呈现给被试和测试人员；
眼动采集装置，被试通过佩戴所述实验方案显示装置查看刺激素材，并通过所述眼动采集装置采集被试的眼动图像数据；
脑电采集装置，被试通过所述实验方案显示装置查看刺激素材，并通过所述脑电采集装置采集被试的原始脑电数据；
数据存储模块，集成于电脑中，与所述的眼动采集装置和脑电采集装置连接，用于存储被试的眼动图像数据和原始脑电数据；
眼动分析模块，集成于电脑中，其由所述数据存储模块中提取被试的眼动图像数据，并对眼动参数进行模型构建和能力测评，再将眼动参数分析结果存入所述数据存储模块中；
脑电分析模块，集成于电脑中，其由所述数据存储模块中提取原始脑电数据进行降噪和伪迹消除处理，并对脑电参数进行时域、频域和叠加分析，再将脑电参数分析结果存入所述数据存储模块中；
方案评价模块，集成于电脑中，其从所述数据存储模块中提取被试的方案信息、眼动参数信息和脑电参数信息，通过分析计算，得出被试的认知评价分数，并通过所述实验方案显示装置显示认知评价分数。
所述眼动采集装置为内嵌于所述实验方案显示装置显示屏幕下部的眼底近红外摄像头，所述实验方案显示装置包括被试人员显示装置和测试人员显示模块，所述被试人员显示装置为头戴式VR显示装置，所述测试人员显示模块集成于电脑中。
所述眼动分析模块对其接收的所述眼动采集装置的原始眼部图片依次进行预处理、瞳孔区域采集、视线标定、视线追踪和眨眼检测。
所述脑电采集装置包括：
所述脑电导电帽，用于采集被试脑部皮层电压，并将其通过模数转换成数字信号；
硬件滤波模块，集成于所述脑电导电帽中，用于对所述脑电导电帽所采集到的数字信号进行滤波处理，摒除高频噪声信号及过滤市电工频信号；
通信模块，集成于所述脑电导电帽中，经所述硬件滤波模块过滤后的数字信号通过所述通信模块传输至所述脑电分析模块进行分析处理。
所述方案评价模块中包括：
单用户单次方案评价模块，其读取被试信息、实验方案信息、眼动参数信息和脑电参数信息，构建数据评估模型，并与内置正常参数标准进行对照，根据被试信息情况和不同参数个性化权重，计算认知能力分数；
单用户多次方案纵向评价模块，通过读取被试人员信息、选定的多次实验方案信息及对应的眼动参数信息、脑电参数信息，比较各项指标变化趋势，计算认知能力变化程度。
所述实验方案设计模块包括：
人员管理模块，对用户信息进行增改、删查操作；
方案素材管理模块，对实验方案所需外部素材进行增改、删查操作；
方案管理模块，对认知能力评价方案进行增改、删查。
所建立的刺激素材包括但不限于图片方案、轨迹方案、视频方案，所述图片方案以静态图片或GIF图片为主体设计实验范式；所述轨迹方案以轨迹点为主体，规划轨迹点移动路径来设计实验范式；所述视频方案以视频素材为主体，通过播放视频来设计实验范式。
所述数据存储模块包括实验方案信息存储单元、眼动信息存储单元和脑电信息存储单元；所述实验方案信息存储单元用于存储实验方案设计信息；所述眼动信息存储单元用于存储实验方案过程中记录的眼动信息；所述脑电信息存储单元用于存储实验方案过程中记录的脑电信息。
另一方面，本发明还提供了一种基于眼动和脑电特征的认知能力评估方法，所述评估方法包括如下步骤：
步骤1、在实验方案设计模块中设计认知能力评估所使用的实验方案；
步骤2、在实验方案显示装置中选择针对当前被试的个性化实验方案；
步骤3、被试佩戴实验方案显示装置，评估实验方案在显示屏幕上播放，供被试查看；
步骤4、采用眼动采集装置记录评估实验方案呈现过程中被试的相关视线参数，并通过眼动分析模块对眼动参数进行模型构建和能力测评；采用脑电采集装置记录评估实验方案呈现过程中被试的相关脑电参数，并通过脑电分析模块对脑电参数进行模型构建与能力测评，将对眼动参数和脑电参数的分析结果存储在数据存储模块中；
步骤5、通过方案评价模块从数据存储模块中提取被试的实验方案信息、眼动参数信息和脑电参数信息，通过分析计算，得出被试的认知评价分数，并在被试佩戴的实验方案显示装置的显示屏幕上显示分数，同时给出相应反馈及建议。
本发明技术方案，具有如下优点：
A.本发明将眼动追踪技术和脑电检测技术同时应用在认知评价领域中，通过在实验方案显示装置中呈现所选择的刺激素材，用实验范式中的眼动参数特征和脑电参数对认知能力进行客观评价，从而得出用户更准确的认知能力水平，实现认知能力评估准确性的提升。
B.本发明与现行常用认知评价量表相比，评估方案可以采用更加个性化的设计，实验方案采用图片、视频和颜色等刺激素材，对被试的教育水平敏感度不高。同时由于被试佩戴头盔式VR显示装置，给用户沉浸式体验，屏蔽外界信息干扰，所得眼动及脑电参数的测试数据更加准确，使得被试认知能力的评价分数可靠性更高。
附图说明
为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的认知能力评估系统流程示意图；
图2是认知范式实验步骤流程示意图；
图3是本发明所提供的评估系统物理拓扑图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于眼动和脑电特征的认知能力评估系统，所述系统包括实验方案设计模块、实验方案显示装置、眼动采集装置、脑电采集装置、数据存储模块、眼动分析模块、脑电分析模块和方案评价模块。
实验方案设计模块集成于电脑中，用于建立刺激素材和实验方案，并对方案及刺激素材进行管理，可以设计实验方案细节，这里的刺激素材包括但不限于刺激类型(图片、点)、持续时间、屏幕位置、方案循环次数。还可以建立多名用户档案。
实验方案显示装置其提取实验方案设计模块中的刺激素材，并呈现给被试和测试人员；
眼动采集装置，被试通过实验方案显示装置查看刺激素材，并通过眼动采集装置采集被试的眼动图像数据；
脑电采集装置，被试通过实验方案显示装置查看刺激素材，并通过脑电采集装置采集被试的原始脑电数据；
数据存储模块与眼动采集装置和脑电采集装置连接，用于存储被试的眼动图像数据和原始脑电数据；
眼动分析模块由数据存储模块中提取被试的眼动图像数据，并对眼动参数进行模型构建和能力测评，再将眼动参数分析结果存入数据存储模块中；
脑电分析模块由数据存储模块中提取原始脑电数据进行降噪和伪迹消除处理，并对脑电参数进行时域、频域和叠加分析，再将脑电参数分析结果存入数据存储模块中；
方案评价模块从数据存储模块中提取被试的方案信息、眼动参数信息和脑电参数信息，通过分析计算，得出被试的认知能力分数。
眼动分析模块、脑电分析模块、数据存储模块、实验方案设计模块、方案评价模块集成于电脑软件。
本发明中的认知评价系统结合脑电和眼动追踪，优选采用图片刺激方式(也可以采用颜色等其他刺激方式)，无需患者有较高的文化程度。结合眼动追踪与脑电信号，通过注意力和记忆力实验范式，评估患者认知能力。
在实验方案设计阶段，可以设计刺激类型和设计方案步骤。
在实验方案实施阶段，为用户播放实验方案，同时采集眼动和脑电参数，记录方案设置和眼动、脑电参数信息。
在实验方案分析阶段，读取方案设置和眼动、脑电参数信息，构建评估模型，得出用户认知能力分数。
下面对上述系统中的各个部分进行详细描述。
(1)实验方案设计模块
包括人员管理模块、方案素材管理模块和方案管理模块。
人员管理模块是对用户信息进行增改、删查操作。用户信息包括但不限于以下内容：姓名、年龄、性别、病史、生理参数信息。
方案素材管理模块是对实验方案所需外部刺激素材进行增改、删查操作。刺激素材包括但不限于以下内容：静态图片、gif动态图片、视频。添加新的刺激素材时，对刺激素材进行标签分类和信息提取。
刺激素材为图片时，图片信息提取包括图片复杂度计算和图片兴趣点预估两方面。
其中的图片复杂度计算包括：图片内边缘数量的计算、图片内颜色变化剧烈区域数量的计算以及图片内闭合区域数量的计算。
图片兴趣点预估是基于全局颜色直方图的颜色对比度算法，即，使用每一个像素与图像中所有其他像素的颜色对比差异来确定它的显著性值 (差异越大显著值越大)，从而得到全分辨率显著性图像。
方案管理模块是对认知能力评价实验方案进行增改、删查。实验方案信息包括但不限于以下内容：实验方案名称、实验方案类型、实验方案步骤细节、判定区域设置等。实验方案名称具有唯一性。实验方案类型包括但不限于识别方案、对比方案、轨迹方案、刺激点方案。不同实验方案的区别体现在评估方式不同以及眼动、脑电参数选用的不同。
方案参数包括方案整体参数、眼动参数、脑电参数、人员参数。
具体参数如下：
Figure BDA0002266966550000071
Figure BDA0002266966550000081
Figure BDA0002266966550000082
Figure BDA0002266966550000083
Figure BDA0002266966550000091
Figure BDA0002266966550000092
实验方案步骤细节设计包括但不限于以下内容：本步骤持续时长、本步骤背景素材选择、本步骤前景素材选择、本步骤循环次数和本步骤切换方式(定时切换、按键切换、条件切换)。
定时切换为当本步骤持续时长结束后，自动切换到下一步骤实验内容。
按键切换为本步骤持续时长结束后，需要测试人员或者被试者手动按键切换到下一步骤。
(2)实验方案显示装置
实验方案显示装置包括被试人员显示装置和测试人员显示模块，被试人员显示装置为头戴式VR显示装置，测试人员显示模块集成于电脑中。
操作时包括以下步骤：人员选择、实验方案选择、实验方案播放和与实验方案回放。
在人员选择步骤中，在人员管理模块新建人员后，可在实验方案显示装置内选择进行实验的人员，本次实验方案将存储在此人员名下。同一人员可以进行多次不同方案实验，在方案综合分析阶段可进行此人员单次实验评估分析和此人员多次实验评估纵向分析。
在实验方案选择步骤中，方案管理模块新建方案后，可在实验方案显示装置内选择进行实验的方案。
在实验方案播放步骤中，显示界面分为测试人员显示单元和被试者显示单元。测试人员显示单元编写为电脑软件，可以显示实验方案播放画面、被试者眼底摄像头图像、实验方案参数、采集参数。实验方案播放画面可以根据实验方案需要，实时显示可视化参数。在被试者眼底摄像机图像画面中可以根据实验方案需要，实时显示可视化参数。被试者显示单元为头戴式虚拟现实内置屏幕，可以显示实验方案播放画面。实验方案播放完成后，通过数据存储模块记录实验方案相关参数。
在实验方案回放步骤中，选择特定人员、选择特定实验方案，可以在测试人员显示单元进行实验方案的回放。
(3)数据存储模块
用于存储人员信息、实验方案信息、眼动参数信息、脑电参数信息。数据存储模块包含实验方案信息存储单元、眼动信息存储单元、脑电信息存储单元。实验方案信息存储单元可以存储实验方案设计信息；眼动信息存储单元可以存储实验方案过程中记录的眼动信息；脑电信息存储单元可以存储实验方案过程中记录的脑电信息。
(4)眼动采集装置
包括眼底摄像机和近红外光阵列。将采集到的眼部图片交给眼动分析模块进行参数提取。
(5)眼动分析模块
用于接收眼动采集装置记录的原始眼部图片，进行以下步骤：预处理、瞳孔区域采集、视线标定、视线追踪、眨眼检测。
在预处理步骤中，将彩色图片转成灰度图，进行高斯滤波，和图像处理操作消除睫毛和光噪影响；
在瞳孔区域采集步骤中，在预处理后的图像上寻找圆形度最高的区域，且区域附近有近红外光阵列形成的一定形状的光斑阵列。则此区域为瞳孔区域，计算区域中心则为瞳孔中心；
在标定步骤中，若被试是第一次使用此方案设备，则会进行一个特殊的标定实验方案。被试依次看向屏幕上出现的位于屏幕各个边缘位置的九个标定点，记录此方案过程中的瞳孔中心点集，使用聚类算法计算看向九个标定点时的九个瞳孔位置。此九个瞳孔位置则为看向屏幕时的瞳孔移动边界点；
在视线追踪步骤中，使用标定过程中得到的瞳孔移动边界点和当前计算的瞳孔坐标的相对关系，构建非线性映射模型，计算此时瞳孔坐标对应的屏幕视线落点；
在眨眼检测步骤中，通过检测预处理步骤后的图片上的近红外光斑情况和圆形度最高区域的长短轴之比，判断当前图片是否是闭眼或者眨眼过程图片。
眼动分析模块从数据存储模块中提取眼动图像信号进行降噪处理和瞳孔参数提取。结合实验方案，对眼动参数进行模型构建和能力评测，将眼动参数分析结果存入数据存储模块
(6)脑电采集装置
包括脑电导电帽、硬件滤波模块、通信模块。
脑电导电帽优选使用八通道单导联电极，电极为DIN型压接1.5铜管+ 镀金电极帽，优选使用ADS1298芯片，将脑部皮层电压通过模数转换转换成数字信号。
硬件滤波模块包括低通滤波和平滑滤波。脑电波形频率大部分是30Hz 以下，所以使用二阶RC低通滤波的阈值为110Hz，摒除高频噪声干扰；使用平滑滤波过滤市电工频50HZ频率。
通信模块优选采用蓝牙BLE4.0通信，通信模块有两个作用：一是将脑电原始数据封装发送到软件脑电分析模块。二是通过通信模块进行脑电信号和实验内容的同步，以及脑电信号和眼动信号的同步。
(7)脑电分析模块
用于接收脑电采集装置记录的原始多通道脑电数据，进行以下步骤：预处理、伪迹消除、软件滤波、叠加分析、时域频域分析。
脑电分析模块包含硬件滤波单元和软件降噪单元，对原始脑电数据进行降噪和伪迹消除，并进行参数提取。结合实验方案要求，对脑电信号进行时域、频域、叠加分析，将脑电参数存入数据存储模块。
(8)方案评价模块
包括单用户单次方案评价模块和单用户多次方案纵向评价模块。
单用户单次方案评价模块读取人员信息、方案信息、眼动参数信息和脑电参数信息，构建数据评估模型，与内置正常参数标准进行对照，根据人员信息情况基于不同参数个性化权重，计算认知能力分数。
单用户多次方案纵向评价模块读取人员信息和选定的多次方案信息和对应眼动参数信息、脑电参数信息，比较各项指标变化趋势、计算认知能力变化程度。
方案评价模块从数据存储模块提取实验方案信息、眼动参数信息、脑电参数信息，构建眼动参数集、脑电参数集，构建评估模型，计算用户认知能力水平分数，预测用户认知能力状态。
如图1所示，所提供的评价流程如下：
步骤1、在实验方案设计模块中设计认知能力评估所使用的实验方案；比如设计此次评估所使用的图片刺激素材方案，包括但不限于图片方案、轨迹方案、视频方案。图片方案以静态图片或GIF图片为主体设计实验范式。轨迹方案以轨迹点为主体，规划轨迹点移动路径来设计实验范式。视频方案以视频素材为主体，通过播放视频来设计实验范式。
步骤2、在实验方案显示装置中的测试人员显示模块中选择针对当前被试的个性化实验方案，并在被试人员显示装置中呈现；
步骤3、被试佩戴VR显示装置，评估实验方案在显示屏幕上播放，供被试查看所选定的刺激素材；
步骤4、采用眼动采集装置记录评估实验方案呈现过程中被试的相关视线参数，并通过眼动分析模块对眼动参数进行模型构建和能力测评；采用脑电采集装置记录评估实验方案呈现过程中被试的相关脑电参数，并通过脑电分析模块对脑电参数进行模型构建与能力测评，将对眼动参数和脑电参数的分析结果存储在数据存储模块中；
步骤5、通过方案评价模块从数据存储模块中提取被试的实验方案信息、眼动参数信息和脑电参数信息，通过分析计算，得出被试的认知评价分数，并在被试佩戴的实验方案显示装置的显示屏幕上显示分数，同时给出相应反馈及建议。
结合图2所示，其中的标定及基线测量流程如下：
步骤1：初次使用时通过眼动分析模块的标定算法确定瞳孔和视线的关系，非初次使用时，无需此步骤。
步骤2：视觉能力评估包括但不限于使用前向扫视、反向扫视范式评估是否有单侧忽视、偏盲等脑部、眼部疾病。
步骤3：脑电基准测量记录被试者脑电基本参数。测量方式包括但不限于闭眼静息电位、睁眼静息电位、通过测量阅读文字时的脑电波形进行注意力集中能力监测、基于图片闪烁进行稳态视觉诱发电位(SSVEP)检测。
所采用的实验范式流程包括：短期记忆力评估(1)、注意力评估、短期记忆力评估(2)、综合认知评估和听觉认知评估。
A.短期记忆力评估(1)：
视觉配对比较范式(Visual Paired Comparison,VPC)评估患者短期记忆力。
具体操作指示通过屏幕显示或医生口述，步骤如下：
1.患者被要求注视并记忆并排显示的两幅图片5s，随后图片消失5s。
2.屏幕上出现并排显示的两幅图片，其中一幅是之前出现过的图片，另一幅是新图片。患者被要求注视并指出出现过的图片。
3.屏幕保持全黑，休息2s，在还剩3s时屏幕出现倒计时，提醒患者注意。重复步骤1、2。
4.实验进行15组，记录以下数据：
(1)步骤1中，记录注视时长和注视点数目、位置。
(2)步骤2中，记录注视新图片的时间占比；记录眼动参数；记录脑电参数。
B.注意力评估：
新奇刺激范式(Oddball paradigm)评估患者的视觉注意认知能力
当患者接受到小概率刺激后，会产生事件相关电位(ERP)，前额叶和顶叶区域会产生延迟300ms的电信号变化(P300)
研究已证明事件激发电位(ERP)，尤其是P300波形，在诊断早期阿尔兹海默症方面具有敏感性。在新奇刺激范式中，P300波形的延迟时间和幅度和认知能力中的记忆力和注意力相关。新奇刺激范式与患者教育水平无关。
具体操作指示通过屏幕显示或医生口述，步骤如下：
1.患者被告知实验会在屏幕中心出现两种刺激点A，B。需要在刺激点 B出现时做出反应。
2.屏幕上以A80％、B20％的概率出现刺激点。刺激点持续0.5s，刺激点间隔1s。
3.根据患者情况决定每组实验持续时长。
4.实验进行15组，记录以下数据：
(1)刺激点B出现时的患者脑电ERP波形。
(2)患者脑电高频波强度与低频波强度的比值。
C.短期记忆力评估(2)
视觉配对比较范式(Visual Paired Comparison,VPC)评估患者短期记忆力。
具体操作指示通过屏幕显示或医生口述，步骤如下：
1.患者被要求注视并记忆并排显示的两幅图片5s，随后图片消失5s。
2.屏幕上出现并排显示的两幅图片，其中一幅是之前出现过的图片，另一幅是新图片。患者被要求注视并指出出现过的图片。图片为短期记忆力(1)中出现的。
3.屏幕保持全黑，休息2s，在还剩3s时屏幕出现倒计时，提醒患者注意。重复步骤1、2
4.实验进行15组，记录以下数据：
(1)步骤1中，记录注视时长和注视点数目、位置。
(2)步骤2中，记录注视新图片的时间占比；记录眼动参数；记录脑电参数。
D.综合能力评估：
复杂眼动实验：评估患者在复杂实验流程中的注意力和记忆力水平。
具体操作指示通过屏幕显示或医生口述，步骤如下：
1.患者被告知注视屏幕中心刺激点，关注刺激点的颜色，注视持续2s。若实验开始后5s内未成功注视刺激点则视为失败。
2.200ms之后在屏幕随机位置上出现新的刺激点，根据屏幕中心刺激点的颜色，患者执行不同动作
2.1若屏幕中心刺激点为绿色，则需要患者看向新的刺激点
2.2若屏幕中心刺激点为红色，则需要患者保持视线在中心刺激点上
2.3若屏幕中心刺激点为黄色，则需要患者看向新刺激点的反方向。
3.前三组实验绿、红、黄依次出现一次，作为训练。随后进行15组实验，颜色顺序随机。
4.实验进行15组，记录以下参数：
(1)扫视启动延迟；(2)错误率；(3)改正率；(4)脑电各波段幅值；(5)刺激出现时脑电ERP延迟时间与幅值。
E.听觉认知评估：
听觉认知测验：在患者视觉受损时，可通过听觉实验范式进行认知能力评估。评估标准仍是ERP波形的延迟时间与幅值
具体操作指示通过医生口述，步骤如下：
1.患者被告知实验会出现两种频率刺激音效A，B。需要在刺激音效B 出现时做出反应。
2.实验以A80％、B20％的概率出现刺激音效。音效持续0.5s，刺激音效间隔1s。A音效1000Hz，B音效2000Hz
3.根据患者情况决定每组实验持续时长。
4.实验进行15组，记录以下数据：
(1)刺激音效B出现时的患者脑电ERP波形。
(2)患者脑电高频波强度与低频波强度的比值。
方案评价模型设计如下：
(1)确定实验所需参数
Figure BDA0002266966550000171
Figure BDA0002266966550000172
Figure BDA0002266966550000173
Figure BDA0002266966550000174
(2)常值生成
①常值采集
通过临床试验或是公开数据集收集实验数据，生成脑/眼参数常值数据库
②常值漂移
脑/眼参数与生理参数相关性较高。
因为生理参数较多，相关性较为复杂，所以无法直接记录所有生理参数情况下的脑/眼参数常值。预设脑/眼参数常值为22岁男/女右利手大学生的数值。被试者参数常值需要进行漂移计算。
设眼部参数漂移矩阵为DriftE[n]，脑部参数漂移矩阵为DriftB[m]
对第n个眼部参数，DriftE[n]＝funcDriftE(Health，CorH)n
对第m个脑部参数，DriftB[m]＝funcDriftB(Health，CorH)m
其中，funcDriftE和funcDriftB是根据每个脑/眼参数设置的漂移量计算方程漂移矩阵计算完成后，更新参数常值
ER[n]＝ER[n]·DriftE[n]T
BR[m]＝BR[m]·DriftB[m]T
此时参数常值应为在当前被试者生理参数条件下的健康值。
(3)基于支持向量机SVM算法结合小波分析方法构建判别模型(暂定)
①使用小波将脑电数据分解；
②将脑/眼参数常值送入SVM训练器训练；
③得到脑/眼权重WT，眼参数权重WE[n]，脑参数权重WB[m]，疲劳参数矩阵Tired，眼参数相关性矩阵CorE[n，n]，脑参数相关性矩阵CorB[m，m]；
(4)评估此次实验分数
计算方法如下：
Score：WT*WE[n]*CorE[n，n]*E[n]+(1-WT)*WB[m]*CorB[m，m]*B[m]
评价分数Score取值范围为[0,1]。分数意义如下：
0～0.4:认知能力下降严重，需要及时干预治疗，及时就医。
0.4～0.6：认知能力有一定程度下降，有很大痴呆风险，需要进行干预治疗。
0.6～0.8：认知能力轻微下降，需要进行认知能力训练
0.8～1:正常范围内。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (8)

1.一种基于眼动和脑电特征的认知能力评估系统，其特征在于，所述系统包括：
实验方案设计模块，集成于电脑中，用于建立刺激素材和实验方案，并对方案及刺激素材进行管理；
实验方案显示装置，其提取所述实验方案设计模块中的刺激素材，并呈现给被试和测试人员；
眼动采集装置，被试通过佩戴所述实验方案显示装置查看刺激素材，并通过所述眼动采集装置采集被试的眼动图像数据；
脑电采集装置，被试通过所述实验方案显示装置查看刺激素材，并通过所述脑电采集装置采集被试的原始脑电数据；
数据存储模块，集成于电脑中，与所述的眼动采集装置和脑电采集装置连接，用于存储被试的眼动图像数据和原始脑电数据；
眼动分析模块，集成于电脑中，其由所述数据存储模块中提取被试的眼动图像数据，并对眼动参数进行模型构建和能力测评，再将眼动参数分析结果存入所述数据存储模块中；
脑电分析模块，集成于电脑中，其由所述数据存储模块中提取原始脑电数据进行降噪和伪迹消除处理，并对脑电参数进行时域、频域和叠加分析，再将脑电参数分析结果存入所述数据存储模块中；
方案评价模块，集成于电脑中，其从所述数据存储模块中提取被试的方案信息、眼动参数信息和脑电参数信息，通过分析计算，得出被试的认知评价分数，并通过所述实验方案显示装置显示认知评价分数；所述的认知评价分数Score计算如下：
Score＝WT*WE[n]*CorE[n，n]*E[n]+(1-WT)*WB[m]*CorB[m，m]*B[m]；
其中：WT是脑/眼权重；
WE[n]是n个眼动参数各自的权重；
CorE[n，n]是n个眼动参数间存在相关性矩阵；
E[n]是n个实测眼动参数；
WB[m]是m个脑电参数各自的权重；
CorB[m，m]是m个脑电参数相关性矩阵；
B[m]是m个实测脑电参数；
其中的认知评价分数Score取值范围为[0,1]，且0～0.4：认知能力下降严重；0.4～0.6：认知能力有一定程度下降；0.6～0.8：认知能力轻微下降；0.8～1：正常范围内。
2.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述眼动采集装置为内嵌于所述实验方案显示装置显示屏幕下部的眼底近红外摄像头，所述实验方案显示装置包括被试人员显示装置和测试人员显示模块，所述被试人员显示装置为头戴式VR显示装置，所述测试人员显示模块集成于电脑中。
3.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述眼动分析模块对其接收的所述眼动采集装置的原始眼部图片依次进行预处理、瞳孔区域采集、视线标定、视线追踪和眨眼检测。
4.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述脑电采集装置包括：
脑电导电帽，用于采集被试脑部皮层电压，并将其通过模数转换成数字信号；
硬件滤波模块，集成于所述脑电导电帽中，用于对所述脑电导电帽所采集到的数字信号进行滤波处理，摒除高频噪声信号及过滤市电工频信号；
通信模块，集成于所述脑电导电帽中，经所述硬件滤波模块过滤后的数字信号通过所述通信模块传输至所述脑电分析模块进行分析处理。
5.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述方案评价模块中包括：
单用户单次方案评价模块，其读取被试信息、实验方案信息、眼动参数信息和脑电参数信息，构建数据评估模型，并与内置正常参数标准进行对照，根据被试信息情况和不同参数个性化权重，计算认知能力分数；
单用户多次方案纵向评价模块，通过读取被试人员信息、选定的多次实验方案信息及对应的眼动参数信息、脑电参数信息，比较各项指标变化趋势，计算认知能力变化程度。
6.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述实验方案设计模块包括：
人员管理模块，对用户信息进行增改、删查操作；
方案素材管理模块，对实验方案所需外部素材进行增改、删查操作；
方案管理模块，对认知能力评价方案进行增改、删查。
7.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所建立的刺激素材包括但不限于图片方案、轨迹方案、视频方案，所述图片方案以静态图片或GIF图片为主体设计实验范式；所述轨迹方案以轨迹点为主体，规划轨迹点移动路径来设计实验范式；所述视频方案以视频素材为主体，通过播放视频来设计实验范式。
8.根据权利要求1所述的基于眼动和脑电特征的认知能力评估系统，其特征在于，所述数据存储模块包括实验方案信息存储单元、眼动信息存储单元和脑电信息存储单元；所述实验方案信息存储单元用于存储实验方案设计信息；所述眼动信息存储单元用于存储实验方案过程中记录的眼动信息；所述脑电信息存储单元用于存储实验方案过程中记录的脑电信息。
CN201911091411.5A 2019-11-10 2019-11-10 一种基于眼动和脑电特征的认知能力评估系统 Active CN110801237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911091411.5A CN110801237B (zh) 2019-11-10 2019-11-10 一种基于眼动和脑电特征的认知能力评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911091411.5A CN110801237B (zh) 2019-11-10 2019-11-10 一种基于眼动和脑电特征的认知能力评估系统

Publications (2)

Publication Number Publication Date
CN110801237A CN110801237A (zh) 2020-02-18
CN110801237B true CN110801237B (zh) 2022-11-11

Family

ID=69501849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911091411.5A Active CN110801237B (zh) 2019-11-10 2019-11-10 一种基于眼动和脑电特征的认知能力评估系统

Country Status (1)

Country Link
CN (1) CN110801237B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111317448B (zh) * 2020-03-03 2024-01-02 南京鼓楼医院 一种分析视觉空间认知的方法及系统
CN111387976B (zh) * 2020-03-30 2022-11-29 西北工业大学 一种基于眼动和脑电数据的认知负荷评估方法
CN111544015B (zh) * 2020-05-15 2021-06-25 北京师范大学 基于认知力的操控工效分析方法、设备及系统
WO2021255632A1 (ja) * 2020-06-15 2021-12-23 フォーブ インコーポレーテッド 情報処理システム
CN111700611B (zh) * 2020-06-16 2022-11-29 中国科学院深圳先进技术研究院 顿悟能力评估方法及相关设备
CN111728590A (zh) * 2020-06-30 2020-10-02 中国人民解放军国防科技大学 基于动态功能连接的个体认知能力预测方法和系统
CN112137628B (zh) * 2020-09-10 2021-08-03 北京津发科技股份有限公司 三维空间认知测评及训练方法与系统
CN112086196B (zh) * 2020-09-16 2023-11-28 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
US20230380740A1 (en) * 2020-10-07 2023-11-30 Agency For Science, Technology And Research Sensor-based training intervention
CN112386257A (zh) * 2020-11-17 2021-02-23 北京津发科技股份有限公司 一种进行人因测试与心理学实验的方法、装置和存储介质
CN112957050B (zh) * 2021-02-10 2023-02-28 首都医科大学宣武医院 基于脑机接口设备技术的视觉记忆能力评测装置及方法
US20220395206A1 (en) * 2021-06-11 2022-12-15 Ganzin Technology, Inc. Cognitive assessment system based on eye movement
CN113476057B (zh) * 2021-07-08 2023-04-07 先端智能科技(天津)有限公司 一种内容评价的方法和装置、电子装置及存储介质
CN113693612A (zh) * 2021-08-16 2021-11-26 深圳大学 一种老年痴呆症诊疗装置
CN113951828A (zh) * 2021-10-29 2022-01-21 上海市同济医院 一种基于视觉工作记忆任务的mci筛查方法及系统
CN114403876B (zh) * 2021-12-30 2023-03-24 北京津发科技股份有限公司 空间色彩认知记忆能力测评方法、装置、电子设备及介质
CN114176610B (zh) * 2021-12-31 2024-05-07 杭州电子科技大学 一种面向轻度认知功能障碍患者诊断的工作负荷评估方法
CN115067944B (zh) * 2022-08-22 2022-11-11 深圳市心流科技有限公司 一种眼动状态评估方法、装置、终端设备及存储介质
CN115462755A (zh) * 2022-08-31 2022-12-13 北京津发科技股份有限公司 飞行员认知能力评估方法、系统和存储介质
CN116098587B (zh) * 2023-01-13 2023-10-10 北京中科睿医信息科技有限公司 一种基于眼动的认知评估方法、装置、设备及介质
CN116421187B (zh) * 2023-03-30 2023-10-13 之江实验室 一种基于言语层级序列的注意力缺陷多动障碍的分析系统
CN116909408B (zh) * 2023-09-13 2024-02-09 中物联讯(北京)科技有限公司 一种基于mr智能眼镜的内容交互方法
CN117290781A (zh) * 2023-10-24 2023-12-26 中汽研汽车检验中心(宁波)有限公司 一种用于ddaw系统测试的驾驶员kss等级自评估培训方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512862A (ja) * 2006-12-22 2010-04-30 ニューロ−インサイト プロプライアタリー リミティド 視覚対象に対する心理的反応を評価する方法
CN106618610B (zh) * 2016-12-16 2024-02-09 上海师范大学 一种面向害羞儿童社会技能训练的头戴终端系统
CN107157477B (zh) * 2017-05-24 2020-06-09 上海交通大学 脑电信号特征识别系统及方法
CN109044373B (zh) * 2018-07-12 2022-04-05 济南博图信息技术有限公司 基于虚拟现实和眼动脑波检测的恐高症测评系统
CN109044378A (zh) * 2018-09-20 2018-12-21 复理智能科技（上海）有限公司 一种多动症评估和诊断系统
CN109215804B (zh) * 2018-10-09 2023-10-31 华南理工大学 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
CN110111873B (zh) * 2019-03-20 2023-10-20 中国科学院心理研究所 一种基于成瘾记忆-动机诱因模型的vr线索诱发成瘾者渴求反应测量系统

Also Published As

Publication number Publication date
CN110801237A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110801237B (zh) 一种基于眼动和脑电特征的认知能力评估系统
US20240188879A1 (en) System and method for detecting neurological disease
CA2701544C (en) Simultaneously multi-temporal visual test and method and apparatus therefor
EP2800507B1 (en) Apparatus for psychiatric evaluation
JP5832747B2 (ja) 感覚野の機能を評価するための装置の作動方法および装置
CN106455968A (zh) 用于视野缺损评估的便携式脑活动感测平台
CN109222888B (zh) 一种基于眼动技术判断心理测试可靠性的方法
US6966650B2 (en) Method and apparatus for an automated procedure to detect and monitor early-stage glaucoma
US11642068B2 (en) Device and method to determine objectively visual memory of images
CN109620209B (zh) 一种动态心电、呼吸和运动监测系统和方法
CN106484106A (zh) 视敏度自动识别的非注意事件相关电位脑‑机接口方法
Newman et al. Automatic nystagmus detection and quantification in long-term continuous eye-movement data
CN112842360B (zh) 一种判断优势眼和非优势眼的方法及系统
CN112587136B (zh) 味觉感官评估方法和系统
Augustyniak et al. Assessment of electrocardiogram visual interpretation strategy based on scanpath analysis
CN107296586A (zh) 视觉误差检测设备/方法及基于该设备的书写系统/方法
CN110664402A (zh) 信号数据提取方法及设备
CN110367981A (zh) 一种弱视脑电客观定量检测方法
CN109770919A (zh) 一种应用视觉事件相关电位评估气功调控心理状态的效果的方法和系统
Augustyniak Exploring the knowledge of human expert beyond his willing expression
Grossman Neural mechanisms of human vision: Deterministic and spontaneous aspects of visual encoding
Abromavičius Extraction and investigation of biosignal features for visual discomfort evaluation
Harrison Psychophysiological Biomarkers of Concussion Recovery
Hantono et al. Estimating Cognitive Performance Changes Based on Psychophysiological Sensor in the Smartphone: A Proposed Model
Freyer Data pre-processing and feature analysis for a feature-based EEG alcohol detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant