CN118340502A - 基于视觉刺激的认知评估的脑机接口系统及认知评估方法 - Google Patents
基于视觉刺激的认知评估的脑机接口系统及认知评估方法 Download PDFInfo
- Publication number
- CN118340502A CN118340502A CN202410781429.2A CN202410781429A CN118340502A CN 118340502 A CN118340502 A CN 118340502A CN 202410781429 A CN202410781429 A CN 202410781429A CN 118340502 A CN118340502 A CN 118340502A
- Authority
- CN
- China
- Prior art keywords
- visual stimulus
- module
- user
- visual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 483
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 59
- 238000011156 evaluation Methods 0.000 title abstract description 19
- 230000007177 brain activity Effects 0.000 claims abstract description 125
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 48
- 230000003993 interaction Effects 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 37
- 230000004424 eye movement Effects 0.000 claims abstract description 33
- 230000000638 stimulation Effects 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 208000010877 cognitive disease Diseases 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 208000028698 Cognitive impairment Diseases 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000000537 electroencephalography Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 206010039966 Senile dementia Diseases 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了基于视觉刺激的认知评估的脑机接口系统及认知评估方法，系统包括：视觉刺激模块，用于呈现视觉刺激图像；眼动追踪模块，用于追踪用户眼球的注视向量；脑活动采集模块，用于采集用户脑活动电位信号；事件打标模块，用于记录呈现视觉刺激图像的时间戳，以及将呈现视觉刺激图像的时间戳同步至脑活动采集模块；人机交互模块，用于用户对视觉刺激进行反馈；计算模块，用于计算第一延迟时间、第二延迟时间和反馈延迟时间；以及，将第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。本发明将脑活动信号、眼动数据、用户交互数据有效结合，提高了认知评估结果的准确性。
Description
技术领域
本发明涉及脑机接口技术领域，尤其涉及一种基于视觉刺激的认知评估的脑机接口系统及认知评估方法。
背景技术
认知障碍是脑疾病诊断和治疗中最困难的问题之一。轻度和中度认知障碍是介于正常老化和老年痴呆症之间的一种认知状态，对轻度和中度认知障碍患者及时发现，尽早干预治疗可以延缓其向老年痴呆转化的速度具有重要的意义。近十年来，随着材料和生物科学的发展，脑机接口(Brain Computer Interface，BCI)在医疗与康复领域逐渐打开了应用场景。现有认知障碍评估的脑机接口和评估方法，存在评估结果准确性差等问题。利用视觉刺激进行认知评估方法的脑机接口系统在临床上和社会经济上具备重大的意义。
发明内容
本发明提供了一种基于视觉刺激的认知评估的脑机接口系统及认知评估方法，以解决脑机接口评估结果准确性差的技术问题。
本发明的一个方面在于提供一种基于视觉刺激的认知评估的脑机接口系统，所述脑机接口系统至少包括：
视觉刺激模块，用于呈现至少一种类型的视觉刺激图像，所述视觉刺激图像对用户进行视觉刺激；其中，所述视觉刺激图像包括，用于用户注视的目标；
眼动追踪模块，用于追踪用户眼球的注视向量，以及采集用户眼球与视觉刺激模块之间的距离；脑活动采集模块，用于采集用户脑活动电位信号；
事件打标模块，用于记录所述视觉刺激模块呈现视觉刺激图像的时间戳，以及将所述视觉刺激模块呈现视觉刺激图像的时间戳同步至所述脑活动采集模块，使所述视觉刺激模块呈现视觉刺激图像的时间与所述脑活动采集模块采集脑活动电位信号的时间同步；
人机交互模块，用于用户对视觉刺激进行反馈，并生成视觉刺激的反馈时间；
计算模块，用于接收脑活动采集模块采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间；
以及，用于接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间；
以及，用于接收人机交互模块生成的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间；
以及，用于将所述第一延迟时间、第二延迟时间和所述反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
在一个优选的实施例中，所述脑机接口系统还包括：存储模块，用于存储眼动追踪模块追踪的用户眼球的注视向量、眼动追踪模块采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块采集的用户脑活动电位信号，以及人机交互模块生成的视觉刺激的反馈时间。
在一个优选的实施例中，所述视觉刺激图像包括：第一种视觉刺激图像和第二种视觉刺激图像；
所述第一种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+45°或者-45°的所述目标；
其中，所述目标位于用户视野的12°-15°视角范围内；
所述第二种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+20°或者-20°的所述目标；
其中，所述目标位于用户视野的12°-15°视角范围内。
在一个优选的实施例中，所述视觉刺激图像还包括：第三种视觉刺激图像和第四种视觉刺激图像；
所述第三种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线和所述目标上交替添加横条纹和竖条纹，形成的视觉刺激图像；
所述第四种视觉刺激图像为：所述第二种视觉刺激图像的所有背景斜线和所述目标上交替添加横条纹和竖条纹，形成的视觉刺激图像；
所述视觉刺激图像还包括：第五种视觉刺激图像和第六种视觉刺激图像；
所述第五种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线和所述目标上随机添加横条纹或者竖条纹，形成的视觉刺激图像；
所述第六种视觉刺激图像为：所述第二种视觉刺激图像的所有背景斜线和所述目标上随机添加横条纹或者竖条纹，形成的视觉刺激图像。
在一个优选的实施例中，所述视觉刺激图像还包括：第七种视觉刺激图像；
所述第七种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线随机替换为横条纹和竖条纹，形成的视觉刺激图像。
本发明的另一个方面在于提供一种基于视觉刺激的认知评估方法，使用本发明提供的一种基于视觉刺激的认知评估的脑机接口系统，对用户的认知障碍进行评估，所述认知评估方法包括如下方法步骤：
S1、用户接入脑机接口系统：
视觉刺激模块，呈现任意一种类型的视觉刺激图像，用户注视视觉刺激图像的目标，使视觉刺激图像对用户进行视觉刺激；
眼动追踪模块，追踪用户眼球的注视向量，以及采集用户眼球与视觉刺激模块之间的距离；脑活动采集模块，采集用户脑活动电位信号；
事件打标模块，记录所述视觉刺激模块呈现视觉刺激图像的时间戳，以及将所述视觉刺激模块呈现视觉刺激图像的时间戳同步至所述脑活动采集模块，使所述视觉刺激模块呈现视觉刺激图像的时间与所述脑活动采集模块采集脑活动电位信号的时间同步；
S2、生成视觉刺激的反馈时间：
用户通过人机交互模块对视觉刺激进行反馈，所述人机交互模块根据用户的反馈，生成视觉刺激的反馈时间；
S3、重复步骤S1至S2，对用户进行多次视觉刺激；其中，每一次视觉刺激时，视觉刺激图像上的目标的位置随机生成；
S4、数据存储；
存储模块，存储眼动追踪模块追踪的用户眼球的注视向量、眼动追踪模块采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块采集的用户脑活动电位信号，以及人机交互模块生成视觉刺激的反馈时间；
S5、计算第一延迟时间、第二延迟时间和反馈延迟时间；
计算模块，接收脑活动采集模块采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间；
以及，接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间；
以及，接收人机交互模块生成的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间；
S6、视觉刺激模块呈现不同类型的视觉刺激图像，重复步骤S1至S5；
S7、输出认知分类结果：
计算模块，选取一种或者多种类型的视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
在一个优选的实施例中，在步骤S5中，通过如下方法计算所述第一延迟时间：
S501、计算模块接收脑活动采集模块采集的用户脑活动电位信号，对脑活动电位信号进行双极重参考处理、归一化处理和滤波处理；
S502、双极重参考处理、归一化处理和滤波处理后的脑活动电位信号，以视觉刺激图像出现的时间零点，对每一次视觉刺激采集的脑活动电位信号进行分割，形成分割窗口；
S503、将多次视觉刺激采集的所有脑活动电位信号在分割窗口内叠加平均，获得脑活动检测电位；
S504、采用峰值检测算法，在所述分割窗口内检测脑活动检测电位的峰值点，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
在一个优选的实施例中，在步骤S5中，通过如下方法计算所述第二延迟时间：
S505、计算模块接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离；
以用户头部位置为原点，根据用户眼球的注视向量、用户眼球与视觉刺激模块之间的距离，计算用户视线沿用户眼球的注视向量方向在视觉刺激模块的实际注视点，获取所述实际注视点在视觉刺激模块上的绝对坐标；
S506、将所述实际注视点在视觉刺激模块的上绝对坐标，转换为视觉刺图像上的二维坐标；
S507、当所述实际注视点在视觉刺图像上的二维坐标为目标位置时，记录此时的时间点，该时间点与视觉刺激图像出现的时间零点之间的时间间隔，作为用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间。
在一个优选的实施例中，在步骤S5中，通过如下方法计算用户反馈的反馈延迟时间：
反馈延迟时间=人机交互模块生成视觉刺激的反馈时间－实际注视点在视觉刺激图像上的二维坐标为目标位置时的时间。
在一个优选的实施例中，在步骤S506中，通过如下方法，将所述实际注视点在视觉刺激模块上的绝对坐标，转换为视觉刺激图像上的二维坐标：
S5061、选取视觉刺激模块呈现视觉刺激图像的屏幕的三个角点，读取三个角点的绝对坐标；
S5062、利用三个角点的绝对坐标，计算视觉刺激模块呈现的视觉刺激图像在x方向和y方向的方向向量；
S5063、计算所述实际注视点在视觉刺激模块上的绝对坐标，在屏幕x方向和y方向的方向向量上的投影，得到所述实际注视点在视觉刺激图像上的二维坐标。
与现有技术相比，本发明具有以下有益效果：
本发明提供的一种基于视觉刺激的认知评估的脑机接口系统及认知评估方法，将脑活动信号、眼动数据、用户交互数据有效结合，通过视觉刺激判断用户的认知水平，提高了认知评估结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于视觉刺激的认知评估的脑机接口系统的结构框图。
图2是本发明第一种视觉刺激图像和第三种视觉刺激图像的部分示意图。
图3是本发明一个实施例中，目标位于户视野的12°-15°视角范围的示意图。
图4是本发明第二种视觉刺激图像和第四种视觉刺激图像的部分示意图。
图5是本发明第五种视觉刺激图像的部分示意图。
图6是本发明第六种视觉刺激图像的部分示意图。
图7是本发明第七种视觉刺激图像的部分示意图。
图8是本发明一个实施例中脑活动检测电位的示意图。
具体实施方式
为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
结合图1，根据本发明的实施例，提供一种基于视觉刺激的认知评估的脑机接口系统，包括：视觉刺激模块101、眼动追踪模块102、人机交互模块103、脑活动采集模块104、事件打标模块105、存储模块106和计算模块107。
视觉刺激模块101，用于呈现至少一种类型的视觉刺激图像，视觉刺激图像对用户进行视觉刺激。视觉刺激模块101具有呈现视觉刺激图像的屏幕，视觉刺激图像包括，用于用户注视的目标。视觉刺激图像在下文中详细阐述。
眼动追踪模块102，用于追踪用户眼球的注视向量，以及采集用户眼球与视觉刺激模块101之间的距离。脑活动采集模块104，用于采集用户脑活动电位信号。
人机交互模块103，用于用户对视觉刺激进行反馈，并生成视觉刺激的反馈时间。
在一些实施例中，视觉刺激模块101可以是电脑显示器、电视机等各类带显示屏的设备。眼动追踪模块102，可以是佩戴式眼动仪或者桌面式眼动仪等。
本实施例中，视觉刺激模块101和眼动追踪模块102集成在一台虚拟现实（VR）设备。眼动追踪模块102集成在虚拟现实（VR）设备的头显中（例如在VR头显中内置两个摄像头来获取眼动信息）。
在一些实施例中，人机交互模块103，可以是操作手柄、键盘、鼠标、触摸式显示屏等任意能完成人机交互的装置。
本实施例中，人机交互模块103，采用操作手柄。人机交互模块103与VR头显通信，控制视觉刺激模块101和眼动追踪模块102的启动。人机交互模块103与VR头显通信通信方式可以是无线传输，例如蓝牙、2.4—2.485GHz的ISM波段电磁波等。
在一些实施例中，脑活动采集模块104可以是立体脑电信号采集设备，实时采集侵入式的sEEG（stereoelectroencephalography，SEEG）信号；也可以是头皮式脑电信号采集设备，实时采集非侵入式的脑电EEG（Electroencephalography，EEG）信号；也可以是近红外脑成像设备，实时采集大脑的近红外成像(functional near - infrared spectroscopy，FNIRS)信号；也可以是功能性磁共振设备实时采集大脑的磁共振图像（functionalmagnetic resonance imaging，FMRI）信号。
在一些实施例中，可以进一步将脑活动采集模块104与视觉刺激模块101、眼动追踪模块102和人机交互模块103集成在一起，例如将脑活动采集模块104集成在上述VR头显上。
事件打标模块105，用于记录视觉刺激模块101呈现视觉刺激图像的时间戳，以及将视觉刺激模块101呈现视觉刺激图像的时间戳同步至脑活动采集模块104，使视觉刺激模块101呈现视觉刺激图像的时间与脑活动采集模块104采集脑活动电位信号的时间同步。
具体地，事件打标模块105，记录的视觉刺激模块101呈现视觉刺激图像的时间戳包括视觉刺激图像呈现的起始时间点和结束时间点。
在一些实施例中，事件打标模块105可以是光敏打标盒，感知视觉刺激模块101的屏幕呈现的视觉刺激图像画面的亮度变化，光敏打标盒输出幅值不同的模拟直流信号至脑活动采集模块104，从而将视觉刺激模块101呈现视觉刺激图像的时间戳同步至脑活动采集模块104。
脑活动采集模块104在采集的用户脑活动电位信号打上事件打标模块105同步的时间戳，使视觉刺激模块101呈现视觉刺激图像的时间与脑活动采集模块104采集脑活动电位信号的时间同步。
例如，当脑活动采集模块104为立体脑电信号采集设备时，在局部场电位（LFP）信号或者神经元动作电位（Spike）信号上打上时间戳。当脑活动采集模块104为头皮式脑电信号采集设备时，在EEG信号上打上时间戳。
存储模块106，用于存储眼动追踪模块102追踪的用户眼球的注视向量、眼动追踪模块102采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块104采集的用户脑活动电位信号，以及人机交互模块103生成的视觉刺激的反馈时间。
计算模块107，用于接收脑活动采集模块104采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
以及，用于接收眼动追踪模块102追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间。
以及，用于接收人机交互模块103生成的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间。
以及，用于将第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
在一些实施例中，存储模块106和计算模块107可以集成在一起，例如可以是一台笔记本电脑、服务器、平板电脑等。
结合图2至图7，视觉刺激模块101通过屏幕呈现至少一种类型的视觉刺激图像，视觉刺激图像对用户进行视觉刺激。
本实施例中示例性的视觉刺激模块101通过屏幕呈现7种类型的视觉刺激图像。
如图2所示，图2中左侧为第一种视觉刺激图像，右侧为第三种视觉刺激图像。
第一种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+45°或者-45°的目标（目标斜线），图2左侧中红色圆圈标示的为第一种视觉刺激图像的目标（目标斜线）。如图3所示，第一种视觉刺激图像的目标（目标斜线）位于用户视野的12°-15°视角范围内。
本实施例中，第一种视觉刺激图像中，背景斜线共659条，背景斜线和目标（目标斜线）共同排列成30*22的方阵。
第三种视觉刺激图像为：第一种视觉刺激图像的所有背景斜线和目标（目标斜线）上交替添加横条纹和竖条纹，形成的视觉刺激图像。如图2中右侧所示，图2右侧中红色圆圈标示的为第三种视觉刺激图像的目标（目标斜线）。
如图4所示，图4中左侧为第二种视觉刺激图像，右侧为第四种视觉刺激图像。
第二种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+20°或者-20°的目标（目标斜线），图4左侧中红色圆圈标示的为第二种视觉刺激图像的目标（目标斜线）。同样地，第二种视觉刺激图像的目标（目标斜线）位于用户视野的12°-15°视角范围内。
本实施例中，第二种视觉刺激图像中，背景斜线共659条，背景斜线和目标（目标斜线）共同排列成30*22的方阵。
第四种视觉刺激图像为：第二种视觉刺激图像的所有背景斜线和目标（目标斜线）上交替添加横条纹和竖条纹，形成的视觉刺激图像。如图4中右侧所示，图4右侧中红色圆圈标示的为第四种视觉刺激图像的目标（目标斜线）。
如图5所示，第五种视觉刺激图像为：第一种视觉刺激图像的所有背景斜线和目标（目标斜线）上随机添加横条纹或者竖条纹，形成的视觉刺激图像。图5中红色圆圈标示的为第五种视觉刺激图像的目标（目标斜线）。
如图6所示，第六种视觉刺激图像为：第二种视觉刺激图像的所有背景斜线和目标（目标斜线）上随机添加横条纹或者竖条纹，形成的视觉刺激图像。图6中红色圆圈标示的为第六种视觉刺激图像的目标（目标斜线）。
如图7所示，第七种视觉刺激图像为：第一种视觉刺激图像的所有背景斜线随机替换为横条纹和竖条纹，形成的视觉刺激图像。图7中红色圆圈标示的为第七种视觉刺激图像的目标（目标斜线）。
结合图1至图8，根据本发明的实施例，提供一种基于视觉刺激的认知评估方法，使用本发明提供的一种基于视觉刺激的认知评估的脑机接口系统对用户的认知障碍进行评估，包括如下方法步骤：
步骤S1、用户接入脑机接口系统。
人机交互模块103与VR头显通信，控制视觉刺激模块101和眼动追踪模块102的启动，同时脑活动采集模块104启动。
视觉刺激模块101，呈现任意一种类型的视觉刺激图像，用户注视视觉刺激图像的目标，使视觉刺激图像对用户进行视觉刺激。
本实施例中，视觉刺激模块101的屏幕呈现第一种视觉刺激图像，用户注视视觉刺激图像的目标（目标斜线），使视觉刺激图像对用户进行视觉刺激。
具体地，本发明视觉刺激模块101呈现视觉刺激图像的过程中，首先在视觉刺激模块101的屏幕中央显示一个白点，用户将注意力放在视觉刺激模块101的屏幕中央的白点上，白点会持续存在1秒钟随后消失，继而视觉刺激模块101的屏幕出现0.2秒的空白，之后显示任意一种类型的视觉刺激图像（本实施例为第一种视觉刺激图像）。用户在视觉刺激图像内搜索目标（目标斜线），使视觉刺激图像对用户进行视觉刺激。
本发明视觉刺激图像上的目标（目标斜线）的位置随机生成，即目标（目标斜线）随机生成在视觉刺激图像的某一个位置。
眼动追踪模块102，追踪用户眼球的注视向量（注视方向），以及采集用户眼球与视觉刺激模块101（视觉刺激模块101的屏幕）之间的距离。脑活动采集模块104，采集用户脑活动电位信号。
在一些实施例中，脑活动采集模块104采集用户脑活动电位信号的部位，包括但不限于大脑皮层的枕叶区域、颞叶区域、顶叶区域、额叶区域等。
事件打标模块105，记录视觉刺激模块呈现视觉刺激图像的时间戳，以及将视觉刺激模块101呈现视觉刺激图像的时间戳同步至脑活动采集模块104，使视觉刺激模块101呈现视觉刺激图像的时间与脑活动采集模块104采集脑活动电位信号的时间同步。
具体地，视觉刺激模块101开始呈现视觉刺激图像的起始时间点，事件打标模块105开始记录视觉刺激模块呈现视觉刺激图像的时间戳，并将视觉刺激模块101呈现视觉刺激图像的时间戳同步至脑活动采集模块104。
脑活动采集模块104在采集的用户脑活动电位信号打上事件打标模块105同步的时间戳，使视觉刺激模块101呈现视觉刺激图像的时间与脑活动采集模块104采集脑活动电位信号的时间同步。
步骤S2、生成视觉刺激的反馈时间。
用户通过人机交互模块103对视觉刺激进行反馈，人机交互模块根据用户的反馈，生成视觉刺激的反馈时间。
具体地，用户在视觉刺激图像内搜索目标（目标斜线），定位到目标（目标斜线）并判断目标（目标斜线）位于视觉刺激图像的左半边还是右半边。用户利用人机交互模块103主动发出触发信号，对视觉刺激进行反馈。
例如：用手柄作为人机交互模块103时，如果判定目标（目标斜线）位于视觉刺激图像的左半边，则用户按下左手手柄上的按键，如果判定目标（目标斜线）位于视觉刺激图像的右半边，则用户按下右手手柄上的按键。
人机交互模块103根据用户的操作反馈，生成（记录）视觉刺激的反馈时间。
步骤S3、重复步骤S1至S2，对用户进行多次视觉刺激（例如100次）；其中，每一次视觉刺激时，视觉刺激图像上的目标（目标斜线）的位置随机生成。
步骤S4、数据存储。
存储模块106，存储眼动追踪模块102追踪的用户眼球的注视向量、眼动追踪模块采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块104采集的用户脑活动电位信号、事件打标模块105记录的视觉刺激模块呈现视觉刺激图像的时间戳，以及人机交互模块103生成视觉刺激的反馈时间。
步骤S5、计算第一延迟时间、第二延迟时间和反馈延迟时间。
计算模块107，接收脑活动采集模块104采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
具体地，通过如下方法计算第一延迟时间：
步骤S501、计算模块107接收脑活动采集模块104采集的用户脑活动电位信号，对脑活动电位信号进行双极重参考处理、归一化处理和滤波处理。
在一个实施例中，双极重参考处理包括将相邻的两个电极或者单个电极与参考电极间的信号做差以去除干扰。
在一个实施例中，归一化处理包括对每个通道的脑信号减去均值并除以标准差，使得所有通道的信号幅度在统一的范围内。
在一个实施例中，滤波处理包括使用巴特沃斯滤波器，对脑活动电位信号进行1Hz到40Hz的带通滤波（可以根据情况调整带通频率）和用陷波滤波器滤除50Hz工频及其谐波的干扰等。
步骤S502、双极重参考处理、归一化处理和滤波处理后的脑活动电位信号，以视觉刺激图像出现的时间零点（视觉刺激模块101开始呈现视觉刺激图像的起始时间点），对每一次视觉刺激采集的脑活动电位信号进行分割，形成分割窗口。
例如，以视觉刺激图像出现的时间零点（视觉刺激模块101开始呈现视觉刺激图像的起始时间点），往前取0.5秒，往后取1秒，形成1.5秒的分割窗口。
步骤S503、将多次视觉刺激采集的所有脑活动电位信号在分割窗口内叠加平均，获得脑活动检测电位。
如图8所示，在一个实施例中脑活动检测电位的示意图，图8左侧为脑活动检测电位所在的大脑皮层区域：脑区1和脑区2。图8右上侧为脑区1的H1、H2、H6、H7四个通道的脑活动检测电位曲线，图8右下侧为脑区1的G1通道的脑活动检测电位曲线。
步骤S504、采用峰值检测算法，在分割窗口内检测脑活动检测电位的峰值点，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
具体地，将分割窗口内脑活动检测电位的峰值点对应的时间，与视觉刺激图像出现的时间零点的时间间隔，作为脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
即视觉刺激图像开始呈现的时间与脑活动检测电位的峰值点对应的时间的时间间隔，作为第一延迟时间。
本发明计算模块107接收眼动追踪模块102追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间。
具体地，通过如下方法计算第二延迟时间：
步骤S505、计算模块107接收眼动追踪模块102追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）之间的距离。
以用户头部位置为原点，根据用户眼球的注视向量、用户眼球与视觉刺激模块之间的距离，计算用户视线沿用户眼球的注视向量方向在视觉刺激模块的实际注视点，获取实际注视点在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）上的绝对坐标。
步骤S506、将实际注视点在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）上的绝对坐标，转换为视觉刺激模101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像上的二维坐标。
具体地，通过如下方法，将实际注视点在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）上的绝对坐标，转换为视觉刺激模101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像上的二维坐标：
步骤S5061、选取视觉刺激模块101呈现视觉刺激图像的屏幕的三个角点，读取三个角点的绝对坐标。
本实施例中，选取视觉刺激模块101的屏幕的左上，左下与右下三个角点，读取三个角点在视觉刺激模块101的屏幕的绝对坐标。
步骤S5062、利用三个角点的绝对坐标，计算视觉刺激模块101呈现的视觉刺激图像在x方向和y方向的方向向量。
具体地，通过如下方法计算视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像在x方向和y方向的方向向量：
；
；
其中，O 1 为视觉刺激模块101的屏幕的左上角点在视觉刺激模块101的屏幕的绝对坐标；O 2 为视觉刺激模块101的屏幕的左下角点在视觉刺激模块101的屏幕的绝对坐标；O 3 为视觉刺激模块101的屏幕的右下角点在视觉刺激模块101的屏幕的绝对坐标；为视觉刺激模块101呈现的视觉刺激图像在x方向的方向向量；为视觉刺激模块101呈现的视觉刺激图像在y方向的方向向量；为视觉刺激模块101呈现的视觉刺激图像在x方向的像素数（或者分辨率）；为视觉刺激模块101呈现的视觉刺激图像在y方向的像素数（或者分辨率），例如视觉刺激图像的分辨率为1920*1080，则=1920，=1080；为视觉刺激模块101呈现的视觉刺激图像在x方向的方向向量的元素；为视觉刺激模块101呈现的视觉刺激图像在y方向的方向向量的元素。
步骤S5063、计算实际注视点在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）上的绝对坐标，在x方向和y方向的方向向量上的投影，得到实际注视点在视觉刺激图像上的二维坐标。
具体地，计算实际注视点在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）上的绝对坐标，在视觉刺激模块101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像的x方向和y方向的方向向量上的投影，将投影坐标作为实际注视点在视觉刺激模101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像上的二维坐标，即获得了用户实际注视点在视觉刺激图像的位置。
步骤S507、当实际注视点在在视觉刺激图像上的二维坐标为目标（目标斜线）位置时，记录此时的时间点，该时间点与视觉刺激图像出现的时间零点之间的时间间隔，作为用户注视目标（目标斜线）时相对于视觉刺激图像出现的时间零点（视觉刺激模块101开始呈现视觉刺激图像的起始时间点）的第二延迟时间。
即视觉刺激图像开始呈现的时间与用户实际注视目标（目标斜线）时的时间间隔，作为第二延迟时间。
本发明计算模块107接收人机交互模块103生成（记录）的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间。
具体地，通过如下方法计算用户反馈的反馈延迟时间：
反馈延迟时间=人机交互模块103生成视觉刺激的反馈时间－实际注视点在视觉刺激图像上的二维坐标为目标位置时的时间。
即人机交互模块103生成视觉刺激的反馈时间，与实际注视点在视觉刺激模101（视觉刺激模块101呈现视觉刺激图像的屏幕）呈现的视觉刺激图像上的二维坐标为目标（目标斜线）位置时的时间之间的时间间隔，作为用户反馈的反馈延迟时间。
也就是说，用户反馈的时间与用户实际注视目标（目标斜线）时的时间间隔，作为用户反馈的反馈延迟时间。
步骤S6、视觉刺激模块101呈现不同类型的视觉刺激图像，重复步骤S1至S5。
上文的实施例，步骤S1至步骤S5中视觉刺激模块101的屏幕呈现第一种视觉刺激图像，对用户进行多次（例如100次）视觉刺激。
在步骤S6中视觉刺激模块101呈现不同类型的视觉刺激图像。例如，视觉刺激模块101依次使用第二种视觉刺激图像、第三种视觉刺激图像、第四种视觉刺激图像、第五种视觉刺激图像、第六种视觉刺激图像、第七种视觉刺激图像对用户进行视觉刺激，重复步骤S1至S5，计算不同类型的视觉刺激图像下的第一延迟时间、第二延迟时间和反馈延迟时间。
步骤S7、输出认知分类结果。
计算模块107，选取一种或者多种类型的视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
在一个实施例中，选取部分类型的视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
例如，选取视觉刺激模块101使用第一种视觉刺激图像、第二种视觉刺激图像、第五种视觉刺激图像、第六种视觉刺激图像、第七种视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
在另一些实施例中，选取全部类型的视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
例如，选取视觉刺激模块101使用第一种视觉刺激图像、第二种视觉刺激图像、第三种视觉刺激图像、第四种视觉刺激图像、第五种视觉刺激图像、第六种视觉刺激图像、第七种视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
本发明将脑活动信号、眼动数据、用户交互数据有效结合，通过视觉刺激判断用户的认知水平，提高了认知评估结果的准确性。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于视觉刺激的认知评估的脑机接口系统，其特征在于，所述脑机接口系统至少包括：
视觉刺激模块，用于呈现至少一种类型的视觉刺激图像，所述视觉刺激图像对用户进行视觉刺激；其中，所述视觉刺激图像包括，用于用户注视的目标；
眼动追踪模块，用于追踪用户眼球的注视向量，以及采集用户眼球与视觉刺激模块之间的距离；脑活动采集模块，用于采集用户脑活动电位信号；
事件打标模块，用于记录所述视觉刺激模块呈现视觉刺激图像的时间戳，以及将所述视觉刺激模块呈现视觉刺激图像的时间戳同步至所述脑活动采集模块，使所述视觉刺激模块呈现视觉刺激图像的时间与所述脑活动采集模块采集脑活动电位信号的时间同步；
人机交互模块，用于用户对视觉刺激进行反馈，并生成视觉刺激的反馈时间；
计算模块，用于接收脑活动采集模块采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间；
以及，用于接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间；
以及，用于接收人机交互模块生成的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间；
以及，用于将所述第一延迟时间、第二延迟时间和所述反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
2.根据权利要求1所述的脑机接口系统，其特征在于，所述脑机接口系统还包括：存储模块，用于存储眼动追踪模块追踪的用户眼球的注视向量、眼动追踪模块采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块采集的用户脑活动电位信号，以及人机交互模块生成的视觉刺激的反馈时间。
3.根据权利要求1所述的脑机接口系统，其特征在于，所述视觉刺激图像包括：第一种视觉刺激图像和第二种视觉刺激图像；
所述第一种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+45°或者-45°的所述目标；
其中，所述目标位于用户视野的12°-15°视角范围内；
所述第二种视觉刺激图像包括多条呈-45°或者+45°角倾斜的相同背景斜线，以及1条与背景斜线方向相反的+20°或者-20°的所述目标；
其中，所述目标位于用户视野的12°-15°视角范围内。
4.根据权利要求3所述的脑机接口系统，其特征在于，所述视觉刺激图像还包括：第三种视觉刺激图像和第四种视觉刺激图像；
所述第三种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线和所述目标上交替添加横条纹和竖条纹，形成的视觉刺激图像；
所述第四种视觉刺激图像为：所述第二种视觉刺激图像的所有背景斜线和所述目标上交替添加横条纹和竖条纹，形成的视觉刺激图像；
所述视觉刺激图像还包括：第五种视觉刺激图像和第六种视觉刺激图像；
所述第五种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线和所述目标上随机添加横条纹或者竖条纹，形成的视觉刺激图像；
所述第六种视觉刺激图像为：所述第二种视觉刺激图像的所有背景斜线和所述目标上随机添加横条纹或者竖条纹，形成的视觉刺激图像。
5.根据权利要求3所述的脑机接口系统，其特征在于，所述视觉刺激图像还包括：第七种视觉刺激图像；
所述第七种视觉刺激图像为：所述第一种视觉刺激图像的所有背景斜线随机替换为横条纹和竖条纹，形成的视觉刺激图像。
6.一种基于视觉刺激的认知评估方法，其特征在于，使用权利要求1至5中任一权利要求所述的脑机接口系统，对用户的认知障碍进行评估，所述认知评估方法包括如下方法步骤：
S1、用户接入脑机接口系统：
视觉刺激模块，呈现任意一种类型的视觉刺激图像，用户注视视觉刺激图像的目标，使视觉刺激图像对用户进行视觉刺激；
眼动追踪模块，追踪用户眼球的注视向量，以及采集用户眼球与视觉刺激模块之间的距离；脑活动采集模块，采集用户脑活动电位信号；
事件打标模块，记录所述视觉刺激模块呈现视觉刺激图像的时间戳，以及将所述视觉刺激模块呈现视觉刺激图像的时间戳同步至所述脑活动采集模块，使所述视觉刺激模块呈现视觉刺激图像的时间与所述脑活动采集模块采集脑活动电位信号的时间同步；
S2、生成视觉刺激的反馈时间：
用户通过人机交互模块对视觉刺激进行反馈，所述人机交互模块根据用户的反馈，生成视觉刺激的反馈时间；
S3、重复步骤S1至S2，对用户进行多次视觉刺激；其中，每一次视觉刺激时，视觉刺激图像上的目标的位置随机生成；
S4、数据存储；
存储模块，存储眼动追踪模块追踪的用户眼球的注视向量、眼动追踪模块采集的用户眼球与视觉刺激模块之间的距离、脑活动采集模块采集的用户脑活动电位信号，以及人机交互模块生成视觉刺激的反馈时间；
S5、计算第一延迟时间、第二延迟时间和反馈延迟时间；
计算模块，接收脑活动采集模块采集的用户脑活动电位信号，生成脑活动检测电位，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间；
以及，接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离，并计算用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间；
以及，接收人机交互模块生成的视觉刺激的反馈时间，并计算用户反馈的反馈延迟时间；
S6、视觉刺激模块呈现不同类型的视觉刺激图像，重复步骤S1至S5；
S7、输出认知分类结果：
计算模块，选取一种或者多种类型的视觉刺激图像对用户进行视觉刺激下，得到的第一延迟时间、第二延迟时间和反馈延迟时间作为认知特征参量，输入至深度网络模型，输出认知分类结果。
7.根据权利要求6所述的认知评估方法，其特征在于，在步骤S5中，通过如下方法计算所述第一延迟时间：
S501、计算模块接收脑活动采集模块采集的用户脑活动电位信号，对脑活动电位信号进行双极重参考处理、归一化处理和滤波处理；
S502、双极重参考处理、归一化处理和滤波处理后的脑活动电位信号，以视觉刺激图像出现的时间零点，对每一次视觉刺激采集的脑活动电位信号进行分割，形成分割窗口；
S503、将多次视觉刺激采集的所有脑活动电位信号在分割窗口内叠加平均，获得脑活动检测电位；
S504、采用峰值检测算法，在所述分割窗口内检测脑活动检测电位的峰值点，并计算脑活动检测电位的峰值点对应的时间相对于视觉刺激图像出现的时间零点的第一延迟时间。
8.根据权利要求6所述的认知评估方法，其特征在于，在步骤S5中，通过如下方法计算所述第二延迟时间：
S505、计算模块接收眼动追踪模块追踪的用户眼球的注视向量和采集的用户眼球与视觉刺激模块之间的距离；
以用户头部位置为原点，根据用户眼球的注视向量、用户眼球与视觉刺激模块之间的距离，计算用户视线沿用户眼球的注视向量方向在视觉刺激模块的实际注视点，获取所述实际注视点在视觉刺激模块上的绝对坐标；
S506、将所述实际注视点在视觉刺激模块上的绝对坐标，转换为视觉刺激图像上的二维坐标；
S507、当所述实际注视点在视觉刺激图像上的二维坐标为目标位置时，记录此时的时间点，该时间点与视觉刺激图像出现的时间零点之间的时间间隔，作为用户注视目标时相对于视觉刺激图像出现的时间零点的第二延迟时间。
9.根据权利要求6所述的认知评估方法，其特征在于，在步骤S5中，通过如下方法计算用户反馈的反馈延迟时间：
反馈延迟时间=人机交互模块生成视觉刺激的反馈时间－实际注视点在视觉刺激图像上的二维坐标为目标位置时的时间。
10.根据权利要求8所述的认知评估方法，其特征在于，在步骤S506中，通过如下方法，将所述实际注视点在视觉刺激模块上的绝对坐标，转换为视觉刺激图像上的二维坐标：
S5061、选取视觉刺激模块呈现视觉刺激图像的屏幕的三个角点，读取三个角点的绝对坐标；
S5062、利用三个角点的绝对坐标，计算视觉刺激模块呈现的视觉刺激图像在x方向和y方向的方向向量；
S5063、计算所述实际注视点在视觉刺激模块上的绝对坐标，在x方向和y方向的方向向量上的投影，得到所述实际注视点在视觉刺激图像上的二维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410781429.2A CN118340502B (zh) | 2024-06-18 | 2024-06-18 | 基于视觉刺激的认知评估的脑机接口系统及认知评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410781429.2A CN118340502B (zh) | 2024-06-18 | 2024-06-18 | 基于视觉刺激的认知评估的脑机接口系统及认知评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118340502A true CN118340502A (zh) | 2024-07-16 |
| CN118340502B CN118340502B (zh) | 2024-09-03 |
Family
ID=91821029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410781429.2A Active CN118340502B (zh) | 2024-06-18 | 2024-06-18 | 基于视觉刺激的认知评估的脑机接口系统及认知评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118340502B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105592798A (zh) * | 2013-03-15 | 2016-05-18 | 塞罗拉公司 | 用于多模态生理刺激和脑健康的评估的系统及签名 |
| CN109589122A (zh) * | 2018-12-18 | 2019-04-09 | 中国科学院深圳先进技术研究院 | 一种认知能力测评系统及方法 |
| US20190201691A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
| WO2021083512A1 (en) * | 2019-10-30 | 2021-05-06 | Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. | Measuring an attentional state and providing automatic feedback during a technical system interaction |
| CN113419628A (zh) * | 2021-06-24 | 2021-09-21 | 西安交通大学 | 一种基于眼动追踪下视觉目标动态可变的脑机接口方法 |
| WO2024114480A1 (zh) * | 2022-11-30 | 2024-06-06 | 中国科学院深圳先进技术研究院 | 一种视觉刺激方法、脑机训练方法和脑机训练系统 |
-
2024
- 2024-06-18 CN CN202410781429.2A patent/CN118340502B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105592798A (zh) * | 2013-03-15 | 2016-05-18 | 塞罗拉公司 | 用于多模态生理刺激和脑健康的评估的系统及签名 |
| US20190201691A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| CN109589122A (zh) * | 2018-12-18 | 2019-04-09 | 中国科学院深圳先进技术研究院 | 一种认知能力测评系统及方法 |
| WO2021083512A1 (en) * | 2019-10-30 | 2021-05-06 | Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. | Measuring an attentional state and providing automatic feedback during a technical system interaction |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
| CN113419628A (zh) * | 2021-06-24 | 2021-09-21 | 西安交通大学 | 一种基于眼动追踪下视觉目标动态可变的脑机接口方法 |
| WO2024114480A1 (zh) * | 2022-11-30 | 2024-06-06 | 中国科学院深圳先进技术研究院 | 一种视觉刺激方法、脑机训练方法和脑机训练系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118340502B (zh) | 2024-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Donner et al. | Population activity in the human dorsal pathway predicts the accuracy of visual motion detection | |
| VAINA et al. | The selective impairment of the perception of first-order motion by unilateral cortical brain damage | |
| Jacques et al. | Early electrophysiological responses to multiple face orientations correlate with individual discrimination performance in humans | |
| Hakvoort et al. | Comparison of PSDA and CCA detection methods in a SSVEP-based BCI-system | |
| Gradl et al. | Visualization of heart activity in virtual reality: A biofeedback application using wearable sensors | |
| CN102293647B (zh) | 一种联合脑电和功能磁共振信号的反馈系统 | |
| Grent-’t-Jong et al. | Competitive interactions in sensorimotor cortex: oscillations express separation between alternative movement targets | |
| Valenza et al. | Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification | |
| US20180279935A1 (en) | Method and system for detecting frequency domain cardiac information by using pupillary response | |
| Joyce et al. | Tracking eye fixations with electroocular and electroencephalographic recordings | |
| KR20120060978A (ko) | 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법 | |
| Merrick et al. | Left hemisphere dominance for bilateral kinematic encoding in the human brain | |
| CN108451494B (zh) | 使用瞳孔反应来检测时域心脏参数的方法及系统 | |
| CN111443804B (zh) | 基于视频分析的注视点轨迹描述方法及其系统 | |
| Zhao et al. | A passive BCI for monitoring the intentionality of the gaze-based moving object selection | |
| JP2020151082A (ja) | 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム | |
| CN118340502B (zh) | 基于视觉刺激的认知评估的脑机接口系统及认知评估方法 | |
| Stankov et al. | During natural viewing, neural processing of visual targets continues throughout saccades | |
| Jiang et al. | Binding 3-D object perception in the human visual cortex | |
| Manyakov et al. | Decoding stimulus-reward pairing from local field potentials recorded from monkey visual cortex | |
| Holliday et al. | Optic flow in human vision: MEG reveals a foveo-fugal bias in V1, specialization for spiral space in hMSTs, and global motion sensitivity in the IPS | |
| Victor et al. | Evoked potential and psychophysical analysis of Fourier and non-Fourier motion mechanisms | |
| Park et al. | Infrared webcam-based non-contact measurement of event-related potentials from event-related pupillary responses: An approach focused on mental workload | |
| CN108451496B (zh) | 检测脑心连通性的信息的方法及其系统 | |
| Jacobsen et al. | Visual marking for search: Behavioral and event-related potential analyses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |