CN116407084A - 一种多维度信号控制系统和方法 - Google Patents

一种多维度信号控制系统和方法 Download PDF

Info

Publication number
CN116407084A
CN116407084A CN202111644254.3A CN202111644254A CN116407084A CN 116407084 A CN116407084 A CN 116407084A CN 202111644254 A CN202111644254 A CN 202111644254A CN 116407084 A CN116407084 A CN 116407084A
Authority
CN
China
Prior art keywords
signal
dimensional
eye movement
eye
signal control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111644254.3A
Other languages
English (en)
Inventor
姚洋
徐婵
王龙飞
詹阳
周晖晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111644254.3A priority Critical patent/CN116407084A/zh
Priority to PCT/CN2022/076498 priority patent/WO2023123628A1/zh
Publication of CN116407084A publication Critical patent/CN116407084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurosurgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种多维度信号控制系统和方法，系统中：三维视觉刺激设备，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；眼部运动检测设备，用于检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；多维度信号控制设备，用于根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；眼动信号处理设备，用于根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；多维度信号控制设备，用于执行反馈信号对应的操作。实现了三维环境下的认知功能测试，提高了认知功能测试的测试信号维度。

Description

一种多维度信号控制系统和方法
技术领域
本发明实施例涉及视觉认知检测与控制技术领域，尤其涉及一种多维度信号控制系统和方法。
背景技术
非人灵长类是研究脑认知功能，探索脑疾病神经网络的理想模式动物。在各种灵长类动物中，猕猴由于拥有与人类非常近似的视觉系统以及较高的智力，一直是基于视觉的脑认知研究的主要模式动物。目前基于猕猴的视觉认知研究，已经积累了大量的组织学、行为学以及电生理学的实验数据，为未来脑功能环路解析的研究奠定了良好的基础。基于视觉的注意、学习记忆、决策、情绪感知和调控等是脑高级认知功能的重要组成部分，而视觉认知功能异常也与多种脑疾病密切相关。
在自然环境中，视觉系统主要接受视觉刺激，大脑为满足自然环境的需要，其视觉系统的结构和功能也在适应复杂自然环境的过程中逐渐进化形成。因此，可以精确控制的、与自然环境相似的视觉刺激，对解析视觉认知脑功能是至关重要的。但目前的认知任务是基于二维视觉刺激实现的，与自然环境中三维视觉环境存在一定的区别。因此，如何实现三维环境下的认知功能测试是一个亟待解决的技术问题。
发明内容
本发明实施例提供了一种多维度信号控制系统和方法，以实现三维环境下的认知功能测试，提高认知功能测试的测试信号维度。
第一方面，本发明实施例提供了一种多维度信号控制系统，包括：多维度信号控制设备、三维视觉刺激设备、眼部运动检测设备和眼动信号处理设备，其中：
三维视觉刺激设备，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；
眼部运动检测设备，用于检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；
多维度信号控制设备，用于根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；
眼动信号处理设备，用于根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；
多维度信号控制设备，用于执行反馈信号对应的操作。
第二方面，本发明实施例还提供了一种多维度信号控制方法，由本发明任意实施例所提供的多维度信号控制系统执行，包括：
基于三维视觉刺激设备根据预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；
基于眼部运动检测设备检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；
基于多维度信号控制设备根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；
基于眼动信号处理设备根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；
基于多维度信号控制设备执行反馈信号对应的操作。
本发明实施例提供的多维度信号控制系统包括：多维度信号控制设备、三维视觉刺激设备、眼部运动检测设备和眼动信号处理设备，其中：三维视觉刺激设备，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；眼部运动检测设备，用于检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；多维度信号控制设备，用于根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；眼动信号处理设备，还用于根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；多维度信号控制设备，用于执行反馈信号对应的操作。通过预先在三维视觉刺激设备中加载开发好的三维视觉刺激感知任务实现三维环境下的刺激，通过多维度信号控制设备实现三维视觉刺激设备与眼部运动检测设备的信息交互，实现了三维环境下的认知功能测试，提高了认知功能测试的测试信号维度。
附图说明
图1是本发明实施例一所提供的一种多维度信号控制系统的结构示意图；
图2是本发明实施例二所提供的一种多维度信号控制方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一所提供的一种多维度信号控制系统的结构示意图。本实施例提供的多维度信号控制系统可适用于灵长类动物基于多维度控制信号进行控制时的情形。如图1所示，多维度信号控制系统包括多维度信号控制设备10、三维视觉刺激设备20、眼部运动检测设备30和眼动信号处理设备40，其中：
三维视觉刺激设备20，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；
眼部运动检测设备30，用于检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备10；
多维度信号控制设备10，用于根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备40；
眼动信号处理设备40，用于根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备10；
多维度信号控制设备10，用于执行反馈信号对应的操作。
在本实施例中，多维度信号控制设备为多维度信号控制系统的核心，统筹处理与三维视觉刺激设备、眼部运动检测设备的交互，实现三维视觉刺激设备、眼部运动检测设备的输入与输出控制，可以完成眼动信号传输、奖励信号传输、以及事件编码信号的传输等操作。
一个实施例中，预先在开发工具内开发三维视觉刺激感觉任务，将开发好的三维视觉刺激感知任务导入三维视觉刺激设备，三维视觉刺激设备存储三维视觉刺激感知任务，即可执行三维视觉刺激感知任务。具体的，三维视觉刺激设备具体包括两部分：控制系统和显示设备。其中，控制系统用于存储、切换、传输三维视觉刺激感知任务等操作，显示设备可以为头戴3D显示屏，用于显示三维视觉刺激信号。整体来说，三维视觉刺激设备基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示，受检方的眼部随展示的三维视觉刺激信号运动，眼部运动检测设备检测受检方的眼部运动，得到眼部检测信息，并将眼部检测信息发送至多维度信号控制设备，多维度信号控制设备根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备，眼动信号处理设备根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备，以使多维度信号控制设备执行反馈信号对应的操作，完成三维视觉认知任务。其中，反馈信号可以为任务执行信息，如任务执行完成或任务执行未完成，还可以为任务执行完成后的奖励信号，在此不做限定。三维视觉刺激设备中的显示设备可以采用现有的虚拟现实(Virtual Reality，VR)/增强现实(Augmented Reality，AR)设备，在此不做限定。
可选的，可以预先基于Unity3d开发三维视觉刺激感知任务。Unity3d同时支持多个主流平台，极大降低开发者发布多个平台的难度；并且支持C#、JavaScript和Boo等三种脚本语言；同时支持所有主要的美术资源文件格式，能够满足无开发经验的开发者的开发需求；另外，还提供了高度优化的图形渲染，内嵌Mecanim动画系统、Shuriken粒子系统等功能。三维视觉刺激感知任务的开发逻辑是向受检方(如猕猴)呈现基于三维视觉刺激的视觉认知任务，同时采集受检方的眼睛运动信号。在上述基础上，可以在受检方顺利完成任务时，发送奖励信号，给予受检方奖励；还可以在三维视觉刺激感知任务完成过程中，对比如事件开始、事件结束、视觉刺激出现、视觉刺激类型以及奖励发送等进行数字编码，通过数字编码事件的方式对任务时间进行标记。
可选的，多维度信号控制设备可以基于嵌入式开发板开发。嵌入式开发板具有较强的计算能力，灵活的开发架构，足够数量的数字和模拟的I/O端口，串口中断，同时具备定时器和计数器等功能，满足三维视觉认知功能测试中多维度信号控制设备的功能需求。
可选的，眼部运动检测设备可以具体为眼睛运动检测仪(眼动仪)。眼动仪基于快速图像处理的方法利用高速摄像头直接采集眼睛图像，根据图像就可以计算出眼睛的位置。基于已有算法和电子计算机的计算能力，现有眼动仪对眼睛运动的采样频率可以达到1000Hz以上，精度<＝0.5度，已逐渐成为追踪眼睛运动的主要方法。具体的眼动仪可以采用现有的眼动仪，在此不做限定。以SensoMotoric Instrumens iView X高速Primate眼动仪为例，SMI眼动仪是一款用于非人灵长类动物的眼球运动记录仪，具有非侵入性、操作简单、眼动追踪可靠、高时间和空间解析率等特点，易整合为动物训练系统的一部分。SMI眼动仪可对单眼或者双眼暗瞳孔进行跟踪，同时输出眼睛位置的X、Y方向的模拟电压，以及瞳孔大小等信息。通过眼动仪采集受检方的眼动信号，而非直接通过三维头盔内置的眼动追踪仪器或有创式方法向受检方眼睛植入追踪装置，方法实施简单，且能直接有效地观察受检方的状态。
在进行三维视觉认知功能测试时，将眼动仪置于猕猴前方，调节其位置至可以完整追踪猕猴的瞳孔，即白色线圈包裹住暗色瞳孔。通过眼动仪的控制软件，设置采样频率、眼睛位置电压范围、单眼或者双眼输出的硬件参数。具体硬件参数可根据实际测试需求确定，在此不做限制。
在上述方案的基础上，眼部检测信息为模拟电压信息，根据眼部检测信息生成眼部运动信息，包括：对模拟电压信息进行模数转换，得到眼部运动信息。假设多维度信号控制设备基于STM32开发板开发，且眼部运动检测设备为眼动仪，在进行测试时，从眼动仪端口引出两路模拟电压输出导线，该两路信号为眼睛运动位置的X和Y坐标，范围一般可以设置为-5V～+5V。但对于STM32开发板的模数转换器(ADC)转换范围：0V～3.6V而言，并不符合眼动仪两路输出电压的ADC要求。因此，需要采用真双极模拟电压范围±5V、±10V的ADC模块。目前高度符合需求的ADC模块有AD7606多通道AD数据采集模块(AD7606模块)等。眼部检测信息通过眼动仪进行信号采集，输出两路模拟电压信号，对该模拟电压信号进行模数转换后得到眼部运动信息，才能输入到三维视觉刺激设备。可选的，模拟电压信号形式的眼部检测信息先经过AD7606模块，将-5V～+5V范围模拟电压，以16位精度进行模数转换。然后，STM32开发板定时器中断对AD7606模块进行数据采样，并将该数据进行打包得到眼部运动信息，通过USB串口通信方式将数据输出至三维视觉刺激设备。
本发明实施例提供的多维度信号控制系统包括：多维度信号控制设备、三维视觉刺激设备、眼部运动检测设备和眼动信号处理设备，其中：三维视觉刺激设备，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；眼部运动检测设备，用于检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；多维度信号控制设备，用于根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；眼动信号处理设备，还用于根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；多维度信号控制设备，用于执行反馈信号对应的操作。通过预先在三维视觉刺激设备中加载开发好的三维视觉刺激感知任务实现三维环境下的刺激，通过多维度信号控制设备实现三维视觉刺激设备与眼部运动检测设备的信息交互，实现了三维环境下的认知功能测试，提高了认知功能测试的测试信号维度。
在本发明的一种实施方式中，根据眼部检测信息生成反馈信号，包括：根据眼部检测信息判断三维视觉刺激感知任务是否完成；当三维视觉刺激感知任务完成时，生成奖励信号作为反馈信号。可选的，将三维视觉刺激设备生成的反馈信号具体化为奖励信号，在受检方完成三维视觉刺激感知任务时进行奖励，正向促进了三维视觉刺激感知任务的完成。示例性的，三维视觉刺激信号可以为红色球体，可以将展示的红色球体和采集的眼部检测信息进行比对，判断受检方是否盯住红色球体，并在受检方盯住红色球体时判定三维视觉刺激感知任务完成，否则，判定三维视觉刺激感知任务未完成。
在上述方案的基础上，系统还包括奖励装置；多维度信号控制设备，用于根据奖励信号生成设定电平信号输出至奖励装置；奖励装置，用于在接收到设定电平信号时执行奖励操作。可选的，系统中设置奖励装置完成对受检方的奖励操作。以受检方为猕猴为例，为了给猕猴示意任务完成正确或者安抚猕猴情绪时，会给予葡萄果汁、苹果果汁等饮料奖励。具体的，多维度信号控制设备接收到三维视觉刺激设备发送的奖励信号后，生成设定电平信号输出至奖励装置，以使奖励装置执行奖励操作。可选的，设定电平信号可以根据实际需求设置，如可以将高电平信号设置为奖励电平信号，将低电平信号设置为停止奖励电平信号；还可以将低电平信号设置为奖励电平信号，将高电平信号设置为停止奖励电平信号。
一个实施例中，根据奖励信号生成设定电平信号输出至奖励装置，包括：根据奖励信号确定奖励持续时间，将奖励持续时间作为计数周期；启动计时，输出奖励电平信号，在奖励电压输出时间到达奖励持续时间时输出停止奖励电平信号。示例性的，可以基于定时器实现设定电平信号的输出。首先，根据奖励信号中的设定位数值，确定奖励持续时间，将奖励持续时间作为定时器的计数周期，调用定时器初始化，基于定时器的计数周期配置定时器。在多维度认知功能测试执行时，开启定时器功能，启动定时器开始计数；定时器启动计数后，通过设定输出口输出奖励电平信号，并在通过定时器中断函数响应定时器计数结束时，关闭定时器，清除中断标志，定时器中断函数内通过设定输出口输出停止奖励电平信号，完成奖励程序。
可选的，奖励装置包括液体存放装置、电磁阀泵和液体导管，液体导管一端连接至液体存放装置，根据接收到的电平信号执行奖励操作，包括：在接收到奖励电平信号时，电磁阀泵开启，液体存放装置中的液体通过液体导管流出；在接收到停止奖励电平信号时，电磁阀泵关闭，液体存放装置中的液体停止流出。示例性的，奖励装置可以为方形盒子，内部集成一个电磁阀泵，盒子上方设置一条液体导管，盒子下方为电源线、导通控制线以及地线。液体导管的一端插入装有果汁的量瓶(即液体存放装置)，另外一端连接一个小喷头放入受检方嘴部内。当对导通控制线施加设定奖励电压时，则开启电磁阀，果汁顺着导管流出，此时受检方获得奖励。当对导通控制线施加设定停止奖励电压时，则关闭电磁阀，果汁停止流出，此时受检方不获得奖励。
在上述方案的基础上，系统还包括电生理信号采集设备；三维视觉刺激设备，还用于在检测到预先设置的电生理事件时，生成电生理事件触发信号发送至多维度信号控制设备；多维度信号控制设备，用于对电生理事件触发信号进行处理，得到电生理事件标记信号，并将电生理事件标记信号发送至电生理信号采集设备；电生理信号采集设备，用于对电生理时间标记信号进行处理，得到检测分析结果。可选的，预先设置的电生理事件发生包括视觉刺激出现、视觉刺激消失、视觉刺激呈现位置变化和视觉刺激呈现深度变化中的至少一个。
为了实现测试过程的记录及测试的统计分析，添加电生理信号采集设备采集测试过程中的电生理事件信号。以多维度信号控制设备基于STM32开发板开发为例，电生理事件标记原理为：在检测到电生理事件时，初始化Strobe位为高电平信号，并向16个数字信号输入位传递电生理事件，然后在给Strobe一个低电平，随后迅速给一个高电平。多维度信号控制设备以设定频率对接收端口进行刷新，读取一次值。这样就顺利完成了一次电生理事件的编码传送，可在多维度信号控制设备的控制主机界面看到电生理事件的标记信号。
一个实施例中，电生理事件触发信号为电生理事件编码，对电生理事件触发信号进行处理，得到电生理事件标记信号，包括：将电生理事件编码的编码值转换为二进制数值，得到电生理事件标记信号。
为实现电生理事件的快速传输，可以将电生理事件触发信号具体为编码的形式。示例性的，发送的电生理事件信号为打包数据，是一串字节长度不等长的数组。数组中每个位置的数据均设置其对应的含义。在接收到电生理事件编码后，将电生理事件编码的编码值转换为二进制数值，得到电生理事件标记信号，依次赋给各输出口输出。始终保持输出，直到下一次输出刷新。
实施例二
图2是本发明实施例二所提供的一种多维度信号控制方法的流程图。本实施例可适用于对灵长类动物基于多维度控制信号进行控制时的情形。该方法由本发明任意实施例所提供的多维度信号控制系统执行。本实施例中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示，该方法包括：
S210、基于三维视觉刺激设备根据预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示。
S220、基于眼部运动检测设备检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备。
S230、基于多维度信号控制设备根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备。
S240、基于眼动信号处理设备根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备。
S250、基于多维度信号控制设备执行反馈信号对应的操作。
本发明实施例通过基于三维视觉刺激设备根据预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；基于眼部运动检测设备检测受检方的眼部检测信息，并将眼部检测信息发送至多维度信号控制设备；基于多维度信号控制设备根据眼部检测信息生成眼部运动信息，并将眼部运动信息发送至眼动信号处理设备；基于眼动信号处理设备根据眼部检测信息生成反馈信号，并将反馈信号发送至多维度信号控制设备；基于多维度信号控制设备执行反馈信号对应的操作，通过多维度信号控制设备实现三维视觉刺激设备与眼部运动检测设备的信息交互，实现了三维环境下的认知功能测试，提高了认知功能测试的测试信号维度。
可选的，在上述方案的基础上，根据眼部检测信息生成反馈信号，包括：根据眼部检测信息判断三维视觉刺激感知任务是否完成；当三维视觉刺激感知任务完成时，生成奖励信号作为反馈信号。
可选的，在上述方案的基础上，系统还包括奖励装置，方法还包括：
基于多维度信号控制设备根据奖励信号生成设定电平信号输出至奖励装置；
基于奖励装置在接收到设定电平信号时执行奖励操作。
可选的，在上述方案的基础上，根据奖励信号生成设定电平信号输出至奖励装置，包括：
根据奖励信号确定奖励持续时间，将奖励持续时间作为计数周期；
启动计时，输出奖励电平信号，在奖励电压输出时间到达奖励持续时间时输出停止奖励电平信号。
可选的，在上述方案的基础上，奖励装置包括液体存放装置、电磁阀泵和液体导管，液体导管一端连接至液体存放装置，根据接收到的电平信号执行奖励操作，包括：
在接收到奖励电平信号时，电磁阀泵开启，液体存放装置中的液体通过液体导管流出；
在接收到停止奖励电平信号时，电磁阀泵关闭，液体存放装置中的液体停止流出。
可选的，在上述方案的基础上，眼部检测信息为模拟电压信息，根据眼部检测信息生成眼部运动信息，包括：
对模拟电压信息进行模数转换，得到眼部运动信息。
可选的，在上述方案的基础上，系统还包括电生理信号采集设备，方法还包括：
基于三维视觉刺激设备在检测到预先设置的电生理事件时，生成电生理事件触发信号发送至多维度信号控制设备；
基于多维度信号控制设备对电生理事件触发信号进行处理，得到电生理事件标记信号，并将电生理事件标记信号发送至电生理信号采集设备；
基于电生理信号采集设备对电生理时间标记信号进行处理，得到检测分析结果。
可选的，在上述方案的基础上，电生理事件触发信号为电生理事件编码，对电生理事件触发信号进行处理，得到电生理事件标记信号，包括：
将电生理事件编码的编码值转换为二进制数值，得到电生理事件标记信号。
可选的，在上述方案的基础上，预先设置的电生理事件发生包括视觉刺激出现、视觉刺激消失、视觉刺激呈现位置变化和视觉刺激呈现深度变化中的至少一个。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员将理解，本发明不限于这里的特定实施例，对本领域技术人员而言可进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其它等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多维度信号控制系统，其特征在于，包括：多维度信号控制设备、三维视觉刺激设备、眼部运动检测设备和眼动信号处理设备，其中：
所述三维视觉刺激设备，用于基于预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；
所述眼部运动检测设备，用于检测受检方的眼部检测信息，并将所述眼部检测信息发送至所述多维度信号控制设备；
所述多维度信号控制设备，用于根据所述眼部检测信息生成眼部运动信息，并将所述眼部运动信息发送至所述眼动信号处理设备；
所述眼动信号处理设备，用于根据所述眼部检测信息生成反馈信号，并将所述反馈信号发送至所述多维度信号控制设备；
所述多维度信号控制设备，用于执行所述反馈信号对应的操作。
2.根据权利要求1所述的系统，其特征在于，所述根据所述眼部检测信息生成反馈信号，包括：
根据所述眼部检测信息判断所述三维视觉刺激感知任务是否完成；
当所述三维视觉刺激感知任务完成时，生成奖励信号作为所述反馈信号。
3.根据权利要求2所述的系统，其特征在于，所述系统还包括奖励装置；
所述多维度信号控制设备，用于根据所述奖励信号生成设定电平信号输出至所述奖励装置；
所述奖励装置，用于在接收到设定电平信号时执行奖励操作。
4.根据权利要求3所述的系统，其特征在于，所述根据所述奖励信号生成设定电平信号输出至所述奖励装置，包括：
根据所述奖励信号确定奖励持续时间，将所述奖励持续时间作为计数周期；
启动计时，输出奖励电平信号，在奖励电压输出时间到达所述奖励持续时间时输出停止奖励电平信号。
5.根据权利要求4所述的系统，其特征在于，所述奖励装置包括液体存放装置、电磁阀泵和液体导管，所述液体导管一端连接至所述液体存放装置，所述根据接收到的电平信号执行奖励操作，包括：
在接收到所述奖励电平信号时，所述电磁阀泵开启，所述液体存放装置中的液体通过所述液体导管流出；
在接收到所述停止奖励电平信号时，所述电磁阀泵关闭，所述液体存放装置中的液体停止流出。
6.根据权利要求1所述的系统，其特征在于，所述眼部检测信息为模拟电压信息，所述根据所述眼部检测信息生成眼部运动信息，包括：
对所述模拟电压信息进行模数转换，得到所述眼部运动信息。
7.根据权利要求1所述的系统，其特征在于，所述系统还包括电生理信号采集设备；
所述三维视觉刺激设备，还用于在检测到预先设置的电生理事件时，生成电生理事件触发信号发送至所述多维度信号控制设备；
所述多维度信号控制设备，用于对所述电生理事件触发信号进行处理，得到电生理事件标记信号，并将所述电生理事件标记信号发送至所述电生理信号采集设备；
所述电生理信号采集设备，用于对所述电生理时间标记信号进行处理，得到检测分析结果。
8.根据权利要求7所述的系统，其特征在于，所述电生理事件触发信号为电生理事件编码，所述对所述电生理事件触发信号进行处理，得到电生理事件标记信号，包括：
将所述电生理事件编码的编码值转换为二进制数值，得到所述电生理事件标记信号。
9.根据权利要求7所述的系统，其特征在于，所述预先设置的电生理事件发生包括视觉刺激出现、视觉刺激消失、视觉刺激呈现位置变化和视觉刺激呈现深度变化中的至少一个。
10.一种多维度信号控制方法，由权利要求1-9任一项所述的多维度信号控制系统执行，包括：
基于三维视觉刺激设备根据预先加载的三维视觉刺激感知任务生成三维视觉刺激信号进行展示；
基于眼部运动检测设备检测受检方的眼部检测信息，并将所述眼部检测信息发送至所述多维度信号控制设备；
基于多维度信号控制设备根据所述眼部检测信息生成眼部运动信息，并将所述眼部运动信息发送至所述眼动信号处理设备；
基于所述眼动信号处理设备根据所述眼部检测信息生成反馈信号，并将所述反馈信号发送至所述多维度信号控制设备；
基于多维度信号控制设备执行所述反馈信号对应的操作。
CN202111644254.3A 2021-12-29 2021-12-29 一种多维度信号控制系统和方法 Pending CN116407084A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111644254.3A CN116407084A (zh) 2021-12-29 2021-12-29 一种多维度信号控制系统和方法
PCT/CN2022/076498 WO2023123628A1 (zh) 2021-12-29 2022-02-16 多维度信号控制系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111644254.3A CN116407084A (zh) 2021-12-29 2021-12-29 一种多维度信号控制系统和方法

Publications (1)

Publication Number Publication Date
CN116407084A true CN116407084A (zh) 2023-07-11

Family

ID=86997313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111644254.3A Pending CN116407084A (zh) 2021-12-29 2021-12-29 一种多维度信号控制系统和方法

Country Status (2)

Country Link
CN (1) CN116407084A (zh)
WO (1) WO2023123628A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715739B (zh) * 2009-12-07 2012-02-01 浙江大学 用于非人灵长类动物行为学习的自动化训练装置及方法
JP2019513516A (ja) * 2016-04-08 2019-05-30 ヴィッツァリオ，インコーポレイテッド 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
CN109938727A (zh) * 2017-12-20 2019-06-28 中国科学院深圳先进技术研究院 非人灵长类动物三维视觉刺激实验系统和方法
CN109645955B (zh) * 2019-01-31 2023-11-21 北京大学第三医院（北京大学第三临床医学院） 基于vr和眼动追踪的多功能视觉功能检测装置及方法
CN110547760A (zh) * 2019-08-09 2019-12-10 西安交通大学 一种幼儿弱视脑电客观检测仪
US20210315508A1 (en) * 2020-04-14 2021-10-14 Neurotype Inc. Assessing Motivated Attention with Cue Reactivity

Also Published As

Publication number Publication date
WO2023123628A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
Ladouce et al. Understanding minds in real-world environments: toward a mobile cognition approach
Eastman et al. PLDAPS: a hardware architecture and software toolbox for neurophysiology requiring complex visual stimuli and online behavioral control
US11497440B2 (en) Human-computer interactive rehabilitation system
US11164483B2 (en) Medical simulator for the simulation of puncture operations
US20170039876A1 (en) System and method for identifying learner engagement states
Henderson et al. Improving affect detection in game-based learning with multimodal data fusion
CN111124102B (zh) 混合现实全息头显四肢和脊柱运动康复系统及方法
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
EP3463088A1 (en) Method and system for quantitative assessment of visual motor response
CN113362946A (zh) 视频处理装置、电子设备及计算机可读存储介质
Afergan et al. Brain-based target expansion
CN113856132B (zh) 一种跳绳动作识别系统、方法及跳绳
CN116407084A (zh) 一种多维度信号控制系统和方法
CN110786825B (zh) 基于虚拟现实视听觉通路的空间知觉失调测训系统
Brümmer et al. Practice as a shared accomplishment
Huynh et al. The reference frame for encoding and retention of motion depends on stimulus set size
KR20200065834A (ko) 신체 반응 정보를 포함한 다중정보를 통해 가상현실 사용자의 상태분석 및 피드백 시스템, 맞춤형 콘텐츠 제공의 방법
CN111625098B (zh) 一种基于多通道信息融合的虚拟化身智能交互方法和装置
Duarte Low cost brain computer interface system for AR. Drone control
Kuroha et al. Chronic stress level estimation focused on motion pattern changes acquired from seat pressure distribution
Scherer et al. Non-manual Control Devices: Direct Brain-Computer Interaction
CN111820869A (zh) 一种认知评估方法及装置
US20240168553A1 (en) Brain activity monitoring based messaging and command system
Barattelli et al. Eye-movements as an input in human computer interaction: exploiting natural behaviour
CN114129164B (zh) 一种自闭症谱系障碍风险检测系统、检测终端及云服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination