CN113974589A - 多模态行为范式评估优化系统及认知能力评价方法 - Google Patents

多模态行为范式评估优化系统及认知能力评价方法 Download PDF

Info

Publication number
CN113974589A
CN113974589A CN202111341636.9A CN202111341636A CN113974589A CN 113974589 A CN113974589 A CN 113974589A CN 202111341636 A CN202111341636 A CN 202111341636A CN 113974589 A CN113974589 A CN 113974589A
Authority
CN
China
Prior art keywords
module
paradigm
behavior
index data
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111341636.9A
Other languages
English (en)
Other versions
CN113974589B (zh
Inventor
刘禹
刘丽
王子洋
张彤麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111341636.9A priority Critical patent/CN113974589B/zh
Publication of CN113974589A publication Critical patent/CN113974589A/zh
Application granted granted Critical
Publication of CN113974589B publication Critical patent/CN113974589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4011—Evaluating olfaction, i.e. sense of smell
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Primary Health Care (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

本发明提供一种多模态行为范式评估优化系统及认知能力评价方法，系统包括：操作平台，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互指标数据；行为范式计算平台，用于构建认知能力的假设行为范式并根据操作平台实时监测到的生理指标数据和采集的交互指标数据对假设行为范式进行评估，输出认知能力的理想行为范式；数据库，用于存储假设行为范式、交互测试和用户信息；行为范式计算平台包括行为范式构建模块、行为范式评估优化模块和行为输出模块。本发明的系统考虑了不同的行为范式对应的不同指标且测试形式多样化，为测试者和专家提供了一个更科学和人性化的多功能综合测试交互系统。

Description

多模态行为范式评估优化系统及认知能力评价方法
技术领域
本发明涉及行为范式建模科学以及数据测试技术领域，尤其涉及一种多模态行为范式评估优化系统及认知能力评价方法。
背景技术
随着神经科学与测量理论的快速发展，行为范式模型诊断已经成为当今医学、心理以及教育测量学研究中受到广泛关注的研究方向，同时行为范式模型技术也为诊疗认知能力障碍等疾病和特定人群选拔优秀的专业人员提供了技术支撑，具有重要的现实意义。传统的检测和诊断方法相对单一，对于特定疾病或特定人群选拔的检测往往具有多向性，而每个专家针对同一认知能力往往有不同的见解和不同的判断指标，从而导致了测试方法工具的不同，也就导致了行为范式模型的多样化，而至于哪个更为准确，并没有统一的量化标准。
随着人工智能技术的发展，行为范式模型诊断测试从传统的纸笔测验已经发展成为计算机自动化测试方法，测试数据模型和方法都有了长足的进步，但是，从目前行为范式构建的现状而言，行为范式构建往往集中在某一特定数据指标，提供对单一数据的测试分析方法，往往无法提供对测试者多指标、多视角、全参数的行为范式模型综合评价体系，尤其是无法刻画不同测试指标之间的外在关联，同时测试的形式也多采用问答的形式，单调繁琐，适应性差，交互功能体验差，容易给测试者带来疲劳感，影响测试效果。
发明内容
本发明提供一种多模态行为范式评估优化系统及认知能力评价方法，用以解决现有技术中缺乏多指标、多视角、全参数的行为范式模型综合评价体系的缺陷，实现专家和测试者更科学和人性化的多功能综合测试交互。
本发明提供一种多模态行为范式评估优化系统，包括：
操作平台，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互指标数据；
行为范式计算平台，用于构建认知能力的假设行为范式并根据所述操作平台实时监测到的生理指标数据和所述采集的交互指标数据对假设行为范式进行评估，输出所述认知能力的理想行为范式；
数据库，用于存储所述行为范式计算平台得到的所述认知能力的假设行为范式、所述假设行为范式的交互测试和用户信息，其中，所述认知能力的假设行为范式通过理想行为范式更新；
所述行为范式计算平台包括行为范式构建模块、行为范式评估优化模块和行为范式输出模块；
所述行为范式构建模块用于获取认知能力和用户信息并根据所述认知能力和用户信息构建假设行为范式，所述假设行为范式包括多个假设指标，所述假设指标包括生理指标和交互指标；
所述行为范式评估优化模块用于根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标；
若存在假设指标不具有信度及效度，则重新构建假设行为范式并根据所述重新构建的假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据进行评估，直至所述重新构建的假设行为范式所有假设指标均具有信度及效度；
所述行为范式输出模块用于根据所述行为范式评估优化模块的假设指标的评估结果输出理想行为范式，所述理想行为范式包括多个具有信度及效度的假设指标。
根据本发明提供的一种多模态行为范式评估优化系统，所述操作平台包括传感器模块、交互模块和管理控制模块；
所述传感器模块用于实时监测生理指标数据，所述交互模块用于提供交互测试的操作环境并采集交互指标数据，所述管理控制模块用于控制所述传感器模块和交互模块的启停以及操作平台、行为范式计算平台和数据库之间的信息交互。
根据本发明提供的一种多模态行为范式评估优化系统，所述传感器模块包括脑电模块、眼动模块、心电模块和肢体运动跟踪模块。
根据本发明提供的一种多模态行为范式评估优化系统，所述脑电模块用于采集脑电和脑血氧；
所述眼动模块用于采集眼球运动数据；
所述心电模块包括用于采集心电波形、呼吸和心率；
所述肢体运动跟踪模块用于采集空间动作和应激性反应时间。
根据本发明提供的一种多模态行为范式评估优化系统，所述交互模块包括嗅觉呈现模块、立体视觉呈现模块、听觉分析模块、语音交互模块和用户接口模块。
根据本发明提供的一种多模态行为范式评估优化系统，所述嗅觉呈现模块用于释放各种常见医学测试气味；
所述立体视觉呈现模块用于提供视觉测试场景；
所述听觉分析模块用于提供听觉测试场景；
所述语音交互模块用于进行语音交互测试；
所述用户接口模块用于给用户提供交互操作环境。
根据本发明提供的一种多模态行为范式评估优化系统，所述行为范式输出模块还用于根据所述重新构建的假设行为范式对交互测试进行优化，并根据优化后的交互测试对数据库中存储的所述认知能力对应的交互测试中的交互测试参数以及交互测试类型进行更新。
根据本发明提供的一种多模态行为范式评估优化系统，所述根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标，包括：
根据所述假设行为范式对应的交互测试采集到的生理指标数据对假设指标中的假设生理指标的信度和效度进行评估；
根据所述假设行为范式对应的交互测试采集到的交互指标数据和正常健康人的对应交互指标数据进行相似度分析，根据相似度分析结果对所述假设指标中的假设生理指标的信度和效度进行评估。
根据本发明提供的一种多模态行为范式评估优化系统，所述系统还用于根据所述认知能力的理想行为范式采集生理指标数据和交互指标数据，根据采集到的生理指标数据和交互指标数据分析评价所述认知能力。
本发明还提供一种认知能力评价方法，该方法应用于所述多模态行为范式评估优化系统，包括：
获取用户信息和待评价认知能力；
根据所述的多模态行为范式评估优化系统获得所述待评价认知能力分别对应的理想行为范式；
根据所述理想行为范式采集生理指标数据和交互指标数据；
根据所述采集的生理指标数据和交互指标数据计算所述每种理想行为范式对应认知能力的概率分布和条件概率，将所述待评价认知能力作为节点构建贝叶斯信念网络，所述贝叶斯信念网络用于输出用户的认知能力评价。
本发明提供的多模态行为范式评估优化系统，通过多种采集设备于一体和多功能人机交互测试环境，构建相关行为范式，形成从数据集到评估再到优化的一整套合理建模流程，而不是只提供某一特定认知指标的评测。同时，本系统可为测试者提供多功能的人机交互认知测试平台，系统通过多种传感器和多种人机交互模式，为测试者提供形式多样、趣味性相对更强的测试方案，增强测试者的浸入感。交互测试采用模块化设计，通过积木组合的方式搭建交互游戏，能够方便快捷地进行修正，从而更好地服务于专家针对不同人群提出针对性的测试方法。利用可视化编辑界面，多个交互测试根据测试需求随意组合集中测试，可以获取测试者综合认知能力评价。
本发明提供的认知能力评价方法，可基于大量的测试数据，构建基于认知能力的贝叶斯信念网络，该网络可进一步为行为范式方法诊断和评价提供依据。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多模态行为范式评估优化系统的结构示意图；
图2是本发明实施例提供的多模态行为范式评估优化系统的硬件结构图；
图3是本发明实施例提供的认知能力评价方法的流程示意图。
附图标记：
1：第一触摸屏； 2：第二触摸屏； 3：3D眼镜；
4：气味发生器； 5：运动跟踪传感器； 6：动作识别模块；
7：心电传感器； 8：眼动跟踪模块； 9：可调节支架；
10：耳麦； 11：控制台； 12：计算机主机；
13：脑电采集模块； 14：脑电帽。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明实施例的多模态行为范式评估优化系统，包括：
操作平台20，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互指标数据；
行为范式计算平台30，用于构建认知能力的假设行为范式并根据所述操作平台实时监测到的生理指标数据和所述采集的交互指标数据对假设行为范式进行评估，输出所述认知能力的理想行为范式；
数据库40，用于存储所述行为范式计算平台得到的所述认知能力的假设行为范式、所述假设行为范式的交互测试和用户信息，其中，所述认知能力的假设行为范式通过理想行为范式更新；
所述行为范式计算平台30包括行为范式构建模块310、行为范式评估优化模块320和行为范式输出模块330；
所述行为范式构建模块310用于获取认知能力和用户信息并根据所述认知能力和用户信息构建假设行为范式，所述假设行为范式包括多个假设指标，所述假设指标包括生理指标和交互指标；
所述行为范式评估优化模块320用于根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标；
若存在假设指标不具有信度及效度，则重新构建假设行为范式并根据所述重新构建的假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据进行评估，直至所述重新构建的假设行为范式所有假设指标均具有信度及效度；
所述行为范式输出模块330用于根据所述行为范式评估优化模块的假设指标的评估结果输出理想行为范式，所述理想行为范式包括多个具有信度及效度的假设指标。
本发明实施例基于多传感器集成方法和机器学习等数据分析理论，公开了一种多模态行为范式评估优化系统，所述系统采用可视化编辑界面，通过多种采集设备获取测试者多项基础生理指标数据和人机交互中多种应激反应状态，可全面分析和评价预设的假设行为范式方法模型的正确性，所述假设行为范式和交互游戏往往为专家设定或依据行业内标准设定。本系统能协助专家为对假设行为范式提供全参数分析，协助专家做进一步修正，从而更好地服务于专家针对不同人群不同认知能力的测试方法。本系统采用游戏交互方式为测试者呈现出一种全新的诊断交互体验，不至于造成测试过程中出现疲劳以及烦躁等情绪，影响测试结果。测试类型考虑了不同的行为范式指标且测试形式多样化，为专家和测试者提供了一个更科学和人性化的多功能综合测试交互系统。
需要说明的是，所述用户信息即为测试者的身高、体重、性别和年龄等基础信息。所述认知能力包括一种或多种，在本发明实施例的中，提供了一种特定人群的认知决策能力评估过程，其中，认知能力为：态势感知任务中评估认知记忆能力和决策能力。态势感知任务以某棋类知识为基础，通过记忆棋子位置、做出战略决策和复现棋子位置及工作负荷判断等过程。
本实施例的交互测试为：假设你是一名迂回至对方翼侧或后方的作业人员。请根据所处情况做出前进、撤退和原地待命等行动决策。屏幕上每次会呈现随机数量的对方棋子，5秒后消失。
1、在敌方棋子消失后，你需要选择在面对所显示情况时会采取的战术行动：
A进攻；(选中后需要在地图上用鼠标点击进攻区域)
B防守，等待进一步指示；
C撤退；
2、选择完战术行动后，你需要用鼠标在地图上指出本次情境下的对方棋子位置与朝向。
整体实验流程包括态势观察阶段、感知决策阶段、局势复现阶段、认知负荷标签和休息阶段，共计50个试次。制作了对阵的极易10种、容易10种、中等20种和困难10种，实验分为两个阶段，每个阶段包含25个试次，阶段间有5分钟的休息时间。按照极易-中等-容易-中等-困难的顺序，5个为一组循环10次进行测试。
本系统将交互测试分成5个模块，分别是观察阶段、感知决策阶段、局势复现阶段、认知负荷标签和休息阶段，并将这5个模块定义成5个自定义积木。在可视化编辑界面上，依据游戏整体实验流程，通过积木组合设计上述交互游戏程序。
本实施例的记分规则为：
1.记录参与者的报告内容，与该棋类专家制定的标准得分进行比对；
2.记录参与者的鼠标点击位置，并和实际呈现位置进行比对。
确保对方棋子的大小、颜色、细节跨试次一致，确保点击操作的热区覆盖大小在各个被试和各个试次中一致。
分数由决策结果评分和复现结果两部分构成：
本实施例的决策结果为：
1.任务得分-感知决策：和专家制定的报告行动标准比较，选择某个选项得0/1/2分，分数越高越好，选择进攻时，进攻位置正确有额外得分。分数为总分/50张图。
2.任务得分-确定决策：同上，和专家制定的报告行动标准比较，选择某个选项得0/1/2分，分数越高越好，选择进攻时，进攻位置正确有额外得分。
本实施例的复现结果为：
3.数目正确度：漏点击或多点击的目标数目，比如，屏幕上出现7个目标时，如果被试鼠标点击5次，那么该项为-|7-5|＝-2，如果被试鼠标点击8次，那么该项为-|7-8|＝-1。
4.朝向接近度：与目标棋子的朝向偏差和(1-正确，0-错误)/复现目标数(249)。
5.距离接近度：0-到目标位置线性距离和/复现目标数(249)。
在本发明的实施例中，设计并集成了十六导联的脑电采集模块、脑血氧采集模块、心率数据提取和眼动跟踪模块。利用十六导联的脑电采集模块为主端，通过蓝牙与脑血氧采集模块相连接，脑电帽14配备了十六路脑电传感器，并集成脑血氧传感器，脑电采集模块13采用了自主设计的IC方案；眼动跟踪模块，可调节支架9根据眼动模块设备的外形尺寸而设计的专用支架；心电模块，心电传感器7和皮电传感器采用了基于BMD101测量芯片的集成解决方案；第一触摸屏1和第二触摸屏2采用可调节支架9固定，方便适应不同测试者的身高。控制台11符合人体工程学和实验需求。
在实施例中，采集了脑电、脑血氧、心率和眼动数据。脑电为1000Hz，脑血氧为10Hz，下位机直接上传十六导联脑电与单导联脑血氧数据，采用数据序号同步的方式实现了脑电、脑血氧和心率数据的同步。采用向脑电下位机系统和眼动采集程序打Marker的形式实现了实验系统、眼动数据和脑电数据的同步，进而实现了全部多模态数据的同步获取。多模态数据本身形式多样，为方便后续的提取和处理，构建统一的数据库对多种类型的多模态实验数据进行保存。由于数据本身以文本数据为主，并且不同数据表之间的关联度较大，构建基于MySQL的本地数据库。
针对上述实施例进行基于任务态生理数据的认知状态评估包括：在本发明实施例的分析中，采用额叶相关导联的theta和alpha两个频段的功率谱密度表征个体在任务中的注意力程度。因此，提取了每一位参测人员在态势感知任务中的注意力变化，作为后续任务态的其中一项认知指标。同时，由于人的疲劳程度与眨眼相关，对于每位参测人员依据采集数据中的垂直眼电(VEOG)数据来估计该参测人员在实验中的疲劳度及变化。在注意力评估中，在每个脑电片段中，通过计算不同频带的脑电信号的功率谱，多导联各频带的功率谱平均获得该脑电片段的注意力值，对于该值可表明参测人员者的注意力状态，值越高则注意力越集中。在疲劳度评估分析中，采用PERCLOS指标来评估疲劳度，PERCLOS指标指的是闭眼的百分比。因此，根据垂直眼电来估算参测人员在每次眨眼导致的眼睑闭合的时长，以一段时间内(在每个脑电片段中)眼睑闭合的总时长/该段时间的总时长得到的比值视为疲劳度的估计值。针对双通道的垂直眼电数据，利用0.1～30Hz的四阶带通滤波器进行滤波，采用小波基mexh进行连续小波变换，通过最大和最小阈值来从小波系数中估计出眨眼的起始点位置，从而确定眨眼过程的眼睑闭合时长。
针对上述实施例进行基于任务态脑电数据的认知负荷评估包括：认知负荷为表征工作状态下脑力资源占用率，是能够通过脑电和脑血氧反应的一项重要指标，脑电可敏感体现大脑对工作负荷的初始神经电生理响应。本实施例中首先用滑动窗将脑电时间序列分成一个个等长的时间片段，采用人工智能算法来精确识别脑电信号中包含的负荷类别。在态势感知任务中，设计了9分量表，即要求参测人员根据工作负荷强度，按照从1分(极简单)到9分(极困难)的标准进行打分。由于要求每名参测人员均进行50个试次的实验，因此对每名参测人员，都可以得到50个带有标签的脑电数据。我们将每名参测人员对工作负荷强度的打分进行二分，分为其认为较难的和较易的两种，通过分析结果，经过变换之后，同样的工作负荷强度的二分得分会获得较强的一致性。态势感知任务实验设计较为复杂，在“态势观察”环节，要求参测人员不作任何动作，专心对态势进行判断，从而避免由运动等其他操作造成的脑电杂波的影响。同时，在该环节需要记忆敌军的位置和朝向。该环节持续5秒，时间触发标记为11。由于参测人员的主要任务是根据态势进行操作，因此在基于脑电的认知负荷分析中，根据实验时设定的时间触发标签，进行“态势观察”环节的信号切分，该信号长度为5秒，作为之后工作负荷判断的特征信号。这一过程是与实验设计高度耦合的。针对特征信号，进行降采样(从1000Hz降至100Hz)处理，方便后续计算。由于单个试次的信号长度为5秒，时间跨度较大，因此需要对信号进行去漂移操作。最后，对所有试次的信号采用Z变化进行归一化处理，根据数据构建认知负荷模型。
针对上述实施例进行人机交互数据分析包括：态势感知中的结果包括复现数量，复现准确度，复现角度，决策分数等多种类型的结果。提取每个人的复现结果数据，决策得分，采用皮尔逊相关系数分析复现结果、决策结果与目标绩效的相关关系，对复现结果，决策结果到目标绩效进行回归分析。最后可以以复现和决策作为输入，绩效结果作为输出构建SVM分类、逻辑回归模型等等。在结果分析中，行为数据中的反应时间也是重要的评估指标，每一项态势决策、分析决策、复现等均有反应时间的记录，并且可以作为单独的认知决策相关指标进行相关、回归和聚类处理。
在本发明实施例中，对人机交互行为数据和生理相关数据进行统计分析评估。分析结果为：通过脑电信号获得被测试者态势感知任务中各任务阶段(态势观察、感知决策和局势复现)的注意力变化分布。通过眼动数据获得被测试者态势感知任务中各任务阶段(态势观察、感知决策和局势复现)的疲劳度变化分布。通过脑电和脑血氧指标获得被测试者认知负荷状态。
依据分析结果可知基于多模态生理数据能够在一定意义上预测被测试者的认知风格和状态，发现了部分决策相关的认知风格与脑电特征具有一定的关联性。由此可知，此模型是可靠的理想模型。
进一步的，所述操作平台包括传感器模块、交互模块和管理控制模块；
所述传感器模块用于实时监测生理指标数据，所述交互模块用于提供交互测试的操作环境并采集交互指标数据，所述管理控制模块用于控制所述传感器模块和交互模块的启停以及操作平台、行为范式计算平台和数据库之间的信息交互。
进一步的，所述传感器模块包括脑电模块、眼动模块、心电模块和肢体运动跟踪模块。
需要说明是，所述脑电模块用于采集脑电和脑血氧，所述脑电模块包括脑电采集模块、脑血氧采集模块和脑电帽，脑电帽通过线缆与脑电采集模块相连，脑血氧采集模块位于脑电帽前额，通过蓝牙与脑电采集模块连接，脑电采集模块固定在控制台上，脑电帽及线缆挂在控制台的支架上，脑电采集模块通过脑电帽获得测试者的基础脑电及脑血氧信号，经过相应算法处理后传输至计算机主机并在第一、二触摸屏显示。
所述眼动模块用于采集眼球运动数据，所述眼动模块包括可调节支架和眼动跟踪模块，可调节支架位于第一触摸屏前，眼动跟踪模块位于可调节支架上，调节支架的高度和角度，使眼动跟踪模块与测试者眼睛构成位置匹配。眼动模块所获取的数据经过相应的算法处理后传输至计算机主机并在第一、二触摸屏显示。
所述心电模块包括心电监测模块、心电和皮电传感器，心电和皮电传感器通过线缆与心电监测模块相连，心电监测模块通过心电和皮电传感器获得测试者的心电波形和呼吸、心率等常规指标参数，所获取的数据经过相应的算法处理后传输至计算机主机并在第一、二触摸屏显示。
所述肢体运动跟踪模块包括动作识别模块、肌肉力量识别传感器和陀螺仪，用于跟踪记录测试者的空间动作和应激性反应时间等。
进一步的，所述交互模块包括嗅觉呈现模块、立体视觉呈现模块、听觉分析模块、语音交互模块和用户接口模块。
需要说明的是，所述嗅觉呈现模块用于释放各种常见医学测试气味，方便测试者识别气味；所述立体视觉呈现模块包括3D眼镜和第一触摸屏，给用户呈现3D影像，用于提供视觉测试场景；所述听觉分析模块包括耳麦和第一触摸屏，用于提供听觉测试场景；所述语音交互模块包括耳麦和第一触摸屏，用于进行语音交互测试；所述用户接口模块用于给用户提供交互操作环境，包括第一触摸屏、第二触摸屏、控制台和可调节座椅。其中第一触摸屏用于测试信息显示及操作，第二触摸屏用于系统控制及观测实验数据。控制台分三个区域：测试区、观测区和设备区，分别放置不同设备，可调节座椅方便不同用户调整和使用，保证测试者方便、舒适的进行交互测试。
进一步的，所述操作平台20还包括计算机主机、无线路由器、条码扫描和报告打印设备，计算机主机是整个系统的控制中枢，进行系统全部信息的处理和相应算法的运算、屏幕显示、信息传输等。
进一步的，所述系统通过无线路由器的有线端口连接眼动跟踪模块、脑电采集模块、心电监测模块，同时，通过无线路由器的无线接口，系统可接入上层网络，如医院的HIS系统，可由医生通过医生终端完成测试配置等初始化工作，实现多项独立行为范式假设验证，同时可将行为范式假设验证结果数据传输至HIS等外部系统的数据中心，实现进一步的数据分析与挖掘。
进一步的，所述行为范式输出模块330还用于根据所述重新构建的假设行为范式对交互测试进行优化，并根据优化后的交互测试对数据库中存储的所述认知能力对应的交互测试中的交互测试参数以及交互测试类型进行更新。
其中，所述交互测试为模块化设计，将每一项测试分成若干模块，这些模块设计成自定义积木。所述的交互测试参数为每块自定义积木模块内的参数值，所述交互测试类型为自定义积木的种类和块数。通过组合积木的方式，设计交互测试程序。使无任何计算机开发基础的使用者也可以根据测试要求自主灵活地搭建和配置交互测试程序，操作简单明了，且方便进行修正和优化，从而满足不同的测试要求。
进一步的，所述根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标，包括：
根据所述假设行为范式对应的交互测试采集到的生理指标数据对假设指标中的假设生理指标的信度和效度进行评估；
根据所述假设行为范式对应的交互测试采集到的交互指标数据和正常健康人的对应交互指标数据进行相似度分析，根据相似度分析结果对所述假设指标中的假设生理指标的信度和效度进行评估。
需要说明的是，所述的评估方法为一种统计分析方法，具体包括主成分分析、聚类分析、回归分析和数据融合等。
进一步的，所述系统还用于根据所述认知能力的理想行为范式采集生理指标数据和交互指标数据，根据采集到的生理指标数据和交互指标数据分析评价所述认知能力。
本实施例的多模态行为范式评估优化系统在实际操作时满足如下步骤：
S201：系统初始化，包括交互测试参数配置，测试仪器连接和测试媒体库准备；
需要说明的是，交互测试参数是针对每种行为范式而设计的体现测试目标和测试方法的相关数据，存储在计算机主机的测试数据库中，且可由系统使用者如专家、医生等通过远程访问方式进行配置维护；测试仪器包括眼动跟踪模块、脑电采集模块和心电监测模块，根据每类独立行为范式假设验证的不同目标和方法，测试仪器可分为主要测试仪器和辅助测试仪器，测试仪器连接指计算机对测试仪器进行网络连接，确认仪器是否在线，确认测试仪器工作状态是否正常，完成测试仪器缓冲区初始化。测试媒体库是指为各项独立行为范式的假设验证而准备的多媒体资源库，由于行为范式的主要验证手段为人机交互，测试的素材多为影音、图形、图像等多媒体资源，测试媒体库对测试相关的多媒体资源进行统一管理，存储在计算机内硬盘中的特定路径下。测试媒体库准备是指计算机依据测试参数配置对每项独立行为范式假设验证所需的多媒体资源进行检查，确认多媒体资源是否存在，并根据资源文件的MD5值判断资源文件是否损坏。
S202：依据每项认知能力的假设行为范式进行人机交互测试；
需要说明是，虽然每项独立认知能力的测试方法体现了不同的关注目标和研究点，但总体而言，行为范式假设验证的具体执行流程如下：
S2021：依据专家假设模型，在可视化编辑界面上搭建交互测试；
S2022：测试执行者向被测试者讲解测试流程，尤其是对测试者参与的环节进行说明，使得被测试者能够在后续的测试中提供符合测试需求的反应；
S2023：系统启动每项认知能力对应的交互测试程序，每项测试由若干组试验组成，每组试验间的间隔由交互测试参数配置决定，每组试验包含：A、系统将相关测试媒体通过第一触摸屏显示作为行为范式假设验证的刺激；B、等待确定时间间隔，该间隔由测试参数配置决定，使被测试者对测试刺激有充足的响应时间；C、系统记录被测试者的反应，被测试者的反应分为两类，一类为直接反应，系统继续通过第一触摸屏显示与步骤A出现的刺激相关内容，包括重现、解释、变换或局部，同时系统在第一触摸屏上显示操作提示，被测试者通过触摸屏进行操作，系统记录被测试者的操作；另一类是间接反应，系统通过测试仪器，包括脑电采集模块、眼动跟踪模块和心电监测模块，记录被测试者对步骤A所出现的刺激的生理反应，包括脑电信号变化、眼动轨迹和瞳孔变化以及心率、呼吸等基础生理指标；
S203：系统依据采集到的生理指标数据以及采集交互指标数据进行测试结果分析，对假设行为范式进行优化得到理想行为范式；
需要说明的是，测试结果分析包括：
系统对每项独立行为范式的假设验证结果进行分析，数据分析基础是被测试者交互过程中的反应数据，对所有数据进行统计分析，从而对于每项独立认知能力，系统给出基于认知能力的分析结果，依据分析结果评估假设行为范式的正确性和可靠性。
对本发明的实施例还提供了一种认知能力评价方法，该方法应用于根据上述实施例中所述任一种多模态行为范式评估优化系统，包括：
S101、获取用户信息和待评价认知能力；
S102、根据所述的多模态行为范式评估优化系统获得所述待评价认知能力分别对应的理想行为范式；
S103、根据所述理想行为范式采集生理指标数据和交互指标数据；
S104、根据所述采集的生理指标数据和交互指标数据计算所述每种理想行为范式对应认知能力的概率分布和条件概率，将所述待评价认知能力作为节点构建贝叶斯信念网络，所述贝叶斯信念网络用于输出用户的认知能力。
根据认知能力评估的理论框架，基于上述传感器和组件，系统可实现包括注意力测试、记忆测试、认知控制测试、决策判断测试等多项认知能力评估测试，涵盖所有认知能力。
本发明实施例的认知能力评价方法，能够给出测试者认知能力总体分值，同时给出不同认知指标下的能力体现。基于机器学习理论，构建多个认知指标的贝叶斯信念网络模型，为诊断和评价提供依据。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多模态行为范式评估优化系统，其特征在于，包括：
操作平台，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互指标数据；
行为范式计算平台，用于构建认知能力的假设行为范式并根据所述操作平台实时监测到的生理指标数据和所述采集的交互指标数据对假设行为范式进行评估，输出所述认知能力的理想行为范式；
数据库，用于存储所述行为范式计算平台得到的所述认知能力的假设行为范式、所述假设行为范式的交互测试和用户信息，其中，所述认知能力的假设行为范式通过理想行为范式更新；
所述行为范式计算平台包括行为范式构建模块、行为范式评估优化模块和行为范式输出模块；
所述行为范式构建模块用于获取认知能力和用户信息并根据所述认知能力和用户信息构建假设行为范式，所述假设行为范式包括多个假设指标，所述假设指标包括生理指标和交互指标；
所述行为范式评估优化模块用于根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标；
若存在假设指标不具有信度及效度，则重新构建假设行为范式并根据所述重新构建的假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据进行评估，直至所述重新构建的假设行为范式所有假设指标均具有信度及效度；
所述行为范式输出模块用于根据所述行为范式评估优化模块的假设指标的评估结果输出理想行为范式，所述理想行为范式包括多个具有信度及效度的假设指标。
2.根据权利要求1所述的多模态行为范式评估优化系统，其特征在于，所述操作平台包括传感器模块、交互模块和管理控制模块；
所述传感器模块用于实时监测生理指标数据，所述交互模块用于提供交互测试的操作环境并采集交互指标数据，所述管理控制模块用于控制所述传感器模块和交互模块的启停以及操作平台、行为范式计算平台和数据库之间的信息交互。
3.根据权利要求2所述的多模态行为范式评估优化系统，其特征在于，所述传感器模块包括脑电模块、眼动模块、心电模块和肢体运动跟踪模块。
4.根据权利要求3所述的多模态行为范式评估优化系统，其特征在于，所述脑电模块用于采集脑电和脑血氧；
所述眼动模块用于采集眼球运动数据；
所述心电模块包括用于采集心电波形、呼吸和心率；
所述肢体运动跟踪模块用于采集空间动作和应激性反应时间。
5.根据权利要求2所述的多模态行为范式评估优化系统，其特征在于，所述交互模块包括嗅觉呈现模块、立体视觉呈现模块、听觉分析模块、语音交互模块和用户接口模块。
6.根据权利要求5所述的多模态行为范式评估优化系统，其特征在于，所述嗅觉呈现模块用于释放各种常见医学测试气味；
所述立体视觉呈现模块用于提供视觉测试场景；
所述听觉分析模块用于提供听觉测试场景；
所述语音交互模块用于进行语音交互测试；
所述用户接口模块用于给用户提供交互操作环境。
7.根据权利要求1所述的多模态行为范式评估优化系统，其特征在于，所述行为范式输出模块还用于根据所述重新构建的假设行为范式对交互测试进行优化，并根据优化后的交互测试对数据库中存储的所述认知能力对应的交互测试中的交互测试参数以及交互测试类型进行更新。
8.根据权利要求1所述的多模态行为范式评估优化系统，其特征在于，所述根据所述假设行为范式对应的交互测试采集到的生理指标数据和交互指标数据评估假设指标，包括：
根据所述假设行为范式对应的交互测试采集到的生理指标数据对假设指标中的假设生理指标的信度和效度进行评估；
根据所述假设行为范式对应的交互测试采集到的交互指标数据和正常健康人的对应交互指标数据进行相似度分析，根据相似度分析结果对所述假设指标中的假设生理指标的信度和效度进行评估。
9.根据权利要求1所述的多模态行为范式评估优化系统，其特征在于，所述系统还用于根据所述认知能力的理想行为范式采集生理指标数据和交互指标数据，根据采集到的生理指标数据和交互指标数据分析评价所述认知能力。
10.一种认知能力评价方法，其特征在于，该方法应用于根据权利要求1～9中所述任一种多模态行为范式评估优化系统，包括：
获取用户信息和待评价认知能力；
根据所述的多模态行为范式评估优化系统获得所述待评价认知能力分别对应的理想行为范式；
根据所述理想行为范式采集生理指标数据和交互指标数据；
根据所述采集的生理指标数据和交互指标数据计算所述每种理想行为范式对应认知能力的概率分布和条件概率，将所述待评价认知能力作为节点构建贝叶斯信念网络，所述贝叶斯信念网络用于输出用户的认知能力评价。
CN202111341636.9A 2021-11-12 2021-11-12 多模态行为范式评估优化系统及认知能力评价方法 Active CN113974589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111341636.9A CN113974589B (zh) 2021-11-12 2021-11-12 多模态行为范式评估优化系统及认知能力评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111341636.9A CN113974589B (zh) 2021-11-12 2021-11-12 多模态行为范式评估优化系统及认知能力评价方法

Publications (2)

Publication Number Publication Date
CN113974589A true CN113974589A (zh) 2022-01-28
CN113974589B CN113974589B (zh) 2022-09-06

Family

ID=79748296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111341636.9A Active CN113974589B (zh) 2021-11-12 2021-11-12 多模态行为范式评估优化系统及认知能力评价方法

Country Status (1)

Country Link
CN (1) CN113974589B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407750A (zh) * 2022-08-12 2022-11-29 北京津发科技股份有限公司 人机协同智能系统决策能力的测评方法及系统
CN117829381A (zh) * 2024-03-05 2024-04-05 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN103258450A (zh) * 2013-03-22 2013-08-21 华中师范大学 面向孤独症儿童的智能学习平台
US20150099946A1 (en) * 2013-10-09 2015-04-09 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US10635971B1 (en) * 2014-12-03 2020-04-28 Hrl Laboratories, Llc Method and apparatus for proactive and reactive cognitive control using models of the anterior cingulate cortex and the neuromodulatory system
US11010284B1 (en) * 2018-05-31 2021-05-18 The Ultimate Software Group, Inc. System for understanding navigational semantics via hypothesis generation and contextual analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN103258450A (zh) * 2013-03-22 2013-08-21 华中师范大学 面向孤独症儿童的智能学习平台
US20150099946A1 (en) * 2013-10-09 2015-04-09 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US10635971B1 (en) * 2014-12-03 2020-04-28 Hrl Laboratories, Llc Method and apparatus for proactive and reactive cognitive control using models of the anterior cingulate cortex and the neuromodulatory system
US11010284B1 (en) * 2018-05-31 2021-05-18 The Ultimate Software Group, Inc. System for understanding navigational semantics via hypothesis generation and contextual analysis

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407750A (zh) * 2022-08-12 2022-11-29 北京津发科技股份有限公司 人机协同智能系统决策能力的测评方法及系统
CN115407750B (zh) * 2022-08-12 2023-11-21 北京津发科技股份有限公司 人机协同智能系统决策能力的测评方法及系统
CN117829381A (zh) * 2024-03-05 2024-04-05 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统
CN117829381B (zh) * 2024-03-05 2024-05-14 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统

Also Published As

Publication number Publication date
CN113974589B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN107224291B (zh) 调度员能力测试系统
Gravina et al. Automatic methods for the detection of accelerative cardiac defense response
Chaouachi et al. Affect and mental engagement: Towards adaptability for intelligent
CN109620185A (zh) 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN113974589B (zh) 多模态行为范式评估优化系统及认知能力评价方法
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
CN111553617B (zh) 基于虚拟场景中认知力的操控工效分析方法、设备及系统
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
CN109715049A (zh) 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名
WO2023216680A9 (zh) 一种数字生物标志物的形成系统、形成方法及基于数字生物标志物的脑健康评判系统
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、系统和装置
JP2023513213A (ja) 生理学的データの測定による人又はシステムの評価
Zhao et al. Data-driven learning fatigue detection system: A multimodal fusion approach of ECG (electrocardiogram) and video signals
Wang et al. Decoding pilot behavior consciousness of EEG, ECG, eye movements via an SVM machine learning model
Li et al. Artificial intelligence-enabled non-intrusive vigilance assessment approach to reducing traffic controller’s human errors
WO2022057840A1 (zh) 脑认知功能检测系统
CN115299947A (zh) 基于多模态生理数据的心理量表置信度评估方法及系统
Zhao et al. Human-computer interaction for augmentative communication using a visual feedback system
WO2024032728A1 (zh) 一种智能人机协同系统测评方法、装置及存储介质
Ozkan et al. Classification of BCI users based on cognition
CN115462755A (zh) 飞行员认知能力评估方法、系统和存储介质
Sharifara et al. A robot-based cognitive assessment model based on visual working memory and attention level
WO2024108669A1 (zh) 觉醒状态检测系统及方法
Samal et al. Role of machine learning and deep learning techniques in EEG-based BCI emotion recognition system: a review
Varinlioglu et al. » Affective Computing for Game User Research «

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant