CN114664442A - 基于虚拟现实的空间认知能力智能评估系统和方法 - Google Patents
基于虚拟现实的空间认知能力智能评估系统和方法 Download PDFInfo
- Publication number
- CN114664442A CN114664442A CN202210186467.4A CN202210186467A CN114664442A CN 114664442 A CN114664442 A CN 114664442A CN 202210186467 A CN202210186467 A CN 202210186467A CN 114664442 A CN114664442 A CN 114664442A
- Authority
- CN
- China
- Prior art keywords
- task
- platform
- user
- data
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 40
- 230000003930 cognitive ability Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 52
- 230000006399 behavior Effects 0.000 claims abstract description 36
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 22
- 230000019771 cognition Effects 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 230000001149 cognitive effect Effects 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000036992 cognitive tasks Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 8
- 206010044565 Tremor Diseases 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000009182 swimming Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000003920 cognitive function Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007087 memory ability Effects 0.000 description 2
- 208000012239 Developmental disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003935 attention Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Physiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及虚拟现实技术领域，具体是基于虚拟现实的空间认知能力智能评估系统和方法，包括虚拟现实模块、数据记录模块、数据处理模块、智能评估模块和数据库；虚拟现实模块包含认知任务单元和主控交互单元，提供任务登录界面、沉浸式虚拟现实场景和水迷宫认知测验任务，实现用户与虚拟现实场景的交互；数据记录模块用于采集存储用户的任务表现数据和行为数据；数据处理模块包括数据预处理和特征提取；智能评估模块利用机器学习回归模型自动预测空间认知能力评分。本发明将虚拟现实技术应用于空间认知能力研究，利用机器学习算法实现自动评估，提高评估的生态有效性和便利性，为空间认知能力评估在多场景下的应用提供新手段。
Description
技术领域
本发明涉及虚拟现实技术领域，具体是基于虚拟现实的空间认知能力智能评估系统和方法。
背景技术
认知功能是指人脑加工、储存和提取信息的能力，即人们对客观事物的构成、性能、与他物的关系、发展的动力、发展方向以及基本规律的把握能力，包括记忆、注意、语言、视空间、加工速度等。空间认知能力是一种高级认知功能，负责记录有关环境和空间方向的信息，与基本认知功能中的视空间能力和记忆能力密切相关。空间认知能力在人类日常生活中发挥着重要作用，如寻找路线、定位地点及目标、使用地图导航等，是人在环境中独立活动的必要条件。同时多种发育障碍性疾病、神经系统疾病及脑血管疾病等，都会造成空间认知功能障碍。因此，对空间认知能力进行准确有效的评估，对于研究人脑发育、认知老化及疾病的辅助诊疗具有重要意义。
传统方法常用量表检查评估空间认知能力，量表检查一般需要在有专业背景的人员指导下进行，且受测试环境影响大，评估时间较长。除了人员和环境因素的不便，量表检查所提供的结果通常较为有限，一些客观精确的信息难以获取。近年来，计算机化的认知测试也被广泛使用，虽然可以实现一定程度上的自动评估，但测试任务受到呈现形式所限，依然与现实场景缺乏相关性，难以提供良好的环境沉浸感，且很少考虑到受试者的行为数据。
虚拟现实技术近年来快速发展，其本身具有的高沉浸感、多感知性、强交互性特点，为认知功能评估方法提供了再现与扩展。基于虚拟现实的系统能对刺激的表象与内容、任务的复杂程度以及被试者的响应状态进行灵活控制，同时可以直接记录受试者在任务中丰富、准确的数据信息，为进一步利用人工智能算法进行处理提供了基础，从而为提高空间认知能力评估的可靠和生态有效性提供了可行的新手段。
发明内容
为解决现有空间认知评估中存在的问题，本发明提供基于虚拟现实的空间认知能力智能评估系统和方法，开发了一组虚拟水迷宫测试任务，通过用户在不同难度、不同模式任务态下的任务表现数据和行为数据，利用机器学习算法训练回归模型，实现对于空间认知能力的智能评估。
为了实现上述目的，本发明系统采用如下技术方案：基于虚拟现实的空间认知能力智能评估系统，包括虚拟现实模块、数据记录模块、数据处理模块、智能评估模块和数据库；
所述虚拟现实模块包括任务软件单元和主控交互单元，其中：
任务软件单元用于提供任务登录界面、沉浸式虚拟现实场景和水迷宫认知测试任务，所述水迷宫认知测试任务包括可供选择的三种难度、三种模式的测试任务，任务中根据主控交互单元的操作输入生成包括第一人称下的视角转换、位置移动及场景中平台升降的结果反馈；
主控交互单元包括情境显示组件和交互输入组件，通过硬件外设向用户呈现沉浸式环境场景和认知任务内容，将用户通过硬件外设进行的操作输入传输至任务软件单元，触发相应的反馈再次呈现，实现用户与虚拟现实场景的交互；
所述数据记录模块，与虚拟现实模块相连，用于采集用户在任务中的操作输入和任务反馈信息作为任务态下的同步任务表现数据和行为数据，将相应数据和登录界面录入的用户个人信息以文件形式存储至数据库并传输至数据处理模块；
所述数据处理模块，包括数据预处理和特征提取，利用数据记录模块获得的原始行为数据进行行为分析，提取有效的任务表现特征和行为数据特征；
所述智能评估模块，以数据处理模块获得的任务表现特征和行为数据特征作为输入，利用训练好的机器学习回归模型自动预测空间认知能力评分；
所述数据库，用于存储用户信息、原始任务表现数据和行为数据、所提取的任务表现特征和行为数据特征、智能评估结果。
本发明的评估方法基于上述评估系统，其包括以下步骤：
步骤1、进入系统登录界面，录入用户个人信息，包括编号、年龄、性别和既往病史，介绍测试流程、操作指南及注意事项；
步骤2、选择练习模式，进入虚拟水迷宫任务场景，场景环境及交互方式与测试模式下类似，但无具体任务目的要求，用户在其中进行练习以熟悉操作方法；
步骤3、依次选择不同难度和模式的水迷宫认知测试任务，用户进入场景根据当前测试任务要求完成相应任务，采集任务过程中用户的任务表现数据和行为数据并存储至数据库；
步骤4、对存储的原始任务表现数据和行为数据进行数据预处理，并提取相应的任务表现特征和行为数据特征；
步骤5、以所提取的任务表现特征和行为数据特征作为输入，利用机器学习回归模型预测空间认知能力评分并存储至数据库，实现对于空间认知能力的智能评估。
与现有技术相比，本发明的技术方案所带来的有益效果包括：
1、本发明通过虚拟现实模块和数据记录模块，提供了一组包括设置、记录功能的空间认知能力测试任务。本发明将根据传统水迷宫任务思路和原理将其虚拟化，一方面极大地减少了开展测试评估所需要的场地、设备和环境布置要求，增强评估的可实施性和便利性；一方面相较于传统二维测试形式，虚拟现实三维环境更接近现实生活中的场景，有助于提高沉浸感和评估的生态有效性。同时认知任务模块、交互控制模块和数据采集模块的有效连接，为进一步分析提供了更加全面、精确的数据。
2、本发明借助人工智能手段，利用机器学习算法进行空间认知能力评估。现有评估一般采用传统统计分析方法，所利用特征信息受限，特别是对于行为数据无法实现充分的利用。本发明通过采集大量人群的任务表现数据和行为数据，提取多个特征，对机器学习回归模型进行训练，采用遗传算法进行特征选择，采用留一交叉验证法以提高模型的泛化能力，实现了自动获得准确的评估结果。
3、本发明评估系统操作简单，测试流程、操作引导等均在虚拟现实场景下呈现，评估结果由机器学习回归模型自动给出，用户可实现自主操作，减少了对于专业人员的依赖程度。系统使用的硬件设备佩戴方便，对环境要求较低，在家庭、社区、学校、医院等场所均可开展评估，既可应用于个人认知功能和健康状况的筛查或长期监测，也可为特定行业、单位提供选拔人员的辅助手段。同时，由于任务测试获取详细的原始数据和评估结果均存储在数据库中，方便查询管理，专业医护人员和研究人员也可利用相关数据开展进一步分析研究。
附图说明
图1为本发明基于虚拟现实的空间认知能力智能评估系统框图；
图2为本发明的任务登录界面示意图；
图3为本发明的沉浸式虚拟现实场景示意图；
图4为本发明基于虚拟现实的空间认知能力评估方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明，本文所用的所有术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。
实施例
如图1至图3所示，本实施例基于虚拟现实的空间认知能力智能评估系统，包括虚拟现实模块、数据记录模块、数据处理模块、智能评估模块和数据库，用户通过完成任务可以获取任务表现数据、行为数据及最终空间认知功能的具体评分结果，从而实现对于空间认知能力的自动定量评估。
所述虚拟现实模块，包括任务软件单元和主控交互单元，其中：
任务软件单元用于提供任务登录界面、沉浸式虚拟现实场景和水迷宫认知测试任务。任务登录界面包括用户信息录入和任务选择功能。水迷宫任务是空间认知领域的经典实验范式，用于评估空间学习和记忆能力。本发明根据传统水迷宫任务思路和原理，构建了一组不同难度和模式的虚拟水迷宫认知任务。沉浸式虚拟现实场景为一个室内泳池场景，包括中央圆形水池(半径20m)、水面、四周墙壁、池边参照物(花瓶、树木、轮胎、立柱)和与水面等高的正方形平台(边长2m)，还包括配合场景的动画及声音效果。水迷宫认知测试任务难度按照可见的池边参照物数目设定，随参照物数目的减少任务难度升高，利用配置文件进行参数设置，本实施例中共设定三种难度等级。利用配置文件还可对用户起始位置和起始朝向、水中平台的位置和可见性、任务时长限制等任务内容进行设置。通过任务登录界面下拉列表进行任务选择，选定后进入相应任务，首先呈现任务内容及操作说明提示，阅读完成确认后将进入任务场景以第一人称视角开始测试。所述水迷宫认知测试任务每个难度均包含三种模式：
可见平台模式：用户以水池中随机位置、随机朝向进入任务场景，水池平台可见，用户需要在2分钟限时内，依据水池周围参照物记忆平台位置，并通过任务控制模块进行操作，移动至平台位置。当用户移动至平台位置或到达2分钟时限，平台被触发自动升起，任务结束返回登录界面；
隐藏平台模式：用户需连续完成5次测试，进入任务场景的初始位置分别为水池中5个到平台距离相等(20m)的位置，任务场景与可见平台模式保持一致，但平台设置为隐藏对用户不可见。用户需根据记忆，以水池周围参照物为远端线索，通过任务控制模块进行操作，在尽可能短的时间内到达平台位置。当用户移动至平台位置，平台被触发自动升起，20秒后进入下一次测试，直至5次测试全部完成，任务结束返回登录界面；
探索平台模式：在完成隐藏平台模式任务3分钟后，用户进入该模式任务，任务场景与隐藏平台模式保持一致，但平台被移除无法触发升起。用户需要根据记忆和参照物线索，在2分钟限时内，通过任务控制模块进行操作，尽可能在原平台位置活动、停留。到达2分钟时限，任务自动结束返回登录界面。
同时，本实施例中的认知任务单元会提供相应的动画和声音效果，包括水池中的水面波动、在水池中移动的水声、平台升起的机械运行声等，极大地增强了场景的真实度和任务的反馈度，使用户获得更好的沉浸感，有助于提高评估准确性。
主控交互单元包括情境显示组件和交互输入组件，用于通过硬件外设向用户呈现沉浸式环境场景和认知任务内容，将用户通过硬件外设进行的操作输入发送至任务软件单元，触发相应的反馈再次呈现，实现用户与虚拟现实场景的交互。用户通过HTCVive设备进行操作控制，通过头显(头戴式显示设备)向用户呈现虚拟现实场景，当用户按下手柄触发键，将在虚拟场景下发生位移，位移
由头显视角朝向和预设速度计算得出：
其中，xforward和zforward分别为头显视角在三维空间坐标系x轴和z轴的单位向量，v为预设速度标量。
在可视平台模式和隐藏平台模式任务下，当用户移动至平台位置，通过碰撞检测触发，用户视角随平台升起，并听到相应音效。
所述数据记录模块，与虚拟现实模块相连，用于采集用户在任务中的操作输入和任务反馈信息作为任务态下的同步任务表现数据和行为数据。本实施例中采集的数据包括隐藏平台模式中每次测试的导航时长HTime、导航路程HRoute，及探索平台模式中每次测试的导航路程PRoute、位于平台所在1/4水池范围内的路程PPlatRoute和时长PPlatTime，此外还包括用户在两种模式导航过程中每一帧的位置坐标(positionX,positionY)、方向坐标(rotationX,rotationY,rotationZ)及同步时间戳(yyyy-MM-dd_HH-mm-ss)，采样率为50Hz。数据记录模块将所采集的上述数据和登录界面录入的用户个人信息存储至数据库中的CSV(Comma-Separated Values，字符分隔值)文件，并传输至数据处理模块。
所述数据处理模块，包括数据预处理和特征提取。预处理主要包括去噪和归一化，用户在进行测试任务过程中可能产生的异常行为数据形成噪声，因此通过去噪算法识别并删除异常行为数据，再对数据进行归一化处理。预处理后，对数据进行特征提取，得到任务表现特征和行为数据特征。本实施例中，任务表现特征包括隐藏平台模式测试中导航时长的最大值HtMax、最小值HtMin、平均值HtMean，导航路程的最大值HrMax、最小值HrMin、平均值HrMean，导航时长少于2min的测试数目HNumber，及探索平台模式中的导航路程的最大值PrMax、最小值PrMin、平均值PrMean，平台区域路程比PlatRc、时长比PlatTc，距平台最小距离PrDis；行为数据特征主要从用户运动轨迹中提取，包括首向误差StartDeviation，速度的最大值VMax、最小值VMin、平均值VMean、标准差VSDV、归一化变异性NVV，速率的最大值SMax、最小值SMin、平均值SMean、标准差SSDV、归一化变异性NSV，坐标的信号熵SE、平均相对震颤MRT。上述部分特征的说明和计算公式如下：
PlatRc和PlatTc分别为探索平台模式测试中平台区域路程比和时长比，二者参照经典水迷宫任务范式提取，分别如公式(2)、(3)所示计算：
其中，PRoute为导航总路程，PPlatRoute为位于平台所在1/4水池范围内的路程，PPlatTime为位于平台所在1/4水池范围内的时长，TotalTime为每次测试总时长，在本实施例中TotalTime＝2min。
StartDeviation为首向误差，如公式(4)所示计算：
StartDeviation＝|dstart-dplat| (4)
其中，dstart为初始位移方向单位向量，dplat为初始位置到平台位置连线方向单位向量。
NVV和NSV分别为归一化速度变异性和归一化速率变异性，可以反映运动速度是否恒定平稳，如公式(5)、(6)所示计算：
其中，T为测试时间，N为记录的帧数，VMean和SMean分别为平均速度和平均速率。SE为轨迹的信息熵，是轨迹信息概率密度函数的估计，如公式(7)、(8)所示计算：
其中，xi、yi为运动轨迹点位置坐标。
MRT为平均相对震颤，通过每个点的坐标位置衡量轨迹的震颤程度，如公式(9)所示计算：
其中，xi、yi为运动轨迹点位置坐标。
所述智能评估模块，以数据处理模块提取到的任务表现特征和行为数据特征作为输入，利用机器学习回归模型对空间认知能力进行评分预测。首先进行回归模型训练，应用本发明的系统，采集大量人群的任务态数据并提取相应特征作为样本，以相同人群有效度良好的权威评估量表给出的空间认知能力评分结果作为模型训练的标签，采用LASSO算法训练回归模型，通过训练集内部的交叉验证来选择LASSO正则项系数的最优值。
使用遗传算法进行特征选择，获取最优特征子集；采用留一交叉验证法验证模型性能，提高模型的泛化能力。以选择后的最优特征子集作为输入，利用训练好的LASSO回归模型对空间认知能力评分进行预测，得到最终的智能评估结果。与原始数据类似，智能评估结果将与用户信息一起保存至数据库中。
所述数据库，用于存储用户信息、原始任务表现数据和行为数据、所提取的任务表现特征和行为数据特征、智能评估结果。数据库中数据文件长期保存，用户及相关专业人员可对数据库中存储的内容进行不同条件的查询及管理。
本实施例还提供基于虚拟现实的空间认知能力评估方法，如图4所示，该方法在本实施例中空间认知能力评估系统的基础上而实现，具体包括以下步骤：
步骤1、进入系统登录界面，录入用户个人信息，包括编号、年龄、性别和既往病史，介绍测试流程、操作指南及注意事项；
步骤2、选择练习模式，进入虚拟水迷宫任务场景，场景环境及交互方式与测试模式下类似，但无具体任务目的要求，用户在其中进行练习以熟悉操作方法；
步骤3、按照难度由低到高、每个难度“可见平台模式—隐藏平台模式—探索平台模式”的顺序依次选择测试任务，用户进入场景根据当前测试任务要求完成相应任务，采集任务过程中用户的任务表现数据和行为数据并存储至数据库；
步骤4、对存储的原始任务表现数据和行为数据进行数据预处理，并提取相应的任务表现特征和行为数据特征；
步骤5、以所提取的任务表现特征和行为数据特征作为输入，利用机器学习回归模型预测空间认知能力评分并存储至数据库，实现对于空间认知能力的智能评估。
尽管上面结合附图对本发明的实施例进行了描述，但本发明并不局限于所述具体实施例，所述实施例仅仅是示意性的，而不是限制性的。本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (9)
1.基于虚拟现实的空间认知能力智能评估系统，其特征在于，包括虚拟现实模块、数据记录模块、数据处理模块、智能评估模块和数据库；
所述虚拟现实模块包括任务软件单元和主控交互单元，其中：
任务软件单元用于提供任务登录界面、沉浸式虚拟现实场景和水迷宫认知测试任务，所述水迷宫认知测试任务包括可供选择的三种难度、三种模式的测试任务，任务中根据主控交互单元的操作输入生成包括第一人称下的视角转换、位置移动及场景中平台升降的结果反馈；
主控交互单元包括情境显示组件和交互输入组件，通过硬件外设向用户呈现沉浸式环境场景和认知任务内容，将用户通过硬件外设进行的操作输入传输至任务软件单元，触发相应的反馈再次呈现，实现用户与虚拟现实场景的交互；
所述数据记录模块，与虚拟现实模块相连，用于采集用户在任务中的操作输入和任务反馈信息作为任务态下的同步任务表现数据和行为数据，将相应数据和登录界面录入的用户个人信息以文件形式存储至数据库并传输至数据处理模块；
所述数据处理模块，包括数据预处理和特征提取，利用数据记录模块获得的原始行为数据进行行为分析，提取有效的任务表现特征和行为数据特征；
所述智能评估模块，以数据处理模块获得的任务表现特征和行为数据特征作为输入，利用训练好的机器学习回归模型自动预测空间认知能力评分；
所述数据库，用于存储用户信息、原始任务表现数据和行为数据、所提取的任务表现特征和行为数据特征、智能评估结果。
2.根据权利要求1所述的空间认知能力智能评估系统，其特征在于，所述任务软件单元的任务登录界面，包括用户信息录入和任务选择功能，用户信息包括用户名、编号、年龄、性别和既往病史，任务选择以下拉列表方式进行选定；沉浸式虚拟现实场景为一个室内泳池场景，包括中央圆形水池、水面、四周墙壁、池边参照物和与水面等高的正方形平台，还包括配合场景的动画及声音效果。
3.根据权利要求2所述的空间认知能力智能评估系统，其特征在于，所述任务软件单元的水迷宫认知测验任务中，任务难度按照可见的池边参照物数目设定，三种任务模式包括：
可见平台模式：用户以水池中随机位置、随机朝向进入任务场景，水池平台可见，用户需要在预设时间内，依据水池周围参照物记忆平台位置，并通过任务控制模块进行操作，移动至平台位置；当用户移动至平台位置或到达预设时间，平台被触发自动升起，任务结束返回登录界面；
隐藏平台模式：用户需连续完成多次测试，进入任务场景的初始位置分别为水池中多个到平台距离相等的位置，任务场景与可见平台模式保持一致，但平台设置为隐藏对用户不可见；用户需根据记忆，以水池周围参照物为远端线索，通过任务控制模块进行操作，在尽可能短的时间内到达平台位置；当用户移动至平台位置，平台被触发自动升起，然后进入下一次测试，直至多次测试全部完成，任务结束返回登录界面；
探索平台模式：在完成隐藏平台模式任务后，用户进入该模式任务，任务场景与隐藏平台模式保持一致，但平台被移除无法触发升起；用户需要根据记忆和参照物线索，在预设时间内，通过任务控制模块进行操作，尽可能在原平台位置活动、停留；到达预设时间，任务自动结束返回登录界面。
4.根据权利要求2-3中任一项所述的空间认知能力智能评估系统，其特征在于，用户使用VR外接设备进行操作控制，通过头戴显示器向用户呈现虚拟现实场景。
5.根据权利要求3所述的空间认知能力智能评估系统，其特征在于，所述数据记录模块采集的数据包括隐藏平台模式中每次测试的导航时长、导航路程，探索平台模式中每次测试的导航路程、位于平台所在1/4水池范围内的路程和时长，以及用户在两种模式导航过程中每一帧的位置坐标、方向坐标及同步时间戳。
6.根据权利要求3所述的空间认知能力智能评估系统，其特征在于，任务表现特征包括隐藏平台模式测试中导航时长的最大值、最小值、平均值，导航路程的最大值、最小值、平均值，导航时长少于2min的测试数目，及探索平台模式中的导航路程的最大值、最小值、平均值，平台区域路程比、时长比，距平台最小距离；
行为数据特征从用户运动轨迹中提取，包括首向误差，速度的最大值、最小值、平均值、标准差、归一化变异性，速率的最大值、最小值、平均值、标准差、归一化变异性，坐标的信号熵、平均相对震颤。
7.根据权利要求6所述的空间认知能力智能评估系统，其特征在于，行为数据特征中的首向误差StartDeviation计算公式为：
StartDeviation＝|dstart-dplat|
其中，dstart为初始位移方向单位向量，dplat为初始位置到平台位置连线方向单位向量；
归一化速度变异性NVV和归一化速率变异性NSV计算公式分别为：
其中，T为测试时间，N为记录的帧数，VMean和SMean分别为平均速度和平均速率；
轨迹的信息熵ETPx、ETPy计算公式为：
平均相对震颤MRT的计算公式为：
平均相对震颤通过每个点的坐标位置衡量轨迹的震颤程度，xi、yi为运动轨迹点位置坐标。
8.根据权利要求1所述的空间认知能力智能评估系统，其特征在于，所述智能评估模块采用LASSO算法训练回归模型，通过训练集内部的交叉验证来选择LASSO正则项系数的最优值，使用遗传算法进行特征选择，采用留一交叉验证法验证模型性能。
9.基于权利要求1所述空间认知能力智能评估系统的空间认知能力评估方法，其特征在于，包括以下步骤：
步骤1、进入系统登录界面，录入用户个人信息，包括编号、年龄、性别和既往病史，介绍测试流程、操作指南及注意事项；
步骤2、选择练习模式，进入虚拟水迷宫任务场景，场景环境及交互方式与测试模式下类似，但无具体任务目的要求，用户在其中进行练习以熟悉操作方法；
步骤3、依次选择不同难度和模式的水迷宫认知测试任务，用户进入场景根据当前测试任务要求完成相应任务，采集任务过程中用户的任务表现数据和行为数据并存储至数据库；
步骤4、对存储的原始任务表现数据和行为数据进行数据预处理，并提取相应的任务表现特征和行为数据特征；
步骤5、以所提取的任务表现特征和行为数据特征作为输入，利用机器学习回归模型预测空间认知能力评分并存储至数据库，实现对于空间认知能力的智能评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210186467.4A CN114664442B (zh) | 2022-02-28 | 2022-02-28 | 基于虚拟现实的空间认知能力智能评估系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210186467.4A CN114664442B (zh) | 2022-02-28 | 2022-02-28 | 基于虚拟现实的空间认知能力智能评估系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114664442A true CN114664442A (zh) | 2022-06-24 |
| CN114664442B CN114664442B (zh) | 2024-12-03 |
Family
ID=82028006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210186467.4A Active CN114664442B (zh) | 2022-02-28 | 2022-02-28 | 基于虚拟现实的空间认知能力智能评估系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114664442B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115868938A (zh) * | 2023-02-06 | 2023-03-31 | 慧创科仪(北京)科技有限公司 | 一种用于基于fNIRS的脑功能评估系统的受检者终端 |
| CN117747062A (zh) * | 2023-09-22 | 2024-03-22 | 中央美术学院 | 一种基于vr迷宫的认知训练系统 |
| CN118749921A (zh) * | 2024-09-06 | 2024-10-11 | 树兰(杭州)医院有限公司 | 一种基于WebGL技术的认知功能测试装置 |
| CN118919058A (zh) * | 2024-08-02 | 2024-11-08 | 延边大学 | 一种基于虚拟现实技术的认知衰弱诊断系统及方法 |
| CN119380921A (zh) * | 2024-10-17 | 2025-01-28 | 脑机交互与人机共融海河实验室 | 一种空间认知能力提升数字药物及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334735A (zh) * | 2017-09-18 | 2018-07-27 | 华南理工大学 | 基于迷你独立空间的智能心理评估与辅导系统及方法 |
| CN109871124A (zh) * | 2019-01-25 | 2019-06-11 | 华南理工大学 | 基于深度学习的情感虚拟现实场景评估方法 |
| CN112117002A (zh) * | 2020-09-09 | 2020-12-22 | 温州大学 | 结合虚拟现实技术的新型智能化心理评估干预系统、方法 |
| CN113521723A (zh) * | 2021-06-18 | 2021-10-22 | 华南理工大学 | 一种基于虚拟现实的认知功能评估系统及方法 |
-
2022
- 2022-02-28 CN CN202210186467.4A patent/CN114664442B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334735A (zh) * | 2017-09-18 | 2018-07-27 | 华南理工大学 | 基于迷你独立空间的智能心理评估与辅导系统及方法 |
| CN109871124A (zh) * | 2019-01-25 | 2019-06-11 | 华南理工大学 | 基于深度学习的情感虚拟现实场景评估方法 |
| CN112117002A (zh) * | 2020-09-09 | 2020-12-22 | 温州大学 | 结合虚拟现实技术的新型智能化心理评估干预系统、方法 |
| CN113521723A (zh) * | 2021-06-18 | 2021-10-22 | 华南理工大学 | 一种基于虚拟现实的认知功能评估系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 汤众;: "复杂空间认知研究中的虚拟现实技术应用", 实验室研究与探索, no. 09, 15 September 2007 (2007-09-15), pages 9 - 16 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115868938A (zh) * | 2023-02-06 | 2023-03-31 | 慧创科仪(北京)科技有限公司 | 一种用于基于fNIRS的脑功能评估系统的受检者终端 |
| CN117747062A (zh) * | 2023-09-22 | 2024-03-22 | 中央美术学院 | 一种基于vr迷宫的认知训练系统 |
| CN117747062B (zh) * | 2023-09-22 | 2024-09-20 | 中央美术学院 | 一种基于vr迷宫的认知训练系统 |
| CN118919058A (zh) * | 2024-08-02 | 2024-11-08 | 延边大学 | 一种基于虚拟现实技术的认知衰弱诊断系统及方法 |
| CN118749921A (zh) * | 2024-09-06 | 2024-10-11 | 树兰(杭州)医院有限公司 | 一种基于WebGL技术的认知功能测试装置 |
| CN118749921B (zh) * | 2024-09-06 | 2024-12-10 | 树兰(杭州)医院有限公司 | 一种基于 WebGL 技术的认知功能测试装置 |
| CN119380921A (zh) * | 2024-10-17 | 2025-01-28 | 脑机交互与人机共融海河实验室 | 一种空间认知能力提升数字药物及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114664442B (zh) | 2024-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114664442A (zh) | 基于虚拟现实的空间认知能力智能评估系统和方法 | |
| Vellela et al. | Evaluation of Tennis Teaching Effect Using Optimized DL Model with Cloud Computing System | |
| CN113521723B (zh) | 一种基于虚拟现实的认知功能评估系统及方法 | |
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| US6503085B1 (en) | Use of virtual reality and desk top computer formats to diagnose executive dysfunctions | |
| Allen | Principles and practices for communicating route knowledge | |
| US6149586A (en) | System and method for diagnosing executive dysfunctions using virtual reality and computer simulation | |
| Riehle et al. | Indoor magnetic navigation for the blind | |
| CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
| CN115586834B (zh) | 一种智能心肺复苏培训系统 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、系统及计算机设备 | |
| CN109063643A (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| CN117530690A (zh) | 一种眼动数据分析系统及方法 | |
| CN116542409A (zh) | 面向用户满意度的虚拟村寨游览路径规划方法 | |
| CN117252853A (zh) | 基于动作捕捉的心脏超声标准切面自动指引方法及系统 | |
| Ghali et al. | Towards Real Time Detection of Learners' Need of Help in Serious Games. | |
| Lahav et al. | Virtual environment system in support of a traditional orientation and mobility rehabilitation program for people who are blind | |
| CN113269160B (zh) | 一种基于眼动特征的结肠镜操作困境智能鉴别系统 | |
| Todd et al. | A haptic-audio simulator indoor navigation: To assist visually impaired environment exploration | |
| Gokl et al. | Towards urban environment familiarity prediction | |
| Cheng et al. | Mining discriminative patterns to predict health status for cardiopulmonary patients | |
| CN112138396B (zh) | 一种面向无人系统模拟对抗的智能体训练方法及系统 | |
| Pang et al. | Applications of AI in martial arts: A survey | |
| CN114022956A (zh) | 一种多维度智能研判健身动作运动效果的方法 | |
| Ji et al. | [Retracted] Remote Evaluation System of Tennis Batting Action Standard Based on Acceleration Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |