CN113521723B - 一种基于虚拟现实的认知功能评估系统及方法 - Google Patents
一种基于虚拟现实的认知功能评估系统及方法 Download PDFInfo
- Publication number
- CN113521723B CN113521723B CN202110679504.0A CN202110679504A CN113521723B CN 113521723 B CN113521723 B CN 113521723B CN 202110679504 A CN202110679504 A CN 202110679504A CN 113521723 B CN113521723 B CN 113521723B
- Authority
- CN
- China
- Prior art keywords
- user
- task
- game
- behavior data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003920 cognitive function Effects 0.000 title claims abstract description 71
- 238000011156 evaluation Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006399 behavior Effects 0.000 claims abstract description 83
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012030 stroop test Methods 0.000 claims description 26
- 239000003086 colorant Substances 0.000 claims description 22
- 230000001149 cognitive effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000006698 induction Effects 0.000 claims description 6
- 230000035484 reaction time Effects 0.000 claims description 6
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 4
- 241000283070 Equus zebra Species 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 229920000139 polyethylene terephthalate Polymers 0.000 description 5
- 239000005020 polyethylene terephthalate Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000003935 attention Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- -1 polyethylene terephthalate Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
- A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
Abstract
本发明涉及VR测评技术领域，为基于虚拟现实的认知功能评估系统及方法，包括：VR任务模块，用于提供沉浸式的虚拟现实游戏和虚拟现实游戏的虚拟场景；人机交互模块，用于实现用户与虚拟场景交互；游戏数据采集模块，采集用户在虚拟现实任务诱发态下的行为数据；游戏数据采集模块对行为数据同步处理后进行存储并发送至数据处理模块；数据处理模块，对行为数据进行预处理和特征参数提取得到行为数据特征参数；智能评估模块，对机器学习回归模型进行训练并对用户的行为数据进行认知功能的评分预测，得到认知功能评估结果。本发明通过虚拟现实任务诱发态下的行为数据准确评价用户的认知功能能力，评估方式方便易用，评估结果准确。
Description
技术领域
本发明涉及VR测评技术领域，具体是一种基于虚拟现实的认知功能评估系统及方法。
背景技术
认知功能是人脑认识和反映客观事物的心理机能，包括加工速度、视空间、执行功能等各种能力。认知加工速度体现了大脑神经网络的传导速度和运行效能，是反应智力的一般性因素。同时，认知加工速度是年龄与认知能力之间的一个中介因子，是认知老年化的一个重要影响因素。视空间能力是指运用视觉认知对空间信息进行感知、表征、推理和操作的能力，是日常生活中最重要的认知功能之一。大量研究表明，阿尔兹海默症、脑卒中等疾病均可表现出认知功能下降的现象，主要表现为反应迟钝、视空间受损等。因此，评估测量认知功能可以用于反应认知老年化、诊断相关疾病等方面，具有十分重要的价值。
认知加工速度可以用完成简单认知任务的速度、准确率等作为具体的测量指标。视空间能力可以通过对三维空间中运动物体的表象能力来评估。传统的用于度量认知功能的认知量表或任务包括数字符号替换、数字比较、绘图任务等，这些量表任务一般都需要在相对安静的环境中，在专业医生的指导陪护下进行，耗费时间较多，而且任务的反馈结果往往有限，不够精确具体。除此之外，大多数量表任务的评估过程一般比较枯燥。因此，针对这些不足，评估的方法需要不断改进。
虚拟现实技术是一种新兴的实用技术，它利用计算机系统模拟一个三维的虚拟世界，使用户沉浸在该世界中。虚拟现实技术拥有沉浸感、交互性和想象性的特点，它能进行视觉、听觉、触觉等多个维度的感官模拟，允许用户与虚拟世界交互，带给用户身临其境的体验。随着科技的发展，使用虚拟现实技术将成为认知功能评估的一种新思路。
发明内容
为解决现有技术所存在的技术问题，本发明提供一种基于虚拟现实的认知功能评估系统及方法，通过虚拟现实任务诱发态下的行为数据准确评价用户的认知功能能力，用户可以通过虚拟现实游戏的方式自主评估其认知功能，评估方式方便易用，评估结果准确。
本发明评估系统采用以下技术方案来实现：基于虚拟现实的认知功能评估系统，包括：
VR任务模块，用于提供沉浸式的虚拟现实游戏和虚拟现实游戏的虚拟场景，虚拟现实游戏为需要同步完成的双任务游戏；
人机交互模块，用于接收用户的游戏操作指令并发送给VR任务模块生成游戏反馈，实现用户与虚拟场景交互；还将交互过程中用户的操作数据记录为人机交互数据，将人机交互数据作为用户在虚拟现实任务诱发态下的一种行为数据反馈到VR任务模块并被游戏数据采集模块所采集；
游戏数据采集模块，与VR任务模块相连，采集用户在虚拟现实任务诱发态下的行为数据，行为数据包括用户的游戏表现和人机交互数据，其中用户的游戏表现直接在VR任务模块中产生；游戏数据采集模块对行为数据同步处理后进行存储并发送至数据处理模块；
数据处理模块，对行为数据进行预处理和特征参数提取，最终得到行为数据特征参数；
智能评估模块，对机器学习回归模型进行训练，并使用训练后的机器学习回归模型对用户的行为数据进行认知功能的评分预测；模型训练中使用遗传算法对行为数据特征参数进行特征选择，选择出与认知功能更具相关性的行为数据特征参数，通过选择、交叉、变异不断更新种群，最终得出包含若干个行为特征参数的最优特征子集；训练好的机器学习回归模型根据选择后的行为数据特征参数计算得到最终的认知功能评估结果。
本发明评估方法在本发明的认知功能评估系统的基础上实现，包括以下步骤：
步骤1、获取用户的信息，包括用户的年龄、性别、教育程度、既往病史及用户主诉；
步骤2、进入游戏教程场景，让用户熟悉游戏规则和交互方法；游戏教程场景的设置和规则与虚拟现实游戏的虚拟场景保持一致，但任务相对简单；
步骤3、用户进入虚拟场景中进行双任务游戏，采集用户在虚拟现实任务诱发态下的行为数据；
步骤4、对行为数据进行预处理，对预处理后的数据提取相应的行为数据特征参数；
步骤5、针对行为数据特征参数使用机器学习回归模型预测用户的认知功能评估得分，得到用户的认知功能评估结果；
步骤6、将认知功能评估结果存储至大数据云平台。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明集成了VR任务模块、人机交互模块、游戏数据采集模块、数据处理模块、智能评估模块和大数据云平台，通过虚拟现实任务诱发态下的行为数据准确评价用户的认知功能能力，且用户可以通过系统自主进行评估，还能给出具体的分数结果和相应的认知训练建议，方便易用。
2、本发明的虚拟现实游戏是需要同步完成的双任务游戏，包括Stroop范式任务和过马路任务，用户以第一人称沉浸式地进行游戏。Stroop范式是评估抑制能力、注意力、认知功能等认知功能的常用实验范式。过马路是日常生活中经常需要进行的一项活动，安全地通过马路需要充分调用执行功能、注意力、视空间能力等认知功能，这些认知功能之间存在一定的相关性。本发明将Stroop范式虚拟化，融入到过马路游戏的虚拟场景中，构建虚拟现实双任务游戏，使用户同时完成过马路游戏和Stroop任务。双任务不仅可以根据用户同时处理两个任务时的表现更好地衡量用户的认知功能水平，还可以保证游戏的整体难度，使本发明可以更广泛的应用于各个年龄段的人群。同时，融入常用实验范式的游戏更具合理性和规范性。本发明不仅可以用于评估认知功能水平，还可用于老年人或者认知障碍患者等人群进行认知训练和日常的过马路练习。
3、本发明的机器学习模型经过大量的数据训练，使用遗传算法进行特征选择，选择出与认知功能更具相关性的特征参数，在模型的验证方法上，使用留一交叉验证法，能够消除个体差异，增强模型的泛化性，使评估结果更加准确。同时，最终的评分是根据权威认知功能评估量表和医生的建议制定的，相比传统量表的结果更为准确和具体。
4、本发明操作简便，系统设备易于佩戴，操作方法和游戏规则在虚拟场景中为用户显示，最终评估结果会上传至大数据云平台进行管理和存储，方便用户查询。因此，本发明具有方便性的特点，可由用户自主操作，降低用户的心理防备，解决专业心理认知评估人员资源不足的问题，有助于高校、社区等机构对学生和老年人进行认知功能的实时监测、全面普查和相关疾病的提前预防，有助于企业、事业单位等对员工的选拔和筛查工作。
附图说明
图1为本发明实施例中基于虚拟现实的认知功能评估系统的结构框图；
图2为本发明实施例中虚拟场景的公路示意图；
图3为本发明实施例中基于虚拟现实的认知功能评估方法的流程示意图。
具体实施方式
下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例为基于虚拟现实的认知功能评估系统，包括VR任务模块、人机交互模块、游戏数据采集模块、数据处理模块、智能评估模块和大数据云平台，旨在使用户可以通过虚拟现实游戏的方式自主评估其认知功能，并给出具体的分数结果和相应的认知训练建议。
其中，VR任务模块用来提供沉浸式的双任务虚拟现实游戏及其虚拟场景。本实施例中，虚拟现实游戏是需要同步完成的双任务游戏，包括Stroop范式(斯特鲁普实验范式)任务和过马路任务，用户以第一人称沉浸式地进行游戏，两个任务同时进行。Stroop范式任务是评估抑制能力、注意力、认知功能(如执行功能、加工速度)等常用实验范式、认知测试。过马路任务是日常生活中经常需要进行的一项活动，涉及注意力、加工速度、视觉空间能力等多项认知功能，安全地通过马路需要充分调用执行功能、注意力、视空间能力等认知功能，这些认知功能之间存在一定的相关性。本发明将Stroop范式任务虚拟化，融入到过马路任务的虚拟场景中，构建虚拟现实双任务游戏，使用户同时完成过马路任务和Stroop范式任务。虚拟现实游戏的虚拟场景为城镇场景，包括马路、各种车辆、房屋、树木、斑马线等，还包括车辆的鸣笛声，虫鸣鸟叫声等音频。用户在进行过马路任务的同时，用户的视野中央还会出现Stroop范式任务的内容。所述虚拟现实游戏主要包括三部分：
第一部分，颜色游戏：在VR任务模块的屏幕中央出现具有不同颜色的小方块，VR任务模块的音频输出为方块颜色的读音，将每个方块的显示时间设定为2秒钟，不同颜色的方块共显示若干次(如72次)，每一次用户需要在方块的显示时间内(例如2秒内)判断方块的颜色和音频输出读音中的颜色是否一致，并通过人机交互模块进行相应操作；用户做出判断后或超时没有做出判断，系统会自动更换显示下一个方块；与此同时，用户需要多次往返穿过马路并注意躲避车辆；
第二部分，字义游戏：在VR任务模块的屏幕中央出现字体颜色统一且固定(例如均为白色)的汉字，这些汉字为表示不同颜色的汉字，例如“红”、“黄”、“蓝”，音频输出为相应汉字的读音，将每个汉字的显示时间设定为2秒钟，汉字共显示若干次(例如72次)，每一次用户需要在相应汉字的显示时间内(例如2秒内)判断汉字所表示的颜色与音频输出读音是否一致，并通过人机交互模块进行相应操作；用户做出判断后或超时没有做出判断，系统会自动更换显示下一个汉字；与此同时，用户需要多次往返穿过马路并注意躲避车辆；
第三部分，干扰游戏：在VR任务模块的屏幕中央出现字体颜色不同的汉字，这些汉字也为表示不同颜色的汉字，例如红色的“红”字，蓝色的“黄”字，绿色的“蓝”字，音频输出为相应汉字的读音，设定每个汉字的显示时间为2秒钟，汉字共显示72次，每一次用户需要在相应汉字的显示时间内(例如2秒内)判断汉字的字体颜色和音频输出读音是否一致，并通过人机交互模块进行相应操作，用户做出判断后或超时没有做出判断，系统会自动更换显示下一个字；与此同时，用户需要多次往返穿过马路并注意躲避车辆。
同时，本实施例中的VR任务模块会根据用户游戏过程中的表现给予相应的成功、失败和鼓励的提示音，极大地提升用户的参与感和专注度，从而减少评估过程中的枯燥感，提高评估过程的趣味性和评估结果的准确性。
而人机交互模块用于接收用户的游戏操作指令并发送给VR任务模块生成游戏反馈，实现用户与虚拟场景交互。人机交互模块包括惯性传感器、加速度传感器、触发器和触摸板，用于记录交互过程中用户的按压、触摸等操作数据作为人机交互数据，将这些人机交互数据作为用户在虚拟现实任务诱发态下的一种行为数据反馈到VR任务模块并被游戏数据采集模块所采集，提高了用户的参与感。
本实施例中游戏数据采集模块与VR任务模块相连，采集用户在虚拟现实任务诱发态下的两种行为数据，包括用户的游戏表现和人机交互数据，两种行为数据均带有时间戳，通过时间戳来实现两种行为数据的同步；其中用户的游戏表现可以是用户在虚拟场景中触发的事件，将直接在VR任务模块中产生，由游戏数据采集模块所采集。游戏数据采集模块对两种行为数据同步处理后进行存储并发送至数据处理模块。根据不同的任务，用户的行为数据分为Stroop范式任务和过马路任务的行为数据，其中Stroop范式任务的行为数据包括：回答正确的数量STCorrNum、回答错误的数量STWrongNum、反应时间Rt；过马路任务的行为数据包括：过马路用时TTC、过马路安全时间差PET、注意力矩阵AttMat、过马路前转头次数HT、行走路线图RouteMap、是否安全通过SafePass。
游戏数据采集模块在游戏的每一帧采集一次用户的行为数据，采样频率为50Hz，在游戏结束后，将用户的行为数据存储到CSV(Comma-Separated Values，字符分隔值)文件中并发送给数据处理模块。
数据处理模块主要通过信号预处理算法和特征提取算法对行为数据进行预处理和特征参数提取。行为数据的预处理主要包括去噪和归一化，行为数据中噪声的来源主要是用户游戏过程产生的异常行为数据，通过去噪算法识别并删除异常行为数据，再对数据进行归一化处理，对预处理后的数据进行特征参数提取，最终得到的行为数据特征参数主要是统计特征，包括数据的最大值、最小值、平均值、标准差、范数等。
在本实施例中，行为数据特征参数包括Stroop范式任务的回答正确率Rc、平均反应时间RtMean，过马路用时的最大值TTCMax、最小值TTCMin、平均值TTCMean，过马路安全时间差的最大值PETMax、最小值PETMin、平均值PETMean，注意力矩阵的F范数FNorm，注意力矩阵的最大值LTGaze，过马路前转头次数的平均值HTMean，碰撞次数CollNum，安全通过次数ArrNum，总尝试次数AttNum，行走路线的标准差RouteSTD、路线效率RouteEFF、双任务完成度PerfDT。具体来说，各个行为数据特征参数的指标和计算公式分别如下：
Rc：Stroop范式任务的回答正确率，如公式(1)所示：
其中，STCorrNum是回答正确的数量，STWrongNum是回答错误的数量。
RtMean：Stroop范式任务的平均反应时间，如公式(2)所示：
其中，n是Stroop范式任务中刺激物的数量，Rt是反应时间。
TTC:过马路用时，分析过马路用时TTC的最大值TTCMax、最小值TTCMin、平均值TTCMean。
PET:过马路安全时间差，解释为行人通过马路上的某一点(例如A点)时记录时间为T1，行人通过后，车辆到达该某一点(即A点)时记录时间为T2，示意图如图2所示，计算公式如公式(3)所示：
PET＝T2-T1 (3)
分析PET的最大值PETMax、最小值PETMin、平均值PETMean。
注意力矩阵AttMat记录了用户注意力分散情况，矩阵大小为180×360，分辨率为1度，游戏的每一帧记录一次，注意力矩阵的F范数用于衡量用户注意力的分散程度，计算公式如下：
其中，xij为注意力矩阵中的元素，FNorm为注意力矩阵的F范数。
注意力矩阵的最大值LTGaze解释为用户注视某一点的最长时间，即为注意力矩阵AttMat中的最大值。
HTMean：过马路前转头次数的平均值，用户向左或向右转头超过30°记为一次转头。
碰撞次数CollNum，安全通过次数ArrNum，用户在游戏中尝试穿越马路的总次数AttNum，计算公式如下：
AttNum＝ArrNum+CollNum (5)
行走路线图RouteMap记录了用户穿越马路过程中所处位置的横、纵坐标，游戏的每一帧记录一次，行走路线的标准差RouteSTD反应用户过马路过程中保持方向的能力，马路中坐标轴的设置如图2所示，计算公式如下：
其中，p(x，y)为记录行走路线坐标的矩阵，即行走路线图，x为用户所处位置的横坐标，y为纵坐标，N为记录的帧数。
路线效率RouteEFF反应用户行走路线的效率，计算公式如下：
其中，dm为过马路的最短距离，即马路宽度，ΔT为游戏一帧的时间，v为用户在游戏每一帧的瞬时行走速度。
双任务完成度PerfDT反应用户对同时进行的Stroop范式任务和过马路任务的完成情况，计算公式如下：
c1＝Rc，
其中，c1和c2分别为Stroop范式任务和过马路任务的完成度，TotalCNum为规定游戏时间内可以穿越马路的最多次数。
智能评估模块主要针对用户的认知加工速度和视觉空间能力进行评估。智能评估模块首先对机器学习SVR回归模型进行训练，再使用训练后的机器学习SVR回归器模型针对用户的行为数据进行认知功能的评分预测。使用本发明的系统和权威认知评估量表采集大量人群的游戏数据和认知功能评分结果作为模型训练的样本和标签，模型训练过程中使用GridSearch(网格搜索)进行模型参数的搜索，针对不同的参数，进行循环训练，直至得到最好的回归结果，最终得到的模型的超参数为{C:0.00886,gamma:0.001,kernel:‘rbf’}。模型训练中使用遗传算法对行为数据特征参数进行特征选择，选择出与认知功能更具相关性的行为数据特征参数，通过选择、交叉、变异不断更新种群，得到最优的特征参数子集，其中包含若干个(例如5个)行为特征参数，分别为双任务完成度PerfDT、Stroop任务反应时间Rt、过马路安全时间差的平均值PETMean、碰撞次数CollNum和过马路用时的最大值TTCMax；使用留一法交叉验证模型性能，消除个体差异；训练好的SVR回归模型根据选择后的行为数据特征参数计算得到最终的认知功能评估结果，认知功能评估结果将上传到大数据云平台。
本发明的认知功能评估得分基于多种心理认知量表制定，评分为1-19分，其中1～3分为低水平等级，4～6分为中下水平等级，7～13分为正常水平等级，14～16分为良好水平等级，17～19分为优秀水平等级。
大数据云平台储存用户的认知功能评估结果，并根据大数据分析和医生的建议给用户相应的认知辅导和训练建议，用户也可选择医生远程问诊与医生进行在线交流。
本实施例还提供基于虚拟现实的认知功能评估方法，如图3所示，该方法在本实施例中认知功能评估系统的基础上而实现，具体包括以下步骤：
步骤1、获取用户的信息，包括用户的年龄、性别、教育程度、既往病史、用户主诉；
步骤2、进入游戏教程场景，让用户熟悉游戏规则和交互方法；游戏教程场景的设置和规则与正式的虚拟现实游戏的虚拟场景保持一致，但任务相对简单；
步骤3、用户进入虚拟场景中进行双任务游戏，采集用户在虚拟现实任务诱发态下的行为数据；
步骤4、对行为数据进行预处理，包括去噪、放大、归一化处理；对预处理后的数据提取相应的行为数据特征参数；
步骤5、针对行为数据特征参数使用机器学习SVR回归模型预测用户的认知功能评估得分，得到用户的认知功能评估结果；
步骤6、将认知功能评估结果存储至大数据云平台，综合大数据分析结果和医生的诊断给用户提供相应的认知训练建议。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于虚拟现实的认知功能评估系统，其特征在于，包括：
VR任务模块，用于提供沉浸式的虚拟现实游戏和虚拟现实游戏的虚拟场景，虚拟现实游戏为需要同步完成的双任务游戏；
人机交互模块，用于接收用户的游戏操作指令并发送给VR任务模块生成游戏反馈，实现用户与虚拟场景交互；还将交互过程中用户的操作数据记录为人机交互数据，将人机交互数据作为用户在虚拟现实任务诱发态下的一种行为数据反馈到VR任务模块并被游戏数据采集模块所采集；
游戏数据采集模块，与VR任务模块相连，采集用户在虚拟现实任务诱发态下的行为数据，行为数据包括用户的游戏表现和人机交互数据，其中用户的游戏表现直接在VR任务模块中产生；游戏数据采集模块对行为数据同步处理后进行存储并发送至数据处理模块；
数据处理模块，对行为数据进行预处理和特征参数提取，最终得到行为数据特征参数；
智能评估模块，对机器学习回归模型进行训练，并使用训练后的机器学习回归模型对用户的行为数据进行认知功能的评分预测；模型训练中使用遗传算法对行为数据特征参数进行特征选择，选择出与认知功能更具相关性的行为数据特征参数，通过选择、交叉、变异不断更新种群，最终得出包含若干个行为特征参数的最优特征子集；训练好的机器学习回归模型根据选择后的行为数据特征参数计算得到最终的认知功能评估结果；
双任务游戏包括Stroop范式任务和过马路任务；虚拟现实游戏的虚拟场景为城镇场景，包括马路、各种车辆、房屋、树木及斑马线；VR任务模块将Stroop范式任务虚拟化，融入到过马路任务的虚拟场景中，构建虚拟现实双任务游戏，使用户同时完成过马路任务和Stroop范式任务；用户在进行过马路任务的同时，用户的视野中央还会出现Stroop范式任务的内容；
Stroop范式任务的行为数据包括：回答正确的数量STCorrNum、回答错误的数量STWrongNum、反应时间Rt；过马路任务的行为数据包括：过马路用时TTC、过马路安全时间差PET、注意力矩阵AttMat、过马路前转头次数HT、行走路线图RouteMap、是否安全通过SafePass；
行为数据特征参数包括Stroop范式任务的回答正确率Rc、平均反应时间RtMean，过马路用时的最大值TTCMax、最小值TTCMin、平均值TTCMean，过马路安全时间差的最大值PETMax、最小值PETMin、平均值PETMean，注意力矩阵的F范数FNorm，注意力矩阵的最大值LTGaze，过马路前转头次数的平均值HTMean，碰撞次数CollNum，安全通过次数ArrNum，总尝试次数AttNum，行走路线的标准差RouteSTD、路线效率RouteEFF、双任务完成度PerfDT；
通过行走路线图RouteMap记录用户穿越马路过程中所处位置的横、纵坐标，游戏的每一帧记录一次，行走路线的标准差RouteSTD反应用户过马路过程中保持方向的能力，计算公式如下：
其中，p(x,y)为记录行走路线坐标的矩阵，x为用户所处位置的横坐标，y为纵坐标，N为记录的帧数；
通过路线效率RouteEFF反应用户行走路线的效率，计算公式如下：
其中，dm为马路宽度，ΔT为游戏一帧的时间，v为用户在游戏每一帧的瞬时行走速度；
通过双任务完成度PerfDT反应用户对同时进行的Stroop范式任务和过马路任务的完成情况，计算公式如下：
c1＝Rc,
其中，c1为Stroop范式任务的完成度，c2为过马路任务的完成度，TotalCNum为游戏时间内穿越马路的最多次数；
智能评估模块对用户的认知加工速度和视觉空间能力进行评估；所述最优特征子集包括的行为特征参数为：双任务完成度PerfDT、Stroop任务反应时间Rt、过马路安全时间差的平均值PETMean、碰撞次数CollNum和过马路用时的最大值TTCMax。
2.根据权利要求1所述的认知功能评估系统，其特征在于，虚拟现实游戏包括：
颜色游戏：在VR任务模块的屏幕中央出现具有不同颜色的方块，VR任务模块的音频输出为方块颜色的读音，设定每个方块的显示时间，不同颜色的方块共显示若干次，每一次用户需要在方块的显示时间内判断方块的颜色和音频输出读音中的颜色是否一致，并通过人机交互模块进行相应操作；用户做出判断后或超时没有做出判断，系统自动更换显示下一个方块；与此同时，用户多次往返穿过马路并注意躲避车辆；
字义游戏：在VR任务模块的屏幕中央出现字体颜色统一且固定的汉字，这些汉字为表示不同颜色的汉字，VR任务模块的音频输出为相应汉字的读音，设定每个汉字的显示时间，汉字共显示若干次，每一次用户需要在相应汉字的显示时间内判断汉字所表示的颜色与音频输出读音是否一致，并通过人机交互模块进行相应操作；用户做出判断后或超时没有做出判断，系统自动更换显示下一个汉字；与此同时，用户多次往返穿过马路并注意躲避车辆；
干扰游戏：在VR任务模块的屏幕中央出现字体颜色不同的汉字，这些汉字为表示不同颜色的汉字，音频输出为相应汉字的读音，设定每个汉字的显示时间，汉字共显示若干次，每一次用户需要在相应汉字的显示时间内判断汉字的字体颜色和音频输出读音是否一致，并通过人机交互模块进行相应操作，用户做出判断后或超时没有做出判断，系统自动更换显示下一个字；与此同时，用户多次往返穿过马路并注意躲避车辆。
3.根据权利要求1或2所述的认知功能评估系统，其特征在于，数据处理模块对行为数据的预处理包括去噪和归一化，行为数据中噪声来源为用户游戏过程产生的异常行为数据，通过去噪算法识别并删除异常行为数据，再对数据进行归一化处理，对预处理后的数据进行特征参数提取，最终得到的行为数据特征参数为统计特征，统计特征包括数据的最大值、最小值、平均值、标准差及范数。
4.根据权利要求1所述的认知功能评估系统，其特征在于，人机交互模块包括惯性传感器、加速度传感器、触发器和触摸板，用于记录交互过程中用户的操作数据。
5.根据权利要求1所述的认知功能评估系统，其特征在于，所述认知功能评估系统还包括大数据云平台，用于储存用户的认知功能评估结果。
6.根据权利要求1所述的认知功能评估系统，其特征在于，智能评估模块在模型训练过程中进行模型参数的搜索，针对不同的参数进行循环训练直至得到最好的回归结果。
7.根据权利要求1所述的认知功能评估系统，其特征在于，游戏数据采集模块在虚拟现实游戏的每一帧采集一次用户的行为数据，在游戏结束后，将用户的行为数据存储到CSV文件中并发送给数据处理模块。
8.一种基于虚拟现实的认知功能评估方法，所述方法在权利要求1所述的认知功能评估系统的基础上实现，所述方法包括以下步骤：
步骤1、获取用户的信息，包括用户的年龄、性别、教育程度、既往病史及用户主诉；
步骤2、进入游戏教程场景，让用户熟悉游戏规则和交互方法；游戏教程场景的设置和规则与虚拟现实游戏的虚拟场景保持一致，但任务相对简单；
步骤3、用户进入虚拟场景中进行双任务游戏，采集用户在虚拟现实任务诱发态下的行为数据；
步骤4、对行为数据进行预处理，对预处理后的数据提取相应的行为数据特征参数；
步骤5、针对行为数据特征参数使用机器学习回归模型预测用户的认知功能评估得分，得到用户的认知功能评估结果；
步骤6、将认知功能评估结果存储至大数据云平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679504.0A CN113521723B (zh) | 2021-06-18 | 2021-06-18 | 一种基于虚拟现实的认知功能评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679504.0A CN113521723B (zh) | 2021-06-18 | 2021-06-18 | 一种基于虚拟现实的认知功能评估系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113521723A CN113521723A (zh) | 2021-10-22 |
| CN113521723B true CN113521723B (zh) | 2024-04-02 |
Family
ID=78125163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110679504.0A Active CN113521723B (zh) | 2021-06-18 | 2021-06-18 | 一种基于虚拟现实的认知功能评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113521723B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114042319A (zh) * | 2021-11-10 | 2022-02-15 | 华南理工大学 | 儿童创新思维游戏化启发方法、系统、存储介质、设备 |
| CN114201053B (zh) * | 2022-02-17 | 2022-06-28 | 北京智精灵科技有限公司 | 一种基于神经调控的认知提升训练方法及系统 |
| CN114721520A (zh) * | 2022-04-07 | 2022-07-08 | 江苏中科小达人智能科技有限公司 | 一种基于虚拟现实的交互式训练系统及方法 |
| CN114822853B (zh) * | 2022-06-16 | 2022-09-13 | 成都中医药大学 | 康复评估医生端及运行方法、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109445578A (zh) * | 2018-10-12 | 2019-03-08 | 上海陈天桥脑疾病研究所 | 一种认知能力评估系统及方法 |
| CN112651443A (zh) * | 2020-12-28 | 2021-04-13 | 华北科技学院 | 基于机器学习的驾驶风格辨识模型评估方法、装置、介质和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200372307A1 (en) * | 2019-05-22 | 2020-11-26 | Adobe Inc. | Model insights framework for providing insight based on model evaluations to optimize machine learning models |
-
2021
- 2021-06-18 CN CN202110679504.0A patent/CN113521723B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109445578A (zh) * | 2018-10-12 | 2019-03-08 | 上海陈天桥脑疾病研究所 | 一种认知能力评估系统及方法 |
| CN112651443A (zh) * | 2020-12-28 | 2021-04-13 | 华北科技学院 | 基于机器学习的驾驶风格辨识模型评估方法、装置、介质和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113521723A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113521723B (zh) | 一种基于虚拟现实的认知功能评估系统及方法 | |
| US20220044824A1 (en) | Systems and methods to assess cognitive function | |
| Armougum et al. | Virtual reality: A new method to investigate cognitive load during navigation | |
| US10568502B2 (en) | Visual disability detection system using virtual reality | |
| CN106956271B (zh) | 预测情感状态的方法和机器人 | |
| CN105069294B (zh) | 一种用于认知能力值测试的计算和分析方法 | |
| Lee-Cultura et al. | Children’s play and problem-solving in motion-based learning technologies using a multi-modal mixed methods approach | |
| CN102573619A (zh) | 用于生成注意力水平表示的设备和方法 | |
| CN107430640A (zh) | 用于生成群体中压力水平和压力弹性水平的剖析的系统和方法 | |
| CN110584601B (zh) | 一种老人认知功能监测和评估系统 | |
| KR20080005798A (ko) | 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템 | |
| CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
| Yu et al. | A hybrid user experience evaluation method for mobile games | |
| CN107301611A (zh) | 一种孤独症儿童智能教学评估系统 | |
| Chen et al. | Assessing affective experience of in-situ environmental walk via wearable biosensors for evidence-based design | |
| CN105868560A (zh) | 一种社会心理学调查系统 | |
| CN108937407A (zh) | 一种智能镜子化妆指导方法及系统 | |
| Yates et al. | Arousal detection for biometric data in built environments using machine learning | |
| CN115064246A (zh) | 一种基于多模态信息融合的抑郁症评估系统及设备 | |
| Lee et al. | ADHD assessment and testing system design based on virtual reality | |
| WO2022057840A1 (zh) | 脑认知功能检测系统 | |
| CN115586834A (zh) | 一种智能心肺复苏培训系统 | |
| CN115040086A (zh) | 一种基于数字生物标志物的数据处理系统及方法 | |
| KR20180115866A (ko) | 인지장애 조기진단을 위한 vr기반 인지능력 향상, 교육 및 평가 시스템 | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |