CN111063416A - 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 - Google Patents
一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 Download PDFInfo
- Publication number
- CN111063416A CN111063416A CN201911123016.0A CN201911123016A CN111063416A CN 111063416 A CN111063416 A CN 111063416A CN 201911123016 A CN201911123016 A CN 201911123016A CN 111063416 A CN111063416 A CN 111063416A
- Authority
- CN
- China
- Prior art keywords
- alzheimer
- disease
- rehabilitation training
- patient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Neurosurgery (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提供一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,包括:康复训练模块,用于对阿尔兹海默症患者进行认知及社交方面的康复训练;能力评估模块,用于收集康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息,并根据上述信息进行综合评估,生成综合评估结果;反馈模块,用于将评估结果反馈至康复训练模块,对康复训练内容及流程进行更改。本发明通过使用虚拟现实技术将被测者的行为模式放大,并结合人工智能技术对数据进行分析处理,通过与标准对照组及阿尔兹海默症对照组进行比对,可以得到综合的评估结果,并可以结合实时反馈和阶段反馈调整康复训练的内容及流程,自适应阿尔兹海默症患者的当前状态。
Description
技术领域
本发明涉及一种阿尔兹海默症康复训练及能力评估系统,具体地,涉及一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统。
背景技术
阿尔兹海默症(Alzheimer disease,AD),也称老年性痴呆症,是一种中枢神经系统变性病,起病隐袭,病程呈慢性进行性,是老年期痴呆最常见的一种类型。主要表现为渐进性记忆障碍、认知功能障碍、人格改变及语言障碍等神经精神症状,严重影响社交、职业与生活功能。AD的病因及发病机制尚未阐明,特征性病理改变为β淀粉样蛋白沉积形成的细胞外老年斑和tau蛋白过度磷酸化形成的神经细胞内神经原纤维缠结,以及神经元丢失伴胶质细胞增生等。
目前,阿尔兹海默症患者的康复训练主要分为两部分,一部分是康复机构的辅导人员通过药物于非药物治疗等方式对阿尔兹海默症患者进行治疗和康复;另外一部分是家属通过长期的陪伴教育及行为干预进行疏导。两种方式均对家庭及社会造成巨大的压力,而且康复机构的辅导人员和家属均不是专业的治疗医师,很难通过阿尔兹海默症患者的反馈来进行辅导的调整。而且目前,市面上的阿尔兹海默症辅助康复系统主要是通过平板或大屏幕来进行辅助教育,这种辅助教育方式无法带给阿尔兹海默症患者真正的模拟现实的各种体验,对阿尔兹海默症患者的认知、行为及社交融合教育是灌输式的。目前,对阿尔兹海默症患者的能力评估一般停留在通过主治医师的长期的观察或家属的一般叙述上来进行评估,主治医师的长期观察费时费力,难以普及,而家属的观察叙述又难以确保准确性。因此,快速的,同时又相对稳定的、准确的评估系统对阿尔兹海默症患者的康复训练极其重要。
虚拟现实技术是仿真技术的一个重要方向,虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。
人工智能领域的深度学习是机器学习中一种基于对数据进行表征学习的算法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征,并且能够建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
使用虚拟现实技术并结合适当的内容能够将被测者的行为模式放大,并结合人工智能技术对数据进行分析处理,能够对被测者的神经回路进行一定程度的模拟,通过与标准对照组及阿尔兹海默症对照组进行比对,可以得到综合的评估结果。
发明内容
本发明的目的是提供一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,该系统利用头戴式虚拟现实系统对阿尔兹海默症患者进行康复训练,并同时采集阿尔兹海默症患者的视觉注意、行为及社交数据,进行综合的评估,实时或阶段性的反馈到阿尔兹海默症患者的康复训练中,使康复训练的内容及流程及时调整,自适应阿尔兹海默症患者的当前状态。
一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,包括:
康复训练模块,用于对阿尔兹海默症患者进行认知及社交方面的康复训练,并生成阿尔兹海默症患者的视觉注意力信息、行为方式信息和社会交往能力信息;
能力评估模块,用于收集所述康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息,并根据上述信息进行综合评估,生成综合评估结果;
反馈模块,用于将所述评估结果反馈至所述康复训练模块,对康复训练内容及流程进行更改。
进一步的,所述基于虚拟现实的阿尔兹海默症康复训练及能力评估系统还包括计算反馈主控设备,所述康复训练模块、能力评估模块和反馈模块皆内置于所述计算反馈主控设备中。
进一步的,所述基于虚拟现实的阿尔兹海默症康复训练及能力评估系统还包括:
虚拟现实模块,受所述计算反馈主控设备控制,用于为阿尔兹海默症患者模拟虚拟现实场景,引导阿尔兹海默症患者与虚拟现实场景交互,记录阿尔兹海默症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息,并传输至所述计算反馈主控设备进行处理,所述虚拟现实模块包括:
头戴式显示设备,佩戴于阿尔兹海默症患者头上,用于为阿尔兹海默症患者虚拟现实场景;
控制设备,阿尔兹海默症患者通过手部控制所述控制设备,用于使阿尔兹海默症患者通过控制设备与虚拟现实场景进行交互;
空间定位设备,用于对所述头戴式显示设备和所述控制单元的位置进行定位,并识别所述头戴式显示设备和所述控制设备的方向,生成阿尔兹海默症患者的头手位置信息和头手方向信息;
体姿追踪设备,用于对阿尔兹海默症患者的整体姿态进行识别及判断;
音频播放设备,用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音;
眼动追踪设备,用于追踪阿尔兹海默症患者的眼部运动,并生成阿尔兹海默症患者的眼动信息;
表情采集设备,用于采集阿尔兹海默症患者的面部表情,并生成阿尔兹海默症患者的表情信息;
语音记录设备,用于记录阿尔兹海默症患者的声音,并生成阿尔兹海默症患者的语音信息。
进一步的,所述眼动信息包括:扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目状态下的各自数据(双目和单目状态下各自的的扫视点坐标、扫视时长、注视点坐标、注视时长)。
进一步的,所述康复训练模块包括:
脱敏接受训练单元,用于帮助初次接触本系统的阿尔兹海默症患者摆脱其对所述虚拟现实模块的触觉敏感;
认知训练单元,用于通过虚拟现实环境帮助阿尔兹海默症患者建立对事物属性的认知;
社交训练单元,虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与阿尔兹海默症患者进行日常生活交流,用于帮助阿尔兹海默症患者进行社交康复训练。
进一步的,所述脱敏接受训练单元包括:
家属示范引导子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其家属戴上头戴式显示设备,为阿尔兹海默症患者做出示例;
内部内容介绍子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其通过平面交互设备了解内部内容;
所述内部内容介绍子单元,还用于在新的阿尔兹海默症患者开始尝试的几次内,先引导其通过平面交互设备或凑近观看头盔来了解内部内容;
简单交互子单元,用于在新的阿尔兹海默症患者开始尝试的几次内,通过使用简单的交互活动帮助阿尔兹海默症患者接受所述头戴式显示设备及所述控制设备。
进一步的,所述认知训练单元包括:
交互引导子单元,用于通过声音提示对虚拟现实中的事物的不同属性进行解释,引导阿尔兹海默症患者通过所述控制设备与提示相对应的虚拟物体进行交互;
归类判断子单元,用于在所述交互引导子单元的声音提示之后,使阿尔兹海默症患者按照声音提示的要求对相同属性的虚拟物体进行归类,交互方式以通过所述控制设备触碰虚拟物体并连线完成。
正误反馈子单元,用于在阿尔兹海默症患者完成虚拟物体连线后,根据其训练表现判断连线正误,所述音频播放设备会出现相应的声音奖励或鼓励反馈。
进一步的,所述的能力评估模块,包括:
视觉注意力评估单元,用于所述眼动追踪设备采集阿尔兹海默症患者的眼动数据,利用深度神经网络建立模型模拟使用者的视觉注意机制,获得对任意视觉刺激材料的阿尔兹海默症患者的眼动分布的预测,将计算得到的阿尔兹海默症患者的视觉注意机制模型与标准比照组进行相似性比较,对阿尔兹海默症患者的视觉注意力进行评估;
行为评估单元,用于从所述空间定位设备得到阿尔兹海默症患者的头动信息和手动信息,将所述头动信息和所述手动信息提取为重要身体部位或关节的三维轨迹坐标,将所述三维轨迹坐标与标准比照组行为数据进行比较,对阿尔兹海默症患者的认知衰退进行评估;
社交能力评估单元,用于对阿尔兹海默症患者在与人进行社会交往时的反应做数据性评估。
进一步的,所述社交能力评估单元包括:
语言行为评估子单元,用于通过所述的语音记录设备采集阿尔兹海默症患者在所述社交训练单元中的语音信息,利用语音处理方法,对阿尔兹海默症患者的语音信息进行语义性频率统计,对阿尔兹海默症患者是否有语言认知衰退进行评估;
对虚拟人物眼动评估子单元,用于对采集到的阿尔兹海默症患者的眼动数据进行分析,比较阿尔兹海默症患者的注视点热点区域与虚拟人物的坐标,对使用者在与虚拟人物交互时的视觉注意进行评估。
进一步的,所述的反馈模块包括:
实时反馈单元,用于将所述能力评估模块对使用者的评估结果实时反馈到所述康复训练模块中,对康复训练的内容及流程进行调整;
阶段反馈单元,用于统计所述能力评估模块对使用者的五次评估结果,阶段性地将所述五次评估结果反馈到所述康复训练模块中,对康复训练的内容及流程进行改动。
与现有技术相比,本发明具有如下的有益效果:
本发明提供的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,通过使用虚拟现实技术并结合适当的内容能够将被测者的行为模式放大,并结合人工智能技术对数据进行分析处理,且能够对被测者的神经回路进行一定程度的模拟,而通过与标准对照组及阿尔兹海默症对照组进行比对,可以得到综合的评估结果,并可以结合实时反馈和阶段反馈调整康复训练的内容及流程,自适应阿尔兹海默症患者的当前状态。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统的一实施例的结构框图;
图2为头动跟踪子系统的结构框图。
图中:1.1为头戴式显示设备,1.2为定位设备,1.3为控制设备,1.5为音频播放设备,1.6为眼动追踪设备,1.7为表情采集设备,1.8为语音记录设备,2为体姿追踪设备,3为计算反馈主控设备。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
参照图1所示,本发明提出了一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统的一实施例,包括:
康复训练模块,用于对阿尔兹海默症患者进行认知及社交方面的康复训练,并生成阿尔兹海默症患者的视觉注意力信息、行为方式信息和社会交往能力信息;
能力评估模块,用于收集康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息,并根据上述信息进行综合评估,生成综合评估结果;
反馈模块,用于将评估结果反馈至康复训练模块,对康复训练内容及流程进行更改。
参照图1所示,在上述实施例的基础上,基于虚拟现实的阿尔兹海默症康复训练及能力评估系统还包括计算反馈主控设备3,康复训练模块、能力评估模块和反馈模块皆内置于计算反馈主控设备3中。
参照图2所示,在上述任一实施例的基础上,基于虚拟现实的阿尔兹海默症康复训练及能力评估系统还包括:
虚拟现实模块,受计算反馈主控设备3控制,用于为阿尔兹海默症患者模拟虚拟现实场景,引导阿尔兹海默症患者与虚拟现实场景交互,记录阿尔兹海默症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息,并传输至计算反馈主控设备3进行处理,虚拟现实模块包括:
头戴式显示设备1.1,佩戴于阿尔兹海默症患者头上,用于为阿尔兹海默症患者虚拟现实场景,头戴式显示设备1.1可作为独立显示系统,内置图像内容计算模块进行显示内容的计算;也可通过有线或者无线的形式与计算反馈主控设备3相连,显示的内容由计算反馈主控设备3计算得到;
控制设备1.3,阿尔兹海默症患者通过手部控制控制设备1.3,用于使阿尔兹海默症患者通过控制设备1.3与虚拟现实场景进行交互,控制设备1.3可以是手握式或穿着佩戴式控制器,通过无线的连接方式与头戴式显示设备1.1连接,交互形式可通过按键或是触摸板;
空间定位设备1.2,用于对头戴式显示设备1.1和控制单元的位置进行定位,并识别头戴式显示设备1.1和控制设备1.3的方向,生成阿尔兹海默症患者的头手位置信息和头手方向信息,空间定位设备1.2可以通过头戴式显示设备1.1和控制设备1.3(手握式控制器)内置的陀螺仪等传感器作为定位信号源,也可以通过光学定位系统进行定位,上述的两种定位方式也可以结合使用;
体姿追踪设备2,用于对阿尔兹海默症患者的整体姿态进行识别及判断;
音频播放设备1.5,用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音;
眼动追踪设备1.6,用于追踪阿尔兹海默症患者的眼部运动,并生成阿尔兹海默症患者的眼动信息;
表情采集设备1.7,用于采集阿尔兹海默症患者的面部表情,并生成阿尔兹海默症患者的表情信息;
语音记录设备1.8,用于记录阿尔兹海默症患者的声音,并生成阿尔兹海默症患者的语音信息。
在上述任一实施例的基础上,眼动信息包括:扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目数据。
参照图1所示,在上述任一实施例的基础上,康复训练模块包括:
脱敏接受训练单元,用于帮助初次接触本系统的阿尔兹海默症患者摆脱其对虚拟现实模块的触觉敏感;
认知训练单元,用于通过虚拟现实环境帮助阿尔兹海默症患者建立对事物属性的认知,事物属性包括:物体颜色、形状、数量、简易工作原理、实际用途等;
社交训练单元,虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与阿尔兹海默症患者进行日常生活交流,用于帮助阿尔兹海默症患者进行社交康复训练。
参照图1所示,在上述任一实施例的基础上,脱敏接受训练单元包括:
家属示范引导子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其家属戴上头戴式显示设备1.1,为阿尔兹海默症患者做出示例;
内部内容介绍子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其通过平面交互设备了解内部内容;
内部内容介绍子单元,还用于在新的阿尔兹海默症患者开始尝试的几次内,先引导其通过平面交互设备或凑近观看头戴式显示设备1.1来了解内部内容;
简单交互子单元,用于在新的阿尔兹海默症患者开始尝试的几次内,通过使用简单的交互活动帮助阿尔兹海默症患者接受头戴式显示设备1.1及控制设备1.3。
参照图1所示,在上述任一实施例的基础上,认知训练单元包括:
交互引导子单元,用于通过声音提示对虚拟现实中的事物的不同属性进行解释,引导阿尔兹海默症患者通过控制设备1.3与提示相对应的虚拟物体进行交互;
归类判断子单元,用于在交互引导子单元的声音提示之后,使阿尔兹海默症患者按照声音提示的要求对相同属性的虚拟物体进行归类,交互方式以通过控制设备1.3触碰虚拟物体并连线完成。
正误反馈子单元,用于在阿尔兹海默症患者完成虚拟物体连线后,根据其训练表现判断连线正误,音频播放设备1.5会出现相应的声音奖励或鼓励反馈。
参照图1所示,在上述任一实施例的基础上,的能力评估模块,包括:
视觉注意力评估单元,用于眼动追踪设备1.6采集阿尔兹海默症患者的眼动数据,利用深度神经网络建立模型模拟使用者的视觉注意机制,获得对任意视觉刺激材料的阿尔兹海默症患者的眼动分布的预测,将计算得到的阿尔兹海默症患者的视觉注意机制模型与标准比照组进行相似性比较,对阿尔兹海默症患者的视觉注意力进行评估;
行为评估单元,用于从空间定位设备1.2得到阿尔兹海默症患者的头动信息和手动信息,将头动信息和手动信息提取为重要身体部位或关节的三维轨迹坐标,将三维轨迹坐标与标准比照组行为数据进行比较,对阿尔兹海默症患者的认知衰退进行评估;
社交能力评估单元,用于对阿尔兹海默症患者在与人进行社会交往时的反应做数据性评估。
参照图1所示,在上述任一实施例的基础上,社交能力评估单元包括:
语言行为评估子单元,用于通过的语音记录设备1.8采集阿尔兹海默症患者在社交训练单元中的语音信息,利用语音处理方法,对阿尔兹海默症患者的语音信息进行语义性频率统计,对阿尔兹海默症患者是否有语言认知衰退进行评估;
对虚拟人物眼动评估子单元,用于对采集到的阿尔兹海默症患者的眼动数据进行分析,比较阿尔兹海默症患者的注视点热点区域与虚拟人物的坐标,对使用者在与虚拟人物交互时的视觉注意进行评估。
参照图1所示,在上述任一实施例的基础上,的反馈模块包括:
实时反馈单元,用于将能力评估模块对使用者的评估结果实时反馈到康复训练模块中,对康复训练的内容及流程进行调整;
阶段反馈单元,用于统计能力评估模块对使用者的五次评估结果,阶段性地将五次评估结果反馈到康复训练模块中,对康复训练的内容及流程进行改动。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,包括:
康复训练模块,用于对阿尔兹海默症患者进行认知及社交方面的康复训练,并生成阿尔兹海默症患者的视觉注意力信息、行为方式信息和社会交往能力信息;
能力评估模块,用于收集所述康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息,并根据上述信息进行综合评估,生成综合评估结果;
反馈模块,用于将所述评估结果反馈至所述康复训练模块,对康复训练内容及流程进行更改。
2.根据权利要求1所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,还包括计算反馈主控设备,所述康复训练模块、能力评估模块和反馈模块皆内置于所述计算反馈主控设备中。
3.根据权利要求2所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,还包括:
虚拟现实模块,受所述计算反馈主控设备控制,用于为阿尔兹海默症患者模拟虚拟现实场景,引导阿尔兹海默症患者与虚拟现实场景交互,记录阿尔兹海默症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息,并传输至所述计算反馈主控设备进行处理,所述虚拟现实模块包括:
头戴式显示设备,佩戴于阿尔兹海默症患者头上,用于为阿尔兹海默症患者虚拟现实场景;
控制设备,阿尔兹海默症患者通过手部控制所述控制设备,用于使阿尔兹海默症患者通过控制设备与虚拟现实场景进行交互;
空间定位设备,用于对所述头戴式显示设备和所述控制单元的位置进行定位,并识别所述头戴式显示设备和所述控制设备的方向,生成阿尔兹海默症患者的头手位置信息和头手方向信息;
体姿追踪设备,用于对阿尔兹海默症患者的整体姿态进行识别及判断;
音频播放设备,用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音;
眼动追踪设备,用于追踪阿尔兹海默症患者的眼部运动,并生成阿尔兹海默症患者的眼动信息;
表情采集设备,用于采集阿尔兹海默症患者的面部表情,并生成阿尔兹海默症患者的表情信息;
语音记录设备,用于记录阿尔兹海默症患者的声音,并生成阿尔兹海默症患者的语音信息。
4.根据权利要求3所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述眼动信息包括:扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目数据。
5.根据权利要求1所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述康复训练模块包括:
脱敏接受训练单元,用于帮助初次接触本系统的阿尔兹海默症患者摆脱其对所述虚拟现实模块的触觉敏感;
认知训练单元,用于通过虚拟现实环境帮助阿尔兹海默症患者建立对事物属性的认知;
社交训练单元,虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与阿尔兹海默症患者进行日常生活交流,用于帮助阿尔兹海默症患者进行社交康复训练。
6.根据权利要求5所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述脱敏接受训练单元包括:
家属示范引导子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其家属戴上头戴式显示设备,为阿尔兹海默症患者做出示例;
内部内容介绍子单元,用于在新的阿尔兹海默症患者正式尝试之前,先引导其通过平面交互设备了解内部内容;
所述内部内容介绍子单元,还用于在新的阿尔兹海默症患者开始尝试的几次内,先引导其通过平面交互设备或凑近观看头盔来了解内部内容;
简单交互子单元,用于在新的阿尔兹海默症患者开始尝试的几次内,通过使用简单的交互活动帮助阿尔兹海默症患者接受所述头戴式显示设备及所述控制设备。
7.根据权利要求5所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述认知训练单元包括:
交互引导子单元,用于通过声音提示对虚拟现实中的事物的不同属性进行解释,引导阿尔兹海默症患者通过所述控制设备与提示相对应的虚拟物体进行交互;
归类判断子单元,用于在所述交互引导子单元的声音提示之后,使阿尔兹海默症患者按照声音提示的要求对相同属性的虚拟物体进行归类,交互方式以通过所述控制设备触碰虚拟物体并连线完成;
正误反馈子单元,用于在阿尔兹海默症患者完成虚拟物体连线后,根据其训练表现判断连线正误,所述音频播放设备会出现相应的声音奖励或鼓励反馈。
8.根据权利要求5所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述的能力评估模块,包括:
视觉注意力评估单元,用于所述眼动追踪设备采集阿尔兹海默症患者的眼动数据,利用深度神经网络建立模型模拟使用者的视觉注意机制,获得对任意视觉刺激材料的阿尔兹海默症患者的眼动分布的预测,将计算得到的阿尔兹海默症患者的视觉注意机制模型与标准比照组进行相似性比较,对阿尔兹海默症患者的视觉注意力进行评估;
行为评估单元,用于从所述空间定位设备得到阿尔兹海默症患者的头动信息和手动信息,将所述头动信息和所述手动信息提取为重要身体部位或关节的三维轨迹坐标,将所述三维轨迹坐标与标准比照组行为数据进行比较,对阿尔兹海默症患者的认知衰退进行评估;
社交能力评估单元,用于对阿尔兹海默症患者在与人进行社会交往时的反应做数据性评估。
9.根据权利要求8所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述社交能力评估单元包括:
语言行为评估子单元,用于通过所述的语音记录设备采集阿尔兹海默症患者在所述社交训练单元中的语音信息,利用语音处理方法,对阿尔兹海默症患者的语音信息进行语义性频率统计,对阿尔兹海默症患者是否有语能力言衰退进行评估;
对虚拟人物眼动评估子单元,用于对采集到的阿尔兹海默症患者的眼动数据进行分析,比较阿尔兹海默症患者的注视点热点区域与虚拟人物的坐标,对使用者在与虚拟人物交互时的视觉注意进行评估。
10.根据权利要求1所述的一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统,其特征在于,所述的反馈模块包括:
实时反馈单元,用于将所述能力评估模块对使用者的评估结果实时反馈到所述康复训练模块中,对康复训练的内容及流程进行调整;
阶段反馈单元,用于统计所述能力评估模块对使用者的五次评估结果,阶段性地将所述五次评估结果反馈到所述康复训练模块中,对康复训练的内容及流程进行改动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911123016.0A CN111063416A (zh) | 2019-11-16 | 2019-11-16 | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911123016.0A CN111063416A (zh) | 2019-11-16 | 2019-11-16 | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111063416A true CN111063416A (zh) | 2020-04-24 |
Family
ID=70297948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911123016.0A Pending CN111063416A (zh) | 2019-11-16 | 2019-11-16 | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111063416A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739374A (zh) * | 2020-07-12 | 2020-10-02 | 中国科学院宁波材料技术与工程研究所 | 基于虚拟现实的阿尔兹海默病早期筛查训练系统 |
CN111816295A (zh) * | 2020-07-23 | 2020-10-23 | 厦门市和家健脑智能科技有限公司 | 基于互联网的认知障碍筛查评估和康复训练的系统和方法 |
CN112220651A (zh) * | 2020-12-14 | 2021-01-15 | 宁波圻亿科技有限公司 | 一种用于康复训练的可穿戴设备的系统和可穿戴设备 |
CN112820376A (zh) * | 2021-01-30 | 2021-05-18 | 天津体育学院 | 一种基于虚拟现实技术划船运动的偏瘫康复训练系统 |
CN112807545A (zh) * | 2020-12-31 | 2021-05-18 | 南京医科大学 | 基于vr技术的丰富环境康复训练装置及其使用方法 |
CN112992312A (zh) * | 2021-03-30 | 2021-06-18 | 中国人民解放军空军军医大学 | 一种脊髓损伤康复训练合格监测方法及系统 |
CN113080859A (zh) * | 2021-03-31 | 2021-07-09 | 安徽正华生物仪器设备有限公司 | 一种基于日常行为分析的阿尔茨海默症预警系统 |
CN113160930A (zh) * | 2021-04-08 | 2021-07-23 | 广东省人民医院 | 基于vr的帕金森病轻度认知障碍的诊断康复系统及方法 |
CN113192600A (zh) * | 2021-04-06 | 2021-07-30 | 四川大学华西医院 | 基于虚拟现实和眼动追踪的认知评估与矫正训练系统 |
CN113413532A (zh) * | 2021-07-01 | 2021-09-21 | 曾迎春 | 基于虚拟现实的癌症相关认知障碍评估与康复训练系统 |
CN113870639A (zh) * | 2021-09-13 | 2021-12-31 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种基于虚拟现实的训练评估方法及系统 |
CN114743618A (zh) * | 2022-03-22 | 2022-07-12 | 湖南心康医学科技有限公司 | 一种基于人工智能的认知功能障碍治疗系统及方法 |
CN115223685A (zh) * | 2022-07-21 | 2022-10-21 | 杭州心景科技有限公司 | 基于vr技术的玩偶交互认知训练方法、系统及装置 |
CN116168805A (zh) * | 2023-01-20 | 2023-05-26 | 北京瑞帆科技有限公司 | 一种用于认知训练的思维训练装置及认知训练系统 |
CN116661609A (zh) * | 2023-07-27 | 2023-08-29 | 之江实验室 | 一种认知康复训练方法、装置、存储介质及电子设备 |
CN117238449A (zh) * | 2023-10-11 | 2023-12-15 | 国家康复辅具研究中心 | 一种认知功能障碍的康复训练策略的优化方法及系统 |
CN117519489A (zh) * | 2024-01-08 | 2024-02-06 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
CN118366610A (zh) * | 2024-06-20 | 2024-07-19 | 杭州虚之实科技有限公司 | 基于手势交互的虚拟现实儿童认知康复系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120108909A1 (en) * | 2010-11-03 | 2012-05-03 | HeadRehab, LLC | Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality |
-
2019
- 2019-11-16 CN CN201911123016.0A patent/CN111063416A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120108909A1 (en) * | 2010-11-03 | 2012-05-03 | HeadRehab, LLC | Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739374A (zh) * | 2020-07-12 | 2020-10-02 | 中国科学院宁波材料技术与工程研究所 | 基于虚拟现实的阿尔兹海默病早期筛查训练系统 |
CN111816295B (zh) * | 2020-07-23 | 2022-08-05 | 厦门市和家健脑智能科技有限公司 | 基于互联网的认知障碍筛查评估和康复训练的系统和方法 |
CN111816295A (zh) * | 2020-07-23 | 2020-10-23 | 厦门市和家健脑智能科技有限公司 | 基于互联网的认知障碍筛查评估和康复训练的系统和方法 |
CN112220651A (zh) * | 2020-12-14 | 2021-01-15 | 宁波圻亿科技有限公司 | 一种用于康复训练的可穿戴设备的系统和可穿戴设备 |
CN112807545A (zh) * | 2020-12-31 | 2021-05-18 | 南京医科大学 | 基于vr技术的丰富环境康复训练装置及其使用方法 |
CN112820376A (zh) * | 2021-01-30 | 2021-05-18 | 天津体育学院 | 一种基于虚拟现实技术划船运动的偏瘫康复训练系统 |
CN112992312A (zh) * | 2021-03-30 | 2021-06-18 | 中国人民解放军空军军医大学 | 一种脊髓损伤康复训练合格监测方法及系统 |
CN112992312B (zh) * | 2021-03-30 | 2023-06-06 | 中国人民解放军空军军医大学 | 一种脊髓损伤康复训练合格监测方法及系统 |
CN113080859A (zh) * | 2021-03-31 | 2021-07-09 | 安徽正华生物仪器设备有限公司 | 一种基于日常行为分析的阿尔茨海默症预警系统 |
CN113192600A (zh) * | 2021-04-06 | 2021-07-30 | 四川大学华西医院 | 基于虚拟现实和眼动追踪的认知评估与矫正训练系统 |
CN113160930A (zh) * | 2021-04-08 | 2021-07-23 | 广东省人民医院 | 基于vr的帕金森病轻度认知障碍的诊断康复系统及方法 |
CN113413532A (zh) * | 2021-07-01 | 2021-09-21 | 曾迎春 | 基于虚拟现实的癌症相关认知障碍评估与康复训练系统 |
WO2023272935A1 (zh) * | 2021-07-01 | 2023-01-05 | 曾迎春 | 基于虚拟现实的癌症相关认知障碍评估与康复训练系统 |
CN113870639A (zh) * | 2021-09-13 | 2021-12-31 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种基于虚拟现实的训练评估方法及系统 |
CN114743618A (zh) * | 2022-03-22 | 2022-07-12 | 湖南心康医学科技有限公司 | 一种基于人工智能的认知功能障碍治疗系统及方法 |
CN115223685A (zh) * | 2022-07-21 | 2022-10-21 | 杭州心景科技有限公司 | 基于vr技术的玩偶交互认知训练方法、系统及装置 |
CN115223685B (zh) * | 2022-07-21 | 2023-03-14 | 杭州心景科技有限公司 | 基于vr技术的玩偶交互认知训练方法、系统及装置 |
CN116168805A (zh) * | 2023-01-20 | 2023-05-26 | 北京瑞帆科技有限公司 | 一种用于认知训练的思维训练装置及认知训练系统 |
CN116661609A (zh) * | 2023-07-27 | 2023-08-29 | 之江实验室 | 一种认知康复训练方法、装置、存储介质及电子设备 |
CN116661609B (zh) * | 2023-07-27 | 2024-03-01 | 之江实验室 | 一种认知康复训练方法、装置、存储介质及电子设备 |
CN117238449A (zh) * | 2023-10-11 | 2023-12-15 | 国家康复辅具研究中心 | 一种认知功能障碍的康复训练策略的优化方法及系统 |
CN117238449B (zh) * | 2023-10-11 | 2024-05-07 | 国家康复辅具研究中心 | 一种认知功能障碍的康复训练策略的优化方法及系统 |
CN117519489A (zh) * | 2024-01-08 | 2024-02-06 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
CN117519489B (zh) * | 2024-01-08 | 2024-03-19 | 同济大学浙江学院 | 振动触觉致动器及控制方法、评估方法和可穿戴康复装置 |
CN118366610A (zh) * | 2024-06-20 | 2024-07-19 | 杭州虚之实科技有限公司 | 基于手势交互的虚拟现实儿童认知康复系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111063416A (zh) | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 | |
CN110890140B (zh) | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 | |
US10475351B2 (en) | Systems, computer medium and methods for management training systems | |
Won et al. | Automatic detection of nonverbal behavior predicts learning in dyadic interactions | |
Gunes et al. | Bodily expression for automatic affect recognition | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
Cavedoni et al. | Virtual reality for the assessment and rehabilitation of neglect: where are we now? A 6-year review update | |
Novak et al. | Assessment of student’s emotions in game-based learning | |
KR20180076797A (ko) | 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법 | |
Dael et al. | Measuring body movement: Current and future directions in proxemics and kinesics. | |
WO2021090331A1 (en) | A system and method of diagnosing or predicting the levels of autism spectrum disorders (asd) using xr-ai platform | |
He et al. | Robotic simulators for tissue examination training with multimodal sensory feedback | |
CN113903424A (zh) | 虚拟现实功能康复训练系统 | |
CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 | |
Santos et al. | MAMIPEC-affective modeling in inclusive personalized educational scenarios | |
CN111443799A (zh) | 基于脑机接口的辅助学习方法、终端及计算机存储介质 | |
Sudharson et al. | A novel adaptive framework for immersive learning using VR in education | |
Jeunet et al. | Human learning for brain–computer interfaces | |
Bertram et al. | Improving training for sensory augmentation using the science of expertise | |
Bashir et al. | Electroencephalogram (EEG) Signals for Modern Educational Research | |
Alam et al. | ASL champ!: a virtual reality game with deep-learning driven sign recognition | |
Chacon et al. | SpinalLog: visuo-haptic feedback in musculoskeletal manipulation training | |
Kutafina et al. | Learning Manual Skills with Smart Wearables | |
Shafeeg et al. | BCI Tech in Gaming Training and Education | |
BEng | Machine Learning and Electroencephalography for Enhanced Learning in Human-Computer Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200424 |
|
WD01 | Invention patent application deemed withdrawn after publication |