CN116403680A - 一种基于xr技术的认知刺激治疗系统 - Google Patents
一种基于xr技术的认知刺激治疗系统 Download PDFInfo
- Publication number
- CN116403680A CN116403680A CN202310057318.2A CN202310057318A CN116403680A CN 116403680 A CN116403680 A CN 116403680A CN 202310057318 A CN202310057318 A CN 202310057318A CN 116403680 A CN116403680 A CN 116403680A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- information
- training
- treatment room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 60
- 230000000638 stimulation Effects 0.000 title claims abstract description 51
- 238000011282 treatment Methods 0.000 title claims abstract description 36
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 8
- 210000003414 extremity Anatomy 0.000 claims description 47
- 238000002560 therapeutic procedure Methods 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 34
- 230000008921 facial expression Effects 0.000 claims description 32
- 230000003993 interaction Effects 0.000 claims description 24
- 230000008449 language Effects 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 7
- 210000003141 lower extremity Anatomy 0.000 claims description 6
- 210000001364 upper extremity Anatomy 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 235000019645 odor Nutrition 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Dentistry (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明涉及一种基于XR技术的认知刺激治疗系统，包括：运营管理设备，多组训练装置和多组信息采集组件；运营管理设备构建用于对使用者进行认知刺激训练的虚拟治疗室；虚拟治疗室内包括：至少一个使用者所属的全身的3D虚拟形象；在训练过程中，训练装置实时接收所述信息采集组件采集的使用者的肢体状态信息，对肢体状态信息进行解析并与所述运营管理设备交互，进而在虚拟治疗室内所述使用者所属的虚拟形象中加载肢体状态信息。本发明的系统通过XR、网络、云计算等技术构建一个认知刺激治疗系统，利用虚拟空间来代替物理空间，从而可便捷高效的实施认知刺激治疗。
Description
技术领域
本发明涉及数字疗法技术领域，尤其涉及一种基于XR技术的认知刺激治疗系统。
背景技术
一种线下的认知刺激疗法是：将多个患者和治疗师移动到同一个安静的独立空间，面对面进行交流。其不便于推广。
为此，线上沟通的方式逐渐出现，其患者通过zoom等远程视频方式实现患者和干预者的沟通，通过一块小小的屏幕往往会降低交互质量，其效果很不好。
鉴于此，需要一种远程的不降低交互质量的认知刺激治疗系统。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于XR技术的认知刺激治疗系统，利用虚拟空间来代替物理空间，从而可便捷高效的实施认知刺激治疗。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于XR技术的认知刺激治疗系统，其包括：
运营管理设备，多组训练装置和多组信息采集组件；
所述运营管理设备与所有的训练装置、信息采集组件网络连接，并构建用于对使用者进行认知刺激训练的虚拟治疗室；所述虚拟治疗室内包括：至少一个使用者所属的全身的3D虚拟形象；
针对每一个使用者，所述训练装置和所述信息采集组件位于一个物理区域，所述训练装置用于识别使用者身份并向使用者展示该使用者所属的虚拟治疗室，给每一个使用者呈现与其他使用者面对面沟通的认知场景；使得每一个使用者均可以第一视角进入认知场景；
在训练过程中，所述训练装置实时接收所述信息采集组件采集的使用者的面部表情和肢体状态信息，对面部表情和肢体状态信息进行解析并与所述运营管理设备交互，进而在虚拟治疗室内所述使用者所属的3D虚拟形象中加载所述面部表情和肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态信息同步且一致，以及使所述3D虚拟形象呈现所述面部表情。
本发明实施例的方法能够实现使用者的面部表情和肢体状态信息同步一致，让每一位使用者均能够以第一视角进入虚拟治疗室，实现与其他使用者的互动，达到面对面沟通的效果。
可选地，使用者包括：待训练的治疗者和对治疗者进行训练的治疗师，多组训练装置和多组信息采集组件包括：
治疗者使用的第一训练装置，与该第一训练装置对应的用于采集治疗者语言、面部表情、上肢动作、下肢动作的信息采集组件；
治疗师使用的第二训练装置，与该第二训练装置对应的用于采集治疗师语言、面部表情、上肢动作、下肢动作的信息采集组件；
认知刺激治疗系统还包括：多组用于辅助训练的辅助装置；
运营管理设备在所述虚拟治疗室内加载所述辅助装置的3D图像，该3D图像为与辅助装置相同的图像。
可选地，所述使用者所属的信息采集组件包括下述的一项或多项：
触觉反馈手套、摄像装置、生理体征监测装置、动作捕捉装置、腿部状态监测装置；
所述训练装置为XR交互设备，可以是VR眼镜，也可以是AR眼镜或者MR眼镜。
可选地，所述运营管理设备包括：
虚拟空间创建模块，用于调取使用者的基本信息，并创建包括多个虚拟治疗室的虚拟空间，各虚拟治疗室相互独立，且每一虚拟治疗室内设置有该虚拟治疗室内使用者的3D虚拟形象；
3D虚拟形象更换模块，用于接收虚拟治疗室内使用者借助于各自的训练装置传输的更换指令，并与该训练装置交互以确定使用者选择的3D虚拟形象；
动作加载模块，用于与每一训练装置交互，获取每一训练装置所属使用者的肢体状态信息，根据使用者在虚拟治疗室内的3D虚拟形象的位置，在3D虚拟形象中动态加载肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态同步，所述肢体动作包括面部表情；所述使用者为治疗者/治疗师。
可选地，所述运营管理设备还包括：
同步模块，用于对当前虚拟治疗室内每一训练装置的画面同步；
和/或，
认知信息更新模块，用于根据使用者的肢体状态信息更新用于在使用者的训练装置中展示的信息，以使使用者能够完成本次训练。
可选地，所述虚拟空间创建模块，用于接收使用者所属训练装置传输的使用者的基本信息，或者，从数据库中调取使用者的基本信息；
所述基本信息包括下述的一项或多项：性别、年龄、身高、体重、照片、既往病史、治疗方案、虚拟道具、辅助装置。
可选地，所述运营管理设备还包括：
存储模块，用于存储使用者的信息，按照分类分区存储方式进行存储；所述存储模块中设置有计数索引信息。
第二方面，本发明实施例还提供一种用于认知刺激治疗系统的运营管理设备，包括：
虚拟空间创建模块，用于调取使用者的基本信息，并创建包括多个虚拟治疗室的虚拟空间，各虚拟治疗室相互独立，且每一虚拟治疗室内设置有该虚拟治疗室内使用者的3D虚拟形象；
3D虚拟形象更换模块，用于接收虚拟治疗室内使用者借助于各自的训练装置传输的更换指令，并与该训练装置交互以确定使用者选择的3D虚拟形象；
动作加载模块，用于与每一训练装置交互，获取每一训练装置所属使用者的面部表情和肢体状态信息，根据使用者在虚拟治疗室内的3D虚拟形象的位置，在3D虚拟形象中动态加载肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态同步，以及3D虚拟形象呈现所述面部表情，所述使用者为治疗者/治疗师。
可选地，所述运营管理设备还包括：
同步模块，用于对当前虚拟治疗室内每一训练装置的画面同步；
和/或，
认知信息更新模块，用于根据使用者的肢体状态信息更新用于在使用者的训练装置中展示的信息，以使使用者能够完成本次训练。
(三)有益效果
本发明实施例通过XR、网络、云计算等技术构建一个认知刺激治疗系统，借助于本发明实施例的认知刺激治疗系统可以实现高质量的沟通，同时减少交通成本和空间成本。认知刺激治疗系统利用XR技术的特性，让多个使用者虽然身各一方，但可以在同一个虚拟空间的虚拟治疗室内进行团体训练，最大限度的保证了信息分享和交互质量。比起通过普通的远程视频软件来参与远程CST治疗，能够取得更好的效果。
对于由于缺乏资源、行动不便或者其他原因无法到现场参加团体CST干预的患者，通过本实施例的认知刺激治疗系统，不需要使用者实际到达现场，即可远程参与CST治疗。即便是那些可以到达现场的人，如果通过本系统远程参与，也可以有效降低交通成本和时间成本。
对于由于个人喜好(不愿意参与团体活动)选择而iCST(individualCST，是认知刺激疗法的一个变种)的患者即治疗者，本实施例的认知刺激治疗系统也可以支持有专业资质的治疗师通过远程指导来进行iCST，从而有可能取得更好的效果。
附图说明
图1为本发明一实施例提供的一种基于XR技术的认知刺激治疗系统的结构示意图；
图2为基于XR技术的认知刺激治疗系统的操作过程示意图；
图3为本发明一实施例提供的一种基于XR技术的认知刺激治疗系统的结构示意图；
图4为本实施例提供的运营管理设备的结构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
XR技术为扩展现实(Extended Reality，简称XR)技术，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是虚拟现实(VR)、增强现实(AR)和混合现实(MR)等各种新沉浸式技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。XR技术包括虚拟现实(VirtualReality，VR)、增强现实(Augmented Reality，AR)和混合现实(MixedReality，MR)等沉浸式技术。XR技术已广泛应用于游戏、工业、文旅、医疗等多个领域。可构建真实的、沉浸式的世界，是元宇宙的技术重要承载。
数字疗法为：向使用者交付由高质量软件程序驱动的循证治疗性干预，以治疗、管理或预防医学问题或疾病。
实施例一
如图1和图4所示，本发明实施例提供一种基于XR技术的认知刺激治疗系统，本实施例的基于XR技术的认知刺激治疗系统包括：
运营管理设备，多组训练装置和多组信息采集组件；
所述运营管理设备与所有的训练装置、信息采集组件网络连接，并构建用于对使用者进行认知刺激训练的虚拟治疗室；所述虚拟治疗室内包括：至少一个使用者所属的全身的3D虚拟形象，该处的使用者可包括治疗者和治疗师等；
所述训练装置和所述信息采集组件位于一个物理区域，所述运营管理设备位于另一物理区域例如云平台中，所述训练装置用于接收使用者的登录信息，根据验证通过的登录信息向使用者展示该使用者所属的虚拟治疗室；
在训练过程中，所述训练装置实时接收所述信息采集组件采集的使用者的面部表情和肢体状态信息，对面部表情和肢体状态信息进行解析并与所述运营管理设备交互，进而在虚拟治疗室内所述使用者所属的3D虚拟形象中加载所述面部表情和肢体状态信息，使该虚拟形象的肢体动作与所述使用者的肢体状态同步，以及3D虚拟形象呈现所述面部表情；给使用者呈现面对面沟通的认知场景。
本实施例中，上述的使用者可包括：待训练的治疗者即患者和对治疗者进行训练的治疗师，多组训练装置和多组信息采集组件包括：
治疗者使用的第一训练装置，与该第一训练装置对应的用于采集治疗者语言、面部表情、上肢动作、下肢动作的信息采集组件；
治疗师使用的第二训练装置，与该第二训练装置对应的用于采集治疗师语言、面部表情、上肢动作、下肢动作的信息采集组件；
认知刺激治疗系统还包括：多组用于辅助训练的辅助装置；
运营管理设备在所述虚拟治疗室内加载所述辅助装置的3D图像，该3D图像为与辅助装置相同的图像。
具体地，使用者所属的信息采集组件包括下述的一项或多项：
触觉反馈手套、摄像装置、生理体征监测装置、动作捕捉装置、腿部状态监测装置等等，该信息采集组件可根据实际需要选择和配置，本实施例不对其限定。
所述训练装置为VR/AR/MR眼镜。
在实际应用中，所述运营管理设备可包括：
虚拟空间创建模块/虚拟空间模块，用于调取使用者的基本信息，并创建包括多个虚拟治疗室的虚拟空间，各虚拟治疗室相互独立，且每一虚拟治疗室内设置有该虚拟治疗室内使用者的3D虚拟形象；例如，用于接收使用者所属训练装置传输的使用者的基本信息，或者，从数据库中调取使用者的基本信息；所述基本信息包括下述的一项或多项：性别、年龄、身高、体重、照片、既往病史、治疗方案、虚拟道具、辅助装置等。
3D虚拟形象更换模块，用于接收虚拟治疗室内使用者借助于各自的训练装置传输的更换指令，并与该训练装置交互以确定使用者选择的3D虚拟形象；
动作加载模块，用于与每一训练装置交互，获取每一训练装置所属使用者的肢体状态信息，根据使用者在虚拟治疗室内的3D虚拟形象的位置，在3D虚拟形象中动态加载肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态同步，所述肢体动作包括面部表情；所述使用者为治疗者/治疗师/。
在具体的实现过程中，本实施例的运营管理设备还可包括：
同步模块，用于对当前虚拟治疗室内每一训练装置的画面同步；
认知信息更新模块，用于根据使用者的肢体状态信息更新用于在使用者的训练装置中展示的信息，以使使用者能够完成本次训练；该处的认知信息可理解为思维训练测试题或认知训练辅助展示信息，便于治疗者能够持续完成本次训练。
存储模块，用于存储治疗师/治疗者的信息，按照分类分区存储方式进行存储；所述存储模块中设置有计数索引信息。
本实施例的运营管理设备对当前使用者的语言、面部表情、和身体动作实时加载到当前使用者所属的虚拟形象中，使得虚拟治疗室中的每一位使用者均可获取其他使用者的语言、面部表情、身体动作的信息。借助于本实施例的认知刺激治疗系统可以实现高质量的沟通，同时减少交通成本和空间成本。
需要说明的是，陪护者本身不参与治疗训练，实际虚拟治疗过程中，不需要采集陪护者的语言、表情、动作。陪护者的作用是帮助患者正确的使用设备。可理解的是，由于治疗师在远程，而患者本身有认知障碍，可能出现需要帮助但是没有办法清楚描述的情况，本实施例的系统引入了陪护-者这个角色，并且设计了监护模块作为和陪护者的接口。陪护者和患者需要在同一个物理空间内，陪护者通过监护装置(一般是个pad)，能够实时看见患者在虚拟世界中所看到的景象，从而在必要时更好的给患者提供帮助。
实施例二
为更好的理解上述实施例一的方法，下面结合图2至图4对基于XR技术的认知刺激治疗系统及具体的处理过程进行详细说明。
从信息通信的角度，认知刺激治疗本质上可以视为利用通过训练和互动产生的信息，刺激患者大脑的特定相关区域，最终改善用户的认知能力。所以如果要在远程也可以达到“面对面”的效果，就需要将面对面CST(认知刺激治疗)中所包含的有效信息收集、传输、整合、分发给训练小组中的各个用户。传统CST治疗中的有效信息主要包括以下方面：
(1)治疗师产生的信息，包括语言、肢体行动、表情等。
(2)患者即治疗者产生的信息，包括语言、肢体行动、表情等。
(3)治疗小组中其他成员产生的信息，包括语言、肢体行动、表情等。
(4)训练环境信息，包括治疗室、白板、训练道具、背景音乐、气味等。
基于XR技术的认知刺激治疗系统包含下列模块：
运营管理设备：负责搭建并呈现认知刺激治疗所需的虚拟空间。同时对于从XR交互设备和信息采集组件收集的信息进行计算和处理，在虚拟空间的虚拟治疗室内呈现参与者的虚拟形象以及与虚拟道具之间的交互，并实时更新。该虚拟空间有以下特征：
1)可以同时提供多间虚拟治疗室。各虚拟治疗室相互完全独立。且虚拟治疗室内放置有实施认知刺激治疗所需要的虚拟设施。
2)使用者在虚拟空间内进行活动时，可以呈现自己的表情，同时也可以看清其他人的表情。由于使用者的情绪在认知刺激治疗中是非常重要的信息，所以与现有的XR会议或游戏无法自动呈现使用者的表情不同，通过本系统每一使用者可以通过各自的信息采集组件准确捕捉并在虚拟空间的虚拟治疗室内呈现使用者的表情。
3)使用者在虚拟空间内进行活动时，可以呈现使用者全身的体态和运动。与现有的XR会议或者游戏只能呈现使用者头部和手部的运动状态，而不能真实呈现全身的运动状态不同，本系统在使用者进行体能活动时，可以真实呈现使用者的全身体态和动作。
运营管理设备负责对于整个系统的管理、编排和运营，其可以位于云平台中，各个使用者也可以不处于同一物理空间。
XR交互设备即训练装置：负责与各位使用者在视觉、言语/听觉、嗅觉(可选)、触觉(可选)方面进行交互。XR交互设备可以是VR眼镜，也可以是AR眼镜或者MR眼镜。并且可以装配气味发生器、触觉反馈手套等可选配件。
信息采集组件：负责采集使用者产生的体态和运动信息，面部表情信息。进一步还可采集心率、血压、脑电波等生理体征信息。
监护模块：负责将患者XR设备中的视觉信息同步呈现给陪护者，以便陪护者监护并在必要时协助患者操作。
本实施例中的认知刺激治疗系统可包括下述的交互流程，本流程仅为举例说明，并不对其限定。
运营管理设备中为每位使用者(包含治疗师和患者)创建帐户，并输入相应信息。
创建账户之前可收集患者的基本信息，例如，通过线上或线下问卷方式收集，一般由患者本人或者陪护者填报，也可以由治疗师或者其他人帮助填报。或者，治疗参数一般由治疗师通过治疗师所属的训练装置的界面填报。再或者，在以前治疗过程中产生的信息，由认知刺激治疗系统收集并自动记录。
举例来说，基本信息可包括：
形象参数，例如性别、年龄、身高、体重、照片等。
治疗参数，包含治疗时间、治疗内容、虚拟治疗室编号以及在虚拟治疗室内的位置等。
运营管理设备还可提前按照认知刺激疗法的要求，制作进行所需要的虚拟道具，以便将来可以随时调用。
具体治疗过程中，步骤一：治疗师在每次治疗开始前，通过训练装置即XR交互设备与运营管理设备交互，进而在虚拟空间构建本次治疗所需的虚拟治疗室。虚拟治疗室中包含多种虚拟设施，具体包括：适合5-8人讨论的虚拟会议桌和座位、白板(或大显示屏)、音乐播放设备，以及本次治疗所需的虚拟道具(皮球、怀旧玩具、日用品、地图、照片)等。
步骤二：在约定的治疗时间，所有治疗使用者通过XR交互设备远程登陆虚拟治疗室，虚拟治疗室内根据使用者的形象参数，通过算法生成使用者的3D虚拟形象。3D虚拟形象为全身形象，可以真实呈现使用者的表情、体态和动作。
步骤三：根据各个使用者的用户信息，将3D虚拟形象信息分别安置在对应虚拟治疗室中合适的座位(位置)上，并在3D虚拟形象上方显示使用者的账号名称。如果使用者的身份是患者，运营管理设备将检查并确保监护模块已经同时启动登录。
本实施例中的每一使用者可为XR交互设备；患者的XR交互设备向虚拟空间创建模块发出登录请求，登录请求包括：患者标识；
虚拟空间创建模块基于患者标识调取患者信息，并构建与患者信息对应的虚拟形象，该虚拟形象为全身的虚拟形象；并向患者的XR交互设备反馈登录响应；
患者的XR交互设备基于登录响应进入所述虚拟治疗室，并与虚拟形象建立匹配关系；
所述运营管理设备与所述监护模块交互，确定当前患者的状态及XR交互设备的状态均处于正常，则启动患者的XR交互设备所属的信息采集组件，以使信息采集组件实时采集患者的面部和身体信息，以发送所述虚拟空间创建模块进行处理和展示。
步骤四：通过信息采集组件实时采集使用者产生的体态、运动、面部表情、生理体征信息。上传至虚拟治疗室内，并在进行计算处理后，在使用者的3D虚拟形象上同步呈现出来。
从程序角度，所有的体态、运动、面部表情、生理体征等信息都会以数据变量的形式输入运营管理设备。运营管理设备会将这些变量进过运算后加载到各自的3D虚拟形象(Avatar)上。在虚拟空间的虚拟治疗室中，每个患者都有一个跟随的虚拟主摄像机，虚拟空间模块会将主摄像机获取的图像传递给XR交互设备呈现给使用者，同时传递给监护模块呈现给监护者。
举例来说，利用摄像头来进行采集，优选双目摄像头获取体态和动作信息。利用视频动作捕捉算法进行后期处理。也可以选择通过可穿戴运动追踪器来采集。信息采集组件将采集的使用者的参数传输到虚拟空间的虚拟治疗室中，虚拟治疗室通过坐标位置反向呈现出来。
面部表情信息：优选通过外置摄像头来进行视频捕捉，并利用微表情识别算法进行识别和呈现。将来也可以通过内置在XR眼镜中的面部追踪设备采集。
心率、血压等生理体征信息：利用传感器收集，也将作为输入参数一并参与计算处理，以便实现更精确的计算结果，同时可以在出现患者生理体征出现异常时自动报告给培训师和陪护者。
步骤五：运营管理设备将各个虚拟形象的当前位置作为主摄像机位，与虚拟治疗室中的虚拟设施、虚拟道具等数据一起进行空间计算，生产各位参与者所看到的画面，并通过网络下分别发至各个XR交互设备，从而构成各位使用者在同一个虚拟治疗室中进行实时交互的效果。同时，将患者在XR交互设备中看到的影像，同步显示在监护模块上，以便陪护者在必要时给与协助。监护者的作用是保证患者能够顺利、安全的参与治疗。实际中，监护者可无需信息采集，也无需3D虚拟形象。
通过一系列的新手教程，带领使用者熟悉虚拟空间的操作方式。随后在专业治疗师的带领下，开始进行远程团体认知刺激治疗。
治疗结束后，虚拟空间模块中将虚拟治疗室清除，并回收相关资源。
本实施例中，运营管理设备的功能还可包括系统的基础设施管理、各模块资源和功能的静态配置管理、用户信息管理、接入设备管理等。
从程序上，运营管理模块主要是由多个数据库和GUI管理界面构成。数据库存储了上述系统、模块、用户、设备的相关信息。
通过GUI管理界面，可以对于这些信息进行管理和修改。例如在治疗前，治疗师可以针对每位患者调整制定相应的治疗方案，治疗方案将保存在运营管理模块中的用户数据库中。同时，患者在治疗中产生的数据，将被虚拟空间创建模块记录，并在治疗结束后保存到运营管理设备中的用户数据库中。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。
Claims (9)
1.一种基于XR技术的认知刺激治疗系统，其特征在于，包括：
运营管理设备，多组训练装置和多组信息采集组件；
所述运营管理设备与所有的训练装置、信息采集组件网络连接，并构建用于对使用者进行认知刺激训练的虚拟治疗室；所述虚拟治疗室内包括：至少一个使用者所属的全身的3D虚拟形象；
针对每一个使用者，所述训练装置和所述信息采集组件位于一个物理区域，所述训练装置用于识别使用者身份并向使用者展示该使用者所属的虚拟治疗室，给每一个使用者呈现与其他使用者面对面沟通的认知场景；
在训练过程中，所述训练装置实时接收所述信息采集组件采集的使用者的面部表情和肢体状态信息，对面部表情和肢体状态信息进行解析并与所述运营管理设备交互，进而在虚拟治疗室内所述使用者所属的3D虚拟形象中加载所述面部表情和肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态信息同步且一致，以及使所述3D虚拟形象呈现所述面部表情。
2.根据权利要求1所述的认知刺激治疗系统，其特征在于，使用者包括：待训练的治疗者和对治疗者进行训练的治疗师，多组训练装置和多组信息采集组件包括：
治疗者使用的第一训练装置，与该第一训练装置对应的用于采集治疗者语言、面部表情、上肢动作、下肢动作的信息采集组件；
治疗师使用的第二训练装置，与该第二训练装置对应的用于采集治疗师语言、面部表情、上肢动作、下肢动作的信息采集组件；
认知刺激治疗系统还包括：多组用于辅助训练的辅助装置；
运营管理设备在所述虚拟治疗室内加载所述辅助装置的3D图像，该3D图像为与辅助装置相同的图像。
3.根据权利要求2所述的认知刺激治疗系统，其特征在于，所述使用者所属的信息采集组件包括下述的一项或多项：
触觉反馈手套、摄像装置、生理体征监测装置、动作捕捉装置、腿部状态监测装置；
所述训练装置为XR交互设备。
4.根据权利要求1所述的认知刺激治疗系统，其特征在于，所述运营管理设备包括：
虚拟空间创建模块，用于调取使用者的基本信息，并创建包括多个虚拟治疗室的虚拟空间，各虚拟治疗室相互独立，且每一虚拟治疗室内设置有该虚拟治疗室内使用者的3D虚拟形象；
3D虚拟形象更换模块，用于接收虚拟治疗室内使用者借助于各自的训练装置传输的更换指令，并与该训练装置交互以确定使用者选择的3D虚拟形象；
动作加载模块，用于与每一训练装置交互，获取每一训练装置所属使用者的肢体状态信息，根据使用者在虚拟治疗室内的3D虚拟形象的位置，在3D虚拟形象中动态加载肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态同步，所述肢体动作包括面部表情；所述使用者为治疗者/治疗师。
5.根据权利要求4所述的认知刺激治疗系统，其特征在于，所述运营管理设备还包括：
同步模块，用于对当前虚拟治疗室内每一训练装置的画面同步；
和/或，
认知信息更新模块，用于根据使用者的肢体状态信息更新用于在使用者的训练装置中展示的信息，以使使用者能够完成本次训练。
6.根据权利要求4所述的认知刺激治疗系统，其特征在于，所述虚拟空间创建模块，用于接收使用者所属训练装置传输的使用者的基本信息，或者，从数据库中调取使用者的基本信息；
所述基本信息包括下述的一项或多项：性别、年龄、身高、体重、照片、既往病史、治疗方案、虚拟道具、辅助装置。
7.根据权利要求4所述的认知刺激治疗系统，其特征在于，所述运营管理设备还包括：
存储模块，用于存储使用者的信息，按照分类分区存储方式进行存储；所述存储模块中设置有计数索引信息。
8.一种用于认知刺激治疗系统的运营管理设备，其特征在于，包括：
虚拟空间创建模块，用于调取使用者的基本信息，并创建包括多个虚拟治疗室的虚拟空间，各虚拟治疗室相互独立，且每一虚拟治疗室内设置有该虚拟治疗室内使用者的3D虚拟形象；
3D虚拟形象更换模块，用于接收虚拟治疗室内使用者借助于各自的训练装置传输的更换指令，并与该训练装置交互以确定使用者选择的3D虚拟形象；
动作加载模块，用于与每一训练装置交互，获取每一训练装置所属使用者的面部表情和肢体状态信息，根据使用者在虚拟治疗室内的3D虚拟形象的位置，在3D虚拟形象中动态加载肢体状态信息，使该3D虚拟形象的肢体动作与所述使用者的肢体状态同步，以及3D虚拟形象呈现所述面部表情，所述使用者为治疗者/治疗师。
9.根据权利要求8所述的运营管理设备，其特征在于，所述运营管理设备还包括：
同步模块，用于对当前虚拟治疗室内每一训练装置的画面同步；
和/或，
认知信息更新模块，用于根据使用者的肢体状态信息更新用于在使用者的训练装置中展示的信息，以使使用者能够完成本次训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310057318.2A CN116403680A (zh) | 2023-01-20 | 2023-01-20 | 一种基于xr技术的认知刺激治疗系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310057318.2A CN116403680A (zh) | 2023-01-20 | 2023-01-20 | 一种基于xr技术的认知刺激治疗系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116403680A true CN116403680A (zh) | 2023-07-07 |
Family
ID=87014862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310057318.2A Pending CN116403680A (zh) | 2023-01-20 | 2023-01-20 | 一种基于xr技术的认知刺激治疗系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403680A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106310660A (zh) * | 2016-09-18 | 2017-01-11 | 三峡大学 | 一种基于力学可视化的虚拟足球运动控制系统 |
| CN106420254A (zh) * | 2016-09-14 | 2017-02-22 | 中国科学院苏州生物医学工程技术研究所 | 多人交互虚拟现实康复训练与评估系统 |
| US20170352283A1 (en) * | 2016-06-07 | 2017-12-07 | Cerekinetic, Inc. | Self-administered evaluation and training method to improve mental state |
| CN108428475A (zh) * | 2018-05-15 | 2018-08-21 | 段新 | 基于人体生理数据监测和虚拟现实的生物反馈训练系统 |
| CN208521618U (zh) * | 2018-05-15 | 2019-02-19 | 段新 | 基于人体生理数据监测和虚拟现实的生物反馈训练系统 |
| CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
| CN110415357A (zh) * | 2019-04-09 | 2019-11-05 | 杨瀚博 | 一种基于虚拟现实和扩增实境的互动训练监控方法 |
| CN110639172A (zh) * | 2019-10-12 | 2020-01-03 | 深圳市热丽泰和生命科技有限公司 | 基于丰富场景的增强现实康复训练系统 |
| CN111724882A (zh) * | 2020-06-30 | 2020-09-29 | 重庆医科大学附属第一医院 | 一种基于虚拟现实技术的以己为友心理训练系统及方法 |
| CN112133409A (zh) * | 2020-09-30 | 2020-12-25 | 山西智优利民健康管理咨询有限公司 | 一种虚拟诊疗系统和方法 |
| CN112286354A (zh) * | 2020-10-28 | 2021-01-29 | 上海盈赞通信科技有限公司 | 基于虚拟现实的教育教学方法和系统 |
| CN113160930A (zh) * | 2021-04-08 | 2021-07-23 | 广东省人民医院 | 基于vr的帕金森病轻度认知障碍的诊断康复系统及方法 |
| CN113888934A (zh) * | 2021-11-11 | 2022-01-04 | 上海市养志康复医院（上海市阳光康复中心） | 一种基于vr视听觉引导的失语症康复训练系统及训练方法 |
| CN114613486A (zh) * | 2022-03-17 | 2022-06-10 | 佛山创视嘉科技有限公司 | 一种用于心理治疗的装置 |
-
2023
- 2023-01-20 CN CN202310057318.2A patent/CN116403680A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170352283A1 (en) * | 2016-06-07 | 2017-12-07 | Cerekinetic, Inc. | Self-administered evaluation and training method to improve mental state |
| CN106420254A (zh) * | 2016-09-14 | 2017-02-22 | 中国科学院苏州生物医学工程技术研究所 | 多人交互虚拟现实康复训练与评估系统 |
| CN106310660A (zh) * | 2016-09-18 | 2017-01-11 | 三峡大学 | 一种基于力学可视化的虚拟足球运动控制系统 |
| CN108428475A (zh) * | 2018-05-15 | 2018-08-21 | 段新 | 基于人体生理数据监测和虚拟现实的生物反馈训练系统 |
| CN208521618U (zh) * | 2018-05-15 | 2019-02-19 | 段新 | 基于人体生理数据监测和虚拟现实的生物反馈训练系统 |
| CN110415357A (zh) * | 2019-04-09 | 2019-11-05 | 杨瀚博 | 一种基于虚拟现实和扩增实境的互动训练监控方法 |
| CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
| CN110639172A (zh) * | 2019-10-12 | 2020-01-03 | 深圳市热丽泰和生命科技有限公司 | 基于丰富场景的增强现实康复训练系统 |
| CN111724882A (zh) * | 2020-06-30 | 2020-09-29 | 重庆医科大学附属第一医院 | 一种基于虚拟现实技术的以己为友心理训练系统及方法 |
| CN112133409A (zh) * | 2020-09-30 | 2020-12-25 | 山西智优利民健康管理咨询有限公司 | 一种虚拟诊疗系统和方法 |
| CN112286354A (zh) * | 2020-10-28 | 2021-01-29 | 上海盈赞通信科技有限公司 | 基于虚拟现实的教育教学方法和系统 |
| CN113160930A (zh) * | 2021-04-08 | 2021-07-23 | 广东省人民医院 | 基于vr的帕金森病轻度认知障碍的诊断康复系统及方法 |
| CN113888934A (zh) * | 2021-11-11 | 2022-01-04 | 上海市养志康复医院（上海市阳光康复中心） | 一种基于vr视听觉引导的失语症康复训练系统及训练方法 |
| CN114613486A (zh) * | 2022-03-17 | 2022-06-10 | 佛山创视嘉科技有限公司 | 一种用于心理治疗的装置 |
Non-Patent Citations (1)
| Title |
|---|
| 胡艳: "《抑郁症自我管理及康复策略》", 武汉大学出版社, pages: 60 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| US6425764B1 (en) | Virtual reality immersion therapy for treating psychological, psychiatric, medical, educational and self-help problems | |
| US20180203238A1 (en) | Method of education and simulation learning | |
| CN111427453A (zh) | 一种医疗虚拟现实培训场景下多人协同交互与感知的方法 | |
| WO2014200865A2 (en) | Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching | |
| Lockery et al. | Store-and-feedforward adaptive gaming system for hand-finger motion tracking in telerehabilitation | |
| Escalona et al. | EVA: EVAluating at-home rehabilitation exercises using augmented reality and low-cost sensors | |
| Barbosa et al. | Serious games and rehabilitation for elderly adults | |
| Polak et al. | Novel gamified system for post-stroke upper-limb rehabilitation using a social robot: focus groups of expert clinicians | |
| Pedroli et al. | A new application for the motor rehabilitation at home: structure and usability of bal-app | |
| De Carolis et al. | Using the pepper robot in cognitive stimulation therapy for people with mild cognitive impairment and mild dementia | |
| Lv et al. | Virtual reality neurorehabilitation | |
| Anacleto et al. | Therapist-centred design of NUI based therapies in a neurological care hospital | |
| TWM606337U (zh) | 雲端多人異地聯合訓練混合實境模擬系統 | |
| CN114974517B (zh) | 基于模拟场景与交互任务设计的社交焦虑干预系统 | |
| CN116403680A (zh) | 一种基于xr技术的认知刺激治疗系统 | |
| Kotsopoulos et al. | VRESS: Designing a platform for the development of personalized Virtual Reality scenarios to support individuals with Autism | |
| Ferraris et al. | Telerehabilitation of cognitive, motor and sleep disorders in neurological pathologies: the REHOME project | |
| Desai et al. | Sound mixed reality prompts for people with dementia: A familiar and meaningful experience | |
| CA3133789A1 (en) | System and method for virtual online medical team training and assessment | |
| Khan et al. | Embodied tele-presence system (ets): Designing tele-presence for video teleconferencing | |
| Nyika | Telerehabilitation as means to improve elderlys' independence while living at home | |
| Parsons | Use, understanding and learning in virtual environments by adolescents with autistic spectrum disorders | |
| Penpinun et al. | An online cognitive intervention tool for the patients with mild cognitive impairment using virtual reality | |
| Feintuch et al. | VirHab-A virtual reality system for treatment of chronic pain and disability |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |