CN113952583A - 一种基于vr技术的认知训练方法及系统 - Google Patents

一种基于vr技术的认知训练方法及系统 Download PDF

Info

Publication number
CN113952583A
CN113952583A CN202111575172.8A CN202111575172A CN113952583A CN 113952583 A CN113952583 A CN 113952583A CN 202111575172 A CN202111575172 A CN 202111575172A CN 113952583 A CN113952583 A CN 113952583A
Authority
CN
China
Prior art keywords
training
virtual
prop
intelligent
trainee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111575172.8A
Other languages
English (en)
Other versions
CN113952583B (zh
Inventor
李丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xindao Artificial Intelligence Technology Co Ltd
Original Assignee
Shandong Xindao Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Xindao Artificial Intelligence Technology Co Ltd filed Critical Shandong Xindao Artificial Intelligence Technology Co Ltd
Priority to CN202111575172.8A priority Critical patent/CN113952583B/zh
Publication of CN113952583A publication Critical patent/CN113952583A/zh
Application granted granted Critical
Publication of CN113952583B publication Critical patent/CN113952583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Abstract

本申请公开了一种基于VR技术的认知训练方法及系统,涉及认知训练技术领域,通过VR技术生成一预设场景,预设场景内设置有多个虚拟训练智能道具;当被训练者进入到预设场景时,根据与预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具;被训练者将拿取的第一虚拟训练智能道具根据引导摆放至预设场景内的预设区域;被训练者拿取完毕后,根据预设区域内的所有虚拟训练智能道具生成认知训练评估报告。VR场景中虚拟训练智能道具与被训练者进行互动增加了趣味性,通过互通让被训练者认识了解道具,然后通过引导让被训练者拿取认知后喜欢的道具,最终将被训练者拿取道具生成一个报告,评估在本次训练中的认知训练效果。

Description

一种基于VR技术的认知训练方法及系统
技术领域
本申请涉及认知训练技术领域,具体涉及一种基于VR技术的认知训练方法及系统。
背景技术
虚拟现实技术在国内外已应用于航空航天、医学、建筑设计、教育等许多领域。可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
儿童在成长过程中,父母都希望孩子能够尽快认识生活中各式各样的物品,因此现实中一般家长通过卡片或者玩具对儿童进行引导,比如拿一张小猫的照片,告诉儿童动物的名字,动物的叫声是什么样的,从而经过反复的训练使得儿童对小猫的样子和叫声有所认知。
但是由于儿童固有的天性,喜欢玩耍,卡片和玩具与儿童之间缺乏互动,单纯采用这种训练方式,往往达不到有效的认知效果。
发明内容
本申请为了解决上述技术问题,提出了如下技术方案:
第一方面,本申请实施例提供了一种基于VR技术的认知训练方法,所述方法包括:通过VR技术生成一预设场景,所述预设场景内设置有多个虚拟训练智能道具;当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,所述第一虚拟训练智能道具为任一虚拟训练智能道具;被训练者将拿取的第一虚拟训练智能道具根据引导摆放至所述预设场景内的预设区域;被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告。
采用上述实现方式,VR场景中虚拟训练智能道具与被训练者进行互动增加了趣味性,通过互通让被训练者认识了解道具,然后通过引导让被训练者拿取认知后喜欢的道具,最终将被训练者拿取道具生成一个报告,评估在本次训练中的认知训练效果。
结合第一方面,在第一方面第一种可能的实现方式中,所述当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,包括:所述被训练者拿取所述虚拟训练智能道具时,所述虚拟训练智能道具根据获取的所述被训练者的状态进行语言交流;根据语言交流实现被训练者对拿取的虚拟训练智能道具的认知并引导将虚拟训练智能道具放到所述预设区域。
结合第一方面第一种可能的实现方式,在第一方面第二种可能的实现方式中,所述虚拟训练智能道具根据获取的所述被训练者的状态进行语言交流,包括:获取被训练者的脸部表情和语气状态;根据所述脸部表情和语气状态确定所述被训练者当前的情绪状态;根据不同的情绪状态与所述被训练者进行不同的语言交流。
结合第一方面,在第一方面第三种可能的实现方式中,所述被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告,包括:确定每个虚拟训练智能道具在虚拟空间内的坐标位置;所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一虚拟训练智能道具的坐标位置;当被训练者拿取完毕后,根据记录的坐标位置集合生成对应的虚拟训练智能道具名称集合;根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
结合第一方面,在第一方面第四种可能的实现方式中,所述被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告,包括:在VR虚拟空间内设置多个传感器,所述传感器位置空间不同位置,每个传感器对应唯一的虚拟训练智能道具;当被训练者触碰第一传感器时且通过VR手柄操作抓取动作时,确定所述被训练者拿取了所述第一传感器对应的第一虚拟训练智能道具;所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一传感器的标识信息;当被训练者拿取完毕后,根据记录的标识信息集合生成对应的虚拟训练智能道具名称集合;根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
结合第一方面或第一方面第一至四种任一可能的实现方式,在第一方面第五种可能的实现方式中,所述预设场景设置有多个,多个所述预设场景之间设置有虚拟机器人,所述虚拟机器人用于对所述被训练者进行引导。
第二方面,本申请实施例提供了一种基于VR技术的认知训练系统,包括:处理器;存储器,用于存储计算机可执行指令;VR头盔眼镜,用于被训练者佩戴进入到虚拟场景;VR手柄,用于被训练者携带在所述虚拟场景内拿取虚拟训练智能道具;当所述处理器执行所述计算机可执行指令时,所述处理器执行第一方面或第一方面任一可能实现方式所述的方法,实现基于VR技术的认知训练报告的获取,用于后期对所述被训练者进行认知训练评估。
结合第二方面,在第二方面第一种可能的实现方式中,还包括VR定位器,所述VR定位器与处理器电连接,所述VR定位器用于实现对被训练者及所述VR手柄位置的定位,并将位置信息实时传输给所述处理器。
结合第二方面或第二方面第一种可能的实现方式,在第二方面第二种可能的实现方式中,还包括显示屏,所述显示屏与所述处理器电连接,所述显示屏用于实时显示VR场景和所述被训练者在所述VR场景内的操作。
附图说明
图1为本申请实施例提供的一种基于VR技术的认知训练方法的流程示意图;
图2为本申请实施例提供的一种基于VR技术的认知训练系统的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种基于VR技术的认知训练方法的流程示意图,参见图1,本实施例的基于VR技术的认知训练方法包括:
S101,通过VR技术生成一预设场景,所述预设场景内设置有多个虚拟训练智能道具。
以实景为基础,进行三维场景绘图;建立场景内的物品物理模型;在绘图基础上对三维模型进行处理,达到高清图像;最后完成虚拟场景的建立,可以再电脑上运行虚拟现实场景,通过佩戴VR头盔式眼镜在场景中进行浏览操作。
例如预设场景为虚拟儿童乐园梦幻情景,预设场景内有城堡、河流、草地、木船、摩天轮、热气球,艺术画室、平衡木,小动物等。在儿童乐园梦幻情景中放置了多个虚拟训练智能道具,如各种水果、动物玩具等,每一个虚拟训练智能道具都可以与被训练者进行对话,告诉被训练者它的名字或者其他可以让被训练者认知的信息。
本实施例中,将虚拟训练智能道具智能化,比如上述举例中的木船、摩天轮、热气球是可以移动的,小动物也是会说话的,可以与进入VR虚拟场景中的被训练者进行交流。
S102,当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具。
被训练者佩戴VR头盔式眼镜进入虚拟场景,使用手柄进行虚拟场景中选择操作。当被训练者进入虚拟场景后,在被训练者眼前展现出各种虚拟训练智能道具,每个智能道具都会说话。
所述被训练者拿取所述虚拟训练智能道具时,虚拟训练智能道具会主动运用智能引导语与儿童语言交流。进一步地,所述虚拟训练智能道具根据获取的所述被训练者的状态进行语言交流。根据语言交流实现被训练者对拿取的虚拟训练智能道具的认知并引导将虚拟训练智能道具放到所述预设区域。
具体地,被训练者佩戴的VR眼镜上设置有各种传感器,通过传感器获取被训练者的脸部表情和语气状态,根据所述脸部表情和语气状态确定所述被训练者当前的情绪状态,根据不同的情绪状态与所述被训练者进行不同的语言交流。
一方面,评估开始后通过设置在VR眼镜上的图像传感器获取用户的脸部表情图像,并对该图像进行人脸识别,提取该脸部表情图像中各个特征点。人的脸部最显著的特征有眼睛位置,双眼间距及嘴巴、鼻子和下巴的位置,提取上述显著特征点间的相对位置,根据上述脸部特征点之间的距离特性来获得人脸识别的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等。
人的情绪通常最直接地通过其脸部表情表现出来,因此可认为用户脸部若干特征点的组合,代表人的情绪类型。获取到脸部表情图像中各个特征点后,各个特征点的状态及各特征点间的相对位置,根据预设的模式找出与当相对应的情绪类型。预设模式记录了不同状态脸部表情特征点的组合与人的情绪类型之间的相关对应关系,即根据预设模式确定用户实时脸部表情所属的情绪类型。
另一方面,语音传感器则经过与被训练者的简单对话,初始采集被训练者的对话语音信息。当用户发出语音信息后,发出的语音信息中可能包含有语气词,这些语气词通常能表明被训练者此时的情绪和状态。例如被训练者发出的语音信息中的语气词包含了“哈”、“嘻嘻”和“哦”等词语,从而确定此时用户心情较好。而当用户发出的语音信息中的第一语气词包含“哎”、“嗯”、“罢了”、“算了”等词,表明此时用户心情较为低落。
本实施例中,结合上述两方面确定被训练者的情绪状态后,结合情况的不同进行不同的语言交流。例如,被训练者此时心情比较好,则被训练者拿起的虚拟训练智能道具会说“你好啊!我是XXX,我们做个朋友吧!”如果被训练者的心情属于比较低落的状态,则被训练者拿起的虚拟训练智能道具会对完成情绪安抚,比如用轻柔的声音说“朋友,有什么不开心的吗,放松心态,在乐园中尽情玩耍吧!”
通过与虚拟训练智能道具的互动,被训练者可以完成手指运动训练、语言训练、社交训练、认知训练、感统训练、手眼脑协调训练、平衡训练、记记忆训练等。
S103,被训练者将拿取的第一虚拟训练智能道具根据引导摆放至所述预设场景内的预设区域。
在所述预设场景内设置一预设区域,例如可以作为被训练者在虚拟场景中临时的家园。当被训练者与一虚拟训练智能道具沟通交流后,表现出对该虚拟训练智能道具感兴趣或非常喜欢时,虚拟训练智能道具会通过询问的方式确定被训练者是否已经认知。虚拟训练智能道具会对被训练者说“说一下,我叫什么名字”,如果被训练者已经认知该刀具,则虚拟训练智能道具会进一步对被训练者说“喜欢我吗,带我回家吧”进而实现对被训练者的引导,从而将该虚拟训练智能道具带回到预设区域中。
S104,被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成评估报告。
本实施例中的认知训练评估报告为被训练者在虚拟场景中拿取并放入到虚拟预设区域中的所有虚拟训练智能道具的清单列表。但是当被训练者在预设场景中每拿一个虚拟训练智能道具放入到预设区域时,记录的数据并非所拿物品本身,而是通过以下任一实现方式实现认知训练评估报告的实现。
一个示意性实施例,在VR技术生成的虚拟场景中每个虚拟智能道具都会有自己三维坐标或三维坐标域。如果前期对每个虚拟智能道具确定了唯一的中心三维坐标值,则将中心三维坐标值作为虚拟训练智能道具在虚拟空间内的坐标位置。如果将虚拟智能道具在虚拟场景中所占的三维坐标范围均作为所述虚拟训练智能道具的坐标位置,则三维坐标范围中任一三维坐标值均为虚拟训练智能道具的坐标位置。
因此首选确定每个虚拟训练智能道具在虚拟空间内的坐标位置,所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一虚拟训练智能道具的坐标位置。当被训练者拿取完毕后,根据记录的坐标位置集合生成对应的虚拟训练智能道具名称集合,根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
例如被训练者取回五件物品分别对应在VR虚拟场景中的坐标位置为三维坐标A、三维坐标B、三维坐标C、三维坐标D和三维坐标E。三维坐标A对应的是苹果,三维坐标B对应的是香蕉,三维坐标C对应的是气球,三维坐标D对应的是玩具小狗,三维坐标E对应的是玩具小汽车。则最终认知训练评估报告中含有上述五件物品的列表。
另一个示意性实施例,在VR技术生成的虚拟三维场景中可以布设多个传感器,当然传感器一般设置在地面上和墙上,而不会设置在三维空间中间位置,因为这样可能会使被训练者受到伤害。每个传感器都有自己唯一的标识信息,而且每个标识信息在所述虚拟三维场景中都唯一对应一个虚拟训练智能道具。
当被训练者触碰第一传感器时且通过VR手柄操作抓取动作时,确定所述被训练者拿取了所述第一传感器对应的第一虚拟训练智能道具。所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一传感器的标识信息。当被训练者拿取完毕后,根据记录的标识信息集合生成对应的虚拟训练智能道具名称集合,根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
同样地,例如被训练者采用VR手柄操作抓取动作时对应的传感器为传感器A、传感器B、传感器C、传感器D和传感器E。传感器A对应的是苹果,传感器B对应的是香蕉,传感器C对应的是气球,传感器D对应的是玩具小狗,传感器E对应的是玩具小汽车。则最终评估报告中为上述五件物品的列表。
获得虚拟训练智能道具物品的列表后,通过被训练者在训练过程中接触到的道具数量和最终评估报告中道具的数量评估在本次训练中的认知训练效果。
比如,在训练中被训练者接触到了10件道具,最终生成的评估报告中包含有1-2件道具名称,说明被训练者本次认知训练效果不好,还需要进行反复的训练以达到提高认知的目的。如果在评估报告中包含有9件道具名称,则本次认知训练达到预定效果。
而且需要指出的是,本训练中如果被训练者在认知训练中接触到了两类道具物品,最终的评估报告中仅包含了第一类道具物品名称或者第二类道具物品名称较少,则后期在训练中需要加强对第二类道具物品的认知训练。
一个示意性举例:被训练者在训练过程中,接触到的虚拟训练智能道具有猫、狗、羊、牛、兔子、苹果、香蕉、西瓜、苹果和梨,而最终生成的评估报告中包含的虚拟训练智能道具列表有:猫、狗、羊、牛、兔子和西瓜,说明了被训练这对动物的认知较强,需要对水果类的认知训练提高。当然,上述只是示意性举例,在现实训练过程中还会对训练道具种类进行多样性设置和划分。
与上述实施例提供的一种基于VR技术的认知训练方法相对应,本申请还提供了一种基于VR技术的认知训练系统的实施例。
参见图2,基于VR技术的认知训练系统包括处理器1,所述处理器1为设置在操作空间内的电脑。存储器,所述存储器用于存储计算机可执行指令。VR头盔眼镜2,用于被训练者佩戴进入到虚拟场景;VR手柄3,用于被训练者携带在所述虚拟场景内拿取虚拟训练智能道具。
处理器1通常是控制基于VR技术的认知训练系统的整体功能,例如基于VR技术的认知训练系统的启动、以及基于VR技术的认知训练系统启动后通过VR技术生成一预设场景,所述预设场景内设置有多个虚拟训练智能道具;当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,所述第一虚拟训练智能道具为任一虚拟训练智能道具;被训练者将拿取的第一虚拟训练智能道具根据引导摆放至所述预设场景内的预设区域;被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告。
此外,处理器1可以是通用处理器,例如,中央处理器(英文:central processingunit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC),可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD),现场可编程逻辑门阵列(FPGA)等。
当被训练者进入到VR场景后,所述处理器执行所述计算机可执行指令时,所述处理器执行上述实施例提供的基于VR技术的认知训练方法,通过VR技术生成一预设场景,所述预设场景内设置有多个虚拟训练智能道具;当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,所述第一虚拟训练智能道具为任一虚拟训练智能道具;被训练者将拿取的第一虚拟训练智能道具根据引导摆放至所述预设场景内的预设区域;被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告。
本实施例中,虚拟现实场地规划设计布置,以满足被训练者在场景中的操作意识技能训练为基础,现实场地为塑胶材质,有效防止被训练者在评估过程滑倒。
本实施例提供的系统还包括VR定位器4,所述VR定位器4与处理器1电连接,所述VR定位器4用于实现对被训练者及所述VR手柄3位置的定位,并将位置信息实时传输给所述处理器1。
被训练者佩戴VR头盔眼镜2进入虚拟场景,使用VR手柄3进行虚拟场景中选择操作;利用定位器4,获取被训练者位置信息。
采用本实施例提供的辅助系统,被训练者进入的虚拟场景中,各角度内嵌4台录像机,4台照相机,记录人在虚拟场景内的全过程并捕捉观察细微训练动作,生成视频图像训练档案,可远程传输。
本实施例提供的系统中还包括大屏幕5,所述大屏幕5与所述处理器1电连接,所述大屏幕5用于实时显示虚拟场景内录像机和照相机记录捕捉的细微训练动作。VR头盔眼镜2设有眼动追踪传感装置,通过前方大屏幕可观察捕捉训练者的兴趣点或细微的情绪变化。
本实施例中的处理器1还包括通信接口用于基于VR技术的认知训练系统传输数据,例如实现与VR头盔眼镜2、VR手柄3、VR定位器4等之间的数据通信。
通信接口包括有线通信接口,还可以包括无线通信接口。其中,有线通信接口包括USB接口、Micro USB接口,还可以包括以太网接口。无线通信接口可以为WLAN接口,蜂窝网络通信接口或其组合等。
在一个示意性实施例中,本申请实施例提供的基于VR技术的认知训练系统还包括电源组件,电源组件为基于VR技术的认知训练系统的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为基于VR技术的认知训练系统生成、管理和分配电力相关联的组件。
通信组件,通信组件被配置为便于基于VR技术的认知训练系统和其他设备之间有线或无线方式的通信。基于VR技术的认知训练系统可以接入基于通信标准的无线网络,如WiFi,4G或5G,或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种基于VR技术的认知训练方法,其特征在于,所述方法包括:
通过VR技术生成一预设场景,所述预设场景内设置有多个虚拟训练智能道具;
当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,所述第一虚拟训练智能道具为任一虚拟训练智能道具;
被训练者将拿取的第一虚拟训练智能道具根据引导摆放至所述预设场景内的预设区域;
被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告。
2.根据权利要求1所述的基于VR技术的认知训练方法,其特征在于,所述当被训练者进入到所述预设场景时,根据与所述预设场景内的虚拟训练智能道具互动获得需要拿取的第一虚拟训练智能道具,包括:
所述被训练者拿取所述虚拟训练智能道具时,所述虚拟训练智能道具根据获取的所述被训练者的状态进行语言交流;
根据语言交流实现被训练者对拿取的虚拟训练智能道具的认知并引导将虚拟训练智能道具放到所述预设区域。
3.根据权利要求2所述的基于VR技术的认知训练方法,其特征在于,所述虚拟训练智能道具根据获取的所述被训练者的状态进行语言交流,包括:
获取被训练者的脸部表情和语气状态;
根据所述脸部表情和语气状态确定所述被训练者当前的情绪状态;
根据不同的情绪状态与所述被训练者进行不同的语言交流。
4.根据权利要求1所述的基于VR技术的认知训练方法,其特征在于,所述被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告,包括:
确定每个虚拟训练智能道具在虚拟空间内的坐标位置;
所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一虚拟训练智能道具的坐标位置;
当被训练者拿取完毕后,根据记录的坐标位置集合生成对应的虚拟训练智能道具名称集合;
根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
5.根据权利要求1所述的基于VR技术的认知训练方法,其特征在于,所述被训练者拿取完毕后,根据所述预设区域内的所有虚拟训练智能道具生成认知训练评估报告,包括:
在VR虚拟空间内设置多个传感器,所述传感器位置空间不同位置,每个传感器对应唯一的虚拟训练智能道具;
当被训练者触碰第一传感器时且通过VR手柄操作抓取动作时,确定所述被训练者拿取了所述第一传感器对应的第一虚拟训练智能道具;
所述被训练者将所述第一虚拟训练智能道具放入所述预设区域内时,记录所述第一传感器的标识信息;
当被训练者拿取完毕后,根据记录的标识信息集合生成对应的虚拟训练智能道具名称集合;
根据所述虚拟训练智能道具名称集合生成虚拟训练智能道具列表。
6.根据权利要求1-5任一项所述的基于VR技术的认知训练方法,其特征在于,所述预设场景设置有多个,多个所述预设场景之间设置有虚拟机器人,所述虚拟机器人用于对所述被训练者进行引导。
7.一种基于VR技术的认知训练系统,其特征在于,包括:
处理器;
存储器,用于存储计算机可执行指令;
VR头盔眼镜,用于被训练者佩戴进入到虚拟场景;
VR手柄,用于被训练者携带在所述虚拟场景内拿取虚拟训练智能道具;
当所述处理器执行所述计算机可执行指令时,所述处理器执行权利要求1-6任一项所述的方法,实现基于VR技术的认知训练报告的获取,用于后期对所述被训练者进行认知训练评估。
8.根据权利要求7所述的基于VR技术的认知训练系统,其特征在于,还包括VR定位器,所述VR定位器与处理器电连接,所述VR定位器用于实现对被训练者及所述VR手柄位置的定位,并将位置信息实时传输给所述处理器。
9.根据权利要求7或8所述的基于VR技术的认知训练系统,其特征在于,还包括显示屏,所述显示屏与所述处理器电连接,所述显示屏用于实时显示VR场景和所述被训练者在所述VR场景内的操作。
CN202111575172.8A 2021-12-22 2021-12-22 一种基于vr技术的认知训练方法及系统 Active CN113952583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111575172.8A CN113952583B (zh) 2021-12-22 2021-12-22 一种基于vr技术的认知训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111575172.8A CN113952583B (zh) 2021-12-22 2021-12-22 一种基于vr技术的认知训练方法及系统

Publications (2)

Publication Number Publication Date
CN113952583A true CN113952583A (zh) 2022-01-21
CN113952583B CN113952583B (zh) 2022-04-08

Family

ID=79473570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111575172.8A Active CN113952583B (zh) 2021-12-22 2021-12-22 一种基于vr技术的认知训练方法及系统

Country Status (1)

Country Link
CN (1) CN113952583B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142611A1 (zh) * 2022-01-28 2023-08-03 腾讯科技(深圳)有限公司 虚拟房间的装饰方法、装置、设备、介质和程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685634A (zh) * 2008-09-27 2010-03-31 上海盛淘智能科技有限公司 一种儿童语音情感识别方法
CN107307865A (zh) * 2017-08-04 2017-11-03 湖州健凯康复产品有限公司 一种自闭症儿童辅助交流装置
CN109173187A (zh) * 2018-09-28 2019-01-11 广州乾睿医疗科技有限公司 基于虚拟现实的认知康复训练的控制系统、方法及装置
CN109616193A (zh) * 2018-12-21 2019-04-12 杭州颐康医疗科技有限公司 一种虚拟现实认知康复方法及系统
CN111009318A (zh) * 2019-11-25 2020-04-14 上海交通大学 一种基于虚拟现实技术的自闭症训练系统、方法及装置
US20200294652A1 (en) * 2019-03-13 2020-09-17 Bright Cloud International Corporation Medication Enhancement Systems and Methods for Cognitive Benefit
CN112598938A (zh) * 2020-12-28 2021-04-02 深圳市艾利特医疗科技有限公司 基于增强现实的认知功能训练系统、方法、装置、设备及存储介质
KR20210119071A (ko) * 2020-03-24 2021-10-05 부산대학교병원 가상현실 기반 인지게임 점수에 따른 인지장애 분석을 이용한 맞춤형 인지개선 훈련 시스템 및 방법
CN113694343A (zh) * 2021-08-06 2021-11-26 北京体育大学 一种基于vr技术的沉浸式抗压力心理训练系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685634A (zh) * 2008-09-27 2010-03-31 上海盛淘智能科技有限公司 一种儿童语音情感识别方法
CN107307865A (zh) * 2017-08-04 2017-11-03 湖州健凯康复产品有限公司 一种自闭症儿童辅助交流装置
CN109173187A (zh) * 2018-09-28 2019-01-11 广州乾睿医疗科技有限公司 基于虚拟现实的认知康复训练的控制系统、方法及装置
CN109616193A (zh) * 2018-12-21 2019-04-12 杭州颐康医疗科技有限公司 一种虚拟现实认知康复方法及系统
US20200294652A1 (en) * 2019-03-13 2020-09-17 Bright Cloud International Corporation Medication Enhancement Systems and Methods for Cognitive Benefit
CN111009318A (zh) * 2019-11-25 2020-04-14 上海交通大学 一种基于虚拟现实技术的自闭症训练系统、方法及装置
KR20210119071A (ko) * 2020-03-24 2021-10-05 부산대학교병원 가상현실 기반 인지게임 점수에 따른 인지장애 분석을 이용한 맞춤형 인지개선 훈련 시스템 및 방법
CN112598938A (zh) * 2020-12-28 2021-04-02 深圳市艾利特医疗科技有限公司 基于增强现实的认知功能训练系统、方法、装置、设备及存储介质
CN113694343A (zh) * 2021-08-06 2021-11-26 北京体育大学 一种基于vr技术的沉浸式抗压力心理训练系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142611A1 (zh) * 2022-01-28 2023-08-03 腾讯科技(深圳)有限公司 虚拟房间的装饰方法、装置、设备、介质和程序产品

Also Published As

Publication number Publication date
CN113952583B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
US11192257B2 (en) Autonomously acting robot exhibiting shyness
KR102185469B1 (ko) 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
JP7400923B2 (ja) 情報処理装置および情報処理方法
CN100411828C (zh) 机器人装置及其行为控制方法
CN109153127A (zh) 执行迎接行为的行为自主型机器人
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP3974098B2 (ja) 関係検知システム
CN113952583B (zh) 一种基于vr技术的认知训练方法及系统
CN110874859A (zh) 一种生成动画的方法和设备
US11675360B2 (en) Information processing apparatus, information processing method, and program
KR102255520B1 (ko) 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템
US20190295526A1 (en) Dialogue control device, dialogue system, dialogue control method, and recording medium
US20210197393A1 (en) Information processing device, information processing method, and program
US20220371178A1 (en) Information processing apparatus, information processing method, and program
US20210236032A1 (en) Robot-aided system and method for diagnosis of autism spectrum disorder
CN110364164A (zh) 对话控制装置、对话系统、对话控制方法以及存储介质
Fujita et al. An autonomous robot that eats information via interaction with humans and environments
US20220410023A1 (en) Information processing device, control method of the same, and program
JP2019111625A (ja) 情報処理装置、ロボット、情報処理方法及びプログラム
CN113059563A (zh) 智能陪伴机器人
US20220126439A1 (en) Information processing apparatus and information processing method
KR102366054B1 (ko) 말을 이용한 힐링 시스템
CN113059574A (zh) 陪伴机器人智能陪伴方法及智能陪伴机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant